CN114294886A - 冰箱及食材录入方法 - Google Patents

Abstract

本申请公开了冰箱及食材录入方法，可以响应于输入的内景查看指令，显示储藏室的内景图片，内景图片包括食材对象；响应于输入的食材识别指令，显示与内景图片中食材对象相匹配的食材图标；根据用户选择的目标食材图标，将目标食材图标对应的食材信息确定为储藏室中现有食材的食材信息。本申请可以基于图像识别获得储藏室中食材的食材信息，并以食材图标的形式展示出来，通过将用户选择的目标食材图标对应的食材信息确定为现有食材的食材信息，完成食材添加操作，添加的食材即为目标食材图标所表征的食材，省略手动输入食材信息的用户操作。

Description

冰箱及食材录入方法

技术领域

本申请涉及冰箱技术领域，尤其涉及一种冰箱及食材录入方法。

背景技术

目前，具有显示器的智能冰箱，可以为用户提供食材的智能管理、智能储藏、多功能提醒等多种功能。例如，将冰箱中的现有食材以食材图标的形式呈现在显示器上的用户界面中，用户根据用户界面中呈现的食材图标，获知冰箱中的现有食材有哪些。其中，食材图标可以是根据冰箱中现有食材对应的食材信息生成的，食材信息包括食材名称、食材保质期和食材数量等。

例如，在用户将新食材放入到冰箱中后，可以通过一些操作将新食材对应的食材信息输入到冰箱中，进而，冰箱可以根据新食材对应的食材信息在用户界面中显示新食材的食材图标。或者，对于具有无线射频识别(radio frequency identification，RFID)功能的智能冰箱，可以通过RFID标签来标识冰箱中的食材。用户可以通过操作控制显示食材编辑界面，在食材编辑界面中输入用于与RFID标签进行关联的食材信息，冰箱接收到用户输入的食材信息后，与RFID标签的标签信息建立关联并保存。通过内置在储藏室中的天线读取食材上RFID标签的标签信息，进而可以根据标签信息确定标签关联的食材信息。

发明内容

本申请提供一种冰箱及食材录入方法。

第一方面，本申请提供一种冰箱，包括：

箱体，内部设有储藏室，用于储藏食材；

箱门，设于所述储藏室的开口处；

摄像头，设于所述箱门的位于所述储藏室内部的一侧，用于采集所述储藏室的内景图片；

显示器，设于所述箱门，用于显示用户界面；

与所述摄像头及所述显示器连接的控制器，被配置为：

响应于输入的内景查看指令，显示所述储藏室的内景图片，所述内景图片包括食材对象；

响应于输入的食材识别指令，显示与所述内景图片中食材对象相匹配的食材图标；

根据用户选择的目标食材图标，将所述目标食材图标对应的食材信息确定为储藏室中现有食材的食材信息。

第二方面，本申请实施例还提供一种食材录入方法，应用于冰箱，所述方法包括：

响应于输入的内景查看指令，显示所述冰箱的内景图片，所述内景图片包括食材对象；

响应于输入的食材识别指令，显示与所述内景图片中食材对象相匹配的食材图标；

根据用户选择的目标食材图标，将所述目标食材图标对应的食材信息确定为所述冰箱中现有食材的食材信息。

由以上技术方案可知，本申请实施例提供的冰箱及食材录入方法，可以响应于输入的内景查看指令，显示储藏室的内景图片，内景图片包括食材对象；响应于输入的食材识别指令，显示与内景图片中食材对象相匹配的食材图标；根据用户选择的目标食材图标，将目标食材图标对应的食材信息确定为储藏室中现有食材的食材信息。本申请可以基于图像识别获得储藏室中食材的食材信息，并以食材图标的形式展示出来，通过将用户选择的目标食材图标对应的食材信息确定为现有食材的食材信息，完成食材添加操作，添加的食材即为目标食材图标所表征的食材，省略手动输入食材信息的用户操作。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1A为本申请根据一示例性实施例示出的冰箱立体图；

图1B为本申请根据示例性实施例示出的冰箱外观示意图；

图2为本申请根据示例性实施例示出的冰箱硬件配置示意图；

图3为本申请根据示例性实施例示出的一种食材管理界面；

图4为本申请根据示例性实施例示出的一种冰箱控制器被配置执行的方法流程图；

图5为本申请根据示例性实施例示出的内景图片；

图6为本申请根据示例性实施例示出的一种冰箱控制器被配置执行的方法流程图；

图7为本申请根据示例性实施例示出的一种模板视图；

图8为本申请根据示例性实施例示出的一种内景展示界面；

图9为本申请根据示例性实施例示出的另一种内景展示界面；

图10为本申请根据示例性实施例示出的一种在终端设备上显示的食材管理界面；

图11为本申请根据示例性实施例示出的一种在终端设备上显示的内景展示界面；

图12为本申请根据示例性实施例示出的一种冰箱控制器被配置执行的方法流程图；

图13为本申请根据示例性实施例示出的一种内景展示界面；

图14为本申请根据示例性实施例示出的一种内景展示界面；

图15为本申请根据示例性实施例示出的一种冰箱与服务器交互过程示意图；

图16为本申请根据示例性实施例示出的另一种冰箱与服务器交互过程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

图1A为本申请根据示例性实施例示出的冰箱立体图，本发明实施例提供的冰箱的形状近似长方体。该冰箱由提供有限储存空间的储藏室110和设置在储藏室开口处的箱门120限定。储藏室110为具有开口的箱体。在图1A所示示例中，储藏室110包括位于下方的冷冻室111以及位于上方的冷藏室112，冷冻室111和冷藏室112分别具有一个或者多个独立的储存空间，如冷冻室111所包括的抽屉式间室111A等，以及冷藏室112所包括的多个容纳格1121-1123，顶部照明灯140位于容纳格1121内部。

在图1A所示示例中，多个抽屉式间室111A通过抽屉式箱门111B封盖。冷藏室112被分割成左侧和右侧，左侧和右侧分别通过可枢转地安装在箱体上的箱门112B封盖。

需要说明的是，图1A作为本申请实施例的一个示例，其示出的冰箱并不构成对本申请所提供冰箱的限定。例如，在本申请另外的实施例中，冰箱箱体被分割成左侧和右侧，限定左侧箱体为冷冻室，限定右侧箱体为冷藏室，该冷冻室和冷藏室均可通过可枢转地安装在箱体上的箱门封盖。又如，在本申请另外的实施例中，储藏室包括冷藏室、冷冻室以及变温室。

基于上述实施例提供的冰箱，通过在冰箱箱体内部设置一个或者多个摄像头，来采集储藏室的内景图片。在一些实施例中，摄像头可以设置在箱门的位于储藏室内部的一侧，镜头面向储藏室设置。这样，当箱门关闭时，摄像头将会正对储藏室内部，从而拍摄到储藏室的内景图片。应理解的是，储藏室内壁上设有多个照明灯，包括但不限于设置在储藏室顶壁上的顶部照明灯和设置在储藏室侧壁上的侧部背光灯。为了给摄像头拍摄储藏室内景图片时提供充足的光线条件，在摄像头工作过程中，保持顶部照明灯处于开启状态，而将侧部背光灯关闭。

如图1A所示，在冷藏室门112B的一侧边缘设有摄像头安装板130，摄像头131、132及133嵌入式的设置在摄像头安装板130上，摄像头131、132及133均与冰箱的控制器(具体可参见图2中控制器220及其介绍)连接，以在控制器的控制下工作。当冷藏室门112B关闭时，摄像头131-133分别面向冷藏室112所包括的容纳格1121-1123，因此，摄像头131-133可分别用于采集容纳格1121-1123的内景图片。

需要说明的是，图1A作为本申请实施例的一个示例，其示出的摄像头数量、安装位置及安装方式并不构成对本申请所提供冰箱的限定。例如，在本申请另外的实施例中，在冷藏室门112B的靠近冷冻室门111B的一侧边缘设有摄像头安装板130，该摄像头安装板130内设有机械滑动轨道及驱动马达，摄像头通过滑块与机械滑动轨道滑动连接，驱动马达与滑块连接，从而摄像头可以在驱动马达的驱动下，沿机械滑动轨道在竖直方向上滑动。控制器与驱动马达连接。在需要采集冷藏室的内景图片时，首先通过控制驱动马达，使摄像头移动到与第一层(或者第三层)容纳格正对的位置，再控制摄像头采集该容纳格的内景图片，采集完成后，再通过控制驱动马达，使摄像头移动到第二层容纳格正对的位置，再控制摄像头采集该容纳格的内景图片，直到采集到所有容纳格的内景图片。

基于上述实施例提供的冰箱，通过在冰箱箱体外侧设置显示器，可以使冰箱具有显示功能。

图1B为本申请根据示例性实施例示出的冰箱外观示意图，如图1B所示，在冷藏室门112B上设有显示器，显示器嵌入到门体中。冷藏室门112B的位于显示器下方的区域设有标签读取区，标签读取区内置用于读取RFID标签的天线，以用于识别近距离的RFID标签。

在一些实施例中，显示器屏幕所在平面与箱门外表面平齐。

如图1A和图1B所示，本申请实施例提供的冰箱，其箱体内部设有至少两个储藏室，如冷冻室、冷藏室、变温室等。每个储藏室中可以具有多个独立的存储空间，如抽屉式间室、容纳格。

图2为本申请根据示例性实施例示出的冰箱硬件配置示意图。如图2所示，冰箱200可以包括显示器210、控制器220、用于检测RFID标签的天线230、检测器240、摄像头250、扬声器260、存储器270和用户输入接口。显示器210、天线230、检测器240、摄像头250、扬声器260、存储器270通过通信接口与控制器220耦合。

其中，显示器210，用于接收控制器220输出的图像信号，进行显示视频内容和图像以及菜单操控界面的组件，以及显示用于控制冰箱200的用户操控UI界面。

控制器220，可以包括一个或者多个处理单元，例如系统芯片(system on a chip，SoC)、中央处理器(central processing unit，CPU)、微控制器(microcontroller，MCU)、存储控制器等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

在一些实施例中，控制器220与天线230通过串口通信。

在一些实施例中，控制器220包括RFID模块，RFID模块、天线230以及RFID标签构成RFID读写系统，天线230用于在RFID模块和RFID标签之间传递射频信号，RFID模块通过天线230完成对RFID标签的读、写操作。

在一些实施例中，RFID模块通过串口与天线通信。

存储器270，可以包括一个或者多个存储单元，例如可以包括易失性存储器(volatile memory)，如：动态随机存取存储器(dynamic random access memory，DRAM)、静态随机存取存储器(static random access memory，SRAM)等；还可以包括非易失性存储器(non-volatile memory，NVM)，如：只读存储器(read-only memory，ROM)、闪存(flashmemory)等。其中，不同的存储单元可以是独立的器件，也可以集成或者封装在一个或者多个处理器或者通信接口中，成为处理器或者通信接口的一部分。

存储器270中存储有程序指令和应用程序，如语音应用、食材管理应用。控制器220可调用存储器270中的程序指令或者运行应用程序，使冰箱执行相关的方法，例如本申请实施例所提供的方法。

摄像头250，用于采集储藏室内景图像，包括但不限于采集内景图片，例如，还可以采集内景视频。可选的，摄像头250可采用广角镜头。由于广角镜头的焦距短，因此可以在较短的拍摄距离范围内，拍摄到较大面积的储藏室内景。可选的，摄像头250可采用普通广角镜头，其焦距一般为38～24毫米，视角一般为60～84度，也可以采用超广角镜头，其焦距一般为20～13毫米，视角一般为94～118度。

检测器240，至少包括声音采集器，如麦克风，可以用于接收用户的声音。示例性的，通过麦克风采集用户用于控制冰箱200的语音口令。检测器240还可以包括箱门开关状态传感器，如检测磁敏开关、机械开关，用于检测每个箱门的开关信号，当根据检测到的开关信号记录所述箱门的开关状态，发送开关状态信息给控制器220。示例性的，当检测器240检测到任意一个箱门的开启信号或者关闭信号时，发送最新的开关状态信息给控制器220。

用户输入接口，包括麦克风、触摸板、传感器、按键等输入接口中的至少一者。如：用户可以通过语音、触摸、手势、按压等动作实现用户指令输入功能，输入接口通过将接收的模拟信号转换为数字信号，以及数字信号转换为相应指令信号，发送至控制器220。

在一些实施例中，控制器220可以包括语音识别模块，语音识别模块进一步包括语音解析单元和语音指令数据库，从而使冰箱可以独立完成对用户输入的语音数据的语音识别，以及将识别出的语音内容与语音指令数据库中的语音指令进行匹配的过程。

本申请对天线230的数量不予限定。例如，天线230可以包括设置在每个储藏室内的天线和设置在标签读取区内部的天线，其中，设置在各储藏室内的天线主要用于扫描各储藏室内的RFID标签，以读取RFID标签的标签信息，设置在标签读取区内部的天线则主要用于扫描标签读取区上的RFID标签，以读取RFID标签的标签信息。

在一些实施例中，不同的储藏室内设置的天线的功率可以不同。且，各个储藏室的天线的功率能够保证天线识别到自身间室包括的食材即可，从而避免功率太大时会增加误识别率，功率太小时会识别不全自身间室的食材。在具体的实现中，可以预先根据各个储藏室的空间大小确定天线的功率，并在冰箱中设置各个天线的功率，空间越大，功率越大。

在一些实施例中，将用于扫描标签读取区上的天线称为第一天线，将设置在储藏室中的天线称为第二天线。

为了实现对食材的智能管理，可以使用RFID标签对储藏室中的食材进行标识。通过建立RFID标签与食材信息之间的对应关系，实现RFID标签与食材信息之间的虚拟关联。通过修改RFID标签与食材信息之间的对应关系，使得同一个RFID标签先后与不同的食材信息相关联，提高RFID标签的使用灵活性。将贴设有RFID标签的食材存放到冰箱中，通过天线检测储藏室中RFID标签以获取其标签信息，根据标签信息与食材信息的关联关系确定该标签所标识的食材。

在一些实施例中，标签信息包括标签编码，标签编码中的特定码段为标签标识。建立RFID标签的标识信息与食材信息的对应关系，可以实现RFID标签与食材的虚拟关联。进而，在获取到储藏室中RFID标签的标签标识后，即可根据标签标识和预先建立的对应关系确定RFID标签对应的食材。

在一些实施例中，控制器220通过运行食材管理应用实现食材管理功能，食材管理应用提供的应用界面包括：可作为应用主界面的食材管理界面、用于建立RFID标签与食材信息的关联关系的标签编辑界面、用于显示预置食材库中食材信息的食材库界面、用于添加食材的食材添加界面、以及用于显示储藏室内景的内景展示界面等。

在一些实施例中，响应于开机或者用户输入的食材管理应用启动指令，控制器220启动食材管理应用。食材管理应用启动后，用户可以在食材管理应用中输入标签编辑指令。响应于该标签编辑指令，食材管理应用通过第一天线扫描用户放置在标签读取区上的RFID标签，以获取RFID标签的标签信息，如“A”，并显示标签编辑界面。用户可以在标签编辑界面中输入食材信息，用于与“A”进行关联。食材管理应用接收用户输入的食材信息，建立该食材信息与“A”之间的关联关系。当食材管理应用通过第二天线检测到储藏室中有RFID标签“A”时，便可根据“A”所关联的食材信息，确定储藏室中的真实食材，从而实现对食材的智能管理。应理解的是，当食材管理应用通过第二天线检测到储藏室中有RFID标签“A”时，“A”所关联的食材为储藏室中的现有食材。

在另一些实施例中，用户可以在食材管理应用中输入食材添加指令。食材管理应用响应于该食材添加指令，显示食材库界面，食材库界面中包括大量可选的食材图标，每个食材图标对应一个食材信息。用户可以在食材库界面中选择要添加的食材(图标)。食材管理应用则将用户选择的食材图标对应的食材信息确定为储藏室中现有食材的食材信息。例如，将用户选择的食材图标对应的食材信息添加到本地食材信息集合中，该本地食材信息集合为储藏室中现有食材的食材信息的集合。前述食材添加操作，无需在真实食材上贴设RFID标签，就将真实食材的食材信息录入到了食材管理应用中，从而通过食材管理应用实现对冰箱中食材的智能管理。

在一些实施例中，食材信息包括食材ID、食材名称、存放位置标识、食材数量、食材保质期、起始时间等中的一项或者多项。根据存放位置标识可以确定该食材存放的储藏室。例如，如果食材信息“苹果”中包含的存放位置标识是“1”，则确定“苹果”存放在冷藏室中，如果食材信息“苹果”中包含的存放位置标识是“2”，则确定“苹果”存放在冷冻室中。根据当前时间、食材的保质期和起始时间可以确定食材的新鲜程度。其中，起始时间可以是用户输入的食材的真实生产日期，如面包的生产日期2021年5月1日，也可以是食材放入储藏室的时间。

在一些实施例中，储藏室中现有食材对应的食材信息保存在本地食材信息集合中。该现有食材是指当前储藏在冰箱中的食材。

在另一些实施例中，上述本地食材信息集合中还可以保存历史食材对应的食材信息。该历史食材是指过去储藏在冰箱中、当前已从冰箱中移出的食材。具体实现时，可以通过存放状态标记来区分现有食材和历史食材，例如将历史食材的食材信息标记为移出状态，将现有食材的食材信息标记为放入状态。

在另一些实施例中，现有食材的食材信息和历史食材的食材信息保存在不同的食材信息集合中。

在一些实施例中，食材管理应用启动后，从本地食材信息集合中现有食材的食材信息，例如读取存放状态为放入状态的食材信息。然后根据现有食材的食材信息显示食材管理界面，食材管理界面包括根据食材信息绘制的食材图标，从而使得冰箱中的现有食材以图标、图文等形式尽数展示。除此之外，食材管理界面中还可以显示各类功能控件，如RFID标签编辑控件、食材添加控件、菜谱推荐控件、内景查看控件等，以供用户操作以触发控制器220实现相应功能。

在一些实施例中，食材管理界面可以包括多个食材展示区，一个食材展示区对应一个储藏室。比如，在冷藏室对应的食材展示区中显示冷藏室中食材的食材图标。

图3为本申请根据示例性实施例示出的一种用户界面，其具体为一种示例性的食材管理界面。参阅图3，该食材管理界面包括RFID标签编辑控件301、内景查看控件302、添加食材控件306，还包括与各个储藏室对应的食材展示区，如冷藏室对应的食材展示区303、变温室对应的食材展示区304和冷温室对应的食材展示区305。每个食材展示区中显示有对应储藏室中各食材的食材图标，如食材展示区303中的食材1、食材2和食材3，食材展示区304中的食材4和食材5、以及食材展示区305中的食材6和食材7。每个食材图标包括食材图片和食材名称。

在一些实施例中，用户可以通过操作食材管理界面中的RFID标签编辑控件301，以输入上述标签编辑指令。用户可以通过操作食材管理界面中的添加食材控件306，以输入上述食材添加指令。用户可以通过操作食材管理界面中的内景查看控件302，以输入内景查看指令。

在一些实施例中，食材管理应用通过摄像头采集储藏室的内景图片，并通过展示内景图片，向用户展示储藏室内景。以及，基于图像识别技术识别内景图片中的食材对象，以获得储藏室内现有食材的食材信息。值得注意的是，当内景图片中的食材对象为新的食材时，可以基于图像识别获得的食材信息，而实现自动添加食材的功能，从而省略手动输入食材信息的用户操作；此外，还可以基于图像识别获得的食材信息，向用户展示储藏室中的现有食材，提高用户体验。

应理解的是，储藏室通常包括多个独立的储藏空间，每个储藏空间的内景即为储藏室的局部内景，每个储藏空间的内景图像即为储藏室的局部内景图像。因此，可以通过拍摄每个储藏空间的内景图片，获得储藏室的局部内景图片，并通过部分或者全部储藏空间的内景图片，来反映储藏室的局部内景或者全局内景。

以图1A示出的冰箱为例，冷藏室门上安装有摄像头131-133。冷藏室门关闭时，摄像头131-133的镜头分别正对容纳格1121-1123。食材管理应用可以通过摄像头131-133，分别采集到容纳格1121-1123对应的内景图片，并该组内景图片作为冷藏室的内景图片。

在一些实施例中，控制器220通过运行食材管理应用，执行图4中示出的下述步骤：

S410，当满足预设触发条件时，控制摄像头采集储藏室的内景图片。

在一些实施例中，当检测到箱门的关闭信号时，控制摄像头采集储藏室的内景图片。值得注意的是，可以根据摄像头的设置位置，选择性地监测箱门的开关信号。例如，对于图1A所示冰箱，由于摄像头设置在冷藏室门上，因此食材管理应用可以检测冷藏室门的开关信号，而无需检测其他箱门的开关信号。当检测到冷藏室门的关闭信号时，依次控制摄像头131-133，采集容纳格1121-1123对应的内景图片，得到一组内景图片。应理解的是，一组内景图片即为在同一时间段采集的与储藏室内不同局部的内景图片。例如，同一时间段采集的容纳格1121-1123对应的内景图片构成一组内景图片。

具体实现时，控制器220通过检测器240，检测各个箱门的开关信号。可选择的，当检测器240检测到任意一个箱门的开启信号或者关闭信号时，记录箱门的开关状态。向控制器发送开关状态信息，开关状态信息中包括每个箱门最近两次的开关状态，分别为在先状态和在后状态。控制器根据该开关状态信息确定是否检测到箱门的开启信号或者关闭信号。例如，当某个箱门的在先状态为开启状态，在后状态为关闭状态时，确定检测到该箱门的关闭信号；当某个箱门的在先状态为关闭状态，在后状态为开启状态时，确定检测到该箱门的开启信号；当某个箱门的在先状态和在后状态为相同状态时，确定未检测到该箱门的开关信号。示例性的，检测器发送给控制器的开关状态信息中各字段内容如下，其中，控制器可以根据字段“Index”区分箱门。

在另一些实施例中，在当前时间达到预设时间点或者间隔时长达到预设时长时，控制摄像头采集储藏室的内景图片。例如，食材管理应用在每天的8:00、12:00、18:00，控制摄像头采集储藏室的内景图片。又如，食材管理应用每隔24h，控制摄像头采集储藏室的内景图片。

在另一些实施例中，当接收到输入的内景图片采集指令时，控制摄像头采集储藏室的内景图片。其中，用户可以通过点击食材管理界面上的操作控件或者通过输入语音口令，来输入内景图片采集指令。

在S410的可选择的实现方式中，食材管理应用包括用于后台控制摄像头的服务，食材管理应用通过该后台服务来控制摄像头采集储藏室的内景图片。示例性的，当满足预设触发条件时，该后台服务开启摄像头；在摄像头开启的第一时长后，控制摄像头拍摄储藏室的内景图片。这样，能够规避摄像头刚启动后极易出现的丢帧问题及亮度低的问题，保证图片拍摄效果。示例性的，第一时长为1秒。

值得注意的是，食材管理应用对于摄像头的控制逻辑与摄像头数量及其设置位置等因素相关。例如，对于图1A中示出的冰箱，当满足预设触发条件时，需要依次控制摄像头131-133采集对应容纳格的内景图片。例如，首先开启摄像头131，等待1秒后，控制摄像头131拍摄容纳格1121的内景图片，拍摄完成后，关闭摄像头131；接着，开启摄像头132，等待1秒后，控制摄像头132拍摄容纳格1122的内景图片，拍摄完成后，关闭摄像头132；最后，开启摄像头133，等待1秒后，控制摄像头133拍摄容纳格1123的内景图片，拍摄完成后，关闭摄像头133。最后，得到容纳格1121-1123的内景图片。

然而，对于与图1A所示示例结构不同的冰箱，食材管理应用对于摄像头的控制逻辑可能不同。例如，若摄像头可沿摄像头安装板130上的机械滑动轨道滑动(具体可参见前述实施例)，那么当满足预设触发条件时，需要控制摄像头先后移动到与各容纳格正对的位置后，再控制摄像头拍摄对应容纳格的内景图片，此处不予赘述。

在一些实施例中，冰箱上安装的操作系统为安卓系统。基于安卓系统的工作机制，摄像头开启后，需要在输出预览画面的前提下，才能拍摄内景图片。基于此，食材管理应用开启摄像头后，控制以小于预设尺寸的窗口尺寸，在用户界面的位于显示器视口范围外的区域中显示预览窗口，并将摄像头的预览画面输出至该预览窗口中。由于预览窗口的尺寸小于预设尺寸，且显示在显示器视口范围外，因此可以在用户无感知的情况下输出摄像头预览画面，防止预览窗口影响用户查看当前用户界面及操作用户界面中的控件。

示例性的，可以将预览窗口的尺寸设置为1×1(小于预设尺寸)，将边距值设置为负值。应理解的是，前述边距值表示预览窗口的显示位置与用户界面边界之间的距离，当边距值为负值时，预览窗口将会显示在用户界面的位于显示器视口范围外。

S420，判断在摄像头采集内景图片的过程中，检测器是否检测到箱门的开启信号。

在一些实施例中，受限于摄像头的设置位置，只有当箱门处于关闭状态时，摄像头才能正对储藏室内部空间，而当箱门处于开启状态时，摄像头也将随箱门状态的改变而发生偏移。例如，对于图1A示例性示出的冰箱，当且仅当冷藏室门处于关闭状态时，摄像头131-133才分别与容纳格1121-1123正对。而若在摄像头采集内景图片过程中，检测器检测到冷藏室门的开启信号，说明用户打开冷藏室门，导致摄像头不与容纳格正对，这样一来，摄像头采集到的内景图片极大可能是无效图片。该无效图片是指不能满足图像识别识别要求及内景展示要求的图片，如未清楚、完整记载储藏室内部食材图像的图片。相应的，有效图片是指不满足图像识别要求及内景展示要求的图片。值得注意的是，若在摄像头采集内景图片过程中，出现用户打开箱门的操作，摄像头还极易拍摄到用户及家庭景象，导致用户隐私泄露，困扰用户。

基于此，通过判断在摄像头采集内景图片的过程中，检测器是否检测到箱门的开启信号，来确定在摄像头采集内景图片过程中，用户是否曾打开箱门；若在摄像头采集内景图片过程中，用户曾打开箱门，则可将本次采集的内景图片确定为无效图片。

在一些可选择的实现方式中，在摄像头工作过程中，实时监测箱门的开关状态。当检测到箱门开启时，关闭摄像头。例如，食材管理应用对检测器发送给控制器的箱门开关状态信息进行轮询，从而获取箱门的实时开关状态。当获取到某个箱门由关闭状态变化为开启状态、且该箱门是设有摄像头的箱门时，关闭摄像头。例如，对于图1A示出的冰箱，当获取到冷藏室门由关闭状态变化为开启状态时，关闭摄像头。

在另一些可选择的实现方式中，在内景图片采集完成时，记录完成时间。根据检测器发送的最新箱门开关状态信息，确定检测器最近一次检测到箱门的开启信号的时间，即箱门开启时间，该箱门开启时间早于前述完成时间。然后确定完成时间与前述箱门开启时间之间的时间差。若该时间差小于预设时间差，则确定摄像头采集内景图片的过程中，检测到箱门的开启信号；若该时间差不小于预设时间差，则确定摄像头采集内景图片的过程中，未检测到箱门的开启信号。其中，预设时间差可以根据摄像头采集内景图片所需的时间确定。例如，若摄像头需要10秒采集时间，那么预设时间差可以为10秒。另外，可以在获取到摄像头拍摄的最后一张内景图片时，认为内景图片采集完成。例如，以图1A示出的冰箱为例，假设食材管理应用对摄像头131-133的控制顺序是摄像头131、摄像头132、摄像头133，那么摄像头133拍摄的内景图片即为最后一张内景图片，则当获取到摄像头133拍摄的内景图片时，认为内景图片采集完成。或者，也可以在关闭摄像头时，认为内景图片采集完成。进而，记录的完成时间可以是最后一张内景图片的拍摄时间，也可以是摄像头关闭时间。

在另一些可选择的实现方式中，根据在摄像头的工作时间段内接收到的箱门开关状态信息，判断是否检测到箱门的开启信号。以图1A示出的冰箱为例，假设食材管理应用对摄像头131-133的控制顺序是摄像头131、摄像头132、摄像头133。食材管理应用在开启摄像头131时，记录开启时间，在关闭摄像头133时，记录关闭时间，进而根据开启时间和关闭时间确定摄像头的工作时间段。关闭摄像头133后，获取在前述工作时间段内接收到的箱门开关状态信息。若获取结果为空，确定摄像头采集内景图片的过程中，检测器未检测到箱门的开启信号。若获取结果不为空，且箱门开关状态信息显示冷藏室门由关闭状态变化为开启状态，则确定摄像头采集内景图片的过程中，检测器检测到箱门的开启信号。

可以看出，上述实施例通过判断在摄像头采集内景图片的过程中，检测器是否检测到箱门的开启信号，来确定采集的内景图片的有效性。需要说明的是，在本申请另外的实施例中，也可以采用其他方式来分析内景图片的有效性。例如，基于图像识别技术识别内景图片是否包含特定图像特征，若包含特定图像特征，则确定采集的内景图片为有效图片，否则，确定采集的内景图片为无效图片。其中，特定图像特征可以是一定数量的有效图片共有的储藏室内景特征，如构成容纳格的隔板的特征，包括但限于隔板的形状、颜色、尺寸等特征。

在S420中，若判定在摄像头采集内景图片的过程中，检测器检测到箱门的开启信号，则执行S430，若判定在摄像头采集内景图片的过程中，检测器未检测到箱门的开启信号，则执行S440。

值得注意的是，在一些实施例中，若摄像头的设置位置不受箱门开关状态的影响，则可以跳过判断内景图片的有效性的步骤，即跳过S420-S440，而直接执行对内景图片的处理过程,例如，在一些实施例中，由S410流转到图6中的S610，或者流转到图12中的S121。在一些实施例中，若摄像头的设置位置不受箱门开关状态的影响，通过其他方式来判断内景图片的有效性。

S430，若在摄像头采集内景图片的过程中检测器检测到箱门的开启信号，则确定采集的内景图片为无效图片。

在基于图1A所示冰箱的示例中，若在采集内景图片的过程中检测到冷藏室门的开启信号，则将摄像头131-133在该时间段拍摄的内景图片均确定为无效图片。

在一些可选择的实现方式中，在确定内景图片为无效图片的情况下，删除该无效图片，以避免泄露隐私，避免占用冰箱的存储空间。

在一些实施例中，当确定采集的内景图片为无效图片时，控制摄像头重新采集储藏室的内景图片。在这些实施例中，确定采集的内景图片为无效图片，是控制摄像头采集内景图片的预设触发条件。

S440，若在摄像头采集内景图片的过程中检测器未检测到箱门的开启信号，则确定采集的内景图片为有效图片。

在基于图1A所示冰箱的示例中，若在采集内景图片的过程中未检测到冷藏室门的开启信号，则将摄像头131-133在该时间段拍摄的内景图片均确定为有效图片。

在另一些实施例中，在确定采集内景图片的过程中未检测到箱门的开启信号的情况下，进一步判断每张内景图片的格式尺寸是否为预设格式尺寸，或者判断每张内景图片的大小是否大于预设最小值。若每张内景图片的格式尺寸均为预设格式尺寸，或者每张内景图片的大小都大于预设最小值，则确定采集的内景图片为有效图片。若至少一张内景图片的格式尺寸不为预设格式尺寸，或者大小不大于预设最小值，则确定该组内景图片为无效图片。在基于图1A所示冰箱的示例中，若摄像头131-133拍摄的内景图片的格式尺寸均为预设格式尺寸，或者大小均大于预设最小值，则确定该组内景图片均为有效图片。若摄像头131-133采集的内景图片中，至少一张内景图片的格式尺寸不是预设格式尺寸，或者大小不大于预设最小值，则确定该组内景图片均为无效图片。在这些实施例中，通过对每张内景图片的格式尺寸或者大小进行判断，可以进一步提高判断图片有效性的准确性。

本申请实施例中，在确定内景图片为有效图片的情况下，存储该有效图片。

由上述实施例可知，本申请实施例提供的冰箱，当满足预设触发条件时，通过摄像头采集储藏室的内景图片，以通过展示内景图片，向用户展示储藏室内景。通过判断在摄像头采集内景图片的过程中，检测器是否检测到箱门的开启信号，判断采集的内景图片的有效性。若在摄像头采集内景图片的过程中，检测器是否检测到箱门的开启信号，则确定采集的内景图片为无效图片。不但可以保证采集的内景图片能够满足图像识别要求及内景展示要求，还能避免泄露用户隐

在一些实施例中，为了使摄像头能够拍摄到容纳格内景的全貌，设置摄像头的拍摄模式为广角模式。然而，这样就导致在拍摄某个容纳格时，同时拍摄到该容纳格上层容纳格和/或下层容纳格，使得拍摄的内景图片存在冗余区域。为了去除内景图片中的冗余区域，可以按照预设剪裁规则对内景图片进行剪裁，从而只保留内景图片的关键区域。关键区域即为该容纳格对应的图像区域。

需要说明的是，由于在摄像头的安装位置、拍摄焦距和/或拍摄角度不同时，内景图片中关键区域的大小及位置不同，因此可以根据摄像头的安装位置、拍摄焦距及拍摄角度等确定上述预设裁剪规则。

以图1A中示出的摄像头132为例，同时参阅图5。图5中，(a)示出了图1A所示冰箱中容纳格1121-1123的内部景象。如果摄像头132的拍摄范围的下侧边界与容纳格1122的底部隔板平齐，拍摄出的内景图片将如图5中(b)所示，可以看出，内景图片(b)中，区域b1为容纳格1122对应的图像区域，即为关键区域，区域b2则为冗余区域。对于内景图片(b)，可以采用居下裁剪规则，去除冗余区域b2。如果摄像头132的拍摄范围的上侧边界与容纳格1122的顶部平齐，拍摄出的内景图片将如图5中(c)所示，可以看出，内景图片(c)中，区域c1为容纳格1122对应的图像区域，即为关键区域，区域c2则为冗余区域。对于内景图片(c)，可以采用居上裁剪规则，以去除冗余区域c2。如果摄像头132拍摄范围的下侧边界低于容纳格1122的底部隔板，且上侧边界高于容纳格1122的顶部隔板，则拍摄出的内景图片将如图5中(d)所示，可以看出，内景图片(d)中，区域d1为容纳格1122对应的图像区域，即为关键区域，区域d2和d3都为冗余区域。对于内景图片(d)，则可以采用居中裁剪规则，以去除冗余区域d2和d3。

可以理解的是，不同容纳格的内景图片所采用的裁剪规则可以相同，也可以不同。例如，采用居上裁剪规则来裁剪容纳格1121和1122的内景图片，采用居中裁剪规则来裁剪容纳格1123的内景图片。

还可以理解的是，由于不同容纳格的尺寸可以相同，也可以不同，摄像头在拍摄不同容纳格的内景时所采用的焦距也可以相同，也可以不同，因此不同内景图片中的关键区域尺寸相同或者不同，即裁剪后的内景图片的尺寸相同或者不同。

在一些实施例中，去除各内景图片的冗余区域后，为各内景图片分配位置标识。该位置标识用于表征容纳格的相关信息，如位置、名称等，位置标识具体可以是包含容纳格相关信息的字符，也可以是与容纳格相关信息具有关联关系的字符。由于一组内景图片分别与不同的容纳格对应，因此一组内景图片中不同内景图片具有不同的位置标识。进而，可以根据位置标识，确定内景图片对应的容纳格。示例性的，对于图1A中示出的冰箱，为容纳格1121的内景图片分配第一位置标识，为容纳格1122的内景图片分配第二位置标识，为容纳格1123的内景图片分配第三位置标识。

在一些实施例中，为在同一时间段拍摄的内景图片分配相同的时间标识，通过该时间标识来表征该组内景图片的拍摄时间。

在一些实施例中，根据内景图片的位置标识生成该内景图片的图片名称，从而使其位置标识包含在其图片名称中。示例性的，容纳格1121的内景图片的图片名称可以为“01.interior of the refrigerator”；容纳格1122的内景图片的图片名称可以为“02.interior of the refrigerator”，；容纳格1123的内景图片的图片名称可以为“03.interior of the refrigerator”。前述图片名称中的“01”、“02”及“03”即为位置标识。

在一些实施例中，根据内景图片的位置标识和时间标识生成该内景图片的图片名称，从而使其位置标识和时间标识包含在其图片名称中。示例性的，容纳格1121的内景图片的图片名称可以为“01.202106051200”；容纳格1122的内景图片的图片名称可以为“02.01.202106051200”；容纳格1123的内景图片的图片名称可以为“03.01.202106051200”。前述图片名称中的“202106051200”，即为时间标识，其表征的时间为2021年6月5日12:00。

在一些实施例中，将具有上述图片名称的内景图片保存在内景图片集合中。其中，具有相同时间标识的内景图片构成一组内景图片。每组内景图片中的内景图片的位置标识不同。集合中的内景图片可以按照时间顺序排列。当需要向用户展示冰箱内景时，可以根据时间标识或者图片存储时间，从集合中抽取出拍摄时间最近的一组或者多组内景图片，展示在用户界面中。

可选择的，当上述内景图片集合中的图片数量超过上限阈值时，按照时间标识，将集合中拍摄时间最早的一组或者多组内景图片删除，以保证集合中的图片数量始终少于该上限阈值。可选择的，食材管理应用周期性地根据时间标识检测内景图片集合中是否产生过期图片，当集合中产生过期图片时，将过期图片删除。该过期图片是指拍摄时间与当前时间的时间间隔超过预设间隔的图片。示例性的，预设间隔可以为7天，这样，食材管理应用则会定期将集合中7天前拍摄的内景图片删除。

在一些实施例中，将具有上述图片名称的内景图片保存在内景图片集合中，同时，将具有上述图片名称的内景图片连同冰箱的身份信息，发送给服务器。服务器根据该身份信息，将该组内景图片存储在与该身份信息关联的路径下。其中，冰箱的身份信息可以是冰箱上登录食材管理应用的账号信息，也可以是冰箱的设备信息。可选择的，在向服务器发送内景图片之前，对要发送的内景图片执行压缩操作，以降低内景图片的体量。之后，再将压缩后的内景图片连同冰箱的身份信息，发送给服务器，以减少数据传输量，节省资源，节约存储空间。

在一些实施例中，用户可以通过输入储藏室内景查看指令，控制冰箱显示储藏室内景图片。控制器220被配置为执行图6示出的下述步骤：

S610，响应于输入的储藏室内景查看指令，获取至少一组内景图片，每一组内景图片包括在同一时间段采集的每个容纳格的内景图片。

在一些实施例中，用户在食材管理应用中输入储藏室内景查看指令。例如，用户可以通过点击图3所示食材管理界面中的内景查看控件，输入储藏室内景查看指令。

在另一些实施例中，用户使用冰箱的语音控制功能，输入储藏室内景查看指令。例如，用户说出预设语音口令，智能语音模块通过麦克风接收语音口令，并对语音口令进行解析，当解析出语音口令为储藏室内景查看指令时，将储藏室内景查看指令发送给食材管理应用。

在一些可选择的实现方式中，食材管理应用根据内景图片的时间标识或者图片存储时间，从内景图片集合中获取最近采集的一组或者多组内景图片。

在另一些可选的实现方式中，食材管理应用根据冰箱的身份信息从服务器获取最近采集的一组或者多组内景图片。例如，食材管理应用向服务器发送图片获取请求，图片获取请求中包括冰箱的身份信息。服务器根据该身份信息从关联路径中查找最近采集的一组或者多组内景图片，返回给食材管理应用。

S620，在用户界面中展示至少一组内景图片，其中，同组内景图片之间的展示位置关系与各内景图片对应的容纳格之间的位置关系相符。

在一些可选择的实现方式中，在用户界面中显示至少一个模板视图，每个模板视图中包括多个图片展示位，多个展示位之间的位置关系与多个容纳格之间的位置关系相符。对于每组内景图片，对于每张内景图片的位置标识，确定每张内景图片对应的容纳格；根据每张内景图片对应的容纳格，确定每张内景图片对应的展示位。从而，当各内景图片显示在对应的展示位时，各内景图片之间的位置关系与相应容纳格之间的位置关系相符。

需要说明的是，图片展示位的尺寸可以根据内景图片的尺寸设置，例如，图片展示位的尺寸可以与内景图片的尺寸完全相等，图片展示位的宽或高也可以大于内景图片的宽或高。

在一些可选择的实现方式中，模板视图还包括设置在图片展示位之间的间隔区域，该间隔区域用于模拟容纳格的层间隔板。其中，模板视图可以包括一个或者多个图层，可以通过设置图层的颜色、透明度等参数，生成包含图片展示位及间隔区域的模板视图。可以通过设置间隔区域的颜色、透明度等参数，使得间隔区域的显示效果可以模拟出容纳格层间隔板效果，从而使内景图片的呈现效果更为逼真，立体。比如，将间隔区域的颜色设置为与容纳格的层间隔板相同的颜色，可以将间隔区域的高度设置为与容纳格层间隔板的厚度相等。

示例性的，模板视图可以包括第一图层和第二图层，第一图层位于第二图层的上层。第一图层为一透明图层，包括预设的图片展示区域，即图片展示位，用于设置内景图片。相邻的图片展示区域之间具有预设尺寸的间隔区域。第二图层的透明度为0％，填充颜色为黑色。当将内景图片显示在第一图层的图片展示区域中时，第二图层中与图片展示区域对应的区域被内景图片覆盖，第二图层中未被内景图片覆盖的区域形成黑色的间隔区域，该间隔区域可以模拟模拟出容纳格的层间隔板效果。

另一示例性的，模板视图包括一个图层，该图层包括预设的图片展示区域，位于相邻的图片展示区域之间存在预设尺寸的间隔。该图层的透明度为0％，填充颜色为黑色。当将内景图片显示在图片展示区域中时，内景图片将图片展示区域覆盖，未被内景图片覆盖的区域形成黑色的间隔区域，该间隔区域可以模拟出容纳格层间隔板效果。

图7为本申请根据示例性实施例示出的一种模板视图，该模板视图包括展示位701、702及703，展示位701、702及703之间的位置关系与图1A示出的冰箱的容纳格1121、1122及1123之间的位置关系相符，均为上-中-下关系。从而，展示位701与容纳格1121对应，展示位702与容纳格1122对应，展示位703与容纳格1123对应。展示位701与702之间存在间隔区域704，该间隔区域704可模拟出容纳格1121与1122之间隔板的效果，展示位703与704之间存在间隔区域705，该间隔区域705可模拟出容纳格1122与1123之间隔板的效果。当分别将容纳格1121、1122及1123的内景图片显示在展示位701、702及703中时，内景图片的位置关系与容纳格之间的位置关系相符，均为上-中-下关系。

沿用上述示例，当用户在图3所示食材管理界面中点击内景查看控件时，显示如图8所示的内景展示界面。如图8所示，该内景展示界面包括图片展示区810和内容识别区820。图片展示区810中显示显示内景图片81、812及813，内景图片811、812及813在内景展示界面中的位置关系，与容纳格1121、1122及1123之间的位置关系相符。另外，在内景图片的下方，显示有该组内景图片的拍摄时间“6月5日”。这样，用户可以基于“6月5日”拍摄的内景图片，查看到“6月5日”时容纳格1121-1123中储藏的食材。例如，观察内景图片811可以看出，容纳格1121有“葡萄”、“香蕉”和“土豆”，观察内景图片812可以看出，容纳格1122有“桃”、“牛奶”，观察内景图片812可以看出，容纳格1123有“菠萝”、“榴莲”。此外，用户还可以在内景查看界面中触发显示下一组内景图片，通常，下一组内景图片的拍摄时间早于上一组内景图片的拍摄时间。例如，用户可以通过向左滑动当前内景图片，触发显示下一组内景图片。响应于用户的向左滑动操作，由图8所示界面变化为图9所示界面。与图8所示界面不同的是，在图9示出的内景查看界面中，图片展示区810显示内景图片有814、815及816，内景图片814、815及816为在“6月4日”采集的容纳格1121、1122及1123的内景图片。内容识别区820中的下方显示有“图片识别”控件821和“一键录入”控件822，用户可以通过点击“图片识别”控件821，指示对内景图片中的食材对象进行识别，识别出的食材的食材图标将显示在内容识别区中。用户可以对内容识别区中显示的食材图标进行选择，并通过点击“一键录入”控件822将选择的食材录入到食材管理应用中。

需要说明的是，图8和图9示出的内景展示界面作为本申请的一个示例，不构成对本申请保护范围的限定。例如，在内景展示界面中可以同时显示两组内景图片。通过在内景展示界面上同时展示两组在不同时间拍摄的内景图片，可以帮助用户了解到前后新增了哪些食材以及减少了哪些食材。又如，内景图片显示区可以限定在界面的左侧区域，内容识别区可以限定在界面的右侧区域。

在一些实施例中，用户可以通过冰箱关联的终端设备，查看冰箱储藏室内景。其中，与冰箱关联的终端设备可以是基于身份信息与冰箱实现关联的终端设备。其中，身份信息可以是设备信息、账号信息等，例如，食材管理应用登录的账号。

示例性的，将冰箱上食材管理应用登录的账号称为主业务账号。那么，冰箱关联的终端设备可以是与主业务账号绑定的终端设备，如与主业账号绑定的手机、电视、平板电脑等终端设备。还可以是与主业务账号关联的业务账号对应的终端设备，如与主业务账号关联的微信账号对应的手机、电脑等。还可以是登录该主业务账号的其他终端设备，如用户在电视上安装食材管理应用，并使用主业务账号在电视上登录食材管理应用时，电视即称为与冰箱关联的终端设备。

在一些实施例中，用户可以在手机、电视等其他终端设备上登录食材管理应用，在食材管理应用中输入冰箱内景查看指令。示例性的，图10为一种在终端设备上显示的食材管理界面，包括内景查看控件。用户可以点击内景查看控件以输入内景查看指令。终端设备响应于该指令，向服务器发送包含终端设备的身份信息的图片获取请求，其中，终端设备的身份信息可以是登录食材管理应用的账号信息，或者终端设备的设备信息。服务器根据终端设备的身份信息与冰箱的身份信息之间的关联关系，查找与该终端设备关联的冰箱的一组或者多组内景图片，返回给终端设备。终端设备将服务器返回的一组或者多组内景图片展示在用户界面中，并使同组内景图片之间的展示位置关系与各内景图片对应的容纳格之间的位置关系相符。图11为一种在终端设备上显示的内景展示界面，在图11中，显示有内景图片111、112及113，内景图片111、112及113在内景展示界面中的位置关系，与容纳格1121、1122及1123之间的位置关系相符，均为上-中-下关系。

由上述实施例可以看出，本申请实施例提供的冰箱，储藏室包括多个容纳格，储藏室的内景图片包括一组在同一时间段拍摄的每个容纳格的内景图片。本申请实施例提供的冰箱，能够响应于输入的内景查看指令，获取至少一组内景图片；并将该至少一组内景图片展示在用户界面中，其中，同组内景图片之间的展示位置关系与各内景图片对应的容纳格之间的位置关系相符。可以看出，本申请通过向用户展示内景图片，向用户展示储藏室内景，由于内景图片在用户界面中的排布方式与容纳格在储藏室中的设置位置相符，使储藏室内景的呈现效果更佳逼真，还原度很高。

在一些实施例中，用户可以在触发显示储藏室内景图片时，通过输入食材识别指令，指示冰箱对显示的内景图片中的食材对象进行识别。需要说明的是，冰箱也可以在显示出储藏室内景图片的同时，自动对显示的内景图片中的食材对象进行识别，而无需额外的用户操作。

基于以上实施例，控制器220被配置为执行图12所示步骤：

S121，响应于输入的内景查看指令，显示储藏室的内景图片，内景图片包括食材对象。

对于如图1A示出的冰箱，可以按照上述实施例中S610-620示出的方式，显示出储藏室的内景图片，显示效果可如图7、图8或者图9所示，此处不予赘述。

以图8为例，内景图片811中的食材对象包括“葡萄”、“香蕉”和“土豆”。

需要说明的是，根据冰箱结构、摄像头数量及位置的不同，储藏室的内景图片的数量相同或者不同。例如，内景图片可以是储藏室内部的全景图片，也可以由储藏室的不同局部的内景图片共同构成。根据内景图片的数量、尺寸等的不同，可以按照不同的方式展示。

S122，响应于输入的食材识别指令，显示与内景图片中食材对象相匹配的食材图标。

在一些实施例中，用户可以内景展示界面中点击“图片识别”控件，来输入食材识别指令，该指令用于指示冰箱对当前界面中的显示的内景图片进行识别。

在一些内景展示界面中，显示有多个“图片识别”控件，该多个“图片识别”控件显示的多张内景图片对应一一对应。用户可以点击与某张内景图片对应的“图片识别”控件，以输入针对该内景图片的识别食材指令。食材管理应用则响应于该指令，显示与该内景图片中的食材对象相匹配的食材图标。例如，在图13所示内景展示界面中，内景图片显示区中显示有内景图片1301、1302及1303，其中，内景图片1301包括食材对象①、食材对象②以及食材对象③，内景图片1302包括食材对象④、食材对象⑤以及食材对象⑥，内景图片1303包括食材对象⑦、食材对象⑧。每张内景图片右上角均显示有“图片识别”控件。当用户点击内景图片1301右上角的“图片识别”控件时，内容识别区中将显示与内景图片1301中食材对象相匹配的食材图标。例如，在图13中的内容识别区中，显示有与食材对象①相匹配的食材图标1、与食材对象②相匹配的食材图标2及与食材对象③相匹配的食材图标3。

在另一些实施例中，用户可以通过点击显示的某张内景图片，以输入针对该内景图片的食材识别指令。食材管理应用则响应于该指令，显示与该内景图片中的食材对象相匹配的食材图标。在这些实施例中，内景展示界面中可以显示“图片识别”控件，也可以不显示“图片识别”控件。在显示“图片识别”控件的实施情形中，用户仍可以通过操作“图片识别”控件，来输入食材识别指令。

在一些内景展示界面中，显示有一个“图片识别”控件，用户可以点击该“图片识别”控件，以输入针对显示的所有内景图片的食材识别指令。食材管理应用则响应于该指令，在内容识别区中显示与所有内景图片中的食材对象相匹配的食材图标。例如，在图14所示内景展示界面中，内景图片显示区中显示有内景图片1301、1302及1303，内容识别区中显示有“图片识别”控件。当用户点击该“图片识别”控件中，内容识别区中显示出与内景图片1301、1302及1303中食材对象相匹配的食材图标，包括与食材对象①-⑤以及食材对象⑦-⑧相匹配的食材图标1-5及食材图标7-8，其中由于食材对象⑤和⑥相同，因此在内容识别区中仅显示一个相匹配与其相匹配的食材图标。

在一些实现方式中，食材管理应用通过服务器识别内景图片中的食材对象。具体可参阅图15，冰箱上的食材管理应用响应于输入的食材识别指令，向服务器发送食材识别请求，食材识别请求中包括内景图片的相关信息。服务器接收到食材识别请求后，基于内景图片的相关信息对内景图片中的食材对象进行识别，获得识别结果，并将识别结果返回给冰箱，识别结果包括食材对象的标识性信息，如食材ID或者食材名称。冰箱上的食材管理应用接收到服务器返回的识别结果后，从预置食材库中获取与该识别结果相匹配的食材信息。例如，从预置食材库中获取包含食材对象的食材名称的食材信息。最后根据与识别结果相匹配的食材信息，显示与食材对象相匹配的食材图标。

在上述实施例中，内景图片的相关信息包括内景图片的唯一性标识和/或内景图片的图片数据。在以内景图片的唯一性标识作为相关信息的实施方式中，服务器需要根据该唯一性标识查找该唯一性标识表征的内景图片，从而基于查找出的内景图片进行图片识别。该唯一性标识可以是图片名称。而在一内景图片的图片数据作为相关信息的实施方式中，服务器直接基于该图片数据进行图像识别即可。

参阅图16，在一些实施例中，冰箱上的食材管理应用响应于输入的食材识别指令，向服务器发送食材识别请求，食材识别请求中包括内景图片的相关信息。服务器接收到冰箱发送的食材识别请求后，根据食材识别请求生成对应的图片识别任务，将图片识别任务添加到指定的任务队列中，以顺序执行该队列中的图片识别任务，避免由于并发执行大量图片识别任务，而造成服务器的处理压力过大。服务器生成图片识别任务后，生成结果标识，并将该结果标识返回给冰箱，该结果标识与食材识别请求或者基于食材识别请求而生成的图片识别任务对应。冰箱上的食材管理应用接收该结果标识，在第二时长(如2秒)后，向服务器发送包含该结果标识的结果获取请求。服务器根据该结果标识查找对应图片识别任务的识别结果，将该识别结果返回给冰箱。这样，服务器无需实时处理冰箱的图片识别请求，从而不会产生过大的处理压力，避免服务器崩溃。另外，通过向服务器发送图片识别请求，向服务器请求结果数据，使结果请求过程与图片识别请求过程分割开，避免食材管理应用一直等待识别结果而造成程序堵死。

需要说明的是，服务器或者冰箱获得识别结果后，对识别结果执行去重处理。例如，当识别结果中包含多个重复的食材名称时，将冗余的食材名称删除，而只保留一个食材名称。示例性的，原始识别结果及去重后的识别结果如下表所示：

在一些实施例中，在S121中，响应于输入的内景查看指令，显示最近采集的储藏室的内景图片；在S122中，根据服务器返回的对内景图片中食材对象的识别结果，确定储藏室中的新食材，该新食材是指未被确定为现有食材的食材。然后在用户界面中展示新食材的食材图标，而不展示非新食材的食材图标，实现过滤非新食材的效果，避免用户选择非新食材的食材图标进行添加，提高用户操作的准确性和针对性。在可选择的实现方式中，接收到服务器返回的食材对象的食材名称后，(从本地食材信息集合中)获取现有食材的食材名称集合；若食材对象的食材名称包含在现有食材的食材名称集合中，那么确定该食材对象不是新食材，若食材对象的食材名称未包含在现有食材的食材名称集合中，那么确定该食材对象是新食材。

在一些实施例中，通过S122，将与内景图片中食材对象相匹配的食材图标显示为待删除状态。这样，通过点击某个食材图标而删除该食材图标，最后的保留的食材图标即为选择的目标食材图标。

S123，根据用户选择的目标食材图标，将所述目标食材图标对应的食材信息确定为储藏室中现有食材的食材信息。

通过将目标食材图标对应的食材信息确定为现有食材的食材信息，完成食材添加操作，添加的食材即为目标食材图标所表征的食材。

在一些实施例中，响应于用户输入的食材录入指令，将用户选择的目标食材图标对应的食材信息确定为储藏室现有食材的食材信息。

应理解的是，用户可以通过多种操作方式从内容识别区中显示的食材图标中选择出目标食材图标。例如，通过长按某个食材图标而选中该食材图标。再如，通过长按某个食材图标而删除某个食材图标，最后保留的食材图标即为选择的目标食材图标。又如，通过长按某一个食材图标而触发所有食材图标进入待选择状态，再通过单击某个食材图标而选中该食材图标。又如，通过长按某一个食材图标而触发所有食材图标进入到待删除状态，再通过点击某个食材图标而删除该食材图标，最后的保留的食材图标即为选择的目标食材图标。

在一些实施例中，基于用户对内容识别区中的食材图标的操作，实时更新内容识别区，从而使用户可以根据内容识别区的显示情况确认对食材图标的选择情况。用户在完成对目标食材图标的选择操作后，可以通过操作内容识别区中的“一键录入”控件，以输入食材录入指令，食材管理应用响应于该指令，将目标食材图标对应的食材信息确定为储藏室中现有食材的食材信息，进而完成向食材管理应用中添加(录入)新食材的操作。

在可选择的实现方式中，将目标食材图标对应的食材信息确定为储藏室中现有食材的食材信息，具体为，将目标食材图标对应的食材信息添加到本地食材信息集合中，并标记为放入状态。

在一些实施例中，在将用户选择的目标食材图标对应的食材信息确定为现有食材的食材信息后，读取当前所有现有食材的食材信息，并将界面更新为食材管理界面。更新的食材管理界面中显示有当前所有现有食材的食材图标。

由以上实施例可以看出，本申请实施例提供的冰箱，可以响应于输入的内景查看指令，显示储藏室的内景图片，内景图片包括食材对象；响应于输入的食材识别指令，显示与内景图片中食材对象相匹配的食材图标；根据用户选择的目标食材图标，将目标食材图标对应的食材信息确定为储藏室中现有食材的食材信息。本申请可以基于图像识别获得储藏室中食材的食材信息，并以食材图标的形式展示出来，通过将用户选择的目标食材图标对应的食材信息确定为现有食材的食材信息，完成食材添加操作，添加的食材即为目标食材图标所表征的食材，省略手动输入食材信息的用户操作。

根据上述实施例提供的冰箱，本申请实施例还提供一种图像采集方法，该图像采集方法的执行主体包括但不限于上述冰箱的控制器。该图像采集方法的具体实施方式可以参考上述实施例，尤其是图4所示实施例，此处不予赘述。

根据上述实施例提供的冰箱，本申请实施例还提供一种图像采集方法，该图像采集方法的执行主体包括但不限于上述冰箱的控制器。该图像采集方法的具体实施方式可以参考上述实施例，尤其是图4所示实施例，此处不予赘述。

根据上述实施例提供的冰箱，本申请实施例还提供一种储藏室内景图片展示方法，该储藏室内景图片展示方法的执行主体包括但不限于上述冰箱的控制器。该储藏室内景图片展示方法的具体实施方式可以参考上述实施例，尤其是图6所示实施例，此处不予赘述。

根据上述实施例提供的冰箱，本申请实施例还提供一种食材录入方法，该食材录入方法的执行主体包括但不限于上述冰箱的控制器。该食材录入方法的具体实施方式可以参考上述实施例，尤其是图12所示实施例，此处不予赘述。

具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于冰箱实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (10)

1.一种冰箱，其特征在于，包括：

箱体，内部设有储藏室，用于储藏食材；

箱门，设于所述储藏室的开口处；

摄像头，设于所述箱门的位于所述储藏室内部的一侧，用于采集所述储藏室的内景图片；

显示器，设于所述箱门，用于显示用户界面；

与所述摄像头及所述显示器连接的控制器，被配置为：

响应于输入的内景查看指令，显示所述储藏室的内景图片，所述内景图片包括食材对象；

响应于输入的食材识别指令，显示与所述内景图片中食材对象相匹配的食材图标；

根据用户选择的目标食材图标，将所述目标食材图标对应的食材信息确定为储藏室中现有食材的食材信息。

2.根据权利要求1所述的冰箱，其特征在于，所述储藏室包括多个容纳格；响应于输入的内景查看指令，显示所述储藏室的内景图片，包括：

获取至少一组内景图片，每一组内景图片包括在同一时间采集的每个所述容纳格的内景图片；

在所述用户界面中展示所述至少一组内景图片，其中，同组内景图片之间的展示位置关系与各内景图片对应的容纳格之间的位置关系相符。

3.根据权利要求2所述的冰箱，其特征在于，响应于输入的食材识别指令，显示与所述食材对象相匹配的食材图标，包括：

响应于用户通过操作任意一个容纳格对应的内景图片输入的食材识别指令，显示与用户操作的内景图片中的食材对象相匹配的食材图标。

4.根据权利要求3所述的冰箱，其特征在于，所述控制器进一步被配置为，在显示所述储藏室的内景图片的同时，显示食材识别控件；响应于输入的食材识别指令，显示与所述食材对象相匹配的食材图标，包括：

响应于用户通过操作所述食材识别控件输入的食材识别指令，显示与所述内景图片组合中每张内景图片中的食材对象相匹配的食材图标。

5.根据权利要求1所述的冰箱，其特征在于，响应于输入的食材识别指令，显示与所述食材对象相匹配的食材图标，包括：

向服务器发送食材识别请求，所述食材识别请求包括所述内景图片的相关信息；

接收服务器返回的对所述食材对象的识别结果；

从预置食材库中获取与所述识别结果相匹配的食材信息；

根据与所述识别结果相匹配的食材信息，显示与所述食材对象相匹配的食材图标。

6.根据权利要求5所述的冰箱，其特征在于，所述内景图片的相关信息包括所述内景图片的唯一性标识和/或所述内景图片；其中，所述唯一性标识用于使服务器从冰箱预先上传的内景图片中查找所述唯一性标识表征的内景图片。

7.根据权利要求5所述的冰箱，其特征在于，所述识别结果包括所述食材对象的食材名称；从预置食材库中获取与所述识别结果相匹配的食材信息，包括：

从所述预置食材库中获取包含所述食材对象的食材名称的食材信息。

8.根据权利要求6所述的冰箱，其特征在于，接收服务器返回的对所述食材对象的识别结果之前，还包括：

接收服务器返回的结果标识；

在接收到所述结果标识的预设时长后，向服务器发送包含所述结果标识的结果获取请求，以使服务器返回与所述结果标识对应的识别结果。

9.根据权利要求1所述的冰箱，其特征在于，所述控制器进一步被配置为：

在显示所述食材图标时，接收用户输入的对所述食材图标的删除操作或者选中操作；

根据所述删除操作或者选中操作，确定用户选择的目标食材图标。

10.一种食材录入方法，其特征在于，应用于冰箱，所述方法包括：

响应于输入的内景查看指令，显示所述冰箱的内景图片，所述内景图片包括食材对象；

响应于输入的食材识别指令，显示与所述内景图片中食材对象相匹配的食材图标；

根据用户选择的目标食材图标，将所述目标食材图标对应的食材信息确定为所述冰箱中现有食材的食材信息。

Images