CN114022947A - 冰箱食材的管理方法、设备和冰箱 - Google Patents

Abstract

本发明揭示了一种冰箱食材的管理方法、设备和冰箱，所述方法包括：通过设置在冰箱上的主摄像头获取位于冰箱间室的食材被存入或者取出的动作过程图像；对所述动作过程图像划分成第一有效区域、第二有效区域和无效区域，并对各个区域进行图像模式识别和顺序比较，确定所述动作过程图像的食材信息和食材运动轨迹；根据所述食材运动轨迹，确定所述动作过程图像的操作类型。与现有技术相比，本发明冰箱食材的管理方法，只需要对食材进行图像模式识别和顺序比较，即可对冰箱间室的食材存取进行动态识别，省略了对手部进行图像模式识别这一步，减少了识别模型的复杂度，减轻了识别的工作量，提高识别效率。

Description

冰箱食材的管理方法、设备和冰箱

技术领域

本发明涉及家用电器技术领域，特别涉及一种冰箱食材的管理方法、设备和冰箱。

背景技术

目前，大部分的智能冰箱都实现了对内部食材的识别功能。

通常为了在冰箱上实现对冰箱内部食材的准确识别，冰箱的每个层架都对应安装一个或多个摄像头用于拍摄食材，并对拍摄的照片进行处理后生成识别结果直接显示在冰箱的显示界面或者发送至与冰箱连接的移动终端，例如手机。但是这种识别方法需要多个摄像头，使冰箱的结构复杂，成本增加。同时，这种方法还存在对堆叠食材无法识别的问题。

在另一个现有的图像识别技术中，使用动态识别的技术，根据手的动作，判断食材是放入还是取出，这种方法使用一个摄像头，即降低成本，有能够解决对堆叠食材无法识别的问题。但是使用这种技术识别冰箱内部食材，需要同时训练手部和食材的图像识别模型，图像识别复杂，识别效率低；另外这种识别方式对于放置在门体瓶座上的食材的识别很不友好，容易因为拍摄视角导致检测和识别不准确的问题。

发明内容

本发明的目的在于提供一种冰箱食材的管理方法、设备和冰箱。

为实现上述发明目的之一，本发明一实施方式提供一种冰箱食材的管理方法，所述方法包括：

通过设置在冰箱上的主摄像头获取位于冰箱间室的食材被存入或者取出的动作过程图像；

对所述动作过程图像划分成第一有效区域、第二有效区域和无效区域，并对各个区域进行图像模式识别和顺序比较，确定所述动作过程图像的食材信息和食材运动轨迹；

根据所述食材运动轨迹，确定所述动作过程图像的操作类型；

根据所述动作过程图像的食材信息和操作类型，管理位于冰箱间室内的食材统计信息。

作为本发明一实施方式的进一步改进，所述第一有效区域是位于冰箱外部的图像区域，所述第二有效区域是位于冰箱内部的图像区域，所述无效区域是在冰箱门打开后位于门体处的区域。

作为本发明一实施方式的进一步改进，所述“根据所述食材运动轨迹，确定所述动作过程图像的操作类型”具体包括：

若所述食材运动轨迹为食材从第一有效区域移动至第二有效区域，则所述操作类型为存入操作；

若所述食材运动轨迹为食材从第二有效区域移动至第一有效区域，则所述操作类型为取出操作；

若所述食材运动轨迹为食材的起点或者终点是无效区域，则所述操作类型为无效操作。

作为本发明一实施方式的进一步改进，所述动作过程图像的操作类型包括取出操作、存入操作和无效操作。

作为本发明一实施方式的进一步改进，所述方法还包括：

通过设置在冰箱上的辅摄像头获取用户关门时门体置物架的图像，确定位于所述置物架上的食材信息。

作为本发明一实施方式的进一步改进，所述方法还包括：

当冰箱门在闭合的过程中转动到第二预设角度时，辅摄像头拍摄照片，得到所述门体置物架的图像。

作为本发明一实施方式的进一步改进，所述方法还包括：

当冰箱门的开启角度超过第一预定角度时，主摄像头拍摄照片，得到所述位于冰箱间室的食材被存入或者取出的动作过程图像。

作为本发明一实施方式的进一步改进，所述主摄像头安装在冰箱间室内部的顶端，所述主摄像头的朝向为垂直于地面的方向。

为实现上述发明目的之一，本发明一实施方式提供一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任意一项所述冰箱食材的管理方法中的步骤。

为实现上述发明目的之一，本发明一实施方式提供一种冰箱，所述冰箱包含上述所述的电子设备。

与现有技术相比，本发明冰箱食材的管理方法，通过主摄像头对冰箱间室的食材存取过程进行拍摄，并将拍摄的照片进行区域划分，因此只需要对食材进行图像模式识别和顺序比较，即可对冰箱间室的食材存取进行动态识别，省略了对手部进行图像模式识别这一步，减少了识别模型的复杂度，减轻了识别的工作量，提高识别效率。

进一步的，通过主摄像头对冰箱间室的食材存取进行动态识别，结合辅摄像头对门上置物架的食材进行静态识别，从而对冰箱内的食材进行全方位的识别，避免因为识别不准确导致食材识别错误。

附图说明

图1是本发明冰箱食材的管理方法的流程示意图。

图2是本发明冰箱的主摄像头拍摄的图片的区域结构图。

具体实施方式

以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

如图1所示，本发明提供了一种冰箱食材的管理方法，所述方法通过主摄像头对冰箱间室(主要包括间室内的置物架和抽屉区域)的食材存取过程进行拍摄，并将拍摄的照片进行区域划分，因此只需要对食材进行图像模式识别和顺序比较，即可对冰箱间室的食材存取进行动态识别，省略了对手部进行图像模式识别这一步，减少了识别模型的复杂度，减轻了识别的工作量，提高识别效率。

进一步的，通过主摄像头对冰箱间室的食材存取进行动态识别，结合辅摄像头对门上置物架的食材进行静态识别，从而对冰箱内的食材进行全方位的识别，避免因为识别不准确导致食材识别错误。

所述方法包括：

步骤S100：通过设置在冰箱上的主摄像头获取位于冰箱间室的食材被存入或者取出的动作过程图像。

本发明的主摄像头优选为广角摄像头，可安装在冰箱间室内部的顶端，也可以安装在其它能够获取食材被存入或取出的动作过程图像的位置。在一个具体的实施方式中，所述冰箱为单开门冰箱，所述主摄像头安装在冰箱间室顶部靠近门体的边框的中部。

在另一个具体的实施方式中，所述冰箱为双开门冰箱，所述主摄像头安装在冰箱间室顶部靠近门体的边框中部的一侧，避免与冰箱关门装置相冲突。进一步的，所述摄像头可以不安装在边框上，而是安装在比边框靠里的位置，方便在一侧冰箱门关闭后，仍然可以拍摄食材被存入或取出的动作过程图像。

需要说明的是，可以在冰箱开门后启动主摄像头，然后当冰箱门的开启角度超过第一预定角度时，主摄像头拍摄照片，得到所述位于冰箱间室的食材被存入或者取出的动作过程图像。即当冰箱门打开超过第一预定角度后，主摄像头开始拍摄照片(或图片/图像)，一直到冰箱门在关闭过程中冰箱门的打开角度小于或等于第一预定角度后，主摄像头才停止拍摄。整个开关门的过程中，主摄像头得到多个食材被存入或者取出的动作过程图像。所述动作过程图像是指食材被存入或取出的一组过程图像。

在另一个优选的实施方式中，所述主摄像头的朝向为垂直于地面的方向。

步骤S200：对所述动作过程图像划分成第一有效区域、第二有效区域和无效区域，并对各个区域进行图像模式识别和顺序比较，确定所述动作过程图像的食材信息和食材运动轨迹。

图2是本发明冰箱的主摄像头拍摄的图片的区域结构图。

如图2所示，动作过程图像被划分成第一有效区域1、第二有效区域2和无效区域3。优选的，所述第一有效区域1是位于冰箱外部的图像区域，比如可以是拍摄到的地面区域。所述第二有效区域2是位于冰箱内部的图像区域，即食材被存入间室或者从间室取出，都会经过此区域。所述无效区域3是在冰箱门打开后位于门体处的区域。需要说明的是，第一有效区域1和第二有效区域2的交界线即为冰箱门闭合后门体与箱体的交界线。

将图像进行区域划分后，需要对各个区域进行图像模式识别和顺序比较，确定所述动作过程图像的食材信息和食材运动轨迹。

在现有的食材动态识别的方案中，需要对手部和食材都进行图像模式识别，才能获取对食材的操作类型。本发明中，由于对图像进行了区域划分，因此只需要对食材进行图像模式识别和顺序比较，即可对冰箱间室的食材存取进行动态识别，省略了对手部进行图像模式识别这一步，减少了识别模型的复杂度，减轻了识别的工作量，提高识别效率。

需要说明的是，所述食材信息包括食材名称，所述食材运行轨迹为按照时间顺序从一个区域移动到另一个区域。本发明中食材从一个区域移动至另一个区域，是指食材从一个区域，穿过两个区域的交界线，即认为移动至另一个区域。

为了进一步提高识别效率，减轻识别的工作量，在一个具体的实施方式中，将所述动作过程图像按照区域进行裁剪，对裁剪后的图像进行图像模式识别，当在一个区域中识别出食材信息后，可不再对同一个图片的其它区域进行图像模式识别。

在一个优选的实施方式中，对于主摄像头拍摄的连续的图片，可以隔帧进行处理，用以进一步提高识别效率。由于主摄像头拍摄的图片间隔为百毫秒级别，而人的动作很难用百毫秒的时间从一个区域移动到另一个区域，因此，在处理完一张图片后，可以隔一帧或多帧(即跳过一张或多张照片)进行处理。

步骤S300：根据所述食材运动轨迹，确定所述动作过程图像的操作类型。

所述动作过程图像的操作类型优选包括取出操作、存入操作和无效操作。

在一个具体的实施方式中，若所述食材运动轨迹为食材从第一有效区域移动至第二有效区域，则所述操作类型为存入操作。需要说明的是，只要食材从第一有效区域穿过第一有效区域和第二有效区域的交界线，即认为所述操作类型为存入操作。

若所述食材运动轨迹为食材从第二有效区域移动至第一有效区域，则所述操作类型为取出操作。需要说明的是，只要食材从第二有效区域穿过第一有效区域和第二有效区域的交界线，即认为所述操作类型为取出操作。

若所述食材运动轨迹为食材的起点或者终点是无效区域，则所述操作类型为无效操作。即只要食材从第一/二有效区域穿过第一/二有效区域与无效区域的交界线，或者食材穿过第一/二有效区域与无效区域的交界线，进入第一/二有效区域，即认为是无效操作。无效区域为冰箱门体(门体置物架)打开后所处的位置。由于本发明对只对冰箱间室内的食材进行动态识别，而对于门体置物架上的食材使用静态识别的方式，因此，不论是从门体置物架上取食材，还是将食材放入门体置物架上，都不是本发明动态识别的对象，因此判断其为无效操作，不影响动态识别的结果。

步骤S400：根据所述动作过程图像的食材信息和操作类型，管理位于冰箱间室内的食材统计信息。

主摄像头拍摄的整个存取过程中的动作过程图像，能够获取此次开门时间段食材进出冰箱间室的信息，即在冰箱间室内存入某些食材，或者从冰箱间室内取出某些食材，或者即存入某些食材又取出另外或相同的食材。根据上次统计的结果，结合本次开门时间段的存取情况，得到冰箱间室内的食材统计信息。

当冰箱门打开一定角度后，主摄像头拍摄到的门体置物架上的食材存在变形，导致在识别过程中会出现识别不准确的问题。为了能够准确管理整个冰箱内的食材，解决门体置物架上食材识别不准确的问题，在一个优选的实施方式中，所述方法还包括：

步骤S500：通过设置在冰箱上的辅摄像头获取用户关门时门体置物架的图像，确定位于所述置物架上的食材信息。

在冰箱上设置辅摄像头，用以解决主摄像头拍摄门体置物架食材导致食材变形从而无法准确识别食材的问题。为了降低食材的变形度，优选所述辅摄像头的朝向不是正对着闭合的冰箱门体，而是朝外偏移一定角度(例如15度)，并在冰箱门闭合到第二预设角度(比如45度)时，辅摄像头拍摄照片，得到食材变形度较小的图片，保证对门体置物架食材识别的准确性。优选辅摄像头也是广角摄像头。

需要说明的是，如果是单开门冰箱，一次关门拍摄一张照片，如果是双开门冰箱，每扇门关闭都拍摄一张照片，总共两张照片。

根据辅摄像头拍摄的门体置物架的图片，得到的门体置物架上的食材信息，即为门体置物架上的食材统计信息。

根据冰箱间室内的食材统计信息，结合门体置物架上的食材统计信息，就能够得到整个冰箱内部的食材信息，对冰箱的食材进行管理。

本发明的冰箱食材的管理方法，通过主摄像头对冰箱间室的食材存取进行动态识别，结合辅摄像头对门上置物架的食材进行静态识别，从而对冰箱内的食材进行全方位的识别，避免因为识别不准确导致食材识别错误，提高识别的准确性。

在一个具体的实施方式中，冰箱的主摄像头为100度广角防雾网络摄像头，设置在冰箱间室内部的顶端，且主摄像头的朝向为垂直于地面的方向。冰箱的辅摄像头为200度广角防雾网络摄像头，也设置在冰箱间室内部的顶端，辅摄像头的朝向不是正对着闭合的冰箱门体，而是朝外偏移一定15度角，以保证冰箱门闭合到45度时，辅摄像头拍摄的照片还原度较高。

当冰箱门开启后，主辅摄像头启动。当冰箱门的开启角度超过第一预定角度时，主摄像头开始拍摄照片，当冰箱门的开启角度小于或等于第一预定角度，主摄像头停止拍摄照片，这个冰箱门开关的过程中，得到所述位于冰箱间室的食材被存入或者取出的多个动作过程图像。

将所述动作过程图像划分成第一有效区域、第二有效区域和无效区域，并对各个区域进行图像模式识别和顺序比较，当识别到某个食材从第一有效区域穿过第一有效区域和第二有效区域的交界线，则判断为对所述食材的为存入操作；当识别到某个食材从第二有效区域穿过第一有效区域和第二有效区域的交界线，则判断为对所述食材的取出操作；当时别到某个食材从第一/二有效区域穿过第一/二有效区域与无效区域的交界线，或者食材穿过第一/二有效区域与无效区域的交界线，进入第一/二有效区域，则判断为无效操作，不影响动态识别的结果。从而根据所述动作过程图像得到食材信息和操作类型。

主摄像头拍摄的整个存取过程中的动作过程图像，能够获取此次开门时间段食材进出冰箱间室的信息，即在冰箱间室内存入某些食材，或者从冰箱间室内取出某些食材，或者即存入某些食材又取出另外或相同的食材。根据上次统计的结果，结合本次开门时间段的存取情况，得到冰箱间室内的食材统计信息。

在冰箱门关闭的过程中，当冰箱门位于45度角时，辅摄像头拍摄关于门体置物架上的食材的照片。当冰箱门闭合后，主辅摄像头关闭。根据所述辅摄像头拍摄的照片，确定位于所述门体置物架上的食材信息。

根据冰箱间室内的食材统计信息，结合门体置物架上的食材统计信息，就能够得到整个冰箱内部的食材信息，对冰箱的食材进行管理。

本发明还提供一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述冰箱食材的管理方法中的任意一个步骤，也就是说，实现上述所述冰箱食材的管理方法中任意一个技术方案中的步骤。

本发明还提供一种冰箱，所述冰箱包含上述所述的电子设备。

应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (10)

1.一种冰箱食材的管理方法，其特征在于，所述方法包括：

通过设置在冰箱上的主摄像头获取位于冰箱间室的食材被存入或者取出的动作过程图像；

对所述动作过程图像划分成第一有效区域、第二有效区域和无效区域，并对各个区域进行图像模式识别和顺序比较，确定所述动作过程图像的食材信息和食材运动轨迹；

根据所述食材运动轨迹，确定所述动作过程图像的操作类型；

根据所述动作过程图像的食材信息和操作类型，管理位于冰箱间室内的食材统计信息。

2.根据权利要求1所述冰箱食材的管理方法，其特征在于：

所述第一有效区域是位于冰箱外部的图像区域，所述第二有效区域是位于冰箱内部的图像区域，所述无效区域是在冰箱门打开后位于门体处的区域。

3.根据权利要求2所述冰箱食材的管理方法，其特征在于，所述“根据所述食材运动轨迹，确定所述动作过程图像的操作类型”具体包括：

若所述食材运动轨迹为食材从第一有效区域移动至第二有效区域，则所述操作类型为存入操作；

若所述食材运动轨迹为食材从第二有效区域移动至第一有效区域，则所述操作类型为取出操作；

若所述食材运动轨迹为食材的起点或者终点是无效区域，则所述操作类型为无效操作。

4.根据权利要求1所述冰箱食材的管理方法，其特征在于：

所述动作过程图像的操作类型包括取出操作、存入操作和无效操作。

5.根据权利要求1所述冰箱食材的管理方法，其特征在于，所述方法还包括：

通过设置在冰箱上的辅摄像头获取用户关门时门体置物架的图像，确定位于所述置物架上的食材信息。

6.根据权利要求5所述冰箱食材的管理方法，其特征在于，所述方法还包括：

当冰箱门在闭合的过程中转动到第二预设角度时，辅摄像头拍摄照片，得到所述门体置物架的图像。

7.根据权利要求1所述冰箱食材的管理方法，其特征在于，所述方法还包括：

当冰箱门的开启角度超过第一预定角度时，主摄像头拍摄照片，得到所述位于冰箱间室的食材被存入或者取出的动作过程图像。

8.根据权利要求1所述冰箱食材的管理方法，其特征在于：

所述主摄像头安装在冰箱间室内部的顶端，所述主摄像头的朝向为垂直于地面的方向。

9.一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-8任意一项所述冰箱食材的管理方法中的步骤。

10.一种冰箱，其特征在于，所述冰箱包含如权利要求9所述的电子设备。

Images