CN115493343B - 一种冰箱及其食材管理方法及装置 - Google Patents

Abstract

本申请涉及冰箱领域，特别涉及一种冰箱及其食材管理方法及装置，用于食材的管理效率，该方法为：通过设置在冰箱上的图像采集装置，采集冰箱门体活动区域的图像，通过设置在储藏室内的辅助传感器，采集储藏室内的测量信息，在确定图像中不存在食材存取操作时，则基于测量信息，判断是否存在食材存取操作。这样，提高了食材存取操作的判断准确率，从而提高了食材管理效率和准确率。

Description

一种冰箱及其食材管理方法及装置

技术领域

本申请涉及冰箱技术领域，特别涉及一种冰箱及其食材管理方法及装置。

背景技术

随着科技的逐步发展，冰箱成为日常生活中不可或缺的重要存储装置。冰箱的食材位置管理是食材管理的重点之一，同时也是难点之一。

现有的食材位置管理方案中，冰箱顶部安装有深度相机，通过深度相机，获取食材存取过程中手部的图像，并根据图像的深度信息，确定食材的存取位置。

然而，深度相机存在视场角(Field of Vision，FOV)，深度相机无法获取 FOV以外的区域(称为盲区)的图像，特别地，在冰箱场景下，深度相机无法获取冰箱冷藏室第一层最左边以及最右边的区域。此外，由于受手部追踪算法、深度信息之间的误差的影响，存取位置的确定准确率低。

发明内容

本申请提供了一种冰箱及其食材管理方法及装置，用以提高存取位置的确定准确率，提高食材的管理效率。

第一方面，本申请实施例中提供一种冰箱，包括：

机壳，所述机壳包括储藏室，所述储藏室具有开口；

门体，与所述机壳活动连接，用于遮挡所述开口；

图像采集装置，设于所述机壳顶部，用于采集所述门体的活动区域的图像；

辅助传感器，设于所述储藏室内，用于采集所述储藏室内的存储区域的测量信息；

控制器，被配置为：

响应于所述门体开启，获取所述图像采集装置采集的图像，以及获取所述辅助传感器采集的测量信息；

若确定所述图像中不存在食材存取操作，则基于所述测量信息，判断是否存在食材存取操作。

第二方面，本申请实施例中提供一种冰箱，包括：

机壳，所述机壳包括储藏室，所述储藏室具有开口，所述储藏室内包含多层储藏空间，每层储藏空间内均设有至少一个辅助传感器，每个辅助传感器均用于采集测量信息，并将所述测量信息发送到控制器；

门体，与所述机壳活动连接，用于遮挡所述开口；

控制器，被配置为：

响应于所述门体开启，获取各个辅助传感器采集的测量信息；

基于所述测量信息，判断是否存在食材存取操作。

第三方面，本申请实施例中提供一种冰箱，包括：

机壳，所述机壳包括储藏室，所述储藏室具有开口；

门体，与所述机壳活动连接，用于遮挡所述开口；

图像采集装置，设于所述机壳顶部，用于采集所述门体的活动区域的图像；

辅助传感器，设于所述储藏室内，用于采集所述储藏室内的存储区域的测量信息，所述测量信息用于在门体开启，且所述图像采集装置采集的所述图像中不存在食材存取操作时，判断是否存在食材存取操作。

第四方面，本申请实施例中提供一种冰箱，包括：

机壳，所述机壳包括储藏室，所述储藏室具有开口；

门体，与所述机壳活动连接，用于遮挡所述开口；

辅助传感器，设于所述储藏室内，用于采集所述储藏室内的存储区域的测量信息，所述测量信息用于在门体开启时，判断是否存在食材存取操作。

第五方面，本申请实施例中提供一种食材管理方法，包括：

响应于门体开启，获取图像采集装置采集的门体活动区域的图像，以及获取辅助传感器采集的储藏室内的存储区域的测量信息，其中，所述图像采集装置设置于机壳顶部，辅助传感器设置于储藏室内；

若确定所述图像中不存在食材存取操作，则基于所述测量信息，判断是否存在食材存取操作。

可选的，若所述辅助传感器为TOF传感器，且所述测量信息中包含的所述辅助传感器与遮挡物之间的距离小于或等于储藏室宽度，则确定存在食材存取操作；或者，

若所述辅助传感器为红外对射光电传感器，且所述测量信息中包含的光线强度小于预设的光强门限值，则确定存在食材存取操作；或者，

若所述辅助传感器为红外温度传感器，且根据所述测量信息中包含的温度信息，则确定存在食材存取操作。

第六方面，本申请实施例中提供一种食材管理方法，包括：

响应于门体开启，获取储藏室的多层储藏空间内设置的各个辅助传感器采集的测量信息，其中，每层储藏空间内均设有至少一个辅助传感器；

基于所述测量信息，判断是否存在食材存取操作。

第七方面，一种存储介质，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行如上述任一项所述的食材管理方法。

综上所述，本申请实施例中，通过设置在冰箱上的图像采集装置，采集冰箱门体活动区域的图像，通过设置在储藏室内的辅助传感器，采集储藏室内的测量信息，在确定图像中不存在食材存取操作时，则基于测量信息，判断是否存在食材存取操作。这样，在根据图像采集装置采集的图像无法确定存在食材存取操作时，可以根据辅助传感器采集的测量信息进行判断，从而提高了食材存取操作的判断准确率，从而提高了食材管理效率和准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中提供的一种冰箱的应用场景图；

图2a为本申请实施例中提供的第一种冰箱的结构示意图；

图2b为本申请实施例中提供的第一种冰箱的隔层结构示意图；

图3a为本申请实施例中提供的TOF传感器的示意图；

图3b为本申请实施例中提供的红外对射光电传感器的一种示意图；

图3c为本申请实施例中提供的红外对射光电传感器的另一种示意图；

图3d为本申请实施例中提供的红外温度传感器的示意图；

图4a为本申请实施例中提供的第二种冰箱的结构示意图；

图4b为本申请实施例中提供的第二种冰箱的一种隔层结构示意图；

图4c为本申请实施例中提供的第二种冰箱的另一种隔层结构示意图；

图5为本申请实施例中提供的第一种分布方式的示意图；

图6为本申请实施例中提供的第二种分布方式的示意图；

图7a为本申请实施例中提供的第三种分布方式的示意图；

图7b为本申请实施例中提供的第三种分布方式中的第一层储藏空间的示意图；

图8a为本申请实施例中提供的第一种分布方式中FOV的示意图；

图8b为本申请实施例中提供的第二种分布方式中FOV的示意图；

图8c为本申请实施例中提供的第一种分布方式中FOV的示意图；

图9为本申请实施例中提供的一种冰箱中控制器的结构示意图；

图10为本申请实施例中提供的另一种冰箱中控制器的结构示意图；

图11为本申请实施例中提供的一种食材管理方法的流程示意图；

图12为本申请实施例中提供的一种阵列图像的示意图；

图13为本公开实施例中提供的另一种食材管理方法的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

在本公开的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本公开的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本公开中的具体含义。

针对现有技术中深度相机无法获取FOV以外的区域的图像，从而无法对 FOV以外的区域的食材进行管理，且受手部追踪算法、深度信息之间的误差影响，得到的食材存取位置的准确率低。本申请实施例中，通过辅助传感器采集的储藏室内的存储区域的测量信息，判断是否存在食材存取操作，从而实现对冰箱中位于图像采集装置的盲区的食材进行管理，提高了存取操作的识别准确率，进而提高了食材管理效率。

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

参阅图1所示，为本申请实施例提供的一种冰箱的应用场景图。

冰箱100可提供包括但不限于食材管理功能。具体冰箱类型、尺寸大小和功率等不作限定。

冰箱100还与服务器200通过多种通信方式进行数据通信。这里可允许冰箱100通过局域网(Local Area Network，LAN)、无线局域网(Wireless Local Area Network，WLAN)和其他网络进行通信连接。服务器200可以向冰箱100提供各种内容和互动。示例性的，冰箱100可以发送和接收信息，例如：接收图像、访问远程储存的数字媒体库、发送待检测图像数据等。服务器200可以一组，也可以多组，可以一类或多类服务器。服务器200可以部署于本地，也可以部署于云端，通过服务器200实现图像识别等功能。

图2a和图2b中示例性示出了本申请实施例提供的第一种冰箱的结构。

参阅图2a所示，冰箱100包括机壳110、制冷部(未在图中示出)以及其他附件(比如箱体内可设置照明灯、温度计等，未在图中示出)。制冷系统中主要组成有压缩机、冷凝器、蒸发器和毛细管节流器等部件，自成一个封闭的循环系统。其中，蒸发器可安装在冰箱内部的上方，其他部件安装在冰箱的背面。

机壳110安装有门体120。在一些实施例中，门体120上可进一步设置有显示屏(未在图中示出)，显示屏与控制器耦接(如通过电路连接)。

机壳110可以包括储藏室。冰箱100的外观可以通过限定储藏室的储藏空间和门体120的位置进行确定。在一些实施例中，储藏室为具有开口的箱体，其由储藏室内胆、储藏室外壳以及位于两者之间的发泡层形成。门体120用于遮挡储藏室的开口。储藏室被竖直分隔成位于下方的冷冻室以及位于上方的冷藏室。其中，冷冻室和冷藏室可分别具有独立的储藏空间。

在一些实施例中，门体120可以包括冷冻室门体和冷藏室门体。示例性的，冷冻室限定在储藏室的下侧处并且可通过冷冻室门体将冷冻室的开口进行选择性地覆盖。

在一些实施例中，冷藏室限定在储藏室的上侧处，即冷藏室设置在冷冻室上方。并且，通过冷藏室门体将冷藏室的开口进行选择性地覆盖。在实际应用中，冷藏室门体可枢转地安装在冷藏室上，这样可以使冷藏室的开口通过冷藏室门体选择性地打开或关闭。

在一些实施例中，在本申请实施方式中的冰箱的储藏室内，可以包括储物抽屉以及位于储物抽屉上的第一层架和第二层架。其中，储物抽屉第一层架和第二层架可以分别用来放置存储食材(例如，水果、蔬菜等)。

在机壳110上还可设置图像采集装置130，该图像采集装置130用于采集门体120的活动区域的图像。其中，以冰箱门所在平面为第一平面，机壳110 前侧区域至少包括以第一平面为基准，向冰箱外方向扩展一定距离的区域，图像采集装置130可采集该区域的图像，即可以拍摄到用户打开门体120后进行食材存取过程中的手部动作图像以及所存取的食材的图像。示例性的，图像采集装置130可以采用但不限于深度相机。

参阅图2b所示，冰箱的机壳110中可包括多个隔层(如图中的隔层50a 至隔层50d)，多个隔层将储藏室分割为多层储藏空间以方便用户对不同食材进行分类存储。

在一些实施例中，图像采集装置130可设置在机壳110的顶部。示例性的，图像采集装置130可设置在机壳110的上部靠近门体120的位置，以便能够拍摄门体120的活动区域内的图像。

在一些实施例中，储藏室内包含多层储藏空间，辅助传感器140设置于顶层储藏空间中靠近门体120的一侧。

在一些实施例中，冰箱100中还包含辅助传感器140。辅助传感器140设置于储藏室内，用于采集储藏室内的存储区域的测量信息。示例性的，辅助传感器140可以采用但不限于红外对射光电传感器、单点TOF传感器、红外温度传感器、超声波雷达、毫米波雷达等。

下面，分别以辅助传感器140为红外对射光电传感器、单点TOF传感器、红外温度传感器为例进行说明。

参阅图3a所示，传感器140可以采用单点TOF传感器。单点TOF传感器安装在储藏空间中靠近门体120的一侧，若不存在食材存取操作，单点TOF 传感器测量得到的距离L1的取值为冰箱的宽度L2。若存在食材存取操作，由于手部或者食材的遮挡，单点TOF传感器测量得到的距离L2小于冰箱的宽度 L2。基于上述原理，根据单点TOF传感器测得的距离，可以确定是否存在食材存取操作，具体的，若单点TOF传感器单点TOF传感器测量得到的距离L2 小于冰箱的宽度L2，则确定存在食材存取操作。

参阅图3b，传感器可以采用红外对射光电传感器。红外对射光电传感器包含发射部件和接收部件，接收部件和发射部件设置于不同的两端，发射部件发射红外发射光束，接收部件根据接收到红外发射光束，判断是否存在遮挡，即是否存在食材存取操作。

若发射部件发射的红外发射光束是一束很细的激光束，那么在实际应用过程中，对红外对射光电传感器的安装位置的精度要求高，因此，为降低传感器安装要求，参阅图3c所示，红外发射光束可以有一定FOV。本申请实施例中，可以将辅助传感器的FOV之外的范围称为辅助传感器的盲区。

参阅图3d，辅助传感器还可以采用红外温度传感器。红外温度传感器可以检测温度变化，进而根据温度变化确定是否存在食材存取操作。例如，当位于顶层储藏空间的红外温度传感器检测到温度骤升时，确定顶层储藏空间中存在食材存取操作。

图4a和图4b中示例性示出了本申请实施例提供的第二种冰箱的结构。

参阅图4a所示，冰箱包括机壳210、制冷部(未在图中示出)以及其他附件(比如箱体内可设置照明灯、温度计等，未在图中示出)。机壳210安装有门体220。机壳210可以包括储藏室，储藏室为具有开口的箱体。门体220 用于遮挡储藏室的开口。冰箱的结构，具体可参阅冰箱100，在此不再赘述。

参阅图3b所示，冰箱的机壳210中可包括多个隔层，多个隔层将储藏室分割为多层储藏空间以方便用户对不同食材进行分类存储。冰箱中包含多个辅助传感器230。

在一些实施例中，每层储藏空间中均设置一个辅助传感器230。辅助传感器230可以采用但不限于单点TOF传感器、红外温度传感器、红外对射光电传感器中的任一项。

需要说明的是，由于红外对射光电传感器的发射部件和接收部件不在同一端，因此，参阅图4c所示，若辅助传感器230采用红外对射光电传感器，则可将红外对射光电传感器的发射部件和接收部件分别设置于储藏空间中靠近门体220的两侧。

在一些实施例中，由于红外对射光电传感器的发射部件存在盲区，当对体积较小的食材存取时，可能出现漏检的情况，因此，冰箱的每层储藏空间中均设置多个红外对射光电传感器，这样，通过密布(即每层储藏空间中设置多个红外对射光电传感器)的方式，以实现减小甚至消除盲区。

下文中，仅以每层储藏空间中设置两个红外对射光电传感器为例进行说明。

第一种分布方式：在储藏室的一侧，每层储藏空间中设有红外对射光电传感器的发射部件，相应的，在储藏室的另一侧，设有相应的接收部件。

参阅图5所示，第一层储藏空间中，储藏室的左侧设置有发射部件1和发射部件2，储藏室的右侧设置有接收部件1和接收部件2，其中，接收部件1 和发射部件1属于红外对射光电传感器1，接收部件2和发射部件2属于红外对射光电传感器3。第二层储藏空间中，储藏室的左侧设置有发射部件3和发射部件4，储藏室的右侧设置有接收部件3和接收部件4，其中，接收部件3 和发射部件3属于红外对射光电传感器3，接收部件4和发射部件4属于红外对射光电传感器4。

然而，采用第一种分布方式，密布多个红外对射光电传感器可能会造成接收部件之间的干扰，进而导致不能准确地检测出存取动作。例如，各个红外对射光电传感器的FOV的取值为：FOV＝2×arctan(height/width)，其中，height表示每层储藏空间的层高，width用于表示每层储藏空间的宽度。

当遮挡物(食材或者手部)位于如图5所示的位置时，对于接收部件2，虽然物体挡住了发射部件2发射的红外激光光束，接收部件2接收不到发射部件2发射的红外激光光束，但是接收部件2可以接收到发射部件3发射的红外激光光束。

为了减少多个红外对射光电传感器之间的干扰，可以采用但不限于以下方式：

第二种分布方式：在储藏室的一侧，每层储藏空间中交替设有多个辅助传感器的发射部件和接收部件，在储藏室的另一侧，设有相应的接收部件和发射部件。

参阅图6所示，第一层储藏空间中，储藏室的左侧依次设置有发射部件1 和接收部件2，储藏室的右侧对应设置有接收部件1和发射部件2，其中，接收部件1和发射部件1属于红外对射光电传感器1，接收部件2和发射部件2 属于红外对射光电传感器3。第二层储藏空间中，储藏室的左侧设置有发射部件3和接收部件4，储藏室的右侧对应设置有接收部件3和发射部件4，其中，接收部件3和发射部件3属于红外对射光电传感器3，接收部件4和发射部件 4属于红外对射光电传感器4。

显然，采用第二种方式可以一定程度上消除这种多个红外对射光电传感器之间的干扰，且相较于第一种方式，在不减少发射部件的FOV的条件下，发射器密布的间隔可以减小1/2。

然而，对于FOV的取值大于2×arctan(height/width)的红外对射光电传感器，采用第一种方式和第二种方式均会产生一定程度的干扰，为了进一步的减少多个红外对射光电传感器之间的干扰，本申请实施例中提供了第三种可能的实现方式。

第三种分布方式：在储藏室的一侧，一层储藏空间设有多个辅助传感器的发射部件，且相邻层储藏空间内设有辅助传感器的接收部件，在储藏室的另一侧，设有相应的接收部件和发射部件。

参阅图7a所示，第一层储藏空间中，储藏室的左侧依次设置有发射部件1 和发射部件2，储藏室的右侧对应设置有接收部件1和接收部件2，其中，接收部件1和发射部件1属于红外对射光电传感器1，接收部件2和发射部件2 属于红外对射光电传感器3。第二层储藏空间中，储藏室的左侧设置有接收部件3和接收部件4，储藏室的右侧对应设置有发射部件3和发射部件4，其中，接收部件3和发射部件3属于红外对射光电传感器3，接收部件4和发射部件 4属于红外对射光电传感器4。在第三层储藏空间中，储藏室的左侧依次设置有发射部件5和发射部件6，储藏室的右侧对应设置有接收部件5和接收部件 6，其中，接收部件5和发射部件5属于红外对射光电传感器5，接收部件6 和发射部件6属于红外对射光电传感器6。这样，减少了不同层储藏空间的红外对射光电传感器之间的干扰。

需要说明的是，参阅图7b所示，由于红外对射光电传感器的FOV的取值大于2×arctan(height/width)，因此，接收部件1可以同时接收到发射部件1发射出的红外激光光束和发射部件2发射出的红外激光光束，接收部件1也可以同时接收到发射部件1发射出的红外激光光束和发射部件2发射出的红外激光光束。若用户在第一层储藏空间中进行食材存取，接收部件1接收不到发射部件2发射出的红外激光光束，但可以接收到发射部件2发射出的红外激光光束，接收部件2接收不到发射部件1发射出的红外激光光束，但可以接收到发射部件1发射出的红外激光光束。为了提高检测效率，可以在接收部件接收到的光线强度小于预设光强阈值时，确定存在食材存取操作。其中，预设光强阈值为无遮挡时接收部件接收到的光线强度。

下面，针对上述三种分布方式，依次说明采用上述三种分布方式时，多个红外对射光电传感器之间不产生干扰的目标FOV，也可以称为最大FOV。

参阅图8a所示，当红外对射光电传感器的FOV小于2×arctan((2b/3)/a)时，相邻层储藏空间的红外接收传感器之间不会产生干扰，其中，b表示每层储藏空间的层高，a用于表示每层储藏空间的宽度。例如，当b＝20cm，a＝75cm，最大FOV的取值为20.16°。

参阅图8b所示，当红外对射光电传感器的FOV小于2×arctan(b/a)时，相邻层储藏空间的红外接收传感器之间不会产生干扰。例如，当b＝20cm，a＝75cm，最大FOV的取值为29.86°。

参阅图8c所示，当红外对射光电传感器的FOV小于2×arctan((5b/3)/a)时，相邻层储藏空间的红外接收传感器之间不会产生干扰。例如，当b＝20cm， a＝75cm，最大FOV的取值为47.92°。

参阅表1所示，其为上述三种分布方式对红外对射光电传感器的FOV的要求，即最大FOV。可见，相对于第一种分布方式，第二种分布方式和第三种分布方式均减少了对红外对射光电传感器的FOV的要求，降低了设备安装难度，且减少了多个红外对射光电传感器之间的干扰。相较于第一种分布方式和第二种分布方式，第三种分布方式极大地减少对红外对射光电传感器的FOV 的要求，同时，减少相邻或间隔冰箱隔层间的相互干扰，大大提高了检测的稳定性，简化了冰箱管理流程，从而方便了用户对冰箱的管理。

表1三种分布方式对红外对射光电传感器的FOV的要求

需要说明的是，图2a、图2b、图4a、图4b、图4c所示的冰箱的结构仅为一种实施例，本申请实施例对冰箱的大小、以及对门体的数量(比如可以是单个门体，也可以是多个门体)等不做限制，比如，在一些实施例中，冰箱中设置有射频识别(Radio FrequencyIdentification，RFID)读写器，可用来读取食材包装上的RFID标签，以获取食材的种类和数量等信息。在另一些实施例中，冰箱还具有语音功能，能够识别输入的语音，以获取用户通过语音方式输入的食材的种类和数量等信息。

图9示例性示出了一种冰箱中的控制器的结构示意图，如图所示，控制器 900与图像采集装置、辅助传感器相连接。控制器900可包括：获取单元901 和处理单元902。

其中，获取单元901，用于响应于门体开启，获取图像采集装置采集的门体活动区域的图像，以及获取辅助传感器采集的储藏室内的存储区域的测量信息，其中，所述图像采集装置设置于机壳顶部，辅助传感器设置于储藏室内；

处理单元902，用于若确定所述图像中不存在食材存取操作，则基于所述测量信息，判断是否存在食材存取操作。

可选的，处理单元902具体用于：

若所述辅助传感器为单点飞行时间TOF传感器，且所述测量信息中包含的所述辅助传感器与遮挡物之间的距离小于或等于储藏室宽度，则确定存在食材存取操作；或者，

若所述辅助传感器为红外对射光电传感器，且所述测量信息中包含的光线强度小于预设的光强门限值，则确定存在食材存取操作；或者，

若所述辅助传感器为红外温度传感器，则根据所述测量信息中包含的温度信息，确定存在食材存取操作。

图10示例性示出了另一种冰箱中的控制器的结构示意图，如图所示，控制器1000与辅助传感器相连接。控制器1000可包括：获取单元1001和判断单元1002。

其中，获取单元1001，用于响应于门体开启，获取储藏室的多层储藏空间内设置的各个辅助传感器采集的测量信息，其中，每层储藏空间内均设有至少一个辅助传感器；

判断单元1002，用于基于所述测量信息，判断是否存在食材存取操作。

可选的，判断单元1002具体用于：

若所述辅助传感器为TOF传感器，则基于所述测量信息中包含的所述辅助传感器与遮挡物之间的距离，判断是否存在食材存取操作；或者，

若所述辅助传感器为红外对射光电传感器，则基于所述测量信息中包含的光线强度，判断是否存在食材存取操作；或者，

若所述辅助传感器为红外温度传感器，则根据所述测量信息中包含的温度信息，判断是否存在食材存取操作。

下面对本申请实施中提供的食材管理方法进行说明。

参阅图11所示，其为本申请实施例中提供的一种控制器，应用于上述图 2a、图2b所示的冰箱中，可以被配置为执行如下程序步骤：

S1101、响应于门体开启，获取图像采集装置采集的门体活动区域的图像，以及获取辅助传感器采集的储藏室内存储区域的测量信息，其中，图像采集装置设置于机壳顶部，辅助传感器设置于储藏室内。

其中，在图像采集装置在冰箱前方检测到手部图像时，冰箱向图像采集装置发送拍摄指令，以接收图像采集装置发送的图像。在一些实施例中，发送的图像可为深度图像或彩色图像，其图像格式可为：JPEG、TIFF、RAW、BMP、 GIF、PNG等。

示例性的，若辅助传感器采用TOF传感器，则测量信息中可以包含辅助传感器与遮挡物之间的距离，若辅助传感器采用红外对射光电传感器，则测量信息中可以包含光线强度，若辅助传感器采用红外温度传感器，则测量信息中可以包含温度信息。

S1102、若确定图像中不存在食材存取操作，则基于测量信息，判断是否存在食材存取操作。

本申请实施例中，可以采用但不限于特征提取的方式确定，如提取Haar 特征(Haar-Like Features，哈尔特征)、LBP特征(Local Binary Pattern，局部二值特征)、HOG特征(Histogram Of Oriented Gradients，方向梯度直方图) 等，也可以使用神经网络的算法，其中神经网络可以是但不限于(深度)神经网络、卷积神经网络、深度置信网络、深度堆栈神经网络等网络结构的一种或其衍生模型，对此不做限定，在此不再赘述。

本申请实施例中，存在但不限于以下三种情况：

情况一：若辅助传感器为TOF传感器，且测量信息中包含的辅助传感器与遮挡物之间的距离小于或等于储藏室宽度，则确定存在食材存取操作。

其中，遮挡物可以是指食材，也可以是指用户的手部。

例如，假设，储藏室宽度为75厘米，测量信息中包含的辅助传感器与遮挡物之间的距离为60厘米，此时，测量信息中包含的辅助传感器与遮挡物之间的距离小于储藏室宽度，确定存在食材存取操作。

由于测量信息中包含的辅助传感器与遮挡物之间的距离，在一些实施例中，也可以根据测量信息中包含的辅助传感器与遮挡物之间的距离，确定食材存取位置。

情况二：若辅助传感器为红外对射光电传感器，且测量信息中包含的光线强度小于预设的光强门限值，则确定存在食材存取操作。

其中，预设的光强门限值可以是无遮挡时红外对射光电传感器的接收部件接收到的光线强度。

例如，假设，预设的光强门限值为10坎德拉(candela，cd)，测量信息中包含的光线强度为5cd，此时，测量信息中包含的光线强度小于预设的光强门限值，确定存在食材存取操作。

情况三：若辅助传感器为红外温度传感器，且根据测量信息中包含的温度信息，则确定存在食材存取操作。

具体的，温度信息中包含各个采集时刻各自对应的像素值集合，若一个像素值集合中，目标像素值的数目超过设定数目阈值时，确定存在食材存取操作，其中，目标像素值用于表征温度值集合中与设定像素值的差值，达到预设的差值阈值的像素值。

以红外温度传感器采用阵列红外温度传感器为例，假设，红外温度传感器为像素8×8的红外温度传感器，也就是说，温度信息中，一个温度值集合包含8×8个像素值，像素值也可以，8×8个温度值如下所示：

[‘19.0’，‘18.0’，‘20.5’，‘20.8’，‘21.1’，‘22.0’，‘22.0’，‘22.0’]

[‘16.5’，‘16.8’，‘19.8’，‘20.5’，‘20.8’，‘21.0’，‘21.8’，‘22.2’]

[‘17.8’，‘17.5’，‘19.0’，‘20.2’，‘20.5’，‘21.8’，‘22.0’，‘22.8’]

[‘19.2’，‘18.8’，‘19.5’，‘20.2’，‘21.0’，‘21.5’，‘22.5’，‘22.5’]

[‘24.5’，‘25.8’，‘26.0’，‘22.5’，‘22.8’，‘22.8’，‘22.8’，‘22.5’]

[‘27.0’，‘28.8’，‘28.8’，‘27.0’，‘24.0’，‘23.2’，‘22.8’，‘23.2’]

[‘27.8’，‘29.0’，‘29.2’，‘29.0’，‘26.0’，‘23.8’，‘22.8’，‘23.5’]

[‘27.2’，‘29.0’，‘30.2’，‘29.5’，‘25.2’，‘23.2’，‘22.8’，‘23.2’]

参阅图12所示，对红外温度传感器采集的测量信息进行图像金字塔上采样、伪彩色变换后，得到处理后的阵列图像，其中，(a)为无遮挡时的阵列图像，(b)为有遮挡时的阵列图像。

参阅图13所示，其为本申请实施例中提供的另一种控制器，应用于上述图4a、图4b、图4c所示的冰箱中，可以被配置为执行如下程序步骤：

S1301、响应于门体开启，获取储藏室的多层储藏空间内设置的各个辅助传感器采集的测量信息，其中，每层储藏空间内均设有至少一个辅助传感器。

其中，若辅助传感器采用TOF传感器，则测量信息中可以包含辅助传感器与遮挡物之间的距离，若辅助传感器采用红外对射光电传感器，则测量信息中可以包含光线强度，若辅助传感器采用红外温度传感器，则测量信息中可以包含温度信息。

S1302、基于测量信息，判断是否存在食材存取操作。

由于S1302，与S1102中判断是否存在食材存取操作的方式相同，在此不再赘述。

基于同一发明构思，本公开实施例提供一种存储介质，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行上述流程中冰箱实现的任一项方法。

对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者一个操作与另一个实体或者另一个操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本公开的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。

显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (9)

1.一种冰箱，其特征在于，包括：

机壳，所述机壳包括储藏室，所述储藏室具有开口；

门体，与所述机壳活动连接，用于遮挡所述开口；

图像采集装置，设于所述机壳顶部，用于采集所述门体的活动区域的图像；

辅助传感器，设于所述储藏室内，用于采集所述储藏室内的存储区域的测量信息；

控制器，被配置为：

响应于所述门体开启，获取所述图像采集装置采集的图像，以及获取所述辅助传感器采集的测量信息；

若确定所述图像中不存在食材存取操作，则基于所述测量信息，判断是否存在食材存取操作。

2.如权利要求1所述的冰箱，其特征在于，所述储藏室内包含多层储藏空间，所述辅助传感器设置于顶层储藏空间中靠近所述门体的一侧。

3.如权利要求1或2所述的冰箱，其特征在于，所述控制器具体用于：

若所述辅助传感器为单点飞行时间TOF传感器，且所述测量信息中包含的所述辅助传感器与遮挡物之间的距离小于或等于储藏室宽度，则确定存在食材存取操作；或者，

若所述辅助传感器为红外对射光电传感器，且所述测量信息中包含的光线强度小于预设的光强门限值，则确定存在食材存取操作；或者，

若所述辅助传感器为红外温度传感器，则根据所述测量信息中包含的温度信息，确定存在食材存取操作。

4.一种冰箱，其特征在于，包括：

机壳，所述机壳包括储藏室，所述储藏室具有开口，所述储藏室内包含多层储藏空间，各层储藏空间内均设有至少一个辅助传感器，各个辅助传感器均用于采集测量信息，并将所述测量信息发送到控制器；

门体，与所述机壳活动连接，用于遮挡所述开口；

图像采集装置，设于所述机壳顶部，用于采集所述门体的活动区域的图像；

所述控制器，被配置为：

响应于所述门体开启，获取各个辅助传感器采集的测量信息；

在确定所述图像采集装置采集的图像中不存在食材存取操作时，基于所述测量信息，判断是否存在食材存取操作。

5.如权利要求4所述的冰箱，其特征在于，所述各层储藏空间内均设有一个辅助传感器，所述辅助传感器为单点TOF传感器、红外温度传感器、红外对射光电传感器中的任一项。

6.如权利要求4所述的冰箱，其特征在于，所述各层储藏空间内均设有多个辅助传感器，所述多个辅助传感器为红外对射光电传感器，所述红外对射光电传感器包含发射部件和相应的接收部件。

7.如权利要求6所述的冰箱，其特征在于：

在所述储藏室的一侧，所述各层储藏空间中设有所述多个辅助传感器的发射部件，在所述储藏室的另一侧，设有相应的接收部件；或者，

在所述储藏室的一侧，所述各层储藏空间中交替设有所述多个辅助传感器的发射部件和接收部件，在所述储藏室的另一侧，设有相应的接收部件和发射部件；或者，

在所述储藏室的一侧，一层储藏空间设有所述多个辅助传感器的发射部件，且相邻层储藏空间内设有辅助传感器的接收部件，在所述储藏室的另一侧，设有相应的接收部件和发射部件。

8.一种冰箱，其特征在于，包括：

机壳，所述机壳包括储藏室，所述储藏室具有开口；

门体，与所述机壳活动连接，用于遮挡所述开口；

图像采集装置，设于所述机壳顶部，用于采集所述门体的活动区域的图像；

辅助传感器，设于所述储藏室内，用于采集所述储藏室内的存储区域的测量信息，所述测量信息用于在门体开启，且所述图像采集装置采集的所述图像中不存在食材存取操作时，判断是否存在食材存取操作。

9.一种食材管理方法，其特征在于，包括：

响应于门体开启，获取图像采集装置采集的门体活动区域的图像，以及获取辅助传感器采集的储藏室内的存储区域的测量信息，其中，所述图像采集装置设置于机壳顶部，辅助传感器设置于储藏室内；

若确定所述图像中不存在食材存取操作，则基于所述测量信息，判断是否存在食材存取操作。