CN110689560B - 食材管理方法和设备 - Google Patents

Abstract

本申请提供一种食材管理方法和设备，该方法包括：响应于冰箱门体的开启，获取食材存储区域的连续的至少两帧第一图像；根据所述至少两帧第一图像，确定待跟踪的目标食材以及所述目标食材的运动轨迹；若所述目标食材的运动轨迹为从所述冰箱外侧向内侧移动，并越过第一分界线，则确定所述目标食材被存入所述食材存储区域；所述第一分界线为所述冰箱的图像采集单元的视角范围内预置的分界线；所述图像采集单元设置在所述冰箱的间室的顶部；若所述目标食材的运动轨迹为从所述冰箱内侧向外侧移动，并越过所述第一分界线，则确定所述食材存储区域中所述目标食材被取出。本申请实施例的方法，提高了食材存取识别的准确性和时效性。

Description

食材管理方法和设备

技术领域

本申请涉及家用电器技术领域，尤其涉及一种食材管理方法和设备。

背景技术

随着人工智能技术的发展，越来越多的家电中使用人工智能技术，例如冰箱、电视、空调、洗衣机等。针对冰箱来说，家电厂商希望借助机器学习、语音识别与理解、云计算等新技术，使得冰箱具有自动识别食材、自动识别存取动作和智能交互的能力，在此基础上，实现实时存放位置推荐、实时饮食禁忌提醒、食材数据库无感管理等其他功能。

相关技术中，通过冰箱内各层安装的摄像头，检测存取前后各层架的食材变化情况，从而进一步推断出用户的存取动作，但上述方案中易受冰箱内食材的遮挡，导致识别准确率降低，而且时效性较差。

发明内容

本申请提供一种食材管理方法和设备和存储介质，以提高食材存取识别的准确性以及时效性。

第一方面，本申请提供一种食材管理方法，包括：

响应于冰箱门体的开启，获取食材存储区域的连续的至少两帧第一图像；

根据所述至少两帧第一图像，确定待跟踪的目标食材以及所述目标食材的运动轨迹；

若所述目标食材的运动轨迹为从所述冰箱外侧向内侧移动，并越过第一分界线，则确定所述目标食材被存入所述食材存储区域；所述第一分界线为所述冰箱的图像采集单元的视角范围内预置的分界线；所述图像采集单元设置在所述冰箱的间室的顶部；若所述目标食材的运动轨迹为从所述冰箱内侧向外侧移动，并越过所述第一分界线，则确定所述食材存储区域中所述目标食材被取出。

第二方面，本申请提供一种冰箱，包括：

冰箱主体、图像采集单元、处理器；其中，所述图像采集单元和所述处理器固定设置在所述冰箱主体内；所述图像采集单元位于所述冰箱的间室的顶部；

所述图像采集单元，用于响应于冰箱门体的开启，获取食材存储区域的连续的至少两帧第一图像；所述图像采集单元的视角范围包括所述食材存储区域；

其中，所述处理器配置为：

根据所述至少两帧第一图像，确定待跟踪的目标食材以及所述目标食材的运动轨迹；

若所述目标食材的运动轨迹为从所述冰箱外侧向内侧移动，并越过第一分界线，则确定所述目标食材被存入所述食材存储区域；所述第一分界线为所述图像采集单元的视角范围内预置的分界线；

若所述目标食材的运动轨迹为从所述冰箱内侧向外侧移动，并越过所述第一分界线，则确定所述食材存储区域中所述目标食材被取出。

第三方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法。

本申请实施例提供的食材管理方法和设备，响应于冰箱门体的开启，获取食材存储区域的连续的至少两帧第一图像；根据所述至少两帧第一图像，确定待跟踪的目标食材以及所述目标食材的运动轨迹；若所述目标食材的运动轨迹为从所述冰箱外侧向内侧移动，并越过第一分界线，则确定所述目标食材被存入所述食材存储区域；所述第一分界线为所述冰箱的图像采集单元的视角范围内预置的分界线；所述图像采集单元设置在所述冰箱的间室的顶部；若所述目标食材的运动轨迹为从所述冰箱内侧向外侧移动，并越过所述第一分界线，则确定所述食材存储区域中所述目标食材被取出，基于对目标食材的运动轨迹的跟踪以及预置的第一分界线可以提高食材存取识别的准确性，可以在存取过程中进行识别，提高了识别的时效性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1A是本申请提供的一实施例的冰箱结构示意图；

图1B是本申请提供的另一实施例的冰箱结构示意图；

图2是本申请提供的食材管理方法一实施例的流程示意图；

图3是本申请提供的方法一实施例的运动轨迹示意图；

图4A是本申请提供的方法一实施例的原理示意图；

图4B是本申请提供的方法另一实施例的原理示意图；

图5是本申请提供的方法又一实施例的原理示意图；

图6A是本申请提供的方法一实施例的食材识别结果示意图；

图6B是本申请提供的方法另一实施例的食材识别结果示意图；

图6C是本申请提供的方法又一实施例的识别食材结果示意图；

图6D是本申请提供的方法又一实施例的识别食材结果示意图；

图6E是本申请提供的方法一实施例的采集到的图像示意图；

图6F是本申请提供的方法一实施例的差分处理结果示意图；

图7是本申请提供的方法另一实施例的流程示意图；

图8是本申请提供的冰箱一实施例的结构示意图；

图9是本申请提供的电子设备实施例的结构示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本申请的说明书和权利要求书及所述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先对本申请所涉及的应用场景进行介绍：

本申请实施例提供的方法，应用于对冰箱食材管理的场景中，例如对食材存取的识别，以提高食材存取识别的准确性以及时效性。

本申请提出的食材管理方法，在食材从冰箱的食材存储区域(例如冰箱冷藏室的隔层)拿出或向冰箱的食材存储区域放入时实现食材存取的识别，属于动态识别方法，能够极大地减少静态识别中食材遮挡的影响，而且时效性较高。

本申请提供的方法可由冰箱如处理器执行相应的软件代码实现，也可由冰箱在执行相应的软件代码的同时，通过和服务器进行数据交互来实现，例如服务器控制冰箱实现该食材管理方法。冰箱和服务器之间可以通过网络连接。

在一些实施例中，冰箱可以包括图像采集单元，用于采集用户存取食材过程中食材存储区域的图像；在一实施例中，图像采集单元可以是彩色相机，也可以是深度相机与彩色相机的组合。彩色相机可以是普通彩色相机，也可以是广角彩色相机；深度相机可以是双目相机，也可以是结构光相机，还可以是基于飞行时间(time of fly，简称TOF)的相机。

在一种实现方式中，由于在本申请方案的场景下，食材距离相机较近，食材于图像帧中的相对移动速度较快，因此更容易出现运动模糊问题，进而为食材的特征提取造成干扰。为了尽量减小运动模糊，可以采用高帧率相机。对于高帧率相机来说，每帧图像的曝光时间较短，因此更容易捕获食材于瞬时运动下的状态，能获得更准确的特征，提高最终判别的准确率。

在一些实施例中，图像采集单元10可以安装在冰箱间室内部的顶端(如图1A所示)，或图像采集单元10位于所述冰箱间室外部的顶端(如图1B所示，靠近冰箱门11的顶部)，该图像采集单元的视角范围能够覆盖整个冷藏区域和/或整个冷冻区域。图像采集单元不随冰箱门体的开合而移动。

在一些实施例中，该冰箱还可以包括处理器和存储器，该处理器用于实现本申请的食材管理方法，在一些实施例中还可以对图像采集单元采集的图像进行预处理。处理器可以是中央处理器(central processing unit，简称CPU)，图形处理器(graphicsprocessing unit，简称GPU)或者CPU和GPU的组合。处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，简称ASIC)，可编程逻辑器件(programmable logic device，简称PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，简称CPLD)，现场可编程逻辑门阵列(field-programmable gate array，简称FPGA)，通用阵列逻辑(generic arraylogic，简称GAL)或其任意组合。存储器通过总线或其它方式与处理器相连，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，上述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以本发明的食材管理方法。存储器可以为易失性存储器(volatile memory)，非易失性存储器(non-volatile memory)或者它们的组合。易失性存储器可以为随机存取存储器(random-access memory，简称RAM)，例如静态随机存取存储器(static random access memory，简称SRAM)，动态随机存取存储器(dynamic randomaccess memory，简称DRAM)。非易失性存储器可以为只读存储器(read only memoryimage，简称ROM)，例如可编程只读存储器(programmable read only memory，简称PROM)，可擦除可编程只读存储器(erasable programmable read only memory，简称EPROM)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称EEPROM)。非易失性存储器也可以为快闪存储器(flash memory)，磁存储器，例如磁带(magnetic tape)，软盘(floppy disk)，硬盘。非易失性存储器也可以为光盘。

下面以具体的实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图2是本申请提供的食材管理方法一实施例的流程示意图。如图2所示，本实施例提供的方法，包括：

步骤101、响应于冰箱门体的开启，获取食材存储区域的连续的至少两帧第一图像。

在对用户存取食材过程中的食材存取识别时，响应于冰箱门体的开启，冰箱内设置的图像采集单元采集至少两帧第一图像。该至少两帧第一图像可以是连续的至少两帧第一图像，采集的是冰箱内的食材存储区域的图像。其中，图像采集单元可以设置在冰箱的间室的顶部。

步骤102、根据至少两帧第一图像，确定待跟踪的目标食材以及目标食材的运动轨迹。

＝基于获取到的连续的至少两帧第一图像，确定待跟踪的目标食材，以及目标食材的运动轨迹，例如图3所示，目标食材为苹果，运动轨迹为沿着图3中曲线从冰箱外侧向内侧移动。

在一种实现方式中，目标食材可以是该些连续的至少两帧第一图像中位置变化最大的食材。

步骤103、若目标食材的运动轨迹为从冰箱外侧向内侧移动，并越过第一分界线，则确定目标食材被存入食材存储区域；第一分界线为冰箱的图像采集单元的视角范围内预置的分界线。

其中，该第一分界线表征拍摄的第一图像中冰箱箱体和箱体外部环境的分界位置。

步骤104、若目标食材的运动轨迹为从冰箱内侧向外侧移动，并越过第一分界线，则确定食材存储区域中所述目标食材被取出。

为了提高食材管理方法的准确性和鲁棒性，同时保证食材管理方法的实时性，本申请方案中通过对目标食材的运动轨迹进行分析，从而对食材存取进行识别。如图3所示，在图像采集单元的视角范围内设定第一分界线，第一分界线表征拍摄的第一图像中冰箱箱体和箱体外部环境的分界位置，可以作为食材存取的判定线。通过连续多帧第一图像对目标食材的跟踪获得目标食材的运动轨迹，然后结合第一分界线的位置，判断出食材是从食材存储区域中被取出，还是被存入食材存储区域。

例如用户打开冰箱，将一个苹果放入冰箱，运动轨迹为从冰箱外侧向内侧移动，并越过第一分界线此时确定为该苹果被存入食材存储区域；将一瓶饮料取出冰箱，运动轨迹为从冰箱内侧向外侧移动，并越过第一分界线，此时确定为该饮料从食材存储区域被取出。

在一种实现方式中，基于获取到的连续的至少两帧第一图像中每一帧第一图像中目标食材的位置，绘制其运动轨迹(如图3中运动轨迹)。其中，第一分界线表征冰箱箱体和箱体外部环境的分界位置，即为食材存取的越界线，即当用户拿着食材由冰箱外侧向内侧移动，越过该条第一分界线时，判定为食材被存入食材存储区域；反之，由冰箱内侧向外侧移动，越过该条第一分界线时，判定为食材从食材存储区域中被取出。在对目标食材的追踪过程中，当发现相邻的前后两帧第一图像中目标食材处于第一分界线的两侧时，即为越界过程。

如图4A、图4B所示，假设在第t-1帧中，目标食材出现在冰箱外侧，而第t帧目标食材在冰箱内侧，则判定为食材被存入食材存储区域；反之，则判定为食材从食材存储区域中被取出。

本实施例的方法，响应于冰箱门体的开启，获取食材存储区域的连续的至少两帧第一图像；根据所述至少两帧第一图像，确定待跟踪的目标食材以及所述目标食材的运动轨迹；若所述目标食材的运动轨迹为从所述冰箱外侧向内侧移动，并越过第一分界线，则确定所述目标食材被存入所述食材存储区域；所述第一分界线为所述冰箱的图像采集单元的视角范围内预置的分界线；所述图像采集单元设置在所述冰箱的间室的顶部；若所述目标食材的运动轨迹为从所述冰箱内侧向外侧移动，并越过所述第一分界线，则确定所述食材存储区域中所述目标食材被取出，基于对目标食材的运动轨迹的跟踪以及预置的食材存取判定的第一分界线可以提高食材存取识别的准确性，可以在存取过程中进行识别，提高了识别的时效性。

在上述实施例的基础上，进一步的，如图5所示，步骤102具体可以采用如下方式实现：

分别对至少两帧第一图像进行检测，得到各帧第一图像中至少一个食材的位置信息；

根据各帧第一图像中各个食材的位置信息，确定各个食材中位置变化最大的食材为目标食材。

如图6A、图6B中所示，在一种实现方式中，利用图像检测算法识别图像中的食材，输出图像中所有食材的位置信息，例如图6A、图6B中的矩形框，包括食材的种类信息和相应的位置信息，在本实施例中，对食材追踪的第一步就是从以上众多的矩形框中，确定出需要追踪的矩形框，即从众多矩形框中挑选出一个作为目标食材的矩形框，即根据各个食材的位置信息，确定最终的目标食材。

在一种实现方式中，可以基于得到的各帧第一图像中各个食材的位置信息，确定连续多帧第一图像中哪个食材的位置变化较大，位置变化较大的食材为移动了食材，即可以作为目标食材。

在一种实现方式中，上述根据各帧第一图像中各个食材的位置信息，确定各个食材中位置变化最大的食材为目标食材，还可以通过如下步骤实现：

针对任一帧第一图像，对背景图像中各个食材对应的像素点，以及第一图像中与各个食材对应位置的像素点进行差分处理，得到差分结果；背景图像为根据各帧第一图像中至少一帧第一图像得到的；

根据所述差分结果，确定各个食材中位置变化最大的食材，并将位置变化最大的食材作为目标食材。

假设至少两帧图像中包括第t-1帧第一图像和第t帧第一图像，当前第t帧需要确定目标食材，例如可以选择将第t-1帧第一图像作为背景图像，得到该背景图像中食材识别结果，即矩形框的位置信息。将背景图像中多个矩形框作为感兴趣区域(Region ofInterest，简称ROI)，每个矩形框视为一个ROI子区域，如图6A所示。将图6A中所示的ROI子区域与第t帧图像(如图6E所示)的相应位置的像素点进行像素值差分。统计每个ROI子区域的差分结果，将差分结果最大的ROI子区域对应的食材确定为位置变化最大的食材，并将位置变化最大的食材作为目标食材。

在一实施例中，差分处理具体可以采用如下步骤实现：

计算背景图像中各个食材对应的像素点的像素值，与第一图像中与各个食材对应位置的像素点的像素值的差值的绝对值；

将差值的绝对值之和最大的食材，确定为位置变化最大的食材。

其中，上述差分结果最大例如是两个第一图像中对应区域的像素值差值的绝对值之和最大。

在确定目标食材时，可能会由于以下原因影响该目标食材的正确选择，例如，如图6C所示，当用户的一只手进行存取食材(记为食材1)时，另外一只手中同时也拿有食材(记为食材2)并伴随有晃动等动作，此时选择的目标食材可能会不准确。由于真正的目标食材(食材1)相对于干扰食材(食材2)的运动范围更大，因此对应区域的像素值变化更多，差分结果会更大。因此，将差分结果最大的ROI子区域对应的食材作为需要跟踪的目标食材。通过差分处理可有效地缓解上述存在的干扰问题。

在一实施例中，在确定目标食材时，还可能会由于以下原因影响该目标食材的正确选择，例如：图像检测算法出现漏检情况(如下图6A、图6B所示)，图6A中漏检了一个零食，图6B中漏检了一瓶饮料，该情况可能会直接影响目标食材选择的准确性。

因此，针对以上问题，本实施例中，可以采用如下方式确定背景图像：

将各帧第一图像中至少两帧第二图像中各个所述食材的位置信息进行合并，得到合并后的各个所述食材的位置信息；

将至少两帧第二图像中的任一帧第二图像作为背景图像，并确定合并后的各个所述食材在所述背景图像中的位置信息；

根据合并后的各个所述食材在所述背景图像中的位置信息，确定背景图像中合并后的各个所述食材对应的像素点。

假设当前第t帧需要确定目标食材，则首先将第t-2帧、第t-1帧中识别出的矩形框对应区域做并集，获得两帧中所有的矩形框的位置信息。然后将两帧中所有矩形框在第t-1帧图像(或者第t-2帧图像)中进行标注，得到背景图像，以及合并后的各个所述食材在背景图像中的位置信息，如图6D所示。通过该方式可有效地缓解上述检测算法的漏检问题。

在其他实施例中，还可以将两帧以上的第二图像中识别出的食材进行合并，不限于当前帧的前两帧。

将背景图像中每个矩形框视为一个ROI子区域，如图6D所示。将图6D中所示的ROI子区域与第t帧图像(如图6E所示)的相应位置的像素点进行像素值差分(差分结果如图6F所示)。统计每个ROI子区域的差分结果，将差分结果最大的ROI子区域对应的食材确定为位置变化最大的食材，并将该位置变化最大的食材作为目标食材。

进一步的，在确定了目标食材以及目标食材初始的位置后，可以对该目标食材进行跟踪，得到该目标食材的运动轨迹，在一种实现方式中，步骤102中确定目标食材的运动轨迹可以采用如下步骤实现：

根据至少两帧第一图像中目标食材的位置信息，确定目标食材的运动轨迹。

其中，运动轨迹的起始位置为至少两帧第一图像中拍摄时间最早的第一图像中目标食材对应的位置。

在一种实现方式中，可以通过目标跟踪算法追踪目标食材在多帧第一图像中的位置，从而确定出该目标食材的运动轨迹。

目前有基于深度学习的跟踪算法，或基于传统机器视觉的跟踪算法。基于深度学习的跟踪算法虽然在精度比传统方法要高，但是由于其复杂的深度学习网络模型，使得硬件计算成本十分高昂；且基于深度学习的追踪算法要基于视频流进行计算，限于网络传输速度限制，很难将跟踪算法放于云端计算；而且，从成本的角度考虑，智能冰箱产品很难广泛应用。同时，更为重要的，从技术上的角度来看，基于深度学习的跟踪算法目前很难在帧率上实现实时跟踪。

在一种实现方式中，结合本申请的智能冰箱场景，基于以上硬件成本和算法帧率两方面考虑，可以采用基于传统机器视觉的STAPLE跟踪算法，对目标食材进行实时跟踪，确定出目标食材的运动轨迹(如图3所示)，然后前述实施例的方案实现对食材存取的识别。

在一种实现方式中，在采用跟踪算法跟踪目标食材之前，可以对跟踪算法的参数进行初始化，具体参数初始化策略如下：

1、在智能冰箱场景下，由于跟踪的食材距离图像采集单元较近，在存取过程中，会频繁出现食材的尺度变化问题。因此，可以对跟踪算法中的尺度进行自适应学习，适当增加尺度的学习率。

2、在智能冰箱场景下对食材进行跟踪，跟踪的目标食材常常伴随着剧烈的翻转、遮挡等形变，即目标食材的纹理变化巨大；而目标食材的颜色特征相对变化较小。因此在以FHOG特征和颜色直方图特征合成最终特征图的STAPLE跟踪算法中，应加大颜色特征在最终特征图中所占的权值。

其他参数可以根据实际情况进行设置。

进一步的，由于在智能冰箱场景下，用户可能需要将不同的食材分多次于冰箱中进行存取，即跟踪的目标食材可能会频繁切换。因此，需要对已经存取结束，即已经存入冰箱的食材存储区域或从冰箱的食材存储区域被取出的食材及时地释放追踪算法进程，同时对新存取的食材开启新一轮的跟踪。因此，确定何时放弃当前跟踪的目标食材极为关键。

在一种实现方式中，步骤102之后还可以进行如下操作：

确定目标食材的存取过程是否结束；

若是，则结束对目标食材的运动轨迹的跟踪。

具体的，由于目前跟踪算法机制是从当前帧图像中，查找最有可能是跟踪的目标食材的区域。也就是说，在不给定判定跟踪结束机制的前提下，会一直对该目标食材的运动轨迹进行跟踪，即在获取到的每一帧第一图像中标定出一个区域，作为最有可能是目标食材的区域，而即使目标食材可能早已经消失在食材存储区域中。因此，有必要判定应该何时结束跟踪。

假设目标食材从冰箱的食材存储区域中取出，则跟踪算法标定的区域可能会一直在图像的边界处停留，或者，假设目标食材存入冰箱的食材存储区域中，则跟踪算法确定的目标食材的位置可能会一直不变，例如当目标食材在冰箱内或冰箱外的某一区域范围内停留达到一定帧数时，可以判定此轮跟踪结束。

在一种实现方式中，可以采用如下步骤判定应该何时结束跟踪。

若存在至少两帧第一图像中目标食材处于跟踪判定区域，则获取至少两帧第一图像中任意相邻两帧第一图像中目标食材的位置信息；

根据相邻两帧第一图像中目标食材的位置信息，确定相邻两帧第一图像中目标食材的移动距离；

对移动距离小于预设的相对静止距离阈值的个数进行计数，得到相对静止次数；

若相对静止次数大于预设的相对静止次数阈值，则确定目标食材的存取过程结束。

其中，如图3所示，图像采集单元的视角范围内还设置有第二分界线和第三分界线，其中第一分界线表征冰箱箱体和箱体外部环境的分界位置，第二分界线位于冰箱门体与冰箱内的隔层的边界之间，且位于第一分界线靠近冰箱内部的一侧，第三分界线位于第一分界线远离冰箱内部的一侧，第一分界线和第二分界线之间的区域，以及第一分界线和第三分界线之间的区域为跟踪判定区域。

具体地，当跟踪的目标食材在跟踪判定区域内时，如图3中所示的第一分界线和第二分界线之间的区域，或第一分界线和第三分界线之间的区域，可以开启对跟踪是否结束的判定决策。

在一种实现方式中，目标食材处于上述的跟踪判定区域内，且在一段时间内移动距离较小或静止，则可确定该目标食材的存取结束。

若存在至少两帧第一图像中目标食材处于跟踪判定区域，例如第t-1帧第一图像以及第t帧第一图像中目标食材均处于跟踪判定区域，获取第t-1帧第一图像以及第t帧第一图像中目标食材的位置信息，例如为该目标食材的中心点的位置信息，该位置信息可以为在第一图像中的位置坐标。进一步，确定第t-1帧第一图像以及第t帧第一图像中目标食材的移动距离，假设第t-1帧第一图像中的位置坐标为(x1，y1)，第t帧第一图像中的位置坐标为(x2，y2)，若基于上述位置坐标得出的移动距离小于预设的相对静止距离阈值，则对相对静止次数加一，若存在多个移动距离均小于该相对静止距离阈值，即若相对静止次数大于相对静止次数阈值，则确定目标食材的存取过程结束，例如相对静止次数为4次，大于相对静止次数阈值(例如为3)，则确定目标食材的存取过程结束，结束对该目标食材的跟踪。其中，每次判定过程中相对静止次数的初始值为0。

示例性的，如图7所示，可以预先设置相对静止距离阈值D1、相对静止次数阈值N1、相对静止次数初始化为0、是否需要对跟踪算法初始化的标志位if_ini(初始化时置0)等参数。

首先，确定目标食材是否位于跟踪判定区域中，当目标食材运动至图3中的跟踪判定区域时，计算相邻两帧中目标食材中心点的坐标，并计算两帧中目标食材中心点的距离，即后一帧图像中目标食材相较于前一帧图像中目标食材的移动距离d_i；

判断d_i<D1是否成立，如果成立，则相对静止次数加1，否则相对静止次数置0；

判断相对静止次数>N1是否成立，假如成立，则认为目标食材在一定时间内于特定区域内都处于静止状态，判定此时目标食材已经被存取结束，结束本轮对目标食材的跟踪。假如条件不成立，则返回执行确定目标食材是否位于判定区域中的步骤。

假设判定本轮跟踪结束，则将if_ini置1，即开启对跟踪算法的初始化，准备进入下一轮跟踪；同时清空跟踪结果容器、重置跟踪视频帧号等操作。其中，跟踪结果容器中例如存放每一帧图像中目标食材的位置信息等信息。

在上述实施例的基础上，步骤101之后还可以进行如下操作：

对获取到的至少两帧第一图像进行降采样。

具体的，为了减小计算量，提高算法帧率，实现对目标食材的实时追踪，可以对采集到的第一图像进行降采样。同时，图像降采样提高帧率后，图像检测算法以及跟踪算法可以学习更接近当前帧第一图像中目标食材的特征，以及选定更准确的目标食材的候选区域，进而提高目标食材跟踪的准确性。

其中，降采样的程度视图像采集单元的分辨率而定，分辨率越高，需要降采样的倍数越高。

图8为本申请提供的冰箱实施例的结构图，如图8所示，该冰箱包括：

冰箱主体、图像采集单元801、处理器802；其中，所述图像采集单元801和所述处理器802固定设置在所冰箱主体内；图像采集单元801位于冰箱的间室的顶部；

所述图像采集单元801，用于响应于冰箱门体的开启，获取食材存储区域的连续的至少两帧第一图像；所述图像采集单元的视角范围包括所述食材存储区域；

上述部件可以通过一条或多条总线进行通信。

其中，处理器802配置为：

根据所述至少两帧第一图像，确定待跟踪的目标食材以及所述目标食材的运动轨迹；

若所述目标食材的运动轨迹为从所述冰箱外侧向内侧移动，并越过第一分界线，则确定所述目标食材被存入所述食材存储区域；所述第一分界线为所述图像采集单元的视角范围内预置的分界线；

若所述目标食材的运动轨迹为从所述冰箱内侧向外侧移动，并越过所述第一分界线，则确定所述食材存储区域中所述目标食材被取出。

在一种可能的实现方式中，处理器802配置为：

分别对所述至少两帧第一图像进行检测，得到各帧所述第一图像中至少一个食材的位置信息；

根据各帧所述第一图像中各个所述食材的位置信息，确定各个所述食材中位置变化最大的食材为所述目标食材。

在一种可能的实现方式中，处理器802配置为：

针对任一帧所述第一图像，对背景图像中各个所述食材对应的像素点，以及所述第一图像中与各个所述食材对应位置的像素点进行差分处理，得到差分结果；所述背景图像为根据各帧所述第一图像中至少一帧第一图像得到的；

根据所述差分结果，确定各个所述食材中位置变化最大的食材，并将所述位置变化最大的食材作为所述目标食材。

在一种可能的实现方式中，处理器802配置为：

将各帧所述第一图像中至少两帧第二图像中各个所述食材的位置信息进行合并，得到合并后的各个所述食材的位置信息；

将所述至少两帧第二图像中的任一帧第二图像作为所述背景图像，并确定合并后的各个所述食材在所述背景图像中的位置信息；

根据合并后的各个所述食材在所述背景图像中的位置信息，确定所述背景图像中合并后的各个所述食材对应的像素点。

在一种可能的实现方式中，处理器802配置为：

计算所述背景图像中各个所述食材对应的像素点的像素值，与所述第一图像中与各个所述食材对应位置的像素点的像素值的差值的绝对值；

相应的，所述根据所述差分结果，确定各个所述食材中位置变化最大的食材，包括：

将所述差值的绝对值之和最大的食材，确定为所述位置变化最大的食材。

在一种可能的实现方式中，处理器802配置为：

根据所述至少两帧第一图像中所述目标食材的位置信息，确定所述目标食材的运动轨迹，所述运动轨迹的起始位置为所述至少两帧第一图像中拍摄时间最早的第一图像中所述目标食材对应的位置。

在一种可能的实现方式中，处理器802配置为：

确定所述目标食材的存取过程是否结束；

若是，则结束对所述目标食材的运动轨迹的跟踪。

在一种可能的实现方式中，所述冰箱的图像采集单元的视角范围内还设置有第二分界线和第三分界线，其中所述第一分界线和所述第二分界线之间的区域，以及所述第一分界线和所述第三分界线之间的区域为跟踪判定区域，所述第二分界线位于所述冰箱门体与所述冰箱内的隔层的边界之间，且位于所述第一分界线靠近所述冰箱内部的一侧，所述第三分界线位于所述第一分界线远离所述冰箱内部的一侧；处理器802配置为：

若存在至少两帧所述第一图像中所述目标食材处于所述跟踪判定区域，则获取至少两帧所述第一图像中任意相邻两帧第一图像中目标食材的位置信息；

根据所述相邻两帧第一图像中目标食材的位置信息，确定所述相邻两帧第一图像中目标食材的移动距离；

对所述移动距离小于预设的相对静止距离阈值的个数进行计数，得到相对静止次数；

若所述相对静止次数大于预设的相对静止次数阈值，则确定所述目标食材的存取过程结束。

本实施例的冰箱可以用于执行前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，此处不再赘述。

图9为本申请提供的电子设备实施例的结构图，如图9所示，该电子设备包括：

处理器901，以及，用于存储处理器901的可执行指令的存储器902。

可选的，还可以包括：通信接口903，用于实现与其他设备的通信。

上述部件可以通过一条或多条总线进行通信。

其中，处理器901配置为经由执行所述可执行指令来执行前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，此处不再赘述。

该电子设备例如为服务器，可以与冰箱通信获取采集的第一图像，实现上述任一实施例中的方法。

本申请实施例中还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，其实现原理和技术效果类似，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (8)

1.一种食材管理方法，其特征在于，包括：

响应于冰箱门体的开启，获取食材存储区域的连续的至少两帧第一图像；

根据所述至少两帧第一图像，确定待跟踪的目标食材以及所述目标食材的运动轨迹；

若所述目标食材的运动轨迹为从所述冰箱外侧向内侧移动，并越过第一分界线，则确定所述目标食材被存入所述食材存储区域；所述第一分界线为所述冰箱的图像采集单元的视角范围内预置的分界线；所述图像采集单元设置在所述冰箱的间室的顶部；若所述目标食材的运动轨迹为从所述冰箱内侧向外侧移动，并越过所述第一分界线，则确定所述食材存储区域中所述目标食材被取出；

还包括：

确定所述目标食材的存取过程是否结束；

若是，则结束对所述目标食材的运动轨迹的跟踪；

所述冰箱的图像采集单元的视角范围内还设置有第二分界线和第三分界线，其中所述第一分界线和所述第二分界线之间的区域，以及所述第一分界线和所述第三分界线之间的区域为跟踪判定区域，所述第二分界线位于所述冰箱门体与所述冰箱内的隔层的边界之间，且位于所述第一分界线靠近所述冰箱内部的一侧，所述第三分界线位于所述第一分界线远离所述冰箱内部的一侧；所述确定所述目标食材的存取过程是否结束，包括：

若存在至少两帧所述第一图像中所述目标食材处于所述跟踪判定区域，则获取至少两帧所述第一图像中任意相邻两帧第一图像中目标食材的位置信息；

根据所述相邻两帧第一图像中目标食材的位置信息，确定所述相邻两帧第一图像中目标食材的移动距离；

对所述移动距离小于预设的相对静止距离阈值的个数进行计数，得到相对静止次数；

若所述相对静止次数大于预设的相对静止次数阈值，则确定所述目标食材的存取过程结束。

2.根据权利要求1所述的方法，其特征在于，所述根据所述至少两帧第一图像，确定待跟踪的目标食材，包括：

分别对所述至少两帧第一图像进行检测，得到各帧所述第一图像中至少一个食材的位置信息；

根据各帧所述第一图像中各个所述食材的位置信息，确定各个所述食材中位置变化最大的食材为所述目标食材。

3.根据权利要求2所述的方法，其特征在于，所述根据各帧所述第一图像中各个所述食材的位置信息，确定各个所述食材中位置变化最大的食材为所述目标食材，包括：

针对任一帧所述第一图像，对背景图像中各个所述食材对应的像素点，以及所述第一图像中与各个所述食材对应位置的像素点进行差分处理，得到差分结果；所述背景图像为根据各帧所述第一图像中至少一帧第一图像得到的；

根据所述差分结果，确定各个所述食材中位置变化最大的食材，并将所述位置变化最大的食材作为所述目标食材。

4.根据权利要求3所述的方法，其特征在于，若所述背景图像为根据各帧所述第一图像中至少两帧第一图像得到的，则所述差分处理之前，还包括：

将各帧所述第一图像中至少两帧第二图像中各个所述食材的位置信息进行合并，得到合并后的各个所述食材的位置信息；

将所述至少两帧第二图像中的任一帧第二图像作为所述背景图像，并确定合并后的各个所述食材在所述背景图像中的位置信息；

根据合并后的各个所述食材在所述背景图像中的位置信息，确定所述背景图像中合并后的各个所述食材对应的像素点。

5.根据权利要求3所述的方法，其特征在于，所述对背景图像中各个所述食材对应的像素点，以及所述第一图像中与各个所述食材对应位置的像素点进行差分处理，包括：

计算所述背景图像中各个所述食材对应的像素点的像素值，与所述第一图像中与各个所述食材对应位置的像素点的像素值的差值的绝对值；

相应的，所述根据所述差分结果，确定各个所述食材中位置变化最大的食材，包括：

将所述差值的绝对值之和最大的食材，确定为所述位置变化最大的食材。

6.根据权利要求1-5任一项所述的方法，其特征在于，根据所述至少两帧第一图像，确定所述目标食材的运动轨迹，包括：

根据所述至少两帧第一图像中所述目标食材的位置信息，确定所述目标食材的运动轨迹，所述运动轨迹的起始位置为所述至少两帧第一图像中拍摄时间最早的第一图像中所述目标食材对应的位置。

7.一种冰箱，其特征在于，包括：

冰箱主体、图像采集单元、处理器；其中，所述图像采集单元和所述处理器固定设置在所述冰箱主体内；所述图像采集单元位于所述冰箱的间室的顶部；

所述图像采集单元，用于响应于冰箱门体的开启，获取食材存储区域的连续的至少两帧第一图像；所述图像采集单元的视角范围包括所述食材存储区域；

其中，所述处理器配置为：

根据所述至少两帧第一图像，确定待跟踪的目标食材以及所述目标食材的运动轨迹；

若所述目标食材的运动轨迹为从所述冰箱外侧向内侧移动，并越过第一分界线，则确定所述目标食材被存入所述食材存储区域；所述第一分界线为所述图像采集单元的视角范围内预置的分界线；

若所述目标食材的运动轨迹为从所述冰箱内侧向外侧移动，并越过所述第一分界线，则确定所述食材存储区域中所述目标食材被取出；

确定所述目标食材的存取过程是否结束；

若是，则结束对所述目标食材的运动轨迹的跟踪；

所述冰箱的图像采集单元的视角范围内还设置有第二分界线和第三分界线，其中所述第一分界线和所述第二分界线之间的区域，以及所述第一分界线和所述第三分界线之间的区域为跟踪判定区域，所述第二分界线位于所述冰箱门体与所述冰箱内的隔层的边界之间，且位于所述第一分界线靠近所述冰箱内部的一侧，所述第三分界线位于所述第一分界线远离所述冰箱内部的一侧；所述确定所述目标食材的存取过程是否结束，包括：

若存在至少两帧所述第一图像中所述目标食材处于所述跟踪判定区域，则获取至少两帧所述第一图像中任意相邻两帧第一图像中目标食材的位置信息；

根据所述相邻两帧第一图像中目标食材的位置信息，确定所述相邻两帧第一图像中目标食材的移动距离；

对所述移动距离小于预设的相对静止距离阈值的个数进行计数，得到相对静止次数；

若所述相对静止次数大于预设的相对静止次数阈值，则确定所述目标食材的存取过程结束。

8.根据权利要求7所述的冰箱，其特征在于，所述处理器配置为：

分别对所述至少两帧第一图像进行检测，得到各帧所述第一图像中至少一个食材的位置信息；

根据各帧所述第一图像中各个所述食材的位置信息，确定各个所述食材中位置变化最大的食材为所述目标食材。

Images