CN107763956A - 一种冰箱及其控制方法 - Google Patents

Abstract

本发明的实施例提供一种冰箱及其控制方法，涉及家电领域，能够提高冰箱对其内部食材监控的准确性。具体方案为：接收图像采集单元发送的监控录像；所述图像采集单元用于监控冰箱的箱体前端面与层架前端面之间的区域；按照预设算法从所述监控录像中采样得到目标图像集；根据所述目标图像集提取所述目标食材的特征，并确定所述目标食材的运动方向；根据所述目标食材的特征以及所述目标食材的运动方向，更新录入标签并保存；冰箱所保存的录入标签用于标识冰箱已录入的食材。本发明用于冰箱的制造。

Description

一种冰箱及其控制方法

技术领域

本发明涉及家电领域，尤其涉及一种冰箱及其控制方法。

背景技术

生活中常常出现冰箱内食材过期而造成食材浪费的问题，为解决该问题，市场上出现了带有食材录入和过期提醒功能的冰箱。

当用户向冰箱放入食材时，通过冰箱提供的输入界面录入放入了什么食材，保质期是多久，另外从冰箱内取出食材时，再删除或者更新之前的记录。当某种食材到了保质期时，就输出提醒信息。然而这种方案需要用户进行录入和删除，实际使用中十分不便，市场反馈使用体验不佳，因此冰箱实现自动录入和提醒功能是产品的改进方向。

现有方案中，在冰箱中安装摄像头，当用户打开冰箱门然后又关闭冰箱门时，对冰箱内食材进行拍照，通过图像分析为出现在图像中的食材各设置一个保质期标签，在保质期内如果该种食材在图像中消失则认为用户将食材取出，此时删除保质期标签。如果一个保质期标签一直存在未被删除，并且其设置的保质期到期，则向用户输出提醒信息。

然而，当冰箱内食材的种类和数量较多时，由于食材之间互相遮挡，很可能导致摄像头拍摄不到某一种食材，在对摄像头拍得到的照片进行分析后被遮挡的食材可能会被判定为已经被取出，因此冰箱将该种食材对应的保质期标签删除，这样当被遮挡的食材过期时用户不会收到提醒信息，也就是说这种情况下提醒功能会失效。

冰箱内食材互相遮挡的情况下，用户在使用过程中如果不仔细检查，被遮挡的食材往往不易被发现，由于现有的冰箱对其内部食材的监控不够准确，非常容易导致食材因过期而浪费。另外过期的食材如果不被及时清理，还可能导致冰箱内异味、其它食材被污染等问题，严重影响用户对冰箱产品的使用体验。

发明内容

本申请提供一种冰箱及其控制方法，能够提高冰箱对其内部食材监控的准确性。为达到上述目的，本申请采用如下技术方案：

第一方面，提供一种冰箱的控制方法，包括：

接收图像采集单元发送的监控录像；所述图像采集单元用于监控冰箱的箱体前端面与层架前端面之间的区域；

按照预设算法从所述监控录像中采样得到目标图像集，所述目标图像集包括目标食材的至少两幅图像，所述目标食材为用户放入或者取出食材时所移动的食材；

根据所述目标图像集提取所述目标食材的特征，并确定所述目标食材的运动方向；

根据所述目标食材的特征以及所述目标食材的运动方向，更新录入标签并保存；冰箱所保存的录入标签用于标识冰箱已录入的食材。

第二方面，提供一种冰箱，用于执行第一方面所提供的控制方法。

本发明的实施例所提供的冰箱及其控制方法，通过监控冰箱门体和层架之间的区域，得到记录用户放入或者取出食材过程的监控录像，然后对监控录像采样得到目标食材的图像集合，通过对这些图像的分析确定目标食材的特征以及运动方向，利用目标食材的特征标识目标食材，利用目标食材的运动方向确定用户是在放入还是在取出食材，进而根据目标食材的特征以及所述目标食材的运动方向更新录入标签并保存，记录用户的操作过程。例如，当用户放入食材时，冰箱根据从图像中提取的目标食材的特征，生成新的录入标签，当用户取出食材时，冰箱根据从图像中提取的目标食材的特征，删除已有的录入标签，从而达到准确监控冰箱内食材的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的实施例所提供的一种冰箱的控制方法流程示意图；

图2为本发明的实施例中对图像采集单元安装位置的说明示意图；

图3为本发明的实施例所提供的一种冰箱结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有技术中，为了监控冰箱内部的食材，采用摄像头对冰箱储物空间进行监控，摄像头拍摄得到冰箱内食材的图片，图片里有哪些食材，就确定冰箱里有哪些食材。拍摄的对象为冰箱内已有的食材，图形分析的目的也是确定冰箱内已有的食材。简而言之，拍摄和分析的对象都是冰箱内的“存量”。

一方面，由于冰箱内多种食材往往堆叠放置导致食材之间互相遮挡，摄像头并不能拍摄到全部的食材；另一方面，需要识别和记录图片里所呈现的每一种食材，因而图形分析难度大，易出错，因而导致冰箱对食材存量的监控出错。

本发明的目的在于讨论如何提高对食材监控的准确性。为克服食材相互遮挡带来的影响，本发明的方案检测用户单次放入或者取出操作，仅对用户单次操作过程中放入或者取出的食材进行监控和分析，用户每放入一件食材就增加一条记录，每取出一件食材就删除一条记录，无需拍摄分析冰箱内的全部存量，而只是对用户一次放入或取出操作的对象进行监控分析，简而言之，仅对用户单次操作的“差量”进行监控分析，从而克服食材相互遮挡带来的监控出错的问题，同时由于拍摄的重点仅仅为一次操作的差量，因而图像分析的难度随之降低，分析识别的准确性相应提高。以下结合本发明的实施例对本申请的方案做具体说明。

实施例

本发明的实施例提供一种冰箱的控制方法，参照图1所示，包括以下步骤：

101、接收图像采集单元发送的监控录像。

图像采集单元用于监控冰箱的箱体前端面与层架前端面之间的区域。

结合图2所示，在一种具体的实施方式中，于冰箱储物空间顶部，位于门体和层架之间的位置处安装有图像采集单元21，用于监控冰箱门体和层架之间的区域，生成监控录像。

图像采集单元21可以在冰箱门打开时唤醒，开始执行步骤101，在冰箱门关闭后停止录像并进入睡眠状态，监控录像的起始时间为冰箱门打开的时间点，监控录像的终止时间为冰箱门关闭的时间点。

102、按照预设算法从监控录像中采样得到目标图像集。

为便于描述，本发明的实施例中将用户放入、取出某一种物体(食材)的行为称为一次操作。用户放入食材或者取出食材均为一次操作。如果用户在放入一件食材同时又取出一件食材，这样的操作过程可以拆分为两次操作，一次放入，一次取出。

目标图像集包括目标食材的至少两幅图像，目标食材为用户在一次操作过程中所移动的食材，即放入或者取出食材时所移动的食材。

在生成监控录像后，可以对监控录像的图像帧抽样得到目标图像集。

可选的，按照预设时间间隔对监控录像的图像帧抽样，再从抽样所得的图像中筛选出目标图像集，筛选图像主要包括将只包括手或者完全没有手的图像删除，保留用户手持目标食材的图像。

或者，按照预设的图像数量间隔对监控录像的图像帧抽样，从抽样所得的图像中筛选出目标图像集。例如，以n表示预设的图像数量间隔，从监控录像中抽样得到图像帧集合：{(K*n+1)|K＝0，1，2……}，然后对该集合中的图像帧进行筛选得到目标图像集。

103、根据目标图像集提取目标食材的特征。

提取目标食材的特征，是指对目标食材进行识别或者标记。例如，通过图像分割和深度学习识别技术，识别目标食材，如果不能识别目标食材则提取其特征并分配代号标识。这样，不同的食材均与其各自的特征或者代号相对应。

104、根据目标图像集确定目标食材的运动方向。

食材的运动方向包括放入方向和取出方向，本发明的实施例中通过判断食材的运动方向来确定冰箱的存量增加还是减少。存量增加则增加一个录入标签，用来记录增加的差量，存量减少则删除一个录入标签，用来记录减少的差量，具体将在后续步骤说明。

在一种具体的实施方式中，在得到目标图像集之后，将目标图像集中的图像(目标食材的图像)按照拍摄的时间排序，根据目标食材在第一张图像中的位置和在最后一张图像中的位置确定目标食材的位移方向，以位移方向作为目标食材的运动方向。

需要特别指出的是，目标食材可能包括几种不同的食材，此处目标食材的运动方向是指某一种目标食材的运动方向。

例如，如果用户打开冰箱门后，分几次向冰箱内放入多种食材然后关闭冰箱门，在这种情况下，用户放入不同种类的食材均可作为目标食材。因此需要针对每种目标食材分别确定其运动方向。

步骤103提取并识别(或者编号)多种目标食材，步骤104中针对其中任一种目标食材，根据该种食材的第一张图像和最后一张图像确定其位移方向，作为其运动方向。

105、根据目标食材的特征以及目标食材的运动方向，更新录入标签并保存。

冰箱所保存的录入标签用于标识冰箱已录入的食材，一次更新录入标签即记录一次操作的差量，包括增加放入操作的差量以及删除取出操作的差量。

更新和保存录入标签包括新建并保存录入标签、修改并保存录入标签或者删除录入标签。当冰箱内没有与目标食材同类的食材时新建录入标签。放入目标食材时，当冰箱内已有与目标食材同类的食材时修改已有的录入标签，即在已有录入标签上增加该同类食材的数量。取出目标食材时，当冰箱内再没有与目标食材同类的食材时删除已有的录入标签，当冰箱内还有与目标食材同类的食材时修改已有的录入标签，即在已有录入标签上减少该同类食材的数量。

本实施例中分别通过步骤105-1和105-2，以新建和删除录入标签的情况为例对更新录入标签的过程进行说明。

105-1、放入食材时保存录入标签。

当检测确定目标食材的运动方向为放入方向时，表示用户向冰箱内放入了目标食材，此时根据目标食材的特征，新建并保存录入标签。录入标签可以根据从第一图像提取的特征生成，可以包括目标食材的种类(如果识别成功)或者代号(如果未成功识别)，还有存入时间等信息。

105-2、取出食材时删除录入标签。

目标食材的运动方向为取出方向，表示用户从冰箱取出了目标食材，此时在已存的录入标签中，将与目标食材的特征相匹配的录入标签删除。

106、推送食材的日志信息。

步骤106为可选步骤。

冰箱对图像的分析处理(包括特征提取、生成或删除录入标签等)完成后，将处理结果上传云端，由云端向用户的终端设备(通常为手机、平板等网络终端设备)推送冰箱内食材的日志信息。日志信息可以描述放入食材的历史记录、取出食材的历史记录、冰箱内食材存量等，具体可包括食材种类、代号、存入时间、过期提醒等。

可选的，将用户放入食材时得到的目标图像集和用户取出食材时得到的目标图像集归类存储，以便于管理日志信息。

例如，当目标食材的运动方向为放入方向时，将目标图像集存储于放入食材图片库。当目标食材的运动方向为取出方向时，将目标图像集存储于取出食材图片库。

在推送日志信息时，根据冰箱所保存的录入标签确定冰箱内食材存量，并将放入食材图片库中的图片作为日志信息的配图推送给终端设备。

或者，在冰箱删除一个录入标签之前，根据即将被删除的录入标签生成描述取出食材历史记录的日志信息。在推送日志信息时，将取出食材图片库中的图片作为日志信息的配图推送给终端设备。

本发明的实施例所提供的冰箱的控制方法，通过监控冰箱门体和层架之间的区域，得到记录用户放入或者取出食材过程的监控录像，然后对监控录像采样得到目标食材的图像集合，通过对这些图像的分析确定目标食材的特征以及运动方向，利用目标食材的特征标识目标食材，利用目标食材的运动方向确定用户是在放入还是在取出食材，进而根据目标食材的特征以及所述目标食材的运动方向更新录入标签并保存，记录用户的操作过程。例如，当用户放入食材时，冰箱根据从图像中提取的目标食材的特征，生成新的录入标签，当用户取出食材时，冰箱根据从图像中提取的目标食材的特征，删除已有的录入标签，从而达到准确监控冰箱内食材的目的。

本发明的实施例还提供一种冰箱，用于执行上述实施例所描述的控制方法。参照图3所示，冰箱包括：

图像采集单元31，用于监控冰箱的箱体前端面与层架前端面之间的区域，生成监控录像。

控制单元32，控制单元32包括图像处理模块321及录入模块322。

图像处理模块321，用于按照预设算法从监控录像中采样得到目标图像集，目标图像集包括目标食材的至少两幅图像，目标食材为用户放入或者取出食材时所移动的食材。根据目标图像集提取目标食材的特征，并确定目标食材的运动方向。

录入模块322，根据目标食材的特征以及目标食材的运动方向，更新录入标签。

还包括存储单元33，用于存储录入标签，存储单元33所保存的录入标签用于标识冰箱已录入的食材。

可选的，图像采集单元31在冰箱门打开的时间点唤醒，开始录制监控录像。

图像采集单元31在冰箱门关闭的时间点停止录制监控录像并进入睡眠状态。

可选的，图像处理模块321，具体用于按照预设时间间隔对监控录像的图像帧抽样，从抽样所得的图像中筛选出目标图像集。或者，

用于按照预设的图像数量间隔对监控录像的图像帧抽样，从抽样所得的图像中筛选出目标图像集。

可选的，图像处理模块321，还用于将目标图像集中的图像按照拍摄的时间排序，根据提取的目标食材的特征识别出目标食材，根据任意一种目标食材的第一张图像和最后一张图像确定该种目标食材的位移方向，以位移方向作为该种目标食材的运动方向。

可选的，存储模块还用于存储放入食材图片库和取出食材图片库。

录入模块322，还用于当目标食材的运动方向为放入方向时，将目标图像集存储于放入食材图片库。当目标食材的运动方向为取出方向时，将目标图像集存储于取出食材图片库。根据放入食材图片库以及取出食材图片库中的图片，以及冰箱所保存的录入标签，向用户的终端设备推送冰箱内食材的日志信息。

本发明的实施例所提供的冰箱，通过监控冰箱门体和层架之间的区域，得到记录用户放入或者取出食材过程的监控录像，然后对监控录像采样得到目标食材的图像集合，通过对这些图像的分析确定目标食材的特征以及运动方向，利用目标食材的特征标识目标食材，利用目标食材的运动方向确定用户是在放入还是在取出食材，进而根据目标食材的特征以及所述目标食材的运动方向更新录入标签并保存，记录用户的操作过程。例如，当用户放入食材时，冰箱根据从图像中提取的目标食材的特征，生成新的录入标签，当用户取出食材时，冰箱根据从图像中提取的目标食材的特征，删除已有的录入标签，从而达到准确监控冰箱内食材的目的。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种冰箱的控制方法，其特征在于，包括：

接收图像采集单元发送的监控录像；所述图像采集单元用于监控冰箱的箱体前端面与层架前端面之间的区域；

按照预设算法从所述监控录像中采样得到目标图像集，所述目标图像集包括目标食材的至少两幅图像，所述目标食材为用户放入或者取出食材时所移动的食材；

根据所述目标图像集提取所述目标食材的特征，并确定所述目标食材的运动方向；

根据所述目标食材的特征以及所述目标食材的运动方向，更新录入标签并保存；冰箱所保存的录入标签用于标识冰箱已录入的食材。

2.根据权利要求1所述的控制方法，其特征在于，

所述监控录像的起始时间为冰箱门打开的时间点；

所述监控录像的终止时间为冰箱门关闭的时间点。

3.根据权利要求1所述的控制方法，其特征在于，所述按照预设算法从所述监控录像中采样得到目标图像集，包括：

按照预设时间间隔对所述监控录像的图像帧抽样，从抽样所得的图像中筛选出所述目标图像集；或者，

按照预设的图像数量间隔对所述监控录像的图像帧抽样，从抽样所得的图像中筛选出所述目标图像集。

4.根据权利要求3所述的控制方法，其特征在于，所述根据所述目标图像集提取所述目标食材的特征，并确定所述目标食材的运动方向，包括：

将所述目标图像集中的图像按照拍摄的时间排序；

根据提取的目标食材的特征识别出目标食材；

根据任意一种目标食材的第一张图像和最后一张图像确定所述目标食材的位移方向，以所述位移方向作为所述目标食材的运动方向。

5.根据权利要求1-4任一项所述的控制方法，其特征在于，还包括：

当所述目标食材的运动方向为放入方向时，将所述目标图像集存储于放入食材图片库；

当所述目标食材的运动方向为取出方向时，将所述目标图像集存储于取出食材图片库；

根据所述放入食材图片库以及所述取出食材图片库中的图片，以及冰箱所保存的录入标签，向用户的终端设备推送冰箱内食材的日志信息。

6.一种冰箱，其特征在于，包括：

图像采集单元，用于监控冰箱的箱体前端面与层架前端面之间的区域，生成监控录像；

控制单元，所述控制单元包括图像处理模块及录入模块；

所述图像处理模块，用于按照预设算法从所述监控录像中采样得到目标图像集，所述目标图像集包括目标食材的至少两幅图像，所述目标食材为用户放入或者取出食材时所移动的食材；根据所述目标图像集提取所述目标食材的特征，并确定所述目标食材的运动方向；

所述录入模块，根据所述目标食材的特征以及所述目标食材的运动方向，更新录入标签；

还包括存储单元，用于存储录入标签，所述存储单元所保存的录入标签用于标识冰箱已录入的食材。

7.根据权利要求6所述的冰箱，其特征在于，

所述图像采集单元在冰箱门打开的时间点唤醒，开始录制所述监控录像；

所述图像采集单元在冰箱门关闭的时间点停止录制所述监控录像并进入睡眠状态。

8.根据权利要求6所述的冰箱，其特征在于，

所述图像处理模块，具体用于按照预设时间间隔对所述监控录像的图像帧抽样，从抽样所得的图像中筛选出所述目标图像集；或者，

用于按照预设的图像数量间隔对所述监控录像的图像帧抽样，从抽样所得的图像中筛选出所述目标图像集。

9.根据权利要求8所述的冰箱，其特征在于，

图像处理模块，还用于将所述目标图像集中的图像按照拍摄的时间排序；根据提取的目标食材的特征识别出目标食材；根据任意一种目标食材的第一张图像和最后一张图像确定所述目标食材的位移方向，以所述位移方向作为所述目标食材的运动方向。

10.根据权利要求6-9任一项所述的冰箱，其特征在于，所述存储模块还用于存储放入食材图片库和取出食材图片库；

所述录入模块，还用于当所述目标食材的运动方向为放入方向时，将所述目标图像集存储于所述放入食材图片库；当所述目标食材的运动方向为取出方向时，将所述目标图像集存储于所述取出食材图片库；根据所述放入食材图片库以及所述取出食材图片库中的图片，以及冰箱所保存的录入标签，向用户的终端设备推送冰箱内食材的日志信息。