CN106288591A - 一种具有食材管理功能的冰箱及食材管理方法 - Google Patents

Abstract

本发明公开一种具有食品管理功能的冰箱及其控制方法，所述冰箱包括安装于箱胆上的感应单元，所述感应单元包括靠近所述门体设置的第一感应部和远离所述门体设置的第二感应部；所述第一感应部和所述第二感应部分别包括分别位于箱胆两侧且相对设置的信号发射端和信号接收端，在无外物遮挡的情况下，所述信号发射端发出的检测信号被所述信号接收端接收；安装于所述箱胆上侧中间位置处的图像采集单元，用于在预设的拍照触发条件满足时拍照；控制单元，用于根据感应单元的反馈信号确定食材的运动方向，并控制所述图像采集单元进行图像采集，根据图像进行图像识别，提取食材的特征；根据所述食材的运动方向以及所述食材的特征，更新录入标签。

Description

一种具有食材管理功能的冰箱及食材管理方法

技术领域

本发明涉及冰箱的设计制造领域，尤其涉及具有食材管理功能的冰箱及食材管理方法。

背景技术

冰箱是现代家庭必不可少的家用电器，随着科技进步，智能冰箱越来越多地受到用户的青睐，智能冰箱中，食材录入和过期提醒功能是用户较为常用的新功能；当用户向冰箱放入食材时，通过冰箱提供的输入界面录入放入的食材以及食材的保质期；从冰箱内取出食材时，再删除或者更新之前的记录，当某种食材到了保质期时，就输出提醒信息。由于这种方式需要用户进行录入和删除，实际使用中十分不便，因此冰箱实现自动录入和提醒功能是产品的改进方向。

为了解决上述问题，现有技术方案中通常在冰箱中安装摄像头，通过对冰箱内食材进行拍照，再进行食材识别的方式确认冰箱内放入的食材，同时为出现在图像中的食材各设置一个保质期标签，在保质期内如果该种食材在图像中消失则认为用户将食材取出，此时删除保质期标签。如果一个保质期标签一直存在未被删除，并且其设置的保质期到期，则向用户输出提醒信息。

然而，当冰箱内食材的种类和数量较多时，由于食材之间互相遮挡，很可能导致摄像头拍摄不到某一种食材，在对摄像头拍得到的照片进行分析后被遮挡的食材可能会被判定为已经被取出，因此冰箱将该种食材对应的保质期标签删除，这样当被遮挡的食材过期时用户不会收到提醒信息，也就是说这种情况下提醒功能会失效。

发明内容

为此，本发明解决的技术问题是现有冰箱中由于食材相互遮挡导致摄像头不能准确拍摄冰箱内的食材导致自动录入不准确的问题，进而提供一种食材监控准确性较高的冰箱及其食材管理方法。

为达到上述目的，本申请采用如下技术方案：

一种具有食材管理功能的冰箱，包括：安装于箱胆上的感应单元，所述感应单元包括靠近所述门体设置的第一感应部和远离所述门体设置的第二感应部；所述第一感应部和所述第二感应部分别包括分别位于箱胆两侧且相对设置的信号发射端和信号接收端，在无外物遮挡的情况下，所述信号发射端发出的检测信号被所述信号接收端接收；安装于所述箱胆上侧中间位置处的图像采集单元，用于在预设的拍照触发条件满足时拍照；控制单元，用于根据所述感应单元的反馈信号确定食材的运动方向，并控制所述图像采集单元进行图像采集，根据所述图像采集单元采集到的图像进行图像识别，提取食材的特征；根据所述食材的运动方向以及所述食材的特征，更新录入标签。

本发明同时提供上述冰箱的食材管理方法，根据感应单元的输出信号判断食材的运动方向；在预设的拍照触发条件满足时控制图像采集单元对所述食材拍照，根据拍得的照片提取所述食材的特征；根据所述食材的运动方向以及所述食材的特征，更新录入标签。

本发明的具有食材管理功能的冰箱，通过感应单元检测食材的运动方向，确定用户是在放入还是在取出食材；通过拍照触发条件限定拍照的时机得到食材的图像，从图像中提取的食材的特征；最后根据食材的运动方向以及特征，更新录入标签。当用户放入食材时，冰箱根据从图像中提取的食材的特征，新建或者增加录入标签，当用户取出食材时，冰箱根据从图像中提取的食材的特征，减少或者删除已有的录入标签，从而达到准确监控冰箱内食材的目的。本发明检测用户单次放入或者取出操作，仅对用户单次操作过程中放入或者取出的食材进行监控和分析，用户每放入一件食材就增加一条记录，每取出一件食材就删除一条记录，无需拍摄分析冰箱内的全部存量，而只是对用户一次放入或取出操作的对象进行监控分析，从而克服食材相互遮挡带来的监控出错的问题，同时由于拍摄的重点仅仅为一次操作的食材，因而图像分析的难度随之降低，分析识别的准确性相应提高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明具有食品管理功能的冰箱的结构示意图；

图2为本发明的一种感应单元的安装位置和数量的示意图；

图3为本发明的另一种感应单元的安装位置和数量的示意图；

图4为本发明具有食品管理功能的冰箱工作流程的说明示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不是在对数量和执行次序进行限定。

本发明的实施例提供一种具有食材管理功能的冰箱，如图1所示，其包括，安装于箱胆1上的感应单元2，安装于所述箱胆1上侧中间位置处的图像采集单元3，以及控制单元，所述控制单元集成于冰箱门体前侧安装的平板电脑上。

其中，所述感应单元2包括靠近所述门体设置的第一感应部21和远离所述门体设置的第二感应部22；如图2或图3所示，所述第一感应部21和所述第二感应部22分别包括分别位于箱胆1两侧且相对设置的信号发射端2A和信号接收端2B，在无外物遮挡的情况下，所述信号发射端2A发出的检测信号被所述信号接收端2B接收；

具体地，作为一种实施方式，如图2所示，上述感应单元2为红外感应器，其安装于箱胆1的左右两侧，同时，为了使检测准确性更高，在每层的层架处均设置感应单元2，即对应每层的层架，均设置有位于箱胆1最外侧的第一感应部21和接近层架外边缘的第二感应部22；优选将感应单元2设置于两层层架之间的位置。

作为另一种实施方式中，所述感应单元2还可以为激光信号感应器，如图3所示，激光信号发射端2A和激光信号接收端2B为一组，在无外物遮挡的情况下，激光信号发射端2A发出的检测信号经过若干反射镜面2C反射后到达激光信号接收端2B。

同时，上述感应单元2可以安装于箱胆1的上下两侧，只要其相对的设置在箱胆1两侧，能够检测出食材的放入或取出即可，优选地，可以沿箱胆1的水平方向上设置若干个所述感应单元2。

所述信号接收端2B，用于在接收到所述信号发射端2A的检测信号时向所述控制单元输出第一反馈信号，在没有接收到所述信号发射端2A的检测信号时向所述控制单元输出第二反馈信号。当第一反馈信号变化为第二反馈信号时，说明该感应单元2由没遮挡到遮挡，说明有物品进入冰箱箱胆1内；而第二反馈信号变化为第一反馈信号时，说明该感应单元2遮挡到无遮挡，说明有物品移出冰箱箱胆1内，因此，根据以上感应单元2的信号变化，控制单元可以获得食材的放入或取出信息。

安装于所述箱胆1上侧中间位置处的图像采集单元3，用于在预设的拍照触发条件满足时对所述食材拍照；具体地，所述图像采集单元3为摄像头，所述摄像头位于所述第一感应部21与所述第二感应部22之间的箱胆1上；上述安装位置可以使摄像头获得较好的拍摄视角。

控制单元，用于根据所述感应单元2的反馈信号确定所述食材的运动方向，并控制所述图像采集单元3进行图像采集，根据所述图像采集单元3采集到的图像进行图像识别，提取食材的特征；根据所述食材的运动方向以及所述食材的特征，更新录入标签。

具体地，所述控制单元用于在第二感应部22的所述第一反馈信号变化为所述第二反馈信号时，确定所述食材的运动方向为放入方向；当从第一感应部21的所述第二反馈信号变化为所述第一反馈信号时，确定所述食材的运动方向为取出方向。

同时，所述控制单元在确定所述第一感应部21的第一反馈信号变化为所述第二反馈信号时，控制所述摄像头拍照得到第一图像；在确定所述第二感应部22的所述第二反馈信号变化为所述第一反馈信号时，控制所述摄像头拍照得到第二图像。

所述控制单元还用于当确定所述食材的运动方向为放入方向时，根据从所述第一图像提取的特征增加录入标签或在已有录入标签上增加数量；当确定所述食材的运动方向为取出方向时，根据从所述第二图像提取的特征删除录入标签或在已有录入标签上减少数量。

上述冰箱的食材管理方法，参照图1所示，包括以下步骤：

101、根据感应单元2的输出信号判断食材的运动方向。

食材为用户放入或者取出食材时所移动的食材。为便于描述，本发明的实施例中将用户放入、取出某一种物体(食材)的行为称为一次操作。

用户放入食材或者取出食材均为一次操作。如果用户在放入一件食材同时又取出一件食材，这样的操作过程可以拆分为两次操作，一次放入，一次取出。

食材的运动方向包括放入方向和取出方向，本发明的实施例中通过判断食材的运动方向来确定冰箱的存量增加还是减少。存量增加则增加一个录入标签，用来记录增加的差量，存量减少则删除一个录入标签，用来记录减少的差量，具体将在后文说明。

结合图2，当用户操作隔层内食材时，用户的手或者手中的食材会遮挡检测信号，用户操作结束后，信号接收端2B正常接收检测信号。结合图3，检测信号被反射镜面2C反射过程中，信号传输路径形成网状，用户操作过程中会遮挡检测信号，用户操作结束后，信号接收端2B正常接收检测信号。

因此，当位于内侧的第二感应部22的信号接收端2B接收到的检测信号由接通状态中断时，即可确定食材的运动方向为放入方向；当第一感应部21的信号接收端2B在检测信号中断后重新接收到检测信号时，即可确定食材的运动方向为取出方向。

102、在预设的拍照触发条件满足时对食材拍照。

在拍照触发条件满足时对拍照，具体包括两种情形：

第一种，确定用户在放入食材时拍照。具体的，当第一感应部21的检测信号由连接状态中断时，拍照得到第一图像，由于摄像头安装在第一感应部21与第二感应部22之间，即位于门体和层架之间，当用户放入食材或取出食材的过程中，刚刚将第一感应部21的感应信号遮挡时，摄像头拍照，可以获得较为理想的图片信息，便于后续图像识别。

第二种，确定用户在取出食材时拍照。具体的，当第二感应部22检测信号在中断后重新接通时，对空间范围拍照得到第二图像；同样的，当用户放入食材或取出食材的过程中，刚刚将从第二感应部22离开向第一感应部21移动时，控制摄像头拍照，能够获得较为理想的图像。

第一图像用于记录用户放入食材的过程，第二图像用于记录用户取出食材的过程。通过对第一图像和第二图像设置标签加以区分，便于对放入和取出操作分别做记录和分析。例如将第一图像存入到放入食材图片库，将第二图像存入到取出食材图片库，并对图片增加时间标签，从而完整记录用户操作的整个过程。

103、根据拍得的照片提取食材的特征。

提取食材的特征，是指对食材进行识别或者标记。例如，通过图像分割和深度学习识别技术，识别食材，对于其中只有手的图像则直接删除，如果不能识别食材则提取其特征并分配代号标识。这样，不同的食材均与其各自的特征或者代号相对应。

104、根据食材的运动方向以及食材的特征，更新录入标签并保存。

冰箱所保存的录入标签用于标识冰箱已录入的食材，一次更新录入标签即记录一次操作的差量，包括增加放入操作的差量以及删除取出操作的差量。

更新和保存录入标签包括新建并保存录入标签、修改并保存录入标签或者删除录入标签。当冰箱内没有与食材同类的食材时新建录入标签。放入食材时，当冰箱内已有与食材同类的食材时修改已有的录入标签，即在已有录入标签上增加该同类食材的数量。取出食材时，当冰箱内再没有与食材同类的食材时删除已有的录入标签，当冰箱内还有与食材同类的食材时修改已有的录入标签，即在已有录入标签上减少该同类食材的数量。

本实施例中分别通过步骤104-1和104-2，以新建和删除录入标签的情况为例对更新录入标签的过程进行说明。

104-1、放入食材。

当检测确定食材的运动方向为放入方向时，表示用户向冰箱内放入了食材，此时根据食材的特征，新建并保存录入标签。录入标签可以根据从第一图像提取的特征生成，可以包括食材的种类(如果识别成功)或者代号(如果未成功识别)，还有存入时间等信息。

104-2、取出食材。

当检测确定食材的运动方向为取出方向时，表示用户从冰箱取出了食材，此时在已存的录入标签中，将与食材的特征相匹配的录入标签删除。具体的，根据从第二图像提取的特征，在已存储的录入标签中查找到匹配的录入标签并删除。

以下结合图4所示的流程图对冰箱监控食材的过程进行说明。

信号发射端2A和信号接收端2B可以在冰箱门打开时启动，在启动之后，检测信号的状态有两种：接通和被阻。当用户没有任何操作时，检测信号接通。

当用户在操作时导致检测信号被阻时，摄像头抓拍得到第一图像。

当用户操作完成时，检测信号接通，此时摄像头抓拍得到第二图像。

第一图像和第二图像被分别存储在放入食材图片库和取出食材图片库。

在冰箱门打开的情况下，根据检测信号的状态多次抓拍。在冰箱门关闭后，开始对已经存储的第一图像和第二图像进行分析处理，包括特征提取、生成或删除录入标签等。

可选的，冰箱完成对图像的分析处理后，将处理结果上传云端，由云端向用户的手机提供食材过期提醒、实时查看等功能。

本发明的实施例所提供的冰箱，通过检测食材的运动方向，确定用户是在放入还是在取出食材；通过拍照触发条件限定拍照的时机得到食材的图像，从图像中提取的食材的特征；最后根据食材的运动方向以及特征，更新录入标签。例如，当用户放入食材时，冰箱根据从图像中提取的食材的特征，新建或者修改录入标签，当用户取出食材时，冰箱根据从图像中提取的食材的特征，修改或者删除已有的录入标签，从而达到准确监控冰箱内食材的目的。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种具有食材管理功能的冰箱，其特征在于，包括：

安装于箱胆上的感应单元，所述感应单元包括靠近所述门体设置的第一感应部和远离所述门体设置的第二感应部；所述第一感应部和所述第二感应部分别包括分别位于箱胆两侧且相对设置的信号发射端和信号接收端，在无外物遮挡的情况下，所述信号发射端发出的检测信号被所述信号接收端接收；

安装于所述箱胆上侧中间位置处的图像采集单元，用于在预设的拍照触发条件满足时拍照；

控制单元，用于根据所述感应单元的反馈信号确定食材的运动方向，并控制所述图像采集单元进行图像采集，根据所述图像采集单元采集到的图像进行图像识别，提取食材的特征；根据所述食材的运动方向以及所述食材的特征，更新录入标签。

2.根据权利要求1所述的具有食材管理功能的冰箱，其特征在于，

所述感应单元为安装于箱胆左右两侧的红外感应器或激光信号感应器；所述信号接收端，用于在接收到所述信号发射端的检测信号时向所述控制单元输出第一反馈信号，在没有接收到所述信号发射端的检测信号时向所述控制单元输出第二反馈信号；

所述控制单元，用于在第二感应部的所述第一反馈信号变化为所述第二反馈信号时，确定所述食材的运动方向为放入方向；当从第一感应部的所述第二反馈信号变化为所述第一反馈信号时，确定所述食材的运动方向为取出方向。

3.根据权利要求2所述的具有食材管理功能的冰箱，其特征在于，

所述图像采集单元为摄像头，所述摄像头位于所述第一感应部与所述第二感应部之间的箱胆上；

所述控制单元具体用于在确定所述第一感应部的第一反馈信号变化为所述第二反馈信号时，控制所述摄像头拍照得到第一图像；在确定所述第二感应部的所述第二反馈信号变化为所述第一反馈信号时，控制所述摄像头拍照得到第二图像。

4.根据权利要求3所述的具有食材管理功能的冰箱，其特征在于，

所述控制单元，还用于当确定所述食材的运动方向为放入方向时，根据从所述第一图像提取的特征增加录入标签或在已有录入标签上增加数量；当确定所述食材的运动方向为取出方向时，根据从所述第二图像提取的特征删除录入标签或在已有录入标签上减少数量。

5.根据权利要求2所述的具有食材管理功能的冰箱，其特征在于，

沿竖直方向，对应每个层架的位置设置所述红外感应器。

6.根据权利要求2所述的具有食材管理功能的冰箱，其特征在于，

所述激光信号感应器包括设置在最上层层架位置处的信号发射端，以及位于最下层层架位置处的信号接收端，在所述信号发射端与所述信号接收端之间设置若干个反射镜，若干个所述反射镜用于将所述信号发射端的信号传输给所述信号接收端。

7.一种权利要求1-6任一所述冰箱的食材管理方法，其特征在于：

根据感应单元的输出信号判断食材的运动方向；

在预设的拍照触发条件满足时控制图像采集单元对所述食材拍照，根据拍得的照片提取所述食材的特征；

根据所述食材的运动方向以及所述食材的特征，更新录入标签。

8.根据权利要求7所述的食材管理方法，其特征在于，

所述根据感应单元的输出信号判断食材的运动方向，包括：当所述第二感应部的信号接收端接收到的检测信号从有到无时，确定所述食材的运动方向为放入方向；当所述第二感应部的信号接收端的所述检测信号从无到有时，确定所述食材的运动方向为取出方向。

9.根据权利要求8所述的食材管理方法，其特征在于，所述在预设的拍照触发条件满足时控制图像采集单元对所述食材拍照，包括：

当所述第一感应部的信号接收端接收到的检测信号从有到无时，控制图像采集单元拍照得到第一图像；当所述第二感应部的信号接收端接收到的检测信号从无到有时，控制图像采集单元拍照得到第二图像。

10.根据权利要求9所述的食材管理方法，其特征在于，

所述根据所述食材的运动方向以及所述食材的特征，更新录入标签，包括：

当确定所述食材的运动方向为放入方向时，根据从所述第一图像提取的特征增加录入标签或在已有录入标签上增加数量；

当确定所述食材的运动方向为取出方向时，根据从所述第二图像提取的特征，删除录入标签或在已有录入标签上减少数量。