CN105091491B - 智能冰箱的食品管理方法及装置 - Google Patents

Abstract

本发明公开一种智能冰箱的食品管理方法及装置，本发明实施例智能冰箱检测到智能冰箱上有冰箱门打开时，采集打开的所述冰箱门对应的预设区域的第一图像信息；识别出所述第一图像信息中存在预设特征信息，则获取所述预设区域中所述预设特征信息对应的存储区域；检测到所述冰箱门关闭时，采集所述预设特征信息对应的所述存储区域中的第二图像信息；根据预设食品信息和所述第二图像信息，更新智能冰箱中的存储食品信息；提高了智能冰箱对存储区域识别的针对性，同时也提高了智能冰箱识别食品的识别效率。

Description

智能冰箱的食品管理方法及装置

技术领域

本发明涉及智能家用电器领域，尤其涉及一种智能冰箱的食品管理方法及装置。

背景技术

随着智能家电的不断发展进步，智能冰箱也获得了快速的发展，并逐渐代替普通冰箱走进千家万户。智能冰箱在容积增大、带来更多储存空间的同时，需要用户管理的食品也越来越多，而不善的食品管理会带来食品的损坏和巨大的浪费；因此，如何对智能冰箱中存储的食品进行管理是一个亟待解决的问题。

发明内容

本发明的主要目的是，提供一种智能冰箱的食品管理方法及装置，旨在达到高效、便捷地管理智能冰箱中存储的食品的目的。

本发明实施例公开了一种智能冰箱的食品管理方法，包括以下步骤：

检测到智能冰箱上有冰箱门打开时，采集打开的所述冰箱门对应的预设区域的第一图像信息；

识别出所述第一图像信息中存在预设特征信息，则获取所述预设区域中所述预设特征信息对应的存储区域；

检测到所述冰箱门关闭时，采集所述预设特征信息对应的所述存储区域中的第二图像信息；

根据预设食品信息和所述第二图像信息，更新智能冰箱中的存储食品信息。

优选地，所述采集打开的所述冰箱门对应的预设区域的第一图像信息的步骤之后还包括：

识别出所述第一图像中不存在预设特征信息，则检测到所述冰箱门关闭时，采集所述预设区域中的第三图像信息；

根据预设食品信息和所述第三图像信息，更新智能冰箱中的存储食品信息。

优选地，所述更新智能冰箱中的存储食品信息的步骤之后还包括：

将更新后的所述存储食品信息发送至服务器。

优选地，所述预设食品信息包括：

基于用户触发的设置指令获取的所述预设食品信息；以及，

接收服务器发送的所述预设食品信息。

优选地，所述食品信息包括：

食品种类、不同种类的食品所分别对应的食品数量、食品色泽和食品保质期；

所述预设特征信息包括手型信息。

本发明实施例还公开一种智能冰箱的食品管理装置，包括：

信息获取模块，用于检测到智能冰箱上有冰箱门打开时，采集打开的所述冰箱门对应的预设区域的第一图像信息；

区域获取模块，用于在识别出所述第一图像信息中存在预设特征信息时，获取所述预设区域中所述预设特征信息对应的存储区域；

所述信息获取模块还用于：

检测到所述冰箱门关闭时，采集所述预设特征信息对应的所述存储区域中的第二图像信息；

信息更新模块，用于根据预设食品信息和所述第二图像信息，更新智能冰箱中的存储食品信息。

优选地，所述信息获取模块还用于：

在识别出所述第一图像中不存在预设特征信息且检测到所述冰箱门关闭时，采集所述预设区域中的第三图像信息；

所述信息更新模块还用于：根据预设食品信息和所述第三图像信息，更新智能冰箱中的存储食品信息。

优选地，所述智能冰箱的食品管理装置还包括：

数据同步模块，用于将更新后的所述存储食品信息发送至服务器。

优选地，所述预设食品信息包括：

基于用户触发的设置指令获取的所述预设食品信息；以及，

接收服务器发送的所述预设食品信息。

优选地，所述食品信息包括：

食品种类、不同种类的食品所分别对应的食品数量、食品色泽和食品保质期；

所述预设特征信息包括手型信息。

本发明实施例智能冰箱检测到智能冰箱上有冰箱门打开时，采集打开的所述冰箱门对应的预设区域的第一图像信息；识别出所述第一图像信息中存在预设特征信息，则获取所述预设区域中所述预设特征信息对应的存储区域；检测到所述冰箱门关闭时，采集所述预设特征信息对应的所述存储区域中的第二图像信息；根据预设食品信息和所述第二图像信息，更新智能冰箱中的存储食品信息；提高了智能冰箱对存储区域识别的针对性，同时也提高了智能冰箱识别食品的识别效率。

附图说明

图1是本发明智能冰箱的食品管理方法及装置运行环境一实施例结构示意图；

图2是本发明智能冰箱的食品管理方法第一实施例流程示意图；

图3是本发明智能冰箱的食品管理方法第二实施例流程示意图；

图4是本发明智能冰箱的食品管理方法第三实施例流程示意图；

图5是本发明智能冰箱一实施例平面结构示意图；

图6是本发明智能冰箱的食品管理装置第一实施例功能模块示意图；

图7是本发明智能冰箱的食品管理装置第二实施例功能模块示意图；

图8是本发明智能冰箱的食品管理装置第三实施例功能模块示意图。

本发明实施例目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

以下结合说明书附图及具体实施例进一步说明本发明的技术方案。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1是本发明智能冰箱的食品管理方法及装置运行环境一实施例结构示意图；如图1所示，本发明智能冰箱的食品管理方法及装置的实施例中，智能冰箱100通过互联网与服务器200连接，并与服务器200进行数据交互；比如，智能冰箱100实时将更新的存储食品信息上传至服务器200，服务器200基于用户触发的操作，配置智能冰箱100的管理参数(比如设置食品存储周期、食品有效期等)或者校正智能冰箱100存储的食品信息等，从而实现智能冰箱100与服务器200之间的信息同步，进而达到智能冰箱100管理存储的食品信息的目的。比如，用户可以通过终端300如PC(Personal Computer，个人计算机)以及移动终端(比如手机、平板电脑等)登录服务器200，获取家中智能冰箱100中的食品存储情况；或者，也可以在终端300本地下载该智能冰箱100的管理客户端比如APP(Application，应用)，用户通过登录本地客户端访问服务器200，来获取智能冰箱100中的食品存储情况；从而实现了用户基于移动终端300能够随时随地获取智能冰箱100中的食品存储情况，进而实现智能冰箱100对所存储的食品的管理。

本发明还提供了一种智能冰箱的食品管理方法第一实施例；基于图1所述实施例的描述，如图2所示，本发明智能冰箱的食品管理方法包括以下步骤：

步骤S01、检测到智能冰箱上有冰箱门打开时，采集打开的所述冰箱门对应的预设区域的第一图像信息；

智能冰箱实时监测是否有冰箱门开启的操作事件；当智能冰箱检测到有冰箱门打开时，开启摄像设备采集打开的冰箱门所对应的预设区域的第一图像信息。比如，智能冰箱开启摄像头对该摄像头可拍摄范围的预设区域进行拍照，从而采集该冰箱门对应的预设区域的第一图像信息。为了提高照片拍摄的清晰度，智能冰箱在开启摄像头拍摄预设区域对应的食品的照片时，同时开启照明灯，进行辅助照明。

在本发明一优选实施例中，为了提高智能冰箱对食品的识别率，在摄像头对预设区域进行拍照后，对得到的照片进行图像处理，并将经图像处理后的照片进行存储。

由于智能冰箱不止一个冰箱门且多个冰箱门可同时开启，当智能冰箱检测到有多个冰箱门开启时，分别采集各冰箱门对应的预设区域的第一图像信息，并设置采集的所述第一图像信息与对应的预设区域的映射关系，同时将采集的所述第一图像信息和映射关系一起存储，便于后续将采集的第一图像信息与对应的预设区域进行一一对应。

步骤S02、识别出所述第一图像信息中存在预设特征信息，则获取所述预设区域中所述预设特征信息对应的存储区域；

智能冰箱采集到第一图像信息之后，识别采集的第一图像信息中是否存在预设特征信息；该预设特征信息可以理解为包含用户操作特征和/或用户肢体特征的信息，比如用户的手势、用户的肢体如手、手臂等；也就是说，该预设特征信息在一定程度上体现了是否有用户触发的操作事件，比如放入食品或者拿出食品等，上述识别通常不需要区分是否为特定用户。

若智能冰箱识别出采集的所述第一图像信息中存在预设特征信息，则获取该预设区域中所述预设特征信息对应的存储区域。由于存储所述第一图像信息时，同时存储了该图像信息与预设区域的映射关系，因此，根据出现预设特征信息的所述第一图像信息，便能够获取到所述预设区域中所述预设特征信息对应的存储区域。

步骤S03、检测到所述冰箱门关闭时，采集所述预设特征信息对应的所述存储区域中的第二图像信息；

在智能冰箱检测到上述开启的冰箱门由打开状态转换为关闭状态时，智能冰箱在上述冰箱门关闭后，采集上述预设特征出现的所述存储区域中的第二图像信息。

在本发明一优选实施例中，为了提高图像采集的准确性和稳定性，智能冰箱在上述冰箱门关闭预设时长后再对所述存储区域进行图像采集。

步骤S04、根据预设食品信息和所述第二图像信息，更新智能冰箱中的存储食品信息。

在采集到冰箱门关闭后所述存储区域的第二图像信息后，智能冰箱调用本次冰箱门开关之前所述存储区域预先存储的所述预设食品信息，并将该预设食品信息与采集到的第二图像信息进行分析和比对，从而判断出智能冰箱内上述存储区域内食品的变化情况，比如减少和/或增加的食品种类、食品数量，存储的食品的色泽是否变化，以及存储的某一类或者某几类食品的存储期限是否达到了预先设置的保质期等；根据上述判断结果，从而更新智能冰箱中的存储食品信息。

比如，以食品信息为食品数量为例，检测到冰箱门关闭后，智能冰箱采集冰箱门关闭后所述存储区域的第二图像信息后，智能冰箱调用本次冰箱门开关之前所述存储区域预先存储的所述预设食品信息对应的食品数量，并将预设食品数量与采集到的第二图像信息中对应的食品数量进行分析和比对；所述分析和对比可以理解为：针对同一类食品，识别出同一食品种类在冰箱门开关之前的食品数量的变化；及/或存储的所有食品的总数量在冰箱门开关之前的食品数量的变化。根据上述预设食品信息对应的食品数量及采集的第二图像信息中的食品数量，判断出智能冰箱内上述存储区域内减少和/或增加的食品种类、及所述食品种类分别对应的食品数量。比如，智能冰箱调用的预设食品数量中，苹果对应的数量为6个，橙子对应的数量为4个；而采集到的第二图像信息中仅存在苹果，且苹果对应的数量为2个，则智能冰箱判断出上述存储区域内减少的苹果数量为：(6-2)个，即4个；而预先存储的橙子已不存在了，则表示存储的4个橙子已被全部拿出，从而判断出食品种类中减少了橙子这一种类。

本实施例中，所述食品信息包括但不限于：存储的食品种类、不同种类的食品所分别对应的食品数量、食品色泽和食品保质期；本实施例对所述食品信息包含的具体内容不进行一一穷举。所述预设食品信息包括：智能冰箱基于用户在智能冰箱提供的用户控制界面触发的设置指令获取的所述预设食品信息；以及，智能冰箱接收服务器发送的所述预设食品信息。

本发明实施例智能冰箱检测到智能冰箱上有冰箱门打开时，采集打开的所述冰箱门对应的预设区域的第一图像信息；识别出所述第一图像信息中存在预设特征信息，则获取所述预设区域中所述预设特征信息对应的存储区域；检测到所述冰箱门关闭时，采集所述预设特征信息对应的所述存储区域中的第二图像信息；根据预设食品信息和所述第二图像信息，更新智能冰箱中的存储食品信息；提高了智能冰箱对存储区域识别的针对性，同时也提高了智能冰箱识别食品的识别效率。

本发明实施例还提供了一种智能冰箱的食品管理方法第二实施例；如图3所示，本实施例与图2所述实施例的区别是，智能冰箱识别出所采集的第一图像信息中不存在预设特征信息所执行的操作。在实际操作过程中，可能会存在因用户过快打开、关闭冰箱门或者用户执行的其他类型操作的情况，上述操作可能导致智能冰箱对食品信息变化的识别不准确，为了避免出现上述类似情况，提高智能冰箱食品管理准确率，特提出本实施例的下述实现方式。

基于图1、图2所述实施例的描述，如图3所示，本发明智能冰箱的食品管理方法在图2所述实施例的“步骤S01、检测到智能冰箱上有冰箱门打开时，采集打开的所述冰箱门对应的预设区域的第一图像信息”之后，还包括以下步骤：

步骤S12、识别出所述第一图像中不存在预设特征信息，则检测到所述冰箱门关闭时，采集所述预设区域中的第三图像信息；

步骤S13、根据预设食品信息和所述第三图像信息，更新智能冰箱中的存储食品信息。

本实施例中，若智能冰箱识别出第一图像中不存在预设特征信息(比如用户的手势等)时，则在智能冰箱检测到上述开启的冰箱门由打开状态转换为关闭状态时，智能冰箱在上述冰箱门关闭后，采集所述冰箱门对应的预设区域中的第三图像信息。其中，所述冰箱门对应的预设区域可以理解为：在所述冰箱门开启后，用户通过该冰箱门能够接触到的该智能冰箱中的所有区域。智能冰箱采集上述预设区域所对应的第三图像信息。

在本发明一优选实施例中，为了提高图像采集的准确性和稳定性，智能冰箱在上述冰箱门关闭预设时长后再对所述存储区域进行图像采集。

在采集到冰箱门关闭后所述存储区域的第三图像信息后，智能冰箱调用本次冰箱门开关之前所述存储区域预先存储的所述预设食品信息，并将该预设食品信息与采集到的第三图像信息进行分析和比对，从而判断出智能冰箱内上述存储区域内食品的变化情况，比如减少和/或增加的食品种类、食品数量，存储的食品的色泽是否变化，以及存储的某一类或者某几类食品的存储期限是否达到了预先设置的保质期等；根据上述判断结果，从而更新智能冰箱中的存储食品信息。

本实施例中，所述食品信息包括但不限于：存储的食品种类、不同种类的食品所分别对应的食品数量、食品色泽和食品保质期；本实施例对所述食品信息包含的具体内容不进行一一穷举。所述预设食品信息包括：智能冰箱基于用户在智能冰箱提供的用户控制界面触发的设置指令获取的所述预设食品信息；以及，智能冰箱接收服务器发送的所述预设食品信息。

本发明实施例在智能冰箱检测到智能冰箱上有冰箱门打开时，采集打开的所述冰箱门对应的预设区域的第一图像信息；识别出所述第一图像信息中不存在预设特征信息，则检测到所述冰箱门关闭时，采集所述预设区域中的第三图像信息；根据预设食品信息和所述第三图像信息，更新智能冰箱中的存储食品信息；提高了智能冰箱识别食品的准确率。

本发明还提供了智能冰箱的食品管理方法第三实施例；本实施例与图2和图3所述实施例的区别是，本发明实施例中智能冰箱中获取的存储食品信息与服务器实时同步。

本实施例以与图3所述实施例的区别为例进行描述。

基于图1、图2和图3所述实施例的描述，如图4所示，本发明智能冰箱的食品管理方法在图3所述实施例的“步骤S13、根据预设食品信息和所述第三图像信息，更新智能冰箱中的存储食品信息”，之后还包括：

步骤S14、将更新后的所述存储食品信息发送至服务器。

本实施例中，智能冰箱检测到所存储的食品信息有更新时，将更新后的所述存储食品信息上传至服务器。服务器接收并存储智能冰箱发送的更新后的所述存储食品信息，以便于用户通过终端也能够获取到上述存储食品信息。

当然，用户基于终端获取到服务器端存储的食品信息后，若需要对上述食品信息进行更新，或者需重新设置上述食品信息，则用户基于服务器提供的用户操作界面更新上述食品信息，服务器基于用户触发的操作指令，更新并存储对应的食品信息，并将更新的所述食品信息下发至智能冰箱，由智能冰箱更新本地存储的食品信息。

在本发明一优选实施例中，智能冰箱提供一用户控制界面，供用户基于智能冰箱提供的用户控制界面设置智能冰箱中所存储的食品信息，智能冰箱执行用户触发的设置操作事件，更新本地存储的食品信息，并将更新后的食品信息上传至服务器，供服务器进行同步更新。

本发明实施例智能冰箱与服务器对于存储的食品信息进行实时同步，使得智能冰箱存储的食品数据能够得以及时更新，提高了智能冰箱存储食品数据更新的及时性，从而进一步提高了智能冰箱存储食品数据的准确性。

本发明智能冰箱的食品管理方法适用于任意一款智能冰箱，本实施例以具体结构为图5所示的智能冰箱为例，再次描述本发明智能冰箱的食品管理方法在一具体应用场景中的实现过程。

基于图1、图2、图3和图4所述实施例的描述，如图5所示，该智能冰箱安装有3个冰箱门，通过门开关A、门开关B和门开关C能够分别检测上述冰箱门A、冰箱门B和冰箱门C是否处于打开或者关闭状态。上述冰箱门A和冰箱门B分别对应智能冰箱的区域A和区域B，冰箱门C分别对应区域C1和区域C2。如图5所示，上述区域A、区域B、区域C1和区域C2中分别安装有对应的照明灯和摄像头，照明灯用于照明；同时，为了提高摄像头采集图像的清晰度，在摄像头采集冰箱内对应区域的图像信息时，上述照明灯进行辅助照明。本实施例中，由于冰箱门C打开后，用户可操作的区域大于预设区域范围(该预设区域范围由智能冰箱的开发人员根据采集的准确率进行设定)，为保证冰箱门C对应的区域均能被摄像头采集到，进一步地也为了提高信息采集的准确率，将上述冰箱门C所对应的区域划分为区域C1和区域C2，并分别为上述区域C1和区域C2设置摄像头和照明灯。由于冰箱门C对应多个区域，因此，当智能冰箱检测到冰箱门C开启后，同时启动冰箱门C对应的所有区域内的摄像头及/或照明灯的工作；且各区域采集的图像信息与对应区域一一映射。

若图5所述的智能冰箱检测到冰箱门C打开时，控制冰箱门C对应的区域C1和区域C2中的摄像头C1和摄像头C2分别对上述区域C1和区域C2进行拍照或者摄像，从而采集区域C1和区域C2对应的区域图像信息。为了取得较好的拍摄效果，在摄像头进行图像采集时，智能冰箱开启区域C1和区域C2中的照明灯C1和照明灯C2，进行辅助照明。智能冰箱采集到区域C1和区域C2对应的区域图像信息后，识别采集的上述区域图像信息中是否存在预设特征信息比如手型信息；若监测到上述区域图像信息中存在预设特征信息，则智能冰箱获取所述预设特征信息对应的存储区域，比如区域C1。则当智能冰箱检测到冰箱门C关闭时，仅需采集区域C1对应的图像信息即可。根据采集到的区域C1对应的图像信息，与该区域C1对应的预设食品信息进行比对，从而得出本次区域C1对应的食品信息的变化。

若区域C1和C2中均未出现上述预设特征信息，则智能冰箱在检测到冰箱门C关闭时，同时采集冰箱门C关闭后，区域C1和区域C2的图像信息；从而根据智能冰箱预先设置的预设食品信息，和本次智能冰箱门C关闭后采集到的图像信息，获取更新后的存储食品信息。当然，也存在冰箱门开关后，冰箱内食品信息不会发生变化的情况；在这种情况下，更新后的存储食品信息与预先设置的预设食品信息一致。

当智能冰箱中的食品信息发生改变时，智能冰箱将更新后的存储食品信息上传至服务器。此时，用户可以通过移动终端登录服务器，查看更新后的存储食品信息。比如，在用户使用的移动终端上安装一应用程序，通过该应用程序即可随时随地获知智能冰箱中的食品信息。比如，用户在商场时，直接通过智能手机即可便捷、快速地获悉家中智能冰箱中的食品信息，从而针对性的采购，提高了人机的可交互性。

本发明还提供了一种智能冰箱的食品管理装置第一实施例；如图6所示，本发明智能冰箱的食品管理装置包括：信息获取模块01、区域获取模块02和信息更新模块03。

信息获取模块01，用于检测到智能冰箱上有冰箱门打开时，采集打开的所述冰箱门对应的预设区域的第一图像信息；

智能冰箱实时监测是否有冰箱门开启的操作事件；当智能冰箱检测到有冰箱门打开时，信息获取模块01开启摄像设备采集打开的冰箱门所对应的预设区域的第一图像信息。比如，信息获取模块01开启摄像头对该摄像头可拍摄范围的预设区域进行拍照，从而采集该冰箱门对应的预设区域的第一图像信息。为了提高照片拍摄的清晰度，信息获取模块01在开启摄像头拍摄预设区域对应的食品的照片时，同时开启照明灯，进行辅助照明。

在本发明一优选实施例中，为了提高智能冰箱对食品的识别率，在摄像头对预设区域进行拍照后，对得到的照片进行图像处理，并将经图像处理后的照片进行存储。

由于智能冰箱不止一个冰箱门且多个冰箱门可同时开启，当智能冰箱检测到有多个冰箱门开启时，信息获取模块01分别采集各冰箱门对应的预设区域的第一图像信息，并设置采集的所述第一图像信息与对应的预设区域的映射关系，同时将采集的所述第一图像信息和映射关系一起存储，便于后续将采集的第一图像信息与对应的预设区域进行一一对应。

区域获取模块02，用于在识别出所述第一图像信息中存在预设特征信息时，获取所述预设区域中所述预设特征信息对应的存储区域；

智能冰箱的信息获取模块01采集到第一图像信息之后，识别采集的第一图像信息中是否存在预设特征信息；该预设特征信息可以理解为包含用户操作特征和/或用户肢体特征的信息，比如用户的手势、用户的肢体如手、手臂等；也就是说，该预设特征信息在一定程度上体现了是否有用户触发的操作事件，比如放入食品或者拿出食品等，上述识别通常不需要区分是否为特定用户。

若智能冰箱识别出采集的所述第一图像信息中存在预设特征信息，则获取区域获取模块02该预设区域中所述预设特征信息对应的存储区域。由于信息获取模块01存储所述第一图像信息时，同时存储了该图像信息与预设区域的映射关系，因此，区域获取模块02根据出现预设特征信息的所述第一图像信息，便能够获取到所述预设区域中所述预设特征信息对应的存储区域。

信息获取模块01还用于：检测到所述冰箱门关闭时，采集所述预设特征信息对应的所述存储区域中的第二图像信息；

在智能冰箱检测到上述开启的冰箱门由打开状态转换为关闭状态时，信息获取模块01在上述冰箱门关闭后，采集上述预设特征出现的所述存储区域中的第二图像信息。

在本发明一优选实施例中，为了提高图像采集的准确性和稳定性，信息获取模块01在上述冰箱门关闭预设时长后再对所述存储区域进行图像采集。

信息更新模块03，用于根据预设食品信息和所述第二图像信息，更新智能冰箱中的存储食品信息。

在信息获取模块01采集到冰箱门关闭后所述存储区域的第二图像信息后，信息更新模块03调用本次冰箱门开关之前所述存储区域预先存储的所述预设食品信息，并将该预设食品信息与采集到的第二图像信息进行分析和比对，从而判断出智能冰箱内上述存储区域内食品的变化情况，比如减少和/或增加的食品种类、食品数量，存储的食品的色泽是否变化，以及存储的某一类或者某几类食品的存储期限是否达到了预先设置的保质期等；信息更新模块03根据上述判断结果，更新智能冰箱中的存储食品信息。

比如，以食品信息为食品数量为例，信息获取模块01检测到冰箱门关闭后，信息获取模块01采集冰箱门关闭后所述存储区域的第二图像信息后，信息更新模块03调用本次冰箱门开关之前所述存储区域预先存储的所述预设食品信息对应的食品数量，并将预设食品数量与采集到的第二图像信息中对应的食品数量进行分析和比对；所述分析和对比可以理解为：针对同一类食品，信息更新模块03识别出同一食品种类在冰箱门开关之前的食品数量的变化；及/或存储的所有食品的总数量在冰箱门开关之前的食品数量的变化。根据上述预设食品信息对应的食品数量及采集的第二图像信息中的食品数量，信息更新模块03判断出智能冰箱内上述存储区域内减少和/或增加的食品种类、及所述食品种类分别对应的食品数量。比如，信息更新模块03调用的预设食品数量中，苹果对应的数量为6个，橙子对应的数量为4个；而信息获取模块01采集到的第二图像信息中仅存在苹果，且苹果对应的数量为2个，则信息更新模块03判断出上述存储区域内减少的苹果数量为：(6-2)个，即4个；而预先存储的橙子已不存在了，则表示存储的4个橙子已被全部拿出，信息更新模块03从而判断出食品种类中减少了橙子这一种类。

本实施例中，所述食品信息包括但不限于：存储的食品种类、不同种类的食品所分别对应的食品数量、食品色泽和食品保质期；本实施例对所述食品信息包含的具体内容不进行一一穷举。所述预设食品信息包括：智能冰箱基于用户在智能冰箱提供的用户控制界面触发的设置指令获取的所述预设食品信息；以及，智能冰箱接收服务器发送的所述预设食品信息。

本发明实施例智能冰箱检测到智能冰箱上有冰箱门打开时，采集打开的所述冰箱门对应的预设区域的第一图像信息；识别出所述第一图像信息中存在预设特征信息，则获取所述预设区域中所述预设特征信息对应的存储区域；检测到所述冰箱门关闭时，采集所述预设特征信息对应的所述存储区域中的第二图像信息；根据预设食品信息和所述第二图像信息，更新智能冰箱中的存储食品信息；提高了智能冰箱对存储区域识别的针对性，同时也提高了智能冰箱识别食品的识别效率。

在实际操作过程中，可能会存在因用户过快打开、关闭冰箱门或者用户执行的其他类型操作的情况，上述操作可能导致智能冰箱对食品信息变化的识别不准确，为了避免出现上述类似情况，提高智能冰箱食品管理准确率，特提出本实施例的下述实现方式。请再次参照图6，本发明智能冰箱的食品管理装置中，所述信息获取模块01还用于：

在识别出所述第一图像中不存在预设特征信息且检测到所述冰箱门关闭时，采集所述预设区域中的第三图像信息；

所述信息更新模块03还用于：根据预设食品信息和所述第三图像信息，更新智能冰箱中的存储食品信息。

本实施例中，若智能冰箱识别出第一图像中不存在预设特征信息(比如用户的手势等)时，则在信息获取模块01检测到上述开启的冰箱门由打开状态转换为关闭状态时，信息获取模块01在上述冰箱门关闭后，采集所述冰箱门对应的预设区域中的第三图像信息。其中，所述冰箱门对应的预设区域可以理解为：在所述冰箱门开启后，用户通过该冰箱门能够接触到的该智能冰箱中的所有区域。智能冰箱采集上述预设区域所对应的第三图像信息。

在本发明一优选实施例中，为了提高图像采集的准确性和稳定性，信息获取模块01在上述冰箱门关闭预设时长后再对所述存储区域进行图像采集。

在信息获取模块01采集到冰箱门关闭后所述存储区域的第三图像信息后，信息更新模块03调用本次冰箱门开关之前所述存储区域预先存储的所述预设食品信息，并将该预设食品信息与采集到的第三图像信息进行分析和比对，从而判断出智能冰箱内上述存储区域内食品的变化情况，比如减少和/或增加的食品种类、食品数量，存储的食品的色泽是否变化，以及存储的某一类或者某几类食品的存储期限是否达到了预先设置的保质期等；根据上述判断结果，信息更新模块03更新智能冰箱中的存储食品信息。

本实施例中，所述食品信息包括但不限于：存储的食品种类、不同种类的食品所分别对应的食品数量、食品色泽和食品保质期；本实施例对所述食品信息包含的具体内容不进行一一穷举。所述预设食品信息包括：智能冰箱基于用户在智能冰箱提供的用户控制界面触发的设置指令获取的所述预设食品信息；以及，智能冰箱接收服务器发送的所述预设食品信息。

本发明实施例在智能冰箱检测到智能冰箱上有冰箱门打开时，采集打开的所述冰箱门对应的预设区域的第一图像信息；识别出所述第一图像信息中不存在预设特征信息，则检测到所述冰箱门关闭时，采集所述预设区域中的第三图像信息；根据预设食品信息和所述第三图像信息，更新智能冰箱中的存储食品信息；提高了智能冰箱识别食品的准确率。

本发明还提供了一种智能冰箱的食品管理装置第二实施例；基于图6所述实施例的描述，如图7所示，本发明智能冰箱的食品管理装置还包括：

数据同步模块04，用于将更新后的所述存储食品信息发送至服务器。

本实施例中，信息更新模块03检测到所存储的食品信息有更新时，数据同步模块04将更新后的所述存储食品信息上传至服务器。服务器接收并存储智能冰箱发送的更新后的所述存储食品信息，以便于用户通过终端也能够获取到上述存储食品信息。

当然，用户基于终端获取到服务器端存储的食品信息后，若需要对上述食品信息进行更新，或者需重新设置上述食品信息，则用户基于服务器提供的用户操作界面更新上述食品信息，服务器基于用户触发的操作指令，更新并存储对应的食品信息，并将更新的所述食品信息下发至智能冰箱，由智能冰箱更新本地存储的食品信息。

在本发明一优选实施例中，智能冰箱提供一用户控制界面，供用户基于智能冰箱提供的用户控制界面设置智能冰箱中所存储的食品信息，数据同步模块04执行用户触发的设置操作事件，更新本地存储的食品信息，并将更新后的食品信息上传至服务器，供服务器进行同步更新。

本发明实施例智能冰箱与服务器对于存储的食品信息进行实时同步，使得智能冰箱存储的食品数据能够得以及时更新，提高了智能冰箱存储食品数据更新的及时性，从而进一步提高了智能冰箱存储食品数据的准确性。

本发明还提供了一种智能冰箱的食品管理装置第三实施例；本实施例中，将所述智能冰箱的食品管理装置中的功能模块进行进一步细分。

基于图6、图7所示实施例的描述，如图8所示，本发明智能冰箱的食品管理装置包括中央处理单元10、摄像单元11、照明单元12、开关门检测单元13、通讯单元14、图像处理单元15、图像存储单元16以及显示触摸单元17。图6和图7所述实施例中，信息获取模块01具备中央处理单元10以及摄像单元11、照明单元12、开关门检测单元13、图像处理单元15和图像存储单元16的部分功能；区域获取模块02具备中央处理单元10的部分功能；信息更新模块03具备中央处理单元10的部分功能；数据同步模块04具备中央处理单元10、通讯单元14和显示触摸单元17的部分功能。

如图8所示，智能冰箱的食品管理装置中，开关门检测单元13实时监测是否有冰箱门开启的操作事件；当开关门检测单元13检测到有冰箱门打开时，中央处理单元10控制摄像单元11开启摄像设备采集打开的冰箱门所对应的预设区域的第一图像信息。比如，摄像单元11开启摄像头对该摄像头可拍摄范围的预设区域进行拍照，从而采集该冰箱门对应的预设区域的第一图像信息。为了提高照片拍摄的清晰度，中央处理单元10控制摄像单元11开启摄像头拍摄预设区域对应的食品的照片时，同时控制照明单元12开启照明灯，进行辅助照明。

在本发明一优选实施例中，为了提高智能冰箱对食品的识别率，在摄像头对预设区域进行拍照后，中央处理单元10控制图像处理单元15对得到的照片进行图像处理，并由图像存储单元16对经图像处理单元15进行图像处理后的照片进行存储。

由于智能冰箱不止一个冰箱门且多个冰箱门可同时开启，当智能冰箱的开关门检测单元13检测到有多个冰箱门开启时，摄像单元11同时采集各冰箱门对应的预设区域的第一图像信息，并设置采集的所述第一图像信息与对应的预设区域的映射关系，同时由图像存储单元16将摄像单元11采集的所述第一图像信息和映射关系一起存储，便于中央处理单元10后续将采集的第一图像信息与对应的预设区域进行一一对应。

中央处理单元10识别摄像单元11采集的第一图像信息中是否存在预设特征信息；该预设特征信息可以理解为包含用户操作特征和/或用户肢体特征的信息，比如用户的手势、用户的肢体如手、手臂等；也就是说，该预设特征信息在一定程度上体现了是否有用户触发的操作事件，比如放入食品或者拿出食品等。

若中央处理单元10识别出摄像单元11采集的所述第一图像信息中存在预设特征信息，则中央处理单元10获取该预设区域中所述预设特征信息对应的存储区域。由于图像存储单元16存储所述第一图像信息时，同时存储了该图像信息与预设区域的映射关系，因此，中央处理单元10根据出现预设特征信息的所述第一图像信息，便能够获取到所述预设区域中所述预设特征信息对应的存储区域。

在开关门检测单元13检测到上述开启的冰箱门由打开状态转换为关闭状态时，摄像单元11在上述冰箱门关闭后，采集上述预设特征出现的所述存储区域中的第二图像信息。

在本发明一优选实施例中，为了提高图像采集的准确性和稳定性，摄像单元11在上述冰箱门关闭预设时长后再对所述存储区域进行图像采集。

在摄像单元11采集到冰箱门关闭后所述存储区域的第二图像信息后，中央处理单元10调用本次冰箱门开关之前图像存储单元16对所述存储区域预先存储的所述预设食品信息，并将该预设食品信息与采集到的第二图像信息进行分析和比对，从而判断出智能冰箱内上述存储区域内食品的变化情况，比如减少和/或增加的食品种类、食品数量，存储的食品的色泽是否变化，以及存储的某一类或者某几类食品的存储期限是否达到了预先设置的保质期等；根据上述判断结果，从而更新智能冰箱中的存储食品信息。

若中央处理单元10识别出第一图像中不存在预设特征信息(比如用户的手势等)时，则在开关门检测单元13检测到上述开启的冰箱门由打开状态转换为关闭状态时，摄像单元11在上述冰箱门关闭后，采集所述冰箱门对应的预设区域中的第三图像信息。其中，所述冰箱门对应的预设区域可以理解为：在所述冰箱门开启后，用户通过该冰箱门能够接触到的该智能冰箱中的所有区域。智能冰箱采集上述预设区域所对应的第三图像信息。

在摄像单元11采集到冰箱门关闭后所述存储区域的第三图像信息后，中央处理单元10调用本次冰箱门开关之前图像存储单元16对所述存储区域预先存储的所述预设食品信息，并将该预设食品信息与采集到的第三图像信息进行分析和比对，从而判断出智能冰箱内上述存储区域内食品的变化情况，比如减少和/或增加的食品种类、食品数量，存储的食品的色泽是否变化，以及存储的某一类或者某几类食品的存储期限是否达到了预先设置的保质期等；根据上述判断结果，从而更新智能冰箱中的存储食品信息。

本实施例中，所述食品信息包括但不限于：存储的食品种类、不同种类的食品所分别对应的食品数量、食品色泽和食品保质期；本实施例对所述食品信息包含的具体内容不进行一一穷举。所述预设食品信息包括：中央处理单元10接收到用户基于显示触摸单元17触发的设置指令获取的所述预设食品信息；以及，通讯单元14接收服务器发送的所述预设食品信息。

本发明实施例智能冰箱检测到智能冰箱上有冰箱门打开时，采集打开的所述冰箱门对应的预设区域的第一图像信息；识别出所述第一图像信息中是否存在预设特征信息，并根据识别结果在检测到所述冰箱门关闭时，采集对应存储区域中的图像信息；从而根据预设食品信息和冰箱门关闭后的采集的图像信息，更新智能冰箱中的存储食品信息；提高了智能冰箱对存储区域识别的针对性，同时也提高了智能冰箱识别食品的识别效率和识别准确率。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是智能冰箱等类型的智能家用电器)执行本发明各个实施例所述的方法。

以上所述仅为本发明的优选实施例，并非因此限制其专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种智能冰箱的食品管理方法，其特征在于，包括以下步骤：

检测到智能冰箱上有冰箱门打开时，采集打开的所述冰箱门对应的预设区域的第一图像信息；

识别出所述第一图像信息中存在预设特征信息，则获取所述预设区域中所述预设特征信息对应的存储区域，所述预设特征信息包括用户操作特征信息和/或用户肢体特征信息；

检测到所述冰箱门关闭时，采集所述预设特征信息对应的所述存储区域中的第二图像信息；

根据预设食品信息和所述第二图像信息，更新智能冰箱中的存储食品信息。

2.如权利要求1所述的方法，其特征在于，所述采集打开的所述冰箱门对应的预设区域的第一图像信息的步骤之后还包括：

识别出所述第一图像中不存在预设特征信息，则检测到所述冰箱门关闭时，采集所述预设区域中的第三图像信息；

根据预设食品信息和所述第三图像信息，更新智能冰箱中的存储食品信息。

3.如权利要求1或2所述的方法，其特征在于，所述更新智能冰箱中的存储食品信息的步骤之后还包括：

将更新后的所述存储食品信息发送至服务器。

4.如权利要求1或2所述的方法，其特征在于，所述预设食品信息包括：

基于用户触发的设置指令获取的所述预设食品信息；以及，

接收服务器发送的所述预设食品信息。

5.如权利要求1或2所述的方法，其特征在于，所述存储食品信息包括食品种类、不同种类的食品所分别对应的食品数量、食品色泽和食品保质期；

所述预设食品信息包括食品种类、不同种类的食品所分别对应的食品数量、食品色泽和食品保质期；

所述预设特征信息包括手型信息。

6.一种智能冰箱的食品管理装置，其特征在于，包括：

信息获取模块，用于检测到智能冰箱上有冰箱门打开时，采集打开的所述冰箱门对应的预设区域的第一图像信息；

区域获取模块，用于在识别出所述第一图像信息中存在预设特征信息时，获取所述预设区域中所述预设特征信息对应的存储区域；

所述信息获取模块还用于：

检测到所述冰箱门关闭时，采集所述预设特征信息对应的所述存储区域中的第二图像信息，所述预设特征信息包括用户操作特征信息和/或用户肢体特征信息；

信息更新模块，用于根据预设食品信息和所述第二图像信息，更新智能冰箱中的存储食品信息。

7.如权利要求6所述的装置，其特征在于，所述信息获取模块还用于：

在识别出所述第一图像中不存在预设特征信息且检测到所述冰箱门关闭时，采集所述预设区域中的第三图像信息；

所述信息更新模块还用于：根据预设食品信息和所述第三图像信息，更新智能冰箱中的存储食品信息。

8.如权利要求6或7所述的装置，其特征在于，还包括：

数据同步模块，用于将更新后的所述存储食品信息发送至服务器。

9.如权利要求6或7所述的装置，其特征在于，所述预设食品信息包括：

基于用户触发的设置指令获取的所述预设食品信息；以及，

接收服务器发送的所述预设食品信息。

10.如权利要求6或7所述的装置，其特征在于，所述存储食品信息包括食品种类、不同种类的食品所分别对应的食品数量、食品色泽和食品保质期；

所述预设食品信息包括食品种类、不同种类的食品所分别对应的食品数量、食品色泽和食品保质期；

所述预设特征信息包括手型信息。