CN105222504A - 冰箱及其控制方法 - Google Patents

Abstract

本发明关于一种冰箱及其控制方法，其中冰箱包括：储藏室(11)；封闭所述储藏室的门(13)；摄像头(16,17,18,19)，设置在所述储藏室(11)内和/或所述门(13)上，用于采集所述储藏室(11)内和/或所述门(13)上的储藏物品(22)的图片；图像处理模块(31)，接收所述摄像头(16,17,18,19)所采集的图片，根据本发明的建议，所述图像处理模块(31)所接收的图片至少用于判断所述储藏物品(22)的新鲜度。

Description

冰箱及其控制方法

[技术领域]

本发明涉及家用电器领域，且尤其涉及一种冰箱及其控制方法。

[背景技术]

现有技术中的冰箱在储藏室内配备摄像头，用于采集存放于储藏室内的食品的照片且将照片发送给用户，便于用户监控储藏室内食品。例如在一件公开的专利中，在冰箱内部设置摄像头对食物进行拍照，然后将所拍摄食物的特征传输到处理器，处理器辨别食物的种类并存储信息。该方法可以辨别食物的种类，但是无法对食物的新鲜度进行辨别。在另一件公开的专利中，在冰箱内部设置扫描二维码的扫描器，通过二维码的扫描获得包括食物的生产日期在内的诸多信息，然后将该信息传输到处理器。该方法虽然通过二维码可以获知食物的生产日期，但是食物被生产出来后，有可能会经历不同的环境温度和湿度，食物的新鲜度并非完全取决于食物的生产日期，因此，该方法对于判断食物的新鲜度也有很大的局限性。

[发明内容]

为了解决背景技术中提到的较难获取储藏室内的食物新鲜度的问题，本发明提供一种能够较准确的判断食物新鲜度的冰箱及其控制方法。

为了实现上述目的，本发明提供一种冰箱，包括：储藏室；封闭储藏室的门；摄像头，设置在储藏室内和/或门上，用于采集储藏室内和/或门上的储藏物品的图片；图像处理模块，接收摄像头所采集的图片，图像处理模块所接收的图片至少用于判断至少部分储藏物品的新鲜度。

通过储藏物品的图片判断储藏物品的新鲜度，相对于通过二维码获得储藏物品的生产日期，可以比较准确的反应储藏物品真实的情况。从而为用户提供更多的关于储藏物品的有用信息。

图像处理模块将所采集的图片和图像处理模块保存的对照图片进行比对，从而判断储藏物品的新鲜度。一般是采用图片的像素对比的方法进行对比，相比于通过图片轮廓、颜色、大小等特征进行对比，像素对比更加的细致，所获得的结果也更加的准确。

图像处理模块包括保存有多种储藏物品的对照图片以及多种储藏物品在不同的新鲜度下的对照图片的存储器。

图像处理模块所接收的图片还可以用于判断储藏物品的种类，需要解释的是，这里种类涉及到储藏物品的品种和数量，图像处理模块可以判断不同时间段所拍摄的图片上的储藏物品的增减，例如开门时第一张照片上有2个茄子和3个西红柿，而关门前的最后一张照片上有2个茄子和1个西红柿，则可以得出储藏室内减少了2个西红柿，将该信息保存，并且删除关于被拿取的2个西红柿的相关的信息。该图像处理模块可以直接设置在冰箱内，也可以在外部设置类似服务器的处理单元，用以处理图片。图像处理模块还可以先对所采集的图片进行筛选，删除模糊的以及较暗的图片，保留质量较高的图片。

图像处理模块先判断储藏物品的种类，然后判断储藏物品的新鲜度。

门被打开时，摄像头至少采集一次储藏物品的图片。在冰箱的门被打开时，摄像头至少采集一次储藏物品的图片，由于在门被打开时，外部环境中的光进入储藏室，使得储藏室内的亮度明显得到提高，另外，对于绝大部分冰箱来说，储藏室，尤其是冷藏室的门被打开时，冷藏室内的照明灯会自动开启，便于用户拿取或者放置储藏物品，因此，在该情况下，摄像头采集储藏物品的图片，所获得的图片质量要远远好于仅仅使用冷藏室内的照明灯时的图片质量，而且并未额外浪费冰箱的电能。较好质量的图片有利于后期的图片分析，从中可以获取更多的有用的信息。

摄像头在门被打开时采集储藏物品图片的频率高于在门关闭时采集储藏物品图片的频率，例如，在冰箱门处于关闭状态时，摄像头每隔四小时采集一次储藏物品的图片，此时储藏室内的照明灯被打开给摄像头提供光源，当冰箱门被打开时，摄像头尽可能采集较多的储藏物品图片，例如每隔0.1秒钟采集一次储藏物品的图片，正常情况下，用户从打开储藏室的门拿取或者方式储藏物品到关闭门，所需的时间大概是3-5秒，因此该时间段可以采集30-50张较高质量的图片，正如上述分析，在冰箱们被打开时采集的图片质量要远好于在门关闭时采集的图片质量，另外，一般冰箱门被打开时，用户会往储藏室内放置物品或者从储藏室内拿出物品，关系到储藏物品种类和数量的增减，因此，需要较多的质量较好的图片来准确分析储藏物品种类增减。

在门被打开至一个预先设定的角度时，摄像头被启动拍照，例如，设定门被打开30度或者45度时，此时有部分环境的光线进入储藏室内，储藏室内的摄像头被启动对储藏室内的储藏物品进行拍照。另外，门上的摄像头如要被启动，设定的门的角度要大于储藏室内的摄像头被启动的角度，例如，设定门被打开60度时，门上的摄像头被启动。

门被打开时，摄像头采集的储藏物品图片首先用于判断储藏室内储藏物品的种类的变化。

另外，在冰箱的门上也同样可以设置一个起辅助作用的摄像头，在门打开时，当有储藏物品进出储藏室时，经过冰箱门一侧时，位于门上的摄像头进行拍照，并将所拍摄的照片同样传输给图像处理模块，辅助图像处理模块中的储藏物品种类识别模块对储藏室内物品变化的品种和数量进行判断，提高判断的准确性。此外，设置在冰箱门上的摄像头在门关闭时也可以对储藏室内的物品进行照片采集。

为了实现上述目的，本发明还提供一种冰箱的控制方法，所述冰箱包括储藏室；封闭储藏室的门；摄像头，设置在储藏室内和/或门上，用于采集储藏室内和/或门上的储藏物品的图片；图像处理模块，接收摄像头所采集的图片，控制方法包括以下步骤：图像处理模块所接收的图片至少用于判断至少部分储藏物品的新鲜度。

图像处理模块将所采集的图片和图像处理模块保存的对照图片进行比对，从而判断至少部分储藏物品的新鲜度。

图像处理模块包括保存有多种储藏物品的对照图片以及多种储藏物品在不同的新鲜度下的对照图片的存储器。

相对于一种储藏物品，其表征不同的新鲜度的对照图片为9幅。9幅图片代表了9个不同的新鲜度的级别，例如，一级表示最新鲜，九级表示最不新鲜，从而对储藏物品的新鲜度有明确的定义，利于用户做出判断。

储藏物品包括可通过其外观大致判断其新鲜度的第一种类储藏物品和通过外观无法判断其新鲜度的第二种类储藏物品，图像处理模块判断第一种类储藏物品的新鲜度。例如第一种类储藏物品为茄子、西红柿、苹果等，第二种类储藏物品为盒装的牛奶、包装完好的面包等，后者只能提供种类的信息，无法判断其新鲜度。

图像处理模块先判断储藏物品的种类，辨别储藏物品为第一种类储藏物品或第二种类储藏物品，然后判断第一种类储藏物品的新鲜度。

上述冰箱的控制方法的发明内容的技术效果和对应的冰箱的发明内容的技术效果相同。

[附图说明]

图1为本发明冰箱及其控制方法的一实施例的冰箱的结构示意图。

图2为本发明冰箱及其控制方法的一实施例的示意控制方框图。

图3为本发明冰箱及其控制方法的一实施例的时序图。

图4为本发明冰箱及其控制方法的方法流程示意图。

[具体实施方式]

请参考图1，图1示出的是一款双门冰箱10，包括位于上部的冷藏室11和位于下部的冷冻室12，上述两个储藏室分别用冷藏室门13和冷冻室门14关闭，在冷冻室11的下方还设有用于放置压缩机21的压缩机室20。

冷藏室11具有顶壁1、底壁25、两个侧壁(未示出)以及连接两个侧壁的后壁2，在两个侧壁上固定有相互平行且间隔一定距离的第一搁架23和第二搁架24，在第一搁架23、第二搁架24以及冷藏室底壁25上均放置有多种储藏物品22，本实施例中储藏物品22为可通过其外观大致判断其新鲜度的第一种类食品和通过外观无法判断其新鲜度的第二种类食品。第一种类食品可以为苹果、香蕉、生菜、猪肉等，第二种类食品可以为盒装的牛奶、包装完好的面包等。在冰箱的顶壁1上设置一正对第一搁架23的第一摄像头17，用于采集放置在第一搁架23上的储藏物品22的图片；在位于第一搁架23和第二搁架24之间的后壁2上设置第二摄像头18，用于采集放置在第二搁架24上的储藏物品22的图片；在位于第二搁架24下方的后壁2上设置第三摄像头19，用于采集放置在底壁25上的储藏物品22的图片。另外，在冰箱门13的内胆上还设有第四摄像头16，该摄像头16只有在门13被打开时采集图片，在门13关闭时，该摄像头16不运行。上述设置在后壁2的第二摄像头18和第三摄像头19也可以设置在同样水平位置的两个侧壁中的一个。

上述设置在冷藏室11内的第一摄像头17、第二摄像头18以及第三摄像头19在储藏室门13关闭时，每隔四小时开启冷藏室11内的照明灯泡，采集一次储藏物品22的图片，并将所采集的图片通过冰箱内设置的通讯模块发送给图像处理模块31(见图2)，图像处理模块31可以直接设置在冰箱10壳体内，也可以设置在冰箱10外部的某个服务器上。图2中通讯模块30和图像处理模块31之间的虚线表示无线传输。图像处理模块31包括食物种类识别模块32、食物新鲜度识别模块33以及保存有多种储藏物品的对照图片以及每种储藏物品在不同的新鲜度下的对照图片存储器34。

在冷藏室的门13被打开时，冷藏室11内的照明灯泡在门打开的情况下是默认打开的，用户进行拿取或者放置储藏物品，此时设置在冷藏室门13的内衬15上的第四摄像头16开启对门的内衬15附件的区域进行图片采集，冷藏室11内的第一摄像头17、第二摄像头18以及第三摄像头19分别对各自的区域的储藏物品22进行图片采集，不同于门13关闭时每小时采集一次图片的频率，在门13打开时，上述四个摄像头每0.1秒采集一次图片，并将所采集的图片发送给图像处理模块31。在门13打开的情况下采集的图片质量要远远好于在门13关闭时采集的图片质量。

图3本发明冰箱及其控制方法的一实施例的时序图，图中被黑色填充的三角形表示摄像头采集图片的行为，可以看到，在门13关闭的时间段内，位于门上的摄像头没有采集图片的行为，位于储藏室内的摄像头(3个)按照一定的频率采集图片，在t1至t2的时间段内，门被打开，门上的摄像头和储藏室内的摄像头(3个)均进行采集图片，且频率明显高于门关闭时采集图片的频率。为了表达的简洁，图3中是假设用户从打开门到关闭门所用的时间(即t1至t2)为3秒钟，每秒钟采集一次图片，实际情况中的图片采集的频率要大的多，例如每0.1秒采集一次突破，t1到t2的3秒钟时间段内可以采集30张图片。

下面，对控制方法做进一步的详细说明。

冷藏室的门13保持常闭状态，第一摄像头17、第二摄像头18和第三摄像头19每隔四小时采集一次各自对应区域的储藏物品22的图片，此时冷藏室11内的照明灯泡打开，在采集获得图片后，将采集到的图片通过通讯模块30发送给图像处理模块31。

在冷藏室的门13打开时，第一摄像头17、第二摄像头18和第三摄像头19每隔0.1秒采集一次各自对应区域的储藏物品22的图片，第四摄像头同样每隔0.1秒采集一次内衬15附近区域的图片，当有物品进出储藏室11而经过门的内衬15附近区域时，便可采集到物品的图片。在冷藏室的门13被关闭后，以上述频率采集图片的行为停止，且将采集到的图片通过通讯模块发送给图像处理模块31。

一个实施例，在门13被打开，旋转30度后，第一摄像头17、第二摄像头18和第三摄像头19才被启动拍照，以保证有充足的光线进入冷藏室11。

图像处理模块31具有对照图片存储器34，其中存储有多种常见的储藏物品22的参照图片，上面提到，储藏物品22包括可通过其外观大致判断其新鲜度的第一种类食品和通过外观无法判断其新鲜度的第二种类食品，对于第一种类食品，对照图片存储器34中还保存有关于每种储藏物品22的不同新鲜度的参照图片，例如每种储藏物品22具有九张不同新鲜度的参照图片；而对于第二种类食品，由于无法从外观判断其新鲜度，因此对照图片存储器34内只保存其参照图片。

图像处理模块31还具有食物种类识别模块32。在冷藏室的门13被打开时第一摄像头17、第二摄像头18和第三摄像头19所采集的图片，图像处理模块31首先对这些图像进行图像筛选，将模糊的以及较暗的图片删除，留下质量较好的图片，然后对不同时间段所采集的图片进行对比，例如刚打开门时所采集的突破和关上门之前最后所采集的图片进行对比，从而可以获得在冷藏室13内增加或者减少的储藏物品22的品种和数量的结论，最后结合第四摄像头16所采集的图片进行验证，若是在第四摄像头16上，上述增加或者减少的储藏物品22的品种和数量得到验证，则输出的结论为：非常肯定；若是在第四摄像头16上无法得到验证，则依旧遵从上述储藏物品22的品种和数量增减的结论，输出的结论为：一般肯定。

一个实施例，在门13被打开，旋转60度后，第四摄像头16才被启动拍照。

图像处理模块31每天分析一次冷藏室11内的上述第一种类食品的新鲜度，并将结果连同上述储藏物品22的品种和数量增减的结论通过短信、APP程序以及邮件发送给用户，在具有打开门13时所采集的图片的情况下，尽量使用打开门13时所采集的图片，若是用于一整天都未打开冷藏室的门13，则使用当天最后一次采集的图片，将之和图像处理模块31中的对照图片存储器34所储存的对应储藏物品22的九张不同新鲜度的图片进行比对，确定该储藏物品22的新鲜度的等级。

例如，冷藏室11内的第一搁架23上放置有三个茄子，第一摄像头17将拍摄到的上述三个茄子的照片通过通讯模块30发送给图像处理模块31，首先，食物种类识别模块32会根据照片上食物的像素和图片存储器34内的食物特征进行对比，确定三个物品的种类均为茄子，然后，食物新鲜度识别模块33将三个茄子的图像和图片存储器34内保存的九张关于茄子在不同的新鲜度下的图像分别进行对比，确定上述三个茄子的图像各自最接近的九张图片中的一副，从而确定每个茄子的新鲜度。

图4是本发明冰箱及其控制方法的方法流程示意图，包括以下步骤：

步骤40：开始；

步骤41：判断冰箱门是否打开，若是，转向步骤43，若否，转向步骤42；

步骤42：按照设定程序定时启动摄像头；

步骤43：启动摄像头；

步骤44：摄像头捕捉外部光源；

步骤45：调节摄像头达到最佳拍摄效果；

步骤46：对储藏物品进行拍照；

步骤47：判断照片是否清晰，若是，转向步骤49，若否，转向步骤48；

步骤48：删除照片，转向步骤46；

步骤49：将照片发动至图像处理模块进行处理；

步骤50：图像处理模块判断储藏物品的种类和新鲜度，并将结果发送给用户。

步骤51：结束。

上述步骤50中，图像处理模块判断储藏物品的种类和新鲜度的过程由于前文已经详细阐述，在次不再赘言。

图中标记列表：

1：冷藏室的顶壁

2：冷藏室的侧壁

10：冰箱

11：冷藏室

12：冷冻室

13：冷藏室的门

14：冷冻室的门

15：冷藏室门的内衬

16：门上的摄像头

17，18，19：储藏室内的摄像头

20：压缩机室

21：压缩机

22：储藏物品

23，24：搁架

25：冷藏室底壁

30：通讯模块

31：图像处理模块

32：食物种类识别模块

33：食物新鲜度识别模块

34：对照图片存储器

Claims (15)

1.一种冰箱，包括：储藏室(11)；封闭所述储藏室的门(13)；摄像头(16,17,18,19)，设置在所述储藏室(11)内和/或所述门(13)上，用于采集所述储藏室(11)内和/或所述门(13)上的储藏物品(22)的图片；图像处理模块(31)，接收所述摄像头(16,17,18,19)所采集的图片，其特征在于：所述图像处理模块(31)所接收的图片至少用于判断至少部分所述储藏物品(22)的新鲜度。

2.根据权利要求1所述的冰箱，其特征在于：所述图像处理模块(31)将所采集的图片和所述图像处理模块(31)保存的对照图片进行比对，从而判断所述储藏物品(22)的新鲜度。

3.根据权利要求2所述的冰箱，其特征在于：所述图像处理模块(31)包括保存有多种储藏物品的对照图片以及多种储藏物品在不同的新鲜度下的对照图片的存储器(34)。

4.根据权利要求1所述的冰箱，其特征在于：所述图像处理模块(31)所接收的图片还可以用于判断所述储藏物品(22)的种类。

5.根据权利要求4所述的冰箱，其特征在于：所述图像处理模块(31)先判断所述储藏物品(22)的种类，然后判断所述储藏物品(22)的新鲜度。

6.根据权利要求1所述的冰箱，其特征在于：所述门(13)被打开时，所述摄像头(16,17,18,19)至少采集一次所述储藏物品(22)的图片。

7.根据权利要求6所述的冰箱，其特征在于：所述摄像头(16,17,18,19)在所述门(13)被打开时采集储藏物品(22)图片的频率高于在所述门(13)关闭时采集储藏物品(22)图片的频率。

8.根据权利要求6所述的冰箱，其特征在于：在所述门(13)被打开至一个预先设定的角度时，所述摄像头(16,17,18,19)被启动拍照。

9.根据权利要求6所述的冰箱，其特征在于：所述门(13)被打开时，所述摄像头(17,18,19)采集的储藏物品(22)图片首先用于判断所述储藏室(11)内储藏物品(22)的种类的变化。

10.一种冰箱的控制方法，所述冰箱包括储藏室(11)；封闭所述储藏室的门(13)；摄像头(16,17,18,19)，设置在所述储藏室(11)内和/或所述门(13)上，用于采集所述储藏室(11)内和/或所述门(13)上的储藏物品(22)的图片；图像处理模块(31)，接收所述摄像头(16,17,18,19)所采集的图片，其特征在于，所述控制方法包括以下步骤：所述图像处理模块(31)所接收的图片至少用于判断至少部分所述储藏物品(22)的新鲜度。

11.根据权利要求1所述的冰箱的控制方法，其特征在于：所述图像处理模块(31)将所采集的图片和所述图像处理模块(31)保存的对照图片进行比对，从而判断至少部分所述储藏物品(22)的新鲜度。

12.根据权利要求11所述的冰箱的控制方法，其特征在于：所述图像处理模块(31)包括保存有多种储藏物品的对照图片以及多种储藏物品在不同的新鲜度下的对照图片的存储器(34)。

13.根据权利要求11所述的冰箱的控制方法，其特征在于：相对于一种储藏物品，其表征不同的新鲜度的对照图片为9幅。

14.根据权利要求11所述的冰箱的控制方法，其特征在于：储藏物品(22)包括可通过其外观大致判断其新鲜度的第一种类储藏物品和通过外观无法判断其新鲜度的第二种类储藏物品。

15.根据权利要求14所述的冰箱的控制方法，其特征在于：所述图像处理模块(31)先判断所述储藏物品(22)的种类，辨别所述储藏物品(22)为第一种类储藏物品或第二种类储藏物品，然后判断所述第一种类储藏物品的新鲜度。