CN110749137A - 冰箱及用于冰箱的控制方法 - Google Patents

Abstract

本发明公开了一种冰箱及用于冰箱的控制方法，属于制冷设备技术领域。所述冰箱包括箱体，所述箱体构成冰箱的冷藏空间，还包括：图像采集装置，包括两个或两个以上图像采集单元，设置在所述冰箱的冷藏空间内，用于采集所述冷藏空间内的食材的图片；图像处理装置，用于对两个或两个以上所述图像采集单元采集的所述食材的图片进行拼接处理，以得到所述冰箱内的所述食材的完整图片。本发明的冰箱，利用两个或两个以上的图像采集单元对冰箱的冷藏空间内的食材进行拍照，并进行拼接，实现冰箱内食材的全识别，获取冰箱内食材的完整、准确的信息，便于对冰箱内食材进行管理，提高冰箱产品的智能化和人性化，提高用户的使用体验。

Description

冰箱及用于冰箱的控制方法

技术领域

本发明涉及制冷设备技术领域，特别涉及冰箱及用于冰箱的控制方法。

背景技术

随着人工智能AI技术的发展，智能家电发展迅速。传统冰箱产品用于存储食材的功能已无法满足用户的更多智能化需求，现有的对食材进行管理的冰箱通过用户手动录入放入存储空间的食物，按照设定的程序对食材进行管理。该种方式的食材管理需要用户手动输入，给用户带来了不便，智能化和自动化程度较低。

发明内容

本发明实施例提供了一种冰箱及用于冰箱的控制方法，包含了两个或两个以上图像采集单元，并对获取的图片进行拼接，以得到冰箱内食材的完整图片。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本发明实施例的第一方面，提供了一种冰箱，包括箱体，所述箱体构成冰箱的冷藏空间，还包括：图像采集装置，包括两个或两个以上图像采集单元，设置在所述冰箱的冷藏空间内，用于采集所述冷藏空间内的食材的图片；图像处理装置，用于对两个或两个以上所述图像采集装置采集的所述食材的图片进行拼接处理，以得到所述冰箱内的所述食材的完整图片。

可选地，所述图像采集装置还包括安装板，所述两个或两个以上图像采集单元安装在安装板上。

可选地，所述图像采集单元为图像传感器。

可选地，所述图像处理装置对两个或两个以上所述图像采集装置采集的图片进行拼接处理包括：分别提取每一个所述图片的多个候选特征点对；

对比两个或两个以上图片的候选特征点对，确定重叠特征点对，得到拼接特征点对；沿所述拼接特征点对对所述两个或两个以上图片进行拼接。

可选地，还包括：控制装置，用于：控制所述图像采集装置按照设定时间间隔采集所述食材的图片，并根据所述图像处理装置得到的完整图片，确定所述食材的存储时间。

可选地，所述控制装置根据所述图像处理装置得到的完整图片，确定所述食材的存储时间包括：将所述图像处理装置得到的完整图片和上一个周期得到的完整图片进行特征比对，特征点对相同的食材的统计时间叠加一个周期；其中，所述控制装置还用于，将所述食材的存储时间和设定时间比较，当所述食材的存储时间大于或等于设定时间时，发出提醒信息。

根据本发明实施例的第二方面，提供了一种用于冰箱的控制方法，该方法包括：获取两个或两个以上所述冰箱内的食材的图片；对所述两个或两个以上所述冰箱内的食材的图片进行拼接处理，以得到所述冰箱内的食材的完整图片；对所述食材的完整图片与上一个周期的完整图片进行特征对比，确定图片中所述食材的存储时间。

可选地，对所述两个或两个以上所述图片进行拼接处理包括：分别提取每一个所述图片的多个候选特征点对；对比两个或两个以上图片的候选特征点对，确定重叠特征点对，得到拼接特征点对；沿所述拼接特征点对对所述两个或两个以上图片进行拼接。

可选地，还包括：将所确定的所述食材的存储时间和设定时间比较，当所确定的所述食材的存储时间大于或等于设定时间时，发出提醒信息。

可选地，还包括：检测所述冰箱门体触发开关的状态；当检测到所述冰箱门体开关由打开状态切换到关闭状态时，获取两个或两个以上所述冰箱内的食材的图片。

本发明实施方式的冰箱，在冰箱内设置两个或两个以上的图像采集单元，通过图像拼接得到食材的完整图片，对冰箱内的食材全识别，准确、全面地获取冰箱内食材的信息。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种冰箱的结构示意图；

图2是根据另一示例性实施例示出的一种冰箱的结构示意图；

图3是根据一示例性实施例示出的一种用于冰箱的控制方法的流程示意图；

图4是根据另一示例性实施例示出的一种用于冰箱的控制方法的流程示意图；

图5是根据另一示例性实施例示出的一种用于冰箱的控制方法的流程示意图。

附图标记

1、图像采集单元；2、图像处理装置；3、安装板；4、控制装置；5、显示器。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，各实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中，诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来，而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法、产品等而言，由于其与实施例公开的方法部分相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

图1是根据一示例性实施例示出的一种冰箱的结构示意图。如图1所示的本发明一种实施方式的冰箱包括箱体，所述箱体构成冰箱的冷藏空间，还包括：图像采集装置，包括两个或两个以上图像采集单元1，设置在所述冰箱的冷藏空间内，用于采集所述冷藏空间内的食材的图片；图像处理装置2，用于对两个或两个以上所述图像采集单元1采集的所述食材的图片进行拼接处理，以得到所述冰箱内的所述食材的完整图片。

冰箱的冷藏空间容量有限，在比较狭窄的空间内安装图像采集装置，因距离较短，拍摄角度的限制，必然造成无法获取整个空间范围的完整图片，即无法获取准确、完整的食材存储信息。上述方案中，通过两个或两个以上的图像采集单元采集冰箱内食材的图片，并对图片进行拼接处理，以得到冰箱内食材的完整图片。

上述方案中，所述图像采集装置还包括安装板3，所述两个或两个以上图像采集单元1安装在安装板3上。安装板3优选地可以为印制电路板PCB。

上述方案中，所述图像采集单元1为互补金属氧化物半导体CMOS图像传感器。图像采集单元1可以为其他具有拍摄功能的摄像头、相机等。

上述方案中，图像采集装置可以设置冰箱中梁上，与冷藏室置物架的每一层对应设置一组/两个，包括两个图像采集单元/摄像头，有效解决食材遮挡、视角死区拍摄不全面的问题，两个图像采集单元/摄像头拍摄的照片，一定程度上可以提高识别率，使拍摄图片具有更好的显示效果。

上述方案中，所述图像处理装置对两个或两个以上所述图像采集单元采集的图片进行拼接处理包括：分别提取每一个所述图片的多个候选特征点对；对比两个或两个以上图片的候选特征点对，确定重叠特征点对，得到拼接特征点对；沿所述拼接特征点对对所述两个或两个以上图片进行拼接。

上述方案中，两个或两个以上图像采集单元采集的冰箱内食材的图片，具有重叠区域，无法准确获取冰箱内食材的信息，因此需要将两个或两个以上的图片拼接为一张完整图片，才能确保分析图片得到准确的全部食材信息。利用图片拼接技术对两个或两个以上图片进行拼接可得到食材的完整图片，具体为：分别提取每个图片的多个候选特征点对，重叠区域的特征点对是相同的这个特性可以确定两个图片的重叠区域，沿该重叠区域进行拼接即可得到完整的图片。

上述方案中，冰箱内的每一层保鲜区设置两个同水平面的摄像头或COMS图像传感器，两个摄像头拍摄的图片水平，则拼接图片时无需确定两个图片的垂直偏移矩阵或旋转偏移矩阵，只需根据图片的重叠区域确定水平偏移矩阵，即可完成拼接。

图2是根据另一示例性实施例示出的一种冰箱的结构示意图。如图2所示的本发明一种实施方式的冰箱，还包括：控制装置4，用于：控制所述图像采集装置按照设定时间间隔采集所述食材的图片，并根据所述图像处理装置得到的完整图片，确定所述食材的存储时间。

上述方案中，所述控制装置4根据所述图像处理装置2得到的完整图片，确定所述食材的存储时间包括：将所述图像处理装置得到的完整图片和上一个周期得到的完整图片进行特征比对，特征点对相同的食材的统计时间叠加一个周期；其中，所述控制装置4还用于，将所述食材的存储时间和设定时间比较，当所述食材的存储时间大于或等于设定时间时，发出提醒信息。

如图2所示的本发明另一种示例性实施例示出的冰箱，还包括显示器5，上述提醒信息在显示器5上予以显示，显示器5优选地可以为现有的冰箱的液晶面板。

上述方案中，控制装置设定图像采集装置的拍照时间间隔/周期，或控制图像采集装置按照设定程序或触发开关拍摄图片，并对图像处理装置得到的完整图片进行分析，上述分析内容可以为识别图片中食材的名称、类型，并统计其放入冰箱内的时间即存储时间，以根据存储时间提醒用户，通过冰箱管理用户的饮食生活，提高冰箱产品的智能化和人性化，提高用户的使用体验。

或，控制装置根据识别的食材的名称、类型确定/计算用户的饮食结构，并给出合理的建议，例如，对于蔬菜类存储较多的情况下，给出提醒建议购入较多的蛋白质类食材，也可以根据用户的设定的饮食结构类型自动计算和给出建议，提高冰箱产品的智能化。

图3是根据一示例性实施例示出的一种用于冰箱的控制方法的流程示意图。如图3所示的本发明一种实施方式的用于冰箱的控制方法，包括：在步骤S110中，获取两个或两个以上所述冰箱内的食材的图片；在步骤S120中，对所述两个或两个以上所述冰箱内的食材的图片进行拼接处理，以得到所述冰箱内的食材的完整图片。

图4是根据一示例性实施例示出的一种用于冰箱的控制方法的流程示意图。如图4所示的本发明一种实施方式的用于冰箱的控制方法，作为示例，还包括：对所述食材的完整图片与上一个周期的完整图片进行特征对比，确定图片中所述食材的存储时间，即步骤S130。

上述方案中，获取冰箱内食材的图片，通过两个或两个以上的冰箱内食材的图片进行拼接可以得到食材的完整图片，并将其与上一个拍照/处理周期的完整图片进行比对，获取图片中食材的变化信息，并统计食材的存储时间，对于上一个拍照/处理周期的完整图片未发生变化的食材，其统计的存储时间增加一个拍照/处理周期，以得到食材的存储时间，根据该存储时间提醒用户。

上述方案中，对所述两个或两个以上所述图片进行拼接处理包括：分别提取每一个所述图片的多个候选特征点对；对比两个或两个以上图片的候选特征点对，确定重叠特征点对，得到拼接特征点对；沿所述拼接特征点对对所述两个或两个以上图片进行拼接。

还包括：将所确定的所述食材的存储时间和设定时间比较，当所确定的所述食材的存储时间大于或等于设定时间时，发出提醒信息。

上述方案中，还包括：在步骤S100中，检测所述冰箱门体触发开关的状态；当检测到所述冰箱门体开关由打开状态切换到关闭状态时，即在步骤S102中，判断冰箱冰箱门体开关由打开状态切换到关闭状态时，获取两个或两个以上所述冰箱内的食材的图片。

上述方案中，可以按照设定的周期定期拍摄冰箱内食材的图片，并进行拼接处理和后续的分析，或者，还可以根据冰箱的门体触发相关的开关作为拍照的触发程序，当用户打开冰箱并关闭冰箱门后，系统认为用户打开冰箱取走或放入某种食材，则在冰箱门体关闭后进行拍照，将拼接完成的完整图片和上一个周期或上一次开门和关门后的完整图片进行比较，分析食材的变化，对取出的食材清理存储时间记录，对没有变化的食材继续统计存储时间。

图5是根据另一示例性实施例示出的一种用于冰箱的控制方法的流程示意图。

本发明的用于冰箱的控制方法的各示例参考上述冰箱的各示例性实施方式的相关说明，此处不一一赘述。

本发明的冰箱及用于冰箱的控制方法，利用两个或两个以上的图像采集单元对冰箱的冷藏空间内的食材进行拍照，并进行拼接，实现冰箱内食材的全识别，获取冰箱内食材的完整、准确的信息，便于对冰箱内食材进行管理，提高冰箱产品的智能化和人性化，提高用户的使用体验。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。所属技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，应该理解到，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的对应或直接对应或通信连接可以是通过一些接口，装置或单元的间接对应或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

Claims (10)

1.一种冰箱，包括箱体，所述箱体构成上述冰箱的冷藏空间，其特征在于，还包括：

图像采集装置，包括两个或两个以上图像采集单元，设置在所述冰箱的冷藏空间内，用于采集所述冷藏空间内的食材的图片；

图像处理装置，用于对两个或两个以上所述图像采集单元采集的所述食材的图片进行拼接处理，以得到所述冰箱内的所述食材的完整图片。

2.根据权利要求1所述的冰箱，其特征在于，所述图像采集装置还包括安装板，所述两个或两个以上图像采集单元安装在安装板上。

3.根据权利要求1所述的冰箱，其特征在于，所述图像采集单元为图像传感器。

4.根据权利要求1所述的冰箱，其特征在于，所述图像处理装置对两个或两个以上所述图像采集单元采集的图片进行拼接处理包括：

分别提取每一个所述图片的多个候选特征点对；

对比两个或两个以上图片的候选特征点对，确定重叠特征点对，得到拼接特征点对；

沿所述拼接特征点对对所述两个或两个以上图片进行拼接。

5.根据权利要求4所述的冰箱，其特征在于，还包括：

控制装置，用于：

控制所述图像采集装置按照设定时间间隔采集所述食材的图片，并根据所述图像处理装置得到的完整图片，确定所述食材的存储时间。

6.根据权利要求5所述的冰箱，其特征在于，所述控制装置根据所述图像处理装置得到的完整图片，确定所述食材的存储时间包括：

将所述图像处理装置得到的完整图片和上一个周期得到的完整图片进行特征比对，特征点对相同的食材的统计时间叠加一个周期；

其中，所述控制装置还用于，将所述食材的存储时间和设定时间比较，当所述食材的存储时间大于或等于设定时间时，发出提醒信息。

7.一种用于冰箱的控制方法，其特征在于，该方法包括：

获取两个或两个以上所述冰箱内的食材的图片；

对所述两个或两个以上所述冰箱内的食材的图片进行拼接处理，以得到所述冰箱内的食材的完整图片。

8.根据强烈要求7所述的方法，其特征在于，还包括：

对所述食材的完整图片与上一个周期的完整图片进行特征对比，确定图片中所述食材的存储时间。

9.根据权利要求7所述的方法，其特征在于，对所述两个或两个以上所述图片进行拼接处理包括：

分别提取每一个所述图片的多个候选特征点对；

对比两个或两个以上图片的候选特征点对，确定重叠特征点对，得到拼接特征点对；

沿所述拼接特征点对对所述两个或两个以上图片进行拼接。

10.根据权利要求7或8所述的方法，其特征在于，还包括：

检测所述冰箱门体触发开关的状态；

当检测到所述冰箱门体开关由打开状态切换到关闭状态时，获取两个或两个以上所述冰箱内的食材的图片。

Images