CN109387024B - 用于辨识制冷器具中的对象的方法以及制冷器具 - Google Patents

Abstract

一种用于辨识制冷器具(1)的冷藏室(3)中的对象(O1，O2)的方法(S1‑S6)，其中，拍摄该冷藏室的当前图像(S1)，为了识别和辨识对象(O1，O2)而对当前图像进行图像识别(S2，S3)，将在当前图像中识别到但未辨识出的对象(O2)与之前拍摄的至少一个图像中的对象进行比较(S4)。一种制冷器具(1)，其具有指向所述制冷器具(1)的冷藏室(3)中的图像拍摄装置(6)，该图像拍摄装置用于拍摄该冷藏室的图像，该制冷器具与数据存储器(7)和图像识别装置(6)耦合，该制冷器具(1)设置用于运行根据以上权利要求中任一项所述的方法。本发明尤其能够有利地应用于冰箱、冷藏/冷冻组合等。

Description

用于辨识制冷器具中的对象的方法以及制冷器具

技术领域

本发明涉及一种用于辨识制冷器具的冷藏室中的对象的方法，其中，拍摄冷藏室的当前图像，并且为了识别和辨识对象而对当前图像进行图像识别。本发明还涉及一种制冷器具，其具有指向制冷器具的冷藏室中的图像拍摄装置，该图像拍摄装置用于拍摄制冷器具的图像，其中，该制冷器具与数据存储器和图像识别装置耦合，该数据存储器用于存储由图像拍摄装置所存储的图像，该制冷器具设置用于运行所述方法。本发明尤其能够有利地应用于冰箱、冷藏/冷冻组合等。

背景技术

DE 10 2013 211 095 A1公开一种具有门的制冷器具，其中，该门包括用于立体图像拍摄的第一摄像机模块和第二摄像机模块。在此不利的是，为了进行对象识别需要高昂的设备开销。

发明内容

本发明的任务在于，至少部分地克服现有技术的缺点，并且尤其提供一种用于在制冷器具中特别可靠地识别对象的结构上简单的可能性。

根据本发明的技术方案的特征解决该任务。在说明书和附图中描述了本发明的有利实施方式。

通过一种用于辨识制冷器具的冷藏室中的对象的方法来解决该任务，其中，(a)拍摄冷藏室的图像(“当前”图像)，(b)为了识别和辨识对象而对当前图像进行图像识别，(c)将在当前图像中识别到但未辨识出的对象与之前拍摄的至少一个图像中的对象进行比较。

该方法得出如下优点：为了特别可靠地识别对象，仅需要一个图像拍摄装置、尤其摄像机或摄像机模块。

制冷器具尤其理解为家用制冷器具、即用于家庭和/或餐饮领域的家务并且尤其用于在确定温度情况下存放食品和/或饮料的制冷器具、例如冰箱、冷冻柜、冷藏/冷冻组合、冷冻箱或红酒冷藏柜。

在步骤(b)中为了识别和辨识对象而对当前图像进行图像识别包括：在当前图像中识别出对象。这些对象由于其形状和/或颜色已经被识别为与背景、例如冷藏室壁不同。

此外，在步骤(b)中尝试辨识出如下对象：酸奶杯、黄油、牛奶盒等。在此，可以改变辨识的程度或深度(Tiefe)，例如在一般情况下辨识出牛奶盒、确定的牛奶种类(例如全脂牛奶、半脱脂牛奶、脱脂牛奶等)或确定的品牌。一种扩展方案是，对象的辨识包括文字识别，以便改善辨识的程度。

在步骤(b)中辨识对象可以包括：将所识别的对象与存储在数据库中的对象进行比较。

步骤(b)尤其包括：借助图像识别尝试(例如相对于已知背景)识别冷藏室中的至少一个对象，然后尝试辨识出其中的至少一个对象。在此可能发生，仅根据当前图像无法辨识出所识别的对象。例如当对象被如此严重地遮挡，使得无法与存储在数据库中的数据进行肯定(对象)比较或“匹配”时，则是这种情况。

步骤(c)尤其包括：将当前图像与之前拍摄的至少一个图像进行比较，以便可以根据之前拍摄的至少一个图像中的附加信息来辨识当前图像中的无法辨识或未辨识出的对象。

通常，“对象”可以理解为一个或多个对象。

当前图像尤其可以是最后拍摄的图像。

例如可以将冷藏室中的辨识出的对象以库存清单(结合购物清单等)的形式提供给用户。

一种构型是：为了进行比较，在步骤(c)中将在当前图像中识别到但未辨识出的对象与之前拍摄的至少一个图像中辨识出的对象进行对象比较，并且在肯定的(positive)对象比较的情况下，对于当前图像的与之前拍摄的图像中的对象作出肯定比较的对象，采纳(übernehmen)之前拍摄的图像中的对象辨识。这可以显著提高辨识准确性。例如可能在步骤(b)中识别出相应于杯盖的对象。无法实现将该对象可靠地配属于数据库对象，例如因为没有足够的一致性，或数据库中存储的太多对象可能具有这种盖。在之前拍摄的图像中，可能已经辨识出匹配于当前识别的对象(杯盖)的对象(例如确定品牌的酸奶杯)。因此，在当前图像中识别到的对象很可能属于之前识别到且辨识出的酸奶杯。因此，对于在当前图像中识别的对象，可以按照之前所识别的图像的方式将该对象辨识为酸奶杯。

另一构型是：在步骤(c)中，将在当前图像中识别到但未辨识出的对象与之前拍摄的多个图像中的对象进行比较。这进一步提高辨识概率(Identifikationswahrscheinlichkeit)。

另一构型是：在步骤(c)中，将在当前图像中识别到但未辨识出的对象与之前拍摄的直至五个图像中的对象进行比较。

另一构型是：如果在之前拍摄的多个图像中辨识出的对象处于至少大致相同的图像区域内(尤其部分被遮挡地处于至少一个其他对象后面)，并且如果该图像区域在当前图像中完全被其他对象所占据，则将之前辨识出的对象识别为或列为当前存在的对象。尤其可以对在当前图像上不可见或对于识别不足够可见的对象执行这样的对象识别概率和辨识概率。该构型基于如下认知：如果所辨识的对象在多个之前拍摄的图像中是可见的、尤其处于其他对象后面并且因此处于冷藏室的后部区域内，并且如果在当前图像中，至该辨识的对象的视线由其他(必要时另外的)对象完全遮挡，则所辨识的对象仍处于当前图像的这些其他对象后面的概率很高。

另一构型是：在关闭冷藏室门时拍摄冷藏室的图像。这得出如下优点：摄像机在图像拍摄时可以近似从正面指向冷藏室中，此外，在图像拍摄之后，冷藏室中的对象位置和对象位态不可能发生改变。

该任务通过如下制冷器具解决：其具有指向制冷器具的冷藏室中的图像拍摄装置，该图像拍摄装置用于拍摄冷藏室的图像，其中，该制冷器具与数据存储器以及与图像识别装置耦合，该数据存储器用于存储由图像拍摄装置所存储的图像，其中，该制冷器具设置用于运行如上所述的方法。该制冷器具可以类似于该方法地构造并且具有相同优点。

图像拍摄装置可以包括摄像机或摄像机模块。

图像识别装置也可以称为图像分析处理装置。

一种构型是：(例如包括至少一个摄像机模块的)图像拍摄装置处于冷藏室门中。这得出如下优点：能够特别完整地检测冷藏室。

原则上，该制冷器具具有恰好一个图像识别装置。替代地，该制冷器具可以具有例如用于不同存放平面(Lagerebene)的多个图像识别装置。

一种构型是：该制冷器具设置用于独立执行该方法。这得出如下优点：即使在没有与外部主管装置(Instanz)的数据连接的情况下，也能够执行该方法。为此，该制冷器具可以具有用于存储图像数据的数据存储器和图像识别装置。因此，“耦合”可以理解为“整体地具有”。在此，图像识别装置可以是制冷器具的独立单元，或例如通过相应程序在功能上集成到制冷器具的控制装置中。因此，制冷器具中可以存在计算机程序产品，该计算机程序产品直接存储到制冷器具的内部存储器中并且包括代码段，当该计算机程序产品在制冷器具上运行时，借助该代码段实施该方法。

另一构型是：制冷器具方面的数据存储器和/或图像识别装置是外部主管装置，该外部主管装置通过数据连接、例如互联网与制冷器具连接。这得出如下优点：制冷器具能够特别简单且价格低廉地构型。因此，“耦合”可以理解为“通过数据连接耦合”。所述数据存储器和/或图像识别装置例如可以由制冷器具的制造商提供在例如服务器上。替代地或附加地，数据存储器和/或图像识别装置可以存在于所谓的“云”中。在这种情况下，在一种变型方案中，计算机程序产品可以存在于制冷器具中，该计算机程序产品包括代码段，当该计算机程序产品在制冷器具上运行时，借助该代码段实施该方法的一部分。

因此，本发明也通过相应的计算机程序产品来解决。

附图说明

结合借助附图详细阐述的实施例的示意性描述来使本发明的以上描述的特性、特征和优点、如何实现的方式和方法变得更加清楚并且更容易理解。

图1以侧视图示出根据本发明的制冷器具的截面图；

图2示出根据本发明的方法的流程图。

具体实施方式

图1以侧视图示出冰箱1形式的根据本发明的制冷器具的截面图。冰箱1具有带有冷藏室3的箱体2，该冷藏室能够借助冰箱门4关闭。在冰箱门4中存在摄像机模块5形式的、指向冷藏室3中的图像拍摄装置。摄像机模块5如此布置，使得该摄像机模块例如可以拍摄冷藏室3的彩色图像。摄像机模块5与冰箱1的中央控制装置6连接并且可以将图像数据传输到控制装置6上。控制装置6具有用于存储所拍摄的图像或图像数据的存储器7。在存储器7中尤其可以存储有多个在时间上相继拍摄的图像。例如可以由摄像机模块5总是在冰箱门4关闭时拍摄图像。此外，控制装置6设置(例如编程)用于作为图像识别装置工作。

在冷藏室3中，在摄像机模块5的视野内可以存放有多个对象O1、O2。其中，如图所示，对象O1可以部分地遮挡另一对象O2。

控制装置6可以与无线和/或有线的数据接口8连接，以便通过数据网络、例如互联网与外部主管装置、例如制造商的服务器交换数据。

图2示出根据本发明的方法的流程图，该方法例如可以在冰箱1的控制装置6上实施。

在第一步骤S1中，例如在关闭冰箱门4时，由摄像机模块5拍摄冷藏室3的包含存在于其中的对象O1、O2的图像，并且将该图像存储在存储器7中。将该图像称为“当前的”图像。在存储器7中附加地存储有多个、例如五个之前由摄像机模块5所拍摄的图像。

在下一步骤S2中，借助控制装置6对当前图像进行图像识别，以便识别出处于其中的对象O1、O2。

在步骤S3中，借助控制装置6尝试对所识别的对象O1、O2进行辨识。这可以通过与对象数据库的比较来实现。在一种变型方案中，对象数据库可以存储在控制装置6中。在另一变型方案中，对象数据库可以存储在外部，例如存储在制造商的服务器或云中，其中，控制装置6然后可以通过数据接口8与对象数据库进行通信。出于相同目的，控制装置6可以设置用于文字识别，以便例如可以读取存在于对象O1、O2上的文字并且将其用于对象辨识。

如果在步骤S3中无法辨识出所有识别到的对象O1、O2，则在步骤S4中将这种识别到但未辨识出的至少一个对象O2与所存储的之前拍摄的至少一个图像进行比较。这可以如此执行，使得将在当前图像中识别到但未辨识出的对象O2与之前拍摄的至少一个图像中的辨识出的对象进行对象比较。在肯定的对象比较的情况下，对于当前图像的与之前拍摄的图像中的对象作出成功或肯定比较的对象O2，采纳之前拍摄的图像中的对象辨识，在该肯定对象比较的情况下，在当前图像中识别到但未辨识出的对象O2与之前拍摄的至少一个图像中的辨识出的对象相匹配，也称为“吻合(Treffer)”。

如果与之前拍摄的图像的对象比较不成功，则可以执行与之前拍摄的下一个图像的对象比较。尤其可以首先借助在当前图像之前立即拍摄的图像来执行对象比较，然后借助再之前拍摄的图像等执行对象比较。

可以如此长时间地执行步骤S4，直至已经比较了在当前图像中识别到但未辨识出的所有对象O2。在此，可能会有对象剩余，这些对象即使借助步骤S3也无法辨识出。

在下一步骤S5中，可以将通过步骤S1至S4辨识出的对象例如以电子库存清单的形式提供给用户。

可选地，可以在步骤S1与S5之间执行另一步骤S6。在该步骤S6中，首先检查：在之前拍摄的多个图像中，在至少大致相同的图像区域内是否存在相同的辨识出的对象。如果当前图像中的该图像区域完全被其他对象占据或覆盖，则将之前辨识出的对象识别为当前存在的对象或至少提供给用户用于识别。在一种变型方案中，仅当之前辨识出的对象在之前拍摄的图像中的至少一个中部分被遮挡地处于至少一个其他对象后面，才将该之前辨识出的对象识别为当前存在的对象。在另一变型方案中，仅当之前辨识出的对象在之前拍摄的多个、尤其所有图像中部分被遮挡地处于至少一个其他对象后面，才将该之前辨识出的对象仅识别为当前存在的对象。

显然，本发明不限于所示出的实施例。

附图标记列表

1 冰箱

2 箱体

3 冷藏室

4 冰箱门

5 摄像机模块

6 控制装置

7 存储器

8 数据接口

O1 对象

O2 对象

S1-S6 方法步骤

Claims (8)

1.一种用于辨识制冷器具(1)的冷藏室(3)中的对象(O1，O2)的方法(S1-S6)，其中

(a)拍摄(S1)所述冷藏室(3)的当前图像；

(b)为了识别和辨识所述对象(O1，O2)，对当前图像进行图像识别(S2，S3)；

(c)将在当前图像中识别到但未辨识出的对象(O2)与之前拍摄的至少一个图像中的辨识出的对象进行比较(S4)，

其中，在步骤(b)中辨识对象包括：将识别到的对象与存储在数据库中的对象进行比较。

2.根据权利要求1所述的方法(S1-S6)，其中，为了进行比较，在步骤(c)中将在当前图像中识别到但未辨识出的对象(O2)与之前拍摄的至少一个图像中辨识出的对象进行对象比较，并且在肯定的对象比较的情况下，对于当前图像的与之前拍摄的图像中的对象作出肯定比较的对象，采纳之前拍摄的图像中的对象辨识(S4)。

3.根据以上权利要求中任一项所述的方法(S1-S6)，其中，在步骤(c)中将在当前图像中识别到但未辨识出的对象与之前拍摄的多个图像中的对象进行比较(S4)。

4.根据权利要求3所述的方法(S1-S6)，其中，在步骤(c)中将在当前图像中识别到但未辨识出的对象(O2)与之前拍摄的直至五个图像中的对象进行比较(S4)。

5.根据权利要求1或2所述的方法(S1-S6)，其中，如果

在之前拍摄的多个图像中辨识出的对象处于至少大致相同的图像区域内、部分被遮挡地处于至少一个其他对象后面，并且

所述图像区域在当前图像中被其他对象完全占据，

则将之前辨识出的对象识别(S6)为当前存在的对象。

6.根据权利要求1或2所述的方法(S1-S6)，其中，在关闭冷藏室门(4)时拍摄所述冷藏室(3)的图像。

7.一种制冷器具(1)，其具有指向所述制冷器具(1)的冷藏室(3)中的图像拍摄装置(6)，所述图像拍摄装置用于拍摄所述冷藏室(3)的图像，其中，所述制冷器具(1)与数据存储器(7)以及与图像识别装置(6)耦合，所述数据存储器用于存储由所述图像拍摄装置(5)所存储的图像，其特征在于，所述制冷器具(1)设置用于运行根据以上权利要求中任一项所述的方法。

8.根据权利要求7所述的制冷器具(1)，其中，所述图像拍摄装置(5)处于冷藏室门(4)中。

Images