CN107735636A - 用于操作家用器具的方法、相应的家用器具以及包括家用器具的系统 - Google Patents

Abstract

本发明涉及一种方法，其包括下述步骤：借助于摄像装置拍摄家用器具的内部的图片，识别所述图片中的至少一个对象，以及编辑所述对象。本发明还涉及相应的设备和系统。

Description

用于操作家用器具的方法、相应的家用器具以及包括家用器 具的系统

技术领域

本发明涉及一种用于操作家用器具的方法、一种相应的家用器具以及一种包括家用器具的系统。

背景技术

已知可以在例如制冷器具这样的家用器具中使用摄像装置在特定时间记录制冷器具或其部分的内部。例如当制冷器具门打开或关闭时，摄像装置可以拍摄制冷器具的内部、例如当前置于制冷器具中的食物或其它物品的图片。相应地，还可以在制冷器具处于关闭状态时拍摄这样的图片。

例如，传感器可以为此目的而设置，并且检测制冷器具门的任何打开和/或关闭。这例如可以借助磁性传感器或其它类型的切换器实现。摄像装置拍摄的图片例如经由无线或硬线连接而储存在存储器中。例如，存储器可以是家用器具的存储器或者是计算机或计算机网络的存储器。特别地，例如可以经由网络接口将图片储存在经由互联网连接的中央数据库。

如果每当家用器具打开和/或关闭时就拍摄至少一张家用器具的内容的图片，则能够基于在使用家用器具的过程期间产生的不同图片之间的变化推断物品到家用器具中的放入以及物品相应的移除。可以进一步处理该信息以用于各种用途。

在这种情况下的问题在于，存在多个可重复使用的容器，其出现在图片上，但没有指出其内容。例如，这适用于通用可再密封容器。

发明内容

本发明的目的是改善现有的家用器具，使得不同的容器也能够得到高效的使用。

该目的根据独立权利要求中的特征来实现。本发明的改进方案从从属权利要求得出。

为了实现所述目的而提出一种方法，所述方法包括下述步骤：

-借助于摄像装置拍摄家用器具的内部的图片，

-识别所述图片中的至少一个对象，

-编辑所述对象。

例如可以全部地或部分地在家用器具中执行所述方法。特别地，可以在家用器具中或在家用器具处执行对象的识别和/或编辑对象。作为另一选择，还可以与家用器具分开地在至少一个外部部件中执行这些步骤，所述外部部件例如经由通信接口与家用器具连接。例如，可以在中央计算机中执行对象的识别，所述中央计算机如家用器具一样连接到互联网。例如可以在中央计算机上或者利用中央计算机的辅助执行对象的编辑。作为另一选择，还可以在例如移动终端(例如智能手机)这样的另外的设备上执行编辑。根据另一选择，可以至少部分地或甚至完全地借助于在终端上在有用户输入或无用户输入的情况下执行的程序来实现识别。

可以利用家用器具的摄像装置拍摄图片。图片可以存储在家用器具的存储器中、外部存储器中和/或网络存储器中。原则上，此处作为示例记载的任何应用情况都可以根据需要进行组合。因此，图片可以经由WLAN接口从家用器具经由互联网直接传输到智能手机，该智能手机可以经由WLAN接口或其他无线通信连接(例如3G或4G)连接到互联网。在该示例中，可以在移动终端上执行对象的识别和对象的编辑。移动终端可以具有用于该用途的特定程序(所谓的“app”)。

根据一发展方案，对象的编辑包括：创建、修改或删除与所述对象关联的信息。

家用器具可以具有用于编辑的显示设备(包括屏幕和输入界面)。还可以使用能够链接到家用器具的外部显示设备。作为另一选择，外部显示设备可以连接到存储了图片的存储器。

根据另一发展方案，信息包括下述中的至少一者：

-所述对象的内容；

-所述对象的预期用途；

-所述对象的物主；

-关于所述对象的指令；

-与所述对象相关联的条件；

-如果满足条件则要执行的预定的动作。

预定的动作可非常多样化。例如，可以与其他服务自动建立联系。特别地，能够检测到至少一个物品(例如牛奶)从制冷器具中消失，并且可以自动触发物品的重新排序。因此，物品(如果存在的话)可以可选地占据制冷器具中的特定空间或者被布置在制冷器具的特定区域中。然后可以自动地确定物品何时消失或者被消耗。例如，当从制冷器具移除物品时可以启动计时器。如果在预定的时间(例如1小时)内未重新放入物品，则认为物品已经被消耗并且可以触发重新排序。相应地可有用于识别制冷器具中的物品的多种选项，以及可能与识别或不识别相关的选项。

特别地，至少一个条件可作为信息被关联。该条件可以定期自动检查，例如，每天或作为特定参数、例如温度或其他对象的函数。如果满足条件，则启动预定的动作。一个示例是显示其保存期已过和/或即将到期的物品。另一示例是如果家用器具中的温度达到对于该产品的临界阈值，则输出警报。

根据一发展方案，家用器具特别是下述器具中的一个：

-厨房器具，

-烹饪器具，

-冷藏/冷冻器具。

此处冷藏/冷冻器具还称为制冷器具。

根据另一发展方案，摄像装置布置为使得当家用器具的门被打开和/或关闭时拍摄图片。

所述目的还通过提出的一种家用器具来实现，该家用器具包括用于执行本文所述的方法的处理单元。

所述目的还通过包括家用器具以及至少一个另外的部件的一种系统来实现，

-其中，所述家用器具具有用于拍摄家用器具的内部的图片的摄像装置，

-其中，所述至少一个另外的部件具有处理单元，该处理单元用于

-识别所述图片中的至少一个对象，

-编辑所述对象。

本文提出的处理单元可以特别地实施为例如处理器单元和/或至少部分地硬连线的电路装置或逻辑电路装置，处理单元被配置成使得能够如上所述地执行所述方法。所述处理单元可以是或者包括任何类型的处理器或计算机或具有相应地要求的外围设备(存储器、输入/输出接口、输入/输出设备等)的计算机。

关于所述方法的本说明相应地分别适用于设备和系统。

根据一发展方案，所述至少一个另外的部件包括存储器，该存储器能够经由网络接口访问，其中，所述图片可以通过摄像装置存储。

根据另一发展方案，所述至少一个另外的部件具有带有输入界面和屏幕的显示设备，其中，可以使用输入界面编辑对象，并且可以借助于屏幕显示对象和信息。

根据另一发展方案，显示设备是智能手机或计算机。

附图说明

下面参考附图示出和说明本发明的示例性实施例，其中：

图1以示意性侧视图示出了包括具有门、摄像装置和处理单元的制冷器具示例性示意框图。

具体实施方式

本文描述的方案使得用户能够识别位于家用器具中的任意容器(例如，通用的可再密封的盒、包装等)中容纳了什么物品。为此，利用摄像装置记录容器，图片经历对象识别并且容器被识别为图片的对象。摄像装置例如可以布置在家用器具中。例如当打开或关闭家用器具的门时可以拍摄图片。

编辑被识别的对象，即例如进行注释或与信息相关联。信息可以包括标记、文字、符号、颜色等。对于用户，信息可以与容器的内容相关联。因此用户能够基于信息识别容器的内容。

例如通过将识别的对象着色和/或用文本注释识别的对象来编辑对象。例如，图片可以通过信息来补充，并且与图片相关联地储存信息。当观看图片时，用户还可以看到信息，并且立即识别容器的内容。用户可选地可借助于动作来使信息可见，或者信息可选地可由于动作而被显示。如果不总是显示所有的信息，则能够提高呈现的清晰度。

在该情况下有利的是，可以使信息对于使用家用器具的每个使用者都可用。例如，信息可以呈现在显示设备上。显示设备可以是家用器具的一部分或者是计算机、例如智能手机或任意(移动的或固定的)计算机的一部分。例如，可以从家用器具经由接口转送具有或不具有信息的图片，并且储存在网络中。信息可以直接在家用器具处提供，或者例如可以在图片(具有或不具有信息)已经储存在家用器具中、关联的存储器中和/或网络中之后补充或修改信息。

信息可以包括容器的内容、预期的用途(例如，在食谱的情况下)、可能的用途、物主、状态(例如保存期)或类似项。

信息可以与至少一个预定的动作相关联：如果用户选择保存期作为信息，则预定的动作可以在达到该保存期之前、之时或者之后开始：例如，可以在到达保存期之前的两天(例如，在显示设备上)显示消息，以显示应该消耗容器中的物品(例如，在该情况下可以以即将到来的保存期或保存时间显示容器和物品，直至期满)。以该方式还能够为将在即将到期的时间、例如未来十天内到期的商品显示倒计时，从而能够有效地确保用户能够在到达保存期之前及时地消耗物品，和/或制冷器具不容纳任何用户不知道其保存期已过的产品。

在另一示例中，制冷器具的温度可以根据信息进行调整：例如，如果用户指定的信息涉及在处理单元的表格中存储优选温度(或温度范围)的特定物品，则制冷器具可以相应地调整容器所在的区域的温度。

有利的是，还可以检测制冷器具内的对象的位移，因此，信息在虚拟的意义上随着对象而在制冷器具中移动。这意味着制冷器具的最近的内容、即所识别的对象总是可以利用信息显示在设备上。可选地可以删除或更新关于对象的信息。这使得被识别的对象能够以各种方式用作不同物品的容器。

信息可以以不同的方式与图片中的被识别的对象相关联。例如，信息可以以透明、放大、缩小、移动、用箭头或线条等指向对象的方式来表示。还能够通过在屏幕上虚拟地移动所识别的对象而以虚拟的方式将制冷器具的内容呈现在显示设备上。这些信息可以与虚拟操作一起重新创建和表示。例如，也可以呈现与对象在制冷器具中的实际位置无关的(可能分类的)列表，并且例如通过将信息以表格的形式或者以其它方式分类而示出所识别的对象。信息可以用做这种表示的分类标准。

应注意可以在显示设备上将信息编辑成不同的表示形式。例如，该信息可被补充、第一次输入或删除。信息还可以与条件关联，或者可以删除预先输入的条件。此外，信息可以向所有用户或者选择的用户进行显示。例如，可以向特定用户显示容器的内容“饼干”，并且代替该内容向其他用户显示不同的信息、例如“物主：卡尔，请勿食用！”。

信息还可以包括关于家用器具中的物品的储存(储存位置、储存期限、储存温度等)、特别是用于改变储存的目的的建议。

显示设备可以是家用器具的一部分。显示设备也可以是传统的计算机(例如笔记本电脑，个人电脑等)。此外，智能手机可以用作显示设备。例如，应用(也称为应用程序或app)可以安装在智能手机上，使得智能手机可以用作用于家用器具的显示设备。

可以经由显示设备编辑信息。还可以在显示设备上虚拟地显示家用器具的内容(根据最近的图片的当前内容，可能参考先前的图片)。此外，还可以使用显示设备进行分析(例如，在使用日期或可能的菜谱方面)。

因此，显示设备包括例如处理器单元，所述处理器单元使得信息能够借助程序并且参考图片而被编辑和/或处理。

在该情况下，处理的一部分、例如在摄像装置的图片中的识别对象可以已经由家用器具执行，或者图片可以从家用器具例如在网络中传输至外部处理单元。可以在该处专用地或者附加地执行例如用于识别图片中的对象的处理步骤。处理的结果可以经由无线或硬线的接口提供给不同的显示设备。

作为选择，家用器具可以与互联网连接，并且将图片载入连接至互联网的存储器中。显示设备也可以经由互联网访问存储器，并且从而访问存储在该处的图片，如果适用则还访问所存储的信息。

信息可以集中存储，可以与图片一起存储或者与图片分开存储，也可以存储在直接连接到家用器具或者布置在家用器具内的存储器中。此外，信息可以存储在显示设备中。在所有举例情况下，可以将信息从一个用户分布给至少一个其他用户，并且可选地具有与访问有关的限制(例如以用户权限的形式)。

作为示例，图1以示意性侧视图示出了包括具有门102的制冷器具101示意方框图。门102在图1中是关闭的。传感器106检测门102是打开的还是关闭的。当门102被打开或关闭时，传感器106将相应的信号传递给处理单元104。然后处理单元104激活摄像装置103，从而该摄像装置拍摄制冷器具101的内部的图片。作为示例，处理单元104将图片存储在存储器107中。存储器107可以实施为处理单元104的一部分或者与处理单元单独地实施。

显示设备108可实施在制冷器具101之外。显示设备108还可以使用处理单元104，或者处理单元可以是显示设备108的一部分。显示设备108可以例如在外部布置在制冷器具101的门102上，并且因此当门102被关闭(或打开)时由用户操作。例如，显示设备108具有输入界面，例如按键、(例如触摸感应的)屏幕、指示设备、至少一个控制扭或其它导航工具。具有或不具有(可编辑的)信息的图片因此可以经由显示设备108的屏幕显示给用户。特别地，用户可以编辑信息，并且以该方式例如将信息分配给图片中的识别的对象。这意味着虚拟信息可以重叠在显示设备的屏幕上的图片上，例如，所述信息补充了识别的对象。

处理单元104例如可以配置为能够识别摄像装置拍摄的图片中的至少一个对象105。图1的示例中的对象105是可再密封的通用不透明盒。该盒在图片中被识别，并且能够被用户编辑为对象。这样的编辑包括例如将信息分配给对象105。用户因此能够借助于显示设备108使信息“饼干”与对象105相关联。然后该信息“饼干”可以与图片一起显示在显示设备108的屏幕上。

例如，还可以将摄像装置103和处理单元104实施为一个部件。特别地，例如，这样的部件可以具有无线网络连接，从而将已经拍摄的图片直接存储在经由互联网而连接的存储器中。这样的存储器还被称为“云存储”。

作为示例，图1还示出了处理单元104与智能手机123之间的联系。应理解图1中的虚线示意地表示了信号或数据的传输。可以例如经由至少部分使用互联网的无线电接口实现数据到智能手机123的传输。为此，处理单元104自身可以无线或硬线连接到互联网。

智能手机123代表显示设备的另一示例。所述智能手机123包括呈(例如虚拟的)键盘123和屏幕121的形式的输入设备。盒105的识别的对象可以在智能手机的屏幕上显现，例如作为盒105的可选图像122。用户具有用于输入针对该图像122的信息的设备。在图1的示例中，输入字符串“饼干”作为信息124并且与图像122关联。

这意味着当看到制冷器具101的内部的图片时，可以为每个用户或授权的用户给予还能查明对象105中容纳的内容的选项。为此目的，信息“饼干”还与图片一起显示在显示设备108或123上。

参考标记列表

101 制冷器具

102 门

103 摄像装置

104 处理单元

105 对象

106 传感器

107 存储器

108 显示设备

121 屏幕

122 图像

123 智能手机

124 信息

Claims (10)

1.一种方法，包括下述步骤：

-借助于摄像装置拍摄家用器具的内部的图片，

-识别所述图片中的至少一个对象，以及

-编辑所述对象。

2.根据权利要求1所述的方法，其特征在于，编辑所述对象包括：创建、修改或删除与所述对象相关联的信息。

3.根据权利要求2所述的方法，其特征在于，所述信息包括下述中的至少一者：

-所述对象的内容；

-所述对象的预期用途；

-所述对象的物主；

-关于所述对象的指令；

-与所述对象相关联的条件；

-如果满足条件则要执行的预定的动作。

4.根据前述权利要求中任意一项所述的方法，其特征在于，所述家用器具是下述器具中的一个：

-厨房器具，

-烹饪器具，

-冷藏/冷冻器具。

5.根据前述权利要求中任意一项所述的方法，其特征在于，所述摄像装置配置成使得当所述家用器具的门被打开和/或关闭时拍摄所述图片。

6.一种家用器具，包括用于执行根据前述权利要求中任意一项所述的方法的处理单元。

7.一种系统，包括家用器具和至少一个另外的部件，

-其中，所述家用器具包括用于拍摄所述家用器具的内部的图片的摄像装置，

-其中，所述至少一个另外的部件具有处理单元，所述处理单元用于

-识别所述图片中的至少一个对象，

-编辑所述对象。

8.根据权利要求7所述的系统，其特征在于，所述至少一个另外的部件包括存储器，所述存储器能够经由网络接口访问，由摄像装置拍摄的所述图片能够存储在所述存储器中。

9.根据权利要求7或8所述的系统，其特征在于，所述至少一个另外的部件具有带有输入界面和屏幕的显示设备，其中，能够使用所述输入界面编辑所述对象，并且能够借助于所述屏幕显示所述对象和信息。

10.根据权利要求9所述的系统，其特征在于，所述显示设备是智能手机或计算机。