CN105358924A - 包括摄像模块的制冷器具 - Google Patents

Abstract

本发明涉及一种制冷器具(100)，其特征在于，所述制冷器具(100)包括摄像模块(101)，所述摄像模块(101)用于在第一时间点检测被冷却物品(103)的第一图像数据并在第二时间点检测所述被冷却物品(103)的第二图像数据，所述制冷器具(100)还包括新鲜度确定装置，所述新鲜度确定装置基于所述第一图像数据和所述第二图像数据确定所述被冷却物品(103)的新鲜度状态。

Description

包括摄像模块的制冷器具

技术领域

本发明涉及一种包括摄像模块的制冷器具。

发明内容

本发明的目的在于实施一种制冷器具，在该制冷器具中，被冷却物品的新鲜度能够被确定。

该目的是通过具有根据独立权利要求的特征的主题来实现。本发明的有利实施例形成附图、说明书以及从属权利要求的主题。

根据本发明的一方面，上述目的是通过一制冷器具来实现，该制冷器具包括用于在第一时间点检测被冷却物品的第一图像数据并在第二时间点检测被冷却物品的第二图像数据的摄像模块，所述制冷器具还包括新鲜度确定装置，所述新鲜度确定装置用于基于第一图像数据和第二图像数据确定被冷却物品的新鲜度状态。新鲜度状态还可以是成熟度。由此，例如实现了下述技术优点：易腐烂物品的新鲜度状态可以被自动检测并且能够在超过预定新鲜度状态时通知用户。

特别地，家用制冷器具被理解为“制冷器具”，即在家庭中用于家庭管理或用于餐饮业的制冷器具，尤其用于以一定温度存储食物和/或饮料，例如冰箱、冷冻柜、组合式冷藏冷冻机、冰柜或酒柜。

在制冷器具的一个有利实施例中，第一图像数据是三色图像数据并且新鲜度确定装置构造成能够基于与存储的图像数据或标准的比较而确定出被冷却物品的新鲜度状态或成熟度。

在制冷器具的另一有利实施例中，第一图像数据和第二图像数据是三色图像数据并且新鲜度确定装置构造成能够基于第一图像数据与第二图像数据之间的色差而确定出被冷却物品的新鲜度状态。由此，例如实现了下述技术优点：可以以尤为可靠的方式确定新鲜度状态。

在制冷器具的另一有利实施例中，新鲜度确定装置构造成能够基于第一图像数据或第二图像数据检测被冷却物品的类型。尤其例如实现了这样的技术优点：在确定新鲜度状态时，除了图像数据的变化之外，还会考虑被冷却物品的类型。

在制冷器具的另一有利实施例中，制冷器具包括用于手动输入被冷却物品的类型的输入装置。由此，例如实现了这样的技术优点：在被冷却物品的类型的自动确定没有成功时，用户能够手动选择被冷却物品的类型。

在制冷器具的另一有利实施例中，新鲜度确定装置构造成能够基于被冷却物品的类型确定出被冷却物品的新鲜度状态。由此，还实现了这样的技术优点：提高了新鲜度状态的确定的准确性。

在制冷器具的另一有利实施例中，新鲜度确定装置包括用于处理第一和第二图像数据的处理器装置。由此，例如实现了这样的技术优点：可以基于第一图像数据或第二图像数据使用不同的分析算法。

在制冷器具的另一有利实施例中，摄像模块包括用于检测第一或第二图像数据的光传感器阵列。由此，例如实现了这样的技术优点：可以以简单的方式获取图像数据。

在制冷器具的另一有利实施例中，摄像模块构造成能够确定可见光谱区及红外光谱区中的第一和第二图像数据。由此，例如实现了这样的技术优点：新鲜度状态的确定不仅能够在可见区执行还能够在红外区执行，并且确定出的新鲜度状态的准确性被提高。

在制冷器具的另一有利实施例中，摄像模块包括分色元件，所述分色元件用于同时检测可见光谱区和红外光谱区中的图像数据。由此，例如实现了这样的技术优点：红外辐射可以与可见光辐射区分开并且可以被分别检测。

在制冷器具的另一有利实施例中，制冷器具包括照明装置，所述照明装置用于在检测第一和/或第二图像数据时对冷格照明。照明装置例如可以是用于可见光的光源或红外光源。由此，例如实现了这样的技术优点：可以在预定的照明条件下实施新鲜度状态的确定。

在制冷器具的另一有利实施例中，照明装置构造成能够发出具有预定频率的单色光。由此，例如实现了这样的技术优点：图像数据的评估可以以预定频率执行。

在制冷器具的另一有利实施例中，照明装置包括光源，该光源用于发出单色光并能够根据频率而调节，例如是可调发光二极管。由此例如实现了这样的技术优点：能够获得被冷却物品的光谱分析。

在制冷器具的另一有利实施例中，照明装置构造成能够发出多色光。由此，例如实现了这样的技术优点：可以同时在较大的光谱区中获取图像数据。

在制冷器具的另一有利实施例中，制冷器具包括用于显示被冷却物品的新鲜度状态的显示装置。由此，例如实现了这样的技术优点：用户能够知晓被冷却物品的新鲜度状态。

在制冷器具的另一有利实施例中，制冷器具包括用于检测制冷器具的门的打开的传感器并且制冷器具构造成在门打开时阻止检测第一或第二图像数据。由此，例如实现了这样的技术优点：确保了检测图像数据时具有一致的照明条件。

附图说明

本发明的示例性实施例在下文中予以更详细的描述并且在附图中予以展示，所述附图为：

图1是制冷器具的示意图；

图2A是具有两个摄像模块的冷格的透视图；

图2B是冷格的前视图；

图3A是具有一个摄像模块的冷格的透视图；

图3B是冷格的俯视图；

图4是具有多个摄像模块的冷格的透视图；

图5示出不同摄像模块的两幅视图；

图6是结合视场的冷格的俯视图和侧视图；

图7是使用多个摄像模块的冷格的俯视图；

图8是具有传感器垫的冷格的透视图；

图9是具有数据总线的制冷器具的视图；

图10是具有数据总线的制冷器具的另一视图；

图10A是摄像模块在门上的布置方式的示意图；

图11是具有分配节点的数据总线的示意图；

图12是处理器单元的视图；

图13示出位于冷格中的被冷却物品的图像并且示出图像分析；

图14是具有触敏显示器的摄像模块操作设备的视图；

图15是在门上具有摄像模块的制冷器具的示意图；并且

图16A-C是摄像模块的不同连接方式的示意图。

具体实施方式

图1展示了作为制冷器具100的一个示例的一冰箱，该冰箱包括上、下冰箱门111。该制冷器具100是一种独立式的器具。

冰箱被用来例如冷却食物并包括制冷回路，该制冷回路包含有蒸发器、压缩机、冷凝器以及节流装置。所述蒸发器是这样的一种换热器，在该换热器中，膨胀后的液体制冷剂通过从待冷却的介质、即从冰箱内的空气吸收热量而蒸发。

压缩机是一种被机械驱动的部件，其从蒸发器抽吸制冷剂蒸气并以升高的压力将所述蒸气排放至冷凝器。冷凝器是这样的一种换热器，在该换热器中，压缩后的蒸气制冷剂通过向外部冷却介质、即向周围空气释放热量而变成液态。节流装置是一种设计成通过横截面的变窄而恒定地减小压力的装置。

制冷剂是一种用来在制冷系统中传热并在低温且低压时吸收热量、并且在高温且高压时释放热量的流体，其中，通常涉及流体状态的改变。

制冷器具100包括上、下门111，所述门关闭位于制冷器具100内的冷格。制冷器具100还包括侧壁109。在制冷器具100内具有一电子摄像模块，该电子摄像模块能够以单一图像记录制冷器具100内的被冷却物品并且能够生成图像数据。摄像模块101能够例如被用户定向、旋转或调整。

图2A展示出具有两个摄像模块101的冷格105的透视图。冷格105形成用于制冷器具100内的被冷却物品103的接收部。杯子和食物袋作为被冷却物品103的示例位于冷格105内。所述两个摄像模块101以相同的高度并彼此水平隔开地布置在冷格105的前侧131上、例如布置在制冷器具100的门111上。被冷却物品103被两个摄像模块101从制冷器具100的前面记录。位于冷格105的前侧131上的摄像模块101能够仿真用户对冷格105的容纳物的观察。

照明装置102被设置成在记录期间对冷格105照明。照明装置102例如是红外照明装置或利用可见光的照明装置。照明装置102例如布置在冷格105的格顶上。为了得到附加的图像信息或更高的分辨率，同一图像可以利用不同的照明来进行记录。

冷格105内部的设计可以针对摄像模块105、例如在可调节性、搁板布置、门架相对于格底的位置、或门架的可调节性方面进行优化。摄像模块101例如朝向制冷器具的中心倾斜。摄像模块101能够移动。侧壁上的摄像模块101具有获得朝向门111的视图的优点。此外，反射性涂层、玻璃珠、微反光结构(retro-reflector)可以被使用。

保鲜格不具有专用摄像头并且具有透明盖、透明格底并在格底边缘没有不透明条。

摄像模块101包括光传感器阵列，所述光传感器阵列包含有颜色传感器、例如CCD芯片。光传感器阵列例如具有最小为640×480像素(VGA)的分辨率以及三个均具有至少8位的色彩深度的颜色通道、例如RGB颜色通道。摄像模块101例如可以设计成使得它不仅能够记录可见光区中的图像数据还能够记录红外区中的图像数据。

适于用在光传感器阵列中的CCD图像传感器包括光敏式光电二极管阵列。这些光敏式光电二极管可以是边长为1.4μm至20μm以上的矩形、正方形或多边形。光电二极管的表面面积越大，CCD图像传感器的光敏感性和动态范围越高。然而，对于同一传感器尺寸，在这种情况下图像分辨率越低。摄像模块101具有与处理器单元通信的结构。由光传感器阵列获取的传感器数据可以被处理器单元处理。只有在请求时系统才激活，系统激活时的功率在3W的数量级上，并且在待机时为0.1W。

图2B展示出来由摄像模块101中的一个所观察的冷格105的前视图。在该前视图中，被冷却物品103的轮廓可以在冷格105的后壁129的背景前方被观察到。

通过利用两个水平隔开的摄像模块101，例如能够记录被冷却物品103的两幅图像，这两幅图像以立体视角向用户传送被冷却物品103的三维图像。此外，利用两个摄像模块101具有下述优点：即使在摄像模块101中的一个被被冷却物品103遮挡的情况下，冷格105的内部也能够被摄像模块101中的另一个记录。

图3A展示出具有一个摄像模块101的冷格105的另一透视图。摄像模块101布置在冷格105的格顶113上。将摄像模块101布置在格顶113上允许彻底改变观察方向并允许俯视冷格105的容纳物。

图3B展示出由布置在格顶113上的摄像模块103所观察的冷格105的俯视图。该俯视图可以用来可视化冷格105的容纳物。

一般来说，摄像模块还可以布置在冷格105的后壁129上或冷格105的侧壁109上。由此能够扩大可视化容纳物的视场并且能够记录冷格105内的不同视图或全方位视图。

图4展示出具有多个摄像模块101的冷格105的透视图。摄像模块101布置成可以从每侧且以不同的观察角度观察被冷却物品103。通过将各个摄像模块101所记录的图像结合，能够生成位于冷格105中的被冷却物品103的全方位视图。

为了使得摄像模块101能够以充足的亮度记录被冷却物品103，照明装置102实施在冷格105内。摄像模块101和照明装置102可以例如布置在共用安装空间中。

用于在记录过程中发出闪光的闪光单元例如可以作为照明装置102布置在制冷器具100中，从而可以借助闪光进行记录。闪光单元例如可以布置在摄像模块101上。闪光单元可以被附加的控制器激活，所述控制器为每个摄像模块101输出控制信号。闪光的光强度可以利用特定的闪光测光计或双功能曝光计来测量。

此外，制冷器具100可包括作为照明装置102的LED阵列，所述LED阵列布置成使得位于冷格105内的被冷却物品103能够从所有侧被尽可能均匀地照明。LED阵列可以被中央控制。此外，LED阵列提供了一种能够对冷格105实施均匀或适应性照明或能够减小投射阴影的简单且节能的方式。

然而，一般而言，任何其它合适的照明装置如LED条、白炽灯或霓虹灯管也可被使用。当打开制冷器具门时，环境光可以被用作内部照明。

图5展示出两个不同的摄像模块101-1和101-2。两种适于适配在制冷器具100中的摄像模块101-1和101-2可以用来获取图像。装配好的摄像模块101-1和101-2例如包括光传感器阵列、镜头以及微控制器104。

具有内置的微控制器104的摄像模块101-1和101-2可以容易地集成在制冷器具100中。如果具有用于特定摄像模块101-1和101-2的驱动，那么上述集成会变得更简单。如果摄像模块101-1和101-2包括USB接口，那么摄像模块101-1和101-2可以直接连接至USB数据总线或PC。摄像模块101-1和101-2包括成像装置，该成像装置提供对原始图像数据的分析。

摄像模块101-1和101-2被保护而免受果酸、灰尘和湿气。摄像模块101-1和101-2可以布置在包罩壳体中、和/或借助于IR-LED提供透镜加热和/或设置有透镜涂层，从而防止生雾。

第一摄像模块101-1包括针孔透镜135和电路板133，在电路板133上布置有包括光传感器阵列与微控制器104的芯片。摄像模块101-1由针孔摄像头107形成，所述针孔摄像头107可具有玻璃盖以被保护而不会受到污染。尽管针孔摄像头107的光强度小于对焦摄像头的光强度，但是针孔摄像头107的景深更大。不过，较小的光强度可以通过较长的曝光时间而得以补偿，这是因为在冷格105内不会发生移动。

第二摄像模块101-2包括镜头109和电路板133，在电路板133上布置有包括光传感器阵列和微控制器的芯片。镜头109可具有例如小于10mm的焦距(微型镜头)，以使得镜头109可形成较大的景深并且近场区域可被成像。镜头109例如是视场大于60°的广角镜头。视场描述了可以被摄像模块101-2捕捉的角度范围。此外，摄像模块101-1和101-2可包括附加的偏转机构例如以下装置：可折叠的或旋转的棱镜、反射镜、透镜或半导体反射镜。

电路板133的尺寸例如是32mm×32mm。在电路板133上例如形成有用于微控制器104的电路以及接口，所述接口用于将摄像模块101连接至数据总线以使得图像数据可以作为文件被提供。电路板133例如形成在门111的泡沫里。

摄像模块101-1和101-2的高度可以由镜头109或针孔透镜135限定并且例如在10mm与30mm之间。针孔透镜135允许摄像模块101具有小于20mm的较小深度。此外，具有针孔透镜135的摄像模块101-1适于安装在制冷器具100的壁上的较小的腔室或凹部中。对于具有针孔透镜135的摄像模块101-1，凹部的深度例如等于2mm至3mm，而对于具有镜头109的摄像模块101-2，凹部的深度等于约10mm。具有针孔透镜135的摄像模块101-1还可实施成没有电路板133并且其尺寸例如为10mm×10mm×7mm。具有针孔透镜135的针孔摄像头107例如允许视场为120°。

摄像模块101-1和101-2可具有用于传输图像数据的不同接口、比如RS232接口、SPI接口、IIC接口或USB接口。

图6展示出大小为20cm×60cm×50cm的冷格105的俯视图和侧视图。视场描述了可以被摄像模块101成像的角度范围。不同的视场可以获得摄像模块101的不同可视区域。位于冷格105内摄像模块101旁边的个别区域137不能被看到并且这些个别区域137随着视场变大而变小。

图7展示出其内使用有多个摄像模块105的冷格105的俯视图。左侧示出具有四个视场为40°的摄像模块101的布置结构。右侧比较性地示出具有三个视场为60°的摄像模块101的布置结构。视场越大，覆盖相同的可视区域139所使用的摄像模块101越少。

视场确定了能够生成连续图像的摄像模块101的数量。根据冷格105的大小，视场与摄像模块101的数量之间会具有折衷。然而，越大的视场会产生越显著的失真。例如会产生枕形失真141或桶形失真143。失真141和143的类型和程度可以被识别并被校正以用于进一步的图像处理。为此，可使用一模板。

图8展示出具有用于检测格底117的载荷的变化的传感器垫115的冷格105。膜状传感器垫115可以用来检测重量变化。传感器垫115具有数毫米的厚度并布置在格底117上。传感器垫115测量水平、平坦且固定的格底117上的载荷的变化并适于监测位于格底117上的独立和堆叠的被冷却物品103。这可以用来例如通过比较重量与初始值而确定出容器有多满。此外，还能够追踪被冷却物品103的位置的改变并且由此检测该位置。

此外，新放入的被冷却物品103-2的位置可以被检测到。如果例如被冷却物品103-2在被冷却物品103-1的基础上被添加在至格底117上，则传感器垫117会检测出被冷却物品103-2是被添加至哪个表面区域上。由此，除了由摄像模块101获取的图像数据的光学变化之外，冷格105上的变化也可用这种方式被检测到。

此外，制冷器具100可包括用于射频识别标签(RFID标签)的读取装置，以使得冷格105中的被冷却物品103可以通过读取标签而被注册。用于射频识别标签的读取装置是能够借助射频波读取存储在电子标签中的信息的电子电路。

射频识别标签读取装置和传感器垫115均提供成附加的传感器以补充光学图像的获取，例如作为EAN码的光学识别的替代或补充。这增加了可靠性并增加了更多的应用场合。

此外，摄像模块101可包括用于旋转摄像模块101的记录方向的可控枢转装置和/或用于放大摄像模块101的记录结果的可控放大装置。此外，摄像模块101可包括移位装置，该移动装置用于使摄像模块101沿着制冷器具100的壁水平和/或竖直地控制性地移动。枢转装置、移位装置和放大装置利用由电机驱动的合适的机构来执行并且可以通过数据总线被处理器单元控制。

图9展示出具有数据总线121的制冷器具100。冷格105包括四个摄像模块101，这四个摄像模块101布置在冷格105的各拐角处。此外，制冷器具100包括处理器单元119，图像从各摄像模块101传输至处理器单元119。处理器单元119包括处理器和存储器并用来处理传输的图像数据。

数据总线121用来将图像数据从摄像模块101传输至处理器单元119。数据总线是一种用来在多个总线用户之间通过共用传输路径来传输数据的系统，其中，总线用户没有参与其它总线用户之间的数据传输。

四个摄像模块101中的每个连接至独立的数据总线121。其它装置也可以连接至这些数据总线121并且被控制。数据总线121的部分集成在制冷器具100的侧壁109中。数据总线121由用于将信号从摄像模块101传输至处理器单元119的电导体形成。

数据总线121例如是用来将各比特或各数据包以串行数据传输方式在导体上依次(串行)传输的串行总线。数据总线121例如执行USB标准、I2C标准、SPI标准、或CAN标准，或者例如DBus2标准或DBus3标准。数据总线121例如是高速总线(USB)。串行数据总线121具有可以利用很少的导体来实施的优点。

摄像模块101和处理器单元119同样地具有用于连接数据总线121的串行接口。有利的是使用驱动已经存在的摄像模块101和系统。为此，数据总线121可以预先配置有连接装置如插入配合接口，以用于连接例如摄像模块101。在这种情况下，摄像模块101在具有故障的情况下可以被更换和替换。此外，数据总线121和所连接的部件设计成使得部件例如摄像模块101或照明装置102可以通过数据总线121被供电或被供以电流。这减小了制冷器具100内的线缆布置成本。

图10展示了具有数据总线121的另一制冷器具100。冷格105包括四个摄像模块101，这四个摄像模块101布置在冷格105的各拐角处。四个摄像模块101成对连接至同一数据总线121。摄像模块101中的两个布置在制冷器具100的门111上并且生成冷格105的前视图。用于这些摄像模块101的数据总线121借助线缆孔眼(kabeldurchführung)延伸穿过门111的铰接装置123。

逻辑或物理地址分配给各摄像模块101并且可以用来在数据总线121上分别定位摄像模块101。此外，如果需要的话，附加的本地分配节点可以被设置。由处理器单元119通过数据总线121获取图像所花费的时间不应当超过预定的时长。

图10A展示了布置在门111的内侧上的六个摄像模块101的示意图和剖视图。门111在外侧上具有门把手169。摄像模块101以不同的观察角度从冷格105内的同一区域获取图像数据。每两个摄像模块101组成包括第一和第二摄像模块101的用于立体图像记录的对。

每两个摄像模块101布置成位于门111的同一高度处的对。所述对的第一摄像模块101布置在右手门柱167处，并且第二摄像模块101布置在左手门柱167处。摄像模块101于门柱167的拐角处布置在门111的内侧上。例如，摄像模块101集成在门111的框架上，以使得它们没有从门111的内侧突出。

每个摄像模块101配属有照明装置102、例如位于门111上的呈白光LED形式的照明装置102。每个照明装置102斜地布置在关联的摄像模块101的旁边。

在门111的中央形成有门架165，被冷却物品103如瓶子可以布置在该门架165内。门架165的高度不可调节。摄像模块101中的两个直接位于门架165下面，以使得它们没有被制冷器具100内的被冷却物品103遮挡。另外两个摄像模块101布置在门111的上部区域中，以使得它们也没有被被冷却物品遮挡，并且图像记录可以从上方斜地执行。

各对摄像模块101以不同高度布置在门111的内侧上，以使得所述记录可以从不同观察角度获取。这例如通过每对摄像模块101从不同的观察角度捕捉冷格105内的同一区域来实现。

门111包括集成数据总线121，所述集成数据总线121用于将摄像模块101连接至处理器单元119，以使得由摄像模块101获得的图像数据可以被传输以用于进一步的处理。所有的六个摄像模块101例如都连接至同一数据总线121。该数据总线121可以设计成串行数据总线，以使得用于传输图像数据的线缆布置成本较低。每对中的第一和第二摄像模块101均包括用于立体图像记录的同步放大的放大装置。一般而言，摄像模块101也可以布置在制冷器具内的别的位置上，例如布置在制冷器具100的后壁上。

图11展示出位于制冷器具100中的具有多个分配节点125的数据总线121的示意图。每个分配节点125形成用于连接摄像模块101的辅助模块并包括合适的接口。分配模块125例如通过嵌入式平台如BeagleBoard来实现。

分配节点125用于分配图像数据并控制处理器单元119与摄像模块101之间的信号，并且可以形成图像转换单元。此外，数据压缩可以在分配节点125上执行。此外，协议转换也可以在分配节点125上执行。

连接至数据总线121的摄像模块101可包括执行获取的图像数据的压缩的微控制器。用于压缩图像数据的压缩装置可以以这种方式实现。该压缩涉及将获得的位图格式的图像数据例如转换成基于JPEG格式的图像数据并通过数据总线121传输JPEG格式的图像数据。这具有这样的优点：能够以较少的数据执行传输并花费较少的时间。

图12展示了处理器单元119的透视图。处理器单元119包括用于将图像数据传输至外部网络的接口145。例如，接口145是无线WLAN接口、Bluetooth接口、Ethernet接口、或移动通信接口如GSM、UMTS、或LTE。图像数据可以通过接口145提供给外部网络。在需要时，还能够通过接口145直接连接至个人计算机。个人计算机可以用来处理传感器数据，例如用于去除失真和噪音、执行手工锐化或增加对比度。

处理器单元119用于处理来自摄像模块101的传感器数据与图像数据。含有用于图像处理与计算机视觉的算法的程序库、比如OpenVC可以用于图像分析。可执行的图像分析方法例如是检测变化、识别条形码、或识别限定的标志(图案识别)。Linux可以用作处理器单元119的操作系统。

处理器单元119可以被用来从摄像模块101获取图像数据并且处理以这种方式传输的图像数据。对此，图像处理、例如降低噪音或将图像数据组合成更大的单元可以被使用。图像数据也可以被分析和评估，例如识别图像的区别或物体的区别。该分析可以用来识别由摄像模块101记录的被冷却物品103并用来获取与这些物品相关的信息。图像数据可以通过无线网络被提供。

此外，处理器单元119可以用来控制照明装置102以在记录过程中对冷格105照明。为此，制冷器具100包括照明装置102，该照明装置102连接至数据总线121并且可通过该数据总线被控制。

图13展示出由摄像模块101记录的包含第一图像数据147的第一图像、以及由摄像模块101记录的包括第二图像数据149的第二图像。第二图像数据149比第一图像数据147在更晚的时间点记录。运行应用程序(app)的处理器单元119或外部摄像模块操作设备可以执行实现新鲜度确定装置，该模块用来基于第一图像数据147和第二图像数据149确定出被冷却物品的新鲜度状况。第一图像数据147与第二图像数据149之间的时间间隔例如等于一天。

在这两种情况下，照明装置102在冷格105中提供基本上相同的照明条件，从而确保时间偏差记录的可比性。为了防止图像数据147和149可能由于打开制冷器具100的门111时进入冷格105的环境光而产生偏差，制冷器具100包括用于检测门111的打开的传感器。如果该传感器检测出制冷器具100的门111上是打开的，则不获取图像数据。图像数据只有在门111关闭时才会被获取。一旦门111被关闭后在冷格105的内部产生均匀照明，图像数据就会被记录。

还能够通过比较第一图像数据与第二图像数据来发现被冷却物品103已经被添加或移除。图像数据151展示出从第一图像数据147减去第二图像数据149。第一图像数据147和第二图像数据149例如是颜色分辨率为每像素24位的三色图像数据(RGB)。

两套图像数据147与149之间的差别与改变可以通过相减来得出。在示出的示例中，图像区域153显示出已经从冷格105移除的被冷却物品103。展示或隐藏冷格105的容纳物和所计算出的变化可以在制冷器具100的显示器上、例如在平板PC或智能手机上执行。此外，被冷却物品103的轮廓以及所产生的变化可以被高亮。

还同样能够确定出易腐的被冷却物品103随时间的变化。由处理器单元119或摄像模块操作设备借助于应用程序形成的新鲜度确定装置基于第一图像数据147与第二图像数据149之间的色差而确定出被冷却物品103的新鲜度状况。然后合适的算法可以用来由已经发生的颜色变化确定出被冷却物品103是否仍然新鲜或仍然能够使用。还能够利用由传感器垫115获取的重量变化数据来确定新鲜度。

此外，新鲜度确定装置可以设计成基于第一图像数据或第二图像数据来检测被冷却物品103的类型。新鲜度确定装置例如可以自动识别被冷却物品103属于哪种类型的易腐物品。例如新鲜度确定装置能够通过图像分析识别出位于冷格105中的被冷却物品103是香蕉还是西红柿。图像分析算法比较来自摄像模块101的记录与预存储的图像数据并且由此识别被冷却物品103。

制冷器具100可包括用于在被冷却物品103的类型的自动识别失败的情况下手动输入被冷却物品103的类型的输入设备。这例如由触敏显示器或显示装置形成，在该触敏显示器或显示装置上，不同类型的被冷却物品103以菜单形式显示。用户可以通过触摸对应的菜单选项来选择用户已经放置在冷格105中的确定的被冷却物品。根据被冷却物品103的输入的或检测到的类型，能够通过色差更准确地确定出被冷却物品103的新鲜度状况。

可以采用不仅能够确定可见光谱区中的图像数据而且同时能够确定红外光谱区中的图像数据的特别的摄像模块101来检测新鲜度状况。摄像模块101可包括分色元件，该分色元件从可见光的光路分离出红外光的光路。

分色元件是光学棱镜、例如将一个光束分成具有不同的光谱或颜色的两个光束的光学棱镜。分色元件例如由玻璃制成，该玻璃的特定表面设置有分色镜，该分色镜根据光的波长反射或投射光。

可见光由第一光传感器阵列检测，并且分离出的红外光通过第二光传感器阵列检测。摄像模块101或照明设备的数量、布置以及类型通常根据要求的设计来确定。

为了在图像记录过程中照明被冷却物品103，照明装置102设置在冷格105中，该照明装置在每次记录时对冷格105提供同样的照明。为了能够对被冷却物品103以预定的频率执行光谱分析，照明装置102例如可发射具有预定频率的单色且窄带的光，照明装置102包括用于发射具有可变波长的单色光的可调LED。然而，照明装置10还可设计成使它可以发射多色白光或红外光。

制冷器具100可包括控制显示装置，该控制显示装置可以向用户显示被冷却物品103的确定出的新鲜度状况。如果检测到例如水果或蔬菜的色差或颜色变化超过定义的阈值，则可以通过显示装置通知用户。平板PC或智能手机可以用作所述控制显示装置。

如果在处理器单元119或显示装置中具有可用的图像数据147和149，那么可以利用图像分析算法、例如利用摄像模块操作设备上的应用程序来从图像数据147和149提取进一步的信息。该信息然后可以显示在摄像模块操作设备上。例如，记录的图像数据147和149不仅可以用来检测变化还可以检测被冷却物品103的条形码或QR码、或用来执行字符识别。码的进一步的分析可以借助Internet上的产品数据库执行，在该数据库中相关码被记录。此外，可以将得到的产品数据与图像数据中所检测到的变化关联。

采用图案识别的图像分析还可用来识别产品标记。为此，产品标记应当是独有的可识别的并且不能被其它被冷却物品103遮盖。如果记录包含产品标记的足够细节，那么产品的可靠的光学识别可以得以确保。利用恰当的算法，处理器单元119可以被发展成用于多种产品。

结合产品识别可以生成制冷器具100的容纳物清单。在此，可以利用对产品上的EAN码的光学识别来执行产品识别。不具有EAN码的产品如水果或蔬菜可以从选择列表手动选取。在此，可以通过识别EAN码来执行产品注册。一旦产品已经被放置在制冷器具100中，就会在图像数据中关联并高亮(追踪)产生的变化。

制冷器具100的产品数据库可以扩展至整个厨房区域。对此，储存位置被首次选取并通过识别EAN码来注册产品。然后，用户将产品储存。在物品被移除时，库存清单可以被更新。还能够从EAN码识别产品并能够与图像数据关联。

还可以提供关于注册的产品的附加信息、例如最佳使用期限或最小库存水平以用于监测。在这种情况下，可以在用户在显示器上或数据库中选取产品时向用户显示附加信息(最佳使用期限)。如果产品库存变少或者产品用完，则可以通过摄像模块操作设备通知用户。根据产品，标准储存时长也可被存储，将该标准储存时长与冷格的设定温度以及图像处理比较能够提供关于保存期限的信息。

在此，例如，图像数据在产品注册后通过存储由图像分析得到的轮廓信息与产品数据合并。此外，除了监测产品之外，产品数据库还可以执行其它应用。这些应用例如可包括从库存清单生成菜谱建议或者生成需要经常购买的产品的购物清单。对此，适应性系统可以学习用户的爱好。库存清单或图像数据的在线界面允许在移动时进行便利的访问。除了纯图像分析与图像显示之外，具有向用户显示附加信息的产品注册和产品数据库还提供了额外新增价值。

图14展示了具有触敏显示器303(触屏)的可移动摄像模块操作设备300的视图。该摄像模块操作设备300例如是通过WLAN连接至制冷器具100的平板电脑、或者是通过移动通信网络连接至制冷器具100的智能手机。然而，摄像模块操作设备300还可以通过USB接口连接至制冷器具100。然而，USB接口还可用于对摄像模块操作设备300充电。

应用程序如计算机程序可以在摄像模块操作设备300上执行。安装套件可以被设置以安装摄像模块操作设备300。摄像模块操作设备300通过无线网络连接至路由器。摄像模块操作设备300可以用作图像服务器或用作图像处理器并且可通过WLAN备份图像数据。可移动的摄像模块操作设备300可以被用户更换或更新。

数据可以在可移动的摄像模块操作设备300与制冷器具100之间双向传输。无线摄像模块操作设备300是制冷器具系统的一部分并且可用来显示由摄像模块101获取的图像数据。由此，用户可以在摄像模块操作设备300上于应用程序中选取要显示的冷格105。此外，可以通过在触敏显示器303上向上或向下滑动或者通过向右或向左倾斜摄像模块操作设备300而改变视图。摄像模块操作设备300被保持的角度例如可以确定显示哪个冷格105。

冷格105内的摄像模块101具有较大的视场。多个摄像模块101用来连续性地展现前视图。制冷器具100可包括多个摄像模块101，所述多个摄像模块101布置在冷格105中，以使得从所有侧记录被冷却物品103，并且通过将各图像组合而生成全方位视图。通过在触敏显示器303上向左或向右滑动可以选取被冷却物品103的全方位视图的观察角度。

具有较大视场(鱼眼)并布置在格顶113上的摄像模块101允许俯视冷格105中的被冷却物品103。附加的摄像模块101布置在制冷器具100的门111上。冷格105还包括用于对被冷却物品103进行均匀照明的照明装置102。在这种情况下并且在所有的其它情况下，通过倾斜摄像模块操作设备300可以选取相应的观察角度。

一般而言，作为制冷器具系统200的一部分的制冷器具100可包括用于从第一视角获取关于被冷却物品103的第一图像数据的第一摄像模块101、以及用于从第二视角获取关于被冷却物品103的第二图像数据的第二摄像模块101。通常可以通过触摸触敏显示器303来改变视角。制冷器具100可包括适于在图像数据获取过程中对冷格105中的被冷却物品103进行照明的任何照明装置102。照明装置102可以由摄像模块操作设备300控制。

在摄像模块操作设备300的一侧上显示选项菜单305，该选项菜单305可以用来选取包含有相关摄像模块101的相应冷格105。冷格105的容纳物在通过触摸触敏显示器303选取冷格105时被显示。还可通过在触敏显示器103上滑动而选取相应的视图。还能够例如通过指头在触敏显示器103上的扩大移动而放大或缩小视图。还能够显示附加信息、例如被冷却物品103的新鲜度状况或相对于在先存储的图像数据的图像数据变化。

摄像模块操作设备300可以比较获取的关于被冷却物品103的图像数据与存储的关于被冷却物品103的图像数据。此外，摄像模块操作设备300可以利用分析算法来从获取的图像数据来识别被冷却物品103。用户可以在摄像模块操作设备300上选择和观察来自摄像模块101的图像数据以及处理后的图像并且在所述摄像模块操作设备300上显示附加信息、例如与确定出的产品对应的条形码。为此，图像数据和关联的附加信息可以被制冷器具100的处理器单元119请求、处理并提供。为此，摄像数据和附加信息可以被外部中央计算机系统请求、处理并提供。制冷器具100与摄像模块操作设备300之间的关联可以通过中央处理单元例如借助于HomeConnect而实现。

图15展示了在门111上具有摄像头阵列127的制冷器具100的示意图。制冷器具100包括摄像头阵列127，该摄像头阵列127具有在门111的内侧上以阵列形式布置的多个摄像模块101。这些摄像模块101中的每个分别生成从制冷器具100的内侧的各前视图像。摄像头阵列127的摄像模块101布置成使得和门111打开时同样的整个前视图的组合视图可以由各图像生成。呈现前侧的连续记录的全景图像由冰箱门111上的摄像头阵列127组成。摄像模块101可以被校准以更好地将各图像组合。

此外，制冷器具100包括位置检测装置，该位置检测装置用于检测布置在制冷器具100外侧上的摄像模块操作设备300的位置。该位置检测装置可以例如用来确定体现摄像模块操作设备300在制冷器具100的前侧上的布置位置的坐标对。

然后，前述组合视图的与坐标对对应的图像区域可以传输至摄像模块操作设备300。这形成这样的印象：用户可以利用无线摄像模块操作设备300像X射线那样透视制冷器具100的壁。用户还可放大组合视图的区域。当摄像模块操作设备300在制冷器具100的前侧的前方移动时，对应的图像区域也在摄像模块操作设备300上移动，并且与摄像模块操作设备300的位置对应的冷格105被显示。在摄像模块操作设备300在制冷器具100外移动的同时，所显示的图像片段也追随摄像模块操作设备300的位置。在只有一个摄像模块被使用时图像片段还可以移动。在此，在制冷器具100内所有的区域被均匀照明。

软件开发的复杂性通常取决于附加功能，例如图像获取、图像分析、产品识别(EAN码)、图像变化的识别、产品数据库并且基于识别来对应图像数据中的产品。

在制冷器具100中，还能够只提供摄像模块101以及用于摄像模块操作设备300的接口。摄像模块操作设备300用来控制摄像模块101并分析图像数据。由此，可以在制冷器具100中实施很少的控制电子器件。用户无需绑定过时的硬件而是可以根据需要更换摄像模块操作设备300。门打开及关闭信号可以被选择性地传输，从而基于此通过摄像模块操作设备300来控制摄像模块101。摄像模块操作设备300可以通过WLAN传输图像数据并显示制冷器具100的容纳物。

例如，图像数据可以在每次关闭门时被获取，并且然后被提供、或者然后传输给并且然后一旦请求立即传输给外部存储位置。照明在门关闭后保持300至500ms的时长。这实现下述优点：在任何变化后记录最新的容纳物，在大量的热输入后增加少量的额外热，并仅允许借助标准内部照明来照明。

图16A至16C展示出摄像模块101的不同连接方式。摄像模块101和控制器可以以不同的方式集成。

在图16A中，摄像模块101包括作为集成单元的控制元件155和摄像头157并且连接至网络161。在图16B中，多个具有控制元件155的摄像模块101通过集成图像处理单元或分配节点125连接至网络161。在图16C中，多个摄像模块连接至网络161。多个摄像模块可以利用集成的或独立的图像处理单元125连接至网络161。多个控制元件155被用来控制多个摄像模块的多个摄像头157。对GSM网络163的接口也可被设置。摄像头157、控制元件155、多个控制元件155以及图像处理单元125可以是执行不同功能的在物理上相同的单元。

摄像模块101可以被制冷器具中的处理器控制、或者可以被与制冷器具控制器独立的、例如位于摄像模块操作设备300如智能手机和移动平板电脑上的控制器控制。具有屏幕的摄像模块操作设备300可以附接至门111。

摄像模块操作设备300可以执行用来分析图像数据并用来控制摄像模块101的程序或应用程序(app)。例如所述应用程序可以用来基于获取的图像数据确定新鲜度。被冷却物品103的新鲜度可以区别于被冷却物品103的成熟度。

在“怕冷”的产品、比如香蕉、西红柿、黄瓜、西葫芦、茄子以及热带水果中，细胞结构被低温影响。一般而言，重量、气味、味道、颜色、质地如沟槽、大小、直径或体积可以被检测。质地可以用来检测产品是否仍然脆。膨胀度表征细胞质中水分的量并且是新鲜度的标尺。

用于确定新鲜度的应用程序获取关于产品的信息、分析该信息并且将该信息提供给其它处理装置。对于许多产品，最佳使用期限是与产品关联的并从外部提供的参考日期。

无包装的食物不具有与产品关联的最佳使用期限。此外，取决于产品、储存起来的时间、冰箱设定、具体制冷器具100的温度等级以及空气湿度的替代最佳使用期限可以被使用。红绿灯系统也可以被实施：

红色：最佳使用期限没有被识别

黄色：替代最佳使用期限

绿色：最佳使用期限

被冷却物品比如肉可以包装在不透明包装中，并且由此不能监测肉的状态。然而，包装可以以限定的方式被贴标签，并且可以具有条形码和最佳使用期限。一些产品、如肉末、家禽或鱼产品的健康风险在最佳使用期限过期以后会增加。红绿灯可以用于这些产品。为了评价产品是否仍然可以被使用，产品参数包含允许针对具体的损失的类型来评估的值。

相对色可以利用第一图像与明暗阈值之差来评估。成熟度可以从颜色的明暗来识别。

应用程序可以显示对制冷器具100中的储存物的指导，例如

“该食物应当没有保存在冰箱中”

“肉末位于顶部搁板上。提示：储存在下部搁板上/储存在较冷的区域中”

或者

“提示：调节冰箱至更冷的设定或调节成自动功能；食物浪费过少超出了电力成本。”

一些产品具有时温整合器(TimeTemperatureIntegrator，TTI)，该时温整合器指示产品特有的活性。TTI的限定的颜色可以被传感器读取。通过与储存指导结合可以生成饮食建议。放置在器具中的所有物件的库存清单可以通过在装载制冷器具100时将这些物件经过摄像模块而生成。

此外，所述应用程序可以显示随时间推移的长期变化。在虚拟旅游中，制冷器具的容纳物的图像可以通过所述应用程序显示在摄像模块操作设备300上。该功能可以是语言和条形码(EAN/QR)、图像分析和图像显示的结合。产品可以被添加。与相片的同步可以被执行，并且购物清单可以被生成。

此外，制冷器具100可以设计成使用户可以利用手机请求图像数据，由此即使在远程地点也能够监测新鲜度。具有MMS传输功能的GSM摄像头可以用于此。摄像头和手机通过GSM基础设施而连接。SMS可用来请求图像，该图像然后作为MMS图像被传输。

相片和视频也可以通过电子邮件或MMS在具有时间戳和日期戳的情况下被发送。相片或视频可以随时以规律的时间间隔发送。MMS的相片分辨率例如为160×120、320×240、640×480像素。如果没有GSM信号，则记录在内部存储器中。可以通过电池、电源或USB连接装置来供电。可以直接在制冷器具100上、在个人计算机上或者通过来自移动电话的SMS来执行控制。

移动电话可以用来允许通过安卓应用程序方便地远程控制。GSM摄像头可以借助于GSM通过呼叫或SMS来启动并且支持SMS指令。此外，可以发送电力故障短信。摄像头在具有可磁性附接的广角透镜的情况下的视场为60°或90°。闪光灯功能也可以被执行。

此外，相片分辨率为1.3百万像素的UMTS/HSDPA摄像头(WCDMA/TD-SCDMA)可以被使用。UMTS/HSDPA摄像头具有倾斜功能和枢转功能以及夜视功能。UMTS视频服务器与摄像头独立地布置。

此外，具有或不具有WLAN的RJ45-10/100M以太网接口可以被设置。网络兼容式的摄像模块操作设备300例如是笔记本电脑或电视机。由此能够将多媒体部件从制冷器具分离。多媒体接口可以是标准多媒体接口。此外，在一端具有透镜的光纤可以被使用。同一颜色传感器可以被用来读取多个光纤。

示出并说明的与各实施例关联的所有特征可以以各种组合形式在根据本发明的主题中提供，以同时实现这些实施例的有利技术效果。

本发明的保护范围由权利要求限定并且没有被说明书中描述的或附图中示出的特征限制。

附图标记列表

100制冷器具

101摄像模块

101-1摄像模块

101-2摄像模块

102照明装置

103被冷却物品

104微控制器

105冷格

107针孔摄像头

109侧壁

111门

113格顶

115传感器垫

117格底

119处理器单元

121数据总线

123铰接装置

125分配节点

127摄像头阵列

129后壁

131前侧

133电路板

135针孔透镜

137看不到的区域

139可视区域

141失真

143失真

145接口

147图像数据

149图像数据

151减法

153图像区域

155控制元件

157摄像头

161网络

163GSM网络

165门架

167门柱

169门把手

200制冷器具系统

300显示装置/摄像模块操作设备

303触敏显示器

305选项菜单

Claims (15)

1.一种制冷器具(100)，其特征在于，所述制冷器具(100)包括摄像模块(101)，所述摄像模块(101)用于在第一时间点检测被冷却物品(103)的第一图像数据并在第二时间点检测所述被冷却物品(103)的第二图像数据，所述制冷器具(100)还包括新鲜度确定装置，所述新鲜度确定装置基于所述第一图像数据和所述第二图像数据确定所述被冷却物品(103)的新鲜度状态。

2.根据权利要求1所述的制冷器具(100)，其特征在于，所述第一图像数据和所述第二图像数据是三色图像数据，并且所述新鲜度确定装置构造成能够基于所述第一图像数据与所述第二图像数据之间的色差确定出所述被冷却物品(103)的新鲜度状态。

3.根据前述权利要求中任一项所述的制冷器具(100)，其特征在于，所述新鲜度确定装置构造成能够基于所述第一图像数据或所述第二图像数据检测出被冷却物品(103)的类型。

4.根据前述权利要求中任一项所述的制冷器具(100)，其特征在于，所述制冷器具(100)包括用于手动输入被冷却物品(103)的类型的输入装置。

5.根据权利要求3或4所述的制冷器具(100)，其特征在于，所述新鲜度确定装置(107)构造成能够基于被冷却物品(103)的类型确定出所述被冷却物品(103)的新鲜度状态。

6.根据前述权利要求中任一项所述的制冷器具(100)，其特征在于，所述新鲜度确定装置包括用于处理所述第一图像数据和所述第二图像数据的处理器装置(119)。

7.根据前述权利要求中任一项所述的制冷器具(100)，其特征在于，所述摄像模块(103)包括用于检测所述第一图像数据或所述第二图像数据的光传感器阵列。

8.根据前述权利要求中任一项所述的制冷器具(100)，其特征在于，所述摄像模块(103)构造成能够确定可见光谱区及红外光谱区中的第一图像数据和第二图像数据。

9.根据权利要求8所述的制冷器具(100)，其特征在于，所述摄像模块(103)包括分色元件，所述分色元件用于同时检测可见光谱区和红外光谱区中的图像数据。

10.根据前述权利要求中任一项所述的制冷器具(100)，其特征在于，所述制冷器具(100)包括照明装置(102)，所述照明装置(102)用于在检测所述第一图像数据和/或所述第二图像数据时对冷格(105)照明。

11.根据权利要求10所述的制冷器具(100)，其特征在于，所述照明装置(102)构造成能够发出具有预定频率的单色光。

12.根据权利要求11所述的制冷器具(100)，其特征在于，所述照明装置(102)包括用于发出单色光的光源，所述光源能够根据频率而调节。

13.根据权利要求10所述的制冷器具(100)，其特征在于，所述照明装置(102)构造成能够发出多色光。

14.根据前述权利要求中任一项所述的制冷器具(100)，其特征在于，所述制冷器具(100)包括用于显示所述被冷却物品(103)的新鲜度状态的显示装置(300)。

15.根据前述权利要求中任一项所述的制冷器具(100)，其特征在于，所述制冷器具(100)包括用于检测所述制冷器具(100)的门(111)的打开的传感器并且所述制冷器具(100)构造成能够在所述门打开时阻止检测所述第一图像数据或所述第二图像数据。