CN112984913A - 物品显示系统 - Google Patents

Abstract

本发明提供一种物品显示系统，实施方式的冰箱(1)具备：壳体(2)，设置有一个以上的储藏室(3～7)；作为摄像部的照相机(9)，设置在壳体(2)的上部侧，对储藏室的前方的范围(R)进行拍摄；作为开闭检测部的开门传感器(17)，检测储藏室的门(3a～7a)的开闭；以及控制部(15)，执行如下的处理：以利用开门传感器(17)检测到门的打开的时刻作为起点而利用照相机(9)开始进行拍摄，基于所拍摄到的图像求出放入储藏室或从储藏室取出时的物品的位置信息，并基于所求出的位置信息来推测该物品所被储藏的场所。

Description

物品显示系统

本发明是本申请人于2018年8月7日提交的中国专利申请号为201810889226.X、发明名称为“冰箱”的分案申请。

技术领域

本发明的实施方式涉及冰箱。

背景技术

近年来，为了从外部掌握冰箱中储藏的食品，提出有在储藏室内设置照相机等摄像部的技术(例如参照专利文献1)。

专利文献1：日本特开2007－46833号公报

然而，若为了掌握所储藏的物品而欲对储藏室内的所有的范围进行拍摄，则无论如何也需要多台照相机，这并不现实。并且，在照相机的位置固定的情况下，会被所储藏的物品等遮挡而产生死角，难以对储藏室内的所有位置进行拍摄。

发明内容

因此，提供一种能够以简单的结构掌握储藏室内的物品的位置的物品显示系统。

实施方式的物品显示系统具备显示部，该显示部将储藏于储藏室的物品的图像对应于储藏状态并与取出或放入物品的上述储藏室内的图像重叠地进行显示。

附图说明

图1是示意性地示出从正面侧观察实施方式的冰箱的状态的图。

图2是示意性地示出从侧面侧观察冰箱的状态的图。

图3是示出冰箱的电气结构的图。

图4是示意性地示出在冰箱的前方设定的拍摄区域的图。

图5是示意性地示出进行储藏物的拍摄、场所的推定、并生成图像的实施方式的图。

图6是示意性地示出储藏物的图像和食材DB的一例的图。

图7是示意性地示出容器DB、记号DB的一例的图。

图8是示意性地示出储藏物的拍摄、场所的推定、图像的生成的其他的实施方式的图。

图9是示意性地示出图像的其他显示方式的图。

图10是示意性地示出储藏物取出时的图像的显示方式的图。

标记说明

图中，1表示冰箱，2表示壳体，3表示冷藏室(储藏室)，3a表示左门(门)，3b表示右门(门)，4表示蔬菜室(储藏室)，4a表示蔬菜室门(门)，5表示制冰室(储藏室)，5a表示制冰室门(门)，6表示小冷冻室(储藏室)，6a表示小冷冻室门(门)，7表示大冷冻室(储藏室)，7a表示大冷冻室门(门)，9表示照相机(摄像部)，14表示显示装置(显示部)，14a表示显示器(显示部)，14b表示外部存储部(存储部)，15表示控制部，15a表示存储部，16表示通信装置(通信部)，17、17a～17d表示开门传感器(开闭检测部)，24表示便携终端(显示部、存储部)，25表示服务器(显示部、存储部)，容器DB、记号DB、食材DB、食品DB表示食品数据库。

具体实施方式

以下，参照附图对实施方式进行说明。

如图1所示，本实施方式的冰箱1在壳体2内从上部开始依次具备冷藏室3、蔬菜室4、左右排列的制冰室5和小冷冻室6、以及大冷冻室7等多个储藏室。其中，小冷冻室6例如作为急速冷冻用的储藏室发挥功能。另外，该冰箱1的结构只是一例，储藏室的数量、种类以及配置并不限定于图1的情况。

冷藏室3由左右排列配置的对开式的左门3a、右门3b开闭。另外，也可以形成为由单侧开启式的门对冷藏室3进行开闭的结构。蔬菜室4、制冰室5、小冷冻室6以及大冷冻室7分别由抽拉式的蔬菜室门4a、制冰室门5a、小冷冻室门6a以及大冷冻室门7a开闭。并且，在冷藏室3的左门3a设置有操作面板8。

该操作面板8具备由多个照光式的静电开关构成的操作部、报告冰箱1的运转状态等的照光式的显示区域。关于操作面板8，通过用户触碰操作部来进行储藏室内的温度调整、急速冷冻动作或者制冰动作等冰箱1的运转状态的设定、或者通过使显示区域点亮来进行冰箱1的运转状态的报告。并且，在操作面板8，虽然省略图示，但还设置有进行基于操作音或警告音或者声音的报告等的蜂鸣器或扬声器等报告部。

并且，在壳体2的上部，在本实施方式中设置有两个照相机9。该照相机9相当于摄像部。在本实施方式中，照相机9是所谓的CCD照相机或CMOS照相机，形成为能够以彩色拍摄动态图像以及静态图像的结构。

上述照相机9在夹着冰箱1的中央而对称的位置以左右方向上的各自的视场(α)局部重叠的方式设置。此时，各照相机9的视场(α)设定成：除了冰箱1的上端之外，能够大致遍及整个区域地拍摄冰箱1的左右方向。

并且，关于照相机9，如图2所示，以前后方向上的各自的视场(β)的中心相比壳体2的前端突出的方式设置。此时，各照相机9的视场(β)设定成：能够拍摄包含冰箱1的前方在内的、储藏室内的一部分。

这样，照相机9设置在能够从冰箱1的壳体2的上部拍摄从冰箱1的前端到前方侧的范围的位置。

并且，在各储藏室设置有储藏物品的容器等。例如，在冷藏室3中设置有多个搁板10或门的内侧的箱门储物盒(参照图4)等。在蔬菜室4中设置有大收纳容器11a和小收纳容器11b。在小冷冻室6中设置有收纳容器12。在大冷冻室7中设置有大收纳容器13a和小收纳容器13b。

此时，在蔬菜室4的蔬菜室门4a被拉出的情况下，大收纳容器11a或小收纳容器11b的内部能够由设置在上方的照相机9拍摄。该情况对于小冷冻室6以及大冷冻室7也同样。

并且，冰箱1在右门3b以固定方式或者能够装卸的方式设置有显示装置14。该显示装置14具备显示器14a、外部存储部14b等。关于显示装置14，能够设置为冰箱1专用而设计的显示装置，也能够由触摸面板型的所谓的平板PC或用户所持有的智能手机等构成。显示装置14相当于显示部。

这样的冰箱1如图3所示由控制部15控制。控制部15由未图示的具备CPU、ROM以及RAM等的微机构成，通过执行存储于ROM等的程序来对冰箱1的整体进行控制。并且，控制部15具备由上述的ROM、RAM或者其他非易失性存储器等构成的存储部15a。

控制部15与操作面板8、照相机9、通信装置16、开门传感器17a～17e、箱内照明18a～18c、风扇装置19a～19b、压缩机20、温度传感器21a～21b等连接，并经由滤波基板22而被供给电源。

关于通信装置16，在本实施方式中采用Wifi等无线通信方式的通信装置，经由天线16a或网络23而与用户所持有的便携终端24或外部的服务器25等以能够进行各种数据通信的方式连接。并且，关于便携终端24、服务器25，虽然省略了图示，但分别具备存储部、操作部或者显示器等。上述便携终端24、服务器25相当于显示部。

开门传感器17a～17d检测各储藏室的门的开闭。具体地说，开门传感器17a检测冷藏室3的左门3a的开闭，开门传感器17b检测冷藏室3的右门3b的开闭，开门传感器17c检测蔬菜室4的蔬菜室门4a的开闭，开门传感器17d检测小冷冻室6的小冷冻室门6a的开闭，开门传感器17e检测大冷冻室7的大冷冻门7a的开闭。另外，能够也设置检测制冰室5的制冰室门5a的开闭的开门传感器17。

箱内照明18对储藏室内进行照明。具体地说，箱内照明18a对冷藏室3内进行照明，箱内照明18a对蔬菜室4内进行照明，箱内照明18a对大冷冻室7内进行照明。另外，箱内照明18的数量、配置只是一例，并不限定于上述情况。

风扇装置19使在制冷循环生成的冷气朝各储藏室循环。具体地说，风扇装置19a使冷气相对于冷藏温度带的储藏室即冷藏室3以及蔬菜室4循环，风扇装置19b使冷气相对于冷冻温度带的储藏室即制冰室5、小冷冻室6以及大冷冻室7循环。

压缩机20与未图示的冷却器等一并构成制冷循环，通过成为运转状态而生成冷气。

温度传感器21检测储藏室内的温度。具体地说，温度传感器21a通过检测在冷藏温度带的储藏室中循环的冷气的温度来检测冷藏室3以及蔬菜室4的温度。温度传感器21b通过检测在冷冻温度带的储藏室循环的冷气的温度来检测制冰室5、小冷冻室6以及大冷冻室7的温度。另外，也可以形成为在各储藏室分别相独立地设置温度传感器21的结构。

其次，对上述结构的作用进行说明。

如上所述，当为了从外部掌握冰箱1中储藏的食品而在储藏室内设置摄像部的情况下，存在如下的情况：为了对储藏室内的所有的范围进行拍摄，需要多台摄像部，并不实用，或者，若位置被固定则会产生死角而难以对储藏室内的全部范围进行拍摄。

并且，以往多以识别食品的种类为主要目的，在该情况下，为了拍摄详细的图像，要求用户进行储藏以外的操作或动作、或者进行图像的提取或匹配的图像处理的负荷增大、或者数据库变得复杂化等，很难说具备实用性。

因此，在本实施方式中，如以下所述，能够通过简单的结构掌握储藏室内的物品的位置、种类。另外，以下的处理主要由控制部15执行，但为了说明的简化，以冰箱1为主体进行说明。

如图4所示，在冰箱1的前方，设定有由照相机9对物品等进行拍摄的区域即拍摄区域(R)。关于该拍摄区域(R)，在本实施方式中设定成将冰箱1的外形朝前方侧假想地扩大的大致长方体形状。该拍摄区域(R)被设定成以预定的原点作为基准的假想的坐标系。另外，关于原点，例如能够设定在冰箱1的前端的上下方向以及左右方向的中央等而进行任意设定。

照相机9拍摄包含拍摄区域(R)内的物体、且是进入自身的视场的物品的图像。具体地说，照相机9针对该拍摄区域(R)而拍摄动态图像那样的连续的图像、或者以预定的时间间隔拍摄的多张静态图像那样的断续的图像。以下，将照相机9持续进行拍摄的期间称为拍摄期间。

相对于冰箱1的物品的放入取出通常从冰箱1的前方侧进行，因此，通过在壳体2的上部配置照相机9而对该拍摄区域(R)连续地或者断续地遍及整个拍摄期间进行拍摄，能够求出放入冰箱1即储藏室或者从冰箱1即储藏室取出时的物品的位置信息。此处，位置信息是指物品的位置、移动速度、移动方向以及移动轨迹等信息。另外，作为位置信息，包含上述信息中的至少任意一个以上的信息。

关于该位置信息，在本实施方式中，能够根据拍摄区域(R)的坐标系中的物品的坐标、坐标的随时间的变化量、变化方向等求出。并且，在本实施方式中设置有2台照相机9，因此能够以立体照相的方式呈立体地拍摄物品，能够更准确地取得放入储藏室或从储藏室取出时的位置信息。

此处，如图5中以俯视图所示的那样，假想在冷藏室3的搁板10作为物品而储藏有苹果(以下称为储藏物M1)的情况。此时，关于储藏物M1，在冷藏室3的门被打开后，例如在由人的手保持的状态下从冷藏室3的外部被载置到搁板10上。即、在将储藏物M1进行储藏的情况下等相对于储藏室而放入或取出物品时，首先某一个门被打开。

因此，冰箱1若利用开门传感器17检测到某一个门例如冷藏室3的右门3b打开，则以检测到门的打开的时刻作为起点而开始利用照相机9进行的拍摄。另外，关于利用照相机9进行的拍摄，直至检测到门的关闭为止、或者直至从检测到门的关闭起经过预定的待机期间为止都持续进行。

进而，冰箱1基于利用2台照相机9拍摄到的图像来求出与储藏物M1相关的移动轨迹K1或移动速度等位置信息。此时，作为储藏物M1的位置信息，不仅求出在冰箱1的左右方向上的变化、而且还求出在冰箱1的高度方向上的变化。另外，虽然省略详细说明，但关于位置信息，能够通过执行提取图像中的移动体、并求出伴随时间变化的移动体的坐标的变化这样的公知的图像处理来求出。

关于冰箱1，若求出储藏物M1的移动轨迹K1等位置信息，则执行推测储藏物M1所被储藏的储藏室内的场所的处理。具体地说，冰箱1基于位置信息来求出储藏物M1已移动至冰箱1的左右方向以及高度方向上的哪个位置。此处，假设在冷藏室3内从上面数第2层的搁板10上储藏有储藏物M1。

并且，关于冰箱1，在储藏物M1从照相机9的视场脱离的情况下，执行基于从自视场脱离的时刻起的经过时间来推定储藏物M1已移动至冰箱1的进深方向上的哪个位置的处理。这是因为：如图2所示，例如搁板10的后端侧并未进入照相机9的视场(β)。

具体地说，关于冰箱1，在储藏物M1从视场(β)在进深方向上脱离的情况下，通过计测储藏物M1沿进深方向移动时的移动速度、和从自视场(β)脱离至手再次返回视场(β)内为止的时间，能够推定储藏物M1已从视场(β)起在进深方向上移动了何种程度。

进而，关于冰箱1，如图5所示，推定储藏物M1所被配置的场所。在图5的情况下，将推定为储藏物M1所被储藏的场所作为表示所被储藏的可能性的高低的等高线状的区域X1示出。关于该区域X1，以所被储藏的可能性最高的位置为中心，越是从中心偏移则表示可能性越低。另外，在图5中，以阴影的浓淡示意性地示出可能性的高低，阴影最浓的部分表示可能性最高。

接着，冰箱1执行生成将储藏物M1的图像和预先准备的储藏室内的图像重叠而成的显示图像G1的处理。此处，关于储藏室内的图像，根据对实际的储藏室内进行拍摄而得的图像或模型化了的CG图像等而被预先数据化。在该情况下，生成在搁板10的右手里侧储藏有储藏物M1的状态的图像。

另一方面，冰箱1以如下方式取得储藏物M1的图像。冰箱1如图6所示从在求出位置信息时取得的图像中提取出表示储藏物M1的物体图像。另外，在图6中示意性地示出从用手抓住苹果的图像将手删除而仅提取出苹果的状态。进而，冰箱1通过将所提取出的物体图像与预先存储于存储部15a的食材数据库(以下称为食材DB)进行对照来推定储藏物M1的种类。该食材DB作为登记有在冰箱1中储藏的食品的食品数据库(以下称为食品DB)的数据而与后述的容器DB、记号DB一起被存储于存储部15a等。

在食材DB中登记有各种食品的形状或色彩等能够识别食品的食品图像数据。例如，在食材DB中，作为食品A登记有苹果，作为食品B登记有梨，作为食品C登记有西红柿，作为食品D登记有洋梨等。上述食品A～D等与预先数据化的食品相当。另外，此处示出的食材DB只是一例，并不限定于此。

该食品图像数据也可以登记为3D数据。并且，食材DB以及后述的容器DB或记号DB能够形成为存储于存储部15a的结构，也能够形成为存储于便携终端24或外部的服务器25的结构。并且，食材DB能够形成为预先登记有主要的果物或蔬菜等的结构，也能够形成为能够由用户进行新的登记、修改或者追加的结构。

关于冰箱1，从上述的食品中选择能够在一定概率上推测为与储藏物M1为同一物的食品，并生成将所选择的食品的图像重叠在储藏室内的图像上而得的显示图像G1(参照图5)。此处，能够在一定概率上推测意味着如下的方式：在作为储藏物M1的特征而能够提取出“红色”“圆形”这样的特征的情况下，能够推测苹果或者西红柿为同一物，但是，根据其“大小”推测为是苹果的可能性高。

这是因为：在欲像以往那样可靠地识别食品的情况下，图像处理或食品数据库变得复杂化或者庞大化，或者为了能够利用照相机9详细地进行拍摄而在进行储藏时需要使用户负担多余的动作，但本发明中形成为开门即可的简单的结构。即、通过形成为选择能够在一定概率上推测为是同一物的食品的结构，图像处理或食品数据库不会复杂化或者庞大化，并且，不会对用户造成多余的负担，就能够进行食品的识别。

另外，若为对储藏物M1进行储藏的用户，则认为能够在一定程度上掌握储藏了何种食品。因此，例如若指明在从上面数第2层的隔板10上储藏有红色且为圆形的食品，则认为用户能够想起来该食品为何物，因此，即便形成为选择能够在一定概率上推定为是同一物的食品的结构，认为也几乎不会对用户带来不利。

所生成的显示图像G1也能够显示于在冰箱1设置的显示装置14，但也能够显示于便携终端24或外部的服务器25。此时，关于冰箱1，例如在从操作面板8被输入了储藏室内的图像的显示时使显示装置14显示显示图像G1。

或者，关于冰箱1，也可以形成为：当使用者欲确认储藏室内的图像而从便携终端24或外部的服务器25请求进行储藏室内的图像的显示时，通过发送显示图像G1或者能够显示显示图像G1的信息，来进行在便携终端24或外部的服务器25上的显示。

另外，关于能够显示显示图像G1的信息，例如是能够确定在从上面数第2层的搁板10的右面里侧储藏有苹果这一情况的信息。接收到该信息后的便携终端24或外部的服务器25在自身生成与显示图像G1同样的图像并在自身的显示部进行显示。因此，冰箱1也可以形成为如下的结构，即：并不存储显示图像G1自身，而是预先存储储藏物M1的种类或储藏场所的信息，并根据需要而将图像进行重叠。

然而，至此为止均示出了储藏食品本身的例子，但作为冰箱1的通常的利用方式，能够想象将食品收纳在容器中并储藏该容器的利用方式。在该情况下，可以想象，容器的种类多种多样，并且，即便是同样的容器，根据家庭不同也会采用不同的使用方式。

因此，关于冰箱1，如图7所示，能够形成为如下的结构，即：存储有将容器的形状或色彩与收纳在该容器中的食品建立了对应的容器数据库(以下称为容器DB)、或者是将在容器上标注的记号或文字等与该记号或文字等的食品建立了对应的记号数据库(以下称为记号DB)。

例如，在容器DB中，作为容器A登记有收纳米饭的方形容器、作为容器B登记有收纳咖喱的方形且盖为黄色的容器、作为容器C登记有收纳什锦酱菜的圆形且红盖的容器等。另外，在图7中，利用阴影的差异来示意性地示出盖的颜色的差异。

或者，在记号DB中，作为记号A登记有表示收纳有咸菜的月牙标记、作为记号B登记有表示收纳有梅子干的星形标记、作为记号C登记有表示收纳有嫩芽菜的三角形标记等。

关于在上述容器DB以及记号DB中登记的识别信息，能够形成为将食品的项目保留为空白的状态预先登记的结构，也能够形成为能够由用户进行新的登记、修改或者追加的结构。并且，也可以形成为如下的结构，即：当为在容器DB和记号DB双方中一致的储藏物的情况下，例如优先考虑与记号DB的一致性等，设定判定同一物时的优先顺序。

关于冰箱1，每当储藏物被收纳时就将所识别出的储藏物的种类或储藏场所这样的食品的储藏状态数据库化而进行存储，并且进行所显示的图像的生成、已生成的图像的更新、或者用于显示图像的信息的更新等。例如，如图8所示，想象当在搁板10的右侧已储藏有物品如储藏物M1的状态下，储藏新的储藏物M2的状态。此处，作为储藏物M2，想象为罐装饮料。

此外，假设根据利用照相机9拍摄到的图像而确定出储藏物M2的移动轨迹K2朝向搁板10的右侧。在该情况下，冰箱1基于储藏物M2的位置信息而在搁板10的右侧以与储藏物M1的区域X1不重叠的方式设定新的区域X2。另外，在图8中，示出区域X2位于近前侧、区域X1位于里侧的例子，但区域X2是基于对储藏物M2进行储藏时的移动速度和从上述的视场(β)脱离的时间设定的。

进而，关于冰箱1，若设定有区域X1以及区域X2，则生成所显示的图像。在该情况下，作为显示图像G2，生成在搁板10的右手里侧储藏有储藏物M1、且在其近前侧储藏有储藏物M2的状态的图像。

此外，关于罐装饮料，售卖有多种多样的产品，并且也售卖有新产品等，因此，构建网罗所有的种类的数据库的做法并不现实。因此，关于冰箱1，作为储藏物M2的图像，如图8所示能够利用圆筒状的CG图像。由此，能够对用户提示储藏有饮料。另外，若在食品DB等中登记有能够推定为与储藏物M2是同一物的图像，则当然也可以使用该图像。

或者，关于冰箱1，当未能推定储藏物M2的种类而未能从食品DB中进行选择的情况下、或者当是同一物的可能性低于预定的基准值的情况下，如图9所示，能够生成示出储藏有圆筒状的物品的透视图像G3。即便是根据这样的显示方式，也能够对用户提示储藏有饮料。另外，关于基准值，能够适当设定为储藏物的图像与在食品DB中登记的图像之间的一致率例如为80％以上等。

并且，关于冰箱1，能够从利用照相机9拍摄到的图像中提取出储藏物M2，并生成将所提取出的图像重叠了的实物图像G4。即便是根据这样的显示方式，也能够对用户提示储藏有饮料。在该情况下，由于显示有储藏物M2的图像自身，因此，即便在储藏有多个种类的罐装饮料的情况下，也能够正确地对用户提示储藏有哪个种类的罐装饮料。并且，也能够形成为如下的结构，即：当未能推定储藏物M2的种类而未能从食品DB中进行选择的情况下、或者当是同一物的可能性低于基准值的情况下，将所提取出的储藏物M2的图像重叠。

并且，关于冰箱1，当检测出收纳于容器的储藏物M3的情况下，能够生成重叠有表示对应的食品的文字的详细图像G5。根据这样的显示方式，不仅能够显示容器、还能够显示其内容物的种类。并且，不仅在检测出储藏有容器的情况下、当检测出像储藏物M1那样储藏有食品本身的情况下，也能够一并显示例如“苹果”这样的文字。并且，当在容器上标注有记号的情况下，能够也显示该记号或表示对应的食品的文字。

此外，至此为止对收纳物品的例子进行了说明，但是，关于冰箱1，也可以形成为：基于在从检测到门的关闭起直至经过预定的待机期间为止的期间中拍摄到的图像，基于放入储藏室或从储藏室取出时的物品的位置的变化，执行推测该物品所被储藏的场所的处理。

例如，如图9所示，在储藏有储藏物M1和储藏物M3的状态下，例如假设储藏物M3被从冰箱1取出。在该情况下，若检测到门的开门，则利用照相机9首先拍摄到什么也没拿的手，然后拍摄到被从储藏室取出的物品、此处为储藏物M3。

因此，关于冰箱1，当在门的关闭等拍摄期间的最后拍摄到物品的情况下，判定为已将该物品从储藏室取出并对物品进行识别。进而，关于冰箱1，在识别出物品例如为储藏物M3之后，执行从所存储的数据库推定储藏物M3原本被储藏的场所的处理。此时，由于想象当前储藏有多个储藏物M3，因此，冰箱1基于手的移动轨迹等来判定储藏物M3是被从冰箱1的哪个场所取出的。

进而，冰箱1将储藏物M3从显示图像、此处为从图10所示的更新前的详细图像G5将储藏物M3的图像除去，并生成更新后的详细图像G6或者对其进行更新。或者，冰箱1从对储藏物M3进行储藏时更新过的数据库而将此次已被取出的储藏物M3的信息删除。

在该情况下，也可以形成为：以某一个储藏物被取出为触发，对便携终端24或外部的服务器25通知物品已被取出、或者发送或显示物品被取出后的储藏室内的图像。

根据以上说明了的冰箱1，能够获得如下的效果。

冰箱1具备：壳体2，设置有一个以上的储藏室(3～7)；作为摄像部的照相机9，设置在壳体2的上部侧，对储藏室的前方的范围(R)进行拍摄；作为开闭检测部的开门传感器17，检测储藏室的门(3a～7a)的开闭；以及控制部15，执行如下的处理：以利用开门传感器17检测到门的打开的时刻作为起点而利用照相机9开始进行拍摄，基于所拍摄到的图像求出放入储藏室或从储藏室取出时的物品的位置信息，并基于所求出的位置信息来推测该物品所被储藏的场所。

由此，能够利用少数的照相机9、并且是位置被固定的照相机9，从整体上且以简单的结构拍摄冰箱1的前方的范围即放入冰箱1或从冰箱1取出的物品移动的范围，能够兼顾照相机9的台数的削减或产生死角的可能性的降低。因而，能够以简单的结构掌握储藏室内的物品的位置。

此时，照相机9设置在壳体2的上部、即设置在储藏室的外部。因此，难以产生镜头的结露，能够清晰地拍摄放入冰箱1或从冰箱1取出的物品。并且，在拍摄放入冰箱1或从冰箱1取出的物品的情况下能够利用房间的照明或日光等外部光源，因此无需为了拍摄用而将箱内照明更换为高亮度的照明。

冰箱1执行如下的处理：基于利用照相机9拍摄到的物品的图像，从登记有预先数据化了的食品的食品DB中选择能够在一定概率上推测为与所储藏的物品是同一物的食品，并将所选择的食品的图像与预先数据化了的储藏室内的图像重叠并显示于显示部。

由此，能够容易地掌握储藏室内的状况。并且，通过形成为选择在一定概率上推测出的食品的结构，图像处理或食品DB不会复杂化或者庞大化、并且不会对用户造成多余的负担，就能够进行食品的识别。

并且，冰箱1执行如下的处理：当未能选择食品的情况下、或者与所选择的食品为同一物的概率低于预定的基准值的情况下，在将图像重叠时将该食品的图像透视显示、或者使该食品的图像相对较暗，由此来以能够识别的方式报告并非同一物的可能性。由此，能够大致地提示该储藏物，并且能够抑制误提示不可靠的信息的情况。

冰箱1执行如下的处理：将利用照相机9拍摄到的物品的图像与储藏室内的图像重叠并显示于显示部。由此，能够准确地对用户提示储藏有何种食品。这在未能推定储藏物M2的种类而未能从食品DB中进行选择的情况下、或者为同一物的可能性低于基准值的情况下是有意义的。

冰箱1具备存储部15a，该存储部15a将食品与包含收纳该食品的容器的形状、色彩、文字以及记号中的至少一个的识别信息预先建立对应并进行存储，冰箱1基于识别信息来识别食品。由此，即便是在被收纳在容器中而未能辨别出食品的情况下、或者使用同一形状的容器的情况下，也能够报告食品的种类。

冰箱1执行如下的处理：基于放入储藏室或从储藏室取出时的物品的位置的变化来推测该物品所被储藏的场所。即、冰箱1不仅检测要储藏在储藏室中的物品、还检测从储藏室取出的物品。由此，能够将作为数据存储的储藏室内的状况维持在与现实相一致的状况。

冰箱1确定从储藏室取出的物品，并从该物品被储藏时生成的图像将该物品的图像除去。由此，能够对用户提示实际的储藏室内的状况。

并且，冰箱1并不限定于在上述的实施方式中示出的结构，能够在不变更主旨的范围适当地变更结构。

在实施方式中，在本说明中示出了利用2台照相机9求出位置信息的例子，但是，例如也可以形成为使用1台照相机9而基于焦距来求出位置信息的结构。并且，也可以形成为设置照相机9和红外线测距仪等，并相独立地进行拍摄和距离即位置的计测的结构。

在实施方式中示出了在检测到门的打开的定时开始拍摄的结构，但例如也可以形成为设置检测位于冰箱1的前方的人的人检测传感器，且在利用人检测传感器检测到人的定时开始拍摄的结构。在该情况下，能够形成为将人检测传感器例如设置在操作面板8而兼用作在检测到人时使照光式的静电开关或显示区域点亮来对操作进行辅助的功能的结构。

在实施方式中示出了推定储藏物所被储藏的场所并显示储藏室内的图像的例子，但所推定的场所能够灵活运用于更舒适的冰箱1的利用。关于冰箱1，有时设定有例如在冷藏室3中在那个场所储藏哪种食品较好这样的推荐配置。并且，冰箱1通常形成为从位置被固定的冷气的出入口使冷气循环的结构。

因此，通过识别所储藏的食品，当推定该食品被储藏在与推荐场所不同的场所的情况下从报告部等对用户报告推荐场所、或者当推定为被储藏在冷气的出入口附近的情况下对用户报告避开该场所，由此能够实现食品的鲜度的维持、储藏室内的均匀的冷却。

并且，关于冷藏室或蔬菜室中储藏的物品，虽然也与种类有关，但认为其温度比储藏室内的温度高，因此，也能够灵活运用于基于物品的大小来控制制冷循环的运转。

上述实施方式只不过是作为例子加以提示，并非意图限定发明的范围。上述新的实施方式能够以其他各种各样的方式实施，能够在不脱离发明的主旨的范围进行各种省略、置换、变更。本实施方式及其变形包含于发明的范围以及主旨中，并且包含于技术方案中记载的发明及其等同的范围中。

在本说明书中记载有以下的发明。

本发明的物品显示系统具备显示部，该显示部将储藏于储藏室的物品的图像对应于储藏状态并与取出或放入物品的上述储藏室内的图像重叠地进行显示。

也可以形成为，物品显示系统具备：摄像部，对放入上述储藏室或从上述储藏室取出的物品进行拍摄；以及控制部，基于上述摄像部拍摄到的图像求出放入上述储藏室或从上述储藏室取出时的物品的位置信息，并基于所求出的位置信息来推测该物品所被储藏的场所或者该物品被取出的场所。

也可以形成为，上述显示部将在上述储藏室中储藏于近前侧的物品的图像与储藏于里侧的物品的图像重叠而进行显示。

也可以形成为，当未推定出物品的种类的情况下、或者是所推定出的种类的概率低于预定的基准值的情况下，上述显示部使显示物品的图像时的显示方式变化。

也可以形成为，上述显示部在物品的图像上追加所推定出的物品的信息而进行显示。

也可以形成为，上述摄像部对上述储藏室的内部和外部这双方的范围进行拍摄。

也可以形成为，朝向上述储藏室的外部设置有多个上述摄像部。

Claims (7)

1.一种物品显示系统，其特征在于，

具备显示部，该显示部将储藏于储藏室的物品的图像对应于储藏状态并与取出或放入物品的上述储藏室内的图像重叠地进行显示。

2.根据权利要求1所述的物品显示系统，其特征在于，

具备：

摄像部，对放入上述储藏室或从上述储藏室取出的物品进行拍摄；以及

控制部，基于上述摄像部拍摄到的图像求出放入上述储藏室或从上述储藏室取出时的物品的位置信息，并基于所求出的位置信息来推测该物品所被储藏的场所或者该物品被取出的场所。

3.根据权利要求2所述的物品显示系统，其特征在于，

上述显示部将在上述储藏室中储藏于近前侧的物品的图像与储藏于里侧的物品的图像重叠而进行显示。

4.根据权利要求1所述的物品显示系统，其特征在于，

当未推定出物品的种类的情况下、或者是所推定出的种类的概率低于预定的基准值的情况下，上述显示部使显示物品的图像时的显示方式变化。

5.根据权利要求1所述的物品显示系统，其特征在于，

上述显示部在物品的图像上追加所推定出的物品的信息而进行显示。

6.根据权利要求2所述的物品显示系统，其特征在于，

上述摄像部对上述储藏室的内部和外部这双方的范围进行拍摄。

7.根据权利要求2所述的物品显示系统，其特征在于，

朝向上述储藏室的外部设置有多个上述摄像部。

Images