CN112136014B - 冰箱系统 - Google Patents

Abstract

提供能够抑制收纳状态变化的检测精度的下降、且减轻将从多个视点摄影而得到的储藏室内的图像发送到冰箱的外部时的通信负荷的冰箱系统。因此，冰箱系统具备：摄像机(2)，对储藏室内的图像进行摄影；摄像机移动装置(20)，使摄像机至少在上下方向上移动；通信装置(31)，将摄像机进行摄影而得到的图像发送到主体的外部；以及变化检测装置(33)，根据摄像机进行摄影而得到的图像，检测各搁架的食品收纳状态的变化。摄像机关于各搁架从第1视点和第2视点摄影。变化检测装置根据从第1视点摄影而得到的图像，检测各搁架的食品收纳状态的变化。通信装置关于检测到食品收纳状态的变化的搁架，将从第1视点以及第2视点摄影而得到的图像这两方发送到主体的外部。

Description

冰箱系统

技术领域

本发明涉及冰箱系统。

背景技术

在具备探测冰箱内的图像的摄像机的冰箱中，已知如下的冰箱：一边从移动范围的上端向下端以预先决定的一定的速度使摄像机移动，一边进行摄影，检测在不同的时间点进行摄影而得到的图像的差别，并且经由通信线路将进行摄影而得到的图像发送到终端装置(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2016-148503号公报

发明内容

然而，在如专利文献1所示的冰箱中，经由通信线路发送一边以一定的速度使摄像机移动一边进行摄影而得到的多个图像，从而发送数据量变大，通信负荷增大。另外，有可能根据移动过程中的摄像机进行摄影的定时而有时储藏室内的搁板上的食品大幅失真，或者处于搁板的里侧的食品被跟前的食品或者搁板遮蔽。因此，在得到的图像中，不同的时间点的差别、即储藏室内的食品收纳状态的变化的检测精度有可能会下降。

本发明是为了解决这样的课题而完成的。其目的在于得到能够抑制储藏室内的食品收纳状态的变化的检测精度的下降，并且能够实现将从多个视点摄影而得到的储藏室内的图像发送到冰箱的外部时的通信负荷的减轻的冰箱系统。

本发明提供一种冰箱系统，具备：主体，形成有收纳食品的储藏室；1个以上的搁架，设置于所述储藏室内，载置所述食品；门，使所述储藏室的一侧开闭；摄像机，设置于所述门的内侧的面，对所述储藏室内的图像进行摄影；摄像机移动装置，使所述摄像机至少在上下方向上移动；通信装置，将所述摄像机进行摄影而得到的图像发送到所述主体的外部；终端装置，能够显示所述通信装置发送到所述主体的外部的图像；以及变化检测装置，根据所述摄像机进行摄影而得到的图像，检测关于所述搁架的各个搁架的食品收纳状态的变化，所述摄像机关于所述搁架的各个搁架，从第1视点和与所述第1视点不同的1个以上的第2视点摄影，所述变化检测装置根据从所述第1视点摄影而得到的图像，检测各个所述搁架的食品收纳状态的变化，所述通信装置关于所述变化检测装置检测到食品收纳状态的变化的所述搁架，将从所述第1视点摄影而得到的图像和从所述第2视点摄影而得到的图像这两方发送到所述主体的外部。

根据本发明的冰箱系统，起到能够抑制储藏室内的食品收纳状态的变化的检测精度的下降，并且能够实现将从多个视点摄影而得到的储藏室内的图像发送到冰箱的外部时的通信负荷的减轻这样的效果。

附图说明

图1是本发明的实施方式1的冰箱系统所具备的冰箱的主视图。

图2是本发明的实施方式1的冰箱的剖视图。

图3是本发明的实施方式1的冰箱的摄像机移动装置的立体图。

图4是透视地示出本发明的实施方式1的摄像机移动装置的主要部分的放大立体图。

图5是透视地示出本发明的实施方式1的摄像机移动装置的另一例子的主要部分的放大立体图。

图6是说明本发明的实施方式1的摄像机移动装置的最下部处的动作的图。

图7是说明本发明的实施方式1的摄像机移动装置的最下部处的动作的图。

图8是说明本发明的实施方式1的摄像机移动装置的最下部处的动作的图。

图9是示出本发明的实施方式1的冰箱的摄像机的摄影位置的一个例子的主要部分剖视图。

图10是示出本发明的实施方式1的摄像机进行摄影而得到的储藏室内的图像的一个例子的图。

图11是示出本发明的实施方式1的摄像机进行摄影而得到的储藏室内的图像的一个例子的图。

图12是示出本发明的实施方式1的摄像机进行摄影而得到的储藏室内的图像的一个例子的图。

图13是示出本发明的实施方式1的摄像机进行摄影而得到的储藏室内的图像的一个例子的图。

图14是示出本发明的实施方式1的摄像机进行摄影而得到的储藏室内的图像的一个例子的图。

图15是示出本发明的实施方式1的冰箱系统的结构的框图。

图16是示出本发明的实施方式1的冰箱系统的整体结构的图。

图17是示出存储于本发明的实施方式1的冰箱的食品图像数据库的内容的一个例子的图。

图18是示出本发明的实施方式1的冰箱系统的终端装置的显示例的图。

图19是示出本发明的实施方式1的冰箱系统的终端装置的显示例的图。

图20是示出本发明的实施方式1的冰箱系统的终端装置的显示例的图。

图21是示出本发明的实施方式1的冰箱系统的终端装置的显示例的图。

图22是示出本发明的实施方式1的冰箱系统的动作例的流程图。

图23是示出本发明的实施方式1的冰箱系统的结构的另一例子的框图。

图24是示出本发明的实施方式1的冰箱的摄像机移动装置的另一例子的立体图。

图25是本发明的实施方式2的冰箱的剖视图。

图26是示出本发明的实施方式2的冰箱系统的结构的框图。

(附图标记说明)

1：操作面板；1a：面板显示部；2：摄像机；3：图像服务器；7：路由器装置；8：因特网；10：终端装置；20：摄像机移动装置；21：步进马达；22：蜗杆；23：龆轮；24：齿条；25：引导部；26：蜗轮；27：进给螺杆；28：摄像机支承部；29：槽部；30：食品；31：通信装置；32：图像处理装置；33：变化检测装置；34：库存管理装置；35：收纳量检测装置；41：风量变更装置；42：搁板移动装置；90：外部服务器；91：食品信息存储部；100：冷藏室；101：冷藏室门；102：冷藏室搁板；103：搁板支承部；104：门容纳部；110：保鲜室；111：保鲜盒；200：制冰室；300：切换室；400：冷冻室；500：蔬菜室；1000：冰箱主体；1001：控制基板。

具体实施方式

参照附图，说明用于实现本发明的方式。在各图中，对相同或者相当的部分附加相同的附图标记，适当地简化或者省略重复的说明。此外，本发明并不限定于以下的实施方式，能够在不脱离本发明的要旨的范围进行各种变形。

实施方式1.

图1至图24涉及本发明的实施方式1。图1是冰箱系统所具备的冰箱的主视图。图2是冰箱的剖视图。图3是冰箱的摄像机移动装置的立体图。图4是透视地示出摄像机移动装置的主要部分的放大立体图。图5是透视地示出摄像机移动装置的另一例子的主要部分的放大立体图。图6至图8是说明摄像机移动装置的最下部处的动作的图。图9是示出冰箱的摄像机的摄影位置的一个例子的主要部分剖视图。图10至图14是示出摄像机进行摄影而得到的储藏室内的图像的一个例子的图。图15是示出冰箱系统的结构的框图。图16是示出冰箱系统的整体结构的图。图17是示出存储于冰箱的食品图像数据库的内容的一个例子的图。图18至图21是示出冰箱系统的终端装置的显示例的图。图22是示出冰箱系统的动作例的流程图。图23是示出冰箱系统的结构的另一例子的框图。而且，图24是示出冰箱的摄像机移动装置的另一例子的立体图。

此外，在各图中，各结构构件的尺寸的关系、形状等有时与实际的情况不同。另外，说明书中的各结构构件彼此的位置关系(例如，上下关系等)原则上为设置成能够使用冷冻冰箱的状态时的位置关系。

本发明的实施方式1的冰箱系统具备图1所示的冰箱主体1000。在该实施方式1中，在冰箱主体1000形成有冷藏室100、制冰室200、切换室300、冷冻室400以及蔬菜室500。这些冷藏室100、制冰室200、切换室300、冷冻室400以及蔬菜室500为收纳食品的储藏室。

这些储藏室如图1所示从上往下按照冷藏室100、制冰室200以及切换室300、冷冻室400、蔬菜室500的顺序配置。制冰室200与切换室300在相同的上下位置处左右并排地配置。在冷藏室100的前表面设置有使冷藏室100开闭的冷藏室门101。冷藏室门101是使储藏室的一侧开闭的门的一个例子。另外，制冰室200、切换室300、冷冻室400以及蔬菜室500构成为能够与设置于各自的前表面的门一起向冰箱主体1000的跟前侧拉出。

在冷藏室门101的前表面设置有操作面板1。操作面板1具备面板显示部1a。面板显示部1a为能够显示信息的主体显示部。在面板显示部1a例如能够显示各储藏室的设定温度以及当前的温度等冰箱内信息。面板显示部1a例如具备液晶显示器等。操作面板1例如具备触摸面板、按钮、开关等操作部。用户通过对操作面板1的操作部进行操作，能够输入所需的信息。此外，操作面板1的设置位置并不限于冷藏室100的门，也可以为其它储藏室的门、冰箱主体1000的侧面等。

如图2所示，由冷藏室门101封堵冷藏室100的前表面侧(面向该图时的左侧)。此外，图2所示的剖视图是基于图1中的剖面A－A’的剖视图。在冷藏室100的内部设置有1个以上的冷藏室搁板102。在此，将设置有多个冷藏室搁板102的情况举为例子。冷藏室100的内部由这些冷藏室搁板102在上下方向上隔开成多个空间(搁架)。在冷藏室搁板102之上载置食品。这样，在作为储藏室的冷藏室100内设置有载置食品的1个以上的搁架。

各个冷藏室搁板102被搁板支承部103在冷藏室100内的预先决定的位置处支承。搁板支承部103形成为从冷藏室100的侧壁内表面向冷藏室100的内侧突出。此外，也可以以能够变更冷藏室搁板102的上下位置的方式构成搁板支承部103。

最下级的冷藏室搁板102的下侧的空间为保鲜(chilled)室110。在保鲜室110的内部设置有保鲜盒111。保鲜盒111能够沿着导轨等导引构件(未图示)向前方拉出。另外，在冷藏室门101的内侧的面设置有门容纳部104。在该门容纳部104也能够载置、收纳食品。

在冷藏室门101的内侧的面设置有摄像机2。摄像机2从冷藏室门101一侧对储藏室(在此为冷藏室100)的内部的图像进行摄影，作为储藏室图像而输出。本发明的实施方式1的冰箱主体1000具备摄像机移动装置20。摄像机移动装置20为使摄像机2在上下方向上移动的装置。摄像机移动装置20设置于冷藏室门101的内侧的面。

摄像机移动装置20使摄像机2在可动范围中在上下方向上移动。可动范围为预先设定的范围。在此，可动范围的上端为冷藏室100内的上端部。另外，可动范围的下端为处于最下方的门容纳部104的正上方的位置。

接下来，参照图3至图5，说明摄像机移动装置20的结构。如图3以及图4所示，摄像机移动装置20具备步进马达21、蜗杆22、龆轮(pinion)23、齿条24、引导部25以及摄像机支承部28。摄像机2固定于摄像机支承部28。引导部25固定于冷藏室门101。摄像机支承部28能够相对于引导部25移动。引导部25至少在前述可动范围中沿着上下方向配置。引导部25对在前述可动范围中的摄像机2以及摄像机支承部28的移动进行导引。

如图4所示，在摄像机支承部28安装有步进马达21、蜗杆22以及龆轮23。在引导部25安装有齿条24。齿条24在前述可动范围中沿着上下方向配置。另外，在引导部25形成有槽部29。槽部29配置在前述可动范围中。

步进马达21驱动摄像机2的移动。蜗杆22固定于步进马达21的驱动轴。龆轮23的大齿轮与小齿轮一体地构成。龆轮23的大齿轮与小齿轮以使旋转轴相同的方式被固定。龆轮23的大齿轮与蜗杆22啮合。龆轮23的小齿轮与齿条24啮合。

当利用步进马达21使蜗杆22旋转时，龆轮23旋转。与齿条24啮合的状态的龆轮23旋转，从而龆轮23的旋转轴沿着齿条24直线状地移动。龆轮23的旋转轴能够旋转地支承于摄像机支承部28。因而，利用这样的齿条及龆轮机构，摄像机移动装置20将步进马达21的旋转运动变换为摄像机支承部28相对于引导部25的直线运转，使摄像机2相对于冷藏室门101在上下方向上移动。

此外，摄像机2的移动量与步进马达21的旋转量成比例。而且，步进马达21的旋转量能够使用步进数来控制。因而，摄像机移动装置20能够使用步进马达21的步进数来控制摄像机2的移动量。

图5所示的是摄像机移动装置20的结构的另一例子。在该另一例子中，利用进给螺杆机构使摄像机2移动。在该另一例子中，摄像机移动装置20具备步进马达21、蜗杆22、蜗轮26、进给螺杆27以及摄像机支承部28。

蜗杆22固定于步进马达21的驱动轴。蜗轮26与蜗杆22啮合。以使旋转轴相同的方式进给螺杆27连结于蜗轮26。进给螺杆27在前述可动范围中沿着上下方向配置。摄像机支承部28被安装于进给螺杆27。在摄像机支承部28安装有与进给螺杆27的螺纹卡合的内螺纹。在摄像机支承部28固定摄像机2。

当通过步进马达21使蜗杆22旋转时，蜗轮26以及进给螺杆27旋转。进给螺杆27旋转，从而由于螺纹作用而摄像机支承部28沿着进给螺杆27的旋转轴以直线状移动。利用这样的进给螺杆机构，摄像机移动装置20将步进马达21的旋转运动变换为摄像机支承部28的直线运转，使摄像机2相对于冷藏室门101在上下方向上移动。

接下来，参照图6至图8说明摄像机移动装置20的前述可动范围的下端部分的结构以及摄像机移动装置20使摄像机2移动到前述可动范围的下端时的动作。如前所述，槽部29在前述可动范围中形成于引导部25。如这些图所示，该槽部29在前述可动范围的下端部分处从上下方向向冷藏室门101侧的方向平滑地弯曲。在除此以外的部分处，槽部29沿着上下方向。

在槽部29内插入有形成于摄像机支承部28的未图示的突起部。该突起部比龆轮23靠冷藏室门101侧配置。在龆轮23在齿条24上旋转时，摄像机支承部28的突起部以被限制在槽部29内的状态在槽部29内移动，从而决定摄像机支承部28的朝向、即摄像机2的朝向。

如图6所示，在槽部29沿着上下方向的部分，即使摄像机支承部28移动，摄像机2的朝向也保持与冷藏室门101相反一侧的状态。当摄像机2继续下降而摄像机支承部28的突起部逼进槽部29的弯曲部时，摄像机支承部28的龆轮23将要继续下降，相对于此，摄像机支承部28的突起部被槽部29导引而停止下降，开始向冷藏室门101侧移动。因此，如图7所示，摄像机支承部28开始倾斜，摄像机2开始朝向下方。

然后，当摄像机2来到前述可动范围的下端时，如图8所示，摄像机2朝着正下方。如前所述，可动范围的下端为门容纳部104的正上方的位置。因此，处于可动范围的下端的摄像机2能够从上方对门容纳部104的内部进行摄影。这样，摄像机移动装置20能够以能够从上方对门容纳部104的内部进行摄影的位置以及朝向使摄像机2移动。

摄像机2例如在冷藏室门101被开闭时对冷藏室100内进行摄影。这是因为当冷藏室门101被开闭时，有可能冷藏室100内的食品被存取而冷藏室100内的收纳状态发生变化。冰箱主体1000具备能够探测门的开闭的传感器。该传感器例如为普通的磁铁方式的传感器。即，该传感器例如利用设置于冰箱主体1000侧的一对簧片开关来检测埋入于冷藏室门101的磁铁的接近。摄像机2例如在探测到被打开的冷藏室门101被关闭之后，在对冷藏室100内进行照明的期间进行摄影。

由该摄像机2进行的冷藏室100内的摄影与由摄像机移动装置20进行的摄像机2的移动联动地进行。接下来，说明摄像机2与摄像机移动装置20的联动的摄影动作。在进行冷藏室100内的摄影时，摄像机移动装置20使摄像机2从前述可动范围的一端移动至另一端。然后，摄像机2当在该移动过程中通过特定的位置时进行摄影。或者，摄像机移动装置20也可以在使摄像机2从前述可动范围的一端移动至另一端时，在特定的位置处使摄像机2停止，摄像机2在该停止过程中进行摄影。

例如，摄像机移动装置20使摄像机2从前述可动范围的上端向下方向移动至下端。然后，在该移动过程中，摄像机2关于前述搁架的各个搁架，例如如图9所示从多个视点摄影。摄像机2进行摄影的多个视点被划分为第1视点和第2视点。第1视点基本上关于各搁架仅设定1个。第2视点为与第1视点不同的视点。第2视点关于各搁架各设定1个以上。

这样，当摄像机2到达至前述可动范围的下端时，如前所述，摄像机2来到能够从上方对门容纳部104的内部进行摄影的位置以及朝向。然后，在停止在该位置处的期间摄像机2进行图像摄影。此时，摄像机2进行摄影而得到的图像表示最下部的门容纳部104的收纳状况。

如以上那样，摄像机2关于冷藏室100内的搁架的各个搁架，从第1视点和与该第1视点不同的1个以上的第2视点进行摄影。另外，在该实施方式1中，摄像机2从上方对门容纳部104的内部进行摄影。此外，摄像机移动装置20也可以使摄像机2从前述可动范围的下端向上方向移动至上端。

图10所示的是从前述第1视点利用摄像机2对冷藏室100内的搁架进行摄影而得到的图像的一个例子。在该例中，第1视点为从正面观察搁架的视点。另外，图11至图14所示的是从前述第2视点利用摄像机2对冷藏室100内的搁架进行摄影而得到的图像的一个例子。图11是第2视点之一为向下观察搁架的视点的情况下的例子。在该例中，第2视点位于比作为前述第1视点的搁架的正面靠上方的位置。图12是第2视点之一为稍微向下观察搁架的视点的情况下的例子。在该例中，第2视点位于比作为前述第1视点的搁架的正面靠上方、且比图11的向下观察的视点靠下方的位置。图14是第2视点之一为向上观察搁架的视点的情况下的例子。在该例中，第2视点位于比作为前述第1视点的搁架的正面靠下方的位置。而且，图13是第2视点之一为稍微向上观察搁架的视点的情况下的例子。在该例中，第2视点位于比作为前述第1视点的搁架的正面靠下方，且比图14的向上观察的视点靠上方的位置。

在该实施方式1中，摄像机移动装置20使用步进马达21的步进数来控制前述可动范围中的摄像机2的位置。即，摄像机移动装置20对步进马达21的步进数进行计数，从而确定摄像机2进行摄影的位置。

在此，在冷藏室搁板102的位置被固定而无法变更的情况下，摄像机2进行摄影的前述第1视点以及第2视点也能够固定。因而，例如，摄像机2预先存储关于前述第1视点以及第2视点的位置的信息、例如步进马达21的步进数。然后，在步进马达21的步进数成为预先存储的值时，摄像机2进行摄影。

另外，在能够变更冷藏室搁板102的位置的情况下，考虑以如下方式确定当前的冷藏室搁板102的位置来决定摄像机2进行摄影的位置。首先，第1个例子为将检测冷藏室搁板102的位置的单元设置于搁板支承部103的方法。作为检测冷藏室搁板102的位置的单元，具体而言例如考虑使用微型开关等。在该情况下设置微型开关，以使得在将冷藏室搁板102配置于搁板支承部103的适当的位置时被该冷藏室搁板102按压。而且，能根据哪个微型开关被按压来检测冷藏室搁板102的位置。

第2个例子为使用摄像机2进行摄影而得到的图像来确定冷藏室搁板102的位置的方法。在该方法中，首先，最初一边利用摄像机移动装置20使摄像机2在前述可动范围的整体范围中移动，一边利用摄像机2对图像进行摄影。此时的摄影位置只要最终能够包括能够利用摄像机2进行摄影的冷藏室100的整个范围，则不被特别限定。然后，能够解析这样摄影而得到的图像，确定当前的冷藏室搁板102的位置。

此外，摄像机移动装置20在探测冷藏室门101的开闭的传感器探测到冷藏室门101的关闭动作的情况下，最好使摄像机2移动到前述可动范围的一端，进行步进马达21的零点校正。即，在传感器探测到冷藏室门101的关闭动作的情况下，摄像机移动装置20最初使摄像机2移动到前述可动范围的例如上端。然后，摄像机移动装置20将步进马达21的步进数的计数值设为0。通过这样做，能够修正步进马达21的步进数与实际的摄像机2的位置的偏离。

再次参照图2，继续说明。冰箱主体1000具备控制基板1001。控制基板1001例如收容于冰箱主体1000的背面侧的上部。控制基板1001配备有用于实施冰箱主体1000的动作所需的各种控制的控制电路等。控制基板1001例如具备微型计算机，即具备处理器以及存储器。控制基板1001通过由处理器执行存储于存储器的程序，执行预先设定的处理，控制冰箱主体1000。

本发明的实施方式1的冰箱系统首先具备如上那样构成的冰箱主体1000。另外，该冰箱系统还具备图像服务器3。图像服务器3用于进行储藏室图像的保存、管理以及向外部的发送。图像服务器3设置于设置有冰箱主体1000的屋内(以下，简称为“屋内”)，且设置于冰箱主体1000的储藏室的外侧。图1以及图2所示的是将图像服务器3配置于冰箱主体1000的顶棚部的外表面部的例子。此外，图像服务器3的设置位置不限于冰箱主体1000的顶棚部。只要为冰箱主体1000的储藏室的外部，也可以将图像服务器3设置于冰箱主体1000的侧面、背面或者储藏室的门。另外，也可以将图像服务器3安装于控制基板1001。

图像服务器3与前述控制基板1001同样地例如具备微型计算机，即具备处理器以及存储器。另外，如图15所示，图像服务器3具备图像处理装置32、变化检测装置33、库存管理装置34以及通信装置31。这些各部分的功能例如通过在图像服务器3的微型计算机中由处理器执行存储于存储器的程序，进行预先设定的处理而实现。此外，图像服务器3例如与控制基板1001连接，从控制基板1001接受电力的供给而进行动作。

图像处理装置32存储从摄像机2输出的储藏室图像。如前所述，当探测到冷藏室门101的开闭时，摄像机2与摄像机移动装置20联动地对冷藏室100内的各个搁板以及最下部的门容纳部104的收纳状况进行摄影。摄像机2将进行摄影而得到的图像输出到图像处理装置32。从摄像机2输出的图像被输入到图像处理装置32。

因而，每当冷藏室门101被开闭时(即，每当冷藏室100内的收纳状态有可能会发生变化时)，从摄像机2输出的图像被输入到图像处理装置32。这样，最新的状态的冷藏室100内的图像始终被输入到图像处理装置32。

图像处理装置32临时地存储被输入的最新的储藏室图像。此时，图像处理装置32将储藏室图像被输入到图像处理装置32的时刻作为摄影时刻信息而与该储藏室图像一起临时地存储。此外，在摄影时刻信息中还包含摄影的日期(月日或者年月日)的信息。

但是，在存储于图像处理装置32的储藏室图像中，也有可能由于摄像机2的透镜的特性上的原因而轻微地产生失真。另外，还考虑有时根据冷藏室100内的照明以及收纳状态而在各图像间有明亮度的偏差。因而，根据需要，图像处理装置32也可以在校正摄像机2进行摄影而得到的图像的明亮度以及失真的一方或者两方之后进行存储。进而，图像处理装置32也可以合成校正后的各搁架的图像来生成冷藏室100的整体图像。

这样，在图像处理装置32中，关于冷藏室100内的各搁架，至少存储从前述第1视点摄影而得到的最新的图像和从1个以上的前述第2视点摄影而得到的最新的图像。

变化检测装置33从图像处理装置32获取存储于图像处理装置32的从前述第1视点摄影而得到的各搁架的图像。然后，变化检测装置33根据从前述第1视点摄影而得到的图像，检测各个搁架的食品收纳状态的变化。例如，变化检测装置33保持有前次从图像处理装置32获取到的从第1视点的图像。然后，关于各搁架比较该前次的图像和本次获取到的图像，从而检测各搁架的食品收纳状态的变化。关于由变化检测装置33检测到食品收纳状态发生变化的搁架，将从前述第1视点对该搁架进行摄影而得到的图像从变化检测装置33发送到库存管理装置34。

库存管理装置34从摄像机2进行摄影而得到的图像抽取各个食品的图像。然后，库存管理装置34将抽取出的食品的图像与唯一地确定放置有该食品的搁架的搁架确定信息对应起来存储。在此，搁架确定信息例如为对各个搁架从上往下依次分配的编号等。

例如，库存管理装置34首先从由摄像机2摄影而得到的图像抽取各个食品的图像。接下来，库存管理装置34比较从在连续的两个时间点由摄像机2摄影而得到的图像抽取出的各个食品的图像，从而关于各个食品判别是放入到冷藏室100还是从冷藏室100取出。此时，能够根据用于判别放入以及取出的两个图像的摄影日期时间，确定大致的放入日期时间以及取出日期时间。这样，库存管理装置34根据由摄像机2摄影而得到的图像，关于各个食品的图像确定放入日期时间以及取出日期时间。

更详细而言，库存管理装置34从自变化检测装置33发送到库存管理装置34的图像抽取各个食品的图像。即，库存管理装置34关于由变化检测装置33检测到食品收纳状态的变化的搁架，从自前述第1视点摄影而得到的图像抽取各个食品的图像。然后，库存管理装置34关于抽取出的各个食品的图像判定有无放入取出。另外，在有放入取出的情况下，库存管理装置34确定有放入取出的搁架的搁架确定信息。

通信装置31为能够与外部进行通信的装置。通信装置31例如使用公知的无线通信技术，在冰箱主体1000的图像服务器3与路由器装置7之间进行信息的相互通信。此外，图像服务器3与路由器装置7的通信不限于无线方式，也可以为有线方式。

图16所示的是本发明的实施方式1的冰箱系统的整体结构。如该图所示，本发明的实施方式1的冰箱系统具备终端装置10。终端装置10被设置成能够与通信装置31进行通信。终端装置10具体而言例如为PC、智能手机、平板终端等。此外，终端装置10设置有1个以上，最好设置有多个。

终端装置10具备未图示的终端显示部。终端显示部例如具备液晶显示器等。另外，也可以由触摸面板构成终端显示部，使得能够显示信息，并且受理来自用户的操作。终端装置10的终端显示部能够显示储藏室图像以及包含摄影时刻信息的各种信息。

如图16所示，冰箱主体1000、图像服务器3以及路由器装置7设置于屋内。路由器装置7例如经由因特网8而与外部服务器90能够通信地连接。在该图中，例示出作为外部服务器而使用了包括与因特网8连接的多个服务器(服务器群)的云服务器的情况。然而，外部服务器90不限于云服务器，也可以为1台服务器。因特网8以及外部服务器90处于设置有冰箱主体1000的屋内的外侧的屋外(以下，简称为“屋外”)。

通信装置31经由路由器装置7以及因特网8将存储于图像处理装置32以及库存管理装置34的图像以及信息发送到屋外的外部服务器90。然后，外部服务器90存储接收到的图像以及信息。特别是，通信装置31将对变化检测装置33检测到食品收纳状态的变化的搁架进行摄影而得到的图像发送到外部服务器90。此时，通信装置31将从前述第1视点摄影而得到的图像和从前述第2视点摄影而得到的图像这两方发送到外部。

此外，也可以设想向外部服务器90的通信拥挤而无法通过1次上传(发送)储藏室图像的情况，设定从通信装置31向外部服务器90的储藏室图像的上传的最大重试数。然后，通信装置31在达到最大重试数的情况下立即上传即可。

屋外的终端装置10经由因特网8访问外部服务器90。当用户在终端装置10中进行与冰箱主体1000相关的图像以及信息的显示操作时，终端装置10将发送请求进行发送。接收到发送请求的外部服务器90将自身存储的图像以及信息发送到终端装置10。终端装置10经由因特网8从外部服务器90接收图像以及信息。然后，终端装置10将接收到的与冰箱主体1000相关的图像以及信息显示于终端显示部。这样，终端装置10能够显示通信装置31发送到外部的图像。

此外，终端装置10也可以不经由外部服务器90，而经由路由器装置7以及因特网8接收从通信装置31发送的与冰箱主体1000相关的图像以及信息。另外，在库存管理装置34判定为有向冷藏室100的放入取出的情况下，通信装置31也可以经由路由器装置7以及因特网8将其意思通知给终端装置10。

图17至图20是显示于终端装置10的画面的例子。图17所示的是“放入取出时间线”的显示例。如前所述，图像服务器3的库存管理装置34根据由摄像机2进行摄影而得到的冷藏室100内的图像，存储放入取出日期时间、放入取出的区分、放入取出的食品的图像以及被放入取出食品的搁架的搁架确定信息。放入取出时间线为按照时间序列排列而显示这些图像以及信息的画面。

图18所示的是“放入取出列表”的显示例。该放入取出列表也与放入取出时间线相同地显示存储于图像服务器3的库存管理装置34的放入取出日期时间、放入取出的区分、放入取出的食品的图像以及被放入取出食品的搁架的搁架确定信息。但是，该放入取出列表与放入取出时间线的显示形式不同。该放入取出列表为将放入取出日期时间、放入取出的食品的图像以及被放入取出食品的搁架的搁架确定信息分为“放入”的列和“取出”的列而以列表状显示的画面。

图19所示的是“库存食品一览”的显示例。如前所述，图像服务器3的库存管理装置34从摄像机2进行摄影而得到的冷藏室100内的图像抽取各个食品的图像而存储。该库存食品一览为以一览的形式显示在某个时刻收纳于冷藏室100内的各个食品的图像的画面。

图20所示的是“库存食品一览”的其它显示例。在该显示例中，为针对各个搁架的每个搁架划分而以一览的形式显示在某个时刻收纳于冷藏室100内的各个食品的图像的画面。

如上那样，将食品图像与搁架确定信息一起显示，或者针对各个搁架的每个搁架划分而显示食品图像，从而使用者能够容易地发现目标食品。

此外，终端装置10也可以优先地显示由变化检测装置33检测到食品收纳状态的变化的搁架的图像。具体而言，例如也可以在图20所示的“库存食品一览”的画面，在最上位显示检测到食品收纳状态的变化的搁架的图像。

进而，终端装置10也可以直接显示从前述第1视点摄影而得到的图像以及从1个以上的前述第2视点摄影而得到的图像。另外，此时，最好使得能够变更显示从第1视点摄影而得到的图像以及从1个以上的第2视点摄影而得到的图像中的哪个。具体而言，例如，最好当在显示从某个视点的图像的状态下使用者对触摸面板进行滑动操作时，根据该滑动操作的朝向以及量来变更显示的视点。

另外，以上的“放入取出时间线”、“放入取出列表”以及“库存食品一览”的各画面也能够显示于操作面板1的面板显示部1a。另外，除了这些画面之外，也可以使得在面板显示部1a能够显示在库存管理装置34中管理以及存储的各种图像以及信息、及存储于图像处理装置32的图像等。

库存管理装置34也可以不仅从由摄像机2进行摄影而得到的图像抽取冷藏室100内的各个食品的图像，还根据由摄像机2进行摄影而得到的图像来判定冷藏室100内的各个食品的种类以及量。为了该判定，库存管理装置34预先存储有食品图像数据库。食品图像数据库为针对每个食品的种类而将该食品的形状、大小、颜色以及包装标签中的至少1个对应起来的数据的集合。在该意思下，在库存管理装置34中，具备针对每个食品的种类而将该食品的形状、大小、颜色以及包装标签中的至少1个对应起来预先存储的食品信息存储部。

参照图21，说明存储于食品图像数据库的信息的具体例。食品图像数据库关于食品种类的各个食品种类而存储有能够将该食品种类与其它食品种类进行区分的特征性的属性。在此，将属于该食品种类的食品自身或者放入有该食品的容器的特征量与该食品种类对应起来存储。具体而言，关于各食品种类，将形状(轮廓)、长轴的大小、代表颜色(RGB值)以及标签(字符)等信息设为特征量。

此外，作为存储于食品图像数据库的每个食品种类的形状，除了在此作为例子而举出的轮廓之外，例如也可以设为与该食品的外形最接近的几何学的形状(例如，圆柱、梯形等)。在该情况下，在由库存管理装置34进行的判定中，例如，通过图案匹配等手法来进行与存储于食品图像数据库的形状的对照。另外，关于颜色，除了代表颜色的RGB值之外，例如也可以使用明亮度、彩度等其它指标值。

库存管理装置34一边参照如上那样的存储于食品图像数据库的信息，一边根据库存管理装置34保存、管理的图像来判定储藏室(在此为冷藏室100)内的食品的种类以及量。在该判定中，库存管理装置34关于从由摄像机2进行摄影而得到的图像抽取出的各个食品的图像，对照与存储于食品图像数据库的食品的种类中的哪个食品的种类的特征量一致。

然后，在有与各个食品的图像一致的存储于食品图像数据库的特征量的情况下，库存管理装置34判定为该图像的食品的种类是在食品图像数据库中与该一致的特征量对应起来的种类。此外，当在食品图像数据库中没有特征量一致的数据的情况下，也可以用最类似的食品的种类代替该图像的食品的种类，或者将该图像的食品作为种类不明的收纳物而只识别大小。

这样，库存管理装置34比较从由摄像机2进行摄影而得到的图像抽取出的食品的图像和存储于食品图像数据库的特征量，从而能够关于收纳于冷藏室100内的食品而确定种类及其量。

接下来，在如上那样构成的冰箱系统中，参照图22说明由摄像机2进行的冷藏室100内的摄影和图像服务器3中的处理的流程的一个例子。首先，在步骤S11中，控制基板1001的摄像机2以及摄像机移动装置20的控制电路确认是否探测到被打开的冷藏室门101被关闭。在未探测到冷藏室门101的开闭的情况下，重复步骤S11的处理直至探测到冷藏室门101的开闭为止。然后，如果探测到冷藏室门101的开闭，则处理进入到步骤S12。

在步骤S12中，摄像机移动装置20使摄像机2移动。然后，摄像机2从前述第1视点对冷藏室100内的各搁架的图像进行摄影。在步骤S12之后，处理进入到步骤S13。在步骤S13中，将在步骤S12中摄影而得到的各搁架的从第1视点的图像与前次摄影时的图像进行比较。接着在步骤S14中，变化检测装置33确认在步骤S12中摄影而得到的各搁架的图像和前次摄影时的图像中是否存在差异。当在这些图像中没有差异的情况下，处理返回到步骤S11。

另一方面，在步骤S14中，当在步骤S12中进行摄影而得到的各搁架的图像与前次摄影时的图像存在差异的情况下，处理进入到步骤S15。在步骤S15中，摄像机移动装置20再次使摄像机2移动，仅关于被判定为在步骤S12中进行摄影而得到的图像与前次摄影时的图像存在差异的搁架，摄像机2本次从前述第2视点对图像进行摄影。在步骤S15之后，处理进入到步骤S16。

在步骤S16中，关于被判定为在步骤S12中进行摄影而得到的图像与前次摄影时的图像存在差异的搁架，从自前述第1视点摄影而得到的图像以及自前述第2视点摄影而得到的图像抽取各个食品的图像。然后，库存管理装置34将抽取出的各个食品的图像与食品信息数据库进行对照，确定食品的种类。

此外，在之前叙述的说明中，库存管理装置34从自第1视点摄影而得到的图像抽取各个食品的图像。然而，关于这一点，也可以不仅从自第1视点摄影而得到的图像抽取各个食品的图像，还从自第2视点摄影而得到的图像抽取各个食品的图像。通过使用从多个视点的图像，能够实现食品的种类的确定精度提高。在步骤S16之后，处理进入到步骤S17。

在步骤S17中，关于在步骤S16中确定了种类的食品，判定放入、取出、移动的区分。此外，在此所称的移动是指不同的搁架间的食品的移动。即，移动是指与被判定为从某个搁架取出的食品相同的食品被判定为在紧接着之后放入到其它搁架。当步骤S17的处理完成时，处理返回到步骤S11。

也可以如在图23中作为另一例子而示出那样，将作为前述食品图像数据库的食品信息存储部91不设置于图像服务器3(库存管理装置34)，而设置于外部服务器90。而且，库存管理装置34也可以参照外部服务器90的食品信息存储部91所记载的食品图像数据库的信息，从自前述第1视点摄影而得到的图像判定冷藏室100内的各个食品的种类以及量。根据该结构，访问外部服务器90，从而能够随时更新食品图像数据库。

另外，也可以如图24所示，使得摄像机移动装置20使摄像机2还能够在水平方向上移动。在该图所示的例子中，摄像机移动装置20能够在前述可动范围的上端以及下端在水平方向上移动。而且，摄像机移动装置20能够在水平方向上不同的位置处使摄像机2在上下方向上移动。此时，也可以使得摄像机移动装置20能够改变摄像机2的水平方向的朝向。

具体而言，例如，摄像机2在上升时对冰箱内右半部分和右门容纳部进行摄影、在下降时对冰箱内左半部分和左门容纳部进行摄影而在上下往返，从而对包括门容纳部的冷藏室100内的整体进行摄影。在该结构中，当对冷藏室100内的整体进行摄影时，摄像机2返回到摄影开始地点。通过这样做，能够不使用广角透镜地对包括门容纳部的冷藏室100内的整体进行摄影，所以能够提高图像的分辨率，并且抑制图像的失真，提高食品的图像识别精度。

此外，也可以设为能够使摄像机2以及摄像机移动装置20相对于冷藏室门101进行装卸。另外，摄像机2以及摄像机移动装置20与控制基板1001等的通信最好为无线或者非接触方式。通过这样做，能够提高摄像机2的透镜以及摄像机移动装置20的维护性。

如上那样构成的冰箱系统关于储藏室内的各搁架，从第1视点对用于检测收纳状态的变化的图像进行摄影。该第1视点能够设为适于从图像检测收纳状态的变化的视点。具体而言，例如，第1视点为各搁架的正面，但不限于此。然后，关于根据从第1视点摄影而得到的图像检测到收纳状态的变化的搁架，摄像机2还从与第1视点不同的第2视点进行摄影。然后，通信装置31关于检测到收纳状态的变化的搁架将从第1视点和第2视点这两方摄影而得到的图像发送到冰箱主体1000的外部的例如外部服务器90或者终端装置10。

因此，一边降低由摄像机2进行的摄影次数，一边使第1视点适于从图像检测收纳状态的变化，从而能够抑制储藏室内的食品收纳状态的变化的检测精度的下降。然后，仅关于检测到收纳状态的变化的搁架，发送从第1视点和第2视点这两方摄影而得到的图像，从而能够从终端装置10确认从多个视点摄影而得到的储藏室内的图像。而且，能够减轻将从多个视点摄影而得到的储藏室内的图像发送到冰箱的外部时的通信负荷。

实施方式2.

图25以及图26是本发明的实施方式2的图。图25是与实施方式1的图2相当的冰箱的剖视图。而且，图26是示出冰箱系统的结构的框图。

以下，以与实施方式1的差别点为中心，说明该实施方式2的冰箱系统。关于省略了说明的结构，与实施方式1基本上相同。

该实施方式的冰箱系统如图25以及图26所示具备收纳量检测装置35、风量变更装置41以及搁板移动装置42。收纳量检测装置35根据库存管理装置34存储的搁架确定信息和各个食品的图像，关于各个搁架的每个搁架，检测食品的收纳量以及食品的最大高度。在此，食品的最大高度是指收纳于1个搁架的食品各自的高度中的最大的高度。

收纳量检测装置35例如从库存管理装置34存储的食品图像检测食品的位置、大小、数等。然后，根据这些信息针对各个搁架的每个搁架求出食品的收纳量以及食品的最大高度。此时，还一并使用从前述第1视点以及第2视点这多个视点摄影而得到的图像，从而能够更准确地检测食品的最大高度等。

在冷藏室100内的背面部形成有未图示的冷却空气的吹出口。吹出口以使冷却空气布满于各搁架的方式与各个搁架对应地配置。风量变更装置41例如为设置于与各个搁架对应的吹出口的气闸。通过变更风量变更装置41的气闸的开度，能够单独地调节供给到各个搁架的冷却空气的风量。

风量变更装置41根据由收纳量检测装置35检测到的各个搁架的每个搁架的食品的收纳量，变更供给到各个搁架的冷却空气的风量。通过这样做，能够实现与各个搁架的收纳量对应的风量平衡。因此，能够提高冷藏室100的作为整体的冷却效率，实现消耗能量的削减。

搁板移动装置42使构成冷藏室100内的各搁架的冷藏室搁板102分别在上下方向上移动。具体而言，例如，搁板移动装置42利用齿条及龆轮机构使冷藏室搁板102上下移动。

搁板移动装置42根据由收纳量检测装置35检测到的各个搁架的每个搁架的食品的收纳量以及食品的最大高度，变更各个搁架的上下方向上的位置。具体而言，例如，搁板移动装置42根据各个搁架的每个搁架的食品的收纳量，以使收纳量多的搁架的空间变大的方式调节搁架的间隔等。此时，搁板移动装置42以使各个搁架的空间的高度不低于该搁架的食品的最大高度的方式，根据需要而使多个冷藏室搁板102的位置同时移动。通过这样做，能够确保与各个搁架的收纳量相应的空间，所以能够提高冷却效率。此时，能够根据从多个视点摄影而得到的食品图像来三维地掌握食品的形状等，所以能够可靠地避免冷藏室搁板102与食品的接触。

如上那样构成的冰箱系统也能够起到与实施方式1同样的效果。进而，有效利用从前述第1视点以及第2视点摄影而得到的储藏室内的图像，检测各个搁架的收纳量，从而能够精度更良好地检测各个搁架的收纳量。

此外，也可以将摄像机2设为红外线摄像机而能够获取热图像。能够使用获取到的热图像，针对各个搁架的每个搁架求出收纳的食品的冷却负荷。而且，根据每个搁架的冷却负荷，利用搁板移动装置42使冷藏室搁板102移动，或者利用风量变更装置41来变更各搁架的风量，从而能够更高效地冷却冷藏室100内的食品。

工业上的可利用性

本发明能够用于如下冰箱系统：该冰箱系统具备对储藏室内的图像进行摄影的摄像机，将储藏室内的图像发送到冰箱的外部。

Claims (17)

1.一种冰箱，具备：

主体，形成有收纳食品的储藏室；

1个以上的搁架，设置于所述储藏室内，载置所述食品；

门，使所述储藏室的一侧开闭；

摄像机，设置于所述门的内侧的面，对所述储藏室内的图像进行摄影；

摄像机移动装置，使所述摄像机至少在上下方向上移动；

通信装置，将所述摄像机进行摄影而得到的图像发送到所述主体的外部；以及

变化检测装置，根据所述摄像机进行摄影而得到的图像，检测关于所述搁架的各个搁架的食品收纳状态的变化，

所述摄像机关于所述搁架的各个搁架，从第1视点进行摄影，

所述变化检测装置根据从所述第1视点摄影而得到的图像，检测各个所述搁架的食品收纳状态的变化，

所述摄像机关于由所述变化检测装置检测到食品收纳状态的变化的所述搁架，进一步从与所述第1视点不同的1个以上的第2视点进行摄影，

所述通信装置关于由所述变化检测装置检测到食品收纳状态的变化的所述搁架，将从所述第1视点摄影而得到的图像和从所述第2视点摄影而得到的图像这两方发送到所述主体的外部。

2.一种冰箱系统，具备：

权利要求1所述的冰箱；以及

终端装置，能够显示由所述通信装置发送到所述主体的外部的图像，

所述终端装置能够变更显示从所述第1视点摄影而得到的图像以及从1个以上的所述第2视点摄影而得到的图像中的哪个。

3.根据权利要求2所述的冰箱系统，其中，

所述终端装置优先地显示由所述变化检测装置检测到食品收纳状态的变化的所述搁架的图像。

4.根据权利要求2所述的冰箱系统，其中，

所述冰箱系统还具备图像处理装置，该图像处理装置在针对各个所述搁架的每个所述搁架而校正所述摄像机进行摄影而得到的图像的明亮度以及失真的一方或者两方之后，进行合成而生成所述储藏室的整体图像。

5.根据权利要求2至4中的任意一项所述的冰箱系统，其中，

所述冰箱系统还具备库存管理装置，该库存管理装置从所述摄像机进行摄影而得到的图像抽取各个所述食品的图像，将抽取出的所述食品的图像与唯一地确定放置有该食品的所述搁架的搁架确定信息对应起来存储。

6.根据权利要求5所述的冰箱系统，其中，

所述库存管理装置关于由所述变化检测装置检测到食品收纳状态的变化的所述搁架，从自所述第1视点摄影而得到的图像抽取各个所述食品的图像，关于抽取出的各个所述食品的图像，判定有无放入取出。

7.根据权利要求6所述的冰箱系统，其中，

所述库存管理装置将所述食品的形状、大小、颜色以及包装标签中的至少1个与该食品的种类对应起来预先存储，并且参照该存储的信息，根据从所述第1视点摄影而得到的图像判定所述储藏室内的各个所述食品的种类以及量。

8.根据权利要求6所述的冰箱系统，其中，

所述冰箱系统还具备外部服务器，该外部服务器设置成能够与所述通信装置进行通信，

所述外部服务器将所述食品的形状、大小、颜色以及包装标签中的至少1个与该食品的种类对应起来预先存储，

所述库存管理装置参照存储于所述外部服务器的信息，根据从所述第1视点摄影而得到的图像判定所述储藏室内的各个所述食品的种类以及量。

9.根据权利要求6至8中的任意一项所述的冰箱系统，其中，

所述通信装置在所述库存管理装置判定为有向所述储藏室的放入取出的情况下，将其意思通知给所述终端装置。

10.根据权利要求6至8中的任意一项所述的冰箱系统，其中，

所述终端装置能够按照时间序列显示出有放入取出的所述食品的图像、放入取出的区分以及所述搁架确定信息。

11.根据权利要求6至8中的任意一项所述的冰箱系统，其中，

所述终端装置能够将有放入取出的所述食品的图像、放入取出的区分以及所述搁架确定信息分为放入和取出而进行显示。

12.根据权利要求6至8中的任意一项所述的冰箱系统，其中，

所述终端装置能够针对各个所述搁架的每个所述搁架分开地显示收纳的所述食品的图像。

13.根据权利要求6至8中的任意一项所述的冰箱系统，其中，

所述冰箱系统还具备收纳量检测装置，该收纳量检测装置根据所述库存管理装置存储的所述搁架确定信息和各个所述食品的图像，关于各个所述搁架的每个所述搁架，检测所述食品的收纳量以及所述食品的最大高度。

14.根据权利要求13所述的冰箱系统，其中，

所述冰箱系统还具备搁板移动装置，该搁板移动装置根据各个所述搁架的每个所述搁架的所述食品的收纳量以及所述食品的最大高度，变更各个所述搁架的上下方向上的位置。

15.根据权利要求13所述的冰箱系统，其中，

所述冰箱系统还具备风量变更装置，该风量变更装置根据各个所述搁架的每个所述搁架的所述食品的收纳量，变更供给到各个所述搁架的冷却空气的风量。

16.根据权利要求14所述的冰箱系统，其中，

所述冰箱系统还具备风量变更装置，该风量变更装置根据各个所述搁架的每个所述搁架的所述食品的收纳量，变更供给到各个所述搁架的冷却空气的风量。

17.根据权利要求2至4、6至8、14至16中的任意一项所述的冰箱系统，其中，

所述摄像机移动装置使所述摄像机还能够在水平方向上移动。

Images