CN109869966A - 冰箱 - Google Patents

Abstract

本发明实施方式的冰箱具备：摄像机(16～21)，配设于冰箱的开口部周边，对通过上述开口部的物品进行拍摄；以及检测部(22)，基于由摄像机(16～21)拍摄到的图像数据的变化量来检测物品的取出放入。

Description

冰箱

技术领域

本发明的实施方式涉及一种冰箱。

背景技术

提出有如下构成的冰箱：通过配设在冰箱内的摄像机对箱内的架整体进行拍摄，并对所拍摄的图像进行图像识别，由此进行箱内所收纳的物品的确认。

专利文献1：日本特开2017-89913公报

但是，在上述构成的冰箱的情况下，不能够确认收纳在架的深处而不能够由摄像机拍摄的物品。因此，在进行箱内所收纳的物品的管理、即冰箱的库存管理的情况下，必须将物品例如食材通过手动进行登记，存在使用的方便性不良这样的问题。

发明内容

因此，提供一种冰箱，能够确认冰箱内所收纳的物品，并能够自动地管理箱内的收纳物。

本实施方式的冰箱具备：配设在冰箱的开口部周边，对通过上述开口部的物品进行拍摄的摄像机；以及基于由上述摄像机拍摄到的图像数据的变化量来检测物品的取出放入的检测部。

附图说明

图1是从正面观察将第一实施方式的冰箱的各门打开的状态的图。

图2是表示冰箱的电气构成的框图。

图3是检测控制的流程图。

图4是说明物品的取出放入与拍摄图像之间的关系的图。

图5是表示对物品以及手进行拍摄而得到的图像数据的一个例子的图。

图6是表示所保存的图像数据的例子的图。

图7是说明除了衣袖的图像以外还另外检测到物品以及手的情况的图。

图8是说明通过多个摄像机对物品进行拍摄的优点的图。

图9是表示第二实施方式的图，且是说明减少图像数据的处理等计算所使用的像素数的情况的图。

图10是表示第三实施方式的图，且是说明将所保存的图像数据显示于个人计算机的例子的图。

图11是说明将所保存的图像数据显示于智能手机的例子(其1)的图。

图12是说明将所保存的图像数据显示于智能手机的例子(其2)的图。

图13是说明将所保存的图像数据显示于智能手机的例子(其3)的图。

符号的说明

在附图中，1为主体，2为冷藏室，3为蔬菜室，4为冷冻室，7为冷藏室用门，8为冷藏室用门，11为蔬菜室用门，12为冷冻室用门，14、15为架板，16为第一摄像机，17为第二摄像机，18为第三摄像机，19为第四摄像机，20为第五摄像机，21为第六摄像机，22为控制部(检测部、保存部)，23为冷藏用冷却机构，24为冷冻用冷却机构，25为照明部，26为冷藏室门开关，27为蔬菜室门开关，28为冷冻室门开关，29为显示器，30为信息终端，31为无线通信部，32为衣袖，33为物品，34为手。

具体实施方式

以下，根据附图对多个实施方式的冰箱进行说明。另外，在各实施方式中，对于实际相同的构成部件赋予相同的符号，并省略说明。

(第一实施方式)

首先，如图1所示那样，本实施方式的冰箱的主体1由绝热箱体构成，在该主体1的内部，从上层起依次设置有冷藏室2、蔬菜室3、冷冻室4。另外，在蔬菜室3与冷冻室4之间，也可以左右并排设置制冰室以及小冷冻室。

在冷藏室2的前面部，作为门而例如设置有铰接开闭式(法式)的冷藏室用门7、8。另外，在冷藏室用门7或者冷藏室用门8的前面设置有未图示的操作板，在该操作板上例如配设有进行各种设定、选择的操作部、进行所需要的显示的多个显示部等。

此外，在蔬菜室3的前侧，作为门例如设置有拉出式的蔬菜室用门11。在蔬菜室用门11的背面部安装有收纳作为食品的果蔬物品即蔬菜、水果等的收纳容器。在冷冻室4的前侧，作为门例如设置有连结了储藏容器的拉出式的冷冻室用门12。

另外，冷藏室2以及蔬菜室3均是冷藏温度带的储藏室，例如，冷藏室2的维持温度设定为1～5℃，蔬菜室3的维持温度设定为稍微高的2～6℃。冷冻室4是冷冻温度带、例如-10～-20℃的负温度带的储藏室。

此外，在冷藏室2内例如能够取出放入地配设有2个架板14、15。并且，在冷藏室2内的顶棚部的前部中央部、即、冰箱的开口部的周边部，配设有第一摄像机16。在冷藏室2内的上部的架板14的上侧的侧面部的前部、即、冰箱的开口部的周边部，配设有第二摄像机17。

在冷藏室2内的下部的架板15的上侧的侧面部的前部、即、冰箱的开口部的周边部，配设有第三摄像机18。此外，在冷藏室2内的下部的架板15的下侧的侧面部的前部、即、冰箱的开口部的周边部，配设有第四摄像机19。

此外，在蔬菜室3内的顶棚部的前部中央部、即、冰箱的开口部的周边部，配设有第五摄像机20。此外，在冷冻室4内的顶棚部的前部中央部、即、冰箱的开口部的周边部，配设有第六摄像机21。

接下来，参照图2对上述构成的冰箱的电气构成进行说明。如图2所示那样，在冰箱的控制部22连接有：由公知的冷冻循环等构成的冷藏用冷却机构23以及冷冻用冷却机构24；对冷藏室2内进行照明的照明部25；以及6个摄像机16～21。然后，在控制部22连接有：对冷藏室用门7、8的开闭进行检测的冷藏室门开关26；对蔬菜室用门11的开闭进行检测的蔬菜室门开关27；对冷冻室用门12的开闭进行检测的冷冻室门开关28；设置于冰箱的操作板等的显示器29；与其他信息终端30进行无线通信的无线通信部31。

控制部22具有如下功能：对冷藏用冷却机构23以及冷冻用冷却机构24进行驱动控制，由此以各室2、3、4的箱内温度分别成为所设定的温度的方式进行温度控制。控制部22具有输入由各摄像机16～21拍摄到的图像数据并对所输入的图像数据进行图像识别处理的功能、即图像处理部22a。然后，控制部22具有基于图像数据来检测对于冷藏室2内取出放入的物品的功能。即，控制部22具有作为检测部的功能。

此外，控制部22构成为，在内部具有非易失性的存储器，将上述所检测到的物品的图像数据，与检测时间的信息、检测位置的信息、例如通过图像识别处理而识别出的物品的名称等信息一起存储保存于上述存储器。即，控制部22具有作为保存部22b的功能。

此外，控制部22具有将所保存的图像数据显示于显示器29的功能。即，控制部22具有作为显示控制部的功能。并且，控制部22具有将所保存的图像数据经由无线通信部31向信息终端30发送的功能。即，控制部22具有作为通信控制部的功能。另外，无线通信部31例如具备经由移动电话网等通信网、互联网等进行通信的功能、进行Bluetooth(蓝牙，注册商标)通信的功能、红外线通信等的功能。此外，信息终端30例如由个人计算机、智能手机、平板电脑、便携信息终端等构成。

接下来，参照图3至图8来说明在上述构成的冰箱中，检测对于箱内取出放入的物品的检测控制。图3的流程图表示控制部22的控制中的检测控制的内容。图3所示的检测控制在冰箱的冷藏室用门7、8、蔬菜室用门11、冷冻室用门12中的至少一个开放时开始。另外，冷藏室2、蔬菜室3、冷冻室4内的各检测控制几乎相同，因此以下说明冷藏室2内的检测控制、具体地说是冷藏室2内上部的架板14上侧的收纳空间的检测控制。

首先，当冷藏室用门7或者8开放时，通过冷藏室门开关27检测到开放，通过照明部25照明冷藏室2内，进入图3的步骤S10，通过第一摄像机16拍摄在箱内未放入物品的状态即空的状态，即拍摄模板图像。然后，控制部22将由第一摄像机16拍摄到的模板图像存储于内部的保存部22b。

接着，进入步骤S20，基于来自冷藏室门开关27的信号来判断冷藏室用门7、8是否关闭。在此，在冷藏室用门7、8关闭时，进入(是)，结束该控制。此外，在冷藏室用门7、8未关闭时(否)，进入步骤S30，调查由第一摄像机16当前正在拍摄的图像数据的变化量。在该情况下，将由第一摄像机16当前正在拍摄的当前的图像与像素的变化量进行比较。

然后，进入步骤S40，判断像素是否变化、即像素的变化量是否大于预先决定的设定值。在此，在像素未变化时(否)，返回步骤S20，反复执行上述的处理。

此外，在上述步骤S40中，在像素变化了时(是)，即，在拍摄到某种物品时，进入步骤S50，从该时刻、即连续拍摄开始时刻通过第一摄像机16开始连续地拍摄。接着，进入步骤S60，通过第一摄像机16对新的图像进行拍摄。然后，进入步骤S70，将所存储的模板图像与所拍摄的图像数据进行比较。接下来，进入步骤S80，将从图像数据中除去了手的图像和衣袖的图像的部分的图像与模板图像相比变化量最多的图像数据进行记录、即保存于保存部22b。

在此，图4表示物品被放入箱内的动作、与由第一摄像机16拍摄到的图像之间的关系。首先，如图4(a)所示那样，在物品被放入箱内之前的状态下，在由第一摄像机16拍摄到的图像数据41中未拍摄到任何物品。之后，在物品被稍微放入箱内的状态下，如图4(b)所示那样，在由第一摄像机16拍摄到的图像数据42中拍摄了物品的一半左右。接着，当物品被进一步向箱内放入时，如图4(c)所示那样，在由第一摄像机16拍摄到的图像数据43中，与手一起拍摄有物品的整体。在上述步骤S80中将该图4(c)所示的图像数据保存于保存部22b。另外，在将图像数据向存储器进行保存的情况下，还追加保存拍摄时间的信息、所拍摄到的摄像机的设置位置的信息、物品的收纳位置的信息、以及对物品进行了图像识别处理后的识别结果---例如物品的种类、形状、颜色的信息等。

之后，如图4(d)所示那样，当物品收纳于箱内而手离开、且使手向近前返回时，在由第一摄像机16拍摄到的图像数据44中仅拍摄有手。进一步，如图4(e)所示那样，当使手向近前返回时，在由第一摄像机16拍摄到的图像数据45中，成为拍摄有手的前端侧的一半程度的状态。接下来，如图4(f)所示那样，当使手从箱内取出时，在由第一摄像机16拍摄到的图像数据46中，成为未拍摄有任何物品的状态。

然后，在执行了上述步骤S80之后，进入步骤S90，判断模板图像与所拍摄到的图像数据是否大致一致、即模板图像与所拍摄到的图像的变化了的像素数是否近似。在该情况下构成为，判断是否成为未拍摄有任何物品的状态的图像数据、即所拍摄的图像数据与模板图像是否近似。例如，在图4所示的例子的情况下，判断是否成为图4(f)的状态。

在上述步骤S90中，在不近似了时(否)，返回步骤S60，继续进行第一摄像机16的连续拍摄，并反复执行上述的处理。此外，在上述步骤S90中，当近似了时(是)，成为连续拍摄结束时刻，进入步骤S100，结束第一摄像机16的连续拍摄。

接着，进入步骤S110，判断是否向箱内放入了物品。在本实施方式的情况下构成为，从向箱内放入手起到取出手为止，通过第一摄像机16连续地进行拍摄，在所拍摄到的全部图像数据中，当拍有物品的图像数据为在前半部分拍摄到的图像数据时，判断向箱内放入了物品，当拍有物品的图像数据为在后半部分拍摄的图像数据时，判断为从箱内取出了物品。例如，如图4所示那样，在向箱内放入物品的情况下，拍有物品的图像数据、即图4(c)的图像数据43是在前半部分拍摄到的图像数据。相反，在从箱内取出物品的情况下，拍有物品的图像数据是在后半部分拍摄到的图像数据。

在上述步骤S110中，在放入了物品时(是)，进入步骤S120，控制部22将拍有物品的图像数据保存于保存部22b内、即图像数据的数据库内。之后，返回步骤S20，反复执行上述的处理。

此外，构成为，在步骤S110中，在不是放入了物品时的情况下(否)，进入步骤S130，判断是否从箱内取出了物品。在此，在取出了物品时(是)，进入步骤S140，控制部22从保存部22b内搜索拍摄有与图像数据中拍到的物品相同的物品的图像数据，并将该搜索到的图像数据从保存部22b内削除。另外，在判断是否是与图像数据中拍到的物品相同的物品时，判断物品的形状以及颜色是否相同。

例如，在取出了物品时，拍摄有物品的图像数据例如是图5所示那样的图像数据。此外，当在控制部22的存储器内、即在图像数据的数据库内例如保存有图6(a)、(b)、(c)所示那样的三个图像数据时，图6(a)的图像数据中拍摄的物品与图5所示的图像数据中拍摄的物品的形状不同。此外，图6(b)的图像数据中拍摄的物品与图5所示的图像数据中拍摄的物品的颜色不同。图6(c)的图像数据中拍摄的物品与图5所示的图像数据中拍摄的物品的形状以及颜色相同，因此判定为是相同的物品。因此，在该情况下，在上述步骤S140中，将图6(c)的图像数据从保存部22b内削除。之后，返回步骤S20，反复执行上述的处理。

此外，在上述步骤S130中，在不是取出了物品时的情况下(否)，即在用户仅将手取出放入而未将物品取出放入的情况下，返回步骤S20，反复执行上述的处理。

此外，在本实施方式中优选构成为，从图7(b)所示的图像数据中将衣袖32排除，并分别检测物品33和手34。另外，构成为，在分别检测物品33和手34时，通过颜色的不同来进行检测。通过如此地构成，如图7(c)所示那样，对于物品33和手34能够分别制作表示像素的变化量的图像数据35。根据该图像数据35，能够对于物品33和手34分别观察像素的变化量。

此外，在本实施方式中构成为，在冷藏室2内的上部的架板14的上侧配设有2个摄像机16、17。对这2个摄像机16、17进行的拍摄的优点进行说明。如图8(a)所示那样，在第一摄像机16与物品33以及手34的位置关系偏移的情况下，如图8(b)所示那样，在由第一摄像机16拍摄到的图像数据中，物品33会被中断地拍摄。在这样的情况下，如图8(c)所示那样，当通过处于物品33的侧方的第二摄像机17对物品33以及手34进行拍摄时，如图8(d)所示那样，在所拍摄到的图像数据中拍摄有物品33的整体图像。因此，能够通过某一个摄像机16、17对物品33的整体图像进行捕捉拍摄。然后，对于这2个图像数据，根据像素数、拍摄的程度，将良好地拍有物品33的整体图像的图像数据作为物品的图像数据而保存于保存部22b。

在如此构成的本实施方式中构成为，具备配设于冰箱的开口部周边并对通过开口部的物品进行拍摄的摄像机16～21，并具备基于由摄像机16～21拍摄到的图像数据的变化量来检测物品的取出放入的控制部22。根据该构成，基于由摄像机16～21拍摄到的图像数据的变化量来检测物品的取出放入，因此能够确认隐藏在架的深处的物品，能够几乎无遗漏地确认冷藏室2、蔬菜室3、冷冻室4内所收纳的物品。因此，能够基于对于箱内取出放入的物品的确认结果，自动地管理箱内的收纳物。

此外，在本实施方式中构成为，将所检测到的物品且是箱内所收纳的物品的图像数据保存于保存部22b，因此能够基于所保存的图像数据来进行数据处理，因此能够极其细致地管理箱内的收纳物。

在上述实施方式中构成为，将在打开了未收纳物品的冰箱的门时由摄像机16～21拍摄到的图像数据保存为模板图像，将该模板图像与由摄像机16～21对物品进行拍摄而得到的图像数据进行比较，由此提取图像数据的变化量。根据该构成，能够正确地检测图像数据的变化量。

在上述实施方式中构成为，从向箱内放入手起到取出手为止，通过摄像机16～21连续地拍摄，在所拍摄到的全部图像数据中，在拍有物品的图像数据是在前半部分拍摄到的图像数据时，判断为向箱内放入了物品，在拍有物品的图像数据是在后半部分拍摄到的图像数据时，判断为从箱内取出了物品。根据该构成，能够正确地判定是向箱内放入了物品、还是从箱内取出了物品。

在上述实施方式中构成为，从图像数据中提取手的图像，由此分别检测手和物品，因此能够正确地检测物品对于箱内的取出放入、即物品的移动。

在上述实施方式构成为，在从图像数据中检测到手和物品时，将衣袖部分的图像排除，因此能够将不需要的图像信息排除，因此能够正确地检测手和物品。

在上述实施方式构成为，在冰箱的开口部周边配设多个摄像机16～21，因此能够从由多个摄像机16～21拍摄到的图像数据中选择而保存良好地拍有物品的整体图像的图像数据。

在上述实施方式构成为，将保存部22b所保存的图像数据、与从箱内取出了物品时的物品的图像数据进行比较，将拍摄有相同物品的图像数据从保存部22b削除。根据该构成，能够自动地削除从箱内取出的物品的图像数据。

在上述实施方式中构成为，开始取得用于图像处理的图像数据的时刻，设为由摄像机16～21开始拍摄到物品、手时，在图像数据变得不变化时，结束图像数据的取得。根据该构成，能够使图像数据的拍摄、取得成为所需最小限度，并消除不需要的数据处理。

(第二实施方式)

图9表示第二实施方式。另外，对于与第一实施方式相同的构成赋予相同符号。在该第二实施方式中构成为，使图像数据的图像识别处理等计算中使用的像素数减少。

具体地说，如图9(a)所示那样，在通过第一摄像机16对物品33和手34进行了拍摄的情况下，拍摄到图9(b)所示那样的图像数据。在第二实施方式中构成为，在对图像数据的像素进行处理时，如图9(c)所示那样，对于像素的纵列，每次1个像素量地跳过像素的纵列而进行计算，此外，在像素无变化的部位，能够大幅度减少进行计算的像素的数据量。由此，能够将像素数据的计算次数抑制到一半以下，因此能够大幅度减少图像处理所需要的时间。

另外，除了上述以外的第二实施方式的构成成为与第一实施方式的构成相同的构成。因此，在第二实施方式中，也能够得到与第一实施方式大致相同的作用效果。

(第三实施方式)

图10至图13表示第三实施方式。另外，对于与第一实施方式相同的构成赋予相同符号。在该第三实施方式中构成为，将控制部22的保存部22b所保存的多个图像数据显示于信息终端30的显示器而能够进行阅览。

如图10所示那样，控制部22构成为，将保存部22b所保存的多个图像数据经由无线通信部31以及互联网等向作为信息终端30的例如个人计算机36发送，在个人计算机36中构成为，将接收到的图像数据显示于显示器37。控制部22具有作为通信控制部的功能。另外，在上述图像数据中附属有拍摄时间的信息、拍摄图像了的摄像机的设置位置的信息、物品的收纳位置的信息、物品的种类、形状、颜色等信息，因此在个人计算机36中能够按照上述各信息对图像数据进行检索或者分类(英文：sort)，能够选择用户想要知道的图像数据来阅览。

在图11至图13中表示如下构成的例子：将保存部22b所保存的多个图像数据，经由无线通信部31以及互联网等向作为信息终端30的例如智能手机38发送，在智能手机38中将接收到的图像数据显示于显示器39。

在图11中，将图像数据按照时间·日期进行分组而显示。在图12中，将图像数据按照所拍摄的物品的颜色进行分组而显示。在图13中，将图像数据按照拍摄了图像的摄像机的设置场所来进行分组而显示。

此外，在本实施方式中构成为，控制部22能够在设置于冰箱的操作板的显示器29上显示保存部22b所保存的多个图像数据。在该构成的情况下也构成为，能够按照图像数据中附属的上述各信息对图像数据进行检索或者分类，选择用户想要知道的图像数据进行显示。控制部22具有作为显示控制部的功能。

另外，除了上述以外的第三实施方式的构成成为与第一实施方式的构成相同的构成。因此，在第三实施方式中，也能够得到与第一实施方式大致相同的作用效果。

(其他实施方式)

在以上说明了的多个实施方式的基础上，也可以施加以下那样的构成。

在上述各实施方式中构成为，在冷藏室2内的下层的架板15的上侧以及下侧的收纳空间中，在冷藏室2的内侧面设置第三摄像机18、第四摄像机19，但也可以构成为在各收纳空间的顶棚部配设摄像机。

此外，在上述各实施方式中构成为，在蔬菜室3或者冷冻室4内，在各顶棚部设置第五摄像机20、第六摄像机21，但也可以构成为在蔬菜室3或者冷冻室4的各内侧面也配设摄像机。

对本发明的几个实施方式进行了说明，但这些实施方式是作为例子提示的，不意图限定发明的范围。这些新的实施方式能够以其他各种方式来实施，在不脱离发明的主旨的范围内能够进行各种省略、置换、变更。这些实施方式、其应变包含于发明的范围、主旨，并且包含于专利请求的范围记载的发明和其等同的范围。

Claims (11)

1.一种冰箱，具备：

摄像机，配设于冰箱的开口部周边，对通过上述开口部的物品进行拍摄；以及

检测部，基于由上述摄像机拍摄到的图像数据的变化量来检测物品的取出放入。

2.如权利要求1所述的冰箱，其中，

具备保存部，该保存部保存由上述检测部检测到的物品、且是箱内所收纳的物品的图像数据。

3.如权利要求2所述的冰箱，其中，

上述检测部构成为，在打开了未收纳物品的冰箱的门时，将由上述摄像机拍摄到的图像数据保存为模板图像，通过将该模板图像与由上述摄像机对物品进行了拍摄的图像数据进行比较，由此提取图像数据的变化量。

4.如权利要求1～3任一项所述的冰箱，其中，

上述检测部构成为，从将手放入箱内起到取出手为止，由上述摄像机连续地进行拍摄，在所拍摄到的全部图像数据中，在拍有物品的图像数据为在前半部分拍摄到的图像数据时，判断为向箱内放入了物品，在拍有物品的图像数据为在后半部分拍摄到的图像数据时，判断为从箱内取出物品。

5.如权利要求1～3任一项所述的冰箱，其中，

上述检测部构成为，通过从图像数据中提取手的图像，由此分别检测手和物品。

6.如权利要求1～3任一项所述的冰箱，其中，

上述检测部构成为，在从图像数据中检测手和物品时，将衣袖部分的图像排除。

7.如权利要求1～3任一项所述的冰箱，其中，

上述摄像机构成为，具有配设在冰箱的开口部周边的多个摄像机。

8.如权利要求2或3所述的冰箱，其中，

被构成为，将上述保存部所保存的图像数据、与从箱内取出了物品时的上述物品的图像数据进行比较，从上述保存部削除拍摄有相同物品的图像数据。

9.如权利要求1～3任一项所述的冰箱，其中，

上述检测部构成为，开始取得用于图像处理的图像数据的时刻，设为由上述摄像机开始拍摄到物品、手时，在图像数据变得不变化时，结束图像数据的取得。

10.如权利要求1～3任一项所述的冰箱，其中，

上述检测部构成为，在对图像数据进行图像处理时，使处理所使用的像素数减少。

11.如权利要求2或3所述的冰箱，具备：

显示控制部，使上述保存部所保存的图像数据显示在设置于冰箱的显示器；以及

通信控制部，将上述保存部所保存的图像数据向信息终端发送。