CN109631485A - 冷藏库 - Google Patents

Abstract

本发明的冷藏库在第1拍摄时刻进行摄像机的拍摄，将第1拍摄时刻的拍摄图像作为入库时图像保存在存储部中。另外，本发明的冷藏库在第2拍摄时刻进行摄像机的拍摄，将第2拍摄时刻的拍摄图像作为出库时图像保存在存储部中。而且，本发明的冷藏库基于入库时图像和出库时图像，获取入库到收纳室的食品和从收纳室出库的食品的信息。

Description

冷藏库

技术领域

本发明涉及一种冷藏库。

背景技术

在日本特开2016-57022号公报(以下称作文献1)中提出了一种冷藏库，其在食品收纳室的中央部设置有库内摄像机，在收纳室的门开闭时用库内摄像机拍摄收纳室内，从时间序列的拍摄图像中并排地输出收纳食品时的图像和当前的图像。在文献1所述的冷藏库中，根据收纳室内的食品的配置状况，有时食品在库内摄像机的拍摄方向上重叠而无法根据拍摄图像识别一部分食品。

因此，在日本特开2015-81762号公报(以下称作文献2)中提出了一种冷藏库，其设置有检测收纳室的门的开闭的开关；和将收纳室的开口部作为拍摄范围的摄像机，而且不是拍摄收纳在收纳室中的食品，而是当门打开时拍摄从开口部入库或者出库的食品。

发明内容

在上述文献2中所述的冷藏库中，在检测出收纳室的门打开时，拍摄通过收纳室的开口部的食品。因此，根据用户从打开门至食品入库或出库的时机，有时无法拍摄食品。另外，拍摄的不是食品而是门储物盒(door pocket)的一部分等，有可能会将食品以外的物品误识别为食品。

本发明鉴于所述技术背景，目的在于提供一种能够更加可靠地获得入库到收纳室的食品、和从收纳室出库的食品的信息的冷藏库。

为了解决所述现有的课题，本发明的冷藏库包括：具有开口部的收纳室；开闭上述开口部的开闭部；检测上述开闭部的开闭状态的开闭传感器；能够拍摄包含上述开口部在内的拍摄范围的摄像机；存储部；和食品信息获取部，其在由上述开闭传感器检测出上述开闭部从关闭状态切换为打开状态时至由上述开闭传感器检测出上述开闭部从打开状态切换为关闭状态的期间，在设想入库到上述收纳室的食品通过上述开口部的时刻而设定的第1拍摄时刻，进行上述摄像机的拍摄，将上述第1拍摄时刻的拍摄图像作为入库时图像保存在上述存储部中，在设想从上述收纳室出库的食品通过上述开口部的时刻而设定的第2拍摄时刻，进行上述摄像机的拍摄，将上述第2拍摄时刻的拍摄图像作为出库时图像保存在上述存储部中，基于上述入库时图像和上述出库时图像，获取入库到上述收纳室的食品和从上述收纳室出库的食品的信息。

由此，食品信息获取部将在设想入库到收纳室入库的食品通过收纳室的开口部的时刻的第1拍摄时刻拍摄到的入库时图像、和在设想从收纳室出库的食品通过开口部的时刻的第2拍摄时刻拍摄到的出库时图像保存在存储部中。食品信息获取部基于包含食品的图像部分的可能性大的入库时图像和出库时图像，能够更可靠地获取入库到收纳室的食品和从收纳室出库的食品的信息。

根据本发明的冷藏库，通过设想入库到收纳室的食品和从收纳室出库的食品通过收纳室的开口部的时刻，利用摄像机拍摄开口部附近，能够更可靠地获取入库到收纳室的食品和从收纳室出库的食品的信息。

附图说明

图1是通过终端装置确认收纳在设置于房屋中的冷藏库的食品状况的结构的说明图。

图2是冷藏库的外观说明图。

图3是通过从右侧看的截面图表示冷藏库的库内结构的说明图。

图4是通过从正面看的截面图表示冷藏室的内部结构的说明图。

图5是控制单元的结构图。

图6是表示控制单元的整体处理的流程图。

图7是摄像处理的流程图。

图8是重量信息处理的流程图。

图9是入库时图像的分析处理的流程图。

图10是出库时图像的分析处理的流程图。

图11是重量传感器修正处理的流程图。

图12是库内食品管理处理的第1流程图。

图13是库内食品管理处理的第2流程图。

图14是库内食品列表和保质期基准列表的说明图。

图15是摄像处理的另一实施方式的流程图。

具体实施方式

第1发明的冷藏库包括：具有开口部的收纳室；开闭上述开口部的开闭部；检测上述开闭部的开闭状态的开闭传感器；能够拍摄包含上述开口部在内的拍摄范围的摄像机；存储部；和食品信息获取部，其在由上述开闭传感器检测出上述开闭部从关闭状态切换为打开状态时至由上述开闭传感器检测出上述开闭部从打开状态切换为关闭状态的期间，在设想入库到上述收纳室的食品通过上述开口部的时刻而设定的第1拍摄时刻，进行上述摄像机的拍摄，将上述第1拍摄时刻的拍摄图像作为入库时图像保存在上述存储部中，在设想从上述收纳室出库的食品通过上述开口部的时刻而设定的第2拍摄时刻，进行上述摄像机的拍摄，将上述第2拍摄时刻的拍摄图像作为出库时图像保存在上述存储部中，基于上述入库时图像和上述出库时图像，获取入库到上述收纳室的食品和从上述收纳室出库的食品的信息。

根据第1发明，食品信息获取部将在设想入库到收纳室入库的食品通过收纳室的开口部的时刻的第1拍摄时刻拍摄到的入库时图像、和在设想从收纳室出库的食品通过开口部的时刻的第2拍摄时刻拍摄到的出库时图像保存在存储部中。食品信息获取部基于包含食品的图像部分的可能性大的入库时图像和出库时图像，能够更可靠地获取入库到收纳室的食品和从收纳室出库的食品的信息。

第2发明的冷藏库包括：检测收纳室内的照度的照度传感器；和拍摄时刻设定部，其基于由上述开闭传感器检测出上述开闭部从关闭状态切换为打开状态时的上述照度传感器的检测照度来设定第1基准照度和第2基准照度，基于上述照度传感器的检测照度变为上述第1基准照度以下的时刻来设定上述第1拍摄时刻，基于上述照度传感器的检测照度变为上述第1基准照度以下后变为上述第2基准照度以上的时刻来设定上述第2拍摄时刻。

根据第2发明，根据收纳室中的物体(食品、用户的手等)的存在状况，收纳室内的照度发生变化。因此，能够根据由照度传感器检测的收纳室内的照度的变化，适当设定设想入库到收纳室的食品通过开口部的时刻的第1拍摄时刻、和设想从收纳室出库的食品通过开口部的时刻的第2拍摄时刻。

第3发明的冷藏库包括拍摄时刻设定部，其将由上述开闭传感器检测出上述开闭部从关闭状态切换为打开状态的时刻起经过第1规定时间的时刻设定为上述第1拍摄时刻，将比由上述开闭传感器检测出上述开闭部从打开状态切换为关闭状态的时刻早第2规定时间的时刻设定为上述第2拍摄时刻。

根据第3发明，从用户打开收纳室的开闭部至将食品入库的时间、和用户将食品从收纳室出库至关闭开闭部的时间，由于维持了收纳室内的保冷状态，所以能够期待为较短的一定时间。因此，通过设定第1规定时间和第2规定时间这样简单的结构，就能设定第1拍摄时刻和第2拍摄时刻。

第4发明的冷藏库中，上述食品信息获取部，在从经过上述第1拍摄时刻至由上述开闭传感器检测出上述开闭部从打开状态切换为关闭状态的期间，反复执行上述摄像机的拍摄并将拍摄图像保存在上述存储部中，在由上述开闭传感器检测出上述开闭部从打开状态切换为关闭状态时，将在比由上述开闭传感器检测出上述开闭部从打开状态切换为关闭状态的时刻早上述第2规定时间的时刻进行了拍摄并存储在上述存储部中的拍摄图像作为上述出库时图像进行保存。

根据第4发明，所述食品信息获取部在从经过所述第1拍摄时刻至由开闭传感器检测出开闭部从打开状态切换为关闭状态的期间，反复执行摄像机的拍摄并将拍摄图像保存在存储部中。由此，能够将在比由开闭传感器检测出开闭部从打开状态切换为关闭状态的时刻早第2规定时间的时刻的拍摄图像作为出库时图像进行保存。

以下，参照附图对本发明的实施方式进行说明。此外，本发明并非局限与本实施方式。

[1.冷藏库的使用方式]

图1表示本实施方式的冷藏库的使用方式。本实施方式的冷藏库1设置于房屋内H，具有通过网关500和通信网络510与管理服务器520之间进行通信的功能。另外，冷藏库1还具有与终端装置(智能手机、平板终端等)400之间进行通信的功能。终端装置400具有通过网关500和通信网络510与管理服务器520之间进行通信的功能。

设置在冷藏库1中的控制单元100控制冷藏库1的整体的工作，同时生成表示收纳在冷藏库1的收纳室中的食品信息的库内食品列表131并将其发送给管理服务器520。在终端装置400中运行的冷藏库的管理用应用程序，从管理服务器520获取库内食品列表131的数据、或者从冷藏库1获取库内食品列表131的数据。然后，管理用应用程序基于库内食品列表131，在显示部上显示收纳在冷藏库1中的食品信息。冷藏库1的用户P通过视认终端装置400的显示，能够确认收纳在冷藏库1中的食品的状况(食品名称、保质期、剩余量等)。

[2.冷藏库的结构]

参照图2～图5，对冷藏库1的结构进行说明。图2是表示冷藏库1的外观的说明图。如图2所示，冷藏库1包括在前面开口的主箱体2。在主箱体2内形成有冷藏室10(相当于本发明的收纳室)、制冰室30、与制冰室30并排设置的能够变更库内温度的切换室20、冷冻室40、和蔬菜室50。

在冷藏室10前面的开口部设置有旋转式的右门11和左门12(相当于本发明的开闭部)。另外，在切换室20、制冰室30、冷冻室40和蔬菜室50中分别设置有收纳食品的抽屉21、31、41、51。

接着，图3是通过从右侧看的截面图表示冷藏库1的库内结构的说明图，图4是通过从正面看的截面图表示冷藏室10的内部结构的说明图。参照图3、图4，在冷藏室10中配置有将冷藏室10划分成子区域的上搁板13、中搁板14、下搁板15。另外，在冷藏室10中还设置有检测放置在上搁板13上的食品的重量的重量传感器13a、13b；检测放置在中搁板14上的食品的重量的重量传感器14a、14b；和检测放置在下搁板15上的食品的重量的重量传感器15a、15b。另外，在冷藏室10中还设置有照亮冷藏室10内的照明部16a～16f、检测冷藏室10内的照度的照度传感器17a～17c、和摄像机60。

摄像机60以将开口部10a包括在拍摄范围内的方式配置于冷藏室10上部的开口部10a附近，拍摄从开口部10a至各个搁板13、14、15的前端附近的范围。另外，作为构成制冷循环的辅机的压缩机61、冷却风扇62、冷却器63和冷凝器64设置于冷藏库1中。另外，在冷藏室10的背面还配置有用于使冷气流通的冷藏室管道70和冷气排出口71～73。

在冷藏室10中设置有检测右门11的开闭的开闭传感器18b、和检测左门12的开闭的开闭传感器18a。开闭传感器18b在右门11关闭时输出关闭检测信号，在右门11打开时输出打开检测信号。同样，开闭传感器18a在左门12关闭时输出关闭检测信号，在左门12打开时输出打开检测信号。

在切换室20中设置有检测开口部20a的开闭的开闭传感器22。开闭传感器22在抽屉21收纳在切换室20中时输出关闭检测信号，在抽屉21没有收纳在切换室20中时输出打开检测信号。

同样，在制冰室30中设置有检测抽屉31对开口部30a的开闭的开闭传感器32。另外，在冷冻室40中设置有检测抽屉41对开口部40a的开闭的开闭传感器42，在蔬菜室50中设置有检测抽屉51对开口部50a的开闭的开闭传感器52。开闭传感器32、42、52与开闭传感器22同样，输出关闭检测信号与打开检测信号。

下面，图5是控制单元100的结构图。参照图5，控制单元100是由CPU(CentralProcessing Unit，中央处理器)110、图像处理部120、存储部130、无线通信部140、日期时刻识别部141、和未图示的接口电路等构成的电子电路单元。

CPU110通过运行保存在存储部130中的冷藏库1的控制用程序，作为通过物体检测部111、收纳量识别部112、出入库判定部113、食品信息获取部114、食品信息管理部115、和拍摄时刻设定部116发挥功能。

控制单元100与开闭传感器18a、18b、22、32、42、52、照度传感器17a、17b、17c、重量传感器13a、13b、14a、14b、15a、15b、摄像机60、照明部16a、16b、16c、16d、16e、16f、和制冷循环辅机61、62、63、64连接。

向控制单元100输入开闭传感器18a、18b、22、32、42、52、照度传感器17a、17b、17c、和重量传感器13a、13b、14a、14b、15a、15b的检测信号等。另外，根据从控制单元100输出的控制信号，控制照明部16a、16b、16c、16d、16e、16f、和制冷循环辅机61、62、63、64等的工作。

另外，根据从控制单元100输出的控制信号，通过图像处理部120控制摄像机60的拍摄。图像处理部120将从摄像机60输出的影像信号转换成数字的调谐信号而生成拍摄图像，将拍摄图像的数据保存在图像存储器121中。图像处理部120根据从CPU110输出的控制信号，对保存在图像存储器121中的拍摄图像进行处理。

日期时刻识别部141对从设置于控制单元100中的时钟电路(未图示)输出的时钟信号进行计时来识别当前的日期时刻(日期和时刻)。此外，也可以通过与管理服务器520的通信，从管理服务器520获取当前的日期时刻信息，从而识别当前的日期时刻。

在存储部130中，除了保存库内食品列表131的数据之外，还保存记录着入库到冷藏室10的食品信息的入库食品信息132、和记录着从冷藏室10出库的食品信息的出库食品信息133的数据。另外，在存储部130中还保存着各种食品的样品图像134、和表示各种食品的一般保质期的保质期基准列表135的数据。

通过物体检测部111基于由照度传感器17a、17b、17c检测的冷藏室10内的照度变化，检测通过冷藏室10的开口部10a的物体。收纳量识别部112基于重量传感器13a、13b、14a、14b、15a、15b的检测信号，通过重量识别收纳在冷藏室10的上搁板13、中搁板14和下搁板15上的食品量。

收纳量识别部112基于重量传感器13a、13b的检测信号识别收纳在上搁板13上的食品重量，基于重量传感器14a、14b的检测信号识别收纳在中搁板14上的食品重量。另外，收纳量识别部112基于重量传感器15a、15b的检测信号，检测收纳在下搁板15上的食品重量。

在由通过物体检测部111检测出通过冷藏室10的开口部10a的物体时，出入库判定部113基于由收纳量识别部112识别的放在各个搁板13、14、15上的食品量(重量)的变化，判定食品向冷藏室10入库和食品从冷藏室10出库。

食品信息获取部114利用摄像机60拍摄通过冷藏室10的开口部10a的物体。然后，在由出入库判定部113判定出食品向冷藏室10入库或者食品从冷藏室10出库时，从拍摄图像提取食品的图像部分。

食品信息获取部114识别包含在食品的图像部分中的字符，或者通过提取食品的图像部分的特征，获取入库或者出库的食品的食品名称、净含量、原产地、保质期等信息。然后，对于判定为入库的食品(入库食品)，食品信息获取部114将获取到的信息记录到入库食品信息132中，对于判定为出库的食品(出库食品)，食品信息获取部114将获取到的信息记录到出库食品信息133中。

食品信息管理部115基于由收纳量识别部112识别出的冷藏室10内的食品重量、由食品信息获取部114所记录的入库食品信息132和出库食品信息133等，更新记录在库内食品列表131中的食品信息。

拍摄时刻设定部116设定在由开闭传感器18a、18b检测出右门11或者左门12从关闭状态切换为打开状态时至右门11和左门12均变成关闭状态的期间，利用摄像机60进行拍摄的时刻。拍摄时刻设定部116设定设想入库到冷藏室10的食品通过开口部10a的时刻的第1拍摄时刻、和设想从冷藏室10出库的食品通过开口部10a的时刻的第2拍摄时刻。

[3.由控制单元实施的处理]

下面，参照图6～图14，对由控制单元100执行的关于收纳在冷藏室10中的食品管理的处理进行说明。

图6是表示控制单元100所执行的一系列处理的概要的流程图。控制单元100分别在步骤S1中执行“摄像处理”，在步骤S2中执行“重量信息处理”，在步骤S3中执行“图像分析处理”，在步骤S4中执行“重量传感器修正处理”，在步骤S5中执行“库内食品管理处理”。下面，对各处理的详细情况进行说明。

[3-1.摄像处理]

根据图7所示的流程图，对“摄像处理”的执行步骤进行说明。“摄像处理”由通过物体检测部111、食品信息获取部114和拍摄时刻设定部116来实施。食品信息获取部114在从步骤S10中根据开闭传感器18a、18b的检测信号识别出冷藏室10的右门11和左门12的一者或两者从关闭状态切换为打开状态时，至步骤S15中识别出右门11和左门12两者变成关闭状态的期间，在第1拍摄时刻和第2拍摄时刻进行摄像机60的拍摄。

食品信息获取部114在步骤S10中，识别出冷藏室10的右门11和左门12的一者或两者从关闭状态切换为打开状态时，进入步骤S10中的处理。步骤S11～S14是由通过物体检测部111和拍摄时刻设定部116实施的处理。在本实施方式中，由通过物体检测部111与拍摄时刻设定部116的组合结构，构成本发明的拍摄时刻设定部。

在步骤S11中，通过物体检测部111利用照度传感器17a、17b、17c检测冷藏室10的上搁板13、中搁板14和下搁板15的各照度(由搁板划分出的各个空间的照度)。然后，通过物体检测部111将检测出的上搁板13的照度作为上基准照度，将中搁板14的照度作为中基准照度，将下搁板15的照度作为下基准照度。通过物体检测部111将上基准照度、中基准照度和下基准照度的数据保存在存储部130中。

上基准照度、中基准照度和下基准照度是指，冷藏室10的右门11和左门12的一者或两者打开且物体(用户的手、食品等)通过冷藏室10的开口部10a之前的状态下的各个搁板13、14、15的照度。此外，考虑检测照度的误差和变动，也可以将上基准照度、中基准照度和下基准照度设定成比各个照度传感器17a、17b、17c的检测照度稍低或稍高的照度。

另外，也可以将在后述的步骤S13中使用的上基准照度、中基准照度和下基准照度与在步骤S14中使用的上基准照度、中基准照度和下基准照度设定成不同的值。在此情况下，在步骤S13中使用的上基准照度、中基准照度和下基准照度相当于本发明的第1基准照度，在步骤S14中使用的上基准照度、中基准照度和下基准照度相当于本发明的第2基准照度。

在接下来的步骤S12中，通过物体检测部111利用照度传感器17a、17b、17c分别检测上搁板13、中搁板14和下搁板15的照度。然后，通过物体检测部111在下一个步骤S13中，判断是否有检测照度比基准照度低规定水平以上的搁板。具体来讲，通过物体检测部111判断以下(1)～(3)的各个条件是否成立。

(1)照度传感器17a的检测照度从“上基准照度”变为“上基准照度-α”以下。

(2)照度传感器17b的检测照度从“中基准照度”变为“中基准照度-α”以下。

(3)照度传感器17c的检测照度从“下基准照度”变为“下基准照度-α”以下。

其中，α：是设想物体(食品、用户的手等)进入上搁板13、中搁板14或下搁板15内时产生的照度下降，通过实验和计算机模拟等决定的阈值设定用常数。此外，α既可以对于上基准照度、中基准照度和下基准照度为共用的值，也可以对于上基准照度、中基准照度和下基准照度单独设定为不同的值。

通过物体检测部111在上述(1)～(3)的至少一个成立时，判断为物体通过了开口部10a。在此，在上述(1)～(3)的至少一个成立时，设想用户为了将食品放入冷藏室10中(入库)或者为了从冷藏室10中取出食品(出库)，或者为了进行冷藏室10中的食品位置变更等，将手伸入冷藏室10内。然后，在此情况下，通过物体检测部111能够判断为物体(用户的手、用户手中的食品等)通过了冷藏室10的开口部10a。

因此，在步骤S13中，拍摄时刻设定部116将由通过物体检测部111判断为上述(1)～(3)的至少一个成立的时刻设定为第1拍摄时刻，进入步骤S20的处理。第1拍摄时刻是设想入库到冷藏室10的食品通过开口部10a的时刻而设定的时刻。此外，在步骤S13中，也可以将从由通过物体检测部111判断为上述(1)～(3)的至少一个成立的时刻经过规定时间后的时刻设定为第1拍摄时刻。

另一方面，在上述(1)～(3)均不成立时，拍摄时刻设定部116进入步骤S14的处理。步骤S14是由通过物体检测部111和拍摄时刻设定部116实施的处理。通过物体检测部111判断是否有检测照度从“基准照度-β”以下变为“基准照度”以上的搁板。具体来讲，通过物体检测部111判断以下的(4)～(6)的各个条件是否成立。

(4)照度传感器17a的检测照度从“上基准照度-β”以下变为“上基准照度”以上。

(5)照度传感器17b的检测照度从“中基准照度-β”以下变为“中基准照度”以上。

(6)照度传感器17c的检测照度从“下基准照度-β”以下变为“下基准照度”以上。

其中，β：是设想进入上搁板13、中搁板14或者下搁板15中的物体(食品、用户的手等)通过开口部10a并来到冷藏室10外时产生的照度升高，通过实验和计算机模拟等决定的阈值决定用常数。此外，β既可以对于上基准照度、中基准照度和下基准照度为共用的值，也可以对于上基准照度、中基准照度和下基准照度单独设定为不同的值。

通过物体检测部111在上述(4)～(6)的至少一个成立时，判断为存在于冷藏室10内的物体(食品、用户的手等)从冷藏室10中取出并通过开口部10a。在此，在上述(4)～(6)的至少一个成立时，设想用户为了将食品放入冷藏室10中(入库)或者为了从冷藏室10中取出食品(出库)，或者为了进行收纳在冷藏室10中的食品位置的变更等，将伸入冷藏室10内的手收回。然后，在此情况下，通过物体检测部111能够判断为物体(用户的手、用户手中的食品等)通过了冷藏室10的开口部10a。

于是，在步骤S14中，拍摄时刻设定部116将由通过物体检测部111判断为上述(4)～(6)的至少一个成立的时刻设定为第2拍摄时刻，进入步骤S22的处理。第2拍摄时刻是设想从冷藏室10出库的食品通过开口部10a的时刻而设定的时刻。此外，在步骤S14中，也可以将从由通过物体检测部111判断为上述(4)～(6)的至少一个成立的时刻经过规定时间后的时刻设定为第2拍摄时刻。

另一方面，在上述(4)～(6)均不成立时，通过物体检测部111进入步骤S15的处理。在步骤S15中，通过物体检测部111根据开闭传感器18a、18b的检测信号判断冷藏室10的右门11和左门12是否均被关闭。通过物体检测部111在右门11和左门12均被关闭时，结束“摄像处理”。另一方面，在右门11和左门12的至少一者打开时，通过物体检测部111进入步骤S12的处理。

接着，步骤S20～S21和步骤S22～S23是由食品信息获取部114实施的处理。在步骤S20中，食品信息获取部114通过图像处理部120利用摄像机60拍摄包括冷藏室10的开口部10a的范围。在接下来的步骤S21中，食品信息获取部114将在步骤S20中拍摄到的图像数据作为“入库时图像”数据保存在存储部130中，进入步骤S15中的处理。此外，也可以进行多次拍摄，将多个图像数据作为“入库时图像”数据保存在存储部130中。

另外，在步骤S22中，食品信息获取部114通过图像处理部120利用摄像机60拍摄包括冷藏室10的开口部10a的范围。在接下来的步骤S23中，食品信息获取部114将在步骤S22中拍摄到的图像数据作为“出库时图像”数据保存在存储部130中，进入步骤S15中的处理。此外，也可以进行多次拍摄，将多个图像数据作为“出库时图像”数据保存在存储部130中。

基于图7所示的“摄像处理”，通过物体检测部111基于由照度传感器17a、17b、17c检测的上搁板13、中搁板14或者下搁板15的照度变化，检测通过冷藏室10的开口部10a的物体。

另外，将由通过物体检测部111检测出通过开口部10a后进入其中一个搁板13、14、15中的物体的时刻的作为开口部10a附近的拍摄图像的“入库时图像”保存在存储部130中。另外，将由通过物体检测部111检测出从某个搁板13、14、15取出后通过开口部10a的物体的时刻的作为开口部10a附近的拍摄图像的“出库时图像”保存在存储部130中。

此外，在图7的步骤S15中，在检测出右门11与左门12关闭之前，在步骤S13中多次检测出通过开口部10a的物体时，根据步骤S20～S21，进行多个“入库时图像”的拍摄和保存。对于根据后述的“重量信息处理”判定为入库的食品的“入库时图像”，分别执行“图像分析处理”。

同样，在图7的步骤S15中，在检测出右门11和左门12关闭之前，在步骤S14中多次检测出通过开口部10a的物体时，根据步骤S22～S23，进行多个“出库时图像”的拍摄和保存。对于根据后述的“重量信息处理”判定为出库的食品的“出库时图像”，分别执行“图像分析处理”。

[3-2.重量信息处理]

下面，根据图8所示的流程图，对“重量处理”的执行步骤进行说明。“重量信息处理”由出入库判定部113和食品信息获取部114来执行。

图8的步骤S30～S33和S40是由出入库判定部113实施的处理。在步骤S30中，出入库判定部113由收纳量识别部112识别各个搁板13、14、15的重量并将其保存在存储部130中。在接下来的步骤S31中，在由通过物体检测部111在图7的步骤S13或者步骤S14中检测出通过冷藏室10的开口部10a的物体时(有物体出入冷藏室10时)，出入库判定部113进入步骤S32中的处理。

在步骤S32中，出入库判定部113利用收纳量识别部112识别各个搁板13、14、15的重量。在接下来的步骤S33中，针对在步骤S30中识别出的重量，出入库判定部113判断是否有在步骤S32中识别出的重量增加的搁板。在有重量增加的搁板时(在此情况下，能够判断为食品已入库到冷藏室10中)，出入库判定部113进入步骤S34中的处理。

另一方面，在没有重量增加的搁板时，出入库判定部113从步骤S33进入步骤S40的处理，针对在步骤S30中识别出的重量，判断是否有在步骤S32中识别出的重量减少的搁板。在有重量减少的搁板时(在此情况下，能够判断为食品已从冷藏室10出库)，出入库判定部113进入步骤S41的处理。另外，在没有重量增加的搁板时(在此情况下，能够判断为没有食品向冷藏室10入库和食品从冷藏室10出库)，出入库判定部113进入步骤S36的处理，结束“重量信息处理”。

步骤S34～S35和步骤S41是由食品信息获取部114实施的处理。在步骤S34中，食品信息获取部114根据由收纳量识别部112识别出的各个搁板13、14、15左右的重量来推算入库食品的收纳位置。

在接下来的步骤S35中，食品信息获取部114在入库食品信息132(参照图5)中记录入库食品的重量与收纳位置的信息，然后进入步骤S36中的处理，结束“重量信息处理”。为了在库内食品列表131中进行信息的追加、更新等，暂时将入库食品信息132的数据保存在存储部130中。

另外，在步骤S41中，食品信息获取部114在出库食品信息133(参照图5)中记录出库食品的重量信息，然后进入步骤S36中的处理，结束“重量信息处理”。为了在库内食品列表131中进行食品信息的追加、更新等，暂时将出库食品信息133的数据保存在存储部130中。

[3-3.图像分析处理]

下面，根据图9、图10所示的流程图，对“图像分析处理”的执行步骤进行说明。“图像分析处理”由食品信息获取部114来执行。图9是对于入库到冷藏室10的食品，从“入库时图像”获取信息的处理。另外，图10是对于从冷藏室10出库的食品，从“出库时图像”获取信息的处理。

首先，参照图9，对针对“入库时图像”的“图像分析处理”进行说明。在图9的步骤S50中，对于入库食品的“入库时图像”，食品信息获取部114利用图像处理部120执行字符提取处理。此处，入库食品是指，在图8的步骤S33中，由出入库判定部113判定为已入库到冷藏室10中的食品。另外，入库食品的“入库时图像”是指，对于在图8的步骤S33中判定为入库的食品，在图7的步骤S20、S21中由食品信息获取部114拍摄和保存的“入库时图像”。

在接下来的步骤S51中，食品信息获取部114利用图像处理部120判断是否从“入库时图像”中提取了字符。然后，在提取了字符时，食品信息获取部114进入步骤S52中的处理，在没有提取字符时，进入步骤S60中的处理。

在步骤S52中，食品信息获取部114分析由图像处理部120提取出的字符信息。然后，在接下来的步骤S53中，食品信息获取部114根据字符信息，获取食品名称、保质期、产地、净含量等入库食品的信息。在接下来的步骤S54中，食品信息获取部114将获取到的入库食品的信息记录在入库食品信息132中，结束“图像分析处理”。

另外，在步骤S60中，食品信息获取部114利用图像处理部120从“入库时图像”中提取入库食品的图像部分。在接下来的步骤S61中，食品信息获取部114计算提取出的入库食品的图像部分、与预先保存在存储部130中的各种食品样品图像134(参照图5)的一致率。

在接下来的步骤S62中，食品信息获取部114推算并获取一致率最高的样品图像134的食品名称为入库食品的食品名称，进入步骤S54中的处理。根据步骤S60～S62的处理，即使在未能从入库食品的“入库时图像”中提取字符的情况下，也能推算入库食品的食品名称并将其记录在入库食品信息132中。

接着，参照图10，对针对“出库时图像”的“图像分析处理”进行说明。在图10的步骤S70中，针对出库食品的“出库时图像”，食品信息获取部114利用图像处理部120执行字符提取处理。此处，出库食品是指，在图8的步骤S40中，由出入库判定部113判定为从冷藏室10出库的了食品。另外，出库食品的“出库时图像”是指，对于在图8的步骤S40中判定为出库的食品，在图7的步骤S22、S23中由食品信息获取部114拍摄和保存的“出库时图像”。

在接下来的步骤S71中，食品信息获取部114判断是否由图像处理部120从“出库时图像”中提取了字符。然后，在提取了字符时，食品信息获取部114进入步骤S72的处理，在没有提取字符时进入步骤S80的处理。

在步骤S72中，食品信息获取部114分析由图像处理部120所提取出的字符的信息。在接下来的步骤S73中，食品信息获取部114根据字符信息，获取食品名称、保质期、产地、净含量等出库食品的信息。在接下来的步骤S74中，食品信息获取部114将获取到的出库食品的信息记录在出库食品信息133中，结束“图像分析处理”。

另外，在步骤S80中，食品信息获取部114利用图像处理部120从“出库时图像”中提取出库食品的图像部分。在接下来的步骤S81中，食品信息获取部114计算提取出的出库食品的图像部分、与预先保存在存储部130中的各种食品样品图像134的一致率。

在接下来的步骤S82中，食品信息获取部114推算并获取一致率最高的样品图像134的食品名称为出库食品的食品名称，进入步骤S74中的处理。根据步骤S80～S82的处理，在未能从出库食品的“出库时图像”提取字符的情况下，也能推算出库食品的食品名称并将其记录在出库库食品信息133中。

图9的图像分析处理是以判定出向冷藏室10入库时的入库时图像为对象来进行的，图10的图像分析处理是以判定出从冷藏室10出库时的出库时图像为对象来进行的。因此，在由通过物体检测部111检测出右门11或者左门12而非食品时，无法判定为入库或者出库，所以不进行图像分析处理(拍摄图像无效)。由此，能够防止从右门11或者左门12的图像部分获取错误的食品信息。

[3-4.重量传感器修正处理]

根据图11所示的流程图，对用于修正重量传感器13a、13b、14a、14b、15a、15b的检测重量的“重量传感器修正处理”的执行步骤进行说明。“重量传感器修正处理”由收纳量识别部112来执行。“重量传感器修正处理”是用于修正(校正)随时间变化等而可能发生的重量传感器13a、13b、14a、14b、15a、15b的检测误差部分的处理。

在图11的步骤S90中，在由出入库判定部113判定为有食品向冷藏室入库时(在图8的步骤S33中为YES)，收纳量识别部112进入步骤S91中的处理。在步骤S91中，收纳量识别部112判断在入库食品信息132中是否记录了入库食品的净含量信息(图9的步骤S54的处理)。然后，在入库食品信息132中记录着入库食品的净含量(在图9的步骤S53中获取到的食品净含量)的信息时，收纳量识别部112进入步骤S92中的处理。

在步骤S92中，收纳量识别部112计算记录在入库食品信息132中的入库食品的重量与净含量之比。然后，收纳量识别部112将计算出的比例设定为用于入库食品的重量检测的重量传感器的修正系数。例如，在入库食品入库到上搁板13上，由重量传感器13a、13b检测出重量的情况下，收纳量识别部112将计算出的比例设定为重量传感器13a、13b的检测重量的修正系数。

在接下来的步骤S93中，收纳量识别部112将修正系数的数据保存在存储部130中，进入步骤S94中的处理并结束“重量传感器修正处理”。之后，收纳量识别部112将重量传感器13a、13b的检测重量乘以修正系数而得的值作为检测重量。同样，在入库食品被收纳在中搁板14上时，收纳量识别部112设定重量传感器14a、14b的修正系数，在入库食品被收纳在下搁板15上时，设定重量传感器15a、15b的修正系数。

另一方面，在步骤S91中，在净含量信息没有记录在入库食品信息132中的情况下，收纳量识别部112进入步骤S94中的处理并结束“重量传感器修正处理”。在此情况下，不进行修正系数的计算和设定。

[3-5.库内食品管理处理]

根据图12和图13所示的流程图，对用于管理收纳在冷藏室10中的食品信息的“库内食品管理处理”的执行步骤进行说明。“库内食品管理处理”由食品信息管理部115来执行。

食品信息管理部115根据库内食品列表131(参照图5)来管理收纳在冷藏室10中的食品信息。如图14所示，在库内食品列表131中记录着：入库到冷藏室10的食品编号(1、2、3、…)、与作为带编号的各个入库食品的信息，包括食品名称、重量(初次、当前、食用量)、入库出库日期时刻(初次入库、最新出库、最新入库)、库存(1：有，0：无)、保质期和产地等。食品信息管理部115基于由食品信息获取部114记录的入库食品信息132和出库食品信息133，生成和更新库内食品列表131。

在图12的步骤S100中，食品信息管理部115根据出入库判定部113来判断是否判定出食品向冷藏室10入库或者食品从冷藏室10出库，在判定出入库或者出库时，进入步骤S101的处理。在步骤S101中，食品信息管理部115判断是否作出了入库判定，在作出了入库判定时，进入步骤S102中的处理。另一方面，在没有作出入库判定时(作出了出库判定时)，食品信息管理部115进入步骤S110中的处理。

在步骤S102中，食品信息管理部115判断在规定时间以内是否有从冷藏室10出库。在规定时间以内有从冷藏室10出库时，进入步骤S103中的处理，在规定时间以内没有从冷藏室10出库时，进入步骤S111中的处理。此外，根据库内食品列表131能够识别在规定时间以内有从冷藏室10出库。另外，对于规定时间，设想用户使用从冷藏室10出库的食品的一部分后将其返回冷藏室10(再入库)的情况，例如，设定为10分钟左右。

在步骤S103中，食品信息管理部115判断上次出库的食品与本次入库的食品的一致率是否在规定值以上。此处，食品信息管理部115将记录在库内食品列表131中的上次出库的商品信息、与记录在入库食品信息132中的本次入库的商品信息进行对比，根据食品名称、保质期、产地等的一致状况，计算上次出库的食品与本次入库的食品的一致率。

然后，在上次出库的食品与本次入库的食品的一致率为规定值以上时，食品信息管理部115进入步骤S104中的处理，在上次出库的食品与本次入库的食品的一致率小于规定值时，进入步骤S112中的处理。

步骤S104是能够判断为上次出库的食品与本次入库的食品的一致率为规定值以上，且上次出库的食品与本次入库的食品为同一物品时的处理。在步骤S104中，在库内食品列表131中，食品信息管理部115基于记录在入库食品信息132中的信息，更新在规定时间以前出库的食品的当前重量、最新入库日期时刻、食用量(初次入库时与当前的重量之差)，进入图13的步骤S105中的处理。

步骤S112是能够判断为上次出库的食品与本次入库的食品的一致率小于规定值，且上次出库的食品与本次入库的食品为不同物品时的处理。在步骤S112中，在库内食品列表131中，食品信息管理部115基于记录在入库食品信息132中的信息新登记入库食品，进入图13的步骤S105中的处理。

步骤S111是在规定时间以内没有出库时的处理。食品信息管理部115在步骤S111中，在库内食品列表131中，基于记录在入库食品信息132中的信息新登记入库食品，进入图13的步骤S105中的处理。

步骤S110是判定为食品已从冷藏室10出库时的处理。在步骤S110中，食品信息管理部115在库内食品列表131中将相应食品(出库食品)的当前重量更新为0。另外，食品信息管理部115在库内食品列表131中更新相应食品的食用量，基于记录在出库食品信息133中的信息更新最新出库时刻，并进入图13的步骤S105中的处理。

在图13的步骤S105中，食品信息管理部115根据步骤S110的处理来判断是否有当前重量变为0克的食品。在有当前重量变为0克的食品时，食品信息管理部115进入步骤S106中的处理，在没有当前重量变为0克的食品时进入步骤S120中的处理。

在步骤S106中，食品信息管理部115将库内食品列表131的相应食品(判定为本次出库的食品)的信息更新为“无库存”(库存为0)，进入步骤S107中的处理。另外，在步骤S120中，食品信息管理部115将库内食品列表131的相应食品(判定为本次入库的食品)的信息更新为“有库存”(库存为1)，进入步骤S107中的处理。

在步骤S107中，食品信息管理部115判断在入库食品信息132中是否记录着通过文字识别的保质期的信息。在入库食品信息132中记录着保质期的信息时，食品信息管理部115进入步骤S108中的处理，在没有记录保质期的信息时，进入步骤S121中的处理。

在步骤S108中，食品信息管理部115基于记录在入库食品信息132中的保质期信息，在库内食品列表131中登记本次入库的食品的保质期，进入步骤S109中的处理。另外，在步骤S121中，食品信息管理部115参照保存在存储部130中的保质期基准列表135，检索相应食品的一般保质期。

如图14所示，保质期基准列表135是将食品名称与食品的保质期对应的列表，食品信息管理部115检索与本次的入库食品的食品名称对应的保质期。在接下来的步骤S122中，食品信息管理部115在库内食品列表131的相应食品数据中登记保质期，进入步骤S109中的处理。

在步骤S109中，食品信息管理部115利用无线通信部140，将更新后的库内食品列表131的数据通过通信网络510发送给管理服务器520，结束“库内食品管理处理”。

管理服务器520将从冷藏库1接收到的库内食品列表131的数据保存在存储装置(未图示)中，将从库内食品列表131识别的各个商品的食用状况、保质期剩余天数等发送到用户的终端装置400。由此，即使用户在外出地等，也能通过终端装置400确认收纳在冷藏库1中的商品状况。

[4.摄像处理的另一实施方式]

下面，根据图15所示的流程图，对“摄像处理”的另一实施方式进行说明。图15所示的流程图由食品信息获取部114和拍摄时刻设定部116来实施。拍摄时刻设定部116将从冷藏室的右门11或者左门12打开起经过第1规定时间的时刻设定为第1拍摄时刻，将比冷藏室10的右门11和左门12关闭时早第2规定时间的时刻设定为第2拍摄时刻。

食品信息获取部114在从步骤S130中根据开闭传感器18a、18b的检测信号识别出冷藏室10的右门11和左门12的一者或两者从关闭状态切换为打开状态时，至步骤S137中识别出右门11和左门12两者从打开状态切换为关闭状态的期间，在第1拍摄时刻和第2拍摄时刻进行摄像机60的拍摄。

食品信息获取部114在步骤S130中，识别出冷藏室10的右门11和左门12的一者或两者从关闭状态切换为打开状态时，进入步骤S131中的处理。步骤S131～S132是由拍摄时刻设定部116实施的处理。

拍摄时刻设定部116在步骤S131中启动将第1规定时间作为至时间到(time up)为止的计时时间的计时器。在接下来的步骤S132中，在计时器时间到(变成第1拍摄时刻时)时，进入步骤S133中的处理。

步骤S133～S138是由食品信息获取部114实施的处理。食品信息获取部114在步骤S133中多次执行摄像机60的拍摄，在接下来的步骤S134中，将拍摄到的图像的数据作为“入库时图像”的数据保存在存储部130中。

根据接下来的步骤S135～S137的循环，食品信息获取部114在步骤S137中，由开闭传感器18a、18b检测出右门11和左门12关闭之前，反复实施步骤S135、S136的处理。食品信息获取部114在步骤S135中，进行摄像机60的拍摄并将拍摄时刻记录在存储部130中，在步骤S136中，将拍摄到的图像的数据作为出库时图像候选数据保存在存储部130中。由此，将时间序列的拍摄图像的数据依次保存在存储部130中。

食品信息获取部114在步骤S137中，由开闭传感器18a、18b检测出右门11和左门12关闭时，进入步骤S138的处理。在步骤S138中，食品信息获取部114从保存在存储部130中的出库时图像候选数据中，将比在步骤S137中检测出右门11和左门12均处于关闭状态的时刻早第2规定时间的时刻拍摄到的图像数据作为出库时图像保存在存储部130中。

作为由拍摄时刻设定部116设定第1拍摄时刻和第2拍摄时刻的其他结构，也可以基于检测出通过开口部10a的物体的对物传感器80(参照图3～图5)的物体检测状况，设定第1拍摄时刻和第2拍摄时刻。在此情况下，拍摄时刻设定部116基于从对物传感器80没有检测出物体的状态切换为检测出物体的状态的时刻，例如将从该时刻经过规定时间的时刻设定成第1拍摄时刻。另外，拍摄时刻设定部116之后基于对物传感器80检测出物体的状态切换为没有检测出物体的状态的时刻，例如将比该时刻早规定时间的时刻设定成第2拍摄时刻。

[5.其他实施方式]

在上述实施方式中，通过物体检测部111根据由照度传感器17a、17b、17c检测的冷藏室10内的照度变化，检测出通过冷藏室10的开口部10a的物体。作为通过物体检测部111的其他结构，也可以如图3～图5所示，使用将开口部10a包含在检测范围内且直接检测通过开口部10a的物体的对物传感器80(反射型或者透过型的光传感器、超声波传感器、静电电容传感器等)。在此情况下，也可以将对物传感器80的检测范围设定在从开口部10a朝向冷藏室10内的方向上，比摄像机60的拍摄范围靠跟前侧。由此，能够防止因从检测出通过开口部10a的物体的时刻至摄像机60进行拍摄的延迟时间，导致入库食品的拍摄失败。

另外，也可以在开闭传感器18a检测出左门12打开时、和开闭传感器18b检测出右门11打开时，开始对摄像机60通电，使摄像机60能够拍摄。根据这种结构，在左门12和右门11关闭时，切断对摄像机60的通电来进行节电。另外，在右门11或者左门12打开的时刻开始对摄像机60通电，由此，能够防止因摄像机60的启动延迟导致入库食品的拍摄失败。

另外，食品信息获取部114也可以在利用通过物体检测部111检测出通过开口部10a的物体时起的规定时间以内，在由开闭传感器18a检测出左门12从打开状态切换为关闭状态时，或者在由开闭传感器18b检测出右门11从打开状态切换为关闭状态时，使由摄像机60拍摄到的图像数据无效。根据这种结构，在左门12或者右门11关闭时，在由通过物体检测部111检测出左门12或者右门11并由摄像机60拍摄时，能够防止从左门12或者右门11的图像中提取错误的食品信息。

在上述实施方式中，收纳量识别部112基于重量传感器13a、13b、14a、14b、15a、15b的检测重量，识别出收纳在冷藏室10的各个搁板13、14、15上的食品量。作为收纳量识别部112的其他结构，基于在使照明部16a、16b、16c、16d、16e、16f点亮状态下的照度传感器17a、17b、17c的检测照度，识别收纳在冷藏室10的各个搁板13、14、15上的食品量。或者，也可以通过从摄像机60或者另外配置的摄像机拍摄到的冷藏室10内部的拍摄图像中提取食品的图像部分，识别收纳在冷藏室10的各个搁板13、14、15上的食品量。

在上述实施方式中，由图像处理部120进行对摄像机60的拍摄图像的处理，但是也可以使CPU110具有图像处理部120的功能，由CPU110进行对拍摄图像的处理。

在上述实施方式中，将样品图像134和保质期基准列表135的数据保存在存储部130中，但也可以将其保存在管理服务器520中，使用时从管理服务器520下载到冷藏库1的控制单元100中。

另外，将样品图像134保存在存储部130或者管理服务器520中，但是也可以将事先学习了颜色、形状、大小等各种食品和收纳物的特征的图像识别程序安装在CPU110中，在图像识别程序中处理入库食品的图像部分并计算一致率，将其推算获取为入库食品的食品名称。由此，不需要样品图像134，能够缩小在存储部130或者管理服务器520中保存的存储容量，也能加快推算入库食品的食品名称的识别处理时间。对于出库食品的食品名称的推算，也能够以与上述同样的方式来处理。

在上述实施方式中，对于冷藏库1的冷藏室10，由出入库判定部113判别食品的入库和出库，由食品信息获取部114获取入库食品和出库食品的信息，由食品信息管理部115管理收纳在冷藏室10中的食品的信息。对于切换室20、冷冻室40和蔬菜室50，也能够通过包括检测通过开口部20a、40a、50a的物体的通过物体检测部、和识别所收纳的食品的量的收纳量识别部，来判定食品的入库和出库。另外，还能够通过设置拍摄包括开口部20a、40a、50a的范围的摄像机，从拍摄图像(入库时图像和出库时图像)获取入库食品和出库食品的信息，来获取收纳在切换室20、冷冻室40和蔬菜室50中的食品的信息，来进行食品的管理。

如上所述，本发明的冷藏库，通过设想向收纳室入库的食品和从收纳室出库的食品通过收纳室的时刻来进行拍摄，能够更加可靠地获取入库到收纳室的食品和从收纳室出库的食品的信息，所以能够适用于管理收纳于冷藏库中的食品的用途。

Claims (4)

1.一种冷藏库，其特征在于，包括：

具有开口部的收纳室；

开闭所述开口部的开闭部；

检测所述开闭部的开闭状态的开闭传感器；

能够拍摄包含所述开口部在内的拍摄范围的摄像机；

存储部；和

食品信息获取部，其在由所述开闭传感器检测出所述开闭部从关闭状态切换为打开状态时至由所述开闭传感器检测出所述开闭部从打开状态切换为关闭状态的期间，在预测入库到所述收纳室的食品通过所述开口部的时刻而设定的第1拍摄时刻，进行所述摄像机的拍摄，将所述第1拍摄时刻的拍摄图像作为入库时图像保存在所述存储部中，在预测从所述收纳室出库的食品通过所述开口部的时刻而设定的第2拍摄时刻，进行所述摄像机的拍摄，将所述第2拍摄时刻的拍摄图像作为出库时图像保存在所述存储部中，基于所述入库时图像和所述出库时图像，获取入库到所述收纳室的食品和从所述收纳室出库的食品的信息。

2.如权利要求1所述的冷藏库，其特征在于，包括：

检测收纳室内的照度的照度传感器；和

拍摄时刻设定部，其基于由所述开闭传感器检测出所述开闭部从关闭状态切换为打开状态时的所述照度传感器的检测照度来设定第1基准照度和第2基准照度，基于所述照度传感器的检测照度变为所述第1基准照度以下的时刻来设定所述第1拍摄时刻，基于所述照度传感器的检测照度变为所述第1基准照度以下后变为所述第2基准照度以上的时刻来设定所述第2拍摄时刻。

3.如权利要求1所述的冷藏库，其特征在于：

包括拍摄时刻设定部，其将由所述开闭传感器检测出所述开闭部从关闭状态切换为打开状态的时刻起经过第1规定时间的时刻设定为所述第1拍摄时刻，将比由所述开闭传感器检测出所述开闭部从打开状态切换为关闭状态的时刻早第2规定时间的时刻设定为所述第2拍摄时刻。

4.如权利要求3所述的冷藏库，其特征在于：

所述食品信息获取部，在从经过所述第1拍摄时刻至由所述开闭传感器检测出所述开闭部从打开状态切换为关闭状态的期间，反复执行所述摄像机的拍摄并将拍摄图像保存在所述存储部中，在由所述开闭传感器检测出所述开闭部从打开状态切换为关闭状态时，将在比由所述开闭传感器检测出所述开闭部从打开状态切换为关闭状态的时刻早所述第2规定时间的时刻进行了拍摄并存储在所述存储部中的拍摄图像作为所述出库时图像进行保存。