CN111051799A - 冷藏库 - Google Patents

Abstract

本发明的冷藏库具有至少一个收纳室，该冷藏库包括：拍摄所述收纳室的开口部的摄像机；检测单元，其对物体通过了所述开口部的情况进行检测；和控制单元，其在所述检测单元检测到所述物体通过了所述开口部时，使所述摄像机进行拍摄。由此，能够更可靠地获得入库到收纳室中的食品的信息。

Description

冷藏库

技术领域

本发明涉及冷藏库。

背景技术

现有技术中提案有一种冷藏库，在食品的收纳室内的中央部设置库内摄像机，当收纳室的门开闭时用库内摄像机对收纳室内进行拍摄，根据时间序列的拍摄图像比较食品被收纳时的图像与当前的图像并进行输出(例如，参照专利文献1)。专利文献1中记载的冷藏库中，根据收纳室内的食品的配置状况，食品在库内摄像机的拍摄方向上重叠，存在从拍摄图像不能识别一部分的食品的状况。

因此，提案有一种冷藏库，设置有检测收纳室的门的开闭的开关、和将收纳室的开口部作为拍摄范围的摄像机，不仅拍摄收纳在收纳室中的食品，也拍摄门被打开时从开口部入库或者出库的食品(例如，参照专利文献2)。

现有技术文献

专利文献

专利文献1：日本特开2016-57022号公报

专利文献2：日本特开2015-81762号公报

发明内容

在上述专利文献2所记载的冷藏库中，当检测到收纳室的门开放时，对通过收纳室的开口部的食品进行拍摄。因此，根据从用户打开门至将食品入库的时间，有时存在不能拍摄到食品的情况。另外，有可能拍摄到的不是食品而是门套的一部分等，将食品以外的物品误识别为食品。

本发明是鉴于这样的背景而完成的，其目的在于提供能够更可靠地取得入库到收纳室中的食品的信息的冷藏库。

为了解决现有技术的问题，本发明的冷藏库，其具有至少一个收纳室，该冷藏库包括：拍摄所述收纳室的开口部的摄像机；检测单元，其对物体通过了所述开口部的情况进行检测；和控制单元，其在所述检测单元检测到所述物体通过了所述开口部时，使所述摄像机进行拍摄。

由此，在检测到通过收纳部的开口部的物体(食品、抓住食品的用户的手等)的时间，能够拍摄通过开口部的食品。因此，能够避免入库到收纳室中的食品没有被拍摄的情况、和拍摄冷藏库的门等的食品以外的物体的情况等，能够更可靠地获得入库到收纳室的食品的信息。

依据本发明的冷藏库，通过在适当的时间对入库到收纳室的食品进行拍摄，由此能够更可靠地获得入库到收纳室的食品的信息。

附图说明

图1是通过终端装置确认被收纳在设置于房屋的冷藏库中的食品的状况的结构的说明图。

图2是冷藏库的外观的说明图。

图3是利用从右侧观看冷藏库的库内的结构的截面图来表示的说明图。

图4是利用从正面观看冷藏室的内部结构的截面图表示的说明图。

图5是控制单元的结构图。

图6是表示基于控制单元进行的整体的处理的流程图。

图7是拍摄处理的流程图。

图8是重量信息处理的流程图。

图9是入库时图像的分析处理的流程图。

图10是出库时图像的分析处理的流程图。

图11是重量传感器修正处理的流程图。

图12是库内食品管理处理的第1流程图。

图13是库内食品管理处理的第2流程图。

图14是库内食品列表和保质期基准列表的说明图。

具体实施方式

第1实施方式的冷藏库具有至少一个收纳室，该冷藏库包括：拍摄所述收纳室的开口部的摄像机；检测单元，其对物体通过了所述开口部的情况进行检测；和控制单元，其在所述检测单元检测到所述物体通过了所述开口部时，使所述摄像机进行拍摄。

依据第1方式，当检测通过收纳室的开口部的物体时，由摄像机拍摄包括开口部在内的范围。因此，能够与用户将食品入库的时间相匹配地拍摄食品，由此，能够更可靠地取得入库到收纳室中的食品的信息。

第2方式是还包括：从由所述摄像机拍摄到的图像提取字符的提取单元；和确定单元，其基于由所述提取单元提取出的所述字符，确定被收纳到所述收纳室中的食品的名称。

依据第2方式，能够确定被收纳在收纳库中的食品的类别并对其进行管理。

第3方式是在所述提取单元不能从所述图像提取所述字符的情况下，所述确定单元基于所述图像与样品图像的比较结果，确定被放入在所述收纳室中的所述食品的所述名称。

依据第3方式，即使在不能从食品的图像提取字符的情况下，也能够推测食品的食品名。

第4方式是还包括开闭检测单元，其检测所述开口部的门是打开着还是关闭着，基于所述开闭检测单元检测到所述开口部的所述门打开着的状态，开始向所述摄像机通电。

依据第4方式，冷藏库能够实现节电。

第5方式是在所述开口部设置第1门和第2门，当所述第1门和所述第2门的至少一者打开时，开始向所述摄像机通电。

依据第5方式，冷藏库能够实现节电。

第6方式是在所述第1门和所述第2门两者均关闭的情况下，切断向所述摄像机的通电。

依据第6方式，冷藏库能够实现节电。

第7方式是在所述收纳室的搁架设置有重量传感器，基于所述重量传感器的检测结果，确定放入在所述收纳室中的所述食品的重量。

第8方式是所述摄像机设置在所述开口部的上端。这里，所述开口部的“上端”是指所述开口部的“上端附近”。

依据第8方式，能够更可靠地获得收纳在收纳室中的食品的信息。

第9方式是所述检测单元设置在比所述摄像机靠所述冷藏库的库外侧。

第10方式是所述检测单元是光传感器、超声波传感器、静电电容传感器的任意者。

第11方式是所述收纳室为冷藏室。

以下，参照附图对本发明的实施方式进行说明。此外，本发明并不限定于本实施方式。

[1.冷藏库的使用方式]

图1是表示本实施方式的冷藏库的使用形态。本实施方式的冷藏库1设置在房屋H中，具有经由网关500和通信网络510与管理服务器520之间进行通信的功能。另外，冷藏库1具有与终端装置(智能手机、平板终端等)400之间进行通信的功能。终端装置400具有经由网关500和通信网络510与管理服务器520之间进行通信的功能。

冷藏库1中具有的控制单元100控制冷藏库1的整体的动作，并且生成表示收纳在冷藏库1的收纳室中的食品的信息的库内食品列表131，并发送到管理服务器520。终端装置400中执行的冷藏库的管理用应用程序，从管理服务器520取得库内食品列表131的数据、或者从冷藏库1取得库内食品列表131的数据。并且，管理用应用程序基于库内食品列表131，将收纳在冷藏库1中的食品的信息显示在显示部。冷藏库1的用户P通过观看终端装置400的显示，能够确认收纳在冷藏库1中的食品的状况(食品名、保质期、剩余量等)。

[2.冷藏库的结构]

参照图2～图5关于冷藏库1的结构进行说明。图2是表示冷藏库1的外观的说明图。如图2所示，冷藏库1具有在前表面开口的主箱体2。主箱体2内形成有冷藏室10(相当于本发明的收纳室)、制冰室30、与制冰室30并排设置且库内的温度能够变更的切换室20、冷冻室40、和蔬菜室50。

在冷藏室10的前表面的开口部设置有旋转式的右门11和左门12(相当于本发明的开闭部)。另外，在切换室20、制冰室30、冷冻室40和蔬菜室50设置有分别收纳食品的抽屉21、31、41、51。

接着，图3是通过从右侧观察冷藏库1的库内的结构的截面图表示的说明图，图4是通过从正面观察冷藏室10的内部结构的截面图表示的说明图。参照图3、图4，在冷藏室10中配置有将冷藏室10划分为子区域的上搁架13、中搁架14、下搁架15。另外，在冷藏室10中设置有：检测放置在上搁架13的食品的重量的重量传感器13a、13b；检测放置在中搁架14的食品的重量的重量传感器14a、14b；和检测放置在下搁架15的食品的重量的重量传感器15a、15b。并且，在冷藏室10中，设置有照亮冷藏室10内的照明部16a～16f、检测冷藏室10内的照度的照度传感器17a～17c和摄像机60。

摄像机60在冷藏室10的上部的开口部10a附近以将开口部10a包括在拍摄范围内的方式配置，拍摄从开口部10a至各搁架13、14、15的前端附近的范围。像这样，摄像机60也可以设置在开口部10a的上端(包括上端附近)。另外，在冷藏库1中设置有作为构成制冷循环的配件的压缩机61、冷却风扇62、冷却器63和冷凝器64。并且，在冷藏室10的背面配置有用于是冷气流通的冷藏室管道70和冷气排出口71～73。

在冷藏室10设置有检测右门11的开闭的开闭传感器18b(相当于本发明的开闭检测部)、和检测左门12的开闭的开闭传感器18a(相当于本发明的开闭检测部)。开闭传感器18b在右门11关闭时输出关闭检测信号，并且在右门11打开时打开检测信号。同样地，开闭传感器18a在左门12关闭时输出关闭检测信号，并且在左门12打开时输出打开检测信号。

在切换室20设置有检测开口部20a的开闭的开闭传感器22。开闭传感器22在抽屉21被收纳在切换室20中时输出关闭检测信号，并且在抽屉21被从切换室20抽出时输出打开检测信号。

同样地，在制冰室30中设置有检测由抽屉31产生的开口部30a的开闭的开闭传感器32。另外，在冷冻室40设置有检测由抽屉41产生的开口部40a的开闭的开闭传感器42，在蔬菜室50设置有检测由抽屉51产生的开口部50a的开闭的开闭传感器52。开闭传感器32、42、52与开闭传感器22同样地输出关闭检测信号和打开检测信号。

接着，图5是控制单元100的结构图。参照图5，控制单元100包括由CPU(CentralProcessing Unit：中央处理器)110、图像处理部120、存储部130、无线通信部140、日期时刻识别部141和未图示的接口电路等构成的电子电路单元。

CPU110通过执行保存在存储部130中的冷藏库1的控制用程序，作为通过物体检测部111、收纳量识别部112、出入库判断部113、食品信息取得部114和食品信息管理部115发挥功能。

控制单元100与开闭传感器18a、18b、22、32、42、52；照度传感器17a、17b、17c；重量传感器13a、13b、14a、14b、15a、15b；摄像机60；照明部16a、16b、16c、16d、16e、16f、和制冷循环配件61、62、63、64连接。

控制单元100中被输入开闭传感器18a、18b、22、32、42、52；照度传感器17a、17b、17c和重量传感器13a、13b、14a、14b、15a、15b的检测信号等。另外，由从控制单元100输出的控制信号控制照明部16a、16b、16c、16d、16e、16f和制冷循环配件61、62、63、64等的动作。

并且，由从控制单元100输出的控制信号经由图像处理部120控制摄像机60进行的拍摄。图像处理部120将从摄像机60输出的影像信号转换为数字的灰度信号生成拍摄图像，将拍摄图像的数据保存在图像存储器121中。图像处理部120根据从CPU110输出的控制信号进行对于保存在图像存储器121中的拍摄图像的处理。

日期时刻识别部141将从控制单元100具有的时钟电路(未图示)输出的时钟信号计时来识别为当前的日期(日期和时刻)。此外，也可以构成为通过与管理服务器520的通信而从管理服务器520取得当前的日期时刻的信息，识别当前的日期。

存储部130中，除了库内食品列表131的数据以外，还保存有记录着已入库到冷藏室10中的食品的信息的入库食品信息132、和记录着从冷藏室10出库的食品的信息的出库食品信息133的数据。并且，在存储部130中，保存有各种食品的样品图像134、和表示各种食品的一般的保质期的保质期基准列表135的数据。

通过物体检测部111基于由照度传感器17a、17b、17c检测的冷藏室10内的照度的変化，检测在冷藏室10的开口部10a通过的物体。通过物体检测部111可以设置在比摄像机60靠冷藏库1的库外侧。

收纳量识别部112基于重量传感器13a、13b、14a、14b、15a、15b的检测信号按重量识别收纳在冷藏室10的上搁架13、中搁架14和下搁架15的食品的量。

收纳量识别部112基于重量传感器13a、13b的检测信号识别收纳在上搁架13的食品的重量，基于重量传感器14a、14b的检测信号识别收纳在中搁架14的食品的重量。另外，收纳量识别部112基于重量传感器15a、15b的检测信号检测收纳在下搁架15的食品的重量。

出入库判断部113在由通过物体检测部111检测出通过冷藏室10的开口部10a的物体时，基于由收纳量识别部112识别的放置在各搁架13、14、15的食品的量(重量)的变化，判断向冷藏室10入库的食品和从冷藏室10出库的食品。

食品信息取得部114由摄像机60拍摄通过冷藏室10的开口部10a的物体。并且，当由出入库判断部113判断出向冷藏室10入库的食品或者从冷藏室出库的食品时，从拍摄图像提取食品的图像部分。

食品信息取得部114通过识别食品的图像部分中包含的字符、或者提取食品的图像部分的特征，取得入库或者出库的食品的食品名、容量、原产地、保质期等信息。并且，食品信息取得部114将所取得的信息，对于判断为入库的食品(入库食品)记录在入库食品信息132中，对于判断为出库的食品(出库食品)记录在出库食品信息133中。

食品信息管理部115基于由收纳量识别部112所识别的冷藏室10内的食品的重量、由食品信息取得部114记录的入库食品信息132和出库食品信息133等，更新在库内食品列表131所记录的食品信息。

[3.控制单元进行的处理]

接着，参照图6～图14说明关于由控制单元100实施的收纳在冷藏室10中的食品的管理的处理。

图6是表示由控制单元100实施的一系列的处理的概要的流程图。控制单元100分别实施步骤S1的“拍摄处理”、步骤S2的“重量信息处理”、步骤S3的“图像分析处理”、步骤S4的“重量传感器修正处理”、步骤S5的“库内食品管理处理”。以下，关于各处理的详情进行说明。

[3-1.拍摄处理]

按照图7中所示的流程图关于“拍摄处理”的实施顺序进行说明。“拍摄处理”由通过物体检测部111和食品信息取得部114实施。图7的步骤S10～S15是由通过物体检测部111进行的处理。通过物体检测部111在步骤S10中根据开闭传感器18a、18b的检测信号判断出冷藏室10的右门11和左门12的一者或者两者被打开时，将处理推进到步骤S11。

在步骤S11，通过物体检测部111利用照度传感器17a、17b、17c检测冷藏室10的上搁架13、中搁架14、下搁架15的各照度(由搁架划分的各空间的照度)。并且，通过物体检测部111将所检测的上搁架13的照度作为上基准照度，将中搁架14的照度作为中基准照度，将下搁架15的照度作为下基准照度。通过物体检测部111将上基准照度、中基准照度、和下基准照度的数据保存在存储部130中。

上基准照度、中基准照度和下基准照度为冷藏室10的右门11和左门12的一者或者两者被打开、物体(用户的手、食品等)通过冷藏室10的开口部10a之前的状态的各搁架13、14、15的照度。此外，考虑到检测照度的误差或变动，可以将上基准照度、中基准照度和下基准照度设定为比各照度传感器17a、17b、17c的检测照度稍微低的照度或者稍微高的照度。另外，可以将在后述的步骤S13中使用的上基准照度、中基准照度和下基准照度、与在步骤S14中使用的上基准照度、中基准照度和下基准照度设定为不同的值。

接着在步骤S12中，通过物体检测部111利用照度传感器17a、17b、17c分别检测上搁架13、中搁架14和下搁架15的照度。并且，通过物体检测部111在接下来的步骤S13中，判断出是否有检测照度比基准照度降低了规定水平以上的搁架。具体而言，通过物体检测部111判断以下的(1)～(3)的各条件是否成立。

(1)照度传感器17a的检测照度从“上基准照度”变化为“下基准照度-α”以下。

(2)照度传感器17b的检测照度从“中基准照度”变化为“中基准照度-α”以下。

(3)照度传感器17c的检测照度从“下基准照度”变化为“下基准照度-α”以下。

其中，α：设定物体(食品、用户的手等)进入到上搁架13、中搁架14或者下搁架15内时产生的照度的降低，通过实验或者计算机模拟等所决定的阈值设定用的常数。此外，α对于上基准照度、中基准照度和下基准照度可以是共同的值，也可以对于上基准照度、中基准照度和下基准照度分别设定为不同的值。

并且，通过物体检测部111在上(1)～(3)的至少任意一者成立时，将处理推进到步骤S20。当上述(1)～(3)的至少任意一者成立时，设想为用户为了将食品放入冷藏室10(入库)、或者从冷藏室10取出食品(出库)、或者进行冷藏室10的食品的位置的变更等，使手进入到冷藏室10内。并且，在该情况下，通过物体检测部111能够判断出物体(用户的手、用户的手抓住的食品等)通过了冷藏室10的开口部10a。

另一方面，当上述(1)～(3)的均不成立时，通过物体检测部111将处理推进至步骤S14。在步骤S14中，通过物体检测部111判断是否有检测照度从“基准照度-β”以下变化到“基准照度”以上的搁架。具体而言，通过物体检测部111判断以下的(4)～(6)的各条件是否成立。

(4)照度传感器17a的检测照度从“上基准照度-β”以下变化为“上基准照度”以上。

(5)照度传感器17b的检测照度从“中基准照度-β”以下变化为“中基准照度”以上。

(6)照度传感器17c的检测照度从“下基准照度-β”以下变化为“下基准照度”以上。

其中，β：是设想已进入到上搁架13、中搁架14或下搁架15的物体(食品、用户的手等)通过开口部10a出到冷藏室10外时产生的照度的上升，通过实验或者计算机模拟等所决定的阈值决定用的常数。此外，β可以对于上基准照度、中基准照度、和下基准照度共同地设定，也可以对于上基准照度、中基准照度和下基准照度分别独立地设定为不同值。

并且，通过物体检测部111当上述(4)～(6)的至少任意一者成立时，将处理推进到步骤S22。当上述(4)～(6)的至少任意一者成立时，设想为用户为了将食品放入冷藏室10中(入库)、从冷藏室10取出食品(出库)、或者将收纳在冷藏室10中的食品的位置进行变更等，将进入到冷藏室10内的手抽出。并且，在该情况下，通过物体检测部111能够判断出物体(用户的手、用户的手抓住的食品等)通过了冷藏室10的开口部10a。

另一方面，当上述(4)～(6)均不成立时，通过物体检测部111将处理推进到步骤S15。在步骤S15中，通过物体检测部111根据开闭传感器18a、18b的检测信号判断冷藏室10的右门11和左门12是否均已关闭。并且，通过物体检测部111在右门11和左门12均已关闭了时将处理推进到步骤S15，结束“拍摄处理”。另一方面，当右门11和左门12的至少任意一者开着时，通过物体检测部111将处理推进到步骤S12。

接着，步骤S20～S21和步骤S22～S23是由食品信息取得部114进行的处理。食品信息取得部114在步骤S20借助图像处理部120由摄像机60拍摄包含冷藏室10的开口部10a在内的范围。接着，在步骤S21，食品信息取得部114将由步骤S20拍摄到的图像的数据作为“入库时图像”的数据保存在存储部130中，将处理推进到步骤S15。此外，可以进行多次拍摄，将多个图像的数据作为“入库时图像”的数据保存在存储部130中。

另外，在步骤S22中食品信息取得部114借助图像处理部120利用摄像机60拍摄包含冷藏室10的开口部10a在内的范围。接着在步骤S23中，食品信息取得部114将在步骤S22拍摄到的图像的数据作为“出库时图像”的数据保存在存储部130中，将处理推进到步骤S15。此外，可以进行多次拍摄，将多个图像的数据作为“出库时图像”的数据保存在存储部130中。

通过图7所示的“拍摄处理”，由通过物体检测部111基于由照度传感器17a、7b、17c检测的上搁架13、中搁架14或者下搁架15的照度的变化，检测通过冷藏室10的开口部10a的物体。

另外，在由通过物体检测部111检测到通过开口部10a进入到任意的搁架13、14、15的物体的时刻的开口部10a附近的拍摄图像即“入库时图像”被保存到存储部130。并且，在由通过物体检测部111检测到从任意的搁架13、14、15出来而通过开口部10a的物体的时刻的开口部10a附近的拍摄图像即“出库时图像”被保存在存储部130。

此外，在图7的步骤S15中，在检测到右门11和左门12被关闭之前，在步骤S13中检测到多次通过开口部10a的物体时，通过步骤S20～S21进行多个“入库时图像”的拍摄和保存。并且，关于通过如后文所述的“重量信息处理”判断为入库的食品的“入库时图像”，分别实施“图像分析处理”。

同样地，在图7的步骤S15中，在检测到右门11和左门12已关闭之前，在步骤S14中检测到多次通过开口部10a的物体时，通过步骤S22～S23进行多个“出库时图像”的拍摄和保存。并且，关于由后述的“重量信息处理”判断为出库的食品的“出库时图像”，分别实施“图像分析处理”。

[3-2.重量信息处理]

接着，按照图8所示的流程图关于“重量处理”的实施顺序进行说明。“重量信息处理”由出入库判断部113和食品信息取得部114实施。

图8的步骤S30～S33和S40是由出入库判断部113进行的处理。出入库判断部113在步骤S30中利用收纳量识别部112识别各搁架13、14、15的重量并保存在存储部130中。接着在步骤S31中，由通过物体检测部111在图7的步骤S13或者步骤S14检测到通过冷藏室10的开口部10a的物体时(存在相对于冷藏室10的物体的出入时)，出入库判断部113将处理推进到步骤S32。

在步骤S32中，出入库判断部113利用收纳量识别部112识别各搁架13、14、15的重量。在接着的步骤S33中，出入库判断部113判断是否有相对于在步骤S30所识别的重量，在步骤S32所识别的重量增加了的搁架。并且，有重量增加了的搁架时(在该情况下，能够判断为食品入库到了冷藏室10中)，出入库判断部113将处理推进到步骤S34。

另一方面，当没有重量增加了的搁架时，出入库判断部113将处理从步骤33推进到步骤S40，判断是否有相对于在步骤S30所识别的重量，在步骤S32识别的重量减少了的搁架。并且，在有重量减少了的搁架时(在该情况下，能够判断为食品从冷藏室10出库)，出入库判断部113将处理推进到步骤S41。另外，当没有重量增加了的搁架时(该情况下，能够判断为没有向冷藏室10的食品的入库和食品从冷藏室10出库)，出入库判断部113将处理推进到步骤S36，结束“重量信息处理”。

步骤S34～S35和步骤S41是由食品信息取得部114进行的处理。食品信息取得部114在步骤S34中，根据由收纳量识别部112识别的各搁架13、14、15的左右的重量推测入库食品的收纳位置。

在接着的步骤S35中，食品信息取得部114在入库食品信息132(参照图5)记录入库食品的重量和收纳位置的信息，将处理推进到步骤S36，结束“重量信息处理”。入库食品信息132的数据为了进行向库内食品列表131的信息的追加、更新等而暂时保存在存储部130中。

另外，在步骤S41中，食品信息取得部114在出库食品信息133(参照图5)中记录出库食品的重量的信息，将处理推进到步骤S36，结束“重量信息处理”。出库食品信息133的数据为了进行向库内食品列表131的食品信息的追加、更新等而暂时保存在存储部130中。

[3-3.图像分析处理]

接着，按照图9、图10所示的流程图关于“图像分析处理”的实施顺序进行说明。“图像分析处理”通过食品信息取得部114来实施。图9是关于已入库到冷藏室10的食品从“入库时图像”取得信息的处理。另外，图10是关于已从冷藏室10出库的食品从“出库时图像”取得信息的处理。

首先，参照图9关于对“入库时图像”的“图像分析处理”进行说明。食品信息取得部114在图9的步骤S50中由图像处理部120对入库食品的“入库时图像”实施字符提取处理。在此，所谓入库食品是在图8的步骤S33中由出入库判断部113判断为已入库到冷藏室10中的食品。另外，所谓入库食品的“入库时图像”是关于在图8的步骤S33中判断为入库的食品，在图7的步骤S20、S21由食品信息取得部114拍摄和保存的“入库时图像”。

接着，在步骤S51中，食品信息取得部114判断是否已由图像处理部120从“入库时图像”提取了字符。并且，食品信息取得部114在已经提取了字符时，将处理推进到步骤S52，在还没有提取字符时，将处理推进到步骤S60。

在步骤S52中，食品信息取得部114分析由图像处理部120提取出的字符的信息。并且，在接着的步骤S53中，食品信息取得部114根据字符的信息取得食品名、保质期、产地、容量等的入库食品的信息。在接着的步骤S54中，食品信息取得部114将所取得的入库食品的信息记录在入库食品信息132中，结束“图像分析处理”。

另外，在步骤S60中，食品信息取得部114通过图像处理部120从“入库时图像”提取入库食品的图像部分。在接着的步骤S61中，食品信息取得部114计算出提取出的入库食品的图像部分、与预先保存在存储部130的各种食品的样品图像134(参照图5)的一致率。

在接着次的步骤S62中，食品信息取得部114将一致率最高的样品图像134的食品名推测为入库食品的食品名而取得，并将处理推进到步骤S54。通过步骤S60～S62的处理，即使在从入库食品的“入库时图像”不能提取字符的情况下，也能够推测入库食品的食品名记录在入库食品信息132中。

接着，参照图10关于对“出库时图像”的“图像分析处理”进行说明。食品信息取得部114在图10的步骤S70中，对于出库食品的“出库时图像”由图像处理部120实施字符提取。在此，所谓出库食品是，在图8的步骤S40中由出入库判断部113判断为从冷藏室10出库的食品。另外，所谓出库食品的“出库时图像”是关于在图8的步骤S40中判断为出库的食品，在图7的步骤S22、S23由食品信息取得部114拍摄和保存的“出库时图像”。

在接着的步骤S71中，食品信息取得部114判断是否由图像处理部120从“出库时图像”已经提取了字符。并且，食品信息取得部114在已经提取了字符时，将处理推进到步骤S72，在还没有提取字符时，将处理推进到步骤S80。

在步骤S72中，食品信息取得部114利用图像处理部120分析提取出的字符的信息。并且，在接着的步骤S73中，食品信息取得部114根据字符的信息取得食品名、保质期、产地、容量等的出库食品的信息。在接着的步骤S74中，食品信息取得部114将所取得的出库食品的信息记录在出库食品信息133中，结束“图像分析处理”。

另外，在步骤S80中，食品信息取得部114利用图像处理部120从“出库时图像”提取出库食品的图像部分。在接着的步骤S81中，食品信息取得部114计算提取出的出库食品的图像部分、与预先保存在存储部130中的各种食品的样品图像134的一致率。

在接着的步骤S82中，食品信息取得部114将一致率最高样品图像134的食品名推测为出库食品的食品名而取得，将处理推进到步骤S74。通过步骤S80～S82的处理，即使在从出库食品的“出库时图像”没有提取到字符的情况下，也能够推测出库食品的食品名并记录在出库食品信息133中。

图9的图像分析处理是以被判断为向冷藏室10入库的情况下的入库时图像作为对象进行的，图10的图像分析处理是以被判断为从冷藏室10出库的情况下的出库时图像为对象进行的。因此，并不是食品、而是右门11或者左门12没有被通过物体检测部111检测到时，不能判断出入库或者出库，因此不能进行图像分析处理(拍摄图像是无效的)。由此，能够防止从右门11或者左门12的图像部分误取得食品信息的情况。

[3-4.重量传感器修正处理]

按照图11所示的流程图，关于用于修正重量传感器13a、13b、14a、14b、15a、15b的检测重量的“重量传感器修正处理”的实施顺序进行说明。“重量传感器修正处理”由收纳量识别部112实施。“重量传感器修正处理”是用于修正(校正)由于经时变化等而可能产生的重量传感器13a、13b、14a、14b、15a、15b的检测误差量的处理。

图11的步骤S90中，收纳量识别部112利用出入库判断部113判断出有食品向冷藏室的入库时(图8的步骤S33中“是”)，将处理推进到步骤S91。在步骤S91中，收纳量识别部112判断是否已将入库食品的容量的信息记录在入库食品信息132中(图9的步骤S54的处理)。并且，收纳量识别部112在入库食品的容量(在图9的步骤S53中取得的食品的容量)的信息记录在入库食品信息132中时，将处理推进到步骤S92。

在步骤S92中，收纳量识别部112计算出记录在入库食品信息132的入库食品的重量与容量之比。并且，收纳量识别部112将所计算出的比设定为在入库食品的重量检测中使用的重量传感器的修正系数。例如，在入库食品入库到上搁架13，由重量传感器13a、13b检测出重量的情况下，收纳量识别部112将所计算出的比作为重量传感器13a、13b的检测重量的修正系数进行设定。

在接着的步骤S93中，收纳量识别部112将修正系数的数据保存在存储部130中，将处理推进到步骤S94，结束“重量传感器修正处理”。之后，收纳量识别部112将重量传感器13a、13b的检测重量乘以修正系数所得的值作为检测重量来处理。同样地，收纳量识别部112在入库食品被收纳在中搁架14时，设定重量传感器14a、14b的修正系数，当入库食品被收纳在下搁架15时，设定重量传感器15a、15b的修正系数。

另一方面，在步骤S91中，在容量的信息没有记录在入库食品信息132中的情况下，收纳量识别部112将处理推进到步骤S94，结束“重量传感器修正处理”。在该情况下，不进行修正系数的计算和设定。

[3-5.库内食品管理处理]

按照图12和图13所示的流程图，关于用于管理收纳在冷藏室10中的食品的信息的“库内食品管理处理”的实施顺序进行说明。“库内食品管理处理”是由食品信息管理部115实施的。

食品信息管理部115利用库内食品列表131(参照图5)管理收纳在冷藏室10中的食品的信息。如图14所示，库内食品列表131中，作为对入库到冷藏室10中的食品标注的序号(1、2、3、…)、和标注有序号的各入库食品的信息，记录有食品名、重量(初次、当前、食用量)、出入库日期时刻(初次入库、最新出库、最新入库)、库存(1：有、0：无)、保质期和产地。食品信息管理部115利用食品信息取得部114基于所记录的入库食品信息132和出库食品信息133，进行库内食品列表131的生成和更新。

图12的步骤S100中，食品信息管理部115判定是否已由出入库判断部113判断出了食品向冷藏室10的入库或者食品从冷藏室10的出库，当已判定出入库或者出库时，将处理推进至步骤S101。在步骤S101中，食品信息管理部115判断是否已进行了入库的判断，当已判断为入库时，将处理推进到步骤S102。另一方面，当没有判断入库时(判断为出库时)，食品信息管理部115将处理推进到步骤S110。

在步骤S102中，食品信息管理部115判断在规定时间以内是否有从冷藏室10的出库。并且，在规定时间以内有从冷藏室10的出库时，将处理推进到步骤S103，在规定时间以内没有从冷藏室10的出库时，将处理推进到步骤S111。此外，在规定时间以内有从冷藏室10的出库这一状态能够根据库内食品列表131识别。另外，规定时间能够设想用户使用从冷藏室10出库的食品的一部分在送回冷藏室10(再入库)的情况，例如设定为10分钟左右。

在步骤S103中，食品信息管理部115判断前一次出库的食品与本次入库的食品的一致率是否为规定值以上。在此，食品信息管理部115将记录在库内食品列表131的前一次出库的商品的信息、与记录在入库食品信息132的本次入库的商品的信息进行对比，根据食品名、保质期、产地等的一致状况，计算出前一次出库的食品与本次入库的食品的一致率。

并且，食品信息管理部115在前一次出库的食品与本次入库的食品的一致率为规定值以上时，将处理推进到步骤S104，当前一次出库的食品与本次入库的食品的一致率小于规定值时，将处理推进到步骤S112。

步骤S104是在前一次出库的食品与本次入库的食品的一致率为规定值以上、且能够判断为前一次出库的食品与本次入库的食品为相同物品的情况下的处理。步骤S104中，食品信息管理部115基于入库食品信息132中所记录的信息更新在库内食品列表131中规定时间以前所出库的食品的当前重量、最新入库日期时刻、食用量(初次入库时与当前重量之差)，并将处理推进到图13的步骤S105。

步骤S112是在上述出库的食品与本次入库的食品的一致率小于规定值、且能够判断为前一次出库的食品与本次入库的食品不相同的情况下的处理。食品信息管理部115在步骤S112中，基于记录在入库食品信息132的信息，在库内食品列表131中重新登记入库食品，将处理推进到图13的步骤S105。

步骤S111是规定时间以内没有出库的情况下的处理。食品信息管理部115在步骤S111中，基于在入库食品信息132中所记录的信息在库内食品列表131中重新登记入库食品，将处理推进至图12的步骤S105。

步骤S110是判断为食品从冷藏室10出库了的情况下的处理。食品信息管理部115在步骤S110中，在库内食品列表131中将该食品(出库食品)的当前的重量更新为0。另外，食品信息管理部115在库内食品列表131中更新该食品的食用量，并且基于在出库食品信息133中所记录的信息更新最新出库时刻，将处理推进至图13的步骤105。

在图13的步骤S105中，食品信息管理部115判断是否有经由步骤S110的处理当前重量成为0克的食品。并且，食品信息管理部115在存在当前重量成为0克的食品时，将处理推进至步骤S106，在没有当前重量成为0克的食品时，将处理推进至步骤S120。

在步骤S106中，食品信息管理部115将库内食品列表131的该食品(本次判断为已出库的食品)的信息更新为“无库存”(库存0)，将处理推进至步骤S107。另外，在步骤S120中，食品信息管理部115将库内食品列表131的该食品(本次判断为已入库的食品)的信息更新为“有库存”(库存1)，将处理推进至步骤S107。

在步骤S107中，食品信息管理部115判断在入库食品信息132中是否记录有基于字符识别的保质期的信息。并且，食品信息管理部115在入库食品信息132中记录有保质期的信息时，将处理推进至步骤S108，在没有记录保质期的信息时，将处理推进至步骤S121。

在步骤S108中，食品信息管理部115基于在入库食品信息132中所记录的保质期的信息，在库内食品列表131中登记本次入库的食品的保质期，将处理推进至步骤S109。另外，在步骤S121中，食品信息管理部115参照在存储部130中所保存的保质期基准列表135，检索该食品的通常的保质期。

保质期基准列表135如图14所示是食品名与食品的保质期相关联的列表，食品信息管理部115检索与本次的入库食品的食品名关联的保质期。接着，在步骤S122中，食品信息管理部115在库内食品列表131的该食品的数据中登记保质期，将处理推进至步骤S109。

在步骤S109中，食品信息管理部115将已更新的库内食品列表131的数据通过无线通信部140利用通信网络510发送到管理服务器520，结束“库内食品管理处理”。

管理服务器520将从冷藏库1所接收的库内食品列表131的数据保存在存储装置(未图示)中，并将从库内食品列表131所识别的各商品的食用状况、至保质期为止的剩余天数等发送到用户的终端装置400。由此，用户即使在外出地等也能够通过终端装置400确认收纳在冷藏库1中的商品的状况。

[4.其它实施方式]

在上述实施方式中，通过物体检测部111根据由照度传感器17a、17b、17c检测的冷藏室10内的照度的变化，检测通过冷藏室10的开口部10a的物体。作为通过物体检测部111的其它的结构，如图3～5所示，也可以使用对物传感器80(反射型或者透过型的光传感器、超声波传感器、静电电容传感器等)，其将开口部10a包括在检测范围内直接检测通过开口部10a的物体。在该情况下，将对物传感器80的检测范围在从开口部10a朝向冷藏室10内的方向上，设置在比摄像机60的拍摄范围更靠跟前侧。由此，利用从检测到通过开口部10a的物体的时间点至实施由摄像机60进行的拍摄为止的延迟时间，能够防止被入库的食品的拍摄的失败。

另外，当由开闭传感器18a检测到左门12被打开时、和由开闭传感器18b检测到右门11被打开时，可以开始向摄像机60通电，利用摄像机60进行拍摄。依据该结构，在左门12和右门关闭时，能够切断对摄像机60的通电来节电。另外，通过在右门或者左门12被打开的时间开始对摄像机60的通电，能够防止由于摄像机60的起动的较晚而对被入库的食品的拍摄失败的情况。

另外，也可以构成为食品信息取得部114在从由通过物体检测部111检测到通过开口部10a的物体的时刻起规定时间以内，当由开闭传感器18a检测到左门12从开状态切换为闭状态时，或者由开闭传感器18b检测到右门11从开状态切换为闭状态时，使由摄像机60拍摄到的图像数据无效。依据该结构，当左门12或者右门11关闭时，左门12或者右门11由通过物体检测部111检测并被摄像机60拍摄时，能够防止从左门12或者右门11的图像误提取食品的信息。

在上述实施方式中，收纳量识别部112基于由重量传感器13a、13b、14a、14b、15a、15b检测的检测重量，识别收纳在冷藏室10的各搁架13、14、15的食品的量。作为收纳量识别部112的其它的结构，基于在使照明部16a、16b、16c、16d、16e、16f点亮的状态下的照度传感器17a、17b、17c检测的检测照度，识别收纳在冷藏室10的各搁架13、14、15中的食品的量。或者，根据摄像机60或者另外配置的摄像机拍摄的冷藏室10的内部的拍摄图像，提取食品的图像部分，由此也可以识别收纳在冷藏室10的各搁架13、14、15中的食品的量。

在上述实施方式中，对摄像机60的拍摄图像的处理由图像处理部120进行，但也可以使CPU110具有图像处理部120的功能，由CPU110进行对拍摄图像的处理。

在上述实施方式中，将样品图像134和保质期基准列表135的数据保存在存储部130中，但也可以保存在管理服务器520中，当使用时从管理服务器520下载到冷藏库1的控制单元100。

另外，将样品图像134保存在存储部130或者管理服务器520中，单也可以预先在CPU110中安装事先学习了颜色或形状、大小等的各种食品或收纳物的特征的图像识别程序，由图像识别程序进行入库食品的图像部分处理，计算一致率并推测和取得入库食品的食品名。由此，不需要样品图像134，能够减小在存储部130或者管理服务器520中保存的存储容量，能够实现加快推测入库食品的食品名的识别处理时间的处理。出库食品的食品名的推测也与上述同样地进行处理。

在上述实施方式中，关于冷藏库1的冷藏室10，由出入库判断部113判断食品的入库和出库，由食品信息取得部114取得入库食品和出库食品的信息，由食品信息管理部115管理收纳在冷藏室10中的食品的信息。关于切换室20、冷冻室40和蔬菜室50，通过具有检测通过开口部20a、40a、50a的物体的通过物体检测部、和识别所收纳的食品的量的收纳量识别部，能够判断食品的入库和出库。另外，通过设置拍摄包括开口部20a、40a、50a的范围的摄像机，从拍摄图像取得入库食品和出库食品的信息，由此取得收纳在切换室20、冷冻室40和蔬菜室50中的食品的信息，能够进行食品的管理。

工业上的可利用性

如上所述，本发明的冷藏库通过在适当的时间拍摄入库到收纳室中的食品，由此能够更可靠地取得入库到收纳室的食品的信息，因此能够适用于对收纳在冷藏库的食品进行管理的用途。

附图标记说明

1 冷藏库

10 冷藏室

10a 开口部

11 右门

12 左门

13 上搁架

13 搁架

13a、13b 重量传感器

14 中搁架

14a、14b 重量传感器

15 下搁架

15a、15b 重量传感器

16a、16b、16c、16d、16r、16f 照明部

17a、17b、17c 照度传感器

18a、18b 开闭传感器

20 切换室

20a 开口部

22 开闭传感器

30 制冰室

30a 开口部

32 开闭传感器

32 步骤

32 开闭传感器

40 步骤

40 冷冻室

40a 开口部

42 开闭传感器

50 蔬菜室

50a 开口部

52 开闭传感器

60 摄像机

61 压缩机

62 冷却风扇

63 冷却器

64 冷凝器

100 控制单元

110 CPU

111 通过物体检测部

112 收纳量识别部

113 出入库判断部

114 食品信息取得部

115 食品信息管理部

120 图像处理部

121 图像存储器

130 存储部

131 库内食品列表

132 入库食品信息

133 出库食品信息

134 样品图像

135 保质期基准列表

140 无线通信部

141 日期时刻识别部

400 终端装置

500 网关

510 通信网络

520 管理服务器。

Claims (11)

1.一种具有至少一个收纳室的冷藏库，其特征在于，包括：

拍摄所述收纳室的开口部的摄像机；

检测单元，其对物体通过了所述开口部的情况进行检测；和

控制单元，其在所述检测单元检测到所述物体通过了所述开口部时，使所述摄像机进行拍摄。

2.如权利要求1所述的冷藏库，其特征在于，还包括：

从由所述摄像机拍摄到的图像提取字符的提取单元；和

确定单元，其基于由所述提取单元提取出的所述字符，确定被收纳到所述收纳室中的食品的名称。

3.如权利要求2所述的冷藏库，其特征在于：

在所述提取单元不能从所述图像提取所述字符的情况下，所述确定单元基于所述图像与样品图像的比较结果，确定被放入在所述收纳室中的所述食品的所述名称。

4.如权利要求1所述的冷藏库，其特征在于：

还包括开闭检测单元，其检测所述开口部的门是打开着还是关闭着，

基于所述开闭检测单元检测到所述开口部的所述门打开着的状态，开始向所述摄像机通电。

5.如权利要求1所述的冷藏库，其特征在于：

在所述开口部设置有第1门和第2门，

当所述第1门和所述第2门的至少一者打开时，开始向所述摄像机通电。

6.如权利要求5所述的冷藏库，其特征在于：

在所述第1门和所述第2门两者均关闭的情况下，切断向所述摄像机的通电。

7.如权利要求1所述的冷藏库，其特征在于：

在所述收纳室的搁架设置有重量传感器，

基于所述重量传感器的检测结果，确定放入在所述收纳室中的所述食品的重量。

8.如权利要求1所述的冷藏库，其特征在于：

所述摄像机设置在所述开口部的上端。

9.如权利要求1所述的冷藏库，其特征在于：

所述检测单元设置在比所述摄像机靠所述冷藏库的库外侧。

10.如权利要求9所述的冷藏库，其特征在于：

所述检测单元是光传感器、超声波传感器、静电电容传感器的任意者。

11.如权利要求1所述的冷藏库，其特征在于：

所述收纳室为冷藏室。

Images