CN109631483B - 冷藏库 - Google Patents

Abstract

本发明的冷藏库包括：在前面具有开口部的收纳室；检测通过开口部的物体的通过物体检测部；识别收纳在收纳室中的食品的量的收纳量识别部；和出入库判定部，其在由通过物体检测部检测出通过开口部的物体时，根据由收纳量识别部识别出的食品量的变化，判定食品向收纳室入库和食品从上述收纳室出库。

Description

冷藏库

技术领域

本发明涉及一种冷藏库。

背景技术

在日本特开2015-81762号公报中提出了一种冷藏库，基于预先设定的时间间隔拍摄通过冷藏室的开口部的对象物(食品等)，基于时间序列的拍摄图像计算对象物的行进方向，基于行进方向判定对象物的入库和出库。

发明内容

在上述文献中记载的结构中，为了保存多个时间序列的拍摄图像，需要一定容量的存储器。另外，在计算对象物的行进方向时，进行从多个时间序列的拍摄图像中提取相同的对象物的图像部分来分析位置变化的复杂的处理，所以存在伴随判定入库和出库的运算负担变大的问题。

本发明鉴于所述背景，目的在于提供一种能够抑制存储器容量的增加，同时通过简单的处理就能判定食材的入库和出库的冷藏库。

为了解决前述现有的课题，本发明的冷藏库在于，包括：在前面具有开口部的收纳室；检测通过上述开口部的物体的通过物体检测部；识别收纳在上述收纳室中的食品的量的收纳量识别部；和出入库判定部，其在由上述通过物体检测部检测出通过上述开口部的物体时，根据由上述收纳量识别部识别出的食品量的变化，判定食品向上述收纳室入库和食品从上述收纳室出库。

由此，在由通过物体检测部检测出通过收纳室的开口部的物体时，出入库判定部基于由收纳量识别部识别出的收纳室内的食品量的变化，能够判定食品向收纳室入库和从收纳室出库。在此情况下，只要进行通过收纳室的开口部的物体的检测、和收纳室内的食品的量的变化的计算这样简单的处理即可，不必将时间序列的连续图像的数据保存在存储器中。因此，能够抑制存储器容量的增加，同时通过简单的处理就能够判定食品的入库和出库。

根据本发明的冷藏库，通过利用通过物体检测部进行的通过开口部的物体的检测、和利用收纳量识别部进行收纳室内的食品的量识别这样简单的处理，就能判定食品向收纳室入库和从收纳室出库。

附图说明

图1是通过终端装置确认收纳在设置于房屋中的冷藏库的食品状况的结构的说明图。

图2是冷藏库的外观说明图。

图3是通过从右侧看的截面图表示冷藏库的库内结构的说明图。

图4是通过从正面看的截面图表示冷藏室的内部结构的说明图。

图5是控制单元的结构图。

图6是表示控制单元的整体处理的流程图。

图7是摄像处理的流程图。

图8是重量信息处理的流程图。

图9是入库时图像的分析处理的流程图。

图10是出库时图像的分析处理的流程图。

图11是重量传感器修正处理的流程图。

图12是库内食品管理处理的第1流程图。

图13是库内食品管理处理的第2流程图。

图14是库内食品列表和保质期基准列表的说明图。

具体实施方式

第1发明的冷藏库包括：在前面具有开口部的收纳室；检测通过上述开口部的物体的通过物体检测部；识别收纳在上述收纳室中的食品的量的收纳量识别部；和出入库判定部，其在由上述通过物体检测部检测出通过上述开口部的物体时，根据由上述收纳量识别部识别出的食品量的变化，判定食品向上述收纳室入库和食品从上述收纳室出库。

根据第1发明，在由通过物体检测部检测出通过收纳室的开口部的物体时，出入库判定部基于由收纳量识别部识别出的收纳室内的食品的量的变化，判定食品的入库和出库。因此，为了识别食品的移动方向来判定入库和出库，不必拍摄时间序列图像并保存在存储器中。由此，能够抑制存储器容量的增加，同时通过简单的处理就能判定食品的入库和出库。

第2发明中，上述收纳室被划分为多个子区域，上述收纳量识别部按每个上述各子区域识别收纳在上述收纳室中的食品的量，上述出入库判定部基于由上述收纳量识别部识别的上述各子区域内的食品的量的变化，判定食品向上述各子区域入库和从上述各子区域出库。

根据第2发明，能够判定食品入库到收纳室内的哪个子区域、和食品从收纳室内的哪个子区域出库。

第3发明中，还包括：存储部；和食品信息管理部，其在由上述出入库判定部判定出食品向上述收纳室入库或者食品从上述收纳室出库时，将基于上述判定的结果的食品出入库信息保存到上述存储部中。

根据第3发明，由食品信息管理部将基于由出入库判定部作出的食品入库和出库的判定结果的出入库信息保存在上述存储部中。由此，能够在任意的时刻利用食品的入库和出库信息。

第4发明中，还包括识别当前的日期时刻的日期时刻识别部，在由上述出入库判定部判定出食品向上述收纳室食品入库或者食品从上述收纳室出库时，上述食品信息管理部将在上述判定出的时刻的上述日期时刻识别部的识别日期时刻包含在上述食品出入库信息中保存到上述存储部中。

根据第4发明，由食品信息管理部将食品入库或者出库的日期时刻保存在存储部中。由此，能够管理保存在收纳室中的食品的保质期等。

第5发明中，还包括：将上述开口部包括在拍摄范围内配置的摄像机；和食品信息获取部，其在由上述通过物体检测部检测出通过上述开口部的物体时，进行上述摄像机的拍摄，从拍摄图像获取食品的信息。上述食品信息管理部，在由上述通过物体检测部检测出通过上述开口部的物体，且根据上述物体的检测，由上述出入库判定部判定出食品向上述收纳室入库或食品从上述收纳室出库，并且由上述食品信息获取部获取到食品的信息时，将上述判定出的入库或出库的信息与上述获取到的食品信息相关联地保存到上述存储部中。

根据第5发明，利用食品信息获取部对于包含在摄像机的拍摄图像中的食品的图像部分，通过文字识别(表示商品名称、产地、材料、保质期等的字符)或者识别食品的图像部分的形状和颜色，由此获取食材的信息。利用食品信息管理部将食品信息获取部获取到的食材的信息、与由出入库判定部判定出的食品的入库和出库的信息相关联地保存在存储部中。由此，能够确定并管理收纳在收纳室的食品的种类。

第6发明中，上述通过物体检测部通过从上述摄像机的拍摄图像提取物体的图像部分，检测通过上述开口部的物体。

根据第6发明，无需专门设置与摄像机不同的专用于检测通过开口部的物体的结构。因此，能够简化用于检测通过物体的结构。

以下，参照附图对本发明的实施方式进行说明。此外，本发明并非局限与本实施方式。

[1.冷藏库的使用方式]

图1表示本实施方式的冷藏库的使用方式。本实施方式的冷藏库1设置于房屋内H，具有通过网关500和通信网络510与管理服务器520之间进行通信的功能。另外，冷藏库1还具有与终端装置(智能手机、平板终端等)400之间进行通信的功能。终端装置400具有通过网关500和通信网络510与管理服务器520之间进行通信的功能。

设置在冷藏库1中的控制单元100控制冷藏库1的整体的工作，同时生成表示收纳在冷藏库1的收纳室中的食品信息的库内食品列表131并将其发送给管理服务器520。在终端装置400中运行的冷藏库的管理用应用程序，从管理服务器520获取库内食品列表131的数据、或者从冷藏库1获取库内食品列表131的数据。然后，管理用应用程序基于库内食品列表131，在显示部上显示收纳在冷藏库1中的食品信息。冷藏库1的用户P通过视认终端装置400的显示，能够确认收纳在冷藏库1中的食品的状况(食品名称、保质期、剩余量等)。

[2.冷藏库的结构]

参照图2～图5，对冷藏库1的结构进行说明。图2是表示冷藏库1的外观的说明图。如图2所示，冷藏库1包括在前面开口的主箱体2。在主箱体2内形成有冷藏室10(相当于本发明的收纳室)、制冰室30、与制冰室30并排设置的能够变更库内温度的切换室20、冷冻室40、和蔬菜室50。

在冷藏室10前面的开口部设置有旋转式的右门11和左门12。另外，在切换室20、制冰室30、冷冻室40和蔬菜室50中分别设置有收纳食品的抽屉21、31、41、51。

接着，图3是通过从右侧看的截面图表示冷藏库1的库内结构的说明图，图4是通过从正面看的截面图表示冷藏室10的内部结构的说明图。参照图3、图4，在冷藏室10中配置有将冷藏室10划分成子区域的上搁板13、中搁板14、下搁板15。另外，在冷藏室10中还设置有检测放置在上搁板13上的食品的重量的重量传感器13a、13b；检测放置在中搁板14上的食品的重量的重量传感器14a、14b；和检测放置在下搁板15上的食品的重量的重量传感器15a、15b。另外，在冷藏室10中还设置有照亮冷藏室10内的照明部16a～16f、检测冷藏室10内的照度的照度传感器17a～17c、和摄像机60。

摄像机60以将开口部10a包括在拍摄范围内的方式配置于冷藏室10上部的开口部10a附近，拍摄从开口部10a至各个搁板13、14、15的前端附近的范围。另外，作为构成制冷循环的辅机的压缩机61、冷却风扇62、冷却器63和冷凝器64设置于冷藏库1中。另外，在冷藏室10的背面还配置有用于使冷气流通的冷藏室管道70和冷气排出口71～73。

在冷藏室10中设置有检测右门11的开闭的开闭传感器18b、和检测左门12的开闭的开闭传感器18a。开闭传感器18b在右门11关闭时输出关闭检测信号，在右门11打开时输出打开检测信号。同样，开闭传感器18a在左门12关闭时输出关闭检测信号，在左门12打开时输出打开检测信号。

在切换室20中设置有检测开口部20a的开闭的开闭传感器22。开闭传感器22在抽屉21收纳在切换室20中时输出关闭检测信号，在抽屉21没有收纳在切换室20中时输出打开检测信号。

同样，在制冰室30中设置有检测抽屉31对开口部30a的开闭的开闭传感器32。另外，在冷冻室40中设置有检测抽屉41对开口部40a的开闭的开闭传感器42，在蔬菜室50中设置有检测抽屉51对开口部50a的开闭的开闭传感器52。开闭传感器32、42、52与开闭传感器22同样，输出关闭检测信号与打开检测信号。

下面，图5是控制单元100的结构图。参照图5，控制单元100是由CPU(CentralProcessing Unit，中央处理器)110、图像处理部120、存储部130、无线通信部140、日期时刻识别部141、和未图示的接口电路等构成的电子电路单元。

CPU110通过运行保存在存储部130中的冷藏库1的控制用程序，作为通过物体检测部111、收纳量识别部112、出入库判定部113、食品信息获取部114和食品信息管理部115发挥功能。

控制单元100与开闭传感器18a、18b、22、32、42、52、照度传感器17a、17b、17c、重量传感器13a、13b、14a、14b、15a、15b、摄像机60、照明部16a、16b、16c、16d、16e、16f、和制冷循环辅机61、62、63、64连接。

向控制单元100输入开闭传感器18a、18b、22、32、42、52、照度传感器17a、17b、17c、和重量传感器13a、13b、14a、14b、15a、15b的检测信号等。另外，根据从控制单元100输出的控制信号，控制照明部16a、16b、16c、16d、16e、16f、和制冷循环辅机61、62、63、64等的工作。

另外，根据从控制单元100输出的控制信号，通过图像处理部120控制摄像机60的拍摄。图像处理部120将从摄像机60输出的影像信号转换成数字的调谐信号而生成拍摄图像，将拍摄图像的数据保存在图像存储器121中。图像处理部120根据从CPU110输出的控制信号，对保存在图像存储器121中的拍摄图像进行处理。

日期时刻识别部141对从设置于控制单元100中的时钟电路(未图示)输出的时钟信号进行计时来识别当前的日期时刻(日期和时刻)。此外，也可以通过与管理服务器520的通信，从管理服务器520获取当前的日期时刻信息，从而识别当前的日期时刻。

在存储部130中，除了保存库内食品列表131的数据之外，还保存记录着入库到冷藏室10的食品信息的入库食品信息132、和记录着从冷藏室10出库的食品信息的出库食品信息133的数据。另外，在存储部130中还保存着各种食品的样品图像134、和表示各种食品的一般保质期的保质期基准列表135的数据。

通过物体检测部111基于由照度传感器17a、17b、17c检测的冷藏室10内的照度变化，检测通过冷藏室10的开口部10a的物体。收纳量识别部112基于重量传感器13a、13b、14a、14b、15a、15b的检测信号，通过重量识别收纳在冷藏室10的上搁板13、中搁板14和下搁板15上的食品量。

收纳量识别部112基于重量传感器13a、13b的检测信号识别收纳在上搁板13上的食品重量，基于重量传感器14a、14b的检测信号识别收纳在中搁板14上的食品重量。另外，收纳量识别部112基于重量传感器15a、15b的检测信号，检测收纳在下搁板15上的食品重量。上搁板13、中搁板14和下搁板15中的各个收纳空间相当于本发明的子区域。

在由通过物体检测部111检测出通过冷藏室10的开口部10a的物体时，出入库判定部113基于由收纳量识别部112识别的放在各个搁板13、14、15上的食品量(重量)的变化，判定食品向冷藏室10入库和食品从冷藏室10出库。

食品信息获取部114利用摄像机60拍摄通过冷藏室10的开口部10a的物体。然后，在由出入库判定部113判定出食品向冷藏室10入库或者食品从冷藏室10出库时，从拍摄图像提取食品的图像部分。

食品信息获取部114识别包含在食品的图像部分中的字符，或者通过提取食品的图像部分的特征，获取入库或者出库的食品的食品名称、净含量、原产地、保质期等信息。然后，对于判定为入库的食品(入库食品)，食品信息获取部114将获取到的信息记录到入库食品信息132中，对于判定为出库的食品(出库食品)，食品信息获取部114将获取到的信息记录到出库食品信息133中。

食品信息管理部115基于由收纳量识别部112识别出的冷藏室10内的食品重量、由食品信息获取部114所记录的入库食品信息132和出库食品信息133等，更新记录在库内食品列表131中的食品信息。

[3.由控制单元实施的处理]

下面，参照图6～图14，对由控制单元100执行的关于收纳在冷藏室10中的食品管理的处理进行说明。

图6是表示控制单元100所执行的一系列处理的概要的流程图。控制单元100分别在步骤S1中执行“摄像处理”，在步骤S2中执行“重量信息处理”，在步骤S3中执行“图像分析处理”，在步骤S4中执行“重量传感器修正处理”，在步骤S5中执行“库内食品管理处理”。下面，对各处理的详细情况进行说明。

[3-1.摄像处理]

根据图7所示的流程图，对“摄像处理”的执行步骤进行说明。“摄像处理”由通过物体检测部111和食品信息获取部114来执行。图7的步骤S10～S15是通过物体检测部111的处理。在步骤S10中，在通过物体检测部111根据开闭传感器18a、18b的检测信号判断为冷藏室10的右门11和左门12的一者或两者打开时，进入步骤S11中的处理。

在步骤S11中，通过物体检测部111利用照度传感器17a、17b、17c检测冷藏室10的上搁板13、中搁板14和下搁板15的照度(由搁板划分出的各个空间的照度)。然后，通过物体检测部111将检测出的上搁板13的照度作为上基准照度，将中搁板14的照度作为中基准照度，将下搁板15的照度作为下基准照度。通过物体检测部111将上基准照度、中基准照度和下基准照度的数据保存在存储部130中。

上基准照度、中基准照度和下基准照度是指，冷藏室10的右门11和左门12的一者或两者打开且物体(用户的手、食品等)通过冷藏室10的开口部10a之前的状态下的各个搁板13、14、15的照度。此外，考虑检测照度的误差和变动，也可以将上基准照度、中基准照度和下基准照度设定成比各个照度传感器17a、17b、17c的检测照度稍低或稍高的照度。另外，也可以将在后述的步骤S13中使用的上基准照度、中基准照度和下基准照度与在步骤S14中使用的上基准照度、中基准照度和下基准照度设定成不同的值。

在接下来的步骤S12中，通过物体检测部111利用照度传感器17a、17b、17c分别检测上搁板13、中搁板14和下搁板15的照度。然后，通过物体检测部111在下一个步骤S13中，判断是否有检测照度比基准照度低规定水平以上的搁板。具体来讲，通过物体检测部111判断以下(1)～(3)的各个条件是否成立。

(1)照度传感器17a的检测照度从“上基准照度”变为“上基准照度-α”以下。

(2)照度传感器17b的检测照度从“中基准照度”变为“中基准照度-α”以下。

(3)照度传感器17c的检测照度从“下基准照度”变为“下基准照度-α”以下。

其中，α：是设想物品(食品、用户的手等)进入上搁板13、中搁板14和下搁板15内时产生的照度下降，通过实验和计算机模拟等决定的阈值决定用常数。此外，α既可以对于上基准照度、中基准照度和下基准照度为共用的值，也可以对于上基准照度、中基准照度和下基准照度单独设定为不同的值。

在上述(1)～(3)的至少一个成立时，通过物体检测部111进入步骤S20中的处理。在上述(1)～(3)的至少一个成立时，设想用户为了将食品放入冷藏室10中(入库)或者为了从冷藏室10中取出食品(出库)，或者为了进行冷藏室10中的食品位置变更等，将手伸入冷藏室10内。然后，在此情况下，通过物体检测部111能够判断为物体(用户的手、用户手中的食品等)通过了冷藏室10的开口部10a。

另一方面，在上述(1)～(3)均不成立时，通过物体检测部111进入步骤S14的处理。在步骤S14中，通过物体检测部111判断是否有检测照度从“基准照度-β”以下变为“基准照度”以上的搁板。具体来讲，通过物体检测部111判断以下的(4)～(6)的各个条件是否成立。

(4)照度传感器17a的检测照度从“上基准照度-β”以下变为“上基准照度”以上。

(5)照度传感器17b的检测照度从“中基准照度-β”以下变为“中基准照度”以上。

(6)照度传感器17c的检测照度从“下基准照度-β”以下变为“下基准照度”以上。

其中，β：是设想进入上搁板13、中搁板14或者下搁板15中的物体(食品、用户的手等)通过开口部10a并来到冷藏室10外时产生的照度升高，通过实验和计算机模拟等决定的阈值决定用常数。此外，β既可以对于上基准照度、中基准照度和下基准照度为共用的值，也可以对于上基准照度、中基准照度和下基准照度单独设定为不同的值。

在上述(4)～(6)的至少一个成立时，通过物体检测部111进入步骤S22中的处理。在上述(4)～(6)的至少一个成立时，设想用户为了将食品放入冷藏室10中(入库)或者为了从冷藏室10中取出食品(出库)，或者为了进行收纳在冷藏室10中的食品位置的变更等，将伸入冷藏室10内的手收回。然后，在此情况下，通过物体检测部111能够判断为物体(用户的手、用户手中的食品等)通过了冷藏室10的开口部10a。

另一方面，在上述(4)～(6)均不成立时，通过物体检测部111进入步骤S15的处理。在步骤S15中，通过物体检测部111根据开闭传感器18a、18b的检测信号判断冷藏室10的右门11和左门12是否均被关闭。在右门11和左门12均被关闭时，通过物体检测部111进入步骤S15的处理，结束“摄像处理”。另一方面，在右门11和左门12的至少一者打开时，通过物体检测部111进入步骤S12的处理。

接着，步骤S20～S21和步骤S22～S23是由食品信息获取部114实施的处理。在步骤S20中，食品信息获取部114通过图像处理部120利用摄像机60拍摄包括冷藏室10的开口部10a的范围。在接下来的步骤S21中，食品信息获取部114将在步骤S20中拍摄到的图像数据作为“入库时图像”数据保存在存储部130中，进入步骤S15中的处理。此外，也可以进行多次拍摄，将多个图像数据作为“入库时图像”数据保存在存储部130中。

另外，在步骤S22中，食品信息获取部114通过图像处理部120利用摄像机60拍摄包括冷藏室10的开口部10a的范围。在接下来的步骤S23中，食品信息获取部114将在步骤S22中拍摄到的图像数据作为“出库时图像”数据保存在存储部130中，进入步骤S15中的处理。此外，也可以进行多次拍摄，将多个图像数据作为“出库时图像”数据保存在存储部130中。

基于图7所示的“摄像处理”，通过物体检测部111基于由照度传感器17a、17b、17c检测的上搁板13、中搁板14或者下搁板15的照度变化，检测通过冷藏室10的开口部10a的物体。

另外，将由通过物体检测部111检测出通过开口部10a后进入其中一个搁板13、14、15中的物体的时刻的作为开口部10a附近的拍摄图像的“入库时图像”保存在存储部130中。另外，将由通过物体检测部111检测出从某个搁板13、14、15取出后通过开口部10a的物体的时刻的作为开口部10a附近的拍摄图像的“出库时图像”保存在存储部130中。

此外，在图7的步骤S15中，在检测出右门11与左门12关闭之前，在步骤S13中多次检测出通过开口部10a的物体时，根据步骤S20～S21，进行多个“入库时图像”的拍摄和保存。对于根据后述的“重量信息处理”判定为入库的食品的“入库时图像”，分别执行“图像分析处理”。

同样，在图7的步骤S15中，在检测出右门11和左门12关闭之前，在步骤S14中多次检测出通过开口部10a的物体时，根据步骤S22～S23，进行多个“出库时图像”的拍摄和保存。对于根据后述的“重量信息处理”判定为出库的食品的“出库时图像”，分别执行“图像分析处理”。

[3-2.重量信息处理]

下面，根据图8所示的流程图，对“重量处理”的执行步骤进行说明。“重量信息处理”由出入库判定部113和食品信息获取部114来执行。

图8的步骤S30～S33和S40是由出入库判定部113实施的处理。在步骤S30中，出入库判定部113由收纳量识别部112识别各个搁板13、14、15的重量并将其保存在存储部130中。在接下来的步骤S31中，在由通过物体检测部111在图7的步骤S13或者步骤S14中检测出通过冷藏室10的开口部10a的物体时(有物体出入冷藏室10时)，出入库判定部113进入步骤S32中的处理。

在步骤S32中，出入库判定部113利用收纳量识别部112识别各个搁板13、14、15的重量。在接下来的步骤S33中，针对在步骤S30中识别出的重量，出入库判定部113判断是否有在步骤S32中识别出的重量增加的搁板。在有重量增加的搁板时(在此情况下，能够判断为食品已入库到冷藏室10中)，出入库判定部113进入步骤S34中的处理。

另一方面，在没有重量增加的搁板时，出入库判定部113从步骤S33进入步骤S40的处理，针对在步骤S30中识别出的重量，判断是否有在步骤S32中识别出的重量减少的搁板。在有重量减少的搁板时(在此情况下，能够判断为食品已从冷藏室10出库)，出入库判定部113进入步骤S41的处理。另外，在没有重量增加的搁板时(在此情况下，能够判断为没有食品向冷藏室10入库和食品从冷藏室10出库)，出入库判定部113进入步骤S36的处理，结束“重量信息处理”。

步骤S34～S35和步骤S41是由食品信息获取部114实施的处理。在步骤S34中，食品信息获取部114根据由收纳量识别部112识别出的各个搁板13、14、15左右的重量来推算入库食品的收纳位置。

在接下来的步骤S35中，食品信息获取部114在入库食品信息132(参照图5)中记录入库食品的重量与收纳位置的信息，然后进入步骤S36中的处理，结束“重量信息处理”。为了在库内食品列表131中进行信息的追加、更新等，暂时将入库食品信息132的数据保存在存储部130中。

另外，在步骤S41中，食品信息获取部114在出库食品信息133(参照图5)中记录出库食品的重量信息，然后进入步骤S36中的处理，结束“重量信息处理”。为了在库内食品列表131中进行食品信息的追加、更新等，暂时将出库食品信息133的数据保存在存储部130中。

[3-3.图像分析处理]

下面，根据图9、图10所示的流程图，对“图像分析处理”的执行步骤进行说明。“图像分析处理”由食品信息获取部114来执行。图9是对于入库到冷藏室10的食品，从“入库时图像”获取信息的处理。另外，图10是对于从冷藏室10出库的食品，从“出库时图像”获取信息的处理。

首先，参照图9，对针对“入库时图像”的“图像分析处理”进行说明。在图9的步骤S50中，对于入库食品的“入库时图像”，食品信息获取部114利用图像处理部120执行字符提取处理。此处，入库食品是指，在图8的步骤S33中，由出入库判定部113判定为已入库到冷藏室10中的食品。另外，入库食品的“入库时图像”是指，对于在图8的步骤S33中判定为入库的食品，在图7的步骤S20、S21中由食品信息获取部114拍摄和保存的“入库时图像”。

在接下来的步骤S51中，食品信息获取部114利用图像处理部120判断是否从“入库时图像”中提取了字符。然后，在提取了字符时，食品信息获取部114进入步骤S52中的处理，在没有提取字符时，进入步骤S60中的处理。

在步骤S52中，食品信息获取部114分析由图像处理部120提取出的字符信息。然后，在接下来的步骤S53中，食品信息获取部114根据字符信息，获取食品名称、保质期、产地、净含量等入库食品的信息。在接下来的步骤S54中，食品信息获取部114将获取到的入库食品的信息记录在入库食品信息132中，结束“图像分析处理”。

另外，在步骤S60中，食品信息获取部114利用图像处理部120从“入库时图像”中提取入库食品的图像部分。在接下来的步骤S61中，食品信息获取部114计算提取出的入库食品的图像部分、与预先保存在存储部130中的各种食品样品图像134(参照图5)的一致率。

在接下来的步骤S62中，食品信息获取部114推算并获取一致率最高的样品图像134的食品名称为入库食品的食品名称，进入步骤S54中的处理。根据步骤S60～S62的处理，即使在未能从入库食品的“入库时图像”中提取字符的情况下，也能推算入库食品的食品名称并将其记录在入库食品信息132中。

接着，参照图10，对针对“出库时图像”的“图像分析处理”进行说明。在图10的步骤S70中，针对出库食品的“出库时图像”，食品信息获取部114利用图像处理部120执行字符提取处理。此处，出库食品是指，在图8的步骤S40中，由出入库判定部113判定为从冷藏室10出库的了食品。另外，出库食品的“出库时图像”是指，对于在图8的步骤S40中判定为出库的食品，在图7的步骤S22、S23中由食品信息获取部114拍摄和保存的“出库时图像”。

在接下来的步骤S71中，食品信息获取部114判断是否由图像处理部120从“出库时图像”中提取了字符。然后，在提取了字符时，食品信息获取部114进入步骤S72的处理，在没有提取字符时进入步骤S80的处理。

在步骤S72中，食品信息获取部114分析由图像处理部120所提取出的字符的信息。在接下来的步骤S73中，食品信息获取部114根据字符信息，获取食品名称、保质期、产地、净含量等出库食品的信息。在接下来的步骤S74中，食品信息获取部114将获取到的出库食品的信息记录在出库食品信息133中，结束“图像分析处理”。

另外，在步骤S80中，食品信息获取部114利用图像处理部120从“出库时图像”中提取出库食品的图像部分。在接下来的步骤S81中，食品信息获取部114计算提取出的出库食品的图像部分、与预先保存在存储部130中的各种食品样品图像134的一致率。

图9的图像分析处理是以判定出向冷藏室10入库时的入库时图像为对象来进行的，图10的图像分析处理是以判定出从冷藏室10出库时的出库时图像为对象来进行的。因此，在由通过物体检测部111检测出右门11或者左门12而非食品时，无法判定为入库或者出库，所以不进行图像分析处理(拍摄图像无效)。由此，能够防止从右门11或者左门12的图像部分获取错误的食品信息。

在接下来的步骤S82中，食品信息获取部114推算并获取一致率最高的样品图像134的食品名称为出库食品的食品名称，进入步骤S74中的处理。根据步骤S80～S82的处理，在未能从出库食品的“出库时图像”提取字符的情况下，也能推算出库食品的食品名称并将其记录在出库库食品信息133中。

图9的图像分析处理是以判定出向冷藏室10入库时的入库时图像为对象来进行的，图10的图像分析处理是以判定出从冷藏室10出库时的出库时图像为对象来进行的。因此，在由通过物体检测部111检测出右门11或者左门12而非食品时，无法判定为入库或者出库，所以不进行图像分析处理(拍摄图像无效)。由此，能够防止从右门11或者左门12的图像部分获取错误的食品信息。

[3-4.重量传感器修正处理]

根据图11所示的流程图，对用于修正重量传感器13a、13b、14a、14b、15a、15b的检测重量的“重量传感器修正处理”的执行步骤进行说明。“重量传感器修正处理”由收纳量识别部112来执行。“重量传感器修正处理”是用于修正(校正)随时间变化等而可能发生的重量传感器13a、13b、14a、14b、15a、15b的检测误差部分的处理。

在图11的步骤S90中，在由出入库判定部113判定为有食品向冷藏室入库时(在图8的步骤S33中为YES)，收纳量识别部112进入步骤S91中的处理。在步骤S91中，收纳量识别部112判断在入库食品信息132中是否记录了入库食品的净含量信息(图9的步骤S54的处理)。然后，在入库食品信息132中记录着入库食品的净含量(在图9的步骤S53中获取到的食品净含量)的信息时，收纳量识别部112进入步骤S92中的处理。

在步骤S92中，收纳量识别部112计算记录在入库食品信息132中的入库食品的重量与净含量之比。然后，收纳量识别部112将计算出的比例设定为用于入库食品的重量检测的重量传感器的修正系数。例如，在入库食品入库到上搁板13上，由重量传感器13a、13b检测出重量的情况下，收纳量识别部112将计算出的比例设定为重量传感器13a、13b的检测重量的修正系数。

在接下来的步骤S93中，收纳量识别部112将修正系数的数据保存在存储部130中，进入步骤S94中的处理并结束“重量传感器修正处理”。之后，收纳量识别部112将重量传感器13a、13b的检测重量乘以修正系数而得的值作为检测重量。同样，在入库食品被收纳在中搁板14上时，收纳量识别部112设定重量传感器14a、14b的修正系数，在入库食品被收纳在下搁板15上时，设定重量传感器15a、15b的修正系数。

另一方面，在步骤S91中，在净含量信息没有记录在入库食品信息132中的情况下，收纳量识别部112进入步骤S94中的处理并结束“重量传感器修正处理”。在此情况下，不进行修正系数的计算和设定。

[3-5.库内食品管理处理]

根据图12和图13所示的流程图，对用于管理收纳在冷藏室10中的食品信息的“库内食品管理处理”的执行步骤进行说明。“库内食品管理处理”由食品信息管理部115来执行。

食品信息管理部115根据库内食品列表131(参照图5)来管理收纳在冷藏室10中的食品信息。如图14所示，在库内食品列表131中记录着：入库到冷藏室10的食品编号(1、2、3、…)、与作为带编号的各个入库食品的信息，包括食品名称、重量(初次、当前、食用量)、入库出库日期时刻(初次入库、最新出库、最新入库)、库存(1：有，0：无)、保质期和产地等。食品信息管理部115基于由食品信息获取部114记录的入库食品信息132和出库食品信息133，生成和更新库内食品列表131。

在图12的步骤S100中，食品信息管理部115根据出入库判定部113来判断是否判定出食品向冷藏室10入库或者食品从冷藏室10出库，在判定出入库或者出库时，进入步骤S101的处理。在步骤S101中，食品信息管理部115判断是否作出了入库判定，在作出了入库判定时，进入步骤S102中的处理。另一方面，在没有作出入库判定时(作出了出库判定时)，食品信息管理部115进入步骤S110中的处理。

在步骤S102中，食品信息管理部115判断在规定时间以内是否有从冷藏室10出库。在规定时间以内有从冷藏室10出库时，进入步骤S103中的处理，在规定时间以内没有从冷藏室10出库时，进入步骤S111中的处理。此外，根据库内食品列表131能够识别在规定时间以内有从冷藏室10出库。

在步骤S103中，食品信息管理部115判断上次出库的食品与本次入库的食品的一致率是否在规定值以上。此处，食品信息管理部115将记录在库内食品列表131中的上次出库的商品信息、与记录在入库食品信息132中的本次入库的商品信息进行对比，根据食品名称、保质期、产地等的一致状况，计算上次出库的食品与本次入库的食品的一致率。

然后，在上次出库的食品与本次入库的食品的一致率为规定值以上时，食品信息管理部115进入步骤S104中的处理，在上次出库的食品与本次入库的食品的一致率小于规定值时，进入步骤S112中的处理。

步骤S104是能够判断为上次出库的食品与本次入库的食品的一致率为规定值以上，且上次出库的食品与本次入库的食品为同一物品时的处理。在步骤S104中，在库内食品列表131中，食品信息管理部115基于记录在入库食品信息132中的信息，更新在规定时间以前出库的食品的当前重量、最新入库日期时刻、食用量(初次入库时与当前的重量之差)，进入图13的步骤S105中的处理。

步骤S112是能够判断为上次出库的食品与本次入库的食品的一致率小于规定值，且上次出库的食品与本次入库的食品为不同物品时的处理。在步骤S112中，在库内食品列表131中，食品信息管理部115基于记录在入库食品信息132中的信息新登记入库食品，进入图12的步骤S105中的处理。

步骤S111是在规定时间以内没有出库时的处理。食品信息管理部115在步骤S111中，在库内食品列表131中，基于记录在入库食品信息132中的信息新登记入库食品，进入图12的步骤S105中的处理。

步骤S110是判定为食品已从冷藏室10出库时的处理。在步骤S110中，食品信息管理部115在库内食品列表131中将相应食品(出库食品)的当前重量更新为0。另外，食品信息管理部115在库内食品列表131中更新相应食品的食用量，基于记录在出库食品信息133中的信息更新最新出库时刻，并进入图13的步骤S105中的处理。

在图13的步骤S105中，食品信息管理部115根据步骤S110的处理来判断是否有当前重量变为0克的食品。在有当前重量变为0克的食品时，食品信息管理部115进入步骤S106中的处理，在没有当前重量变为0克的食品时进入步骤S120中的处理。

在步骤S106中，食品信息管理部115将库内食品列表131的相应食品(判定为本次出库的食品)的信息更新为“无库存”(库存为0)，进入步骤S107中的处理。另外，在步骤S120中，食品信息管理部115将库内食品列表131的相应食品(判定为本次入库的食品)的信息更新为“有库存”(库存为1)，进入步骤S107中的处理。

在步骤S107中，食品信息管理部115判断在入库食品信息132中是否记录着通过文字识别的保质期的信息。在入库食品信息132中记录着保质期的信息时，食品信息管理部115进入步骤S108中的处理，在没有记录保质期的信息时，进入步骤S121中的处理。

在步骤S108中，食品信息管理部115基于记录在入库食品信息132中的保质期信息，在库内食品列表131中登记本次入库的食品的保质期，进入步骤S109中的处理。另外，在步骤S121中，食品信息管理部115参照保存在存储部130中的保质期基准列表135，检索该食品的一般保质期。

如图14所示，保质期基准列表135是将食品名称与食品的保质期对应的列表，食品信息管理部115检索与本次的入库食品的食品名称对应的保质期。在接下来的步骤S122中，食品信息管理部115在库内食品列表131的相应食品数据中登记保质期，进入步骤S109中的处理。

在步骤S109中，食品信息管理部115利用无线通信部140，将更新后的库内食品列表131的数据通过通信网络510发送给管理服务器520，结束“库内食品管理处理”。

管理服务器520将从冷藏库1接收到的库内食品列表131的数据保存在存储装置(未图示)中，将从库内食品列表131识别的各个商品的食用状况、保质期剩余天数等发送到用户的终端装置400。由此，即使用户在外出地等，也能通过终端装置400确认收纳在冷藏库1中的商品状况。

[4.其他实施方式]

在上述实施方式中，通过物体检测部111根据由照度传感器17a、17b、17c检测的冷藏室10内的照度变化，检测出通过冷藏室10的开口部10a的物体。作为通过物体检测部111的其他结构，也可以通过从摄像机60的拍摄图像提取开口部10a附近的物体的图像部分，来检测通过开口部10a的物体。

或者，也可以如图3～图5所示，使用将开口部10a包括在检测范围内且直接检测通过开口部10a的物体的对物传感器80(反射型或者透过型的光传感器、超声波传感器、静电电容传感器等)。在此情况下，也可以将对物传感器80的检测范围设定在从开口部10a朝向冷藏室10内的方向上，比摄像机60的拍摄范围靠跟前侧。由此，能够防止因从检测出通过开口部10a的物体的时刻至摄像机60进行拍摄的延迟时间，导致入库食品的拍摄失败。

另外，也可以在开闭传感器18a检测出左门12打开时、和开闭传感器18b检测出右门11打开时，开始对摄像机60通电，使摄像机60能够拍摄。根据这种结构，在左门12和右门11关闭时，切断对摄像机60的通电来进行节电。另外，在右门11或者左门12打开的时刻开始对摄像机60通电，由此，能够防止因摄像机60的启动延迟导致入库食品的拍摄失败。

另外，食品信息获取部114也可以在利用通过物体检测部111检测出通过开口部10a的物体时起的规定时间以内，在由开闭传感器18a检测出左门12从打开状态切换成关闭状态时，或者在由开闭传感器18b检测出右门11从打开状态切换成关闭状态时，使由摄像机60拍摄到的图像数据无效。根据这种结构，在左门12或者右门11关闭时，在由通过物体检测部111检测出左门12或者右门11并由摄像机60拍摄时，能够防止从左门12或者右门11的图像中提取错误的食品信息。

在上述实施方式中，收纳量识别部112基于重量传感器13a、13b、14a、14b、15a、15b的检测重量，识别出收纳在冷藏室10的各个搁板13、14、15上的食品量。作为收纳量识别部112的其他结构，基于在使照明部16a、16b、16c、16d、16e、16f点亮状态下的照度传感器17a、17b、17c的检测照度，识别收纳在冷藏室10的各个搁板13、14、15上的食品量。或者，也可以通过从摄像机60或者另外配置的摄像机拍摄到的冷藏室10内部的拍摄图像中提取食品的图像部分，识别收纳在冷藏室10的各个搁板13、14、15上的食品量。

在上述实施方式中，由图像处理部120进行对摄像机60的拍摄图像的处理，但是也可以使CPU110具有图像处理部120的功能，由CPU110进行对拍摄图像的处理。

在上述实施方式中，将样品图像134和保质期基准列表135的数据保存在存储部130中，但也可以将其保存在管理服务器520中，使用时从管理服务器520下载到冷藏库1的控制单元100中。

另外，将样品图像134保存在存储部130或者管理服务器520中，但是也可以将事先学习了颜色、形状、大小等各种食品和收纳物的特征的图像识别程序安装在CPU110中，在图像识别程序中处理入库食品的图像部分并计算一致率，将其推算获取为入库食品的食品名称。由此，不需要样品图像134，能够缩小在存储部130或者管理服务器520中保存的存储容量，也能加快推算入库食品的食品名称的识别处理时间。对于出库食品的食品名称的推算，也能够以与上述同样的方式来处理。

在上述实施方式中，对于冷藏库1的冷藏室10，由出入库判定部113判别食品的入库和出库，由食品信息获取部114获取入库食品和出库食品的信息，由食品信息管理部115管理收纳在冷藏室10中的食品的信息。对于切换室20、冷冻室40和蔬菜室50，也能够通过包括检测通过开口部20a、40a、50a的物体的通过物体检测部、和识别所收纳的食品的量的收纳量识别部，来判定食品的入库和出库。另外，还能够通过设置拍摄包括开口部20a、40a、50a的范围的摄像机，从拍摄图像获取入库食品和出库食品的信息，来获取收纳在切换室20、冷冻室40和蔬菜室50中的食品的信息，来进行食品的管理。

如上所述，本发明的冷藏库能够通过简单的结构在抑制存储器容量的增加的同时判别食品向收纳室的入库和从收纳室的出库，所以能够适用于管理收纳于冷藏库中的食品的用途。

Claims (6)

1.一种冷藏库，其特征在于，包括：

收纳室；

设置于所述收纳室的重量传感器；

基于所述重量传感器的检测重量，识别收纳在所述收纳室中的食品的量的收纳量识别部；

出入库判定部，其基于由所述收纳量识别部识别出的食品的量的变化，判定食品向所述收纳室入库和食品从所述收纳室出库；和

拍摄所述食品的摄像机，

所述收纳量识别部在从由所述摄像机拍摄到的图像读取到所述食品的收纳量的情况下，将所述重量传感器的检测重量与所述食品的所述收纳量之比设定为所述重量传感器的修正系数。

2.如权利要求1所述的冷藏库，其特征在于：

所述收纳室被划分为多个子区域，

所述重量传感器按每个所述子区域设置，

所述出入库判定部基于所述重量传感器的变化，判定食品向各所述子区域入库和从各所述子区域出库。

3.如权利要求1或2所述的冷藏库，其特征在于：

所述收纳室是冷藏室，

所述冷藏室被划分为多个子区域，

所述重量传感器按每个所述子区域设置，

按每个所述子区域设定所述修正系数。

4.如权利要求1或2所述的冷藏库，其特征在于：

所述收纳室具有开口部，

所述摄像机设置于所述收纳室的顶面以能够拍摄通过所述开口部的食品。

5.如权利要求1或2所述的冷藏库，其特征在于：

所述收纳室被多个搁板划分，

所述重量传感器设置于所述多个搁板各自的两端侧的下部，

能够基于所述多个搁板各自的左右的检测重量，确定所述食品的位置。

6.一种重量传感器的修正方法，其特征在于，包括：

基于设置于冷藏库的重量传感器的检测重量的变化，判定食品向所述收纳室入库和食品从所述收纳室出库的步骤；

判定是否能够从由设置于所述冷藏库的摄像机拍摄到的图像读取所述食品的收纳量的步骤；和

在判定为能够读取所述食品的收纳量的情况下，基于设置于所述冷藏库的收纳室的重量传感器的检测结果和所述收纳量设定所述重量传感器的修正系数的步骤。

Images