CN116057336A - 食品管理系统 - Google Patents

Abstract

本公开提供能够高精度地管理收纳于冷藏库的食品的食品管理系统。食品管理系统管理收纳于具有冷藏室的冷藏库的食品，该食品管理系统包括：冷藏室用摄像机(21)和抽屉用摄像机(22)，它们通过动态图像进行拍摄；食品检测部(221D)，其基于通过冷藏室用摄像机(21)和抽屉用摄像机(22)的拍摄而获得的动态图像，检测进出冷藏库的食品。

Description

食品管理系统

技术领域

本公开涉及一种食品管理系统。

背景技术

专利文献1公开如下技术：在冷藏库的上部设置摄像机，在检测到通过冷藏库的开口部的物体时执行拍摄，基于拍摄结果管理收纳于冷藏库的食品。

现有技术文献

专利文献

专利文献1：日本特开2019-070476号公报

发明内容

发明要解决的课题

本公开提供能够高精度地管理收纳于冷藏库的食品的食品管理系统。

用于解决课题的方法

本公开提供一种食品管理系统，其管理收纳于具有冷藏室的冷藏库的食品，其中，包括：摄像机，其至少通过动态图像拍摄所述冷藏室的开口部；和食品检测部，其基于通过所述摄像机的拍摄而获得的所述动态图像，检测进出所述冷藏库的所述食品。

此外，在该说明书中包含2020年9月3日申请的日本专利申请/特愿2020-148480号的全部内容。

发明效果

本公开的食品管理系统通过利用动态图像进行拍摄，能够提高将进出库的食品包含于拍摄结果的可能性，所以能够根据拍摄结果高精度地检测进出冷藏库的食品。因此，能够高精度地管理收纳于冷藏库的食品。

附图说明

图1是表示食品管理系统的结构的图。

图2是从前方侧观察冷藏库和食品检测装置的图。

图3是从右侧方侧观察冷藏库和食品检测装置的图。

图4是表示食品检测装置的结构的框图。

图5是表示终端装置和食品管理服务器的结构的框图。

图6是表示食品管理数据库的一例的图。

图7是表示安装用画面的一例的图。

图8是表示食品检测装置的动作的流程图。

图9是表示食品检测装置和食品管理服务器的动作的流程图。

图10是表示食品管理画面的一例的图。

图11是表示终端装置和食品管理服务器的动作的流程图。

具体实施方式

(成为本发明的基础的见解等)

上述现有技术因为利用静态图像进行拍摄，所以可能由于进出库的食品的速度、或对食品进行进出库的手的角度等而进出冷藏库的食品不包含在拍摄结果中，所以有时不能高精度地管理收纳于冷藏库的食品。

于是，本公开提供能够高精度地管理收纳于冷藏库的食品的食品管理系统。

下面，参照附图详细地说明实施方式。但是，有时省略必要以上的详细说明。例如，有时省略关于已知事项的详细说明或者实质上相同结构的重复说明。

此外，附图和以下的说明是为了便于本领域技术人员充分理解本发明而提供的，并非用于限定本发明的范围。

[1.结构]

图1是表示食品管理系统1000的结构的图。

食品管理系统1000是对冷藏库1收纳的食品管理剩余量、或开始保存的保存开始日期、保质期或消费期限的到期日期等的系统。

食品管理系统1000包括冷藏库1。冷藏库1包括前表面开口的主箱体10。在主箱体10中形成有冷藏室11、制冰室12、新鲜冻结室13、冷冻室14和蔬菜室15。在冷藏室11的前表面的开口部设置有旋转式的左门11A和右门11B。在制冰室12、新鲜冻结室13、冷冻室14和蔬菜室15中分别设置有收纳食品的抽屉12A、13A、14A、15A。

在以下的说明中，在不区别左门11A和右门11B的情况下，称为“门”，标注“11C”的附图标记来总称。另外，在以下的说明中，在不区别抽屉12A、13A、14A、15A的情况下，称为“抽屉”，标注“16A”的附图标记来总称。

食品管理系统1000包括食品检测装置2。食品检测装置2是检测进出冷藏库1的食品的装置，作为冷藏库1的上部，设置于冷藏库1的上表面。

在此，参照图2和图3对食品检测装置2的结构进行说明。

图2是从前方侧观察冷藏库1和食品检测装置2的图。图2所示的冷藏库1的左门11A和右门11B为打开状态。图3是从右侧观察冷藏库1和食品检测装置2的图。图3所示的冷藏库1的抽屉15A为打开状态、即拉出的状态。

在图2和图3中，图示出X轴、Y轴和Z轴。X轴、Y轴和Z轴相互正交。Z轴表示上下方向。X轴和Y轴与水平方向平行。X轴表示左右方向。Y轴表示前后方向。X轴的正方向表示右方向。Y轴的正方向表示前方向。Z轴的正方向表示上方向。

食品检测装置2具有冷藏室用摄像机21和抽屉用摄像机22。食品检测装置2设置于冷藏库1的上表面，使得冷藏室用摄像机21和抽屉用摄像机22从冷藏库1的前上方拍摄冷藏库1的前表面。

冷藏室用摄像机21是用于检测进出冷藏室11的食品的摄像机。

冷藏室用摄像机21的拍摄范围被设定为能够从冷藏库1的前上方拍摄进出冷藏室11的食品的范围。

例如，冷藏室用摄像机21的拍摄范围主视时包含图2所示的范围A1。范围A1是在左门11A和右门11B处于打开状态下包含设置于左门11A的门搁架11A1、11A2、11A3、11A4、设置于右门11B的门搁架11B1、11B2、11B3、11B4、和冷藏室11的开口部的范围。另外，冷藏室用摄像机21的拍摄范围侧视时包含图3所示的范围A3。范围A3是在前后方向上包含从打开状态的门11C至搁板111、112、113、114的前方端部的范围，且是在上下方向上包含冷藏室11的开口部的范围。此外，搁板111、112、113、114是设置在冷藏室11内且将冷藏室11划分为多个区的部件。

抽屉用摄像机22是用于检测进出制冰室12、新鲜冻结室13、冷冻室14和蔬菜室15的食品的摄像机。

抽屉用摄像机22的拍摄范围被设定为能够从冷藏库1的前上方拍摄进出制冰室12、新鲜冻结室13、冷冻室14和蔬菜室15中的每一个的食品的范围。

例如，抽屉用摄像机22的拍摄范围主视时包含图2所示的范围A2。范围A2是在冷藏库1的主视时包含抽屉12A、13A、14A、15A的范围。另外，抽屉用摄像机22的拍摄范围侧视时包含图3所示的范围A4。范围A4是在前后方向上包含拉出的状态的抽屉12A、13A、14A、15A的上表面的范围。

食品检测装置2具有左门用测距传感器23、右门用测距传感器24和抽屉用测距传感器25。左门用测距传感器23、右门用测距传感器24和抽屉用测距传感器25与开闭传感器的一例对应。在以下的说明中，在不区别左门用测距传感器23、右门用测距传感器24和抽屉用测距传感器25的情况下，称为“开闭用测距传感器”，并标注“28”的附图标记。开闭用测距传感器28向后述的传感器模块控制部211输出检测值。

左门用测距传感器23是用于检测左门11A的开闭状态的测距传感器。左门用测距传感器23设为左门11A的开闭状态，检测与左门11A之间的距离。

右门用测距传感器24是用于检测右门11B的开闭状态的测距传感器。右门用测距传感器24设为右门11B的开闭状态，检测与右门11B之间的距离。

抽屉用测距传感器25是用于检测抽屉12A、13A、14A、15A各自的开闭状态的测距传感器。此外，抽屉12A、13A、14A、15A为打开状态是指从对应的收纳室拉出的状态。另外，抽屉12A、13A、14A、15A为关闭状态是指收纳到对应的收纳室的状态。抽屉用测距传感器25设为抽屉12A、13A、14A、15A各自的开闭状态，检测与抽屉12A、13A、14A、15A中的每一个之间的距离。

食品检测装置2具有照度传感器26和人体感测传感器27。照度传感器26和人体感测传感器27向传感器模块控制部211输出检测值。

照度传感器26检测配置食品检测装置2的部位、即配置冷藏库1的部位的照度。

人体感测传感器27检测存在于冷藏库1周围的人。在本实施方式中，人体感测传感器27设置于食品检测装置2的前表面，在冷藏库1周围检测存在于冷藏库1的前方的人。

此外，在图2中，以抽屉用测距传感器25、抽屉用摄像机22和冷藏室用摄像机21在左右方向上按照该顺序并排设置的方式进行图示。然而，其为用于方便地说明食品检测装置2的图示，也可以不像图2那样设置。

另外，在图3中，以抽屉用测距传感器25、抽屉用摄像机22和冷藏室用摄像机21在前后方向上按照该顺序并排设置的方式进行图示。然而，其为用于食品检测装置2的图示，也可以不像图3那样设置。

回到图1的说明，食品管理系统1000包括具有触摸面板32的终端装置3。终端装置3例如由智能手机或平板终端构成。终端装置3安装有用于管理收纳于冷藏库1的食品的应用程序，通过该应用的功能与食品管理服务器4进行通信。

在以下的说明中，将用于管理收纳于冷藏库1的食品的应用程序称为“食品管理用应用”，并标注“323”的附图标记。

在图1中，由实线表示在家的用户P，由虚线表示从自家H外出的用户P。终端装置3在用于在家的用户P的情况下，通过食品管理用应用323的功能，经由通信装置5、或者不经由通信装置5，和与全球网络GN连接的食品管理服务器4进行通信。另外，终端装置3在用于从自家H外出的用户P的情况下，通过食品管理用应用323的功能，不经由通信装置5而与食品管理服务器4进行通信。

通信装置5与包含因特网、电话网、其它通信网的全球网络GN连接，和与全球网络GN连接的食品管理服务器4进行通信。通信装置5是用于将终端装置3与全球网络GN连接的接口装置。通信装置5具有调制解调器的功能、或路由功能、NAT(Network AddressTranslation，网络地址转换)功能等功能。通信装置5传送在终端装置3和与全球网络GN连接的食品管理服务器4之间收发的数据。

食品管理系统1000包括食品管理服务器4。食品管理服务器4是管理收纳于冷藏库1的食品的服务器装置，与全球网络GN连接。此外，在各图中，由一个框表现食品管理服务器4，但其不一定意味食品管理服务器4由单一的服务器装置构成。例如，食品管理服务器4也可以包含处理内容不同的多个服务器装置而构成。

接着，对食品检测装置2、终端装置3和食品管理服务器4的结构进行说明。

图4是表示食品检测装置2的结构的框图。

食品检测装置2包括传感器模块210、摄像机模块220和电力供给部230。

传感器模块210包括传感器模块控制部211、传感器部212和传感器侧模块间通信部213。

传感器模块控制部211包括CPU或MPU等执行程序的处理器即传感器处理器2111和传感器存储部2112，控制传感器模块210的各部。传感器模块控制部211以传感器处理器2111读出存储于传感器存储部2112的控制程序2113并执行处理的方式，通过硬件和软件的协作来执行各种处理。

传感器存储部2112具有存储传感器处理器2111执行的程序、或被传感器处理器2111处理的数据的存储区域。传感器存储部2112存储传感器处理器2111执行的控制程序2113、与传感器模块210的设定相关的设定数据2114、其它各种数据。传感器存储部2112具有非易失性的存储区域。另外，传感器存储部2112也可以包括易失性的存储区域，构成传感器处理器2111的工作区域。

传感器部212包括左门用测距传感器23、右门用测距传感器24、抽屉用测距传感器25、照度传感器26和人体感测传感器27，按每个传感器向传感器模块控制部211输出检测值。此外，传感器部212也可以包括上述5种传感器以外的传感器。

传感器侧模块间通信部213包括符合规定的通信标准的通信电路或连接器等通信硬件，按照传感器模块控制部211的控制，与摄像机模块220进行通信。

摄像机模块220包括摄像机模块控制部221、拍摄部222、摄像机模块通信部223和摄像机侧模块间通信部224。

包括摄像机模块控制部221、CPU或MPU等执行程序的处理器即摄像机处理器2211、和摄像机存储部2212，控制摄像机模块220的各部。摄像机模块控制部221以摄像机处理器2211读出存储于摄像机存储部2212的控制程序2213并执行处理的方式，通过硬件和软件的协作来执行各种处理。摄像机模块控制部221通过读出并执行控制程序2213，作为检测值处理部221A、拍摄控制部221B、动态图像处理部221C和食品检测部221D发挥作用。

摄像机存储部2212具有存储摄像机处理器2211执行的程序或被摄像机处理器2211处理的数据的存储区域。摄像机存储部2212存储摄像机处理器2211执行的控制程序2213、与摄像机模块220的设定相关的设定数据2214、食品检测装置ID2215、其它各种数据。关于食品检测装置ID2215在后面叙述。摄像机存储部2212具有非易失性的存储区域。另外，摄像机存储部2212也可以包括易失性的存储区域，构成摄像机处理器2211的工作区域。

拍摄部222包括冷藏室用摄像机21和抽屉用摄像机22。拍摄部222向摄像机模块控制部221输出冷藏室用摄像机21和抽屉用摄像机22各自的拍摄结果。在本实施方式中，冷藏室用摄像机21和抽屉用摄像机22拍摄动态图像。因此，拍摄部222向摄像机模块控制部221输出动态图像的数据作为拍摄结果。

摄像机模块通信部223包括符合规定的通信标准的通信电路或连接器等通信硬件，利用摄像机模块控制部221的控制与食品管理服务器4进行通信。在本实施方式中，摄像机模块通信部223使用的通信标准例示出无线通信标准，但也可以是有线通信标准。

摄像机侧模块间通信部224包括符合规定的通信标准的通信电路或连接器等通信硬件，按照摄像机模块控制部221的控制，与传感器模块210进行通信。

如上所述，摄像机模块控制部221作为检测值处理部221A、拍摄控制部221B、动态图像处理部221C和食品检测部221D发挥作用。

检测值处理部221A基于从传感器模块210输出的各种传感器的检测值，对左门11A、右门11B、抽屉12A、13A、14A、15A分别判定是打开状态还是关闭状态。例如，检测值处理部221A基于检测值是否低于规定的阈值，判定是打开状态还是关闭状态。此外，该规定的阈值也可以针对左门11A、右门11B、抽屉12A、13A、14A、15A而不同。检测值处理部221A在判定为任一个是打开状态的情况下，向拍摄控制部221B和动态图像处理部221C输出表示是打开状态的开闭状态信息。另外，检测值处理部221A在判定为左门11A、右门11B、抽屉12A、13A、14A、15A均为关闭状态的情况下，向拍摄控制部221B和动态图像处理部221C输出表示是关闭状态的开闭状态信息。

另外，检测值处理部221A基于从传感器模块210输出的照度传感器26和人体感测传感器27的检测值，判定在冷藏库1周围是否存在人。例如，检测值处理部221A基于检测值是否低于规定的阈值，判定在冷藏库1周围是否存在人。检测值处理部221A在判定为在冷藏库1周围存在人的情况下，向拍摄控制部221B输出表示存在人的人存在有无信息。另外，检测值处理部221A在判定为在冷藏库1周围不存在人的情况下，向拍摄控制部221B输出表示不存在人的人存在有无信息。

拍摄控制部221B控制拍摄部222，使冷藏室用摄像机21和抽屉用摄像机22拍摄动态图像。参照图8对拍摄控制部221B的详情进行说明。

动态图像处理部221C对冷藏室用摄像机21和抽屉用摄像机22的拍摄结果进行各种处理，将实施了处理的拍摄结果存储于摄像机存储部2212。参照图8对动态图像处理部221C的详情进行说明。

食品检测部221D基于冷藏室用摄像机21和抽屉用摄像机22的拍摄结果，检测进出冷藏库1的食品。参照图9对食品检测部221D的详情进行说明。

电力供给部230包括供电的电路等硬件，向传感器模块210和摄像机模块220分别供电。电力供给部230可以如本实施方式这样，是与传感器模块210和摄像机模块220分别并联而供电的结构，也可以是经由任一方的模块向其它模块供电的结构。

本实施方式的电力供给部230基于从外部的工频交流电源7供给的电力，向传感器模块210和摄像机模块220分别供电。工频交流电源7与工频电源的一例对应。电力供给部230例如包括将交流转换成直流的电路、或进行降压的电路等作为硬件。

此外，向电力供给部230供电的供给源不限于外部的工频交流电源7，也可以是冷藏库1或者电池。在供给源为前者的情况下，电力供给部230和冷藏库1包括例如USB等符合能够供电的规格的硬件。而且，在供给源为前者的情况下，冷藏库1经由符合该规格的电缆向电力供给部230供电。在供给源为后者的情况下，食品检测装置2包括电池。

图5是表示终端装置3和食品管理服务器4的结构的框图。

首先，对食品管理服务器4的结构进行说明。

食品管理服务器4包括服务器控制部40和服务器通信部41。

服务器控制部40包括CPU或MPU等执行程序的处理器即服务器处理器410和服务器存储部420，控制食品管理服务器4的各部。服务器控制部40以服务器处理器410读出存储于服务器存储部420的控制程序421并执行处理的方式，通过硬件和软件的协作来执行各种处理。服务器控制部40通过读出并执行控制程序421，作为食品识别部4100发挥作用。

服务器存储部420具有存储服务器处理器410执行的程序或由服务器处理器410处理的数据的存储区域。服务器存储部420存储服务器处理器410执行的控制程序421、与食品管理服务器4的设定相关的设定数据422、食品管理数据库423、其它各种数据。服务器存储部420具有非易失性的存储区域。另外，服务器存储部420也可以包括易失性的存储区域，构成服务器处理器410的工作区域。

图6是表示食品管理数据库423的一例的图。

食品管理数据库423是保存冷藏库1收纳的食品的各种信息的数据库。

食品管理数据库423存储的一条记录R具有用户ID4231、食品检测装置ID2215、食品名信息4232、剩余量信息4233、保存部位信息4234、保存开始日期信息4235、到期日期信息4236、到期日期通知时刻信息4237、新通知时刻信息4238、和食品图像数据4239。

此外，食品管理数据库423保存的一条记录R还可以具有一个或多个其它类型的信息。

用户ID4231是识别利用食品管理用应用323的用户P的识别信息，被适当地分配给利用食品管理用应用323的用户P。

食品检测装置ID2215是用于识别食品检测装置2的识别信息。食品检测装置ID2215是例如食品检测装置2的制造编号、或食品检测装置2的序列号、摄像机模块220的制造编号、摄像机模块220的序列号等。

食品名信息4232是表示食品的名称的信息。在一条记录R中，一个或多个食品名信息4232与用户ID4231相关联。

剩余量信息4233是表示食品的剩余量的信息。在一条记录R中，与用户ID4231相关联的食品名信息4232和相同数量的剩余量信息4233相关联。图6的剩余量信息4233所示的食品的剩余量以与食品的名称对应的单位表示。剩余量信息4233所示的剩余量由服务器控制部40适当地更新。

保存部位信息4234是表示食品的保存部位的信息。在本实施方式中，保存部位信息4234示出冷藏库1具有的收纳室中的任一个作为保存部位。在一条记录R中，与用户ID4231相关联的食品名信息4232和相同数量的保存部位信息4234相关联。

保存开始日期信息4235是表示食品的保存开始日期的信息。在一条记录R中，与用户ID4231相关联的食品名信息4232和相同数量的保存开始日期信息4235相关联。

到期日期信息4236是表示食品的保质期或消费期限的到期日期的信息。在一条记录R中，与用户ID4231相关联的食品名信息4232和相同数量的到期日期信息4236相关联。

到期日期通知时刻信息4237是表示向用户P通知相关联的到期日期信息4236所示的到期日期的时刻的信息。如图6所示，到期日期通知时刻信息4237所示的时刻是从到期日期信息4236所示的到期日期起几天前的时刻。在一条记录R中，与用户ID4231相关联的食品名信息4232和相同数量的到期日期通知时刻信息4237相关联。

新通知时刻信息4238是表示新通知食品收纳在冷藏库1中的时刻的信息。如图6所示，新通知时刻信息4238所示的时刻是从保存开始日期信息4235所示的保存开始日期起几天内的时刻。

食品图像数据4239是食品的图像即食品图像FG的图像数据。在一条记录R中，与用户ID4231相关联的食品名信息4232和相同数量的食品图像数据4239相关联。

回到图5的说明，服务器通信部41包括符合规定的通信标准的通信电路或连接器等通信硬件，通过服务器控制部40的控制，按照规定的通信标准和与全球网络GN连接的设备进行通信。在本实施方式中，服务器通信部41与食品检测装置2和终端装置3进行通信。

如上所述，服务器控制部40作为食品识别部4100发挥作用。

食品识别部4100识别食品检测装置2检测到的食品。参照图9对食品识别部4100的详情进行说明。

接着，对终端装置3的功能性结构进行说明。

终端装置3包括终端控制部30、终端通信部31和触摸面板32。

终端控制部30包括CPU或MPU等执行程序的处理器即终端处理器310、和终端存储部320，控制终端装置3的各部。终端控制部30以终端处理器310读出存储于终端存储部320的控制程序321并执行处理的方式，通过硬件和软件的协作来执行各种处理。在终端装置3上预先安装食品管理用应用323。食品管理用应用323是通过由终端处理器310从终端存储部320读出并执行，使终端控制部30作为应用执行部3100发挥作用的程序。

终端存储部320是存储终端处理器310执行的程序或由终端处理器310处理的数据的存储区域。终端存储部320存储终端处理器310执行的控制程序321、与终端装置3的设定相关的设定数据322、食品管理用应用323、用户ID4231、其它各种数据。终端存储部320具有非易失性的存储区域。另外，终端存储部320也可以包括易失性的存储区域，构成终端处理器310的工作区域。

终端通信部31包括符合规定的通信标准的通信电路等通信硬件，通过终端控制部30的控制，按照规定的通信标准和与全球网络GN连接的设备进行通信。在本实施方式中，终端通信部31根据应用执行部3100的控制，按照规定的通信标准与食品管理服务器4进行通信。在本实施方式中，终端通信部31使用的通信标准例示出无线通信标准，但也可以是有线通信标准。

触摸面板32包括液晶显示面板等显示面板和与显示面板重叠、或者一体设置的触摸传感器。显示面板通过终端控制部30的控制，显示各种图像。触摸传感器检测触摸操作，并将其向终端控制部30输出。终端控制部30基于来自触摸传感器的输入，执行与触摸操作对应的处理。

如上所述，终端控制部30作为应用执行部3100发挥作用。

应用执行部3100控制终端通信部31，与食品管理服务器4收发各种信息。应用执行部3100在终端装置3和通信装置5能够进行通信连接的情况下，经由通信装置5与食品管理服务器4收发各种信息，在除此以外的情况下，不经由通信装置5而与食品管理服务器4收发各种信息。因此，即使用户P不位于自家H内或者自家H的周边，终端装置3也能够通过食品管理用应用323的功能与食品管理服务器4收发各种信息。

另外，应用执行部3100在触摸面板32上显示与收纳于冷藏库1的食品的管理相关的用户界面。在以下的说明中，将该用户界面称为“食品管理用UI”，并标注“3200”的附图标记。应用执行部3100通过在触摸面板32上显示食品管理用UI3200，向用户P提供与收纳于冷藏库1的食品相关的各种信息，另外，从用户P接收与收纳于冷藏库1的食品相关的各种输入。

[2.动作]

接着，对食品管理系统1000的各部的动作进行说明。

在本实施方式中，例示出食品检测装置2与冷藏库1分体的情况。因此，食品检测装置2由用户P安装于冷藏库1的上表面。

首先，对食品检测装置2安装于冷藏库1时的食品管理系统1000的各部的动作进行说明。

在食品检测装置2安装于冷藏库1的情况下，应用执行部3100在触摸面板32上显示安装用画面TG的食品管理用UI。

图7是表示安装用画面TG的一例的图。

安装用画面TG设置拍摄结果显示区域HA1。拍摄结果显示区域HA1是矩形的区域，是显示冷藏室用摄像机21和抽屉用摄像机22中的任一个的拍摄结果的区域。在拍摄结果显示区域HA1中，在图中的左右方向上的大致中央设置有沿上下方向延伸的线L1。

安装用画面TG包含安装方法信息J1。安装方法信息J1是在将食品检测装置2安装于冷藏库1的上表面时表示如何安装的信息。图7所示的安装方法信息J1表示以拍摄结果显示区域HA1显示的拍摄结果中映出的冷藏库1的左右方向的中心成为设置于拍摄结果显示区域HA1的线L1的方式安装。

通过用户P按照安装方法信息J1所示的安装方法将食品检测装置2安装于冷藏库1的上表面，将冷藏室用摄像机21的拍摄范围和抽屉用摄像机22的拍摄范围设定为参照图2和图3进行说明的拍摄范围。即，食品检测装置2安装于冷藏库1，使得能够使进出冷藏库1的食品包含在冷藏室用摄像机21和抽屉用摄像机22各自的拍摄范围内。

在此，对食品检测装置2安装于冷藏库1时的食品管理系统1000的各部的动作进行说明。在该情况下的动作中，电力供给部230至少对摄像机模块220供电，摄像机模块220能够向终端装置3发送冷藏室用摄像机21和抽屉用摄像机22中的任一个的拍摄结果。此外，在食品检测装置2安装于冷藏库1的情况下，摄像机模块220和终端装置3可以经由食品管理服务器4进行通信，也可以通过近距离无线通信等进行直接通信。

终端装置3的应用执行部3100在接收到安装用画面TG的显示指示的情况下，通过终端通信部31向食品检测装置2发送请求拍摄结果的请求信息。

食品检测装置2的摄像机模块220的摄像机模块控制部221如果利用摄像机模块通信部223接收请求信息，则利用摄像机模块通信部223向终端装置3发送冷藏室用摄像机21和抽屉用摄像机22中的任一个的拍摄结果。

而且，应用执行部3100在拍摄结果显示区域HA1显示接收到的拍摄结果。

如上，通过应用执行部3100在触摸面板32上显示安装用画面TG的食品管理用UI3200，用户P能够简单且适当地将食品检测装置2安装于冷藏库1。

接着，对与食品的管理相关的食品管理系统1000的各部的动作进行说明。

首先，对与冷藏室用摄像机21和抽屉用摄像机22的拍摄相关的食品检测装置2的动作进行说明。

图8是表示食品检测装置2的动作的流程图。

在图8所示的动作中，传感器模块210通过传感器侧模块间通信部213向摄像机模块220发送传感器部212具有的各种传感器的检测值，且摄像机模块220利用摄像机侧模块间通信部224接收该检测值。而且，在图8所示的动作中，检测值处理部221A基于从传感器模块210接收到的各种检测值执行处理。

摄像机模块220的拍摄控制部221B判别在冷藏库1周围是否存在人(步骤SA1)。

拍摄控制部221B在从检测值处理部221A获取到表示存在人的人存在有无信息的情况下，在步骤SA1中判别为肯定，在从检测值处理部221A获取到表示不存在人的人存在有无信息的情况下，在步骤SA1中判别为否定。

拍摄控制部221B在判别为在冷藏库1周围存在人的情况下(步骤SA1：YES)，开始冷藏室用摄像机21和抽屉用摄像机22进行的动态图像的拍摄(步骤SA3)。

另一方面，拍摄控制部221B在判别为在冷藏库1周围不存在人的情况下(步骤SA1：NO)，判别左门11A、右门11B、抽屉12A、13A、14A、15A中的任一个是否为打开状态(步骤SA2)。

拍摄控制部221B在从检测值处理部221A获取到表示打开状态的开闭状态信息的情况下，在步骤SA2中判别为肯定，在从检测值处理部221A获取到表示关闭状态的开闭状态信息的情况下，在步骤SA2中判别为否定。

拍摄控制部221B在判别为左门11A、右门11B、抽屉12A、13A、14A、15A均不是打开状态的情况下(步骤SA2：NO)，将处理返回步骤SA1，再次执行步骤SA1的处理。

拍摄控制部221B在判别为左门11A、右门11B、抽屉12A、13A、14A、15A中的任一个为打开状态的情况下(步骤SA2：YES)，执行步骤SA3的处理。

如果在步骤SA3中开始拍摄，则摄像机模块220的动态图像处理部221C针对构成动态图像的每一帧执行步骤SA4-步骤SA8的处理。

如果通过冷藏室用摄像机21和抽屉用摄像机22开始拍摄，则动态图像处理部221C从检测值处理部221A获取开闭状态信息(步骤SA4)。

接着，动态图像处理部221C针对冷藏室用摄像机21和抽屉用摄像机22各自的拍摄结果，缩小1帧的拍摄图像(步骤SA5)。此处所说的缩小是指所谓调整大小。

动态图像处理部221C将缩小1帧的拍摄图像和在步骤SA4中获取的开闭状态信息相关联地存储于摄像机存储部2212(步骤SA6)。此外，动态图像处理部221C在每次进行步骤SA6时，以时间序列排列存储。

接着，拍摄控制部221B与步骤SA1同样地判别在冷藏库1周围是否存在人(步骤SA7)。

在拍摄控制部221B判别为在冷藏库1周围存在人的情况下(步骤SA7：YES)，动态图像处理部221C再次执行步骤SA4以后的处理。

另一方面，拍摄控制部221B在判别为在冷藏库1周围不存在人的情况下(步骤SA7：NO)，与步骤SA2同样地判别是否左门11A、右门11B、抽屉12A、13A、14A、15A均为关闭状态(步骤SA8)。

在拍摄控制部221B判别为左门11A、右门11B、和抽屉12A、13A、14A、15A都不是关闭状态的情况下(步骤SA8：NO)，动态图像处理部221C再次执行步骤SA4以后的处理。

另一方面，拍摄控制部221B在判别为左门11A、右门11B、抽屉12A、13A、14A、15A均为关闭状态的情况下(步骤SA8：YES)，结束冷藏室用摄像机21和抽屉用摄像机22进行的拍摄(步骤SA9)。

接着，对与基于冷藏室用摄像机21和抽屉用摄像机22的拍摄结果的食品的管理相关的动作进行说明。

图9是表示食品检测装置2和食品管理服务器4的动作的流程图。在图9中，流程图FB表示食品检测装置2的动作。另外，在图9中，流程图FC表示食品管理服务器4的动作。

食品检测装置2的摄像机模块220的食品检测部221D判别在摄像机存储部2212中是否存储有作为冷藏室用摄像机21和抽屉用摄像机22的拍摄结果的动态图像(步骤SB1)。

食品检测部221D在判别为动态图像未存储于摄像机存储部2212的情况下(步骤SB1：NO)，再次执行步骤SB1的处理。

另一方面，食品检测部221D在判别为动态图像存储于摄像机存储部2212的情况下(步骤SB1：YES)，执行有效帧判定处理(步骤SB2)。

有效帧判定处理从构成存储于摄像机存储部2212的动态图像的帧判定有效帧，从动态图像提取被判定为有效帧的帧，另一方面，对未被确定为有效帧的帧进行从动态图像废弃的处理。有效帧是指映出有左门11A、右门11B、抽屉12A、13A、14A、15A中的至少任一个为打开状态时的像的帧。有效帧与特定帧的一例对应。

在此，对有效帧判定处理中的有效帧的判定方法说明多个方法。

＜第1方法＞

第1方法是基于与帧相关联的开闭状态信息的判定。

食品检测部221D在有效帧的判定中，将表示打开状态的开闭状态信息相关联的帧判定为有效帧，将打开关闭状态的开闭状态信息相关联的帧判定为不是有效帧。

＜第2方法＞

第2方法是基于图像的差分提取的判定。

食品检测部221D通过进行构成动态图像的帧的差分提取，确定映出有左门11A、右门11B、抽屉12A、13A、14A、15A均为打开状态时的像的帧。而且，食品检测部221D将确定出的帧判定为有效帧，将确定出的帧以外的帧判定为不是有效帧。例如，食品检测部221D对关闭状态的帧进行差分提取，将在左门11A、右门11B、抽屉12A、13A、14A、15A中的任一个存在差分的帧判定为有效帧。此外，成为差分提取的基准的关闭状态的帧例如是构成动态图像的帧中最老的帧。

＜第3方法＞

第3方法是基于第1方法和第2方法的判定。

食品检测部221D将表示打开状态的开闭状态信息相关联的帧判定为有效帧。接着，食品检测部221D以表示关闭状态的开闭状态信息相关联的帧为对象，进行对于关闭状态的帧的差分提取，将在左门11A、右门11B、抽屉12A、13A、14A、15A中的任一个存在差分的帧判定为有效帧。

食品检测部221D如果执行有效帧判定处理，则从有效帧检测进出冷藏库1的食品(步骤SB3)。在步骤SB3的处理中，在从有效帧检测到食品的情况下，对于检测到的食品，也一并检测食品的种类和进出库的收纳室。此外，作为食品的种类，食品检测部221D以比食品名广义的分类进行检测。例如在实际进出库的食品为牛奶的情况下，食品检测部221D在步骤SB3中将食品的种类检测为“包装饮料”。

例如，食品检测部221D基于形状或颜色等特征量，从有效帧检测进出冷藏库1的食品。另外，例如，食品检测部221D基于形状或颜色等特征量，对检测到的食品的种类进行检测。另外，例如，食品检测部221D基于摄像机的种类或有效帧中映出的抽屉16A的尺寸等，对检测到的食品进出的收纳室进行检测。

在步骤SB3中，检测所需的数据存储于摄像机模块控制部221可获取的存储区域。

食品检测部221D根据有效帧判别是否检测到进出冷藏库1的食品(步骤SB4)。

食品检测部221D在根据有效帧判别为没有检测到进出冷藏库1的食品的情况下(步骤SB4：NO)，将处理返回步骤SB1，再次执行步骤SB1以后的处理。此外，在步骤SB4中从判别为否定到再次执行步骤SB1期间，食品检测部221D也可以进行有效帧的废弃。由此，能够防止没有检测到食品的不需要的动态图像继续存在于摄像机存储部2212。

另一方面，食品检测部221D在判别为检测到进出冷藏库1的食品的情况下(步骤SB4：YES)，进行进出库判定处理(步骤SB5)。

进出库判定处理是判定步骤SB3检测到的食品是进入冷藏库1的食品还是出库的食品的处理。

例如，食品检测部221D在进出库判定处理中，基于有效帧判定在步骤SB3中检测到的食品的像的动态图像中的移动方向。在食品的像的移动方向为后方、即靠近冷藏库1的方向的情况下，食品检测部221D判定为检测到的食品是入库到冷藏库1的食品。另外，在食品的像的移动方向为前方、即远离冷藏库1的方向的情况下，食品检测部221D判定为检测到的食品是从冷藏库1出库的食品。

接着，食品检测部221D从有效帧截取检测到的食品的食品图像FG(步骤SB6)。在以下的说明中，将截取的食品图像FG称为“截取食品图像”。

食品检测部221D利用摄像机模块通信部223向食品管理服务器4发送向食品管理服务器4请求食品的管理的食品管理请求信息(步骤SB7)。

向食品管理服务器4发送的食品管理请求信息包含摄像机存储部2212存储的食品检测装置ID2215。

另外，向食品管理服务器4发送的食品管理请求信息包含表示进行动态图像的拍摄的日期时间的日期时间信息。

另外，向食品管理服务器4发送的食品管理请求信息针对在步骤SB3中检测到的每一个食品包含截取食品图像的图像数据、表示进出库判定处理的判定结果的进出库判定结果信息、表示检测到的入库地址或出库地址的保存部位信息4234、和表示检测到的食品的种类的食品种类信息。

参照流程图FC，食品管理服务器4的服务器控制部40的食品识别部4100通过服务器通信部41判别是否接收到食品管理请求信息(步骤SC1)。

食品识别部4100在判别为未接收到食品管理请求信息的情况下(步骤SC1：NO)，再次执行步骤SC1的处理。

另一方面，食品识别部4100在判别为接收到食品管理请求信息的情况下(步骤SC1：YES)，基于食品管理请求信息中所含的图像数据所示的截取食品图像，进行食品识别处理(步骤SC2)。

本实施方式的食品识别处理是从截取食品图像识别食品，并针对识别出的食品从食品信息数据库获取食品图像FG和食品名信息4232的处理。

食品信息数据库是保存与食品相关的信息的数据库，例如，按每个食品保存食品图像FG的图像数据和食品名信息4232。食品信息数据库可以存储于食品管理服务器4，也可以存储于食品管理服务器4能够进行通信的设备。

例如，食品的识别如下进行。

食品识别部4100从保存于食品信息数据库的食品图像FG确定与截取食品图像的一致度最高的食品图像FG。一致度例如基于形状或颜色等特征量通过规定的算法计算。而且，食品识别部4100识别为确定出的食品图像FG所示的食品是截取食品图像所示的食品。

此外，食品识别部4100也可以通过AI(Artificial Intelligence，人工智能)进行食品识别。例如进行从教师用的食品图像FG学习食品的颜色或形状等特征量的机器学习处理，构建已学习模型。该已学习模型存储于服务器存储部420。食品识别部4100将食品管理请求信息中所含的食品图像FG作为输入数据，参照已学习模型，识别该食品图像FG所示的食品。在此，该已学习模型存储于与全球网络GN连接的食品管理服务器4以外的设备，也可以是在食品管理服务器4中识别食品的结构。在该结构的情况下，食品识别部4100向存储已学习模型的设备发送食品管理请求信息中所含的食品图像，并从该设备获取食品的确定结果。而且，食品识别部4100将获取的确定结果所示的食品识别为截取食品图像所示的食品。

食品识别部4100如果进行食品的识别，则针对识别出的食品从食品信息数据库获取食品图像FG和食品名信息4232。

接着，食品识别部4100如果进行食品识别处理，则基于食品识别处理的处理结果更新食品管理数据库423(步骤SC3)。

在此，对步骤SC3进行详述。

首先，食品识别部4100从食品管理数据库423确定具有食品管理请求信息中所含的食品检测装置ID2215的记录R。

接着，食品识别部4100基于接收到的食品管理请求信息中所含的进出库判定结果信息，判定识别出的食品是进入冷藏库1的食品还是从冷藏库1出库的食品。

食品识别部4100在判定为识别出的食品是从冷藏库1出库的食品的情况下，在确定出的记录R中，更新与识别出的食品的食品名信息4232相关联的信息。

更具体而言，食品识别部4100进行减少剩余量信息4233所示的剩余量的处理。减少的数量例如在进行食品识别处理时基于食品管理请求信息中所含的食品图像FG来计算。在此，在更新后的剩余量信息4233示出零的情况下，食品识别部4100也可以将保存开始日期信息4235所示的保存开始日期和到期日期信息4236所示的到期日期设为空白。

食品识别部4100在判定为识别出的食品是进入冷藏库1的食品的情况下，对于过去入库过的食品，在确定出的记录R中，更新与识别出的食品的食品名信息4232相关联的信息。

更具体而言，食品识别部4100进行增加剩余量信息4233所示的剩余量的处理。增加的数量例如在进行食品识别处理时基于食品管理请求信息中所含的截取食品图像来计算。另外，食品识别部4100进行将食品管理请求信息中所含的日期时间信息所示的年月日变更为保存开始日期信息4235所示的保存开始日期的处理。另外，食品识别部4100进行如下处理：通过运算或查询等规定的方法，获取基于食品管理请求信息中所含的日期时间信息所示的年月日的到期日期，并将到期日期信息4236所示的到期日期变更为获取的到期日期。

另外，食品识别部4100在判定为识别出的食品是进入冷藏库1的食品的情况下，对于过去未入库过的食品，将新的各种信息与确定出的记录R的用户ID4231相关联。

在与确定出的记录R的用户ID4231相关联的各种信息中包含食品名信息4232、剩余量信息4233、保存部位信息4234、保存开始日期信息4235、到期日期信息4236、到期日期通知时刻信息4237、新通知时刻信息4238和食品图像数据4239。

在此，食品名信息4232是在进行食品识别处理时获取的食品名信息4232。

另外，剩余量信息4233例如表示在进行食品识别处理时基于食品管理请求信息中所含的截取食品图像而计算出的剩余量。

另外，保存部位信息4234是食品管理请求信息中所含的保存部位信息4234。

另外，保存开始日期信息4235表示食品管理请求信息中所含的日期时间信息所示的年月日。

另外，到期日期信息4236表示基于食品管理请求信息中所含的日期时间信息所示的年月日的到期日期或者空白。

另外，到期日期通知时刻信息4237和新通知时刻信息4238表示默认的时刻或者空白。

另外，食品图像数据4239表示在进行食品识别处理时获取的食品图像FG。

由此，在食品管理系统1000中，食品检测装置2从拍摄结果的动态图像判定有效帧，从有效帧检测食品，并将检测到的食品的食品图像FG从有效帧截取。而且，在食品管理系统1000中，食品管理服务器4从截取食品图像进行食品的识别。通过这样的作用分配，抑制食品检测装置2向食品管理服务器4发送的数据量，同时能够在食品管理服务器4中进行食品的识别。因此，在食品管理系统1000中，能够抑制通信量的增大，同时识别进出冷藏库1的食品。

接着，对应用执行部3100在食品管理用UI3200中显示食品管理画面SKG时的食品管理系统1000的动作进行说明。食品管理画面SKG是与收纳于冷藏库1的食品的管理相关的画面。

首先，在动作的说明之前，对食品管理画面SKG进行说明。

图10是表示食品管理画面SKG的一例的图。

食品管理画面SKG按每个食品包含与食品相关的对象OB。图10所示的食品管理画面SKG包含与牛奶相关的对象OB1、与啤酒相关的对象OB2和与鸡蛋相关的对象OB3。

一个对象OB包含食品图像FG、剩余量信息4233和保存开始日期信息4235。另外，在食品的到期日期符合到期日期通知时刻信息4237所示的时刻的情况下，一个对象OB包含警告接近食品的到期日期的到期日期警告信息KJ。另外，在食品的保存开始日期符合新通知时刻信息4238所示的时刻的情况下，一个对象OB包含明示是新收纳的食品的新收纳明示信息MJ。

图10所示的对象OB1包含表示牛奶的食品图像FG1、表示牛奶的剩余量的剩余量信息4233、表示牛奶的保存开始日期的保存开始日期信息4235、和到期日期警告信息KJ。

另外，图10所示的对象OB2包含表示啤酒的食品图像FG2、表示啤酒的剩余量的剩余量信息4233、表示啤酒的保存开始日期的保存开始日期信息4235、和新收纳明示信息MJ。

另外，图10所示的对象OB3包含表示鸡蛋的食品图像FG3、表示鸡蛋的剩余量的剩余量信息4233、和表示鸡蛋的保存开始日期的保存开始日期信息4235。

食品管理画面SKG具有收纳室切换按钮B1。收纳室切换按钮B1是用于对冷藏库1的每个收纳室切换在食品管理画面SKG上显示的对象OB的种类的软件按钮。如果对收纳室切换按钮B1进行触摸操作，则在食品管理画面SKG中，一览显示冷藏库1的收纳室的名称。如果从一览中通过触摸操作选择一个收纳室，则在食品管理画面SKG中，显示关于表示所选择的收纳室的保存部位信息4234的对象OB。

食品管理画面SKG具有清除按钮B2。清除按钮B2是用于从食品管理画面SKG中的显示清除对象OB的软件按钮。在食品管理画面SKG中，在选择了一个或多个对象OB的状态下通过触摸操作选择清除按钮B2的情况下，所选择的对象OB成为非显示。另外，在食品管理数据库423中，在操作清除按钮B2时所选择的对象OB所示的与食品相关的各种信息被清除。

食品管理画面SKG具有更新按钮B3和表示最新的更新日期时间的更新日期时间信息J2。更新按钮B3是用于更新食品管理画面SKG显示的对象OB和对象OB具有的各种信息的软件按钮。如果对更新按钮B3进行触摸操作，则更新日期时间信息J2所示的更新日期时间变为进行了更新的最新的日期时间。

参照图11，对应用执行部3100在食品管理用UI3200中显示食品管理画面SKG时的食品管理系统1000的动作进行说明。

图11是表示终端装置3和食品管理服务器4的动作的流程图。在图11中，流程图FD表示终端装置3的动作，流程图FE表示食品管理服务器4的动作。

终端装置3的应用执行部3100判别是否从食品管理服务器4请求记录R(步骤SD1)。

例如，应用执行部3100在食品管理用UI3200中接收到指示食品管理画面SKG的显示的触摸操作的情况下，在步骤SD1中判别为肯定。

另外，例如，应用执行部3100在食品管理画面SKG中对更新按钮B3进行了触摸操作的情况下，在步骤SD1中判别为肯定。

应用执行部3100在判别为请求记录R的情况下(步骤SD1：YES)，通过终端通信部31向食品管理服务器4发送请求记录R的记录请求信息(步骤SD2)。在步骤SD2中发送的记录请求信息中包含终端存储部320存储的用户ID4231。

参照流程图FE，食品管理服务器4的服务器控制部40如果通过服务器通信部41接收记录请求信息(步骤SE1)，则从食品管理数据库423确定包含接收到的记录请求信息中所含的用户ID4231的记录R(步骤SE2)。

而且，服务器控制部40向终端装置3发送由服务器通信部41确定的记录R(步骤SE3)。

参照流程图FD，终端装置3的应用执行部3100如果通过终端通信部31接收记录R(步骤SD3)，则生成食品管理画面SKG(步骤SD4)。

在此，举出接收图6所示的记录R并生成图10所示的食品管理画面SKG的情况为例，对步骤SD4的处理进行详述。

应用执行部3100判别当前日期是否符合与表示牛奶的食品名信息4232相关联的到期日期通知时刻信息4237所示的时刻。在生成图10的对象OB1的情况下，应用执行部3100判别为肯定，生成到期日期警告信息KJ。此外，在判别为否定的情况下，不生成到期日期警告信息KJ。

接着，应用执行部3100判别与表示牛奶的食品名信息4232相关联的保存开始日期信息4235所示的保存开始日期是否符合与表示牛奶的食品名信息4232相关联的新通知时刻信息4238所示的时刻。在图10的对象OB的生成中，应用执行部3100判别为否定，不生成新收纳明示信息MJ。此外，在判别为肯定的情况下，应用执行部3100生成新收纳明示信息MJ。

应用执行部3100生成包含生成的到期日期警告信息KJ、与表示牛奶的食品名信息4232相关联的食品图像数据4239所示的食品图像FG、和与表示牛奶的食品名信息4232相关联的保存开始日期信息4235的对象OB1。

此外，应用执行部3100在未生成到期日期警告信息KJ的情况下，在对象OB1中不包含到期日期警告信息KJ，在生成新收纳明示信息MJ的情况下，在对象OB1中包含新收纳明示信息MJ。

应用执行部3100对于对象OB2、OB3也分别与对象OB1同样地生成，使生成的对象OB1、OB2、OB3包含在食品管理画面SKG中。

此外，应用执行部3100生成与洋葱相关的对象OB，但图10所示的食品管理画面SKG是显示收纳于冷藏室11的对象OB的画面，所以不将与洋葱相关的对象OB包含在图10所示的食品管理画面SKG中。与洋葱相关的对象OB包含在显示收纳于蔬菜室15的对象OB的食品管理画面SKG中。

回到图11所示的流程图FD的说明，应用执行部3100如果生成食品管理画面SKG，则在食品管理用UI3200中显示生成的食品管理画面SKG(步骤SD5)。

此外，在上述的食品管理画面SKG中，能够由用户P对每个食品修正显示的信息。可修正的信息是在食品管理数据库423中与用户ID4231相关联的各种信息。应用执行部3100在食品管理画面SKG中进行了信息的修正的情况下，向食品管理服务器4发送请求食品管理数据库423的更新的更新请求信息。而且，食品管理服务器4基于接收到的更新请求信息来更新食品管理数据库423。例如，在进行了啤酒的剩余量信息4233从3瓶变为2瓶的修正的情况下，应用执行部3100向食品管理服务器4发送将与啤酒的食品名信息4232相关联的剩余量信息4233更新为表示2瓶的剩余量的剩余量信息4233的更新请求信息。而且，食品管理服务器4将剩余量信息4233所示的剩余量从3瓶更新为2瓶。这样，因为能够由用户P修正信息，所以即使在存在食品检测装置2的错误检测、和食品管理服务器4的食品的错误识别的情况下，食品管理系统1000也可进行适当的食品的管理。此外，在食品识别部4100通过AI进行食品的识别的情况下，食品识别部4100也可以对由用户P修正的内容进行机器学习，将修正的内容反映在已学习模型中。

[3.效果等]

如上所述，食品管理系统1000管理收纳于冷藏库1的食品。食品管理系统1000包括冷藏室用摄像机21和抽屉用摄像机22、和基于通过冷藏室用摄像机21和抽屉用摄像机22的拍摄而获得的动态图像检测进出冷藏库1的食品的食品检测部221D。

根据该结构，通过利用动态图像进行拍摄，能够提高将进出库的食品包含于拍摄结果的可能性，所以能够根据拍摄结果高精度地检测进出冷藏库1的食品。因此，食品管理系统1000能够高精度地管理收纳于冷藏库1的食品。

食品检测部221D基于动态图像，判定检测到的食品向冷藏库1的进出库。

根据该结构，通过利用动态图像进行拍摄，能够提高将进出库的食品包含于拍摄结果的可能性，所以能够高精度地判定食品向冷藏库的进出库。因此，食品管理系统1000能够更高精度地管理收纳于冷藏库1的食品。另外，因为能够容易地判定拍摄结果中的食品的移动方向，所以容易判定食品向冷藏库的进出库。

食品管理系统1000包括识别食品检测部221D检测到的食品的食品识别部4100。

根据该结构，能够识别能够高精度地检测到的食品，所以能够根据实际进出冷藏库的食品准确地识别进出冷藏库1的食品。

食品检测部221D和食品识别部4100能够进行通信。食品检测部221D从构成动态图像的帧提取映出有冷藏库1的门11C和抽屉16A中的至少任一个为打开状态的像的有效帧，并检测提取出的有效帧中所含的食品，对于检测到的食品，从提取出的有效帧截取食品图像FG，并向食品识别部4100发送截取食品图像。食品识别部4100基于接收到的截取食品图像，识别食品检测部221D检测到的食品。

根据该结构，能够抑制食品检测部221D向食品识别部4100发送的数据量，同时在食品识别部4100中进行食品识别。因此，食品管理系统1000能够抑制系统中的通信量的增大，同时根据实际进出冷藏库1的食品准确地识别进出冷藏库1的食品。

食品管理系统1000包括检测冷藏库1的门11C和抽屉16A中的至少任一个的开闭状态的开闭用测距传感器28。食品检测部221D基于构成动态图像的帧的比较、和开闭用测距传感器28的检测结果提取有效帧。

根据用户P的姿势或用户P的位置等，有时被用户P遮挡而开闭用测距传感器不能适当地检测打开状态，另外，有时被用户P遮挡而未在拍摄结果中拍摄打开状态的门11C和抽屉16A的像。即，在基于构成动态图像的帧的比较、和开闭用测距传感器28的检测结果中的任一个的提取中，可能不能提取有效帧。因此，食品管理系统1000通过基于构成动态图像的帧的比较、和开闭用测距传感器28的检测结果提取有效帧，能够减小由于用户P的姿势或用户P的位置等而不能提取有效帧的可能性。因此，能够提高能够提取有效帧的可能性，所以食品管理系统1000能够根据拍摄结果高精度地检测食品。

冷藏室用摄像机21和抽屉用摄像机22从冷藏库1的前上方进行拍摄。

根据该结构，因为能够从该食品的上方拍摄进出冷藏库的食品，所以能够将进出冷藏库的食品高精度地包含于拍摄结果，所以能够根据拍摄结果更高精度地检测进出冷藏库1的食品。因此，食品管理系统1000能够更高精度地管理收纳于冷藏库1的食品。

[4.变形例]

接着，对本实施方式的多个变形例进行说明。

＜变形例1＞

实施方式1中，食品检测装置2从拍摄结果的动态图像判定有效帧，从有效帧检测食品，将检测到的食品的食品图像从有效帧截取，并向食品管理服务器4发送截取食品图像。而且，实施方式1中，食品管理服务器4基于截取食品图像进行食品识别处理和食品管理数据库423的更新。

在变形例1中，食品检测装置2不进行食品检测而向食品管理服务器4发送有效帧，食品管理服务器4基于有效帧，进行食品的检测、食品识别处理、和食品管理数据库423的更新。在该结构的情况下，因为食品检测装置2不执行与食品的检测相关的处理，所以能够减少食品检测装置2中的处理负荷。

＜变形例2＞

变形例1是如下结构：食品检测装置2不进行食品的检测而向食品管理服务器4发送有效帧，食品管理服务器4基于有效帧，进行食品的检测、食品识别处理、和食品管理数据库423的更新。

变形例2中，不进行有效帧的判定和有效帧的提取而向食品管理服务器4发送冷藏室用摄像机21和抽屉用摄像机22的拍摄结果，食品管理服务器4基于接收到的拍摄结果，进行食品的检测、食品识别处理、和食品管理数据库423的更新。在该结构的情况下，食品管理服务器4的服务器控制部40作为食品检测部221D发挥作用。在该结构的情况下，因为食品检测装置2不需要执行从有效帧的判定到食品的检测的一系列处理，所以能够进一步减少食品检测装置2中的处理负荷。

[5.其它实施方式]

如上，作为在本申请中公开的示例，对上述实施方式进行了说明。然而，本发明的技术不限于此，也能够应用于进行了变更、替换、附加、省略等的实施方式。另外，也能够将在上述实施方式中说明的各构成要素组合，设为新的实施方式。

因此，下面举例说明其他实施方式。

在上述的实施方式中，是抽屉用摄像机22的拍摄范围包含制冰室12、新鲜冻结室13、冷冻室14和蔬菜室15的结构。然而，抽屉用摄像机22的拍摄范围不限于该范围，也可以设为将一个或多个任意的收纳室组合的范围。例如，抽屉用摄像机22的拍摄范围可以是仅包含冷冻室14和蔬菜室15的范围，也可以是仅包含蔬菜室15的范围。

在上述的实施方式中，举出传感器模块210和摄像机模块220分体的情况为例，但也可以一体构成。

例如，上述的实施方式和变形例是摄像机模块220包括冷藏室用摄像机21和抽屉用摄像机22这2台摄像机的结构，但摄像机模块220包括的摄像机也可以是1台。在该情况下，食品检测装置2设置于冷藏库1的上表面，使得该摄像机从冷藏库1的前上方拍摄冷藏库1的前表面。该1台摄像机拍摄动态图像。该1台的摄像机的拍摄范围设定为能够从冷藏库1的前上方拍摄进出冷藏库1的食品的范围。例如，该1台的摄像机的拍摄范围是包含冷藏室用摄像机21的拍摄范围和抽屉用摄像机22的拍摄范围的范围。在该范围的情况下，该1台的摄像机的拍摄范围是主视时包含图2所示的范围A1、A2，侧视时包含图3所示的范围A3、A4的范围。

在摄像机为1台的情况下，替代冷藏室用摄像机21和抽屉用摄像机22的拍摄结果，基于该摄像机的拍摄结果，食品检测装置2、终端装置3和食品管理服务器4执行与上述的实施方式1同样的动作。

例如，在上述的实施方式中，作为本发明的开闭传感器，例示出了测量距离的测距传感器，但本发明的开闭传感器能够检测门11C和抽屉16A的开闭状态即可，例如也可以是摄像机。

例如，在上述的实施方式中，将食品检测装置2例示为与冷藏库1分体的装置，但食品检测装置2也可以是组装在冷藏库1中而为冷藏库1所包括的装置。

例如，在上述的实施方式中，是记录R保存于食品管理数据库423，食品管理服务器4进行食品检测装置2检测的食品的管理的结构，但也可以是记录R存储于终端存储部320，食品管理用应用323管理与食品检测装置2检测的食品相关的各种信息的结构。在该结构的情况下，应用执行部3100作为食品识别部4100发挥作用，进行食品识别，另外，与上述的食品管理服务器4同样地适当更新存储于终端存储部320的记录R的内容。在该结构的情况下，食品管理系统1000无需包括食品管理服务器4，系统结构简易。

例如，形成于冷藏库1的主箱体10的房间的种类不限于冷藏室11、制冰室12、新鲜冻结室13、冷冻室14和蔬菜室15，可以少，也可以形成其它种类的房间。另外，设置于冷藏室11的前表面的开口部的门的数量也可以是一个。

例如，传感器模块控制部211、摄像机模块控制部221、终端控制部30和服务器控制部40的功能也可以通过多个处理器或半导体芯片来实现。

图4和图5所示的各部为一例，具体安装方式没有特别限制。即，不一定需要安装与各部个别地对应的硬件，当然也能够设为通过一个处理器执行程序来实现各部的功能的结构。另外，可以将在上述的实施方式中由软件实现的功能的一部分设为由硬件实现，或者也可以将由硬件实现的功能的一部分由软件实现。此外，对于食品检测装置2、终端装置3和食品管理服务器4的其它各部的具体细节结构，在不脱离本发明的主旨的范围内也能够任意变更。

另外，例如，图8、图9和图11所示的动作的步骤单位是为了使食品管理系统1000的各部的动作容易理解而根据主要处理内容进行了分割，本发明不受处理单位的分割的方法或名称限制。也可以根据处理内容分割成更多的步骤单位。另外，也可以分割成一个步骤单位包含更多的处理。另外，该步骤的顺序在不妨碍本发明的主旨的范围内也可以适当地替换。

此外，上述的实施方式用于例示本发明的技术，所以能够在权利要求书或其均等的范围内进行各种变更、替换、附加、省略等。

产业上的可利用性

如上，本发明的食品管理系统能够用于收纳于冷藏库1的食品的管理的用途。

附图标记说明

1 冷藏库

2 食品检测装置

3 终端装置

4 食品管理服务器

7 工频交流电源(工频电源)

11 冷藏室

11A 左门(门)

11B 右门(门)

11C 门

12A、13A、14A、15A、16A 抽屉

21 冷藏室用摄像机(摄像机)

22 抽屉用摄像机(摄像机)

23 左门用测距传感器(开闭传感器)

24 右门用测距传感器(开闭传感器)

25 抽屉用测距传感器(开闭传感器)

26 照度传感器

27 人体感测传感器

28 开闭用测距传感器(开闭传感器)

210 传感器模块

220 摄像机模块

221A 检测值处理部

221B 拍摄控制部

221C 动态图像处理部

221D 食品检测部

230 电力供给部

4100 食品识别部。

Claims (6)

1.一种食品管理系统，管理收纳于具有冷藏室的冷藏库的食品，其特征在于，包括：

摄像机，其至少通过动态图像拍摄所述冷藏室的开口部；和

食品检测部，其基于通过所述摄像机的拍摄而获得的所述动态图像，检测进出所述冷藏库的所述食品。

2.如权利要求1所述的食品管理系统，其特征在于：

所述食品检测部基于所述动态图像，判断检测到的所述食品对所述冷藏库的进出。

3.如权利要求1或2所述的食品管理系统，其特征在于：

包括识别所述食品检测部检测到的所述食品的食品识别部。

4.如权利要求3所述的食品管理系统，其特征在于：

所述食品检测部和所述食品识别部之间能够进行通信，

所述食品检测部，

从构成所述动态图像的帧中提取映出有所述冷藏库的门和抽屉中的至少任一个为打开状态的像的特定帧，

检测提取出的所述特定帧中所含的所述食品，

对于检测到的所述食品，从提取出的所述特定帧截取图像，

向所述食品识别部发送截取的所述图像，

所述食品识别部基于接收到的所述图像，识别所述食品检测部检测到的所述食品。

5.如权利要求4所述的食品管理系统，其特征在于：

包括检测所述冷藏库的门和抽屉中的至少任一个的开闭状态的开闭传感器，

所述食品检测部基于构成所述动态图像的帧的比较和所述开闭传感器的检测结果，提取所述特定帧。

6.如权利要求1～5中任一项所述的食品管理系统，其特征在于：所述摄像机从所述冷藏库的前上方拍摄。

Images