CN110887336A - 冰箱的物品拿放管理系统及冰箱 - Google Patents

Abstract

本发明提供一种能够实现物品拿放管理的精度提高的冰箱的物品拿放管理系统及冰箱。冰箱的物品拿放管理系统具备检测部，该检测部使用学习成若被输入由设置于冰箱的传感器取得的信息则输出物品拿放的判定结果的第1学习模型，基于由所述传感器取得的信息来判定所述冰箱的物品拿放。

Description

冰箱的物品拿放管理系统及冰箱

相关申请的参照：本申请享有2018年9月11日在先提交的日本特许申请号2018-169959的优先权利益。本申请通过参照该申请而包含其全部内容。

技术领域

本发明的实施方式涉及冰箱的物品拿放管理系统及冰箱。

背景技术

已知有通过规定算法进行物品拿放管理的冰箱。这样的物品拿放管理被期待进一步的精度提高。

现有技术文献

专利文献

专利文献1：日本特开2015-81762号公报

发明内容

本发明要解决的课题在于提供一种能够实现物品拿放管理的精度提高的冰箱的物品拿放管理系统及冰箱。

实施方式的冰箱的物品拿放管理系统具备检测部，该检测部使用学习成若被输入由设置于冰箱的传感器取得的信息则输出物品拿放的判定结果的第1学习模型，基于由所述传感器取得的信息来判定所述冰箱的物品拿放。

附图说明

图1是表示第1实施方式的物品拿放管理系统的整体构成的图。

图2是表示第1实施方式的冰箱的图。

图3是表示第1实施方式的物品拿放管理系统的系统构成的框图。

图4是示意性地表示第1实施方式的第1学习模型的图。

图5是示意性地表示第1实施方式的第1学习模型中使用的神经网络的一部分的图。

图6是表示第1实施方式的针对输入层的输入数据的一例的图。

图7是表示第1实施方式的作为非正确数据的输入数据的一例的图。

图8是表示第1实施方式的第2学习模型的教师数据的一例的图。

图9是表示第1实施方式的物品拿放管理数据库的一例的图。

图10是表示在第1实施方式的终端设备上显示的信息的一例的图。

图11是表示在第1实施方式的终端设备上显示的信息的另一例的图。

图12是表示第1实施方式的订正受理画面的一例的图。

图13是表示第1实施方式的进行第1订正处理的情况下的显示画面的图。

图14是表示第1实施方式的进行第2订正处理的情况下的显示画面的图。

图15是表示第1实施方式的订正受理画面的另一例的图。

图16是表示第1实施方式的物品拿放管理系统的执行阶段的处理流程的流程图。

图17是表示第1实施方式的物品拿放管理系统的订正处理的流程的流程图。

图18是示意性地表示第1实施方式的第1变形例的第1学习模型的图。

图19是表示第2实施方式的物品拿放管理系统的整体构成的图。

符号说明

1、1A...物品拿放管理系统、100...冰箱、140...传感器(摄像机)、150...冰箱的显示装置，151...显示画面、200...终端设备、210...终端设备的显示装置、211...显示画面，300...服务器装置，320...检测部，330...选择部，370...订正受理部，410及410A...第1学习模型，420...第2学习模型。

具体实施方式

以下，参照附图对实施方式的冰箱的物品拿放管理系统及冰箱进行说明。在以下的说明中，对具有相同或类似的功能的构成标注相同的附图标记。并且，有时省略这些构成的重复说明。在本说明书中，“基于XX”是指“至少基于XX”，还包括除了XX之外还基于其他要素的情况。另外，“基于XX”并不限定于直接使用XX的情况，也包括基于对XX进行了运算及/或加工而得的结果的情况。“XX”是任意的要素(例如，任意的信息)。在本说明书中，将使学习模型进行学习的阶段称为“学习阶段”，将使用进行了学习的学习模型进行处理的阶段称为“执行阶段”。

(第1实施方式)

[1.整体构成]

参照图1至图17对第1实施方式进行说明。首先，对物品拿放管理系统1的整体构成进行说明。图1表示物品拿放管理系统1的整体构成。物品拿放管理系统1例如包括设置于各家庭的冰箱100、冰箱100的用户使用的终端设备200、以及服务器装置300。服务器装置300例如是云服务器，能够经由网络NW与冰箱100及终端设备200进行通信。网络NW例如包括因特网、WAN(Wide Area Network)、各家庭内的LAN(Local Area Network)等。网络NW中的一部分或全部的通信也可以通过无线来实现。以下，对物品拿放管理系统1所包含的各装置进行详细说明。

[2.冰箱]

首先，对冰箱100进行说明。

图2示出了本实施方式的冰箱100。图2中的(a)示出了冷藏室111A的门120打开的状态。图2中的(b)示出了冷藏室111A的门120关闭的状态。冰箱100例如具备冰箱主体110、多个门120、开闭检测开关130、多个传感器140、显示装置150、操作部160、无线发送部170及控制装置180。

冰箱主体110由具有隔热性的机壳构成，在内部形成有多个储藏室111。储藏室111包括冷藏室111A、蔬菜室、制冰室、小冷冻室、主冷冻室等。冰箱主体110在各储藏室111的前面侧具有使得能够相对于各储藏室111拿放物品的开口部112。开口部112由1个以上门120关闭。

开闭检测开关130例如设置在冰箱主体110与门120之间。开闭检测开关130在门120相对于储藏室111的开口部112被打开的情况下，检测为门120被打开。另外，开闭检测开关130在门120相对于储藏室111的开口部112被关闭的情况下，检测为门120被关闭。开闭检测开关130是“开闭检测单元”的一例。因此，以下的说明中的“开闭检测开关130”也可以替换为“开闭检测单元”。开闭检测单元不限于开闭检测开关130，也可以是摄像机等其他传感器。

多个传感器140例如设置在储藏室111内，对储藏室111的样态进行传感检测。多个传感器140例如配置在开口部112的周边。传感器140例如是摄像机。因此，以下为了便于说明，将“传感器140”替换为“摄像机140”进行说明。“由摄像机拍摄到的图像”是“由传感器检测到的检测值”的一例。但是，传感器140并不限定于摄像机，也可以是红外线传感器或超声波传感器等其他种类的传感器。因此，以下的说明中的“由摄像机拍摄到的图像”能够分别替换为“由传感器取得的信息”及“由传感器检测到的检测值”。“由传感器检测到的检测值”例如是根据用户的手的位置(例如移动)及/或手的形状、姿势(例如指尖的展开方式及/或角度)等而包含不同的检测结果的检测值。另外，本申请中所说的“检测值”不限于1个值(例如，与1个位置对应的1个值)的情况，也包括多个值(例如，同时检测到的与多个位置对应的多个值)的情况等。

在本实施方式中，摄像机140例如设置于储藏室111的顶面及/或侧面等，对经过开口部112的物品及/或用户的手等进行拍摄。摄像机140在通过开闭检测开关130检测到门120被打开的情况下开始拍摄，以规定的采样周期(1秒内5次等)进行拍摄。摄像机140在通过开闭检测开关130检测到门120被关闭的情况下结束拍摄。另外，摄像机140也可以是拍摄与开口部112不同的场所(例如门120的内侧门兜及/或设置于储藏室111的搁板)的摄像机。另外，摄像机140也可以相对于冰箱100仅设置1个。另外，以下为了简化说明，对由服务器装置300基于由设置于储藏室111顶面的1个摄像机140拍摄到的图像来进行物品拿放的判定的例子进行说明。

显示装置150例如设置在门120的前面。显示装置150例如是液晶显示器或有机EL(Electro Luminescence)显示器等，具有能够显示图像及/或文字的显示画面151。

操作部160例如是触摸面板式的输入装置，与显示装置150的显示画面151重叠地设置。用户通过操作操作部160能够进行规定的输入及/或选择。另外，操作部160并不限定于触摸面板式的输入装置，也可以是设于冰箱100的按钮等。

无线发送部170包括高频电路及天线等，能够通过无线与网络NW连接。例如，无线发送部170经由设置有冰箱100的家庭中设置的无线LAN路由器及调制解调器与网络NW连接。

控制装置180控制冰箱100的整体。例如，控制装置180统一控制开闭检测开关130、多个摄像机140、显示装置150、操作部160及无线发送部170的动作。每当摄像机140拍摄到新的图像时，控制装置180向服务器装置300发送新拍摄的图像。控制装置180将由摄像机140拍摄到的图像与拍摄了该图像的时刻信息(以下，称为“拍摄时刻信息”)建立对应地发送到服务器装置300。

[3.终端设备]

返回图1，对终端设备200进行说明。终端设备200例如是冰箱100的用户所拥有的终端设备，是智能手机或平板终端设备那样的便携终端设备、或者个人计算机等。终端设备200包括显示装置210及操作部220。

显示装置210例如是液晶显示器或有机EL显示器等，具有能够显示图像及/或文字的显示画面211。操作部220例如是触摸面板式的输入装置，与显示装置210的显示画面211重叠地设置。用户通过操作操作部220能够执行规定的输入及/或选择。此外，操作部220并不限定于触摸面板式的输入装置，也可以是设置于终端设备200的按钮或按键等。

在以上说明的冰箱100及终端设备200中，用于利用物品拿放管理系统1的应用程序、或者网页浏览器等启动，支持以下说明的处理。

[4.服务器装置]

接着，对服务器装置300进行说明。

图3示出了物品拿放管理系统1的系统构成。服务器装置300例如包括信息取得部310、检测部320、选择部330、物品拿放管理部340、信息生成部350、信息输出部360、订正受理部370、第1追加学习部380、第2追加学习部390及存储部ST。这些功能部(信息取得部310、检测部320、选择部330、物品拿放管理部340、信息生成部350、信息输出部360、订正受理部370、第1追加学习部380及第2追加学习部390)的一部分或全部通过CPU(CentralProcessin gUnit)或GPU(Graphics Processing Unit)等硬件处理器执行存储于存储部ST的程序(软件)来实现。但是，这些功能部中的一部分或全部也可以由ASIC(ApplicationSpecific Integrated Circuit)、PLD(Programmable Logic Device)、或FPGA(FieldProgrammable Gate Array)等硬件(包含电路部)来实现，也可以通过软件与硬件的协作来实现。

存储部ST例如由HDD(Hard Disk Drive)、SSD(Solid State Drive)、掩模ROM(Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)、以及EEPROM(Electrically Erasable Programmable Read Only Memory)等中的1个以上构成。在存储部ST中存储有后述的第1学习模型410、第2学习模型420、物品拿放管理数据库430(以下，称为“物品拿放管理DB430”)、第1检验用数据集440、第2检验用数据集450及在第1及第2学习模型410、420的学习中使用的教师数据(未图示)等。

首先，对信息取得部310进行说明。信息取得部310接收从冰箱100发送的信息。例如，信息取得部310取得由摄像机140拍摄到的图像及其拍摄时刻信息。本说明书中所说的“取得”并不限定于通过对冰箱100发送发送请求而使冰箱100发送信息的情况，也包括被动地接收从冰箱100发送的信息的情况。信息取得部310将从冰箱100取得的图像及拍摄时刻信息登记到物品拿放管理DB430中。另外，信息取得部310将从冰箱100取得的图像输出到检测部320。

接着，对检测部320进行说明。检测部320使用预先进行了学习的第1学习模型410，基于由摄像机140拍摄到的图像来判定冰箱100的物品拿放。详细地说，第1学习模型410是学习成若被输入由设置于冰箱100的摄像机140拍摄到的图像则输出冰箱100的物品拿放的判定结果的神经网络。第1学习模型410将表示冰箱100内的样态的图像及与该图像对应的正确信息(“物品放入”、“物品拿出”或者“既未进行物品放入也未进行物品拿出”)建立对应的数据集作为教师数据进行学习。在本实施方式中，说明第1学习模型410通过卷积神经网络(CNN)构建的例子。另外，关于第1学习模型410由循环神经网路(RNN)构建的例子，将在后面叙述。

图4示意性地示出了由CNN构成的第1学习模型410。第1学习模型410包括输入层411、多个隐藏层412及输出层413。多个隐藏层412包括卷积层412A、池化层412B、未图示的ReLU(Rectified Linear Unit)层等。卷积层412A对图像执行卷积运算(对图像的滤波处理)。池化层412B进行缩小图像的处理。ReLU层进行使运算结果的负值为0的处理。通过卷积层412A、池化层412B及ReLU层形成1个中间层，该中间层可以重叠成好几层。在隐藏层412的最终段设置有全连接层412C。在图4中，作为针对输入层411的输入数据而赋予了1张图像，但在本实施方式中，对输入层411同时赋予按时间序列连续的2个以上图像。对此在后面叙述。

图5示意性地示出了第1学习模型410中使用的神经网络的一部分。x表示各层的单元(节点)的值，在被输入图像的情况下，在输入层411中成为与像素值相当的值。各单元的值是用规定的函数计算对前一层的各单元的输出乘以权重w并相加而得到的值。如果用式子表示这些，则如下所述。

【式1】

y^t _m＝w^t-1 _1m·x^t-1 ₁+w^t-1 _2m，x^t-1 ₂+…+w^t-1 _nm·x^t-1 _n+b^t-1

x^t _m＝f(y^t _m)

…(1)

在此，b是偏置项。作为函数f，使用ReLU或Sigmoid函数等。通过从输入层411到输出层413重复上述式(1)的计算，从而求出基于第1学习模型410的判定结果。“学习”是指将权重w及偏置项b等调整为适当的值。学习是通过概率梯度下降法等进行的。即，对各层的权重w及偏置项b赋予随机的值，将成为教师数据的数据集赋予给输入层411。在学习的初始阶段，从输出层413输出的输出值是错误的值，但在教师数据的情况下，知道本来希望输出的值(目的值)，因此，以使输出值与目的值之间的偏差(误差)变小的方式从输出层413向输入层411反向地逐步更新权重等。这被称为误差逆传播，输出值与目标值的误差由平方误差或交叉熵等表现。此时，若以可微分的函数来表现误差，则能够通过计算来求出为了减小误差而调整的量(梯度)。

接着，对赋予给第1学习模型410的输入层411的输入数据进行说明。在本实施方式中，作为针对输入层411的输入数据，同时赋予按时间序列连续的2个以上(例如3个以上)图像。即，作为针对输入层411的输入数据，按时间序列连续的2个以上(例如3个以上)图像作为1个单位被赋予。“按时间序列连续的2个以上图像(2个以上检测值)”是指，在由摄像机(传感器)依次取得的多个图像(多个检测值)之间未被插入有在其他定时取得的图像(检测值)。“按时间序列连续的2个以上图像(2个以上检测值)”也可以被替换为“按时间序列的顺序排列的(与时间序列的顺序建立了关联的)2个以上图像(2个以上检测值)”。

图6示出了针对输入层411的一单位的输入数据(以下，称为“输入数据510”)的一例。一单位的输入数据510例如包含对与冰箱100的物品放入或物品拿出相关的用户的一系列动作进行拍摄而得的多个图像IM。在图6所示的例子中，输入数据510包含按时间序列连续的5个图像IM。在本实施方式中，这5个图像IM被同时输入到输入层411。例如，在输入层411中拍摄有最近拍摄的5个图像IM。即，在某一定时输入到输入层411的5个图像IM中最新的4个图像与新拍摄的1个图像一起，在下一定时被输入到输入层411。第1学习模型410通过将上述那样的输入数据510作为教师数据进行学习，从而学习成反映按时间序列连续的2个以上图像IM的输入而输出物品拿放的判定结果。

另外，在学习阶段中，不仅赋予正确数据，还赋予非正确数据。图7表示作为非正确数据的输入数据510的一例。非正确数据例如是既未进行物品放入也未进行物品拿出的情况下的图像IM。另外，作为教师数据，也可以赋予改变拿物品的角度及/或种类、或戴上手套、或用机械手放入物品那样的数据。进而，为了减少因环境的不同而导致的误检测，也可以还学习通过加工及/或合成而得到的图像。例如，作为图像的情况下的加工方法，可以举出随机区域的裁剪、左右反转、旋转、亮度的变更、对比度的变更、白化等。

第1学习模型410在执行阶段，作为按时间序列连续的2个以上图像IM，被输入了包含由摄像机140拍摄到的最新的图像IM的、最近的过去的规定时间量(例如1秒钟)的图像IM。第1学习模型410若被输入由摄像机140拍摄到的多个图像IM，则输出表示冰箱100的物品拿放的判定结果的输出值。例如，作为冰箱100的物品拿放的判定结果，第1学习模型410输出分别表示“物品放入的可能性”、“物品拿出的可能性”及“既未进行物品放入也未进行物品拿出的可能性”的概率值。例如，第1学习模型410输出“物品放入的可能性”为0.6、“物品拿出的可能性”为0.1、“既未进行物品放入也未进行物品拿出的可能性”为0.3这样的输出值。

在该情况下，检测部320也可以与第1学习模型410另外地具有判定部320a。判定部320a例如在表示物品放入的可能性的输出值超过物品放入阈值(例如0.8)的情况下，判定为“物品放入”，在表示物品拿出的可能性的输出值超过物品拿出阈值(例如0.8)的情况下，判定为“物品拿出”。但是，从第1学习模型410输出的判定结果并不限定于上述例子。例如，第1学习模型410也可以针对“物品放入”及“物品拿出”分别输出2值(是/否)的判定结果。

在本实施方式中，检测部320通过输入由摄像机140拍摄到的图像IM，从而输出表示“物品放入”、“物品拿出”及“既未进行物品放入也未进行物品拿出”中的某个的判定内容。检测部320的判定内容例如与该判定中使用的图像IM的集合建立对应，被输出到选择部330及物品拿放管理部340。

在本实施方式中，检测部320进行“物品放入”或“物品拿出”等的判定，但不进行物品放入或物品拿出的对象物是什么的判定。检测部320的判定内容与由后述的选择部330选择的图像IM建立对应地被管理。

接着，对选择部330进行说明。选择部330从由摄像机140拍摄并输入到第1学习模型410的多个图像IM中，自动地选择适于与检测部320的判定内容建立对应的图像IM。在本实施方式中，选择部330使用预先进行了学习的第2学习模型420，从输入到第1学习模型410的多个图像IM中选择与检测部320的判定内容建立对应的图像IM。详细地说，第2学习模型420由与第1学习模型410同样的神经网络构成。第2学习模型420被学习成若被输入图像IM则输出对与作为与检测部320的判定内容建立对应的图像IM的适合性进行判定的判定结果。

图8示出了在第2学习模型420的学习阶段中使用的教师数据的一例。在第2学习模型420的学习中使用的教师数据例如是表示冰箱100内的样态的图像IM与表示该图像IM的适合度的分数建立对应的数据集。例如，物品放入或物品拿出的对象物越是靠图像IM的正中央，则分数设定为越高的值。在图8所示的例子中，对最上方的图像IM赋予“0.2”的分数，对上数第2个图像IM赋予“1.0”的分数，对剩余的图像IM赋予“0.0”的分数。第2学习模型420学习成，在被输入了教师数据的图像IM的情况下，第2学习模型420的输出结果与被输入的图像IM被赋予的分数一致。

第2学习模型420在执行阶段中，若被输入由摄像机140拍摄到的图像IM，则表示作为与检测部320的判定内容建立对应的图像IM的适合度的值，例如输出“0.0”至“1.0”之间的分数。

在本实施方式中，选择部330与第2学习模型420另外地具有判定部330a。判定部330a例如在通过检测部320判定为“物品放入”或者“物品拿出”的情况下，从在该判定中使用的图像IM的集合中，选择通过第2学习模型420输出了最高分数的图像IM，作为与检测部320的判定内容建立对应的图像IM。另外，选择部330除了“物品放入”或“物品拿出”的判定中使用的图像IM的集合以外，也可以基于拍摄时刻信息而将这些图像IM的稍前或稍后拍摄到的图像IM作为选择候选。选择部330的选择结果与检测部320的判定内容建立对应，被输出到物品拿放管理部340。

接着，对物品拿放管理部340进行说明。物品拿放管理部340基于检测部320的判定内容及由选择部330选择的图像IM，管理冰箱100的物品拿放状况。

图9示出了由物品拿放管理部340管理的物品拿放管理DB430的一例。在物品拿放管理DB430中，例如保存有由摄像机140拍摄到的图像IM、且为从拍摄起还未经过很多天数的全部图像IM。即，保存在物品拿放管理DB430中的图像IM除了包括由选择部330选择的图像IM以外，还包括未被选择部330选择的图像IM。这些图像IM分别与图像IM的拍摄时刻信息建立对应被管理。

物品拿放管理部340对物品拿放管理DB430登记检测部320的判定内容(表示“物品放入”或“物品拿出”的信息)。例如，物品拿放管理部340将检测部320的判定内容与对应于该判定而由选择部330选择的图像IM(选择图像)建立对应地进行管理。另外，物品拿放管理部340也可以将检测部320的判定内容与该判定中使用的图像IM的集合建立对应地进行管理。

在本实施方式中，物品拿放管理部340在由检测部320判定为“物品放入”的情况下，对与该判定对应地由选择部330选择出的图像IM，附加规定的标记。规定的标记是表示是库存的标记。另一方面，物品拿放管理部340在由检测部320判定为“物品拿出”的情况下，删除物品放入时附加的标记。具体而言，物品拿放管理部340在由检测部320判定为“物品拿出”的情况下，比较与该判定对应地由选择部330选择的图像IM、和在物品拿放管理DB430中被附加有标记的1个以上图像IM。然后，物品拿放管理部340在这些图像IM的相似度超过规定的阈值的情况下，判定为与该图像IM对应的对象物被拿出了，并删除附加给该图像IM的标记。由此，物品拿放管理部340管理冰箱100内的库存状况。

接着，对信息生成部350进行说明。信息生成部350生成在冰箱100及冰箱100的用户使用的终端设备200中的至少一方的显示画面151、211上将检测部320的判定内容与由选择部330选择的图像IM建立对应地进行显示的信息。信息生成部350例如基于物品拿放管理DB430生成上述信息。另外，本说明书中所说的“检测部320的判定内容”也可以是表示对象物作为(物品放入的结果)库存而存在的内容。即，本说明书中所说的“将检测部320的判定内容与图像IM建立对应地进行显示”也包括将图像IM作为“库存”进行显示的情况。以下，说明由信息生成部350生成的信息显示在终端设备200的显示画面211上的例子。但是，也可以在冰箱100的显示画面151上也显示与以下说明的内容相同的信息。

图10示出了由信息生成部350生成并显示在终端设备200的显示画面211上的信息的一例。在终端设备200的显示画面211上，例如建立对应地显示表示检测部320的判定内容(“物品放入”或“物品拿出”)的信息、及与该判定对应地由选择部330选择的图像IM。此外，在显示画面211上显示用于受理在显示画面211上显示的内容的订正的订正按钮BT11。关于该功能在后面叙述。

图11示出了由信息生成部350生成并显示在终端设备200上的信息的另一例。在终端设备200的显示画面211上，显示表示冰箱100内的库存的一览的信息。例如，在终端设备200的显示画面211上显示表示冰箱100内的库存的图像IM的一览。此外，在显示画面211上显示用于受理在显示画面211上显示的内容的订正的订正按钮BT12。关于该功能在后面叙述。

接着，对信息输出部360进行说明。信息输出部360将由信息生成部350生成的信息发送到冰箱100及冰箱100的用户使用的终端设备200中的至少一方。信息输出部360可以每当通过检测部320进行物品放入或者物品拿出的判定时发送上述信息，也可以在从冰箱100或者终端设备200接收到发送请求(阅览请求)的情况下发送上述信息。

接着，对订正受理部370进行说明。在显示画面211上显示的图像IM与检测部320的判定内容之间的对应关系存在错误的情况下，订正受理部370基于用户对冰箱100的操作部160或终端设备200的操作部220的操作来受理错误的订正。以下，说明在终端设备200的显示画面211上显示用于受理订正的画面，基于用户对终端设备200的操作部220的操作来进行订正的例子。另外，也可以在冰箱100的显示画面151上显示相同的画面，基于用户对冰箱100的操作部160的操作来进行订正。

图12示出了本实施方式的订正受理画面610的一例。订正受理部370例如在用户操作了图10中所示的订正按钮BT11的情况下，使显示画面211显示订正受理画面610。订正受理画面610例如包括用于受理检测部320的判定内容的订正的第1按钮BT21、及用于受理所显示的图像IM的订正的第2按钮BT22。

在本实施方式中，订正受理部370在显示于显示画面211的图像IM正确但与该图像IM建立对应地显示于显示画面211的检测部320的判定内容存在错误的情况下(物品拿放的判定有错误的情况下)，通过由用户对第1按钮BT21进行操作，而进行受理检测部320的判定内容的订正的第1订正处理。

图13示出了进行第1订正处理的情况下的显示画面211。订正受理部370在第1订正处理中，使检测部320的其他判定内容的候选显示在显示画面211上。例如，在显示有表示“物品放入”的状态下操作了第1按钮BT21的情况下，显示用于将检测部320的判定内容订正为“物品拿出”的按钮BT31、及用于订正成“既未进行物品放入也未进行物品拿出”的按钮BT32。然后，订正受理部370基于对按钮BT31及BT32的操作，受理检测部320的判定内容的订正。

另一方面，订正受理部370在显示于显示画面211的检测部320的判定内容正确但由选择部330选择并与上述判定内容建立对应地显示于显示画面211的图像IM不恰当的情况下(图像的选择不恰当的情况下)，进行受理与检测部320的判定内容建立对应的图像IM的订正的第2订正处理。

图14示出了进行第2订正处理的情况下的显示画面211。订正受理部370在第2订正处理中，将由摄像机140拍摄的另外的1个以上图像IM作为候选图像显示在显示画面211上。作为“另外的1个以上图像”，例如是在检测部320的判定中使用的5个图像IM的集合中未被选择部330选择而剩余的4个图像IM。但是，也可以是，除了上述4个图像IM以外，订正受理部370还基于拍摄时刻信息，将这些图像IM的稍前或稍后拍摄的其他图像IM作为候选图像进行显示。订正受理部370基于由用户从输入的候选图像中选择1个图像IM的操作，受理与检测部320的判定内容建立对应的图像IM的订正。

图15示出了本实施方式的订正受理画面620的另一例。订正受理部370例如在由用户操作了图11中所示的订正按钮BT12的情况下，使显示画面211显示订正受理画面620。

在本实施方式中，订正受理部370在与检测部320的判定内容建立对应而应该显示于显示画面211的图像IM未被显示的情况下(放入的物品未被作为库存而显示的情况)，进行受理与检测部320的判定内容建立对应的图像IM的选择的第3订正处理。

例如，在第3订正处理中，订正受理部370使显示画面211显示由摄像机140拍摄的1个或多个图像IM作为候选图像。作为“1个以上图像”，例如是由摄像机140过去拍摄到的图像IM。订正受理部370基于从候选图像中选择1个或多个图像IM的用户操作，受理要作为库存追加的图像IM(应该附加标记的图像IM)的选择。

另一方面，订正受理部370在本不应当与检测部320的判定内容建立对应的图像IM与检测部320的判定内容建立对应地显示在了显示画面211的情况下(已拿出的对象物作为库存被显示的情况下)，进行解除该图像IM与检测部320的判定内容之间的对应关系的第4订正处理。

例如，订正受理部370在第4订正处理中，受理作为库存显示于显示画面211的图像IM中的应该从库存删除的图像IM(应去掉标记的图像IM)的选择。

订正受理部370受理订正内容后，将所受理的订正内容输出到物品拿放管理部340。物品拿放管理部340基于由订正受理部370受理的订正内容，更新物品拿放管理DB430。

接着，对第1追加学习部380进行说明。第1追加学习部380在进行了受理检测部320的判定内容的订正的订正处理的情况下，基于由订正受理部370受理的信息，使第1学习模型410进行追加学习。例如，订正受理部370将对检测部320的判定内容进行了的订正内容与成为订正对象的在检测部320的判定中使用的图像IM的集合建立对应，作为新的教师数据。然后，第1追加学习部380以反映新的教师数据使第1学习模型410进行追加学习(再学习)。

在本实施方式中，第1追加学习部380在使第1学习模型410进行追加学习之后，确认追加学习后的第1学习模型410的判定精度。具体而言，第1追加学习部380将第1检验用数据集440输入到追加学习后的第1学习模型410。第1检验用数据集440是表示冰箱100内的样态的图像IM和与该图像IM对应的物品拿放的正确信息被正确地建立了对应的数据集，是利用第1追加学习部380进行的追加学习中未使用的数据集。在第1检验用数据集440被输入的情况下的第1学习模型410的判定结果的精度满足规定条件的情况下，第1追加学习部380使追加学习的内容反映到第1学习模型410中。所谓“满足规定条件的情况”例如是追加学习后的第1学习模型410的判定精度不低于追加学习前的第1学习模型410的判定精度的情况。

接着，对第2追加学习部390进行说明。第2追加学习部390在进行了受理由选择部330选择的图像IM的订正的订正处理的情况下，基于由订正受理部370受理的信息，使第2学习模型420进行追加学习。订正受理部370例如在进行了受理图像IM的订正的订正处理的情况下，订正该图像IM的分数。然后，订正受理部370将图像IM和该图像IM被赋予的分数的订正内容建立对应，作为新的教师数据。然后，第2追加学习部390以反映新的教师数据的方式使第2学习模型420进行追加学习(再学习)。

在本实施方式中，第2追加学习部390在使第2学习模型420进行追加学习之后，确认追加学习后的第2学习模型420的判定精度。具体而言，第2追加学习部390向追加学习后的第2学习模型420输入第2检验用数据集450。第2检验用数据集450是表示冰箱100内的样态的图像IM与该图像IM被赋予的分数恰当地建立对应的数据集，是利用第2追加学习部390进行的追加学习中未使用的数据集。在被输入第2检验用数据集450的情况下的第2学习模型420的判定结果满足规定条件的情况下，第2追加学习部390使追加学习的内容反映到第2学习模型420中。所谓“满足规定条件的情况”，例如是追加学习后的第2学习模型420的判定精度(输出的分数的恰当度)不低于追加学习前的第2学习模型420的判定精度的情况。

在本实施方式中，第1及第2学习模型410、420按每个用户(每个家庭)而被分离。在该情况下，通过利用第1及第2追加学习部380、390进行追加学习，检测部320及选择部330的判定精度容易适用于用户固有的状况及/或环境。另一方面，第1学习模型410及第2学习模型420也可以由多个用户(多个家庭)共享。在该情况下，能够由多个用户共享与其他用户的订正对应的追加学习的结果。

接着，对物品拿放管理系统1的执行阶段的处理流程进行说明。

图16是表示物品拿放管理系统1的执行阶段的处理流程的流程图。首先，冰箱100的控制装置180基于开闭检测开关130的检测结果，检测冰箱100的门被打开的情况(S101)。接着，控制装置180使摄像机140进行拍摄(S102)，将每次进行拍摄而拍摄到的图像IM发送给服务器装置300(S103)。

服务器装置300在从冰箱100接收到新的图像IM时，将旧的未使用的图像IM丢弃(S104)。“未使用”是未与检测部320的检测内容建立对应地被管理的图像IM。然后，服务器装置300将从冰箱100接收到的新的图像IM保存到存储部ST(S105)。

服务器装置300每当从冰箱100接收到图像IM时，将从冰箱100接收到的包含最新的图像IM的最近的多个图像IM输入到第1学习模型410(S110)。然后，服务器装置300的检测部320判定从第1学习模型410输出的表示“物品放入”的概率的输出值是否为物品放入阈值以上(S111)。检测部320在表示“物品放入”的概率的输出值为物品放入阈值以上的情况下(S111：是)判定为“物品放入”，进行物品放入处理(S112)。具体而言，检测部320将表示进行了物品放入的判定内容与在该判定中使用的图像IM的集合建立对应地输出到选择部330及物品拿放管理部340。

在该情况下，选择部330将在“物品放入”的判定中使用过的多个图像IM输入到第2学习模型420。然后，选择部330从在“物品放入”的判定中使用过的图像IM的集合中，选择通过第2学习模型420输出了最高分数的图像IM，作为与检测部320的判定内容建立对应的图像IM。选择部330将检测部320的判定内容与所选择的图像IM建立对应地输出到物品拿放管理部340。物品拿放管理部340对由选择部330选择的图像附加标记(S113)。

另一方面，检测部320在表示“物品放入”的概率的输出值小于物品放入阈值的情况下(S111：否)，判定从第1学习模型410输出的表示“物品拿出”的概率的输出值是否为物品拿出阈值以上(S121)。检测部320在表示“物品拿出”的概率的输出值为物品拿出阈值以上的情况下(S121：是)判定为“物品拿出”，进行物品拿出处理(S122)。具体而言，检测部320将表示进行了物品拿出的判定内容与在该判定中使用的图像IM的集合建立对应地输出到选择部330及物品拿放管理部340。

在该情况下，选择部330将在“物品拿出”的判定中使用的多个图像IM输入到第2学习模型420。然后，选择部330从在“物品拿出”的判定中使用的图像IM的集合中，选择通过第2学习模型420输出了最高分数的图像IM，作为与检测部320的判定内容建立对应的图像IM。选择部330将检测部320的判定内容与所选择的图像IM建立对应地输出到物品拿放管理部340。物品拿放管理部340对由选择部330选择的图像、和物品拿放管理DB430中附加有标记的1个以上图像IM进行比较。然后，物品拿放管理部340基于这些图像IM的相似度等，从由物品拿放管理DB430管理的图像IM中选择表示“物品拿出”的对象物的图像IM，并删除该图像IM被附加的标记(S123)。

另外，检测部320在从第1学习模型410输出的表示“物品放入”的概率的输出值小于物品放入阈值、且表示“物品拿出”的概率的输出值也小于物品拿出阈值的情况下(S121：否)，不进行与物品拿放相关的处理。

冰箱100的控制装置180以规定的采样周期判定冰箱100的门是否被打开(S131)。在基于开闭检测开关130的检测结果而判定为冰箱100的门被打开的情况下(S131：是)，重复S102至S123的处理。另一方面，控制装置180在判定为冰箱100的门被关闭的情况下(S131：否)，结束摄像机140的拍摄。由此，本流程的处理结束。

接着，对物品拿放管理系统1的订正处理的流程进行说明。

图17是表示物品拿放管理系统1的订正处理的流程的流程图。本流程表示从终端设备200对服务器装置300请求了库存信息的阅览的情况的例子。另外，在该示例中，为了简化说明，列举了应被订正的错误仅存在1个的情况。

首先，服务器装置300受理来自终端设备200的阅览请求(S201)。接着，信息生成部350抽取来自物品拿放管理DB430的被标记的图像IM，生成表示抽取出的图像IM的一览的信息，作为库存信息(S202)，将所生成的库存信息通过向终端设备200发送而提示给用户(S203)。

接下来，订正受理部370判定用户是否进行了订正操作(S211)。在用户未进行订正操作的情况下(S211：否)，本流程的处理结束。另一方面，在用户进行了订正操作的情况下(步骤S211：是)，订正受理部370基于操作的内容，判定该订正操作是“与物品放入相关的订正操作”还是“与物品拿出相关的订正操作”(S212)。在由用户进行的订正操作是“与物品拿出相关的订正操作”的情况下(S212：“物品拿出的订正操作”)，订正受理部370将已被拿出但未被判定为“物品拿出”、仍留有标记的图像IM的标记删除，相反，对未被拿出但被错误地判定为“物品拿出”、标记被删除了的图像IM追加标记(S221)。该情况下，处理进入后述的S241。

另一方面，在用户进行的订正操作是“与物品放入相关的订正操作”的情况下(步骤S212：“物品放入的订正操作”)，订正受理部370判定用户的订正操作是将未被判定为“物品放入”的图像IM追加到“物品放入”的判定中的操作、还是与“物品放入”的判定建立对应地显示的图像IM的替换操作(S231)。具体而言，订正受理部370在为了追加到“物品放入”的判定中而由用户选择的图像IM是在检测部320的过去的判定中未被判定为“物品放入”的图像IM的情况下(不包含在“物品放入”的判定中使用过的图像IM的集合中的情况下)，识别为是“物品放入”的追加操作。另一方面，在为了追加到“物品放入”中而由用户选择的图像IM是在检测部320的过去的判定中被判定为“物品放入”的图像IM的情况下(包含在“物品放入”的判定中使用过的图像IM的集合中的情况下)，订正受理部370识别为是图像IM的替换操作。

在用户的订正操作是“物品放入”的追加操作的情况下(S231：“追加操作”)，订正受理部370判定为检测部320的判定内容是错误的，对由用户选择的图像IM追加标记(S232)。该情况下，处理进入后述的S241。

另一方面，在用户的订正操作是图像IM的替换操作的情况下(S231：“替换操作”)，订正受理部370判定为选择部330的图像IM的选择是不恰当的，对替换操作中成为追加对象的图像IM追加标记，删除替换操作中成为删除对象的图像IM的标记(S233)。该情况下，处理进入后述的S242。

接着，在S241中，基于由订正受理部370受理的信息，由第1追加学习部380使第1学习模型410进行追加学习。另一方面，在S242中，基于由订正受理部370受理的信息，通过第2追加学习部390使第2学习模型420进行追加学习。由此，本流程的处理结束。另外，在存在多个订正内容的情况下，将这些内容作为编辑履历等信息进行保存，进行汇总反映多个订正内容的追加学习。

根据这种构成的物品拿放管理系统1，能够实现物品拿放管理的精度提高。在此，作为比较例，考虑通过不进行学习的规定算法进行物品拿放管理的的构成。在该情况下，可以想到在不符合算法的状况下判定失败，物品拿放管理的精度降低的情况。另外，有时在算法中使用的阈值等参数的调整伴有困难。另外，为了提高判定精度，还需要试探算法的改良。结果，存在开发变得不高效的可能性。

另一方面，在本实施方式中，使用预先进行了学习的第1学习模型410判定冰箱100的物品拿放。根据这样的构成，通过适当地进行学习，能够实现物品拿放管理的精度提高。另外，能够消除或减少进行参数的调整及/或算法的改良的作业，还能够实现开发的高效化。

在本实施方式中，检测部320通过将由摄像机140拍摄的按时间序列连续的2个以上图像IM输入到第1学习模型410，来判定相对于冰箱100的物品拿放。根据这样的构成，能够基于用户的动作进行物品拿放的判定，能够实现判定精度的进一步提高。

在本实施方式中，摄像机140仅在冰箱100的门120打开起至门120关闭为止的期间进行拍摄。根据这样的构成，能够实现节能化，并且能够削减需要保存的数据量。

在本实施方式中，物品拿放管理系统1具备信息生成部350，该信息生成部350生成使检测部320的判定内容与由摄像机140拍摄到的图像IM建立对应地显示在冰箱100及终端设备200中的至少一方的显示画面151、211上的信息。根据这样的构成，不打开冰箱100(例如在外出目的地)，也能够进行冰箱100的库存状况的确认等，能够提高用户的便利性。

在本实施方式中，物品拿放管理系统1具备订正受理部370，在显示于显示画面151、211的图像IM与检测部320的判定内容之间的对应关系存在错误的情况下，该订正受理部370基于对冰箱100或终端设备200的操作而受理错误的订正。根据这样的构成，能够基于由订正受理部370受理的信息，在下次以后显示正确的信息。

在本实施方式中，物品拿放管理系统1具备第1追加学习部380，该第1追加学习部380基于由订正受理部370受理的信息，使第1学习模型410进行追加学习。根据这样的构成，能够基于由订正受理部370受理的信息，进一步提高第1学习模型410的判定精度。

在本实施方式中，在被输入第1检验用数据集440的情况下的第1学习模型410的判定精度满足规定条件的情况下，第1追加学习部380使追加学习的内容反映到第1学习模型410中。根据这样的构成，即使在用户错误地对检测部320的判定内容进行了订正的情况下，也能够抑制第1学习模型410的判定精度降低。

在本实施方式中，物品拿放管理系统1具备选择部330，该选择部330从被输入到第1学习模型410的多个图像IM中选择适于与检测部320的判定内容建立对应的图像IM。根据这样的构成，能够显示适于显示画面151、211的图像IM，能够提高用户的便利性。

在本实施方式中，选择部330使用预先进行了学习的第2学习模型420来选择与检测部320的判定内容建立对应的图像IM。根据这样的构成，能够进一步提高由选择部330选择的图像IM的判定精度。

在本实施方式中，物品拿放管理系统1具备第2追加学习部390，该第2追加学习部390基于由订正受理部370受理的信息，使第2学习模型420进行追加学习。根据这样的构成，能够进一步提高第2学习模型420的判定精度。

在本实施方式中，检测部320、选择部330及存储部ST等设置于服务器装置300。根据这样的构成，能够降低冰箱100的CPU等的配置规格，实现冰箱100的低成本化及/或消耗电力的降低等。另外，如果检测部320及/或选择部330设置在服务器装置300中，则检测部320及/或选择部330的版本升级(性能改善)也变得容易。

(第1变形例)

接着，对第1实施方式的第1变形例进行说明。本变形例的物品拿放管理系统1在第1学习模型410A由RNN构成这一点上与第1实施方式不同。另外，以下说明以外的构成与第1实施方式相同。

图18示意性地示出了由RNN构成的第1学习模型410A。第1学习模型410与第1实施方式的第1学习模型410同样是预先学习成若被输入由摄像机140拍摄到的图像IM则输出物品拿放的判定结果的神经网络。第1学习模型410包括输入层411、多个隐藏层412(图18中仅示出1个)及输出层413。隐藏层412具有用于保持输入数据的存储的环路。隐藏层412具有例如LSTM(Long Short–Term Memory)构造。

根据这样的第1学习模型410A，能够学习成反映按时间序列连续的2个以上图像IM的输入而输出物品拿放的判定结果。在本实施方式中，在第1学习模型410A的输入层411中一个一个地逐次输入由摄像机140拍摄到的最新的图像IM。通过这样的构成，也能够与第1实施方式同样地实现物品拿放管理的精度提高。

(第2变形例)

接着，对第1实施方式的第2变形例进行说明。本变形例的物品拿放管理系统1在选择部330通过不是神经网络的规定算法实现这一点上与第1实施方式不同。另外，以下说明以外的构成与第1实施方式相同。

在本变形例中，选择部330通过对由摄像机140拍摄到的图像IM进行规定的图像处理来从由摄像机140拍摄到的多个图像IM中选择与检测部320的判定内容建立对应的图像IM。例如，选择部330对由摄像机140拍摄到的图像IM及模板图像(物品及用户的手未被摄入的图像)进行比较，在由摄像机140拍摄到的图像IM中除去像素与模板图像一致的部分。因此，选择部330获得抽取了物品及手的图像。

接着，选择部330基于例如颜色信息等，从上述图像中进一步除去与用户的手对应的部分。由此，得到与物品对应的图像。选择部330在被输入到选择部330的多个图像IM中，选择与物品对应的图像为最大的图像IM，作为与检测部320的判定内容建立对应的图像IM。通过这样的构成，也能够与第1实施方式同样地实现物品拿放管理的精度提高。

(第2实施方式)

接着，参照图19对第2实施方式进行说明。第2实施方式在将第1实施方式中设置于服务器装置300的功能部设置于冰箱100这一点上与第1实施方式不同。另外，以下说明以外的构成与第1实施方式相同。

图19示出了第2实施方式的物品拿放管理系统1A的整体构成。在本实施方式中，包括检测部320及选择部330在内的物品拿放管理系统1A的大多数功能部设置于冰箱100。在该情况下，冰箱100与终端设备200可以直接通信，也可以经由网络NW进行通信。通过这样的构成，也能够与第1实施方式同样地实现物品拿放管理的精度提高。

以上对几个实施方式及变形例进行了说明，但实施方式并不限定于上述例子。例如，上述的几个实施方式及变形例也可以相互组合来实现。本说明书中所说的“对学习模型输入由传感器140取得的信息”(被输入由摄像机140拍摄到的图像)”，包括输入在由传感器(摄像机)取得之后实施了规定的预处理后的信息及/或图像的情况。

根据以上说明的至少1个实施方式，通过具备使用进行了学习的学习模型来判定相对于冰箱的物品拿放的检测部，能够实现物品拿放管理的精度提高。

对本发明的几个实施方式进行了说明，但这些实施方式是作为例子而提示的，并不意图限定发明的范围。这些实施方式能够以其他各种方式实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围及主旨中，同样包含在权利要求书所记载的发明及其等同的范围内。

以下，附记几个冰箱的物品拿放管理系统及冰箱。

[1]一种冰箱的物品拿放管理系统，其中，

具备检测部，该检测部使用学习成若被输入由设置于冰箱的传感器取得的信息则输出物品拿放的判定结果的第1学习模型，基于由所述传感器取得的信息来判定所述冰箱的物品拿放。

[2]根据[1]所述的物品拿放管理系统，其中，

所述第1学习模型学习成若被输入由所述传感器检测到的检测值则输出物品拿放的判定结果。

[3]根据[2]所述的物品拿放管理系统，其中，

所述第1学习模型学习成反映按时间序列连续的2个以上检测值的输入而输出物品拿放的判定结果，

所述检测部通过将由所述传感器检测到的按时间序列连续的2个以上检测值输入到所述第1学习模型中来判定所述冰箱的物品拿放。

[4]根据[1]至[3]中任一项所述的物品拿放管理系统，其中，

还具备信息生成部，

所述传感器是摄像机，

所述检测部使用学习成若被输入由所述摄像机拍摄到的图像则输出物品拿放的判定结果的所述第1学习模型来判定所述冰箱的物品拿放，

所述信息生成部生成在所述冰箱及所述冰箱的用户使用的终端设备中的至少一方的显示画面上将所述检测部的判定内容与由所述摄像机拍摄到的图像建立对应地进行显示的信息。

[5]根据[4]所述的物品拿放管理系统，其中，

还具备订正受理部，在所述显示画面上显示的所述图像与所述检测部的判定内容之间的对应关系存在错误的情况下，该订正受理部基于用户对所述冰箱或所述终端设备的操作而受理所述错误的订正。

[6]根据[5]所述的物品拿放管理系统，其中，

在与所述显示画面上显示的所述图像建立对应地显示的所述检测部的判定内容存在错误的情况下，所述订正受理部受理所述检测部的判定内容的订正。

[7]根据[5]或[6]所述的物品拿放管理系统，其中，

还具备第1追加学习部，该第1追加学习部基于由所述订正受理部受理的信息使所述第1学习模型进行追加学习。

[8]根据[7]所述的物品拿放管理系统，其中，

所述第1追加学习部向进行了追加学习的所述第1学习模型输入检验用数据集，在被输入了所述检验用数据集的情况下的所述第1学习模型的判定结果的精度满足规定条件的情况下，使追加学习的内容反映到所述第1学习模型中。

[9]根据[4]至[8]中任一项所述的物品拿放管理系统，

还具备选择部，该选择部从被输入到所述第1学习模型的多个图像中选择适合与所述检测部的判定内容建立对应的图像。

[10]根据[9]所述的物品拿放管理系统，其中，

所述选择部使用学习成若被输入图像则输出对作为与所述检测部的判定内容建立对应的图像的适合性进行判定的判定结果的第2学习模型，从被输入到所述第1学习模型的多个图像中选择与所述检测部的判定内容建立对应的图像。

[11]根据[10]所述的物品拿放管理系统，其中，

所述信息生成部生成在所述冰箱及所述终端设备中的至少一方的显示画面上将所述检测部的判定内容与由所述选择部选择的图像建立对应地进行显示的信息。

[12]根据[11]所述的物品拿放管理系统，其中，

还具备订正受理部，在由所述选择部选择并与所述检测部的判定内容建立对应地显示在所述显示画面上的所述图像不恰当的情况下，该订正受理部使由所述摄像机拍摄到的另外的1个以上图像显示于所述显示画面，受理与所述检测部的判定内容建立对应的图像的订正。

[13]根据[12]所述的物品拿放管理系统，其中，

还具备第2追加学习部，在由所述订正受理部受理了与由所述选择部选择的图像相关的订正的情况下，该第2追加学习部基于由所述订正受理部受理的信息使所述第2学习模型进行追加学习。

[14]一种冰箱，其中，

具备所述传感器、以及[1]至[13]中任一项所述的物品拿放管理系统。

Claims (14)

1.一种冰箱的物品拿放管理系统，其中，

具备检测部，该检测部使用学习成若被输入由设置于冰箱的传感器取得的信息则输出物品拿放的判定结果的第1学习模型，基于由所述传感器取得的信息来判定所述冰箱的物品拿放。

2.如权利要求1所述的冰箱的物品拿放管理系统，其中，

所述第1学习模型学习成若被输入由所述传感器检测到的检测值则输出物品拿放的判定结果。

3.如权利要求2所述的冰箱的物品拿放管理系统，其中，

所述第1学习模型学习成反映按时间序列连续的2个以上检测值的输入而输出物品拿放的判定结果，

所述检测部通过将由所述传感器检测到的按时间序列连续的2个以上检测值输入到所述第1学习模型中来判定所述冰箱的物品拿放。

4.如权利要求1所述的冰箱的物品拿放管理系统，其中，

还具备信息生成部，

所述传感器是摄像机，

所述检测部使用学习成若被输入由所述摄像机拍摄到的图像则输出物品拿放的判定结果的所述第1学习模型来判定所述冰箱的物品拿放，

所述信息生成部生成在所述冰箱及所述冰箱的用户使用的终端设备中的至少一方的显示画面上将所述检测部的判定内容与由所述摄像机拍摄到的图像建立对应地进行显示的信息。

5.如权利要求4所述的冰箱的物品拿放管理系统，其中，

还具备订正受理部，在所述显示画面上显示的所述图像与所述检测部的判定内容之间的对应关系存在错误的情况下，该订正受理部基于用户对所述冰箱或所述终端设备的操作而受理所述错误的订正。

6.如权利要求5所述的冰箱的物品拿放管理系统，其中，

在与所述显示画面上显示的所述图像建立对应地显示的所述检测部的判定内容存在错误的情况下，所述订正受理部受理所述检测部的判定内容的订正。

7.如权利要求5所述的冰箱的物品拿放管理系统，其中，

还具备第1追加学习部，该第1追加学习部基于由所述订正受理部受理的信息使所述第1学习模型进行追加学习。

8.如权利要求7所述的冰箱的物品拿放管理系统，其中，

所述第1追加学习部向进行了追加学习的所述第1学习模型输入检验用数据集，在被输入了所述检验用数据集的情况下的所述第1学习模型的判定结果的精度满足规定条件的情况下，使追加学习的内容反映到所述第1学习模型中。

9.如权利要求4所述的冰箱的物品拿放管理系统，其中，

还具备选择部，该选择部从被输入到所述第1学习模型的多个图像中选择适合与所述检测部的判定内容建立对应的图像。

10.如权利要求9所述的冰箱的物品拿放管理系统，其中，

所述选择部使用学习成若被输入图像则输出对作为与所述检测部的判定内容建立对应的图像的适合性进行判定的判定结果的第2学习模型，从被输入到所述第1学习模型的多个图像中选择与所述检测部的判定内容建立对应的图像。

11.如权利要求10所述的冰箱的物品拿放管理系统，其中，

所述信息生成部生成在所述冰箱及所述终端设备中的至少一方的显示画面上将所述检测部的判定内容与由所述选择部选择的图像建立对应地进行显示的信息。

12.如权利要求11所述的冰箱的物品拿放管理系统，其中，

还具备订正受理部，在由所述选择部选择并与所述检测部的判定内容建立对应地显示在所述显示画面上的所述图像不恰当的情况下，该订正受理部使由所述摄像机拍摄到的另外的1个以上图像显示于所述显示画面，受理与所述检测部的判定内容建立对应的图像的订正。

13.如权利要求12所述的冰箱的物品拿放管理系统，其中，

还具备第2追加学习部，在由所述订正受理部受理了与由所述选择部选择的图像相关的订正的情况下，该第2追加学习部基于由所述订正受理部受理的信息使所述第2学习模型进行追加学习。

14.一种冰箱，其中，

具备所述传感器、以及权利要求1～13中任一项所述的物品拿放管理系统。

Images