CN113251720A - 食材管理系统 - Google Patents

Abstract

本发明提供一种食材管理系统，能够实现使用便利性的提高。实施方式的食材管理系统对表示用户所储备的食材的储备数量的储备信息进行管理，具有处理部。所述处理部基于所述储备数量减少了这一情形，显示催促购入的信息。

Description

食材管理系统

技术领域

本发明的实施方式涉及食材管理系统。

背景技术

提出有用于对冰箱中保存的食材进行管理的食材管理系统。这样的食材管理系统被期待使用便利性的提高。

现有技术文献

专利文献

专利文献1：特开2018－146120号公报

发明内容

本发明所要解决的课题在于提供能够实现使用便利性的提高的食材管理系统。

实施方式的食材管理系统对表示用户所储备的食材的储备数量的储备信息进行管理，具有处理部。所述处理部基于所述储备数量减少了这一情形，显示催促购入的信息。

发明效果

根据本发明，能够提高食材管理系统的使用便利性。

附图说明

图1是表示实施方式的信息处理系统的整体构成的图。

图2是表示实施方式的冰箱的主视图。

图3是表示实施方式的智能扬声器的功能构成的框图。

图4是表示实施方式的终端设备的功能构成的框图。

图5是表示实施方式的服务器系统的功能构成的框图。

图6是表示实施方式的库存列表DB的内容的一例的图。

图7是表示实施方式的购物列表DB的内容的一例的图。

图8是表示实施方式的垃圾箱DB的内容的一例的图。

图9是表示实施方式的候选列表DB的内容的一例的图。

图10是表示实施方式的食材DB的内容的一例的图。

图11是表示实施方式的显示画面上显示的图像的图。

图12是表示实施方式的食材管理的主页的图像的图。

图13是表示实施方式的食材管理的主页的变形例的图像的图。

图14是表示实施方式的对全部食材列表进行了显示的图像的图。

图15是表示实施方式的对每个储藏室的食材列表进行了显示的图像的图。

图16是表示实施方式的对食材列表进行了显示的变形例的图像的图。

图17是表示实施方式的向食材列表新登录食材的情况的图像的图。

图18是表示实施方式的向食材列表新登录食材的变形例的图像的图。

图19是表示实施方式的进行食材列表的变更的情况的图像的图。

图20是表示实施方式的包含垃圾箱列表的图像的图。

图21是表示实施方式的包含购物列表及候选列表的图像的图。

图22是表示实施方式的包含购物列表的其他图像的图。

图23是表示实施方式的与语音对话功能有关的处理的流程的流程图。

图24是表示实施方式的显示画面上显示的图像的变形例的图。

图25是表示实施方式的显示画面上显示的图像的变形例的图。

图26是表示实施方式的显示画面上显示的图像的变形例的图。

图27是表示实施方式的显示画面上显示的图像的变形例的图。

图28是表示实施方式的显示画面上显示的图像的变形例的图。

图29是表示实施方式的显示画面上显示的图像的变形例的图。

图30是表示实施方式的显示画面上显示的图像的变形例的图。

图31是表示实施方式的显示画面上显示的图像的变形例的图。

图32是表示实施方式的显示画面上显示的图像的变形例的图。

图33是表示实施方式的显示画面上显示的图像的变形例的图。

图34是表示实施方式的显示画面上显示的图像的变形例的图。

图35是表示实施方式的显示画面上显示的图像的变形例的图。

图36是表示实施方式的显示画面上显示的图像的变形例的图。

图37是表示实施方式的显示画面上显示的图像的变形例的图。

图38是表示实施方式的显示画面上显示的图像的变形例的图。

附图标记的说明

1……信息处理系统(食材管理系统)，100……冰箱，200……智能扬声器，250……信息处理部，400……终端设备，440……信息处理部(处理部)，500……服务器系统，520……信息处理部(处理部)。

具体实施方式

以下，参照附图来说明实施方式的食材管理系统。在以下的说明中，对具有相同或者类似功能的构成赋予相同的附图标记。并且，有时省略这些构成的重复说明。“基于XX”意思是指“至少基于XX”，还可能包含除了基于XX之外还基于其他要素的情况。“基于XX”不限于直接使用XX的情况，还可能包含基于对XX进行了运算或加工所得者的情况。“XX或者YY”不限于XX和YY当中某一方的情况，还可能包含XX与YY的双方的情况。“XX”及“YY”是任意的要素(例如任意的信息)。以下，将“数据库”记做“DB”。以下，虽然对实现语音对话功能的情况进行说明，但是从设备侧进行的发言不是必须的。因此，以下的说明中的“语音对话”也可以被替换为“语音识别”。以下所说明的“赏味期限”及“消费期限”分别是“摄取期限”或者“第1期限”各自的一例。

＜1.整体构成＞

图1是表示实施方式的信息处理系统1的整体构成的图。信息处理系统1是“食材管理系统”的一例，是用于对用户所储备的食材的库存量进行管理的系统。信息处理系统1例如包含冰箱100、智能扬声器200、家庭内的路由器300、终端设备400以及服务器系统500。后述的网络NW例如包含互联网、蜂窝网、Wi－Fi网、WAN(Wide Area Network)、LAN(LocalArea Network)、公用线路、电话线路、无线基站等中的1个以上。路由器300例如是无线路由器，但是不限于此。

冰箱100被配置于用户的家庭。冰箱100例如经由路由器300而与网络NW连接，能够与服务器系统500通信。在本实施方式中，冰箱100具备后述的显示装置130。该情况下，冰箱100相当于“信息显示装置”的一例。冰箱100也可以具备麦克风和扬声器，具有与智能扬声器200同样的语音对话功能。该情况下，冰箱100相当于“语音对话装置(或者语音识别装置)”的一例。

智能扬声器200被配置于用户的家庭。智能扬声器200例如经由路由器300而与网络NW连接，能够与服务器系统500通信。智能扬声器200例如也可以能够经由路由器300而与冰箱100通信。智能扬声器200是“语音对话装置(或者语音识别装置)”的一例。

终端设备400例如是用户持有的移动终端设备，是智能手机或者平板终端设备等。终端设备400与网络NW连接，能够与服务器系统500通信。在终端设备400中安装有用于进行食材管理、冰箱100的远程操作的应用程序(以下有时称作“APP”)。终端设备400是“信息显示装置”的一例。但是，终端设备400不限于上述例子，也可以是个人计算机、具有输入功能的电视机等。终端设备400也可以具备麦克风和扬声器，具有与智能扬声器200同样的语音对话功能。该情况下，终端设备400相当于“语音对话装置(或者语音识别装置)”的一例。

服务器系统500是预先记录用于食材管理的各种数据的服务器系统，例如由多个服务器装置501、502构成。服务器装置501、502是与网络NW连接的云服务器。例如，服务器系统500包括控制智能扬声器200的语音对话用的第1服务器装置501、以及控制冰箱100的设备控制用的第2服务器装置502。但是，服务器系统500也可以由1台服务器装置构成，也可以由3台以上服务器装置构成。服务器系统500也可以包含路由器300所包含的信息处理部以及/或者网络NW中的路由器所包含的信息处理部等、进行边缘计算或雾计算的信息处理部。服务器系统500中包含的后述的各种功能部也可以分开存在于2个以上装置中。

以下，对冰箱100、智能扬声器200、终端设备400、以及服务器系统500进行详细说明。

＜2.冰箱＞

图2是表示冰箱100的主视图。冰箱100例如包含壳体110、多个门130、显示装置140、致动器150、以及控制部160。在壳体110的内部设置有多个储藏室(保存室)120。多个储藏室120例如包括冷藏室121、冰鲜室122、蔬菜室123、制冰室124、小冷冻室125、以及主冷冻室126。在本实施方式中，在最上部配置冷藏室121，在冷藏室121的下方配置蔬菜室123，在蔬菜室123的下方配置制冰室124及小冷冻室125，在制冰室124及小冷冻室125的下方配置主冷冻室126。但是，储藏室120的配置不限于上述例子。这些多个储藏室120能够由多个门130分别进行开闭地关闭。

显示装置140是液晶显示器或者有机EL(Electro Luminescence)显示器等，包含能够显示图像以及/或者影像的显示画面141。显示装置140包含重叠设置于显示画面141的触摸传感器142。致动器150包含将冷却用的制冷剂压缩并向冷却器输送的压缩机、以及将由冷却器冷却后的冷气向各储藏室120输送的送风机等。

控制部160控制显示装置140及致动器150。例如，控制部160能够经由触摸传感器142受理用户对显示画面141的操作。控制部160通过控制致动器150，从而能够执行冰箱100的各储藏室120的设定温度带的变更、冰鲜室122的控制模式的变更、与通常运转相比使冷冻库126、126急速地冷却的“急速冷冻”、以及与通常运转相比更快地制作冰的“急速制冰”等冰箱100的功能。

但是，冰箱100的构成不限于上述例子。冰箱100也可以具有在壳体110的内部或者门130设置的摄像机170。该情况下，也可以是，由摄像机170拍摄到的食材的图像被发送至服务器系统500而用于食材管理。对此留待后述。

＜3.智能扬声器＞

图3是表示智能扬声器200的功能构成的框图。智能扬声器200例如具有麦克风210、扬声器220、无线通信模块230、存储部240、以及信息处理部250。

麦克风210取得对智能扬声器200发言的用户的语音。扬声器220朝向智能扬声器200的外部输出语音。无线通信模块230包含高频电路及天线等，例如能够与路由器300无线通信。

存储部240保存语音DB241。语音DB241例如包含简易语音识别DB241a。简易语音识别DB241a中登录有作为使智能扬声器200启动的语音指令的触发词语。所谓“启动”，意思是指从消耗电力被抑制为规定以下的休止状态(对于触发词语以外的用户的发言不做出反应的状态)变化成对触发词语以外的用户的发言也能够做出反应(能够对话)的待机状态(能够接收语音指令的状态)。“待机状态”也可以称作“启动状态”。触发词语是“Hello，〇〇”这样的预先决定的特定的词语或者短语。

信息处理部250例如具有语音接收部251、启动判定部252、数据收发部253、以及语音输出部254。语音接收部251将对麦克风210输入的语音(用户的发言)作为语音数据进行接收。启动判定部252判定是否需要启动语音对话功能。启动判定部252在由语音接收部251接收到的语音数据中包含有简易语音识别DB241a所登录的触发词语的情况下，判定为需要启动，使语音对话功能启动。

数据收发部253通过控制无线通信模块230，从而与服务器系统500之间收发控制信号及数据。数据收发部253将由语音接收部251取得的触发词语以外的语音数据向服务器系统500发送。数据收发部253从服务器系统500接收由服务器系统500准备的响应用的语音数据。数据收发部253将接收到的响应用的语音数据向语音输出部254输出。语音输出部254将从数据收发部253接受的语音数据，经由扬声器220作为语音(智能扬声器200的发言)向外部输出。

＜4.终端设备＞

图4是表示终端设备400的功能构成的框图。终端设备400例如具有显示装置410、无线通信模块420、存储部430、以及信息处理部440。显示装置410是液晶显示器或者有机EL显示器等，包含能够显示图像以及/或者影像的显示画面411。显示装置410包含重叠设置于显示画面411的触摸传感器412。无线通信模块420包含高频电路及天线等，能够与网络NW连接。

存储部430存储用于进行食材管理、冰箱100的远程操作等的应用程序。信息处理部440的全部或者一部分通过由搭载于终端设备400的CPU(Central Processing Unit)那样的硬件处理器执行上述应用程序而实现。

信息处理部440例如包含操作受理部441、显示装置控制部442、以及数据收发部443。信息处理部440是“处理部”的一例。

操作受理部441经由触摸传感器412受理用户对显示画面411的操作。数据收发部443通过控制无线通信模块420而与服务器系统500之间收发控制信号及数据。数据收发部443将由操作受理部441受理的表示用户的操作内容的信息向服务器系统500发送。数据收发部443将从服务器系统500接收的与显示有关的控制指示及显示用数据向显示装置控制部442输出。显示装置控制部442基于从服务器系统500接收到的控制指示，将从服务器系统500接收到的显示用数据中包含的图像或者影像显示于显示画面411。

但是，终端设备400的构成不限于上述例子。例如，也可以具备与上述的智能扬声器200同样的作为语音对话装置的功能。此外，终端设备400也可以具有摄像机450。该情况下，也可以是，由摄像机450拍摄到的食材的图像被发送至服务器系统500而用于食材管理。对此留待后述。

＜5.服务器系统＞

图5是表示服务器系统500的功能构成的框图。以下，说明由服务器系统500对作为“信息显示装置”的终端设备400、以及作为“语音对话装置”的智能扬声器200进行控制的例子。但是，由服务器系统500控制的“信息显示装置”也可以是冰箱100。该情况下，以下的说明中的“终端设备400”被替换为“冰箱100”。由服务器系统500控制的“语音对话装置”也可以是终端设备400或者冰箱100。该情况下，以下的说明中的“智能扬声器200”被替换为“终端设备400”或者“冰箱100”。

服务器系统500包含通信模块510、信息处理部520、以及存储部530。在此，方便起见，先说明与语音对话另外的功能部，接着再说明与语音对话有关的功能部。通信模块510包含通信用电路等，能够与网络NW连接。

＜5.1信息处理部的构成＞

信息处理部520例如包含指示受理部521、登录信息管理部522、显示控制部523、语音处理部524、控制模式变更部525、控制指示生成部526、以及响应生成部527。但是，这些功能部的一部分或者全部也可以代替设置于服务器系统500，而设置于终端设备400或者冰箱100。信息处理部520是“处理部”的一例。

指示受理部521经由通信模块510从终端设备400接受由终端设备400的操作受理部441受理的表示用户的操作(用户对显示画面411的操作)的信息。指示受理部521将从终端设备400接受的信息向登录信息管理部522输出。

登录信息管理部522基于从指示受理部521接受的信息，对后述的各种DB(库存列表DB601、购物列表DB602、候选列表DB604、垃圾箱DB603、常备品DB607、用户设定DB606、远程操作登录DB609等)进行更新。除此之外，在本实施方式中，登录信息管理部522从语音处理部524接受表示由后述的语音处理部524进行了解析的内容(用户通过发言而做出的指示)的信息。登录信息管理部522基于从语音处理部524接受的信息，对上述各种DB进行更新。关于登录信息管理部522，详细情况留待后述。在以下的说明中，所谓“用户的操作”或者“用户的输入”，意思是指由指示受理部521受理的用户的操作(用户对终端设备400的操作)，或者由后述的语音处理部524分析出的用户的操作(通过对智能扬声器200的发言而进行的操作)。

显示控制部523基于各种DB的内容，生成包含在终端设备400的显示画面411上显示的图像或者影像的显示用数据及控制信号。显示控制部523将所生成的显示用数据及控制信号，经由通信模块510向终端设备400发送。由显示控制部523生成的控制信号是使终端设备400的显示装置控制部442动作的控制信号。在此，“在显示画面上显示”不限于通过终端设备400的显示置控制部442将图像或影像在显示画面411上进行显示的意思，还能够包括通过从外部对终端设备400提供显示用数据以及/或者控制信号而将图像或影像在显示画面411上进行显示的情况。

语音处理部524经由通信模块510从智能扬声器200接受由智能扬声器200取得的语音数据。例如，语音处理部524接受由智能扬声器200取得的语音数据当中的、除触发词语以外的语音数据。语音处理部524对从智能扬声器200接受的语音数据进行分析。例如，语音处理部524通过进行语音识别处理而将语音数据文本化，通过对文本化后的语音数据进行自然语言处理而进行意思解释。语音处理部524将语音数据的分析结果向控制模式变更部525、控制指示生成部526、以及响应生成部527输出。

控制模式变更部525基于由语音处理部524得出的语音数据的分析结果，对智能扬声器200的动作状态进行变更。关于控制模式变更部525，详细情况留待后述。

控制指示生成部526基于由语音处理部524得出的语音数据的分析结果，在用户的发言中包含有对冰箱100的指示(例如，各储藏室120的设定温度带的变更、冰鲜室122的控制模式的变更、“急速冷冻”或者“急速制冰”等指示)的情况下，受理该指示。控制指示生成部526生成与受理的对冰箱100的指示对应的控制指示。控制指示生成部526将所生成的控制指示，经由通信模块510向冰箱100发送。冰箱100的控制部160通过基于由控制指示生成部526生成的控制指示对致动器150进行驱动，从而实现用户所希望的控制。

响应生成部527在存在应当对由语音处理部524进行了分析的用户的发言进行回答的内容的情况下、或存在应当向用户报告的内容的情况下，参照语音DB610(后述)，生成从智能扬声器200输出的语音数据。响应生成部527将所生成的语音数据经由通信模块510向智能扬声器200发送。智能扬声器200通过基于由响应生成部527生成的语音数据对扬声器220进行驱动，从而利用语音对用户进行回答或报告。

＜5.2各种DB＞

存储部530中存储有库存列表DB601、购物列表DB602、垃圾箱DB603、候选列表DB604、食材DB605、用户设定DB606、常备品DB607、履历DB608、远程操作登录DB609、以及语音DB610。库存列表DB601、购物列表DB602、垃圾箱DB603、候选列表DB604、用户设定DB606、常备品DB607、以及履历DB608按照每个用户分别准备。

以下，为了便于说明，示出了作为食材管理用的DB而存在有上述多个DB的例子，但是也可以是，这些DB设置为一体，并且通过对各食材的登录赋予表示在后述的特定的列表(购物列表、候选列表)中进行显示这一情形的识别信息(例如标签)而被管理。另外，以下所说明的对各种DB的处理(例如食材的登录、删除及确认)由登录信息管理部522执行。

＜5.2.1库存列表DB＞

图6是表示库存列表DB601的内容的一例的图。所谓“库存列表”，是对用户所储备的食材进行管理的列表。“库存列表”是“第1列表”的一例。以下的说明中有时将“库存列表”称作“食材列表”。库存列表DB601中登录有在用户的家庭中作为库存而存在的食材。库存列表DB601中不限于冰箱100的内部所保存的食材，还登录有冰箱100的外部所保存(例如常温下保存)的食材。库存列表DB601是表示用户所储备的食材的储备数量的“储备信息”的一例。

在库存列表DB601中，按照每个食材，建立对应地登录有“管理ID”、“食材名”、“食材分类”、“保存场所”、“购入日”、“赏味期限”(或者“消费期限”)、“数量”、“单位”、以及“履历”。所谓“按照每个食材”，例如是指同时购入的相同食材。换言之，即使是相同种类，某个时日购入的食材与其他时日购入的食材被登录为不同食材。另外，在此所谓“购入日”是指特定的食材被新登录的登录日、即库存量增加的日期，以还包含该食材的入手途径为非购入的情况的意思而被使用。

“食材分类”意思是指食材的区分。在本实施方式中，作为“食材分类”而设定有下述的16种食材分类：“蔬菜”、“水果”、“肉类”、“鱼·海藻类”、“蛋·乳制品”、“豆·豆制品”、“加工食品”、“米饭·面包类”、“面类”、“饮料”、“冷冻食品”、“甜食类”、“调味料”、“香辛料”、“副食”、以及“其他”。但是，上述区分只是例子，食材分类的区分能够适当设定。

“保存场所”意思是指食材被保存的场所。在本实施方式中，作为“保存场所”而设定有下述的4种保存场所：“冷藏室”、“蔬菜室”、“冷冻室”、以及“其他”。“冷藏室”对应于冷藏室121与冰鲜室122合起来的区域。“蔬菜室”对应于蔬菜室123。“冷冻室”对应于小冷冻室125与主冷冻室126合起来的区域。“其他”对应于冰箱100的外部的保存场所。

但是，上述区分是例子，保存场所的区分能够适当设定。例如，也可以将冷藏室121与冰鲜室122区分为相互不同的保存场所。也可以将小冷冻室125与主冷冻室126区分为相互不同的保存场所。进一步讲，保存场所的区分也可以如“冷藏室的最上层”、“冷藏室的右门门兜”那样更细地区分。“保存场所”也可以称作“保存室”或者“保存区域”。以下，为了便于说明，在称作“冷藏室121”的情况下，是也能够包含冰鲜室122的概念，在称作冷冻室126的情况下，是也能够包含小冷冻室125的概念。

“数量”中登录有食材的最新的数量。“履历”中，在食材减少了的情况下，登录有表示减少后的数量及减少的时日等的信息。

登录信息管理部522例如基于用户的操作，进行相对于库存列表DB601的食材的登录、删除及确认。在本实施方式中，登录信息管理部522在库存列表DB601中登录的食材的赏味期限(或者消费期限)的规定天数前(例如1天前)，将存在临近赏味期限(或者消费期限)的食材这一情形向终端设备400通知。该通知作为推送通知而显示在终端设备400的显示画面411上。登录信息管理部522在库存列表DB601中登录的食材的赏味期限(或者消费期限)已过的情况下，将已过赏味期限(或者消费期限)的食材从库存列表DB601自动删除，将食材的登录移至后述的垃圾箱DB603及候选列表DB604。“库存列表”在服务器系统500的控制下，在终端设备400的显示画面411上作为“食材列表”而显示。关于“库存列表(食材列表)”的显示例，详细情况留待后述。

＜5.2.2购物列表DB＞

图7是表示购物列表DB602的内容的一例的图。所谓“购物列表”，是指用户在购物时能够参照以防止忘记购买的列表，是用户的购入计划(例如明示的购入意思)被确认了的食材的列表。“购物列表”是“第3列表”的一例，是与后述的候选列表相比购入可能性高的列表。但是，“购物列表”不限于按照用户明示的购入意思而登录的食材，也可以还包含在基于用户的常备意思(将某个食材作为常备品而储备的意思)进行的推测下登录的食材。“购物列表”中登录的食材例如在后述的“候选列表”中一度登录后，基于用户的意思(用户的操作)而被从“候选列表”移动到了“购物列表”中，从而被登录于“购物列表”。但是，“购物列表”中登录的食材也可以不经由候选列表而基于用户的操作直接登录在“购物列表”中。“购物列表”在服务器系统500的控制下显示在终端设备400的显示画面411上。关于“购物列表”的显示例，详细情况留待后述。

购物列表DB602中登录有作为“购物列表”而显示的食材。在购物列表DB602中，按照每个食材，建立对应地登录有“管理ID”、“食材名”、“食材分类”、“数量”、以及“单位”。登录信息管理部522基于用户的操作来进行针对购物列表DB602的食材的登录、删除及确认。

＜5.2.3垃圾箱DB＞

图8是表示垃圾箱DB603的内容的一例的图。垃圾箱DB603中暂时登录有从库存列表DB601删除的食材。例如，在垃圾箱DB603中登录有原本登录在库存列表DB601中而被消费、基于用户的操作而被从库存列表DB删除掉的食材。在本实施方式中，在垃圾箱DB603中还登录有原本登录在库存列表DB中的食材当中的、由于赏味期限(或者消费期限)已过而被登录管理部522从库存列表DB自动删除掉的食材。垃圾箱DB603所登录的食材能够通过用户的操作而再次向库存列表DB登录。垃圾箱DB603中登录的食材由于从登录于垃圾箱DB603的登录日起经过了规定期间(例如3天)而被从垃圾箱DB603自动删除。另外，也可以是，即使在库存列表DB601中登录有赏味期限(或者消费期限)已过的食材，也不从库存列表DB601自动删除，而是等待用户的操作来删除。同样，垃圾箱DB603中登录的食材也可以是，不设置自动删除为止的期间而等着用户的操作来删除。在垃圾箱DB603中，按照每个食材，建立对应地登录有“管理ID”、“食材名”、“食材分类”、以及“向垃圾箱DB603的登录日”。

＜5.2.4候选列表DB＞

图9是表示候选列表DB604的内容的一例的图。所谓“候选列表”，是指用户能够辅助地参照以防止忘记购买的列表，是用户的购入计划(例如明示的购入意思)还未得以确认的购入候选的食材的列表。“候选列表”是“第2列表”的一例。“候选列表”是基于食材的库存减少这一情形而对用户催促食材的购入的信息的一例。“候选列表”是购入的提案信息，例如利用库存列表DB601中登录过的食材的删除操作而生成。“候选列表”在服务器系统500的控制下显示在终端设备400的显示画面411上。关于“候选列表”的显示例，详细情况留待后述。候选列表DB604中登录有作为“候选列表”而显示的食材。在候选列表DB604中，按照每个食材，建立对应地登录有“管理ID”、“食材名”、“食材分类”、以及“向候选列表DB604的登录日”。在如下述那样设为在库存列表DB601中登录的特定的食材的数量成为零之前、基于减少到了规定的数量这一情形而将该食材向候选列表DB604登录的情况下，也可以是，将该食材的“数量”(库存的数量)也与该食材建立对应地登录在候选列表DB604中。

在本实施方式中，在库存列表DB601中登录的食材的数量减少而满足了规定条件的情况下，向候选列表DB604自动登录该减少了的食材。“规定条件”例如是减少后的食材的数量不足预先决定的阈值。在本实施方式中，“规定条件”是减少后的食材的数量成为零(即，食材的库存变没)。“规定条件”是“第1条件”的一例。

例如，在库存列表DB601中原本登录的食材被删除而向垃圾箱DB603登录的情况下，在候选列表DB604中自动地登录与向垃圾箱DB603登录的食材相同的食材。所谓“登录的删除”，是指特定的食材的库存变没(从有的状态变化为无的状态)。即，在候选列表DB604中自动登录：库存列表DB601中原本登录的食材被消费而基于用户的操作被从库存列表DB删除掉的食材、以及库存列表DB中原本登录的食材当中由于赏味期限(或者消费期限)已过而被登录信息管理部522从库存列表DB自动删除掉的食材。购物列表DB602及候选列表DB604双方都登录库存变没(或者减少)的食材。购物列表DB602及候选列表DB604彼此更新定时不同。本实施方式的服务器系统500针对某个食材，与被吃掉/被扔掉相应地由用户对库存列表DB601的登录进行删除操作的情况下，关于该食材的显示，本来随后是不需要的，但是能够作为推荐购物的数据而有效利用。

登录信息管理部522能够受理将候选列表DB604中登录的食材向购物列表DB602移动的用户的操作。例如，用户能够在后述的候选列表中对移动对象的食材的显示进行点击(单击)而进行选择，将所选择的食材向购物列表移动。在将所选择的食材向购物列表DB602进行了登录的情况下，从作为移动源的候选列表DB604删除该食材的登录。

在此，在某个食材已经登录于候选列表DB604的状态下，有时通过用户的操作将相同食材向购物列表DB602直接登录(即不经由候选列表DB604地向购物列表DB602登录食材的情况)。该情况下，登录信息管理部522将上述食材向购物列表DB602登录，并且从候选列表DB604删除上述食材的登录。即，关于购物列表DB602中已经登录有的食材，即使在库存列表DB601中的库存的数量满足上述“规定条件”的情况下，也不向候选列表DB604进行登录。

登录信息管理部522也可以是，在库存列表DB601中登录的食材减少并满足上述规定条件的情况下、且该食材是由用户预先登录的特别食材(例如常备品DB607中登录的食材)的情况下，不对候选列表DB604进行上述食材的登录，而向购物列表DB602直接登录上述食材。

在本实施方式中，候选列表DB604中可登录的食材的最大数量(例如20个)是确定的。登录信息管理部522在候选列表DB604中已经登录有规定量(例如最大数量)的食材的情况下，与向候选列表DB604追加新的食材的登录这一情形相应地，依次删除候选列表DB604的旧的登录。

登录信息管理部522按照基于向候选列表DB604的登录日、食材的购入日、食材的赏味期限或者食材的消费期限当中的1个以上的优先顺序，进行候选列表DB604的旧的登录的删除。例如，登录信息管理部522针对候选列表DB604中登录的食材，按照食材的购入日从旧到新的顺序、食材的赏味期限从旧到新的顺序、或者食材的消费期限从旧到新的顺序，进行旧的登录的删除。另外，如上述那样设为根据库存列表DB601中登录的特定的食材的数量成为零之前减少到了规定的数量这一情形而将该食材向候选列表DB604登录的情况下，也可以是，针对库存列表DB601中尚有库存的食材，按照食材的赏味期限从新到旧的顺序、或者食材的消费期限从新到旧的顺序优先进行删除。

登录信息管理部522代替上述优先顺序或在此基础上，对于候选列表DB604的旧的登录的删除，按照基于食材所属的食材分类的优先顺序进行。例如，登录信息管理部522在食材属于特定的食材分类的情况下，降低删除该食材的优先顺序(或者从删除对象排除)，使得该食材不易被从候选列表DB604删除掉。“特定的食材分类”是具有与常备品相近的特性的食材分类，例如是调味料、香辛料。

登录信息管理部522代替上述优先顺序或在此基础上，对于候选列表DB604的旧的登录的删除，按照基于食材的过去的库存频次、以及/或者食材是否被包含于由用户指定的食材群中的优先顺序而进行。登录信息管理部522在食材的过去的库存频次为阈值以上的情况下，降低删除该食材的优先顺序(或者从删除对象排除)，使得该食材不易被从候选列表DB604删除掉。过去的库存频次能够基于后述的履历DB608而获得。登录信息管理部522在食材被包含于由用户指定的食材群中的情况下，降低删除该食材的优先顺序(或者从删除对象排除)，使得该食材不易被从候选列表DB604删除掉。“指定的食材群”例如是常备品DB607中登录的食材群。

通过设置候选列表，能够实现向购物列表的登录忘记的减少。此外，候选列表起到向购物列表的登录的辅助功能，从而还能够减轻向购物列表的登录作业的作业负担。

＜5.2.5食材DB＞

图10是表示食材DB605的内容的一例的图。食材DB605是针对多个用户共用地设定的默认的DB。食材DB605被用于后述的食材信息的自动输入。食材DB中登录的食材登录有一般流通的大量的食材。在食材DB605中，按照每个食材，建立对应地登录有“食材名”、“食材名的受理候选”、“食材分类”、“食材分类的图标”、“默认的保存场所(推荐的保存场所)”、以及“赏味期限(或者消费期限)”。“食材分类”、“食材分类的图标”、“默认的保存场所”、以及“赏味期限(或者消费期限)”分别是“附加信息”的一例。食材DB605是食材名与附加信息建立关联的“关系信息”的一例，是“第1信息”的一例。但是，在此所提及的“第1信息”与后述的“第1信息I1”是不同的概念。在本实施方式中，作为附加信息之一而登录有食材分类的图标，但是也可以代替之而使用表示食材分类的图像。食材DB605是登录有食材与该食材的保存场所之间的一般的对应关系(不是根据各个用户而不同，只要没有用户的特别指定，则是作为各用户共用地应用的内容而预先设定的标准的对应关系)的信息。该对应关系是“第1对应关系”的一例。

作为“食材名的受理候选”，登录有对食材的名称的输入误差进行了考虑的1个以上受理候选。例如，食材为“プチトマト”(“プチ”的中文意思为迷你，“トマト”的中文意思为西红柿，“プチトマト”是片假名表达，对应的平假名为“ぷちとまと”)的情况，除了“プチトマト”(片假名表达)之外，还登录有“ぷちとまと”(平假名表达)、“トマト”等。作为“默认的保存场所”，登录有冰箱100的内部或者冰箱100的外部的保存场所、且为适合食材的保存的保存场所。如上述那样，在冷藏室121具有搁架的情况下，“保存场所”也可以是“冷藏室121的最上层”那样的、表示特定的储藏室120之中与其他场所区别的一部分场所的区分。另外，“食材名的受理候选”也可以仅用于与“附加信息”之间的对应建立(即“关系信息”的利用)，作为向用户表示的食材的名称，不通过“食材名的受理候选”进行变换，而利用用户所登录的名称本身。例如，在用户输入了“○○産のとまと”(中文为○○产的西红柿)的情况下，也可以是，一方面，作为通过“食材名的受理候选”登录了“トマト”的情形而将与“トマト”建立对应地预先准备的食材分类“蔬菜”及保存场所“蔬菜室”等附加信息向库存列表DB601登录，另一方面，在终端设备400的显示画面411等上作为向用户表示的食材的名称如“○○産のとまと”等这样不对用户所输入的名称进行加工而直接加以使用。或者也可以是，代替上述方式，如“○○産のトマト”等这样，仅将认为是表达误差的一部分进行变更(即仅将“とまと”变更为“トマト”)后用于显示。

在此，冰箱100根据机型而储藏室120的配置不同。因而，对食材推荐的保存场所有时根据机型而不同。因此，在本实施方式中，食材DB605例如按照冰箱100的机型而分别准备。换言之，食材DB605根据冰箱100的机型而不同。登录信息管理部522基于参照后述的远程操作登录信息DB609而得到的冰箱100的机型信息，确定用户的冰箱100的机型，选择与所确定的机型对应的食材DB605。另外，准备根据冰箱100的机型而不同的信息这一点，也可以不是针对食材DB605整体，而仅限于食材DB605之中的表示保存场所的信息等一部分信息。

返回图2继续进行说明。存储部530除了上述的DB之外，还存储有用户设定DB606、常备品DB607、履历DB608、远程操作登录DB609、以及语音DB610。

用户设定DB606是由用户登录的信息。在用户设定DB606中，为了使后述的食材信息的自动输入具有灵活性，而登录有针对食材DB的用户固有的变更设定。例如，在用户设定DB606中登录有食材与保存场所之间的用户固有的对应关系。该对应关系是“第2对应关系”的一例。具体地说，在食材DB605中，作为针对“鸡肉”的默认的保存场所而登录有“冷藏室”。用户在购入了鸡肉时相比于保存于冷藏室而更多时候保存于冷冻室的情况下，能够将“鸡肉”与“冷冻室”建立对应地登录于户设定DB606。用户设定DB606是食材名与附加信息建立关联的“关系信息”的其他一例，是“第2信息”的一例。但是，在此所提及的“第2信息”与后述的“第2信息I2”是不同的概念。登录信息管理部522基于用户的操作，进行用户设定DB606的登录、删除及确认。

在常备品DB607中登录有用户经常利用的食材(例如不希望库存变空的食材)。在常备品DB607中登录有由用户“宣言”了希望常备的意愿的食材(特别食材)。登录信息管理部522基于用户的操作，进行常备品DB607的登录、删除及确认。

履历DB608能够代替用户设定DB606或者与用户设定DB606组合而利用。履历DB608例如不依赖于用户的明示的登录，登录有与食材的保存有关的用户的履历(冰箱100的使用履历)。登录信息管理部522通过参照履历DB608，能够针对某个食材获得经常利用哪个储藏室120这样的信息。履历DB608基于用户向库存列表DB601的登录结果、以及/或者冰箱100的摄像机170的拍摄结果等而生成。

在远程操作登录DB607中，按照每个冰箱100，建立对应地登录有“管理ID”、“机型”、以及“远程操作用所登录的终端设备的管理ID”。显示控制部523基于从终端设备400接收的终端设备400的管理ID，从远程操作登录DB607中确定用户的冰箱100的机型，基于所确定的冰箱100的机型，变更在终端设备400的显示画面411上显示的冰箱100的图案。对此，详细情况留待后述。

在语音DB610中登录有用于进行用户的发言的意思解释的辞典、以及用于生成响应用的语音数据的语音信息等。而且，在存储部530中存储有食材分类的图标的图像数据。

＜6.画面显示＞

接下来，说明在使用终端设备400进行冰箱100的食材管理的情况下在终端设备400的显示画面411上显示的画面显示。以下所说明的画面显示是通过基于从服务器系统500发送的显示用数据及控制指示由终端设备400的显示装置控制部442执行控制而实现的。

＜6.1冰箱的管理画面的主页＞

图11是表示显示画面411上显示的图像的图。图11中的左方是表示在终端设备400中启动了应用程序的情况下所显示的主页的图像S1。图像S1包含示意地表示冰箱100的图案R0、以及多个显示D11～D16。图案R0包含示意地表示的冰箱100的各储藏室120的图案R0a～R0f。图案R0a～R0f分别是依次表示冷藏室121、冰鲜室122、蔬菜室123、制冰室124、小冷冻室125、以及主冷冻室126的图案。显示D11～D16表示与各储藏室120有关的设定内容(运转状态)。

显示控制部523通过由用户按下了位于图像S1的右上的表示“设定”的显示D17，从而与图像S1重叠地显示表示菜单的图像S2。显示控制部523通过由用户操作(例如点击)了图像S2中包含的“食材管理”，从而使食材管理的主页的图像S3(图13)显示于显示画面411。

＜6.2食材管理的主页＞

图12表示食材管理的主页的图像S3。图像S3包含第1图案R1、第2图案R2、第1至第4显示框D1～D4、以及第1至第4图标K1～K4。

在本实施方式中，在图像S3中，建立对应地显示示意地表示冰箱100的第1图案R1中包含的表示各储藏室(保存场所)120的图案R1a～R1e、以及与该储藏室120所保存的食材有关的第1信息I1。图像S3是“第1显示”的一例。第1至第4显示框D1～D4各自中包含的信息是“第1信息I1”的一例。第1信息I1包含与各储藏室120所保存的食材整体有关的信息。例如，第1信息I1是各储藏室120所保存的食材的数量。

但是，第1信息I1也可以是表示各储藏室120的填充程度(使用的程度)的信息。“填充程度”是基于将各储藏室120所保存的食材的数量用各储藏室120的满填充时的食材的数量进行除算而得的计算结果的信息，由填充率(使用率)或者填充量(“多”、“普通”、“少”))等来表达。关于各储藏室120的填充率，只要按照食品的每个种类而规定了该食材占有的体积、尺寸，则能够根据作为当前保管中而登录的食材的种类和数量来高精度地推测。也可以代替食材的体积、尺寸，预先决定各储藏室120所能够保管的食材的种类与数量的各个组合。第1信息I1也可以代替食材的数量或填充的程度或者在其基础上，包含各储藏室120所保存的食材的名称等。

以下，详细地说明与本实施方式有关的一例。第1图案R1是示意地表示冰箱100的图案。第1图案R1除了冰箱100的外形之外，还包含示意地表示冰箱100的各储藏室120的图案R1a～R1e。第1图案R1例如由表示冰箱100的外形的线、以及表示多个储藏室120之间的边界的线而构成。第1图案R1包含表示冷藏室121的图案R1a、表示蔬菜室123的图案R1b、表示制冰室124的图案R1c、表示小冷冻室125的图案R1d、以及表示主冷冻室126的图案R1e。

在本实施方式中，第1图案R1不包含表示冰鲜室122的图案，包含与冷藏室121及冰鲜室122对应的1个图案R1a。在本实施方式中，第1图案R1即使是对开式的冰箱100，也省略了左右的冷藏室门的边界线。由此，第1图案R1成为简洁的图案。但是，第1图案R1也可以包含表示冰鲜室122的图案，也可以在对开式的冰箱100中具有左右的冷藏室门130之间的边界线。关于第1图案R1的变形例，详细情况留待后述。第1图案R1无需正确地表示实际的冰箱100的各门的尺寸，为了看起来清晰，或者为了容易显示信息，也可以适当调整尺寸比率。

显示控制部523基于远程操作登录DB609，确定用户的冰箱100的机型，将与用户的冰箱100的机型对应的储藏室120的配置的第1图案R1包含于图像S3中。该情况下，如果冰箱100的门130的配置相同，则即使尺寸比率稍有不同，显示控制部523也可以使用相同的第1图案R1。

第2图案R2配置在第1图案R1的外侧。例如，第2图案R2配置在第1图案R1的侧方。在本实施方式中，第2图案R2在与第1图案R1中包含的冰箱的底部的高度相同的高度上，配置在第1图案R1的侧方。第2图案R2示意地表示冰箱100的外部的保存场所。第2图案R2例如包含表示箱状的收纳部的图案。

第1至第4显示框D1～D4例如包含表示气泡图的图案。第1显示框D1包含与冷藏室121及冰鲜室122所保存的食材有关的第1信息I1。例如，第1显示框D1中显示有表示冷藏室121及冰鲜室122所保存的食材的数量的信息。第1显示框D1配置在第1图案R1中包含的冷藏室的图案R1a的侧方。从其他观点来看，第1显示框D1配置在与第1图案R1中包含的冷藏室的图案R1a相同的高度上。

第2显示框D2包含与蔬菜室123所保存的食材有关的第1信息I1。例如，在第2显示框D2中显示有表示蔬菜室123所保存的食材的数量的信息。第2显示框D2配置在第1图案R1中包含的蔬菜室123的图案R1b的侧方。从其他观点来看，第2显示框D2配置在与第1图案R1中包含的蔬菜室123的图案R1b相同的高度上。

第3显示框D3包含与冷冻室125、126所保存的食材有关的第1信息I1。例如，在第3显示框D3中显示有表示冷冻室125、126所保存的食材的数量的信息。第3显示框D3配置在第1图案R1中包含的冷冻室125、126的图案R1d、R1e的侧方。从其他观点来看，第3显示框D3配置在与第1图案R1中包含的冷冻室125、126的图案R1d、R1e相同的高度上。

第4显示框D4包含与冰箱100的外部所保管的食材(未收容于冰箱100的食材)有关的第1信息I1。例如，在第4显示框D4中显示有表示冰箱100的外部所保存的食材的数量的信息。第4显示框D4配置在第2图案R2的正上方。第4显示框D4中包含的第1信息I1是“箱外信息”的一例。

这些第1至第4显示框D1～D4中显示的信息例如由显示控制部523基于库存列表DB601生成。根据这样的构成，能够使冰箱100的各储藏室120与食材信息在视觉上相链接，从而能够提高库存管理系统的使用便利性。

在本实施方式中，显示控制部523在针对第1图案R1受理了指定第1图案R1中包含的第1保存场所(第1保存室)的用户的操作的情况下，关于第1保存场所所保存的食材，将比第1信息I1更加详细的第2信息I2(参照图15)显示于显示画面411。所谓“指定第1保存场所的用户的操作”例如是在第1图案R1中对表示第1保存场所的图案进行点击，但并不限于此，也可以是对与各储藏室120对应的显示框D1～D4进行点击，也可以是通过经由智能扬声器200的发言来进行的指定等。

显示控制部523也可以在第1图案R1中使被点击的与储藏室120对应的保存场所的图案、颜色、大小中的某个变化。根据这样的构成，容易掌握进行了点击这一情形。

在本实施方式中，在针对第1图案R1受理了指定第1图案R1中包含的第1保存场所的用户的操作的情况下，第1保存场所所保存的食材的食材列表被显示于显示画面411。在本实施方式中，显示控制部523在显示画面411上显示有图像S3的状态下，在针对第1图案R1受理了指定第1图案R1中包含的第1保存场所的用户的操作的情况下，将显示画面411的显示切换为关于第1保存室所保存的食材包含比第1信息I1更详细的第2信息I2(参照图14)的图像S5。图像S5是“第2显示”的一例。

更详细地描述则为，显示控制部523在针对第1图案R1受理了指定冷藏室121的用户的操作的情况(由用户对图案R1a或者第1显示框D1进行了点击的情况)下，显示冷藏室121所保存的食材的食材列表。同样，显示控制部523在针对第1图案R1受理了指定蔬菜室123的用户的操作的情况(由用户对图案R1b或者第2显示框D2进行了点击的情况)下，显示蔬菜室123所保存的食材的食材列表。显示控制部523在针对第1图案R1受理了指定冷冻室125、126的用户的操作的情况(由用户对图案R1d、R1e或者第3显示框D3进行了点击的情况)下，显示冷冻室125、126所保存的食材的食材列表。显示控制部523在针对第1图案R1受理了指定外部保存场所的用户的操作的情况(由用户对第2图案R2或者第4显示框D4进行了点击的情况)下，显示冰箱100的外部所保存的食材的食材列表。这些食材列表分别是“第2信息I2”的一例。关于食材列表，详细情况留待后述。

在本实施方式中，登录信息管理部522及显示控制部523也可以在针对第1图案R1中包含的各储藏室120(图案R1a～R1e或者第1至第4显示框D1～D4)受理了用户的第1形态的操作的情况下与针对第1图案R1中包含的各储藏室120(图案R1a～R1e或者第1至第4显示框D1～D4)受理了用户的第2形态的操作的情况下受理不同的控制指示。例如，显示控制部523在针对第1图案R1中包含的各储藏室120受理了用户的第1形态的操作的情况下，例如通过画面转换来显示与所选择的储藏室120所保存的食材有关的第2信息I2。另一方面，登录信息管理部522及显示控制部523在针对第1图案R1中包含的各储藏室120受理了用户的第2形态的操作的情况下，对所选择的储藏室120所保存的全部食材进行一并的规定的处理。

“第1形态的操作”例如是对显示画面411的点击(单击)。“第2形态的操作”例如是对显示画面411的长按、双击、重压(压感显示器的情况)、横扫(swipe)、滑动(flick)等。“规定的处理”只要是不同于与“第1形态的操作”对应的处理的处理即可，对所选择的储藏室120所保存的食材设定共用的一并的操作更优选。例如，将所选择的储藏室120所保存的全部食材的登录一并删除的处理，或者，将用于一并删除的受理窗打开的处理等。通过设置一并删除的功能，能够简单地整理冰箱100的内容。此外，一并删除的功能若与第1图案R1中包含的各储藏室120的图案或者显示框建立对应，则操作性提高。

从其他观点来看，登录信息管理部522及显示控制部523在针对第1图案R1中包含的各储藏室120受理了用户的第1形态的操作的情况下，将所选择的储藏室120的食材管理画面(登录画面·显示画面)打开，即使是对相同场所的第2形态的操作，如果其是长按，那么也可以进行与其保管场所中的食材登录的一并删除有关的处理。

第1图标K1例如包含箭头状的图案，配置在第1图案R1的侧方。若第1图标K1由用户进行了操作(例如点击)，则切换为显示处于库存状态的全部食材的列表的画面。对此，详细情况留待后述。

第2～第4图标K2～K4配置在图像S3的下端部。若第2图标K2由用户进行了操作(例如点击)，则切换为能够检索库存的食材的检索画面。若第3图标K3由用户进行了操作(例如点击)，则切换为显示购物列表的画面。第3图标K3是“用于向显示有催促用户购入的食材的画面进行切换的、操作部的显示”的一例。对此，留待后述。若第4图标K4由用户进行了操作(例如点击)，则切换为显示垃圾箱列表的画面。垃圾箱列表是垃圾箱DB603中登录的食材的列表。垃圾箱列表例如通过由显示控制部523参照垃圾箱DB603而生成。

在本实施方式中，第2～第4图标K2～K4配置在第1图案R1的下方。也可以代替该方式，第2至第4图标K2～K4配置在第1图案R1的上方。例如，第3图标K3也可以配置在第1图案R1的右上。第3图标K3是“第2操作部”的一例。通过第3图标K3被操作而显示的包含购物列表的画面是“第4显示”的一例。

第1图案R1中的冰箱100的门配置、第1至第4显示框D1～D4的图案也可以适当地区分颜色进行显示，容易看出区分地进行显示。

图13表示食材管理的主页的变形例的图像S3A。在本变形例中，显示控制部523代替第1图案R1，而显示第1图案R1A。第1图案R1A是将左右的冷藏室门打开、冷藏室121的内部可被看见的状态的冰箱100模式化而成的图案。第1图案R1A包含表示冰鲜室122的图案R1aa。

显示控制部523例如作为食材管理的主页的图像，(即代替上述的图像S3)显示图像S3A。在其他例子中，也可以是，显示控制部523作为食材管理的主页的图像，显示上述的图像S3，并且通过在图像S3中由用户对表示冷藏室121的图案R1a或者第1显示框D1进行了操作(例如点击)而切换为本变形例的图像S3A。该情况下，第1图案R1A不限于与冰箱100的整体对应的图案，也可以还显示将冷藏室121及冰鲜室122放大显示的图案(其他储藏室120被省略的图案)。

＜6.3食材列表＞

图14是显示有全部食材列表L0的图像S4。全部食材列表L0是显示了库存列表DB601中登录的全部食材(冰箱100的内部及外部所保存的全部食材)的列表。在全部食材列表L0中，按照每个食材，显示有表示食材分类的图标、食材名、购入日、赏味期限(或者消费期限)、数量、以及单位。食材无关于被保存于哪个保存场所，而按照规定的顺序被排列。“规定的顺序”例如是食材的名称顺序(あいうえお顺序)、购入日从旧到新的顺序(或者从新到旧的顺序)、赏味期限(消费期限)从近到远的顺序(或者从远到近的顺序)。用户通过对图像S4中包含的操作部G0进行操作(例如点击)，从而能够变更上述规定的顺序(使食材的显示顺序重新排列)。但是并不限于此，也可以根据用户的设定操作而一并设置按照每个保存场所分别重新排列的功能。

显示控制部523在图像S3(图12参照)的第1图标K1由用户进行了操作的情况下，显示图像S4。即，显示控制部523基于库存列表DB601，生成包含全部食材列表L0的显示用数据并向终端设备400发送。

图15是显示有每个储藏室120的食材列表的图像S5。例如，图15是显示有蔬菜室123的食材列表L2的图像。蔬菜室123的食材列表L2是在库存列表DB601中登录的食材之中选择了蔬菜室123所保存的食材而进行显示的列表。在食材列表L2中，按照每个食材，显示有表示食材分类的图标、食材名、购入日、赏味期限(或者消费期限)、数量、以及单位。食材与全部食材列表L0同样，按照规定的顺序排列。用户通过对图像S5中包含的操作部G0进行操作(例如点击)，从而能够变更上述规定的顺序(使食材的显示顺序重新排列)。

显示控制部523在图像S3(参照图12)的第1图案R1中包含的蔬菜室123的图案R1b或者第2显示框D2由用户进行了操作的(例如点击的)情况下，显示图像S5。即，显示控制部523基于库存列表DB601，生成包含蔬菜室123的食材列表L2的显示用数据并向终端设备400发送。这针对冷藏室121的食材列表及冷冻室125、126的食材列表也同样。

图16是显示有食材列表的变形例的图像S5A。在本变形例中，图像S5A包含用于向其他显示进行切换的操作部O1、O3、O4的显示。成为切换目标的其他显示中代替与蔬菜室123所保存的食材有关的第2信息I2，包含与其他保存场所所保存的食材有关的第2信息I2。

例如，图像S5A包含用于对冷藏室121的食材列表L1、蔬菜室123的食材列表L2、冷冻室125、126的食材列表L3、其他(冰箱100的外部的保存)的食材列表L4进行切换的操作部O1、O2、O3、O4。在显示有蔬菜室123的食材列表L2的情况下，冷藏室121的食材列表L1、冷冻室125、126的食材列表L3、以及其他食材列表L4分别是“第3显示”的一例。通过用户对操作部O1、O2、O3、O4进行操作，从而4个食材列表L1、L2、L3、L4被切换。该操作部O1、O2、O3、O4的显示在显示有任意储藏室120的食材列表的图像中都被共用地设定。

＜6.4向食材列表的新登录＞

图17表示在进行向食材列表(库存列表DB601)的食材的新登录的情况下显示的图像S6。在本实施方式中，登录信息管理部522例如在由用户进行了食材名的输入的情况下自动输入食材分类、保存场所、购入日、赏味期限(或者消费期限)、食材分类的图标、以及单位。食材分类、保存场所、购入日、赏味期限、食材分类的图标、以及单位分别是“附加信息”的一例。

详细描述则为，登录信息管理部522基于所输入的食材名，将在食材DB605中与食材名建立对应地登录的食材分类、默认保存场所、以及单位，分别作为“食材分类”、“保存场所”、以及“单位”自动地输入。登录信息管理部522受理了随着食材的名称的输入而登录附加信息的用户输入的情况下，与食材DB605相比使用户的输入内容更优先，将上述食材与由用户设定的附加信息建立对应地进行登录。

在本实施方式中，登录信息管理部522在用户设定DB606中存在与所输入的食材名对应地登录的信息(例如被进行了设定变更的保存场所)的情况下，与食材DB605相比更优先地输入用户设定DB606的信息。即，登录信息管理部522能够参照表示食材与保存场所之间的一般的对应关系的食材DB605、以及表示食材与保存场所之间的用户固有的对应关系的用户设定DB606。登录信息管理部522在存在有用户设定DB606的情况，设为基于用户设定DB606的内容输入了保存场所的状态，在不存在用户设定DB606的情况下，设为基于食材DB605输入了保存场所的状态。登录信息管理部522基于通过参照食材DB而得到的食材分类，从存储部530取得表示对应的食材分类的图标的信息并自动登录。登录信息管理部522将食材名的输入被进行的日期作为“购入时日”而自动登录，将基于购入时日推测的赏味期限(或者消费期限)的时日自动登录。根据这样的构成，能够减少登录食材时的工时。

登录信息管理部522也可以代替用户设定DB606或者与用户设定DB606组合，基于履历DB608来自动登录附加信息。即，也可以是，登录信息管理部522在存在有成为对象的食材的履历DB608的情况下，设为基于履历DB608输入了保存场所的状态，在不存在成为对象的食材的履历DB608的情况下，设为基于食材DB605输入了保存场所的状态。这样，在特定的食材的登录中，在设为不是基于食材DB605而是基于履历DB608输入了附加信息的状态的情况下，也可以将该食材的登录的频次为规定以上设为条件。当然，特定的食材的登录的频次参照履历DB608就能够取得。

登录信息管理部522在针对某个食材不满足规定条件的情况下，设为作为附加信息而输入了第1保存场所的状态，在满足上述规定条件的情况下，设为作为附加信息而输入了第2保存场所的状态。“规定条件”是与第1保存场所或者第2保存场所的填充的程度、或者作为库存而登录的食材的量有关的条件。例如，在食材DB605中针对“猪肉”建立对应有“冷藏室”的情况下，在冷藏室121的填充率比阈值高的情况下，推测用户会拒绝放入冷藏室121而放入冷冻室126中，作为针对该猪肉的附加信息而登录“冷冻室”。在其他例子中，在食材DB605中对“猪肉”建立对应有“冷藏室”的情况下，在猪肉的量比阈值高的情况下，作为进行冷冻保存的情形，作为针对该猪肉的附加信息而登录“冷冻室”。

登录信息管理部522也可以是，即使是相同食材，在保存于冷藏室121的情况下与保存于冷冻室125、126的情况下，变更自动输入的赏味期限(或者消费期限)。例如，也可以是，登录信息管理部522即使是相同食材，在保存于冷藏室121的情况下将到赏味期限(或者消费期限)为止的天数设为第1天数(例如3天)，在保存于冷冻室125、126的情况下将到赏味期限(或者消费期限)为止的天数设为比第1天数长的第2天数(例如1周)。

登录信息管理部522能够受理在基于食材DB605输入了附加信息之后变更附加信息的用户的操作。登录信息管理部522在受理了这样的用户的操作的情况下，将库存列表DB601中自动登录的附加信息置换为基于用户的操作的内容。

以上说明的例子中，登录信息管理部522例如在用户对终端设备400输入了食材名的情况下，即使不从外部输入食材名以外的信息，也会基于食材DB605以及/或者用户设定DB606来自动输入附加信息。用户对终端设备400输入食材名是“从外部的表示食材的名称的信息的输入”的一例。

但是，“从外部的表示食材的名称的信息的输入”不限于由用户进行的手动输入。例如，也可以是，登录信息管理部522接受冰箱100的摄像机170或者终端设备400的摄像机450所拍摄到的图像，基于接受到的图像确定食材，自动输入与所确定的食材对应的食材名、食材分类、保存室、购入日、赏味期限(或者消费期限)、食材分类的图标、以及单位等。该情况下，登录信息管理部522例如基于为了食材的图像识别而进行了机械学习的学习完毕模型，根据接受的图像确定食材。进而，登录信息管理部522代替由用户手动输入食材名，受理通过用户对智能扬声器200的发言而进行的食材名的输入，自动输入与所受理的食材名对应的食材分类、保存室、购入日、赏味期限(或者消费期限)、食材分类的图标、以及单位等。

从一个观点来看，食材DB605也可以包含食材名与食材分类建立关联的第1DB、以及食材分类与保存场所建立关联的第2DB。该情况下，也可以是，登录信息管理部522基于从外部输入的表示食材名的信息和第1DB来确定与食材对应的食材分类，使用所确定的食材分类和第2DB来确定保存场所，将所确定的保存场所作为附加信息进行自动输入。

图18表示向食材列表新登录食材的变形例的图像S6A。本变形例中，表示由用户输入的内容的文字与表示由登录信息管理部522自动输入的内容的文字以不同形态被显示。例如，表示由用户输入的内容的文字以黑文字来显示，表示由登录信息管理部522自动输入的内容的文字作为假定登录状态以与黑文字不同的形态(蓝色文字或者灰色文字等，图18中记做虚线)来显示。该情况下，也可以是，登录信息管理部522基于用户对上述以不同形态显示的内容进行的确认操作，将这些内容设为正式登录状态。根据这样的变形例，能够容易地区别确认用户自己输入的内容与自动输入的内容。

＜6.4食材列表的变更＞

图19表示进行食材列表的变更(删除·移动)的情况的图像S7。图19示例了蔬菜室123的食材列表L2。用户通过对食材列表L2之中的选择对象的食材的显示进行操作(例如点击)，从而能够选择食材。若选择了食材，则在图像S7的下端部显示第1至第3图标K5～K7。

第1图标K5是用于使所选择的食材的登录向其他保存室移动的图标。显示控制部523在第1图标K5由用户进行了操作(例如点击)的情况下，在图像S7上重叠地显示对移动目的地的保存室进行选择的显示S8。登录信息管理部522基于用户对显示S8的选择结果，在库存列表DB601中变更与食材建立对应的保存场所。由此，所选择的食材被从移动前的保存场所的食材列表删除掉。

第2图标K6是用于向后述的购物列表(购物列表DB602)追加食材的图标。显示控制部523在第2图标K6由用户进行了操作(例如点击)的情况下，将所选择的食材向购物列表DB602追加。该情况下，食材列表中的食材的登录保持原样。

第3图标K7是用于使所选择的食材的登录向垃圾箱移动的图标。登录信息管理部522在第3图标K7由用户进行了操作(例如点击)的情况下，将所选择的食材从库存列表DB601删除，并且，将所删除的食材向垃圾箱DB603登录。如上述那样，在本实施方式中，从库存列表DB601删除掉的食材被登录于垃圾箱DB603的情况下，在候选列表DB604中也登录同一食材。

＜6.5垃圾箱列表＞

图20表示包含垃圾箱列表L5的图像S8。垃圾箱列表L5是显示有垃圾箱DB603中登录的食材的列表。在垃圾箱列表L5中，按照每个食材显示有表示食材分类的图标、食材名、购入日、赏味期限(或者消费期限)、数量、以及单位。图像S8中显示有向用户通知移动至垃圾箱列表L5的食材从移动起经过规定天数(例如3天)后被自动删除这一情形的显示D21。

＜6.6购物列表及候选列表＞

图21表示包含购物列表L6及候选列表L7的图像S9。购物列表L6是显示有购物列表DB602中登录的食材的列表。在购物列表L6中，按照每个食材，显示有表示食材分类的图标、食材名、购入预定数量、以及单位。显示控制部523基于购物列表DB602，生成包含购物列表L6的显示用数据并向终端设备400发送。

另一方面，候选列表L7是显示有候选列表DB604中登录的食材的列表。在候选列表L7中，按照每个食材，显示有表示食材分类的图标及食材名。显示控制部523基于候选列表DB604，生成包含候选列表L7的显示用数据并向终端设备400发送。

在本实施方式中，购物列表L6及候选列表L7在显示画面411中被显示于同一画面。例如，购物列表L6及候选列表L7上下排列地显示。所谓“同一画面”是指显示内容连续，能够不伴有与外部操作相应的显示内容整体的切换地进行显示的一个连续的画面。“同一画面”不限于始终同时显示的情况，在与用户在画面上滑动的操作相应地受到不伴有显示内容整体的切换而显示内容依次一部分一部分地变化的形态的操作(所谓的滚动操作)时显示的画面，在此也相当于“同一画面”。例如还包括如下情况：在购物列表K6中登录的食材较多，显示画面411被购物列表L6占据的情况；以及通过将购物列表L6向下方滚动而在购物列表L6后面接着显示候选列表L7的情况。换言之，“同一画面”还包括购物列表L6的仅一部分(例如下端部)和候选列表L7被同时显示的情况等。

登录信息管理部522例如在购物列表L6与候选列表L7被同时显示的状态下，受理将候选列表L7中包含的食材的登录向购物列表L6移动的用户的操作。即，用户能够使候选列表L7中显示的食材向购物列表L6移动。

图22是表示包含购物列表L6的其他图像S10的图。显示控制部523能够受理在能够排列显示购物列表L6及候选列表L7的画面中将候选列表L7设为非显示、或者与购物列表L6相比使候选列表L7不醒目(例如使颜色变薄)的用户的操作。在本实施方式中，候选列表L7能够基于用户的操作而关闭。例如，显示控制部523在图像S9中的表示候选列表L7的项目的显示由用户进行了操作(例如点击)情况下，将包含购物列表L6与候选列表L7的双方的图像S0切换为在候选列表L7关闭的状态下使购物列表L6显示的图像S10。由此，用户能够一边仅确认购物列表L6一边进行购物，与候选列表L7被显示的情况相比能够抑制误购买等。

＜7.语音对话功能＞

＜7.1控制的整体构成＞

接下来，说明本实施方式的服务器系统500的语音对话功能。在本实施方式中，服务器系统500的信息处理部520在语音对话功能的1次受理结束之前能够将多个食材登录或者删除。换言之，语音处理部524能够连续地受理用户的1连串的发言(一系列发言，一系列对话)中包含的多个指示。另外，语音对话功能(如上述那样有时记做“语音识别功能”)的启动是指转移至能够受理用户的任意内容的发言的状态。在语音对话功能启动了的状态下，执行用户的发言内容中包含的指示或对用户的发言进行响应。若结束语音对话功能，则成为除了使语音对话功能开始的暗号即触发词语之外不受理用户的发言的状态。将一次的使语音对话功能启动起至使该的语音对话功能结束为止的期间称作“语音对话功能的1次受理”。

详细描述则为，语音处理部524对智能扬声器200发言出触发词语而使语音对话功能启动了之后，通过满足规定的结束条件而使语音对话功能结束。控制模式变更部525能够基于用户的动作而选择在第1结束条件下使语音对话功能结束的第1模式、以及在不同于第1结束条件的第2结束条件下使语音对话功能结束的第2模式。

第1模式是受理由用户的发言做出的1个指示的控制模式。第1模式在语音对话功能的1次启动中执行了1个指示后就使启动模式结束。“使启动模式结束”例如意思是指从服务器系统500对智能扬声器200发送了使待机状态结束的控制信号、或者表示无需使待机状态继续的控制信号。作为在第1模式下受理而设定的控制，例如可列举出与冰箱100的功能有关的控制。与冰箱100的功能有关的控制例如是各储藏室120的设定温度带的变更、冰鲜室122的控制模式的变更、“急速冷冻”或者“急速制冰”等。第1结束条件是指，与用户的发言内容相应地执行了1个控制，或者在语音对话功能的启动后一定时间以上都没有用户的发言(是所谓的超时，该一定时间相当于本发明中的“第1待机时间”)。在第1模式下，为了输入多个指示，需要每当进行指示时发言出触发词语而使语音对话功能一次次地启动。

第2模式是在语音对话功能的1次启动中能够受理通过用户的发言做出的多个指示的控制模式。即，第2模式是即使在1次启动中受理1个指示也能够使启动状态继续的控制模式。此外，在第2模式下，具有为了即使在用户的1连串的发言内容中含有多个处理对象的情况下也能够执行针对这些多个处理对象的指示而预先保持存储的功能。在此所提及的“用户的1连串的发言”意思是指，不将智能扬声器200的响应、基于发言内容的控制的执行夹在中间、由用户持续进行的一系列发言。在本实施方式中，在第2模式下受理的指示是与食材管理有关的指示。与食材管理有关的指示例如是与多个食材有关的登录、删除或者库存的确认。第2结束条件是基于发言等用户的动作而受理了语音对话功能的结束指示。在本实施方式中，在执行着第2模式时，以规定时间没有用户的发言的情况下，从智能扬声器200输出询问有无追加指示的语音(结束确认的语音)，在对该语音的用户的响应满足规定条件的情况下，视为满足了第2结束条件。关于第2结束条件，详细情况留待后述。在本实施方式中，控制模式变更部525关于对各种DB的食材的登录、删除及确认，执行第2模式而受理用户的指示。

在本实施方式中，控制模式变更部525基于用户进行规定的动作这一情形，执行第2模式。另一方面，控制模式变更部525在用户不进行规定的动作的情况下，执行第1模式。“规定的动作”例如是用户进行包含规定的词语的发言、设置于智能扬声器200(或者终端设备400、冰箱100)的规定的操作部(例如规定的按钮)被操作、或者冰箱100的门130被打开(以及/或者被关闭)等。

“规定的词语”是与食材有关的词语。“与食材有关的词语”不限于食材的名称自身，包括近义词等。“规定的词语”是：表示食材名自身的词语；“蔬菜”、“水果”那样的表示食材分类的词语；“食材管理”、“食材登录”、“库存管理”、“库存登录”、“新购入”那样的与食材管理有关的词语；或者让用户指定是连续技能的词语等。所谓连续技能是指上述第2模式下的操作。

对以上内容换个说法则为，控制模式变更部525在用户的发言中包含有与冰箱100的功能有关的词语的情况下，执行第1模式，在用户的发言中包含有与食材或者食材的近义词有关的词语的情况下，执行第2模式。

在本实施方式中，语音处理部524在第1模式下，在用户的发言的待机中经过第1待机时间后就使启动状态结束，在第2模式下，在用户的发言的待机中直至经过比第1待机时间长的第2待机时间为止，使启动状态继续。例如，语音处理部524在第1模式下，在从用户的语音停止起以第1待机时间进行了待机后使启动状态结束，在第2模式下，在从用户的语音停止起以比第1待机时间长的第2待机时间进行了待机之后使启动状态结束。第1待机时间例如是数秒。第2待机时间例如是第1待机时间的双倍以上的时间，例如是30秒以上，例如是1分以上。用户可能会打开冰箱100的门130一边确认内部一边进行食材管理的发言，因此，第2待机时间与第1待机时间相比更长地设定。

从其他观点来看，语音处理部524在第1模式下执行了与用户的发言内容相应的处理之后，以第3待机时间待机后转移至接下来的处理，在第2模式下，执行了与用户的发言内容相应的处理之后，以比第3待机时间长的第4待机时间待机后转移至接下来的处理。例如，语音处理部524也可以是，在第1模式下，执行与用户的发言内容相应的处理之后，以第3待机时间待机之后转移至接下来的处理，在第2模式下，从所述用户的语音停止起以比第3待机时间长的第4待机时间待机后转移至接下来的处理。第1模式下的“接下来的处理”例如是利用语音来对基于用户指示的处理已结束这一情形(或者已开始这一情形)进行引导的处理(例如表示“急速冷冻已开始”的语音的输出)。第2模式下的“接下来的处理”可以是利用语音来对基于用户指示的处理已结束这一情形进行引导的处理(例如输出表示“登录已完成”的语音的处理)，也可以是输出询问有无与食材管理有关的追加指示的语音(后述的结束确认的语音)的处理。

在变形例中，语音处理部524在第1模式下，执行与用户的发言相应的处理后不经过待机时间就转移至接下来的处理，在第2模式下，从用户的语音停止起以规定的待机时间待机后转移至接下来的处理。第1模式下的“接下来的处理”与上述同样，例如是利用语音来对基于用户的指示的处理已结束这一情形(或者已开始这一情形)进行引导的处理。第2模式下的“接下来的处理”与上述同样，也可以是利用语音来对基于用户的指示的处理已结束这一情形进行引导的处理(例如输出表示“登录已结束”的语音的处理)，也可以是输出询问有无与食材管理有关的追加指示的语音(后述的结束确认的语音)的处理。

在本实施方式中，语音处理部524在执行了第2模式的情况下，在用户的语音停止后，输出询问有无与食材管理有关的追加指示的语音，在针对语音的输出的用户的响应满足规定条件的情况下使启动状态结束。“规定条件”例如是作为上述用户的响应，存在有表示没有追加指示的发言、存在有对语音对话功能的结束进行肯定的发言、或者一定时间以上都没有用户的发言(所谓的超时)的情况。

＜7.2控制的流程＞

图23是表示与语音对话功能有关的处理的流程的流程图。以下是在用户的发言中包含有规定的词语的情况下执行第2模式的例子。

首先，智能扬声器200的信息处理部250在用户进行了发言的情况下，判定用户的发言中是否包含触发词语(S101)。智能扬声器200的信息处理部250在用户的发言中不包含触发词语的情况下(S101：否)，使休止状态继续。另一方面，智能扬声器200的信息处理部250在用户的发言中包含触发词语的情况下(S101：是)，使智能扬声器200的语音对话功能启动(S102)。由此，智能扬声器200取得用户的发言的语音数据，将所取得的语音数据向服务器系统500发送。

服务器系统500的信息处理部520(以下仅称作“信息处理部520”)对从智能扬声器200接受的语音数据进行分析，判断用户的发言中是否包含规定的词语(例如，与食材或者食材的近义词有关的词语)(S103)。

信息处理部520在用户的发言中不包含规定的词语的情况下(S103：否)，以第1模式受理用户的指示(S104)，执行与所受理的指示对应的处理(S105)。例如，信息处理部520在受理了与冰箱100的功能有关的指示的情况下，生成用于使冰箱100执行该功能的控制指示，并将所生成的控制指示向冰箱100发送。

然后，信息处理部520接收针对所发送的控制指示的冰箱100的响应，在响应正常的情况下，生成表示执行了(或者开始了)从用户受理的指示的语音，并从智能扬声器200输出。之后，信息处理部520通过向智能扬声器200发送使待机状态结束的控制信号或者表示无需使待机状态继续的控制信号，从而使智能扬声器200的启动状态结束，使智能扬声器200转移至休止状态(S106)。

另一方面，信息处理部520在用户的发言中包含有规定的词语的情况下(S103：是)，将控制模式从第1模式切换为第2模式，以第2模式受理用户的指示(S111)，执行与所受理的指示对应的处理(S112)。例如，信息处理部520基于用户的指示，执行对各种DB(例如库存列表DB601)的、多个食材的登录、删除及确认。例如，也可以是，信息处理部520不向用户确认有无追加指示，从用户的1个以上指示当中内容被确定了的指示起依次执行处理。也可以代替该方式，信息处理部520向用户询问有无追加指示，确认没有追加指示之后，一并执行至此受理的多个指示。

接下来，信息处理部520判定是否有来自用户的结束指示(S113)。结束指示例如是表示没有追加指示的用户的发言，是“结束、“以上”，“这是全部”、“拜托”等词语或者短语。也可以代替这些，或者在此基础上，上述结束指示是智能扬声器200(或者终端设备400、冰箱100)中设置的规定的操作部(例如规定的按钮)被操作(或者，原本按压的操作部被松开)这一情形、冰箱100的原本打开的门130被关闭这一情形等。

信息处理部520在有来自用户的结束指示的情况下(S113：是)，通过向智能扬声器200发送使待机状态结束的控制信号或者表示无需使待机状态继续的控制信号，从而使智能扬声器200的启动状态结束，使智能扬声器200转移至休止状态(S106)。

另一方面，信息处理部520在没有来自用户的结束指示的情况下(S113：否)，从智能扬声器200输出向用户询问有无追加指示的结束确认的语音(例如“还有其他的吗？”这一语音)(S114)。然后，信息处理部520判定是否有来自用户的追加指示的发言(S115)。换言之，信息处理部520即使在从用户受理了1个以上指示的情况下，在没有来自用户的结束指示的情况下，也不使语音对话功能结束，使待机状态继续。

信息处理部520在有来自用户的追加指示的情况下(S115：是)，返回S112，执行与追加指示对应的处理。另一方面，信息处理部520在没有来自用户的追加指示的情况(S115：否)，返回S113，再次确认是否有用户的结束指示。然后，信息处理部520在将上述结束确认的语音输出了1次以上(例如多次)后也没有用户的结束指示的情况下，由于超时而使语音对话功能结束。

＜7.3处理例＞

信息处理部520在使语音对话功能的1次受理结束之前，在使第1食材与第1保存场所带有关系地进行了发言、使第2食材与第2保存场所带有关系地进行了发言的情况下，对第1食材与第1保存场所建立关联地进行处理，对第2食材与第2保存场所建立关联地进行处理。例如，在用户的发言是“向冷藏室追加3个蛋，向冷冻室追加1条中间片开的鲹鱼，从蔬菜室删除1个红辣椒”的情况下，登录信息管理部522作为“蛋”的保存场所而将“冷藏室”建立关联地进行处理，作为“鲹鱼”的保存场所而将“冷冻室”建立关联地进行处理，作为“红辣椒”的保存场所而将“蔬菜室”建立关联地进行处理。

信息处理部520在语音对话功能的1次受理结束之前进行了与多个食材有关的发言、在进行与多个食材有关的发言之前或者之后进行了1个保存场所的发言的情况下，将多个食材与上述1个保存场所建立关联地进行处理。例如，在用户的发言为“向冷藏室追加3个蛋，追加1条中间片开的鲹鱼”的情况下，或者为“将3个蛋、1条中间片开的鲹鱼向冷藏室追加”的情况下，登录信息管理部522作为“蛋”及“鲹鱼”的保存场所而将“冷藏室”建立关联地进行处理。

在本实施方式中，在基于用户的发言内容而能够识别出食材的名称的情况下，与食材的保存场所以及/或者数量有关的发言不是必须的。例如，信息处理部520在不存在关于保存场所、数量的发言的情况下，也可以将它们的信息作为空栏而使登录继续。也可以代替该方式，信息处理部520对于保存场所，自动输入食材DB605中登录的默认的保存场所。也可以代替该方式，信息处理部520对于不足的信息，从智能扬声器200输出询问用户的语音。

在本实施方式中，关于通过语音对话功能而管理的食材的储备状况，也能够通过对终端设备400所显示的显示画面411的内容的输入操作而进行变更。信息处理部520在通过对显示画面411的内容的输入操作而对食材的储备状况进行了变更后，基于该变更后的储备状况，进行通过语音对话功能对食材的储备状况的管理。

食材的储备状况的管理至少包括食材的名称和该食材的数量的信息。信息处理部520在语音对话功能中，在基于用户的发言受理了食材的名称、但该食材的数量却未被包含于发言内容中的情况下，按照登录了基于预先决定的规则的规定数量(例如1个或1包)的情形进行处理，受理该食材的登录。在变形例中，信息处理部520在语音对话功能中，在基于用户的发言受理了食材的名称、但该食材的数量却未被包含于发言内容中的情况下，在输出询问该食材的数量的语音的基础上基于用户的发言未能取得表示该食材的数量的信息的情况下，不受理该食材的登录。

在本实施方式中，信息处理部520在向用户报告食材的库存的情况下、且库存的食材数量为第1规定量以上(例如6份以上)的情况下，首先，利用语音来输出作为库存而存在有几份的食材，然后，利用语音来输出比第1规定量少的第2规定量(例如5份)的食材的名称，然后，生成并输出询问是否将剩余的食材的名称也朗读的语音。例如，信息处理部520在存在有20份食材的情况下，首先，利用语音来输出“全部有20份的食材”，然后，按照规定的优先顺序(例如，购入日、赏味期限、消费期限)利用语音来输出优先顺序高的5份食材的名称，然后，输出向用户确认是否将剩余的食材也朗读的语音。即，在登录有很多食材的情况下，一次听取全部是很累的，因此，将其划分成每次几份地进行发言。

在本实施方式中，登录信息管理部522在删除库存列表DB601中登录的食材的情况下、且同一名称的食材存在有多个的情况下，基于购入日、赏味期限或者消费期限，选择要删除的登录。例如，登录信息管理部522在同一名称的食材存在有多个的情况下，从购入日旧的食材、赏味期限近的食材或者消费期限近的食材起优先删除登录。例如，在2月15日登录有3个西红柿、另外在2月16日登录有2个西红柿的情况下，若用户进行了“删除4个西红柿”的发言，则将2月15日的3个西红柿、2月16日的1个西红柿、合计4个西红柿删除。关于删除的方式不限于此。例如在如“从蔬菜室删除西红柿”这样、指定了保存场所的情况下，仅以该保存场所的食材为对象进行删除即可。同样，关于食材的库存确认也是，在由用户指定了保存场所的情况下，也可以是，仅将该保存场所的食材作为对象来回答食材的数量。此外，在食材删除中，在用户没有对数量进行发言的情况下，也可以将该食材本身删除。

在本实施方式中，响应生成部527在存在没有库存或者库存为规定量以下的不足食材的情况下，生成并输出催促将不足食材向购物列表追加的语音。由此，能够节省向购物列表的食材的追加的工时。

以下示出发言例。U表示用户，S表示智能扬声器200。

(发言例1)

U：“Hello〇〇(触发词语)，打开△△(APP的名称)”

S：“好的，需要我做什么呢？”

U：“食材管理”

S：“好的”

U：“登录3个胡萝卜”

S：“登录了3个胡萝卜”

U：“登录3根黄瓜”

S：“登录了3根黄瓜”

U：“以上”

S：“结束食材登录”(触发词语以外的)语音对话功能停止

(发言例2)

至少食材名和该食材的数量的信息齐全时才受理食材登录，如果有不足信息则询问用户。

U：“Hello〇〇(触发词语)，打开△△(APP的名称)”

S：“好的”

U：“请进行食材登录”

S：“好的”

U：“3个西红柿”

S：“3个西红柿”

U：“蛋”

(规定时间经过)

S：“蛋几个？”

U：“10”

S：“登录了10个蛋。”

S：“还有其他的吗？”

U：“没了”

S：“结束食材登录”

＜7.3实施例＞

(实施例1)

将食材名与该食材的数量建立对应地进行食材登录，即使在食材登录指示时的发言内容中没有数量的信息，也不从语音识别功能侧询问数量，受理食材名的登录。例如，关于没有数量的信息的食材，以空栏进行登录。或者，关于没有数量的信息的食材，按照规定量进行登录。该情况下，规定量能够由用户进行设定而登录，或者关于没有数量的信息的食材，按照最小单位量进行登录。

(实施例2)

若通过语音识别受理了食材登录，之后朗读所受理的内容。受理内容的朗读是按照食材的每个登录进行朗读的复唱式。该情况下，所受理的内容的朗读仅为食材名。在登录时，关于不明的食材的数量，进行催促用户输入的语音引导(作为前提，具备基于语音识别的食材登录功能、以及于基于手动输入的食材登录功能这双方的情况)。

(实施例3)

食材登录为，若通过语音识别预先受理了进行食材登录的指示，则之后将利用其一系列语音识别功能识别出的食材名的信息全部作为食材登录指示而受理。例如，若用动词V来表达是食材的登录的指示，用目的语O来表达成为登录的对象的食材的名称，则用户的发言为“V(O1、O2、O3、O4)”的情况下，智能扬声器200的响应为“对O1、O2、O3、O4进行了V”。

另一方面，若没有预先听到是食材登录的指示就开始了食材名的发言，则暂时存储食材名，等待(或者询问)后续的指示(登录/删除/库存的有无)。例如，在用户的发言为“O1、O2、O3、O4”的情况下，智能扬声器200的响应为“是···O1、O2、O3、O4，对吧？对它们进行V1？还是进行V2？”。

以上说明的冰箱100的控制部160、智能扬声器200的信息处理部250、终端设备400的信息处理部440、以及服务器系统500的信息处理部520分别通过由例如搭载于各设备的CPU(Central Processing Unit)或者GPU(Graphics Processing Unit)那样的硬件处理器执行程序(软件)而实现。但是，控制部160、信息处理部250、信息处理部440、以及信息处理部520各自的全部或者一部分可以通过ASIC(Application Specific IntegratedCircuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)等硬件(包含电路部；circuitry)来实现，也可以通过软件与硬件的配合来实现。

以上对实施方式进行了说明，实施方式的内容不限于上述例子。例如，图24至图38示出了终端设备400的显示画面411(或者冰箱100的显示画面141)上显示的图像的变形例。例如，图24及图25是代替第1至第4显示框D1～D4，而以不同形态显示了第1信息I1的例子。此外，图25是对各门130的把手部分也进行了图示的图案。

图26至图31示出了第1图案R1的变形例。即，示意地表示冰箱100的图案R1也可以与冰箱100的形状、门配置等相应地变更。这些图26至图31中也是，通过进行图12及图13所示的显示框D1～D4的显示或者与其同样的显示，也能够将各储藏室120与各储藏室120的食材信息链接起来进行显示。

图32至图38示出了第1至第4显示框D1～D4的图案的变形例。即，第1至第4显示框D1～D4不限于长方形，也可以适当地采用圆形状、椭圆形状、长圆形状等。此外，关于第1至第4显示框D1～D4的配置位置也是，不限于冰箱的图案的侧方，也可以是上方、斜上方、下方、斜下方等。例如，图35是显示框的一部分相对于冰箱的图案而一部分重叠地显示的例子。此外，图12、图13、图24至图38所示的内容能够相互适当组合而采用。

根据以上说明的至少一个实施方式，根据以上说明的至少一个实施方式，通过具有基于储备数量减少了这一情形而显示催促购入的处理部，能够实现使用便利性的提高。

说明了本发明的几个实施方式，但是这些实施方式指示作为例子而提示，不意图限定发明的范围。这些实施方式能够以其他各种方式来实施，在不脱离发明的宗旨的范围内能够进行各自省略、置换、变更。这些实施方式及其变形包含在发明的范围及宗旨中，同样包含在权利要求书所记载的发明及其等同的范围内。

Claims (14)

1.一种食材管理系统，对表示用户所储备的食材的储备数量的储备信息进行管理，其中，

具备处理部，该处理部基于所述储备数量减少了这一情形，显示催促购入的信息。

2.如权利要求1所述的食材管理系统，其中，

所述处理部在作为在表示储备的第1列表中显示的食材而进行了登录的第1食材减少且满足第1条件的情况下，设为作为在第2列表中显示的食材而登录了所述第1食材的状态。

3.如权利要求2所述的食材管理系统，其中，

所述处理部与针对所述第1列表删除所述第1食材的登录相应地，设为针对所述第2列表登录了所述第1食材的状态。

4.如权利要求2或3所述的食材管理系统，其中，

所述处理部与基于用户的操作而针对所述第1列表删除所述第1食材的登录相应地，设为针对所述第2列表登录了所述第1食材的状态。

5.如权利要求2至4中任一项所述的食材管理系统，其中，

所述处理部与所述第1食材的第1期限经过相应地，设为针对所述第1列表删除了所述第1食材的登录并且针对所述第2列表登录了所述第1食材的状态。

6.如权利要求2至5中任一项所述的食材管理系统，其中，

所述处理部在受理了用户的规定操作的情况下，将针对所述第2列表的所述第1食材的登录，变更为针对与所述第2列表相比购入可能性高的第3列表的、所述第1食材的登录。

7.如权利要求2至6中任一项所述的食材管理系统，其中，

所述处理部在以不经由所述第2列表的方式、作为在与所述第2列表相比购入可能性高的第3列表中显示的食材而登录了所述第1食材的情况下，设为针对所述第2列表删除了所述第1食材的登录的状态。

8.如权利要求6或7所述的食材管理系统，其中，

所述处理部在作为在所述第1列表中显示的食材而进行了登录的所述第1食材减少且满足所述第1条件的情况下、且所述第1食材是由用户预先登录的特别食材的情况下，不进行针对所述第2列表的登录，设为作为在所述第3列表中显示的食材而登录了所述第1食材的状态。

9.如权利要求6至8中任一项所述的食材管理系统，其中，

所述处理部将所述第2列表与所述第3列表显示于同一画面。

10.如权利要求9所述的食材管理系统，其中，

所述处理部在将所述第2列表与所述第3列表显示于同一画面的情况下，能够受理将所述第2列表设为非显示、或者与所述第3列表相比使所述第2列表不醒目的用户的操作。

11.如权利要求2至10中任一项所述的食材管理系统，其中，

所述处理部在作为在所述第2列表中显示的食材而已经登录了规定量的食材的情况下，与作为在所述第2列表中显示的食材而追加新的食材的登录相应地，针对所述第2列表删除旧的登录。

12.如权利要求11所述的食材管理系统，其中，

针对所述2列表的旧的登录的删除是按照基于向所述第2列表的食材的登录日、食材的购入日、食材的赏味期限或者食材的消费期限当中的1个以上的优先顺序而进行的。

13.如权利要求11或12所述的食材管理系统，其中，

针对所述2列表的旧的登录的删除是按照基于食材所属的食材分类的优先顺序而进行的。

14.如权利要求11至13中任一项所述的食材管理系统，其中，

针对所述2列表的旧的登录的删除是按照基于食材的过去的库存频次或者食材是否被包含于由用户指定的食材群的优先顺序而进行的。

Images