CN113253886A - 信息显示装置 - Google Patents

Abstract

目的是提供一种能够提高使用方便性的信息显示装置。实施方式的信息显示装置具有处理部。上述处理部使显示画面显示第1显示，该第1显示将在表示冰箱的第1图案中包含的各保存场所的图案与关于保存在该保存场所中的食材的第1信息建立了对应。

Description

信息显示装置

技术领域

本发明的实施方式涉及信息显示装置。

背景技术

提出了用来管理保存在冰箱中的食材的食材管理系统。对于由这样的食材管理系统使用的信息显示装置，期待使用方便性的提高。

现有技术文献

专利文献

专利文献1：

日本特开2018－146120号公报

发明内容

发明要解决的课题

本发明的目的是提供一种能够实现使用方便性的提高的信息显示装置。

用来解决课题的手段

技术方案的信息显示装置具有处理部。上述处理部使显示画面显示第1显示，该第1显示将在表示冰箱的第1图案中包含的各保存场所的图案与关于保存在该保存场所中的食材的第1信息建立了对应。

发明效果

根据本发明，能够提高信息显示装置中食材管理功能的使用便利性。

附图说明

图1是表示实施方式的信息处理系统的整体结构的图。

图2是表示实施方式的冰箱的正视图。

图3是表示实施方式的智能扬声器的功能结构的框图。

图4是表示实施方式的终端设备的功能结构的框图。

图5是表示实施方式的服务器系统的功能结构的框图。

图6是表示实施方式的库存列表DB的内容的一例的图。

图7是表示实施方式的购物列表DB的内容的一例的图。

图8是表示实施方式的垃圾箱DB的内容的一例的图。

图9是表示实施方式的候选列表DB的内容的一例的图。

图10是表示实施方式的食材DB的内容的一例的图。

图11是表示实施方式的在显示画面上显示的图像的图。

图12是表示实施方式的食材管理的首页的图像的图。

图13是表示实施方式的食材管理的首页的变形例的图像的图。

图14是表示实施方式的显示有全食材列表的图像的图。

图15是表示实施方式的显示有按照每个储藏室的食材列表的图像的图。

图16是表示实施方式的显示有食材列表的变形例的图像的图。

图17是表示实施方式的进行食材向食材列表的新登记的情况下的图像的图。

图18是表示实施方式的进行食材向食材列表的新登记的变形例的图像的图。

图19是表示实施方式的进行食材列表的变更的情况下的图像的图。

图20是表示实施方式的包括垃圾箱列表的图像的图。

图21是表示实施方式的包括购物列表及候选列表的图像的图。

图22是表示实施方式的包括购物列表的另一图像的图。

图23是表示实施方式的关于语音交互功能的处理的流程的流程图。

图24是表示实施方式的在显示画面上显示的图像的变形例的图。

图25是表示实施方式的在显示画面上显示的图像的变形例的图。

图26是表示实施方式的在显示画面上显示的图像的变形例的图。

图27是表示实施方式的在显示画面上显示的图像的变形例的图。

图28是表示实施方式的在显示画面上显示的图像的变形例的图。

图29是表示实施方式的在显示画面上显示的图像的变形例的图。

图30是表示实施方式的在显示画面上显示的图像的变形例的图。

图31是表示实施方式的在显示画面上显示的图像的变形例的图。

图32是表示实施方式的在显示画面上显示的图像的变形例的图。

图33是表示实施方式的在显示画面上显示的图像的变形例的图。

图34是表示实施方式的在显示画面上显示的图像的变形例的图。

图35是表示实施方式的在显示画面上显示的图像的变形例的图。

图36是表示实施方式的在显示画面上显示的图像的变形例的图。

图37是表示实施方式的在显示画面上显示的图像的变形例的图。

图38是表示实施方式的在显示画面上显示的图像的变形例的图。

具体实施方式

以下，参照附图说明实施方式的信息显示装置。在以下的说明中，对具有相同或类似的功能的结构赋予相同的标号。并且，有时将这些结构的重复的说明省略。在本说明书中所述的“基于XX”，是指“至少基于XX”，也包括除了XX以外还基于其他要素的情况。所谓的“基于XX”，并不限定于直接使用XX的情况，也可以包括基于对XX进行了运算及加工后的要素的情况。所谓的“XX或YY”，并不限定于XX和YY中的某一方的情况，也可以包括XX和YY两者的情况。“XX”及“YY”是任意的要素(例如任意的信息)。以下，将“数据库”表述为“DB”。以下，对实现语音交互功能的情况进行说明，但从设备侧的讲话不是必须的。因此，也可以将以下的说明中的“语音交互”改称作“语音识别”。以下说明的“保质期”及“消费期限”分别是“摄取期限”或“第1期限”的各自一例。

<1.整体结构>

图1是表示实施方式的信息处理系统1的整体结构的图。信息处理系统1是“食材管理系统”的一例，是用来管理用户保有的食材的库存量的系统。信息处理系统1例如包括冰箱100、智能扬声器200、家庭内的路由器300、终端设备400及服务器系统500。后述的网络NW例如包括因特网、蜂窝网络、Wi－Fi网、WAN(Wide Area Network：广域网)、LAN(Local AreaNetwork：局域网)、公众线路、电话线路、无线基站等中的1个以上。路由器300例如是无线路由器，但并不限定于此。

冰箱100被配置在用户的家庭中。冰箱100例如经由路由器300与网络NW连接，能够与服务器系统500通信。在本实施方式中，冰箱100具备后述的显示装置130。在此情况下，冰箱100相当于“信息显示装置”的一例。冰箱100也可以具备麦克风和扬声器，具有与智能扬声器200同样的语音交互功能。在此情况下，冰箱100相当于“语音交互装置(或语音识别装置)”的一例。

智能扬声器200配置在用户的家庭中。智能扬声器200例如经由路由器300与网络NW连接，能够与服务器系统500通信。智能扬声器200例如也可以经由路由器300与冰箱100通信。智能扬声器200是“语音交互装置(或语音识别装置)”的一例。

终端设备400例如是用户持有的便携终端设备，是智能电话或平板电脑终端设备等。终端设备400与网络NW连接，能够与服务器系统500通信。在终端设备400中，安装着用来进行食材管理及冰箱100的远程操作的应用程序(以下有称作“应用”的情况)。终端设备400是“信息显示装置”的一例。但是，终端设备400并不限定于上述例子，也可以是个人计算机或具有输入功能的电视机等。终端设备400也可以具备麦克风和扬声器，具有与智能扬声器200同样的语音交互功能。在此情况下，终端设备400相当于“语音交互装置(或语音识别装置)”的一例。

服务器系统500是将用于食材管理的各种数据记录的服务器系统，例如由多个服务器装置501、502构成。服务器装置501、502是连接在网络NW上的云服务器。例如，服务器系统500包括控制智能扬声器200的语音交互用的第1服务器装置501和控制冰箱100的设备控制用的第2服务器装置502。但是，服务器系统500也可以由1台服务器装置构成，也可以由3台以上的服务器装置构成。服务器系统500也可以包括包含在路由器300中的信息处理部、及/或包含在网络NW中的路由器中的信息处理部等，进行边缘计算或雾计算的信息处理部。服务器系统500中包含的后述的各种功能部也可以分开存在于两个以上的装置中。

以下，对冰箱100、智能扬声器200、终端设备400及服务器系统500详细地进行说明。

<2.冰箱>

图2是表示冰箱100的正视图。冰箱100例如包括箱体110、多个门130、显示装置140、致动器150及控制部160。在箱体110的内部，设有多个储藏室(保存室)120。多个储藏室120例如包括冷藏室121、微冻(chilled)室122、蔬菜室123、制冰室124、小冷冻室125及主冷冻室126。在本实施方式中，在最上部配置有冷藏室121，在冷藏室121的下方配置有蔬菜室123，在蔬菜室123的下方配置有制冰室124及小冷冻室125，在制冰室124及小冷冻室125的下方配置有主冷冻室126。但是，储藏室120的配置并不限定于上述例子。这些多个储藏室120被多个门130分别可开闭地关闭。

显示装置140是液晶显示器或有机EL(Electro Luminescence：电致发光)显示器等，包括能够显示图像及/或影像的显示画面141。显示装置140包括重叠于显示画面141而设置的接触传感器142。致动器150包括将冷却用的制冷剂压缩并向冷却器输送的压缩机、和将被冷却器冷却后的冷气向各储藏室120输送的送风机等。

控制部160控制显示装置140及致动器150。例如，控制部160能够经由接触传感器142受理用户对于显示画面141的操作。控制部160通过控制致动器150，能够执行冰箱100的各储藏室120的设定温度带的变更、微冻室122的控制模式的变更、与通常运转相比将冷冻室126、126快速地冷却的“快速冷冻”、与通常运转相比快速地制作冰的“快速制冰”等的冰箱100的功能。

但是，冰箱100的结构并不限定于上述例子。冰箱100也可以具有设在箱体110的内部或门130上的照相机170。在此情况下，由照相机170摄影的食材的图像也可以被发送给服务器系统500而用于食材管理。对此在后面进行叙述。

<3.智能扬声器>

图3是表示智能扬声器200的功能结构的框图。智能扬声器200例如具有麦克风210、扬声器220、无线通信模块230、存储部240及信息处理部250。

麦克风210取得对智能扬声器200讲话的用户的语音。扬声器220朝向智能扬声器200的外部输出语音。无线通信模块230包括高频电路及天线等，例如能够与路由器300进行无线通信。

存储部240保存有语音DB241。语音DB241例如包括简单语音识别DB241a。在简单语音识别DB241a中，登记有作为使智能扬声器200起动的语音命令的触发词。所谓的“起动”，是指从耗电被抑制为规定以下的休止状态(对于触发词以外的用户的讲话不反应的状态)变化为对于触发词以外的用户的讲话也能够反应(能够交互)的待机状态(能够接收语音命令的状态)。“待机状态”也可以被称作“起动状态”。触发词是“你好(Hello)，〇〇(某某)”那样的预先决定的特定的词或短语。

信息处理部250例如具有语音接收部251、起动判定部252、数据收发部253及语音输出部254。语音接收部251将对于麦克风210输入的语音(用户的讲话)作为语音数据接收。起动判定部252判定语音交互功能的起动的需要与否。起动判定部252在由语音接收部251接收到的语音数据中包含有登记在简单语音识别DB241a中的触发词的情况下，判定为需要起动，使语音交互功能起动。

数据收发部253通过对无线通信模块230进行控制，在与服务器系统500之间收发控制信号及数据。数据收发部253将由语音接收部251取得的触发词以外的语音数据向服务器系统500发送。数据收发部253从服务器系统500接收由服务器系统500准备的应答用的语音数据。数据收发部253将接收到的应答用的语音数据向语音输出部254输出。语音输出部254将从数据收发部253接受到的语音数据经由扬声器220作为语音(智能扬声器200的讲话)向外部输出。

<4.终端设备>

图4是表示终端设备400的功能结构的框图。终端设备400例如具有显示装置410、无线通信模块420、存储部430及信息处理部440。显示装置410是液晶显示器或有机EL显示器等，包括能够显示图像及/或影像的显示画面411。显示装置410包括重叠于显示画面411而设置的接触传感器412。无线通信模块420包括高频电路及天线等，能够与网络NW连接。

存储部430存储用来进行食材管理及冰箱100的远程操作等的应用程序。信息处理部440的全部或一部分通过由搭载在终端设备400中的CPU(Central Processing Unit：中央处理单元)那样的硬件处理器执行上述应用程序而实现。

信息处理部440例如包括操作受理部441、显示装置控制部442及数据收发部443。信息处理部440是“处理部”的一例。

操作受理部441经由接触传感器412受理用户对于显示画面411的操作。数据收发部443通过对无线通信模块420进行控制，在与服务器系统500之间收发控制信号及数据。数据收发部443将表示由操作受理部441受理的用户的操作内容的信息向服务器系统500发送。数据收发部443将从服务器系统500接收的关于显示的控制指示及显示用数据向显示装置控制部442输出。显示装置控制部442基于从服务器系统500接收到的控制指示，使包含在从服务器系统500接收到的显示用数据中的图像或影像显示在显示画面411中。

但是，终端设备400的结构并不限定于上述例子。例如，也可以具备作为与上述智能扬声器200同样的语音交互装置的功能。此外，终端设备400也可以具有照相机450。在此情况下，由照相机450摄影的食材的图像也可以被发送给服务器系统500而用于食材管理。对此在后面叙述。

<5.服务器系统>

图5是表示服务器系统500的功能结构的框图。以下，对由服务器系统500控制作为“信息显示装置”的终端设备400和作为“语音交互装置”的智能扬声器200的例子进行说明。但是，由服务器系统500控制的“信息显示装置”也可以是冰箱100。在此情况下，以下的说明中的“终端设备400”被替换为“冰箱100”。被服务器系统500控制的“语音交互装置”也可以是终端设备400或冰箱100。在此情况下，以下的说明中的“智能扬声器200”被替换为“终端设备400”或“冰箱100”。

服务器系统500包括通信模块510、信息处理部520及存储部530。这里为了方便，先对与语音交互不同的功能部进行说明，接着对关于语音交互的功能部进行说明。通信模块510包括通信用电路等，能够与网络NW连接。

<5.1信息处理部的结构>

信息处理部520例如包括指示受理部521、登记信息管理部522、显示控制部523、语音处理部524、控制模式变更部525、控制指示生成部526及应答生成部527。但是，这些功能部的一部分或全部也可以代替服务器系统500而设在终端设备400或冰箱100中。信息处理部520是“处理部”的一例。

指示受理部521经由通信模块510从终端设备400接受表示由终端设备400的操作受理部441受理的用户的操作(用户对于显示画面411的操作)的信息。指示受理部521将从终端设备400接受的信息向登记信息管理部522输出。

登记信息管理部522基于从指示受理部521接受的信息，将后述的各种DB(库存列表DB601、购物列表DB602、候选列表DB604、垃圾箱DB603、常备品DB607、用户设定DB606、远程操作登记DB609等)更新。除此以外，在本实施方式中，登记信息管理部522从语音处理部524接受表示由后述的语音处理部524解析的内容(基于讲话的用户的指示)的信息。登记信息管理部522基于从语音处理部524接受的信息，将上述各种DB更新。关于登记信息管理部522详细地在后面叙述。在以下的说明中，所谓的“用户的操作”或“用户的输入”，是指由指示受理部521受理的用户的操作(用户对于终端设备400的操作)或由后述的语音处理部524分析的用户的操作(基于对智能扬声器200的讲话的操作)。

显示控制部523基于各种DB的内容，生成包含使终端设备400的显示画面411显示的图像或影像的显示用数据及控制信号。显示控制部523将所生成的显示用数据及控制信号经由通信模块510向终端设备400发送。由显示控制部523生成的控制信号是使终端设备400的显示装置控制部442动作的控制信号。这里所谓的“使显示画面显示”，并不限定于由终端设备400的显示装置控制部442使显示画面411显示图像或影像的意思，也包括通过对终端设备400从外部给出显示用数据及/或控制信号而使显示画面411显示图像或影像。

语音处理部524经由通信模块510的智能扬声器200接受由智能扬声器200取得的语音数据。例如，语音处理部524在由智能扬声器200取得的语音数据之中，接受触发词以外的语音数据。语音处理部524分析从智能扬声器200接受的语音数据。例如，语音处理部524通过进行语音识别处理而将语音数据文本化，通过对被文本化的语音数据进行自然语言处理而进行意思解释。语音处理部524将语音数据的分析结果向控制模式变更部525、控制指示生成部526及应答生成部527输出。

控制模式变更部525基于由语音处理部524得到的语音数据的分析结果，将智能扬声器200的动作状态变更。关于控制模式变更部525详细地在后面叙述。

控制指示生成部526基于由语音处理部524得到的语音数据的分析结果，在用户的讲话中包含有对于冰箱100的指示(例如，各储藏室120的设定温度带的变更、微冻室122的控制模式的变更、“快速冷冻”或“快速制冰”等的指示)的情况下，受理该指示。控制指示生成部526生成与所受理的对于冰箱100的指示对应的控制指示。控制指示生成部526将所生成的控制指示经由通信模块510向冰箱100发送。冰箱100的控制部160通过基于由控制指示生成部526生成的控制指示将致动器150驱动，实现用户希望的控制。

在有对于由语音处理部524分析的用户的讲话应该回答的内容的情况下、或有应向用户报告的内容的情况下，应答生成部527参照语音DB610(后述)，生成从智能扬声器200输出的语音数据。应答生成部527将所生成的语音数据经由通信模块510向智能扬声器200发送。智能扬声器200通过基于由应答生成部527生成的语音数据将扬声器220驱动，对用户用语音进行回答或报告。

<5.2各种DB>

在存储部530中，存储有库存列表DB601、购物列表DB602、垃圾箱DB603、候选列表DB604、食材DB605、用户设定DB606、常备品DB607、履历DB608、远程操作登记DB609及语音DB610。库存列表DB601、购物列表DB602、垃圾箱DB603、候选列表DB604、用户设定DB606、常备品DB607、履历DB608按照每个用户准备。

以下，为了说明的方便，表示作为食材管理用的DB而存在上述多个DB的例子，但这些DB也可以一体地设置，并且通过对各食材的登记赋予表示使后述的特定的列表(购物列表或候选列表)显示的识别信息(例如标签)而进行管理。另外，以下说明的各种对于DB的处理(例如食材的登记、删除、确认)由登记信息管理部522执行。

<5.2.1库存列表DB>

图6是表示库存列表DB601的内容的一例的图。所谓的“库存列表”，是管理用户保有的食材的列表。“库存列表”是“第1列表”的一例。在以下的说明中，有时将“库存列表”称作“食材列表”。在库存列表DB601中，登记作为库存存在于用户的家庭中的食材。在库存列表DB601中，并不限于保存到冰箱100的内部中的食材，还登记在冰箱100的外部保存(例如在常温下保存)的食材。库存列表DB601是表示用户保有的食材的保有数量的“保有信息”的一例。

在库存列表DB601中，按照每个食材，将“管理ID”、“食材名”、“食材分类”、“保存场所”、“购买日”、“保质期”(或“消费期限”)、“数量”、“单位”及“履历”建立对应而登记。所谓的“按照每个食材”，例如是指同时被购买的相同的食材。换言之，即使是相同的种类，在某个日期时间购买的食材和在其他日期时间购买的食材作为不同的食材登记。另外，这里所谓的“购买日”，是指特定的食材被新登记的登记日、即库存量增加的日子，以也包括该食材的获得途径不是购买的情况的意义来使用。

“食材分类”是指食材的划分。在本实施方式中，作为“食材分类”，设定了“蔬菜”、“水果”、“肉类”、“鱼贝/海藻类”、“蛋/乳制品”、“豆/豆制品”、“加工食品”、“米饭/面包类”、“面条类”、“饮料”、“冷冻食品”、“甜食类”、“调味料”、“香辛料”、“配菜”及“其他”的16种食材分类。但是，上述划分是例子，食材分类的划分可以适当设定。

“保存场所”是指食材被保存的场所。在本实施方式中，作为“保存场所”，设定了“冷藏室”、“蔬菜室”、“冷冻室”及“其他”的4种保存场所。“冷藏室”对应于将冷藏室121和微冻室122加在一起的区域。“蔬菜室”对应于蔬菜室123。“冷冻室”对应于将小冷冻室125和主冷冻室126加在一起的区域。“其他”对应于冰箱100的外部的保存场所。

但是，上述划分是例子，保存场所的划分可以适当设定。例如，也可以将冷藏室121和微冻室122划分为相互不同的保存场所。也可以将小冷冻室125和主冷冻室126划分为相互不同的保存场所。进一步讲，保存场所的划分也可以如“冷藏室的最上段”、“冷藏室的右门搁架”那样细致地划分。“保存场所”也可以被称作“保存室”或“保存区域”。以下，为了说明的方便，在称作“冷藏室121”情况下，是可以包括微冻室122的概念，在称作冷冻室126的情况下，是可以包括小冷冻室125的概念。

在“数量”中登记食材的最新的数量。在“履历”中，在食材减少的情况下，登记表示减少后的数量及减少的日期时间等的信息。

登记信息管理部522例如基于用户的操作，进行对于库存列表DB601的食材的登记、删除、确认。在本实施方式中，登记信息管理部522在登记在库存列表DB601中的食材的保质期(或消费期限)的规定天数前(例如1天前)，向终端设备400通知有保质期(或消费期限)接近的食材。该通知作为推送通知被显示在终端设备400的显示画面411上。登记信息管理部522在登记在库存列表DB601中的食材的保质期(或消费期限)已经过了的情况下，将保质期(或消费期限)已经过了的食材从库存列表DB601自动地删除，将食材的登记转移到后述的垃圾箱DB603及候选列表DB604中。“库存列表”通过服务器系统500的控制，在终端设备400的显示画面411上被作为“食材列表”显示。关于“库存列表(食材列表)”的显示例详细地在后面叙述。

<5.2.2购物列表DB>

图7是表示购物列表DB602的内容的一例的图。所谓的“购物列表”，是用户为了防止忘买而在购物时能够参照的列表，是确认了用户的购买计划(例如明示的购买意思)的食材的列表。“购物列表”是“第3列表”的一例，是与后述的候选列表相比购买可能性较高的列表。但是，“购物列表”并不限于用户的明示的购买意思，也可以包括通过基于用户的常备意思(将某个食材作为常备品保有的意思)的推断来登记的食材。登记在“购物列表”中的食材例如在被一次登记到后述的“候选列表”中之后，通过基于用户的意思(用户的操作)从“候选列表”移动到“购物列表”而被登记到“购物列表”中。但是，登记到“购物列表”中的食材也可以不经由候选列表，而基于用户的操作直接登记到“购物列表”中。“购物列表”通过服务器系统500的控制，显示在终端设备400的显示画面411中。关于“购物列表”的显示例详细地在后面叙述。

在购物列表DB602中，登记有作为“购物列表”显示的食材。在购物列表DB602中，按照每个食材，将“管理ID”、“食材名”、“食材分类”、“数量”及“单位”建立对应而登记。登记信息管理部522基于用户的操作，进行对于购物列表DB602的食材的登记、删除、确认。

<5.2.3垃圾箱DB>

图8是表示垃圾箱DB603的内容的一例的图。在垃圾箱DB603中，暂时登记从库存列表DB601删除的食材。例如，在垃圾箱DB603中，登记有登记在库存列表DB601中的食材被消耗、基于用户的操作而从库存列表DB删除的食材。在本实施方式中，在垃圾箱DB603中，还登记有在登记于库存列表DB中的食材之中、通过保质期(或消费期限)超过而被登记管理部522从库存列表DB自动地删除的食材。登记在垃圾箱DB603中的食材能够通过用户的操作而向库存列表DB再登记。登记在垃圾箱DB603中的食材通过从登记到垃圾箱DB603中的登记日起经过规定期间(例如3天)而从垃圾箱DB603自动地删除。另外，也可以是，即使在库存列表DB601中登记有过了保质期(或消费期限)的食材，也不从库存列表DB601自动地删除，而是等待用户的操作来删除。同样，登记在垃圾箱DB603中的食材也可以不设置到自动删除为止的期间，而是等待用户的操作来删除。在垃圾箱DB603中，按照每个食材将“管理ID”、“食材名”、“食材分类”、“向垃圾箱DB603的登记日”建立对应而登记。

<5.2.4候选列表DB>

图9是表示候选列表DB604的内容的一例的图。所谓的“候选列表”，是用户为了防止忘买而能够辅助地参照的列表，是尚未确认用户的购买计划(例如明示的购买意思)的购买候选的食材的列表。“候选列表”是“第2列表”的一例。“候选列表”是基于食材的库存减少而对用户敦促食材的购买的信息的一例。“候选列表”是购买的提议信息，例如利用登记在库存列表DB601中的食材的删除操作而生成。“候选列表”通过服务器系统500的控制而显示在终端设备400的显示画面411上。关于“候选列表”的显示例详细地在后面叙述。在候选列表DB604中，登记有作为“候选列表”显示的食材。在候选列表DB604中，按照每个食材，将“管理ID”、“食材名”、“食材分类”、“向候选列表DB604的登记日”建立对应而登记。如下述那样，在登记在库存列表DB601中的特定的食材的数量成为零之前，依据减少到了规定的数量而将该食材向候选列表DB604登记的情况下，也可以关于该食材的“数量”(库存的数量)与该食材建立对应而登记到候选列表DB604中。

在本实施方式中，在候选列表DB604中，在登记在库存列表DB601中的食材的数量减少而满足了规定条件的情况下，将该减少的食材自动地登记。“规定条件”例如是减少后的食材的数量成为小于预先设定的阈值。在本实施方式中，“规定条件”是减少后的食材的数量成为零(即，不再有食材的库存)。“规定条件”是“第1条件”的一例。

例如，在登记在库存列表DB601中的食材被删除而向垃圾箱DB603登记的情况下，在候选列表DB604中自动地登记与向垃圾箱DB603登记的食材相同的食材。所谓的“登记的删除”，是不再有特定的食材的库存(从有的状态向没有的状态变化)。即，在候选列表DB604中，将登记在库存列表DB601中的食材被消耗而基于用户的操作从库存列表DB删除的食材、以及在登记在库存列表DB中的食材之中通过保质期(或消费期限)超过而被登记信息管理部522从库存列表DB自动删除的食材自动地登记。购物列表DB602及候选列表DB604两者都登记不再有库存(或库存减少了)的食材。购物列表DB602及候选列表DB604更新时机相互不同。本实施方式的服务器系统500在关于某个食材用户根据已食用/已丢弃而对库存列表DB601的登记进行删除操作的情况下，原本该食材的显示此后就应该不需要了，但作为推荐购物的数据利用。

登记信息管理部522能够受理使登记在候选列表DB604中的食材向购物列表DB602移动的用户的操作。例如，用户能够在后述的候选列表中将移动对象的食材的显示轻击(单击)而选择，使所选择的食材向购物列表移动。在所选择的食材被登记到购物列表DB602中的情况下，从作为移动源的候选列表DB604将该食材的登记删除。

这里，有时在某个食材已经登记在候选列表DB604中的状态下通过用户的操作将相同的食材向购物列表DB602直接登记(即，不经由候选列表DB604将食材向购物列表DB602登记的情况)。在此情况下，登记信息管理部522将上述食材向购物列表DB602登记，并从候选列表DB604将上述食材的登记删除。即，关于已经登记在购物列表DB602中的食材，即使是库存列表DB601中的库存的数量满足上述“规定条件”的情况，也不向候选列表DB604登记。

登记信息管理部522在登记在库存列表DB601中的食材减少而满足上述规定条件的情况下，在该食材是由用户事先登记的特别食材(例如登记在常备品DB607中的食材)的情况下，也可以不进行对于候选列表DB604的上述食材的登记，而将上述食材向购物列表DB602直接登记。

在本实施方式中，设定了可登记到候选列表DB604中的食材的最大数(例如20个)。登记信息管理部522在候选列表DB604中已经登记有规定数(例如最大数)的食材的情况下，根据在候选列表DB604中追加了新的食材的登记这一情况，将候选列表DB604的旧的登记依次删除。

登记信息管理部522按照基于向候选列表DB604的登记日、食材的购买日、食材的保质期或食材的消费期限中的1个以上的优先级，进行候选列表DB604的旧的登记的删除。例如，登记信息管理部522在登记在候选列表DB604中的食材中，以食材的购买日由旧到新的顺序、食材的保质期由旧到新的顺序、或食材的消费期限由旧到新的顺序，将旧的登记删除。另外，在如上述那样在登记在库存列表DB601中的特定的食材的数量成为零之前依据减少到规定的数量而将该食材向候选列表DB604登记的情况下，也可以在库存列表DB601中还剩余有库存的食材之中，以食材的保质期由新到旧的顺序、或食材的消费期限由新到旧的顺序优先删除。

登记信息管理部522代替上述优先级/在其以外，按照基于食材属于的食材分类的优先级，进行候选列表DB604的旧的登记的删除。例如，登记信息管理部522在食材属于特定的食材分类的情况下，降低将该食材删除的优先级(或从删除对象中排除)，使得该食材不易被从候选列表DB604删除。“特定的食材分类”是具有接近于常备品的特点的食材分类，例如是调味料或香辛料。

登记信息管理部522代替上述优先级/除其以外，按照基于食材的过去的库存频度及/或食材是否包含在用户指定的食材群中的优先级，进行候选列表DB604的旧的登记的删除。登记信息管理部522在食材的过去的库存频度是阈值以上的情况下，降低将该食材删除的优先级(或从删除对象中排除)，使得该食材不易被从候选列表DB604删除。过去的库存频度可以基于后述的履历DB608得到。登记信息管理部522在食材包含在由用户指定的食材群中的情况下，降低将该食材删除的优先级(或从删除对象中排除)，使得该食材不易被从候选列表DB604删除。“被指定的食材群”例如是登记在常备品DB607中的食材群。

通过设置候选列表，能够减少忘记向购物列表登记的情况。此外，通过候选列表对向购物列表的登记的辅助功能，还能够减轻向购物列表的登记作业的作业负担。

<5.2.5食材DB>

图10是表示食材DB605的内容的一例的图。食材DB605是对于多个用户共同设定的默认的DB。食材DB605被用于后述的食材信息的自动输入。登记在食材DB中的食材登记有通常流通的许多食材。在食材DB605中，按照每个食材，将“食材名”、“食材名的受理候选”、“食材分类”、“食材分类的图标”、“默认的保存场所(推荐的保存场所)”、“保质期(或消费期限)”建立对应而登记。“食材分类”、“食材分类的图标”、“默认的保存场所”、“保质期(或消费期限)”分别是“附属信息”的一例。食材DB605是将食材名与附属信息建立了关联的“关系信息”的一例，是“第1信息”的一例。但是，这里所谓的“第1信息”，是与后述的“第1信息I1”不同的概念。在本实施方式中，作为附属信息之一而登记有食材分类的图标，但也可以代之而使用表示食材分类的图像。食材DB605是登记有食材与该食材的保存场所的通常的对应关系(不是根据各个用户而不同，而是作为只要没有用户的特别的指定就对各用户共同地适用而预先设定的标准的对应关系)的信息。该对应关系是“第1对应关系”的一例。

作为“食材名的受理候选”，登记有考虑到食材的名称的输入模糊的1个以上的受理候选。例如，在食材是プチトマト(日语：小西红柿)的情况下，除了“プチトマト(日语的片假名表述)”以外，还登记有“ぷちとまと(日语的平假名表述，发音相同)”、“トマト”(日语：西红柿)等。“默认的保存场所”是冰箱100的内部或冰箱100的外部的保存场所，登记有适合于食材保存的保存场所。如上述那样，“保存场所”在冷藏室121具有搁架的情况下，也可以是如“冷藏室121的最上段”那样的表示在特定的储藏室120中与其他场所区别的一部分场所的划分。另外，“食材名的受理候选”仅限于用于与“附属信息”建立对应(即“关系信息”的利用)，作为向用户出示的食材的名称，也可以不是通过“食材名的受理候选”变换，而是利用用户登记的名称本身。例如，在用户输入了“○○産のとまと”(日语：某地产的西红柿)的情况下，通过“食材名的受理候选”而登记了“トマト”，将与“トマト”建立对应而准备的食材分类“蔬菜”及保存场所“蔬菜室”等的附属信息向库存列表DB601登记，另一方面，作为在终端设备400的显示画面411等上向用户出示的食材的名称，也可以以“○○産のとまと”(某地产的西红柿)等将用户输入的名称不加工而原样使用。或者，也可以代之而以“○○産のトマト”(某地产的西红柿，其中“西红柿”为日语片假名)等，仅将考虑为表述变动的一部分变更而用于显示。

这里，冰箱100根据机种不同而储藏室120的配置不同。因此，有对食材推荐的保存场所根据机种而不同的情况。所以，在本实施方式中，例如按照冰箱100的每个机种而准备食材DB605。换言之，食材DB605根据冰箱100的每个机种而不同。登记信息管理部522基于参照后述的远程操作登记信息DB609而得到的冰箱100的机种信息，确定用户的冰箱100的机种，选择与所确定的机种对应的食材DB605。另外，按照冰箱100的每个机种而准备不同的信息，也可以不是食材DB605整体，而仅限于食材DB605中的表示保存场所的信息等一部分的信息。

回到图2继续说明。在存储部530中，除了上述的DB以外，还存储有用户设定DB606、常备品DB607、履历DB608、远程操作登记DB609及语音DB610。

用户设定DB606是由用户登记的信息。在用户设定DB606中，为了使后述的食材信息的自动输入具有灵活性，登记对于食材DB的用户固有的变更设定。例如，在用户设定DB606中，登记有食材与保存场所的用户固有的对应关系。该对应关系是“第2对应关系”的一例。具体而言，在食材DB605中，作为对于“鸡肉”的默认的保存场所而登记有“冷藏室”。在用户购买了鸡肉时与向冷藏室保存相比向冷冻室保存更多的情况下，可以将“鸡肉”与“冷冻室”建立对应而向用户设定DB606登记。用户设定DB606是将食材名与附属信息建立了关联的“关系信息”的另一例，是“第2信息”的一例。但是，这里所谓的“第2信息”，是与后述的“第2信息I2”不同的概念。登记信息管理部522基于用户的操作，进行用户设定DB606的登记、删除、确认。

在常备品DB607中，登记有用户经常利用的食材(例如不想让库存用尽的食材)。在常备品DB607中，登记有由用户“宣告”希望常备的食材(特别食材)。登记信息管理部522基于用户的操作，进行常备品DB607的登记、删除、确认。

履历DB608能够代替用户设定DB606来使用或与用户设定DB606组合来使用。履历DB608不取决于例如用户的明示性的登记，而登记关于食材的保存的用户的履历(冰箱100的使用履历)。登记信息管理部522通过参照履历DB608，能够得到对于某个食材哪个储藏室120经常被利用的信息。履历DB608基于对于库存列表DB601的用户的登记结果及/或冰箱100的照相机170的摄影结果等而生成。

在远程操作登记DB607中，按照每个冰箱100，将“管理ID”、“机种”及“为远程操作用而登记的终端设备的管理ID”建立对应而登记。显示控制部523基于从终端设备400接收的终端设备400的管理ID，根据远程操作登记DB607确定用户的冰箱100的机种，基于所确定的冰箱100的机种，变更使终端设备400的显示画面411显示的冰箱100的图案。对此详细地在后面叙述。

在语音DB610中，登记有用来进行用户的讲话的意思解释的辞典、以及用来生成应答用的语音数据的语音信息等。进而，在存储部530中，存储有食材分类的图标的图像数据。

<6.画面显示>

接着，对在使用终端设备400进行冰箱100的食材管理的情况下在终端设备400的显示画面411上显示的画面显示进行说明。以下说明的画面显示通过终端设备400的显示装置控制部442基于从服务器系统500发送的显示用数据及控制指示执行控制而实现。

<6.1冰箱的管理画面的首页>

图11是表示在显示画面411上显示的图像的图。图11中的左方是表示在由终端设备400将应用程序起动的情况下显示的首页(top page)的图像S1。图像S1包括示意地表示冰箱100的图案R0和多个显示D11～D16。图案R0包括示意地表示的冰箱100的各储藏室120的图案R0a～R0f。图案R0a～R0f分别依次是表示冷藏室121、微冻室122、蔬菜室123、制冰室124、小冷冻室125及主冷冻室126的图案。显示D11～D16表示关于各储藏室120的设定内容(运转状态)。

通过位于图像S1的右上的表示“设定”的显示D17被用户按下，显示控制部523将表示菜单的图像S2与图像S1叠加而显示。通过图像S2中包含的“食材管理”被用户操作(例如轻击)，显示控制部523使显示画面411显示食材管理的首页的图像S3(图13)。

<6.2食材管理的首页>

图12表示食材管理的首页的图像S3。图像S3包括第1图案R1、第2图案R2、第1至第4显示框D1～D4及第1至第4图标K1～K4。

在本实施方式中，在图像S3中，将在示意地表示冰箱100的第1图案R1中包含的表示各储藏室(保存场所)120的图案R1a～R1e与关于保存在该储藏室120中的食材的第1信息I1建立对应而显示。图像S3是“第1显示”的一例。第1至第4显示框D1～D4的各自中包含的信息是“第1信息I1”的一例。第1信息I1包括关于保存在各储藏室120中的食材整体的信息。例如，第1信息I1是保存在各储藏室120中的食材的数量。

但是，第1信息I1也可以是表示各储藏室120的填充的程度(使用的程度)的信息。“填充的程度”是基于将保存在各储藏室120中的食材的数量除以各储藏室120装满时的食材的数量的计算结果的信息，由填充率(使用率)或填充量(“多”“普通”“少”))等表现。各储藏室120的填充率如果按照食品的每个种类预先设定了该食材占据的体积及尺寸，则能够根据当前作为保管中登记的食材的种类和数量，精度更好地进行推断。也可以代替食材的体积及尺寸，预先设定能够保存到各储藏室120中的食材的种类与数量的各组合。第1信息I1也可以代替食材的数量及填充的程度/在其以外，包括保存在各储藏室120中的食材的名称等。

以下，对关于本实施方式的一例详细地进行说明。第1图案R1是示意地表示冰箱100的图案。第1图案R1除了冰箱100的外形以外，还包括示意地表示冰箱100的各储藏室120的图案R1a～R1e。第1图案R1例如由表示冰箱100的外形的线和表示多个储藏室120之间的边界的线构成。第1图案R1包括表示冷藏室121的图案R1a、表示蔬菜室123的图案R1b、表示制冰室124的图案R1c、表示小冷冻室125的图案R1d及表示主冷冻室126的图案R1e。

在本实施方式中，第1图案R1不包括表示微冻室122的图案，而包括与冷藏室121及微冻室122对应的1个图案R1a。在本实施方式中，第1图案R1即使是对开门式的冰箱100，左右的冷藏室门的边界线也被省略。通过这些，第1图案R1成为清晰的图案。但是，第1图案R1也可以包括表示微冻室122的图案，也可以在对开门式的冰箱100中具有左右的冷藏室门130之间的边界线。关于第1图案R1的变形例，详细地在后面叙述。第1图案R1不需要准确地表示实际的冰箱100的各门的尺寸，也可以适当调整尺寸比率以便容易观察或容易显示信息。

显示控制部523基于远程操作登记DB609，确定用户的冰箱100的机种，将与用户的冰箱100的机种对应的储藏室120的配置的第1图案R1包含在图像S3中。在此情况下，显示控制部523只要冰箱100的门130的配置相同，即使有一些尺寸比率的差异也使用相同的第1图案R1。

第2图案R2配置在第1图案R1的外侧。例如，第2图案R2配置在第1图案R1的侧方。在本实施方式中，第2图案R2在与包含在第1图案R1中的冰箱的底部的高度相同的高度，配置在第1图案R1的侧方。第2图案R2示意地表示冰箱100的外部的保存场所。第2图案R2例如包括表示箱状的容纳部的图案。

第1至第4显示框D1～D4例如包括表示标注框的图案。第1显示框D1包括关于保存在冷藏室121及微冻室122中的食材的第1信息I1。例如，在第1显示框D1中，显示表示保存在冷藏室121及微冻室122中的食材的数量的信息。第1显示框D1配置在包含于第1图案R1中的冷藏室的图案R1a的侧方。如果以其他观点看，则第1显示框D1配置在与包含在第1图案R1中的冷藏室的图案R1a相同的高度。

第2显示框D2包括关于保存在蔬菜室123中的食材的第1信息I1。例如，在第2显示框D2中，显示表示保存在蔬菜室123中的食材的数量的信息。第2显示框D2配置在包含在第1图案R1中的蔬菜室123的图案R1b的侧方。如果以其他观点看，则第2显示框D2配置在与包含在第1图案R1中的蔬菜室123的图案R1b相同的高度。

第3显示框D3包括关于保存在冷冻室125、126中的食材的第1信息I1。例如，在第3显示框D3中，显示表示保存在冷冻室125、126中的食材的数量的信息。第3显示框D3配置在包含在第1图案R1中的冷冻室125、126的图案R1d、R1e的侧方。如果以其他观点看，则第3显示框D3配置在与包含在第1图案R1中的冷冻室125、126的图案R1d、R1e相同的高度。

第4显示框D4包括关于在冰箱100的外部保管的食材(没有被收容到冰箱100中的食材)的第1信息I1。例如，在第4显示框D4中，显示表示保存在冰箱100的外部的食材的数量的信息。第4显示框D4配置在第2图案R2的正上方。第4显示框D4中包含的第1信息I1是“箱外信息”的一例。

在这些第1至第4显示框D1～D4中显示的信息，例如由显示控制部523基于库存列表DB601生成。根据这样的结构，通过使冰箱100的各储藏室120与食材信息在视觉上相链接，能够提高库存管理系统的使用方便性。

在本实施方式中，显示控制部523在对于第1图案R1受理了指定包含在第1图案R1中的第1保存场所(第1保存室)的用户的操作的情况下，关于保存在第1保存场所中的食材，使显示画面411显示比第1信息I1详细的第2信息I2(参照图15)。所谓的“指定第1保存场所的用户的操作”，例如是在第1图案R1中轻击表示第1保存场所的图案，但并不限定于此，也可以轻击与各储藏室120对应的显示框D1～D4，也可以是通过经由智能扬声器200的讲话进行的指定等。

显示控制部523也可以使在第1图案R1中被轻击的与储藏室120对应的保存场所的图案、颜色、大小的某个变化。根据这样的结构，容易知道进行了轻击。

在本实施方式中，在对于第1图案R1受理了指定包含在第1图案R1中的第1保存场所的用户的操作的情况下，保存在第1保存场所中的食材的食材列表被显示在显示画面411上。在本实施方式中，显示控制部523在显示画面411上显示有图像S3的状态下，在对于第1图案R1受理了指定包含在第1图案R1中的第1保存场所的用户的操作的情况下，将显示画面411的显示切换为关于保存在第1保存室中的食材比第1信息I1更详细的第2信息I2(参照图14)的图像S5。图像S5是“第2显示”的一例。

详细地讲，显示控制部523在对于第1图案R1受理了指定冷藏室121的用户的操作的情况下(图案R1a或第1显示框D1被用户轻击的情况下)，显示保存在冷藏室121中的食材的食材列表。同样，显示控制部523在对于第1图案R1受理了指定蔬菜室123的用户的操作的情况下(图案R1b或第2显示框D2被用户轻击的情况下)，显示保存在蔬菜室123中的食材的食材列表。显示控制部523在对于第1图案R1受理了指定冷冻室125、126的用户的操作的情况下(图案R1d、R1e或第3显示框D3被用户轻击的情况下)，显示保存在冷冻室125、126中的食材的食材列表。显示控制部523在对于第1图案R1受理了指定外部保存场所的用户的操作的情况下(第2图案R2或第4显示框D4被用户轻击的情况下)，显示保存在冰箱100的外部的食材的食材列表。这些食材列表分别是“第2信息I2”的一例。关于食材列表详细地在后面叙述。

在本实施方式中，登记信息管理部522及显示控制部523也可以在对于包含在第1图案R1中的各储藏室120(图案R1a～R1e或第1至第4显示框D1～D4)在受理了用户的第1方式的操作的情况、和对于包含在第1图案R1中的各储藏室120(图案R1a～R1e或第1至第4显示框D1～D4)受理了用户的第2方式的操作的情况下，受理不同的控制指示。例如，显示控制部523在对于包含在第1图案R1中的各储藏室120受理了用户的第1方式的操作的情况下，例如通过画面变迁，显示关于保存在被选择的储藏室120中的食材的第2信息I2。另一方面，登记信息管理部522及显示控制部523在对于包含在第1图案R1中的各储藏室120受理了用户的第2方式的操作的情况下，对保存在所选择的储藏室120中的全部的食材进行统一的规定的处理。

“第1方式的操作”例如是对于显示画面411的轻击(单击)。“第2方式的操作”例如是对于显示画面411的长按、双击、强按(感压显示器的情况下)、划扫(swipe)、轻滑(flick)等。“规定的处理”只要是与对应于“第1方式的操作”的处理不同的处理就可以，但更优选的是设定对于保存在所选择的储藏室120中的食材共用的统一的操作。例如是将保存在所选择的储藏室120中的全部食材的登记统一删除的处理、或打开用于统一删除的受理窗口的处理等。通过设置统一删除的功能，能够将冰箱100的内容物简单地整理。此外，如果将统一删除的功能与包含在第1图案R1中的各储藏室120的图案或显示框建立对应，则操作性提高。

以其他观点看，登记信息管理部522及显示控制部523也可以在对于包含在第1图案R1中的各储藏室120受理了用户的第1方式的操作的情况下，将所选择的储藏室120的食材管理画面(登记画面/显示画面)打开，如果是对于相同场所的第2方式的操作，若是长按，则进行关于该保管场所中的食材登记的统一删除的处理。

第1图标K1包括例如箭头状的图案，配置在第1图案R1的侧方。如果第1图标K1被用户操作(例如被轻击)，则切换为显示处于库存状态的全部食材的列表的画面。对此详细地在后面叙述。

第2～第4图标K2～K4配置在图像S3的下端部。如果第2图标K2被用户操作(例如被轻击)，则切换为能够检索库存的食材的检索画面。如果第3图标K3被用户操作(例如被轻击)，则切换为显示购物列表的画面。第3图标K3是“用于向显示敦促用户购买的食材的画面切换的操作部的显示”的一例。对此在后面叙述。如果第4图标K4被用户操作(例如被轻击)，则切换为显示垃圾箱列表的画面。垃圾箱列表是登记在垃圾箱DB603中的食材的列表。垃圾箱列表例如通过显示控制部523参照垃圾箱DB603而生成。

在本实施方式中，第2～第4图标K2～K4配置在第1图案R1的下方。也可以代之而将第2至第4图标K2～K4配置在第1图案R1的上方。例如，也可以将第3图标K3配置在第1图案R1的右上。第3图标K3是“第2操作部”的一例。通过第3图标K3被操作而显示的包含购物列表的画面是“第4显示”的一例。

也可以将第1图案R1中的冰箱100的门配置及第1至第4显示框D1～D4的图案适当进行颜色区分而显示，容易分辨地进行显示。

图13表示食材管理的首页的变形例的图像S3A。在本变形例中，显示控制部523代替第1图案R1而显示第1图案R1A。第1图案R1A是将左右的冷藏室门打开、冷藏室121的内部可见的状态的冰箱100模型化的图案。第1图案R1A包括表示微冻室122的图案R1aa。

显示控制部523例如作为食材管理的首页的图像(即代替上述的图像S3)而显示图像S3A。在其他例子中，显示控制部523也可以作为食材管理的首页的图像而显示上述的图像S3，并且通过在图像S3中表示冷藏室121的图案R1a或第1显示框D1被用户操作(例如被轻击)而切换为本变形例的图像S3A。在此情况下，第1图案R1A并不限定于与冰箱100的整体对应的图案，也可以显示将冷藏室121及微冻室122放大而显示的图案(其他的储藏室120被省略的图案)。

<6.3食材列表>

图14是显示有全食材列表L0的图像S4。全食材列表L0是显示登记在库存列表DB601中的全部的食材(在冰箱100的内部及外部被保存的全部的食材)的列表。在全食材列表L0中，按照每个食材而显示表示食材分类的图标、食材名、购买日、保质期(或消费期限)、数量及单位。食材与保存在哪个保存场所无关而以规定的顺序排列。“规定的顺序”例如是食材的名称顺序(字母或假名顺序)、购买日由旧到新的顺序(或由新到旧的顺序)、保质期(消费期限)由近到远的顺序(或由远到近的顺序)。用户通过将包含在图像S4中的操作部G0操作(例如轻击)，能够变更上述规定的顺序(将食材的显示顺序重新排列)。并不限于此，也可以根据用户的设定操作而同时设置按照每个保存场所而重新排列的功能。

显示控制部523在图像S3(参照图12)的第1图标K1被用户操作的情况下，使图像S4显示。即，显示控制部523基于库存列表DB601，生成包含全食材列表L0的显示用数据并向终端设备400发送。

图15是显示有各个储藏室120的食材列表的图像S5。例如，图15是显示有蔬菜室123的食材列表L2的图像。蔬菜室123的食材列表L2是在登记在库存列表DB601中的食材之中选择保存在蔬菜室123中的食材而显示的列表。在食材列表L2中，按照每个食材，显示表示食材分类的图标、食材名、购买日、保质期(或消费期限)、数量及单位。食材与全食材列表L0同样以规定的顺序排列。用户通过对包含在图像S5中的操作部G0进行操作(例如轻击)，能够变更上述规定的顺序(将食材的显示顺序重新排列)。

显示控制部523在包含在图像S3(参照图12)的第1图案R1中的蔬菜室123的图案R1b或第2显示框D2被用户操作(例如被轻击)的情况下，使图像S5显示。即，显示控制部523基于库存列表DB601，生成包含蔬菜室123的食材列表L2的显示用数据，向终端设备400发送。关于冷藏室121的食材列表及冷冻室125、126的食材列表也是同样的。

图16是显示有食材列表的变形例的图像S5A。在本变形例中，图像S5A包括用来向其他显示切换的操作部O1、O3、O4的显示。作为切换目标的其他显示，代替关于保存在蔬菜室123中的食材的第2信息I2而包括关于保存在其他保存场所中的食材的第2信息I2。

例如，图像S5A包括冷藏室121的食材列表L1、蔬菜室123的食材列表L2、冷冻室125、126的食材列表L3、用来切换其他(冰箱100的外部的保存)的食材列表L4的操作部O1、O2、O3、O4。在显示有蔬菜室123的食材列表L2的情况下，冷藏室121的食材列表L1、冷冻室125、126的食材列表L3及其他的食材列表L4分别是“第3显示”的一例。通过用户对操作部O1、O2、O3、O4进行操作，4个食材列表L1、L2、L3、L4切换。该操作部O1、O2、O3、O4的显示对于显示有哪个储藏室120的食材列表的图像都共同地设定。

<6.4向食材列表的新登记>

图17表示在进行向食材列表(库存列表DB601)的食材的新登记的情况下显示的图像S6。在本实施方式中，登记信息管理部522例如在有由用户进行的食材名的输入的情况下，自动输入食材分类、保存场所、购买日、保质期(或消费期限)、食材分类的图标及单位。食材分类、保存场所、购买日、保质期、食材分类的图标及单位分别是“附属信息”的一例。

详细地讲，登记信息管理部522基于被输入的食材名，将在食材DB605中与食材名建立对应而登记的食材分类、默认保存场所及单位分别作为“食材分类”、“保存场所”及“单位”自动输入。登记信息管理部522在受理了随着食材的名称的输入而登记附属信息的用户的输入的情况下，与食材DB605相比，以用户的输入内容为优先，将上述食材与由用户设定的附属信息建立对应而登记。

在本实施方式中，登记信息管理部522在用户设定DB606中，在有与被输入的食材名对应而登记的信息(例如被设定变更的保存场所)的情况下，与食材DB605相比以用户设定DB606的信息为优先而输入。即，登记信息管理部522能够参照表示食材与保存场所的通常的对应关系的食材DB605、和表示食材与保存场所的用户固有的对应关系的用户设定DB606。登记信息管理部522在存在用户设定DB606的情况下，设为基于用户设定DB606的内容而输入保存场所的状态，在不存在用户设定DB606的情况下，设为基于食材DB605而输入保存场所的状态。登记信息管理部522基于通过参照食材DB而得到的食材分类，从存储部530取得表示对应的食材分类的图标的信息并自动登记。登记信息管理部522将进行了食材名的输入的日期作为“购买日期时间”而自动登记，将基于购买日期时间估算的保质期(或消费期限)的日期时间自动登记。根据这样的结构，能够减轻将食材登记时的工作量。

登记信息管理部522也可以代替用户设定DB606或与用户设定DB606组合，基于履历DB608将附属信息自动登记。即，登记信息管理部522也可以在存在作为对象的食材的履历DB608的情况下，设为基于履历DB608而输入了保存场所的状态，在不存在作为对象的食材的履历DB608的情况下，设为基于食材DB605而输入了保存场所的状态。这样，在特定的食材的登记中，在设为不是按照食材DB605而是按照履历DB608输入了附属信息的状态的情况下，也可以以该食材的登记的频度是规定以上为条件。当然，特定的食材的登记的频度只要参照履历DB608就能够取得。

登记信息管理部522关于某个食材，在不满足规定条件的情况下，设为作为附属信息而输入了第1保存场所的状态，在满足上述规定条件的情况下，设为作为附属信息而输入了第2保存场所的状态。“规定条件”是关于第1保存场所或第2保存场所的填充的程度、或者作为库存登记的食材的量的条件。例如，在食材DB605中将“冷藏室”相对于“猪肉”建立了对应的情况下，在冷藏室121的填充率比阈值高的情况下，推测为用户停止向冷藏室121装入而向冷冻室126装入，作为对于该猪肉的附属信息而登记“冷冻室”。在其他例子中，在食材DB605中将“冷藏室”相对于“猪肉”建立了对应的情况下，在猪肉的量比阈值高的情况下，认为被冷冻保存，作为对于该猪肉的附属信息而登记“冷冻室”。

也可以是，即使是相同的食材，在向冷藏室121保存的情况和向冷冻室125、126保存的情况下，登记信息管理部522将自动输入的保质期(或消费期限)变更。例如，登记信息管理部522也可以是，即使是相同的食材，在向冷藏室121保存的情况下将到保质期(或消费期限)为止的天数设为第1天数(例如3天)，在向冷冻室125、126保存的情况下将到保质期(或消费期限)为止的天数设为比第1天数长的第2天数(例如1周)。

登记信息管理部522可以在基于食材DB605输入附属信息之后受理将附属信息变更的用户的操作。登记信息管理部522在受理了这样的用户的操作的情况下，将自动登记在库存列表DB601中的附属信息替换为基于用户的操作的内容。

在以上说明的例子中，登记信息管理部522例如在有由用户进行的对于终端设备400的食材名输入的情况下，即使没有从外部输入食材名以外的信息，也基于食材DB605及/或用户设定DB606而自动输入附属信息。由用户进行的对于终端设备400的食材名的输入，是“来自外部的表示食材的名称的信息的输入”的一例。

但是，“来自外部的表示食材的名称的信息的输入”并不限定于由用户进行的手动输入。例如，登记信息管理部522也可以接受由冰箱100的照相机170或终端设备400的照相机450摄影的图像，基于接受到的图像确定食材，自动输入与所确定的食材对应的食材名、食材分类、保存室、购买日、保质期(或消费期限)、食材分类的图标、单位等。在此情况下，登记信息管理部522也可以基于例如为食材的图像识别用而进行了机器学习的已学习模型，根据接受的图像确定食材。进而，登记信息管理部522也可以代替由用户进行的食材名的手动输入，而受理由用户对于智能扬声器200的讲话进行的食材名的输入，自动输入与所受理的食材名对应的食材分类、保存室、购买日、保质期(或消费期限)、食材分类的图标、单位等。

在1个观点中，食材DB605包括将食材名与食材分类建立了关联的第1DB、以及将食材分类与保存场所建立了关联的第2DB。在此情况下，登记信息管理部522也可以基于从外部输入的表示食材名的信息和第1DB确定与食材对应的食材分类，使用所确定的食材分类和第2DB确定保存场所，将所确定的保存场所作为附属信息而自动输入。

图18是表示进行食材向食材列表的新登记的变形例的图像S6A。在本变形例中，将表示由用户输入的内容的字符和表示由登记信息管理部522自动输入的内容的字符不同的方式显示。例如，表示由用户输入的内容的字符用黑字符表示，表示由登记信息管理部522自动输入的内容的字符作为临时登记状态而用与黑字符不同的方式(蓝字符或灰色字符等，在图18中用虚线记载)显示。在此情况下，登记信息管理部522也可以基于对于用上述不同的方式显示的内容的用户的确认操作，使这些内容成为正式登记状态。根据这样的变形例，能够将用户自己输入的内容和自动的内容容易地区别而确认。

<6.4食材列表的变更>

图19表示进行食材列表的变更(删除/移动)的情况下的图像S7。图19例示蔬菜室123的食材列表L2。用户通过在食材列表L2之中将选择对象的食材的显示操作(例如轻击)，能够选择食材。如果选择了食材，则在图像S7的下端部显示第1至第3图标K5～K7。

第1图标K5是用来使所选择的食材的登记向其他保存室移动的图标。显示控制部523在第1图标K5被用户操作(例如轻击)的情况下，叠加于图像S7而显示选择移动目标室的显示S8。登记信息管理部522基于用户对于显示S8的选择结果，在库存列表DB601中将与食材建立对应的保存场所变更。由此，所选择的食材从移动前的保存场所的食材列表删除。

第2图标K6是用来进行向后述的购物列表(购物列表DB602)的食材的追加的图标。显示控制部523在第2图标K6被用户操作(例如轻击)的情况下，将所选择的食材向购物列表DB602追加。在此情况下，食材列表中的食材的登记是原样的。

第3图标K7是用来使所选择的食材的登记向垃圾箱移动的图标。在登记信息管理部522、第3图标K7被用户操作(例如被轻击)的情况下，将所选择的食材从库存列表DB601删除，并且将已删除的食材向垃圾箱DB603登记。如上述那样，在本实施方式中，在从库存列表DB601删除的食材被登记到垃圾箱DB603中的情况下，相同的食材也被登记到候选列表DB604中。

<6.5垃圾箱列表>

图20表示包括垃圾箱列表L5的图像S8。垃圾箱列表L5是显示有登记在垃圾箱DB603中的食材的列表。在垃圾箱列表L5中，按照每个食材，显示表示食材分类的图标、食材名、购买日、保质期(或消费期限)、数量及单位。图像S8显示向用户通知如果被移动到垃圾箱列表L5中的食材从移动起经过规定天数(例如3天)则自动删除的显示D21。

<6.6购物列表及候选列表>

图21表示包括购物列表L6及候选列表L7的图像S9。购物列表L6是显示登记在购物列表DB602中的食材的列表。在购物列表L6中，按照每个食材，显示表示食材分类的图标、食材名、购买计划数量及单位。显示控制部523基于购物列表DB602生成包括购物列表L6的显示用数据，向终端设备400发送。

另一方面，候选列表L7是显示登记在候选列表DB604中的食材的列表。在候选列表L7中，按照每个食材显示表示食材分类的图标及食材名。显示控制部523基于候选列表DB604，生成包含候选列表L7的显示用数据，向终端设备400发送。

在本实施方式中，购物列表L6及候选列表L7在显示画面411中被显示在同一个画面中。例如，购物列表L6及候选列表L7上下排列而显示。所谓的“同一个画面”，是指显示内容连续、能够不伴随着与外部操作对应的显示内容整体的切换而显示的一个连续的画面。“同一画面”并不限于总是同时被显示的情况，关于根据在用户的画面上滑动的操作、不伴随着显示内容整体的切换而各一部分依次显示内容变化的方式的操作(所谓的卷动操作)而显示的画面，也相当于这里所谓的“同一画面”。例如，在登记在购物列表K6中的食材较多、由购物列表L6占据显示画面411的情况下，也包括通过将购物列表L6向下方卷动而接着购物列表L6来显示候选列表L7的情况。换言之，所谓的“同一画面”，也包括将购物列表L6的仅一部分(例如下端部)与候选列表L7同时显示的情况等。

登记信息管理部522例如在将购物列表L6和候选列表L7同时显示的状态下，受理使包含在候选列表L7中的食材的登记向购物列表L6移动的用户的操作。即，用户能够使显示在候选列表L7上的食材移动到购物列表L6。

图22是表示包括购物列表L6的其他图像S10的图。显示控制部523在能够将购物列表L6及候选列表L7排列而显示的画面中，将候选列表L7设为不显示，或与购物列表L6相比不使候选列表L7变得醒目(例如使颜色变浅)的用户的操作。在本实施方式中，候选列表L7能够基于用户的操作而关闭。例如，显示控制部523在图像S9中的表示候选列表L7的项目的显示被用户操作(例如被轻击)的情况下，将包括购物列表L6和候选列表L7的两者的图像S0切换为在候选列表L7被关闭的状态下使购物列表L6显示的图像S10。由此，用户能够一边仅确认购物列表L6一边进行购物，与显示有候选列表L7的情况相比能够抑制买错等。

<7.语音交互功能>

<7.1控制的整体结构>

接着，对本实施方式的服务器系统500的语音交互功能进行说明。在本实施方式中，服务器系统500的信息处理部520在语音交互功能的1次的受理结束之前能够登记或删除多个食材。换言之，语音处理部524能够连续地受理包含在用户的1个连贯的讲话(一连串的讲话、一连串的对话)中的多个指示。另外，所谓的语音交互功能(如上述那样，有表现为“语音识别功能”的情况)的起动，是指转移到能够受理由用户进行的任意的内容的讲话的状态。在语音交互功能被起动的状态下，执行包含在用户的讲话内容中的指示，或对用户的讲话应答。如果结束语音交互功能，则成为除了作为开始语音交互功能的信号的触发词以外不受理用户的讲话的状态。将从一旦将语音交互功能起动到使该语音交互功能结束之间称作“语音交互功能的1次受理”。

详细地讲，语音处理部524在使智能扬声器200发出了触发词而语音交互功能被起动后，通过满足规定的结束条件而结束语音交互功能。控制模式变更部525基于用户的动作，能够选择在第1结束条件下结束语音交互功能的第1模式、和在与第1结束条件不同的第2结束条件下结束语音交互功能的第2模式。

第1模式是受理基于用户的讲话的1个指示的控制模式。第1模式如果在语音交互功能的1次起动中执行了1个指示，则结束起动模式。所谓的“结束起动模式”，例如是指从服务器系统500对智能扬声器200发送使待机状态结束的控制信号、或表示不需要继续待机状态的控制信号。作为被设定为以第1模式受理的控制，例如可以举出关于冰箱100的功能的控制。关于冰箱100的功能的控制例如是各储藏室120的设定温度带的变更、微冻室122的控制模式的变更、“快速冷冻”或“快速制冰”等。第1结束条件是对应于用户的讲话内容而执行了1个控制，或在语音交互功能的起动后在一定时间以上没有用户的讲话(所谓的超时，该一定时间相当于本发明的“第1待机时间”)。在第1模式中，为了输入多个指示，需要每当进行指示就发出触发词而使语音交互功能1次1次起动。

第2模式是在语音交互功能的1次的起动中能够受理基于用户的讲话的多个指示的控制模式。即，第2模式是在1次起动中即使受理1个指示也继续起动状态的控制模式。此外，在第2模式中，有即使是在用户的1个连贯的讲话内容中包含多个处理对象的情况下也为了能够执行对于这些多个处理对象的指示而将存储预先保持的功能。这里所谓的“用户的1个连贯的讲话”，是指中间不夹着智能扬声器200的应答及基于讲话内容的控制的执行、用户持续进行的一连串的讲话。在本实施方式中，在第2模式中受理的指示是关于食材管理的指示。关于食材管理的指示例如是关于多个食材的登记、删除或库存的确认。第2结束条件是基于讲话等用户的动作来受理语音交互功能的结束指示。在本实施方式中，当执行第2模式时，在规定时间中没有用户的讲话的情况下，从智能扬声器200输出询问追加的指示的有无的语音(结束确认的语音)，在对于该语音的用户的应答满足规定条件的情况下视为满足第2结束条件。关于第2结束条件详细地在后面叙述。在本实施方式中，控制模式变更部525关于对于各种DB的食材的登记、删除、确认，执行第2模式，受理用户的指示。

在本实施方式中，控制模式变更部525基于用户进行规定的动作这一情况，执行第2模式。另一方面，控制模式变更部525在用户没有进行规定的动作的情况下执行第1模式。“规定的动作”例如是用户进行包含规定的词的讲话、设在智能扬声器200(或终端设备400、冰箱100)上的规定的操作部(例如规定的按钮)被操作、或冰箱100的门130被打开(及/或被关闭)等。

“规定的词”是关于食材的词。所谓的“关于食材的词”，并不限定于食材的名称本身，也包括近义词等。“规定的词”是表示食材名本身的词、“蔬菜”或“水果”那样的表示食材分类的词、“食材管理”或“食材登记”“库存管理”“库存登记”“新购买”那样的关于食材管理的词、或由用户指定是连续技能的词等。所谓连续技能是指基于上述第2模式的操作。

换言之，控制模式变更部525在用户的讲话中包含关于冰箱100的功能的词的情况下执行第1模式，在用户的讲话中包含关于食材或食材的类语的词的情况下执行第2模式。

在本实施方式中，语音处理部524在第1模式中，一旦在由用户进行的讲话的待机中经过了第1待机时间，就结束起动状态，在第2模式中，继续起动状态，直到在由用户进行的讲话的待机中经过了比第1待机时间长的第2待机时间。例如，语音处理部524在第1模式下，在从用户的语音停止起持续第1待机时间待机后，结束起动状态，在第2模式下，在从用户的语音停止起持续比第1待机时间长的第2待机时间待机后，结束起动状态。第1待机时间例如是几秒。第2待机时间例如是第1待机时间的成倍以上的时间，例如是30秒以上，例如是1分钟以上。由于用户有可能一边将冰箱100的门130打开而确认内部一边进行食材管理的讲话，所以第2待机时间被设定为比第1待机时间长。

从其他观点看，语音处理部524在第1模式中执行与用户的讲话内容对应的处理后，持续第3待机时间待机后转移至下个处理，在第2模式中，在从执行与用户的讲话内容对应的处理起持续比第3待机时间长的第4待机时间待机后，转移至下个处理。例如，语音处理部524也可以在第1模式下，在从执行与用户的讲话内容对应的处理起持续第3待机时间而待机后，转移至下个处理，在第2模式下，也可以从上述用户的语音停止起持续比第3待机时间长的第4待机时间待机后转移至下个处理。第1模式下的“下个处理”，例如是通过语音指引基于用户的指示的处理已完成(或已开始)的处理(例如表示“开始了快速冷冻”的语音的输出)。第2模式下的“下个处理”，也可以是通过语音指引基于用户的指示的处理(例如输出表示“完成了登记”的语音的处理)，也可以是询问关于食材管理的追加的指示的有无的语音(后述的结束确认的语音)的处理。

在变形例中，语音处理部524在第1模式下，从执行与用户的讲话对应的处理后不具有待机时间而转移至下个处理，在第2模式下，从用户的语音停止起持续规定的待机时间待机后，转移至下个处理。第1模式下的“下个处理”，与上述同样，例如是通过语音指引基于用户的指示的处理已完成(或已开始)的处理。第2模式下的“下个处理”，与上述同样，也可以是通过语音指引基于用户的指示的处理完成的处理(例如输出表示“完成了登记”的语音的处理)，也可以是输出询问关于食材管理的追加的指示的有无的语音(后述的结束确认的语音)的处理。

在本实施方式中，语音处理部524在第2模式被执行的情况下，输出在用户的语音停止后询问关于食材管理的追加的指示的有无的语音，在对于语音的输出的用户的应答满足规定条件的情况下结束起动状态。“规定条件”例如是作为上述用户的应答而有表示没有追加指示的讲话、有肯定语音交互功能的结束的讲话、或在一定时间以上没有用户的讲话(所谓的超时)的情况。

<7.2控制的流程>

图23是表示关于语音交互功能的处理的流程的流程图。以下，是在用户的讲话中包含规定的词的情况下执行第2模式的例子。

首先，智能扬声器200的信息处理部250在用户讲话的情况下，判定在用户的讲话中是否包含有触发词(S101)。智能扬声器200的信息处理部250在用户的讲话中不包含触发词的情况下(S101：否)，继续休止状态。另一方面，智能扬声器200的信息处理部250在用户的讲话中包含触发词的情况下(S101：是)，使智能扬声器200的语音交互功能起动(S102)。由此，智能扬声器200取得用户的讲话的语音数据，将所取得的语音数据向服务器系统500发送。

服务器系统500的信息处理部520(以下单称作“信息处理部520”)对从智能扬声器200接受的语音数据进行分析，判定在用户的讲话中是否包含规定的词(例如，关于食材或食材的类语的词)(S103)。

信息处理部520在用户的讲话中不包含规定的词的情况下(S103：否)，在第1模式下受理用户的指示(S104)，执行与所受理的指示对应的处理(S105)。例如，信息处理部520受理了关于冰箱100的功能的指示的情况下，生成用来使冰箱100执行该功能的控制指示，将所生成的控制指示向冰箱100发送。

并且，信息处理部520接收对于发送的控制指示的冰箱100的应答，在应答是正常的情况下，生成表示执行(或开始)了从用户受理的指示的语音，从智能扬声器200输出。然后，信息处理部520通过对智能扬声器200发送表示使待机状态结束的控制信号或表示不需要继续待机状态的控制信号，使智能扬声器200的起动状态结束，使智能扬声器200转移到休止状态(S106)。

另一方面，信息处理部520在用户的讲话中包含规定的词的情况下(S103：是)，将控制模式切换为第1模式至第2模式，在第2模式下受理用户的指示(S111)，执行与所受理的指示对应的处理(S112)。例如，信息处理部520基于用户的指示，执行对于各种DB(例如库存列表DB601)的多个食材的登记、删除、确认。例如，信息处理部520对于用户不确认追加的指示的有无，在用户的1个以上的指示中从能够确定内容的指示起依次执行处理。代之，信息处理部520也可以对用户询问追加的指示的有无，确认没有追加的指示后，将到此为止受理的多个指示一起执行。

接着，信息处理部520判定是否有来自用户的结束指示(S113)。结束指示例如是表示没有追加的指示的用户的讲话，是“结束”、“就这样”、“这里是全部了”、“请多关照”等的词或短语。代之/除此以外，上述结束指示也可以是设在智能扬声器200(或终端设备400、冰箱100)上的规定的操作部(例如规定的按钮)被操作(或被按下的操作部被拿开)、冰箱100的打开的门130被关闭等。

信息处理部520在有来自用户的结束指示的情况下(S113：是)，通过对于智能扬声器200发送使待机状态结束的控制信号、或表示不需要继续待机状态的控制信号，使智能扬声器200的起动状态结束，使智能扬声器200转移到休止状态(S106)。

另一方面，信息处理部520在没有来自用户的结束指示的情况下(S113：否)，从智能扬声器200输出对于用户询问追加的指示的有无的结束确认的语音(例如“除此以外还有什么吗？”的语音)(S114)。并且，信息处理部520判定从用户是否有追加的指示的讲话(S115)。换言之，信息处理部520即使是从用户受理了1个以上的指示的情况，在没有来自用户的结束指示的情况下，也不使语音交互功能结束而使待机状态继续。

信息处理部520在有来自用户的指示的情况下(S115：是)，回到S112，执行与追加的指示对应的处理。另一方面，信息处理部520在没有来自用户的追加的指示的情况下(S115：否)，回到S113，重新确认是否没有用户的结束指示。并且，信息处理部520在将上述结束确认的语音输出1次以上(例如多次)后也没有用户的结束指示的情况下，通过超时而使语音交互功能结束。

<7.3处理例>

信息处理部520在语音交互功能的1次受理结束之前，第1食材和第1保存场所相关联地被讲到、第2食材和第2保存场所相关联地被讲到的情况下，将第1食材与第1保存场所建立关联而进行处理，将第2食材与第2保存场所建立关联而处理。例如，在用户的讲话是“向冷藏室追加3个鸡蛋，向冷冻室追加1片竹荚鱼干，从蔬菜室删除1个彩椒”的情况下，登记信息管理部522作为“鸡蛋”的保存场所而将“冷藏室”建立关联而进行处理，作为“竹荚鱼”的保存场所而将“冷冻室”建立关联而进行处理，作为“彩椒”的保存场所而将“蔬菜室”建立关联而进行处理。

信息处理部520在语音交互功能的1次受理结束之前，进行了关于多个食材的讲话，在关于多个食材的讲话的前或后讲到了1个保存场所的情况下，将多个食材与上述1个保存场所建立关联而进行处理。例如，在用户的讲话是“向冷藏室追加3个鸡蛋，追加1片竹荚鱼干”的情况下，或“将3个鸡蛋、1片竹荚鱼干向冷藏室追加”的情况下，登记信息管理部522作为“鸡蛋”及“竹荚鱼”的保存场所，将“冷藏室”建立关联而进行处理。

在本实施方式中，在能够基于用户的讲话内容识别食材的名称的情况下，关于食材的保存场所及/或数量的讲话不是必须的。例如，信息处理部520在关于保存场所及数量没有讲话的情况下，也可以将这些信息作为空栏而推进登记。代之，信息处理部520也可以关于保存场所自动输入登记在食材DB605中的默认的保存场所。代之，信息处理部520关于不足的信息，也可以从智能扬声器200输出向用户询问的语音。

在本实施方式中，由语音交互功能管理的食材的保有状况通过对于显示在终端设备400上的显示画面411的内容的输入操作也能够变更。信息处理部520一旦通过对于显示画面411的内容的输入操作变更了食材的保有状况，就基于该变更后的保有状况，进行基于语音交互功能的食材的保有状况的管理。

食材的保有状况的管理至少包括食材的名称和该食材的数量的信息。信息处理部520在语音交互功能中，基于用户的讲话受理食材的名称，另一方面，在关于该食材的数量不包含在讲话内容中的情况下，处置为登记有基于预先设定的规则的规定数量(例如1个或1袋)而受理该食材的登记。在变形例中，信息处理部520在语音交互功能中，在基于用户的讲话受理了食材的名称，另一方面，关于该食材的数量不包含在讲话内容中的情况下，在输出询问该食材的数量的语音后，在基于用户的讲话不能取得表示该食材的数量的信息的情况下，不受理该食材的登记。

在本实施方式中，信息处理部520在向用户报告食材的库存的情况、库存的食材数是第1规定数以上(例如6件以上)的情况下，首先用语音输出作为库存是否存在几件食材，然后，用语音输出比第1规定数少的第2规定数(例如5件)的食材的名称，然后，关于其余的食材的名称也生成询问是否朗读的语音并输出。例如，信息处理部520在存在20件食材的情况下，首先用语音输出“总共有20件食材”，然后以规定的优先级(例如，购买日、保质期、消费期限)用语音输出优先级较高的5件食材的名称，然后，关于其余的食材也输出向用户确认是否朗读的语音。即，在登记有许多食材的情况下，一次全部打开是不容易的，所以分为几件来讲话。

在本实施方式中，登记信息管理部522在将登记在库存列表DB601中的食材删除的情况、存在多个相同名称的食材的情况下，基于购买日、保质期或消费期限，选择要删除的登记。例如，登记信息管理部522在同一名称的食材存在多个的情况下，从购买日从旧到新的食材、保质期从近到远的食材或消费期限从近到远的食材起，优先将登记删除。例如，在2月15日登记了3个西红柿、此外在2月16日登记了两个西红柿的情况下，一旦用户讲出了“删除4个西红柿”，就将2月15日的西红柿3个、2月16日的西红柿1个合计4个删除。关于删除的方式并不限于此。例如在如“从蔬菜室将西红柿去掉”那样指定了保存场所的情况下，可以仅将该保存场所的食材作为对象而删除。同样，关于食材的库存确认，也可以在从用户指定了保存场所的情况下，仅将该保存场所的食材作为对象而返回食材的数量。此外，在食材删除中，在用户没有讲话数量的情况下，也可以将该食材自身删除。

在本实施方式中，应答生成部527在有不存在库存或库存为规定量以下的不足食材的情况下，生成敦促将不足食材向购物列表追加的语音并输出。由此，能够省去向购物列表的食材的追加的工作量。

以下，表示讲话例。U表示用户，S表示智能扬声器200。

(讲话例1)

U：“你好〇〇(触发词)，将△△(应用的名称)打开”

S：“好，做什么？”

U：“食材管理”

S：“好”

U：“登记3个胡萝卜”

S：“登记了3个胡萝卜”

U：“登记3根黄瓜”

S：“登记了3根黄瓜”

U：“就这样”

S：“结束食材登记”(触发词以外的)语音交互功能停止

(讲话例2)

依据至少食材名和该食材的数量的信息齐备而受理食材登记，如果有不足信息则向用户询问。

U：“你好〇〇(触发词)，打开△△(应用的名称)”

S：“好”

U：“请进行食材登记”

S：“好”

U：“西红柿3个”

S：“西红柿3个”

U：“鸡蛋”

(规定时间经过)

S：“鸡蛋几个？”

U：“10”

S：“登记了10个鸡蛋。”

S：“除此以外还有吗？”

U：“没有了”

S：“结束食材登记”

<7.3实施例>

(实施例1)

将食材名与该食材的数量建立对应而进行食材登记，即使在食材登记指示时的讲话内容中没有数量的信息，也不从语音识别功能侧询问数量，而受理食材名的登记。例如，关于没有数量的信息的食材，用空栏登记。或者，关于没有数量的信息的食材，以规定量登记。在此情况下，规定量为用户可设定的登记，或者，关于没有数量的信息的食材，以最小单位量登记。

(实施例2)

如果通过语音识别受理了食材登记，则然后将所受理的内容朗读。受理内容的朗读，为每当登记1个食材就进行朗读的复读式。在此情况下，受理的内容的朗读设为仅食材名。在登记时，关于不清楚的食材的数量，进行敦促用户的输入的语音指引(作为前提，具备基于语音识别的食材登记功能和基于手动输入的食材登记功能这两者的情况)。

(实施例3)

食材登记如果通过语音识别事先受理了食材登记，则然后就受理用一连串的语音识别功能识别的食材名的信息，作为全部食材登记指示。例如，如果将是食材的登记的意思用动词V、将作为登记的对象的食材的名称用对象语O来分别表示，则在用户的讲话是“V(O1、O2、O3、O4)”的情况下，智能扬声器200的应答设为“V了O1、O2、O3、O4”。

另一方面，如果没有事先听到是食材登记的指示而开始了食材名的讲话，则将食材名暂时存储，等待(或询问)随后的指示(登记/删除/库存有无)。例如在，用户的讲话是“O1、O2、O3、O4”的情况下，智能扬声器200的应答设为“是…O1、O2、O3、O4吧。将它们V1吗？还是V2？”。

以上说明的冰箱100的控制部160、智能扬声器200的信息处理部250、终端设备400的信息处理部440及服务器系统500的信息处理部520分别例如通过搭载在各设备中的CPU(Central Processing Unit：中央处理单元)或GPU(Graphics Processing Unit：图形处理单元)那样的硬件处理器执行程序(软件)来实现。但是，控制部160、信息处理部250、信息处理部440及信息处理部520的各自的全部或一部分也可以由ASIC(Application SpecificIntegrated Circuit：专用集成电路)或PLD(Programmable Logic Device：可编程逻辑器件)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等的硬件(包括电路部；circuitry)实现，也可以通过软件与硬件的协同来实现。

以上，对实施方式进行了说明，但实施方式的内容并不限定于上述例子。例如，图24至图38表示在终端设备400的显示画面411(或冰箱100的显示画面141)上显示的图像的变形例。例如，图24及图25是代替第1至第4显示框D1～D4而用不同的方式显示第1信息I1的例子。此外，图25是也图示了各门130的把手部分的图案。

图26至图31表示第1图案R1的变形例。即，示意地表示冰箱100的图案R1也可以根据冰箱100的形状及门配置等而变更。在这些图26至图31中也通过赋予在图12及图13中表示的显示框D1～D4或同样的显示，能够使各储藏室120与各储藏室120的食材信息链接来显示。

图32至图38表示第1至第4显示框D1～D4的图案的变形例。即，第1至第4显示框D1～D4并不限于长方形，而适当采用圆形状、椭圆形状、长圆形状等。此外，关于第1至第4显示框D1～D4的配置位置，并不限于冰箱的图案的侧方，也可以是上方或斜上方、下方、斜下方等。例如，图35是将显示框的一部分相对于冰箱的图案一部分重叠而显示的例子。此外，图12、图13、图24至图38所示的内容可以相互适当组合而采用。

根据以上说明的至少一个实施方式，通过具有将使显示画面显示在表示冰箱的第1图案中包含的各保存场所的图案、与关于保存在该保存场所中的食材的第1信息建立了对应的第1显示的处理部，能够实现使用方便性的提高。

以上说明了本发明的几个实施方式，但这些实施方式是作为例子提示的，并非要限定发明的范围。这些实施方式能够以其他各种各样的形态实施，在不脱离发明的主旨的范围内能够进行各种省略、替换、变更。这些实施方式及其变形包含在发明的范围或主旨中，并且包含在权利要求书所记载的发明和其等价的范围中。

标号说明

1…信息处理系统(食材管理系统)；100…冰箱；200…智能扬声器；250…信息处理部；400…终端设备；440…信息处理部(处理部)；500…服务器系统；520…信息处理部(处理部)。

Claims (10)

1.一种信息显示装置，其特征在于，

具备处理部，所述处理部使显示画面显示第1显示，该第1显示将在表示冰箱的第1图案中包含的各保存场所的图案与关于保存在该保存场所中的食材的第1信息建立了对应。

2.如权利要求1所述的信息显示装置，其特征在于，

上述第1信息包括表示保存在上述各保存场所中的食材的数量、或表示上述各保存场所的填充的程度的信息。

3.如权利要求1或2所述的信息显示装置，其特征在于，

在上述第1显示中，在上述各保存场所的图案的侧方，显示关于保存在该保存场所中的食材的上述第1信息。

4.如权利要求1或2所述的信息显示装置，其特征在于，

在上述第1显示中，在与上述各保存场所的图案相同的高度，显示关于保存在该保存场所中的食材的上述第1信息。

5.如权利要求1～4中任一项所述的信息显示装置，其特征在于，

上述处理部在对于上述第1图案受理了指定包含在上述第1图案中的第1保存场所的用户操作的情况下，关于保存在上述第1保存场所中的食材，显示比上述第1信息详细的第2信息。

6.如权利要求1～4中任一项所述的信息显示装置，其特征在于，

上述处理部在上述显示画面上显示有上述第1显示的状态下，在对于上述第1图案受理了指定包含在上述第1图案中的第1保存场所的用户操作的情况下，将上述显示画面的显示切换为第2显示，该第2显示关于保存在上述第1保存场所中的食材包含比上述第1信息更详细的第2信息。

7.如权利要求6所述的信息显示装置，其特征在于，

上述第2显示包括用来向第3显示切换的第1操作部的显示；

上述第3显示代替关于保存在上述第1保存场所中的食材的上述第2信息而包括关于保存在上述冰箱的第2保存场所中的食材的上述第2信息。

8.如权利要求1～7中任一项所述的信息显示装置，其特征在于，

上述第1显示包括用来向显示敦促用户购买的食材的第4显示进行切换的第2操作部的显示；

上述第2操作部显示在上述第1图案的下方或上方。

9.如权利要求1～7中任一项所述的信息显示装置，其特征在于，

在上述第1显示中，除了将上述第1图案与上述第1信息建立对应而显示以外，还将配置在上述第1图案的外侧的第2图案与关于没有被收容到上述冰箱中的食材的箱外信息建立对应而显示。

10.如权利要求1～9中任一项所述的信息显示装置，其特征在于，

上述处理部在对于包含在上述第1图案中的第1保存场所受理了用户的第1方式的操作的情况下，显示关于保存在上述第1保存场所中的食材比上述第1信息更详细的第2信息；

在对于包含在上述第1图案中的上述第1保存场所受理了用户的第2方式的操作的情况下，对于保存在上述第1保存场所中的全部的食材进行统一的规定的处理。

Images