CN117859147A - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

信息处理装置(IP)具有处理器(PR)。处理器(PR)将记录用户在烹饪期间发出的话语与发出话语时测量的传感器数据链接，并将其记录在烹饪数据中。

Description

信息处理装置、信息处理方法和程序

技术领域

本发明涉及信息处理装置、信息处理方法和程序。

背景技术

已经提出了用于感测、记录和再现烹饪的技术。例如，专利文献1提出了通过使用各种传感器(摄像装置、电子天平、锅温度传感器、炉灶开关角度传感器、红外传感器和压电传感器)记录关于烹饪的信息(食材、用量、烹饪定时、烹饪时间、烹饪工具的运动轨迹、加热功率调整定时和加热功率持续时间)的系统。另外，还提出了根据这些信息生成和再现机器人运动的技术。

引用列表

专利文献

专利文献1：JP 2005-504259 A

发明内容

技术问题

然而，这些技术主要基于再现者是机器人的假设。因此，虽然可以由机器人在具有相同测量仪器的受控烹饪环境中再现烹饪，但是人们难以在各地的餐馆和家中再现烹饪。

因此，本公开内容提出了能够直观地再现所记录的烹饪的信息处理装置、信息处理方法和程序。

问题的解决方案

根据本公开内容，提供了一种信息处理装置，该信息处理装置包括处理器，该处理器将由记录用户在烹饪期间进行的语音评论与进行语音评论时测量的传感器数据相关联地记录在烹饪数据中。根据本公开内容，提供了一种由计算机执行信息处理装置的信息处理的信息处理方法，以及一种使计算机执行信息处理装置的信息处理的程序。

附图说明

图1是示出烹饪数据记录再现系统的概要的图。

图2是烹饪数据记录再现系统的功能框图。

图3是示出记录模式下的处理流程的图。

图4是示出由记录用户作出的语音评论中包括的主观信息的示例的图。

图5是示出记录用户的隐式知识的图。

图6是示出烹饪步骤识别的说明图。

图7是示出在记录期间关于烹饪步骤的开始/结束的语音评论的示例的图。

图8是示出信息处理装置的硬件配置示例的图。

具体实施方式

在下文中，将参照附图描述本公开内容的实施方式。在以下实施方式中的每一个中，对相同的部件赋予相同的附图标记，以省略冗余的描述。

注意，将按以下顺序给出描述。

[1.烹饪数据记录再现系统的配置]

[2.处理流程]

[2-1.记录模式]

[2-2.再现模式]

[3.由记录用户作出的语音评论中包括的主观信息的示例]

[4.学习隐式知识]

[5.烹饪步骤识别]

[6.硬件配置示例]

[7.效果]

[1.烹饪数据记录再现系统的配置]

图1是示出烹饪数据记录再现系统CS的概要的图。图2是烹饪数据记录再现系统CS的功能框图。

烹饪数据记录再现系统CS是一种智能厨房，其通过具有内置传感器的烹饪设备与信息终端之间的协作支持烹饪。例如，烹饪数据记录再现系统CS支持使用加热炊具KW的加热烹饪。在图1中的示例中，感应加热(IH)加热器HT和锅PT被用作加热炊具KW。

烹饪数据记录再现系统CS使用从传感器设备SE获取的传感器数据针对每个菜肴生成烹饪数据CD。烹饪数据CD是指示由烹饪者US从烹饪的开始到结束执行的烹饪的简档的数据。烹饪数据CD包括例如关于加热温度、加热时间和烹饪对象CO的重量的时间序列信息(TTW信息)。烹饪数据CD中还包括与加热温度相关联的关于加热炊具KW的加热功率的信息。烹饪数据CD还可以包括用摄像装置传感器CM捕获烹饪过程的视频(烹饪视频)。

web服务器SV存储大量的所记录的烹饪数据CD。在记录时的烹饪者可以是烹饪者US或另一烹饪者。烹饪数据记录再现系统CS从web服务器SV获取所记录的烹饪数据CD作为参考数据RF。烹饪者US参考参考数据RF执行烹饪。因此，可以再现所记录的菜肴。

在下文中，将出于记录自己的烹饪的目的而使用烹饪数据记录再现系统CS的烹饪者US称为记录用户。此外，将出于再现由记录用户进行的烹饪的目的而使用烹饪数据记录再现系统CS的烹饪者US称为再现用户。

烹饪数据记录再现系统CS基于所烹饪的菜肴的烹饪简档来生成再现数据RP。烹饪简档表示时间序列信息，该时间序列信息表示在烹饪过程中烹饪对象CO的操作历史和烹饪对象CO的状态变化。再现数据RP是使用在再现时获得的传感器数据生成的烹饪数据CD。烹饪数据记录再现系统CS监视由再现用户进行的烹饪，并且基于参考数据RF继续向再现用户呈现关于加热温度、加热定时等的信息。因此，根据烹饪情况的适当的烹饪操作被向用户驱策。

烹饪数据记录再现系统CS例如包括IH加热器HT、锅PT、显示器DP、扬声器SP、视线传感器SC、摄像装置传感器CM、麦克风MC、照明LT、web服务器SV、网络路由器RT、输入UI设备IND和信息处理装置IP。

摄像装置传感器CM捕获锅PT中烹饪对象CO的图像。视线传感器SC检测烹饪者US的视线。麦克风MC检测烹饪期间的声音。检测到的声音包括由烹饪生成的声音和烹饪者US的语音。麦克风MC不限于固定麦克风，并且可以是诸如耳机或头戴式耳机的便携式设备中内置的麦克风。麦克风MC可以包括能够进行声音输入的所有设备。

显示器DP以图像或声音呈现用于支持烹饪的各种类型的信息(支持信息)。输入用户接口(UI)设备IND将由烹饪者US输入的用户输入信息提供给信息处理装置IP。

输入UI设备IND包括对应于输入设备的与烹饪者US的所有用户接口。作为输入UI设备IND，例如使用诸如智能电话的信息终端和包含在显示器DP中的触摸面板。此外，由麦克风MC输入的语音、由摄像装置传感器CM输入的姿势等也可以使用输入UI设备IND被包括在输入信息中。因此，麦克风MC和摄像装置传感器CM用作输入UI设备IND。

输出设备OTD包括向烹饪者US呈现信息的所有输出UI设备，例如显示器DP和扬声器SP。例如，作为显示器DP，除了诸如液晶监视器和投影仪的固定显示器之外，还可以使用诸如增强现实(AR)眼镜的可穿戴显示器。输出设备OTD还可以包括除了听觉设备和视觉设备之外的信息呈现装置例如触觉设备。

信息处理装置IP基于由烹饪数据记录再现系统CS检测到的各种类型的信息，整体控制整个烹饪数据记录再现系统CS。信息处理装置IP例如包括处理器PR、温度传感器TS、重量传感器WS和存储装置ST。信息处理装置IP的所有部件可以包含在IH加热器HT中，或者信息处理装置IP的一部分或全部可以安装在与IH加热器HT通信的外部设备上。

温度传感器TS测量锅PT或锅PT中的烹饪对象CO的温度。重量传感器WS测量锅PT中的烹饪对象CO的重量。例如，作为温度传感器TS，使用能够以非接触方式进行测量的高响应辐射温度计。作为重量传感器WS，使用测力传感器等。在图1中的示例中，温度传感器TS内置于作为加热控制单元的IH加热器HT中。然而，温度传感器TS可以内置于作为加热介质的锅PT中。

温度传感器TS和重量传感器WS与摄像装置传感器CM、视线传感器SC和麦克风MC一起配置检测烹饪数据记录再现系统CS中的各种类型的信息的传感器设备SE。基于由传感器设备SE获取的传感器数据来检测烹饪对象CO的状态。除了上述传感器之外，传感器设备SE还可以包括能够检测烹饪对象CO的状态的其他传感器，例如气味传感器、味道传感器、湿度传感器和粘度计。由传感器设备SE获取的传感器数据被实时提供给信息处理装置IP。

处理器PR基于从传感器设备SE获取的传感器数据来生成烹饪数据CD。处理器PR将由记录用户在烹饪期间进行的语音评论与在语音评论时测量的传感器数据相关联地记录在烹饪数据CD中。语音评论时意指语音评论的开始时间或者具有以语音评论的开始时间为中心(在语音评论的开始时间附近)的预定时间宽度的时段。

例如，由记录用户作出的语音评论包括由记录用户感测到的主观信息。主观信息的示例是指示烹饪对象CO和烹饪工具的状态和移动的烹饪信息。处理器PR将定量地指示主观信息的传感器数据与由记录用户作出的语音评论相关联地记录在烹饪数据CD中。

在检测到与由记录用户作出语音评论时的烹饪情况相同的烹饪情况时的定时，处理器PR将与语音评论有关的信息呈现给正在再现烹饪数据CD的再现用户。例如，通过原样再现在记录时被记录的由记录用户作出的语音评论，呈现与语音评论有关的信息。然而，呈现信息的方法不限于此。由记录用户作出的语音评论可以作为文本信息显示在显示器DP上，或者可以经由显示器DP和扬声器SP呈现通过处理记录用户的语音评论而获得的视频和音频信息。

当无法从语音评论中识别语音评论的对象时，可以基于记录用户的视线信息来识别对象。例如，处理器PR基于由视线传感器SC检测到的记录用户的视线来识别由记录用户作出的语音评论的对象。

本系统假设记录用户在烹饪时对烹饪进行语音评论。然而，存在记录用户在不进行语音评论的情况下切换烹饪步骤的情况，以及基于语音评论(文本信息)语音评论的对象不清楚的情况。例如，存在什么都没说而使加热功率稍微降低的情况，以及在例如“当这里的温度升高时”或“当这里的温度变为80℃”的文本信息中包括指令语的情况。在这些情况下，通过使用视线传感器SC测量记录用户正在看哪里，可以基于视线来估计记录用户已经用于做出决定的五感信息。

作为视线传感器SC，可以使用诸如AR眼镜或眼睛追踪器(由Tobii TechnologyK.K.制造)的可穿戴设备。然而，检测视线的方法不限于此。例如，还可以采用将特殊的接触透镜附加到眼睛上并测量其移动的方法(眼睛附加追踪)、不使对象与眼睛直接接触并使用光学技术执行测量的方法(光学跟踪)、以及通过在眼睛周围布置电极来测量由用于移动眼球的肌肉等产生的电位的方法(电位测量)。

处理器PR调整照明LT，以控制摄像装置传感器CM的拍摄条件。照明LT配置控制烹饪环境的联动设备LD的一部分。联动设备LD可以包括诸如空调的其他设备。处理器PR基于传感器数据来控制联动设备LD的操作。

处理器PR经由网络路由器RT与外部设备、web服务器SV等通信。处理器PR基于通过通信获取的外部信息、传感器数据和用户输入信息，控制烹饪数据记录再现系统CS中的每个设备的操作。

[2.处理流程]

烹饪数据记录再现系统CS中的信息处理大致分为两种类型。一种类型是用于记录由记录用户进行的烹饪的处理(记录模式)。另一类型是用于基于所记录的数据支持由再现用户进行的烹饪的处理(再现模式)。下面将描述每种模式的处理流程。

[2-1.记录模式]

图3是示出记录模式下的处理流程的图。

<步骤S1：菜谱设置>

记录用户经由输入UI设备IND设置用作烹饪条件的菜谱信息。例如，菜谱信息包括以下信息中的一些或全部。

(i)菜肴的类型和名称

(ii)要使用的食材、分量、切割方式和混合方式

(iii)要使用的烹饪工具

(iv)烹饪步骤(添加食材的定时和分量、加热功率设置和加热时间)

(v)食量

例如，当记录用户从显示在输入UI设备IND上的应用中的菜单中选择最喜欢的菜谱时，菜谱信息会自动设置。记录用户也可以通过应用对各个信息进行精细设置。

<步骤S2：烹饪开始>

处理器PR基于记录用户的操作的触发事件来检测烹饪的开始。当检测到烹饪的开始时，处理器PR执行初始化处理。初始化处理与菜谱信息相关联，并且登记在web服务器SV中。在随后的流程中，传感器数据输入(步骤S3)到数据记录(步骤S7)是实时重复执行的处理循环。取决于具体处理系统，处理的执行定时、并行化方法等是不同的。

<步骤S3：传感器数据输入>

处理器PR从检测烹饪状态的传感器设备SE接收传感器数据。一般地，每个传感器的帧速率不同，并且不一定同步。所有接收到的数据带有基于由处理器PR管理的时钟设备的时间戳来保持。尽管时钟设备的具体用法不受限制，但是所有传感器数据的时间戳被时间管理以能够相互比较。

<步骤S4：UI数据输入>

记录用户通过五感检测烹饪定时等。记录用户大声说明通过五感检测到的感觉烹饪信息。处理器PR经由麦克风MC接收由记录用户作出的语音评论作为用户输入信息。

<步骤S5：烹饪步骤识别>

处理器PR基于菜谱信息和目前为止的输入数据(传感器数据和用户输入信息)来识别当前烹饪步骤。换言之，处理器PR识别正在执行烹饪过程的哪个步骤。在记录模式下，该处理的实时执行是可选的。也可以在烹饪结束之后对所记录的烹饪数据CD进行分析和离线处理。

<步骤S6：信息呈现>

处理器PR基于菜谱信息和传感器数据来生成支持信息。处理器PR经由输出设备OTD将生成的支持信息呈现给记录用户。

<步骤S7：数据记录>

处理器PR以适当的格式记录再现模式下所需的所有数据，并且生成烹饪数据CD。假设非易失性存储装置ST为常规记录目的地，但是记录目的地不限于此。作为记录目的地，可以使用处理器PR可访问的任何存储设备。不一定执行记录，并且可以将数据流式传输至外部设备。

<步骤S8：烹饪结束>

处理器PR基于记录用户的操作的触发事件来检测烹饪的结束。当检测到烹饪的结束时，处理器PR执行结束处理。在web服务器SV中与菜谱信息相关联地登记结束处理。

[2-2.再现模式]

在下文中，将着眼于相对于记录模式在操作上的不同来描述再现模式下的每个处理。由于步骤S2、S3、S4、S7和S8与记录模式中的步骤相同，因此将省略其描述。

<步骤S1：菜谱设置>

再现用户经由输入UI设备IND指定用作参考的所记录的烹饪数据CD(参考数据RF)。参考数据RF指示要由再现用户再现的烹饪过程。再现用户根据参考数据RF中指示的程序执行烹饪。因此，再现了记录用户的菜肴。

处理器PR读取指定的参考数据RF。处理器PR将参考数据RF中包括的菜谱信息设置为烹饪条件。再现用户可以直接在相同条件下开始烹饪，或者与记录模式类似地经由输入UI设备IND改变条件。

<步骤S5：烹饪步骤识别>

处理器PR基于菜谱信息和目前为止的输入数据(传感器数据和用户输入信息)来识别当前烹饪步骤。在再现模式下，根据参考数据RF中记录的烹饪程序执行烹饪，并且因此重要的是识别出正在执行烹饪过程的哪个步骤。

<步骤S6：信息呈现>

处理器PR基于菜谱信息、参考数据RF和传感器数据来生成支持信息。处理器PR经由输出设备OTD将生成的支持信息呈现给再现用户。

[3.由记录用户作出的语音评论中包括的主观信息的示例]

图4是示出由记录用户作出的语音评论中包括的主观信息的示例的图。

在记录模式下，记录用户在执行烹饪的同时，大声说明烹饪过程。处理器PR将由记录用户作出的语音评论与指示语音评论时的烹饪情况的定量数据(温度、时间、重量、颜色等的传感器数据)相关联地进行记录。在再现模式下，处理器PR基于由传感器设备SE检测到的定量数据来确定是否出现了与由记录用户作出语音评论时的烹饪情况相同的烹饪情况。当出现语音评论时的烹饪情况时，处理器PR经由输出设备OTD将所记录的语音评论呈现给再现用户。

例如，当记录用户在记录期间说“洋葱的颜色已经变成金棕色，因此停止加热”并且停止加热时，处理器PR在语音评论时通过摄像装置传感器CM记录“洋葱的颜色”(RGB数据)。然后，在再现时，处理器PR利用摄像装置传感器CM执行对正在烹饪的洋葱的颜色的实时感测，并且在洋葱的颜色与记录语音评论时的“洋葱的颜色”一致的时间点通过音频或视频输出向再现用户通知“洋葱的颜色已经变成金棕色，因此停止加热”。因此，记录用户可以以更高的准确度记录他/她的烹饪，并且再现用户可以根据由记录用户作出的语音指令直观地烹饪。

在以上示例中，指示洋葱的颜色已经变成金棕色的信息是由记录用户感测到的主观信息。表示金棕色的RGB数据是定量地指示主观信息的传感器数据(定量数据)。

要记录的烹饪信息的示例不限于上述这些示例。主观信息的示例包括“当听到爆裂声”、“当煎锅被加热”、“当大气泡产生”和“使煎锅按圆圈移动”。这些信息各自与关于声音、温度、大小和移动的定量数据相关联。例如，由麦克风MC检测声音。由热成像摄像装置或温度传感器检测温度。由摄像装置传感器CM检测大小。由加速度传感器或红外摄像装置检测移动。

通过识别输入至麦克风MC的记录用户的语音并且将语音转换成文本信息来获得图4中的语音评论。处理器PR从通过转换获得的文本信息中识别关于烹饪状态例如颜色、声音、温度和大小的主观信息。处理器PR将定量地指示在语音评论时识别到的信息的传感器数据与语音评论相关联地记录在烹饪数据CD中。因此，以高度准确的定时记录记录用户的五感信息。

例如，在记录用户进行语音评论的定时执行定量数据的测量。然而，可以不断地测量和记录定量数据，并且可以从所记录的时间序列数据中提取期望数据并将其记录在烹饪数据CD中。这是因为语音评论可以包括与时间宽度有关的信息，例如“在高热煎炒两分钟之后”。例如，可以从烹饪的开始到结束不断地测量锅底上的温度传感器，并且当存在关于温度的语音评论时，可以提取与进行语音评论的时间或语音评论的内容匹配的数据并将其与语音评论一起记录在烹饪数据CD中。

可以在设计系统时手动设置将哪个传感器的定量数据分配给记录用户所说的主观信息。然而，也可以使用诸如机器学习的方法自动地执行分配。例如，在关于颜色进行语音评论时，可以执行设置以在任何菜谱中始终记录摄像装置传感器CM的颜色信息和煎锅温度。记录煎锅温度的原因是颜色取决于煎锅温度而变化。

不仅一条定量数据而且多条定量数据也可以与由记录用户作出的语音评论相关联。这是因为存在由多个参数限定由语音评论指示的烹饪情况的可能性。例如，当记录用户进行与声音有关的语音评论时，可以将麦克风MC的声音和烹饪对象CO的温度两者记录为定量数据。记录温度是因为声音更可能是由高温引起的。当记录用户进行与温度有关的语音评论时，可以执行设置以将热成像摄像装置和锅底温度传感器两者记录为定量数据。

注意，当系统中包括的传感器无法直接测量表示语音评论的定量数据时，可以将与语音评论有关的一个或更多个传感器的测量数据记录为定量数据。对于难以直接测量的信息，例如气味和味道，将与气味和味道密切相关的传感器数据记录为定量数据。例如，当存在关于气味的语音评论时，可以执行设置以将加热时间、温度和重量记录为定量数据。因此，可以基于多条数据来记录系统中包括的传感器无法直接测量的五感信息。

[4.学习隐式知识]

图5是示出记录用户的隐式知识的图。

诸如颜色和声音的主观因素可能由每个记录用户稍微不同地感测到。例如，图5中的上部示出了记录用户A感觉到“棕黄色”的洋葱的烹饪状态。图5中的下部示出了记录用户B感觉到“棕黄色”的洋葱的烹饪状态。记录用户A感觉为“棕黄色”的颜色比记录用户B感觉为“棕黄色”的颜色深。记录用户B在烹饪对象CO被煎炒至棕色时感觉到“烧焦”，而记录用户A直到烹饪对象CO被煎炒至相当黑的颜色时才感觉到“烧焦”。

记录用户A和B中的每一个均具有被识别为非言语理解的知识(隐式知识)。在图5中的示例中，每个记录用户均具有对“棕黄色”的非言语理解。然而，一个记录用户的隐式知识不是其他记录用户的隐式知识。因此，处理器PR将客观测量数据(定量数据)与表示隐式知识的主观信息相关联。然而，即使不执行该关联，也可以通过学习每个记录用户的隐式知识，直接根据记录用户的语音评论估计定量数据。

例如，将隐式知识与定量数据之间的关系积累为监督数据，并且使分析模型执行机器学习。处理器PR使用学习了记录用户的感觉的分析模型估计主观信息所指示的传感器数据。处理器PR将估计的传感器数据与由记录用户作出的语音评论相关联地记录在烹饪数据CD中。因此，可以定量地表达隐式知识。

在图5中的示例中，记录用户A说“当洋葱变成棕黄色时，停止加热”时摄像装置图像中的洋葱颜色信息被积累，并且分析模型学习积累的颜色信息。这使得可以辨别由记录用户A的表达“棕黄色”表示的洋葱的颜色。类似地，也可以学习记录用户B的隐式知识。这样，可以通过由定量数据表达每个记录用户的感觉，仅根据记录用户的语音评论(文本信息)生成定量菜谱。

在以上示例中，一条定量数据(其是摄像装置图像的颜色信息)与“棕黄色”的隐式知识相关联。然而，与隐式知识相关联的定量数据的条数不限于一条。气味、味道等是复杂的感觉，并且可以通过学习多条定量数据作为监督数据来说明记录用户感觉到的气味或味道。因此，对于学习，表示复杂感觉的隐式知识可以与多条定量数据相关联。因此，即使当无法通过各个传感器直接测量五感信息时，也可以通过机器学习来估计记录用户的确定。

[5.烹饪步骤识别]

图6是示出烹饪步骤识别的图。

烹饪步骤识别是如下过程：针对每个样本对构成烹饪过程的每个步骤的开始/结束定时进行识别，以执行不同样本之间的时间轴上的数据比较。这里，“不同样本”是基于同一菜谱在不同烹饪场合记录的时间序列数据组，并且代表性地表示参考数据RF和再现数据RP。

图6示出了从烹饪的开始到结束的整个烹饪过程。图6中的横轴指示从烹饪的开始的时间。作为时间序列数据，例如以时间序列记录：通过用摄像装置传感器CM拍摄锅PT内获得的烹饪视频V、IH加热器HT的加热功率、用温度传感器TS测量的温度T、以及用重量传感器WS测量的重量W。重量Ws是通过从重量W中去除因添加食材、搅拌等引起的干扰噪声而生成的数据。

IH加热器HT的加热功率例如由1级至7级表示。加热功率的设置值随着级别增加而增加。例如，“7级”、“5级”和“3级”分别表示200℃、160℃和120℃。“OFF”表示停止加热的状态。

在图6中，“#0”至“#10”分别指示不同的烹饪步骤。烹饪步骤的边界由例如执行以下操作的定时来表征。这些操作并不总是确定烹饪步骤的边界，但是通常是有效的划分标准。

·改变加热功率

·向锅PT中添加食材

·将食材从锅PT中取出(包括去除杂质)

·开始/结束操作(例如搅拌食材和晃动锅)

·放置/移开锅PT、锅盖等

在本系统中，假设记录用户在烹饪完成之后通过离线处理手动输入烹饪步骤。例如，记录用户在记录时执行五个烹饪步骤，例如“切割、加热、添加食材A、搅拌、添加食材B、停止加热”。在烹饪完成之后，手动划分烹饪过程，使得从此时到此时执行“切割”的步骤，并且从此时到此时执行“加热”的步骤。然而，用户觉得手动设置烹饪步骤很麻烦。

因此，记录用户在烹饪时使用麦克风MC进行语音评论，以提供对烹饪步骤的细节和烹饪步骤的开始/结束的通知。因此，可以自动记录烹饪步骤。例如，当在执行烹饪的同时进行语音评论“开始搅拌”和“现在停止搅拌”以通知开始和结束时，可以将从进行与开始有关的语音评论的时间到进行与结束有关的语音评论的时间的时段记录为一个烹饪步骤。因此，除了记录高度准确的切换定时，可以减少手动设置烹饪步骤的麻烦。

图7是示出在记录期间进行的与每个烹饪步骤的开始/结束有关的语音评论的示例的图。

处理器PR基于由记录用户进行以提供对烹饪步骤的切换的通知的语音评论，来检测烹饪步骤的切换定时(开始定时和结束定时)。处理器PR将关于检测到的烹饪步骤的切换定时的信息与通知时测量的传感器数据相关联地记录在烹饪数据CD中。当记录用户进行与烹饪步骤的开始和结束有关的语音评论时，使用预定关键词。处理器PR检测记录用户说出预定关键词的定时作为切换烹饪步骤的定时。图7给出了使用“接下来”作为关键词将咖喱鸡的烹饪步骤分开的示例。

例如，当记录用户说“接下来，打开火”时，提供对烹饪步骤#0的开始的通知。处理器PR将进行语音评论时的加热功率设置数据与语音评论“接下来，开火”和指示烹饪步骤#0的开始定时的信息相关联地记录在烹饪数据CD中。

当记录用户说“接下来，当煎锅被加热，加入洋葱”时，提供对烹饪步骤#1的开始(烹饪步骤#0的结束)的通知。处理器PR将在语音评论时温度传感器TS的测量数据与语音评论“接下来，当煎锅被加热，加入洋葱”和指示烹饪步骤#1的开始定时(烹饪步骤#0的结束定时)的信息相关联地记录在烹饪数据CD中。

当记录用户说“接下来，当听到爆裂声，关火”时，提供对烹饪步骤#2的开始(烹饪步骤#1的结束)的通知。处理器PR将在语音评论时麦克风MC的测量数据与语音评论“接下来，当听到爆裂声，关火”和指示烹饪步骤#2的开始定时(烹饪步骤#1的结束定时)的信息相关联地记录在烹饪数据CD中。

当记录用户说“接下来，当声音停止，再次开火”时，提供对烹饪步骤#3的开始(烹饪步骤#2的结束)的通知。处理器PR将在语音评论时麦克风MC的测量数据与语音评论“接下来，当声音停止，再次开火”和指示烹饪步骤#3的开始定时(烹饪步骤#2的结束定时)的信息相关联地记录在烹饪数据CD中。

当记录用户说“接下来，当洋葱变成金棕色，加入切好的番茄和调料”时，提供对烹饪步骤#4的开始(烹饪步骤#3的结束)的通知。处理器PR将在语音评论时摄像装置图像的颜色数据与语音评论“接下来，当洋葱变成金棕色，加入切好的番茄和调料”和指示烹饪步骤#4的开始定时(烹饪步骤#3的结束定时)的信息相关联地记录在烹饪数据CD中。

当记录用户说“接下来，当切好的番茄变碎，加大火力”时，提供对烹饪步骤#5的开始(烹饪步骤#4的结束)的通知。处理器PR将在语音评论时摄像装置图像的形状数据与语音评论“接下来，当切好的番茄变碎，加大火力”和指示烹饪步骤#5的开始定时(烹饪步骤#4的结束定时)的信息相关联地记录在烹饪数据CD中。

当记录用户说“接下来，当变得粘稠，减小火力并加入水和鸡肉“时，提供对烹饪步骤#6的开始(烹饪步骤#5的结束)的通知。处理器PR将在语音评论时粘度传感器的测量数据与语音评论“接下来，当变得粘稠，减小火力并加入水和鸡肉”和指示烹饪步骤#6的开始定时(烹饪步骤#5的结束定时)的信息相关联地记录在烹饪数据CD中。

当记录用户说“接下来，加完后，盖上锅盖”时，提供对烹饪步骤#7的开始(烹饪步骤#6的结束)的通知。处理器PR将在语音评论时重量传感器WS的测量数据与语音评论“接下来，加完后，盖上锅盖”和指示烹饪步骤#7的开始定时(烹饪步骤#6的结束定时)的信息相关联地记录在烹饪数据CD中。

当记录用户说“接下来，30分钟后，移开锅盖”时，提供对烹饪步骤#8的开始(烹饪步骤#7的结束)的通知。处理器PR将在语音评论时定时器的测量数据与语音评论“接下来，30分钟后，移开锅盖”和指示烹饪步骤#8的开始定时(烹饪步骤#7的结束定时)的信息相关联地记录在烹饪数据CD中。

当记录用户说“接下来，当鸡肉煮熟，加大火力”时，提供对烹饪步骤#9的开始(烹饪步骤#8的结束)的通知。处理器PR将在语音评论时摄像装置图像的颜色数据与语音评论“接下来，当鸡肉煮熟，加大火力”和指示烹饪步骤#9的开始定时(烹饪步骤#8的结束定时)的信息相关联地记录在烹饪数据CD中。

当记录用户说“接下来，当大气泡产生，减小火力”时，提供对烹饪步骤#10的开始(烹饪步骤#9的结束)的通知。处理器PR将在语音评论时摄像装置图像的形状数据与语音评论“接下来，当大气泡产生，减小火力”和指示烹饪步骤#10的开始定时(烹饪步骤#9的结束定时)的信息相关联地记录在烹饪数据CD中。

当记录用户说“接下来，煮到没有汤汁，就做好了”时，提供对烹饪步骤#10的结束的通知。处理器PR将在语音评论时摄像装置图像的形状数据和粘度传感器的测量数据与语音评论“接下来，煮到没有汤汁，就做好了”和指示烹饪步骤#10的结束定时的信息相关联地记录在烹饪数据CD中。

在图7中的示例中，“接下来”被用作关键词，但是关键词不限于“接下来”。其他词例如“从现在起”和“这里”也可以用作关键词。在一个烹饪过程中也可以使用多个关键词而不是选择性地使用。另外，可以由物理按钮等的操作来代替通过关键词对每个烹饪步骤的开始/结束的通知。即使在关键词未被识别的情况下，由记录用户作出的语音评论也总是被记录下来，并且可以在烹饪完成之后进行手动校正。

再现用户使用包括关于切换烹饪步骤的定时的信息的参考数据RF再现记录用户的菜肴。处理器PR基于传感器数据来监视再现用户的烹饪情况。当检测到指示烹饪步骤的切换的烹饪情况时，处理器PR向再现用户呈现在切换烹饪步骤时记录用户的语音评论信息。

再现用户可以在烹饪期间校正指示切换烹饪步骤的定时的定量数据。例如，再现用户在信息呈现的定时进行语音评论，例如“我会煎到更焦”。

处理器PR基于与由再现用户在参考数据RF的再现期间执行的对切换烹饪步骤的定时的校正有关的语音评论，来校正参考数据RF中指示切换烹饪步骤的定时的传感器数据。处理器PR将校正的定量数据记录在再现数据RP中，作为指示切换烹饪步骤的定时的传感器数据。因此，例如，再现用户可以根据再现用户或再现用户为其提供菜肴的人的偏好来安排烹饪，例如“稍多一点盐”和“稍长时间加热”。

[6.硬件配置示例]

图8是示出信息处理装置IP的硬件配置示例的图。

信息处理装置IP包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903和主机总线904a。另外，信息处理装置IP包括桥接器904、外部总线904b、接口905、输入设备906、输出设备907、存储设备908、驱动器909、连接端口911、通信设备913和传感器915。代替CPU 901或除了CPU 901之外，信息处理装置IP可以包括诸如DSP或ASIC的处理电路。

CPU 901用作算术处理设备和控制设备，并且根据各种程序控制烹饪数据记录再现系统CS的整体操作。此外，CPU 901可以是微处理器。ROM 902存储由CPU 901使用的程序、操作参数等。RAM 903临时存储在CPU 901的执行中使用的程序、在执行中适当改变的参数等。CPU 901例如用作处理器PR。

CPU 901、ROM 902和RAM 903通过包括CPU总线等的主机总线904a相互连接。主机总线904a经由桥接器904连接至诸如外围部件互连/接口(PCI)总线的外部总线904b。注意，主机总线904a、桥接器904和外部总线904b不一定需要单独地配置，并且这些功能可以安装在一个总线上。

例如，输入设备906由诸如鼠标、键盘、触摸面板、按钮、麦克风、开关和控制杆的由用户输入信息的设备来实现。此外，输入设备906可以是例如使用红外线或其他无线电波的远程控制设备，或者可以是诸如与信息处理装置IP的操作对应的移动电话或PDA的外部连接设备。此外，输入设备906可以包括例如基于由用户使用以上提及的输入装置输入的信息来生成输入信号并且将输入信号输出至CPU 901的输入控制电路。信息处理装置IP的用户通过操作输入设备906可以向信息处理装置IP输入各种类型的数据或者可以指示信息处理装置IP执行处理操作。输入设备906可以形成例如输入UI设备IND。

输出设备907由能够在视觉上或在听觉上向用户通知所获取的信息的设备形成。输出设备的示例包括：诸如CRT显示设备、液晶显示设备、等离子显示设备、EL显示设备和灯的显示设备；诸如扬声器和头戴式耳机的音频输出设备；以及打印机设备。输出设备907例如输出通过由信息处理装置IP执行的各种处理获得的结果。具体地，显示设备以诸如文本、图像、表和图的各种格式在视觉上显示通过由信息处理装置IP执行的各种处理获得的结果。另一方面，音频输出设备将包括再现的音频数据、声学数据等的音频信号转换成模拟信号并且在听觉上输出该模拟信号。输出设备907可以形成例如输出设备OTD。

存储设备908是作为信息处理装置IP的存储单元的示例而形成的数据存储设备。存储设备908例如通过诸如HDD的磁存储设备、半导体存储设备、光学存储设备和磁光存储设备来实现。存储设备908可以包括存储介质、将数据记录在存储介质中的记录设备、从存储介质中读取数据的读取设备以及删除记录在存储介质中的数据的删除设备。存储设备908存储由CPU 901执行的程序、各种类型的数据以及从外部获取的各种类型的数据。例如，存储设备908可以形成存储装置ST。

驱动器909是用于存储介质的读取器/写入器，并且被内置在信息处理装置IP中或者从外部附接至信息处理装置IP。驱动器909读取记录在诸如安装的磁盘、光盘、磁光盘或半导体存储器的可移除存储介质中的信息，并且将信息输出至RAM 903。此外，驱动器909还可以向可移除存储介质写入信息。

连接端口911是连接至外部设备的接口，并且是能够通过例如通用串行总线(USB)传输数据的外部设备的连接端口。

通信设备913是例如由用于连接至网络920的通信设备等形成的通信接口。通信设备913例如是用于有线或无线局域网(LAN)、长期演进(LTE)、蓝牙(注册商标)或无线USB(WUSB)的通信卡。此外，通信设备913可以是用于光通信的路由器、用于非对称数字用户线(ADSL)的路由器或用于各种通信的调制解调器。通信设备913可以根据诸如TCP/IP的预定协议与因特网或另一通信设备(服务器SV等)发送和接收信号等。

传感器915例如是诸如温度传感器、重量传感器(力传感器)、摄像装置传感器、距离测量传感器、声音传感器、加速度传感器、陀螺仪传感器和地磁传感器的各种传感器。传感器915获取以下信息：关于烹饪对象CO的烹饪状态的信息，例如加热温度、加热时间和烹饪对象CO的重量；以及关于信息处理装置IP的周围环境的信息，例如信息处理装置IP周围的亮度和噪声。传感器915可以形成例如传感器设备SE。

注意，网络920是从连接至网络920的设备发送的信息的有线或无线传输路径。例如，网络920可以包括：公共网络，例如因特网、电话网络和卫星通信网络；包括以太网(注册商标)的各种局域网(LAN)；以及广域网(WAN)。此外，网络920可以包括专用线路网络，例如因特网协议-虚拟专用网络(IP-VPN)。

[7.效果]

信息处理装置IP包括处理器PR。处理器PR将由记录用户在烹饪期间进行的语音评论与在语音评论时测量的传感器数据相关联地记录在烹饪数据CD中。在本公开内容的信息处理方法中，由计算机执行信息处理装置IP的处理。本公开内容的程序使计算机实现信息处理装置IP的处理。

根据这种配置，可以基于记录在烹饪数据CD中的语音评论直观地再现记录的菜肴。

处理器PR在检测到与由记录用户作出的语音评论时的烹饪情况相同的烹饪情况时的定时，向再现烹饪数据CD的再现用户呈现与语音评论有关的信息。

根据这种配置，在适当的定时呈现关于由记录用户作出的语音评论的信息。

处理器PR基于记录用户的视线来识别作为由记录用户作出的语音评论的目标的对象。

根据这种配置，适当地识别要获取传感器数据的对象。

处理器PR基于由记录用户作出的提供对烹饪步骤的切换的通知的语音评论来检测切换烹饪步骤的定时。处理器PR将关于检测到的烹饪步骤的切换定时的信息与通知时测量的传感器数据相关联地记录在烹饪数据CD中。

根据这种配置，适当地设置烹饪步骤的切换定时。另外，可以消除手动设置切换定时的负担。

处理器PR检测记录用户说出预定关键词的定时作为切换烹饪步骤的定时。

根据这种配置，基于关键词适当地划分烹饪步骤。

处理器PR基于与由再现用户在烹饪数据CD的再现期间执行的对切换烹饪步骤的定时的校正有关的语音评论，来校正烹饪数据中指示切换烹饪步骤的定时的传感器数据。

根据这种配置，可以根据再现用户的偏好安排烹饪。

由记录用户作出的语音评论包括由记录用户感觉到的主观信息。处理器PR将定量地指示主观信息的传感器数据与由记录用户作出的语音评论相关联地记录在烹饪数据CD中。

根据这种配置，可以根据传感器数据客观地定义由记录用户感觉到的烹饪情况。

处理器PR使用已经学习了记录用户的感觉的分析模型来估计由记录用户作出的语音评论中包括的主观信息所指示的传感器数据。处理器PR将估计的传感器数据与由记录用户作出的语音评论相关联地记录在烹饪数据中。

根据这种配置，可以仅根据由记录用户作出的语音评论(文本信息)生成定量菜谱。

注意，本说明书中描述的效果仅是示例而不受限制，并且可以提供其他效果。

[补充说明]

本技术还可以具有以下配置。

(1)

一种信息处理装置，包括处理器，所述处理器将由记录用户在烹饪期间进行的语音评论与进行所述语音评论时测量的传感器数据相关联地记录在烹饪数据中。

(2)

根据(1)所述的信息处理装置，其中，

所述处理器在检测到与由所述记录用户作出的语音评论时相同的烹饪情况时，向再现所述烹饪数据的再现用户呈现关于所述语音评论的信息。

(3)

根据(2)所述的信息处理装置，其中，

所述处理器基于所述记录用户的视线来识别作为由所述记录用户作出的语音评论的目标的对象。

(4)

根据(2)或(3)所述的信息处理装置，其中，

所述处理器基于由所述记录用户作出的提供对烹饪步骤的切换的通知的语音评论来检测所述烹饪步骤的切换定时，并且将关于所检测的所述烹饪步骤的切换定时的信息与在通知时测量的传感器数据相关联地记录在所述烹饪数据中。

(5)

根据(4)所述的信息处理装置，其中，

所述处理器检测所述记录用户说出预定关键词的定时作为所述烹饪步骤的切换定时。

(6)

根据(4)或(5)所述的信息处理装置，其中，

所述处理器基于由所述再现用户在所述烹饪数据的再现期间进行的与所述烹饪步骤的切换定时的校正有关的语音评论来校正所述烹饪数据中指示所述烹饪步骤的切换定时的传感器数据。

(7)

根据(1)至(6)中任一项所述的信息处理装置，其中，

所述语音评论包括由所述记录用户感觉到的主观信息，并且

所述处理器将定量地指示所述主观信息的传感器数据与所述语音评论相关联地记录在所述烹饪数据中。

(8)

根据(1)至(6)中任一项所述的信息处理装置，其中，

所述处理器使用已经学习了所述记录用户的感觉的分析模型来估计指示所述主观信息的传感器数据，并且将所估计的传感器数据与所述语音评论相关联地记录在所述烹饪数据中。

(9)

一种信息处理方法，其由计算机执行，所述方法包括将由记录用户在烹饪期间进行的语音评论与进行所述语音评论时测量的传感器数据相关联地记录在烹饪数据中。

(10)

一种程序，其使计算机实现以下操作：将由记录用户在烹饪期间进行的语音评论与进行所述语音评论时测量的传感器数据相关联地记录在烹饪数据中。

附图标记列表

CD 烹饪数据

IP 信息处理装置

PR 处理器

Claims (10)

1.一种信息处理装置，包括处理器，所述处理器将由记录用户在烹饪期间进行的语音评论与进行所述语音评论时测量的传感器数据相关联地记录在烹饪数据中。

2.根据权利要求1所述的信息处理装置，其中，

所述处理器在检测到与由所述记录用户作出的语音评论时相同的烹饪情况时，向再现所述烹饪数据的再现用户呈现关于所述语音评论的信息。

3.根据权利要求2所述的信息处理装置，其中，

所述处理器基于所述记录用户的视线来识别作为由所述记录用户作出的语音评论的目标的对象。

4.根据权利要求2所述的信息处理装置，其中，

所述处理器基于由所述记录用户作出的提供对烹饪步骤的切换的通知的语音评论来检测所述烹饪步骤的切换定时，并且将关于所检测的所述烹饪步骤的切换定时的信息与在通知时测量的传感器数据相关联地记录在所述烹饪数据中。

5.根据权利要求4所述的信息处理装置，其中，

所述处理器检测所述记录用户说出预定关键词的定时作为所述烹饪步骤的切换定时。

6.根据权利要求4所述的信息处理装置，其中，

所述处理器基于由所述再现用户在所述烹饪数据的再现期间进行的与所述烹饪步骤的切换定时的校正有关的语音评论来校正所述烹饪数据中指示所述烹饪步骤的切换定时的传感器数据。

7.根据权利要求2所述的信息处理装置，其中，

所述语音评论包括由所述记录用户感觉到的主观信息，并且

所述处理器将定量地指示所述主观信息的传感器数据与所述语音评论相关联地记录在所述烹饪数据中。

8.根据权利要求7所述的信息处理装置，其中，

所述处理器使用已经学习了所述记录用户的感觉的分析模型来估计指示所述主观信息的传感器数据，并且将所估计的传感器数据与所述语音评论相关联地记录在所述烹饪数据中。

9.一种信息处理方法，其由计算机执行，所述方法包括将由记录用户在烹饪期间进行的语音评论与进行所述语音评论时测量的传感器数据相关联地记录在烹饪数据中。

10.一种程序，其使计算机实现以下操作：将由记录用户在烹饪期间进行的语音评论与进行所述语音评论时测量的传感器数据相关联地记录在烹饪数据中。