CN116507459A - 信息处理设备和烹饪系统 - Google Patents

信息处理设备和烹饪系统 Download PDF

Info

Publication number
CN116507459A
CN116507459A CN202180073812.7A CN202180073812A CN116507459A CN 116507459 A CN116507459 A CN 116507459A CN 202180073812 A CN202180073812 A CN 202180073812A CN 116507459 A CN116507459 A CN 116507459A
Authority
CN
China
Prior art keywords
space
cooking
user
processing apparatus
flavor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180073812.7A
Other languages
English (en)
Inventor
藤田雅博
米夏埃尔·施普兰格尔
河本献太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN116507459A publication Critical patent/CN116507459A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A47J36/32—Time-controlled igniting mechanisms or alarm devices
    • A47J36/321—Time-controlled igniting mechanisms or alarm devices the electronic control being performed over a network, e.g. by means of a handheld device
    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23L—FOODS, FOODSTUFFS, OR NON-ALCOHOLIC BEVERAGES, NOT COVERED BY SUBCLASSES A21D OR A23B-A23J; THEIR PREPARATION OR TREATMENT, e.g. COOKING, MODIFICATION OF NUTRITIVE QUALITIES, PHYSICAL TREATMENT; PRESERVATION OF FOODS OR FOODSTUFFS, IN GENERAL
    • A23L27/00—Spices; Flavouring agents or condiments; Artificial sweetening agents; Table salts; Dietetic salt substitutes; Preparation or treatment thereof
    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23L—FOODS, FOODSTUFFS, OR NON-ALCOHOLIC BEVERAGES, NOT COVERED BY SUBCLASSES A21D OR A23B-A23J; THEIR PREPARATION OR TREATMENT, e.g. COOKING, MODIFICATION OF NUTRITIVE QUALITIES, PHYSICAL TREATMENT; PRESERVATION OF FOODS OR FOODSTUFFS, IN GENERAL
    • A23L5/00—Preparation or treatment of foods or foodstuffs, in general; Food or foodstuffs obtained thereby; Materials therefor
    • A23L5/10—General methods of cooking foods, e.g. by roasting or frying
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2643—Oven, cooking

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Food Science & Technology (AREA)
  • Manipulator (AREA)

Abstract

根据本公开内容的实施方式的信息处理设备设置有：风味呈现单元，其生成用于向存在于第一空间中的用户呈现存在于与第一空间分开的第二空间中的烹饪对象的风味的数据；以及命令生成单元，其基于来自用户的输入生成用于控制存在于第二空间中的烹饪机器人的操作的控制命令。

Description

信息处理设备和烹饪系统
技术领域
本公开内容涉及信息处理设备和烹饪系统。
背景技术
随着近来感测技术和机器人技术的发展，已经提出了用户对位于远程位置处的机器人进行操作并使机器人在远程位置执行工作的提议(例如，参见专利文献1和专利文献2)。
引用列表
专利文献
专利文献1：日本未审查专利申请公开第2020-75301号；
专利文献2：日本未审查专利申请公开第2020-75302号。
发明内容
在这样的情况下，向用户分别呈现由存在于远程位置处的视觉传感器、听觉传感器和力/触觉传感器获取的在视觉、听觉和力/触觉方面的各种信息，并且因此用户能够获得好像用户实际上走到远程位置并执行操作的感觉。
因此，在使用户远程操作机器人的情况下，存在向用户呈现更多感测信息的需求。特别地，在可交付物的质量强烈依赖于用户的感觉的工作中，期望向用户呈现关于除了视觉、听觉和力/触觉之外的其他感觉的信息。
期望提供如下信息处理设备和烹饪系统，该信息处理设备和烹饪系统能够向操作存在于远程位置处的机器人的用户呈现比在远程位置处感测到的感测信息更多的感测信息。
根据本公开内容的实施方式的一种信息处理设备包括：风味呈现单元，其生成用于向存在于第一空间中的用户呈现存在于第二空间中的烹饪对象的风味的数据，第二空间与第一空间分开；以及指令生成单元，其基于来自用户的输入生成用于控制存在于第二空间中的烹饪机器人的动作的控制指令。
根据本公开内容的实施方式的一种烹饪系统包括：感测单元，其感测存在于第二空间中的烹饪对象的风味；风味呈现单元，其生成用于向存在于第一空间中的用户呈现感测到的烹饪对象的风味的数据，第一空间与第二空间分开；指令生成单元，其基于来自用户的输入生成控制指令；以及烹饪机器人，其动作基于控制指令被控制，烹饪机器人对存在于第二空间中的烹饪对象进行烹饪。
根据本公开内容的实施方式的信息处理设备和本公开内容的实施方式的烹饪系统，生成用于将存在于第二空间中的烹饪对象的风味呈现给存在于与第二空间分开的第一空间中的用户的数据，并且基于用户的输入生成用于控制存在于第二空间的烹饪机器人的动作的控制指令。因此，例如，存在于第一空间中的用户可以掌握存在于与第一空间分开的第二空间中的烹饪对象的风味。
附图说明
[图1]图1是示出根据本公开内容的第一实施方式的烹饪系统的概要的说明图。
[图2]图2是示出根据相同实施方式的烹饪系统的配置的框图。
[图3]图3是示出根据相同实施方式的烹饪系统的更具体配置的示例的框图。
[图4A]图4A是示出在风味空间中从当前值到目标值的轨迹的示例的图。
[图4B]图4B是示出在操作空间中从当前值到目标值的轨迹的示例的图。
[图5]图5是示出修改示例的烹饪对象的风味的视觉呈现的示例的图。
[图6]图6是示出修改示例的烹饪对象的风味的视觉呈现的另一示例的图。
[图7]图7是示出根据本公开内容的第二实施方式的烹饪系统的配置的示例的框图。
[图8]图8是示出根据相同实施方式的烹饪系统的烹饪对象的风味的视觉呈现的示例的图。
[图9]图9是示出根据相同实施方式的烹饪系统的动作的示例的框图。
[图10]图10是示出根据本公开内容的第三实施方式的烹饪系统的配置的示例的框图。
[图11]图11是示出根据相同实施方式的烹饪系统的动作的示例的框图。
[图12]图12是示出根据相同实施方式的烹饪系统的动作的另一示例的框图。
[图13A]图13A是第一空间中的对象的布置的示例的示意图。
[图13B]图13B是第二空间中的对象的布置的示例的示意图。
[图14]图14是示出根据本公开内容的第四实施方式的烹饪系统的更具体配置的示例的框图。
[图15A]图15A是用于说明第一空间中的对象的布置的关联的示意图。
[图15B]图15B是用于说明第二空间中的对象的布置的关联的示意图。
[图16]图16是示出根据相同实施方式的烹饪系统的修改示例的配置的示例的框图。
[图17]图17是示出信息处理设备的硬件配置示例的框图。
具体实施方式
下面参照附图详细描述本公开内容的实施方式。以下描述是本公开内容的具体示例，但是本公开内容不限于以下实施方式。另外，本公开内容不限于附图中示出的构成元件的布置、尺寸、尺寸比率等。
应注意，描述按以下顺序给出。
1.第一实施方式
1.1.概要
1.2.配置示例
1.3.修改示例
2.第二实施方式
2.1.配置示例
2.2.动作示例
3.第三实施方式
3.1.配置示例
3.2.动作示例
4.第四实施方式
4.1.概要
4.2.配置示例
4.3.修改示例
5.硬件配置示例
<1.第一实施方式>
(1.1.概要)
首先，参照图1和图2，将描述根据本公开内容的第一实施方式的烹饪系统的概要。图1是示出根据本实施方式的烹饪系统的概要的说明图。图2是示出根据本实施方式的烹饪系统的配置的框图。
如图1所示，根据本实施方式的烹饪系统是用于存在于第一空间中的用户(厨师)1对存在于第二空间中的烹饪机器人200进行远程操作以执行烹饪的系统。
具体地，如图2所示：在第一空间10中，存在用户1和信息处理设备100；以及在与第一空间10分开的第二空间20中，存在烹饪机器人200和环境2。第一空间10中的信息处理设备100和第二空间20中的烹饪机器人200经由通信路径30彼此可通信地耦接。
用户1是对存在于与第一空间10分开的第二空间20中的烹饪机器人200进行远程操作的厨师等。
信息处理设备100基于来自用户1的操作输入来生成包括烹饪机器人200的动作所需的位置、速度和力的控制指令，并且经由通信路径30将所生成的控制指令发送到烹饪机器人200。
通过向用户1呈现由设置在第二空间20中的烹饪机器人200周围的视觉传感器、听觉传感器和力/触觉传感器获取的在视觉、听觉和力/触觉方面的信息，用户1能够像用户在第二空间20中一样获取感觉。例如，信息处理设备100可以使用头戴式显示器来将由视觉传感器获得的信息呈现给用户1，或者可以使用头戴式耳机来将由听觉传感器获得的信息呈现给用户1。此外，信息处理设备100可以使用圆顶形屏幕来将由视觉传感器获得的信息呈现给用户1，或者可以使用环绕扬声器来将由听觉传感器获得的信息呈现给用户1。在这样的情况下，信息处理设备100能够将更如实地再现的第二空间20的听觉信息和视觉信息呈现给用户。
来自用户1的操作输入可以通过常用输入装置例如鼠标、键盘、触摸面板、按钮、开关或杠杆来执行。此外，来自用户1的操作输入可以通过由附接至用户1的机构(例如，外骨骼)获取用户1的运动来执行。另外，来自用户1的操作输入可以通过基于用户1的图像或附接至用户1的标记估计用户1的姿态和运动来执行。即，烹饪机器人200可以通过由用户1直接输入的运动来操作，并且可以基于用户1的运动的感测结果来操作以跟踪用户1的运动。
环境2包括将由烹饪机器人200烹饪的食材、用于将由烹饪机器人200执行的烹饪的烹饪用具以及作为将由烹饪机器人200执行烹饪的场所的厨房。
烹饪机器人200能够通过基于从信息处理设备100发送的控制指令操作包括在环境2中的烹饪用具以烹饪食材来完成菜肴等。烹饪机器人200可以是例如包括腿和手臂的人形机器人、或仅包括手臂的机器人臂装置。
烹饪机器人200可以包括用于感测环境2的视觉传感器、听觉传感器和力/触觉传感器。由视觉传感器、听觉传感器和力/触觉传感器获取的视觉信息、听觉信息和力/触觉信息经由通信路径30被发送到信息处理设备100，并被呈现给用户1。应注意，视觉传感器、听觉传感器和力/触觉传感器可以设置在烹饪机器人200的外部，只要它们能够感测环境2的信息即可。
通信路径30能够经由有线或无线通信网络例如因特网通信网络、LAN(局域网)、红外通信网络、无线电波通信网络或卫星通信网络发送和接收数据。通信路径30能够在彼此分开的第一空间10与第二空间20之间彼此发送和接收数据。
在根据本实施方式的烹饪系统中，信息处理设备100获得与风味相关的信息，并将所获取的与风味相关的信息呈现给用户1。与风味相关的信息包括在第二空间20中的环境2中包括的食材、烹饪中的食材、或通过烹饪食材而获得的菜肴(在下文中，可以统称为烹饪对象)的味道、香味或口感中的至少一个或更多个。这允许用户1更有意地对通过烹饪过程完成的菜肴的风味进行调整。
特别地，烹饪是这样的工作：由于食材等的变化，即使烹饪经过相同的过程也难以再现相同的风味。此外，烹饪是通过操作烹饪机器人200的用户1的感觉来控制完成的菜肴的风味例如味道、香味或口感的工作。因此，信息处理设备100将在第二空间20中感测到的食材的风味呈现给存在于第一空间10中的用户1，从而使得用户1可以控制烹饪机器人200以使得完成的菜肴的风味是用户1想要的风味。
(1.2.配置示例)
接下来，参照图3，将详细描述根据本实施方式的烹饪系统的配置示例。图3是示出根据本实施方式的烹饪系统的更具体配置的示例的框图。
如图3所示，根据本实施方式的烹饪系统包括：在第一空间10侧的用户1、风味输出单元131、AV输出单元132、输入单元133和信息处理设备100；以及在第二空间20侧的烹饪机器人200和第二空间20。
信息处理设备100和烹饪机器人200经由网络31彼此可通信地耦接。此外，网络31可以耦接至DB服务器32，DB服务器32存储当烹饪机器人200执行烹饪时参考的数据库。
(第一空间10侧)
如上所述，用户1是厨师等。用户1能够通过在第一空间10中操作存在于第二空间20中的烹饪机器人200来使用包括在环境2中的食材等执行烹饪。
输入单元133是接收来自用户1的操作输入的装置。由输入单元133获取的来自用户1的操作输入被输出到信息处理设备100的指令生成单元120。
例如，输入单元133可以包括接受从用户1的对烹饪机器人200的直接操作的常用输入装置例如鼠标、键盘、触摸面板、按钮、开关或杠杆。可替选地，输入单元133可以包括检测装置，该检测装置检测用户1的运动作为将由烹饪机器人200跟踪的动作。例如，输入单元133可以包括通过附接至用户1的机构来检测用户1的运动的检测装置，并且可以包括通过标记或图像识别来检测用户1的运动的成像装置。
在输入单元133包括通过附接至用户1的机构来检测用户1的运动的检测装置的情况下，输入单元133可以被配置成在接收到来自用户1的操作输入时将反作用力例如力或振动返回给用户1。在这样的情况下，输入单元133能够给予用户1好像用户1正在实际体验烹饪机器人200的动作一样的感觉，从而使得可以给予用户1真实感。用于通过将反作用力返回给用户1来将反馈返回给皮肤感觉的技术也称为触觉技术。
AV输出单元132将由第二空间20中的AV传感器单元212获取的环境2的图像和声音输出到用户1。即，AV输出单元132是将在第二空间20中获取的视觉信息和听觉信息呈现给用户1的视觉和听觉的输出装置。
例如，作为将由第二空间20中的AV传感器单元212获取的视觉信息呈现给用户1的视觉的装置，AV输出单元132可以包括显示装置例如LCD(液晶显示器)、PDP(等离子体显示板)、OLED(有机发光二极管)显示器、全息图、投影仪或HMD(头戴式显示器)。此外，作为将由第二空间20中的AV传感器单元212获取的听觉信息呈现给用户1的听觉的装置，AV输出单元132还可以包括声音输出装置例如扬声器或耳机。为了向用户1呈现更逼真的视觉信息或听觉信息，AV输出单元132可以被配置成包括将在VR(虚拟现实)技术等中使用的HMD和环绕耳机。
风味输出单元131将由第二空间20中的风味传感器单元211获取的烹饪对象的风味输出到用户1。具体地，风味输出单元131可以包括再现烹饪对象的味道并将味道呈现给用户1的味道输出单元、再现烹饪对象的香味并将香味呈现给用户1的香味输出单元、以及再现烹饪对象的口感并将口感呈现给用户1的口感输出单元。
例如，味道输出单元可以通过使用凝胶电极对用户1的舌头进行电刺激来将烹饪对象的味道呈现给用户1的味觉。
具体地，味道输出单元包括：第一电极组，其包括包含氯化钠并且使得感觉到咸味的电极、包含柠檬酸并且使得感觉到酸味的电极、包含氯化镁并且使得感觉到苦味的电极、包含甘氨酸并且使得感觉到甜味的电极、以及包含谷氨酸并且使得感觉到鲜味的电极；以及第二电极组，其是刺激味觉的第一电极组的反电极。味道输出单元可以通过使刺激味觉的第一电极组与用户1的舌头接触并使第二电极组与用户1的手等接触来与用户1形成电路。因此，味道输出单元能够通过控制流过第一电极组的相应电极的电流量来控制用户1的舌头感觉到的咸味、酸味、苦味、甜味和鲜味的相应强度。味道输出单元从而通过对咸味、酸味、苦味、甜味和鲜味的相应强度进行组合来再现任何味道，并且这使得可以将第二空间20中的烹饪对象的味道呈现给第一空间10中的用户1的味觉。
例如，香味输出单元可以通过在用户1的鼻子附近喷洒包含香味成分的液体来将烹饪对象的香味呈现给用户1的嗅觉。
具体地，香味输出单元包括其中对包含彼此不同的相应香味成分的液体进行密封的多个圆柱体。香味输出单元以细雾的形式将包含香味成分的液体喷洒在用户1的鼻子附近，从而将包含在液体中的香味成分呈现给用户1的嗅觉。因此，香味输出单元能够通过控制包含香味成分的液体的相应量来控制用户1感觉到的香味。香味输出单元从而通过对香味成分的强度进行组合来再现任何香味，并且这使得可以将第二空间20中的烹饪对象的香味呈现给第一空间10中的用户1的嗅觉。
例如，口感输出单元可以通过使用户1在嘴中咀嚼可通过阻塞相变(jammingtransition)而自由改变硬度的机构来将烹饪对象的口感呈现给用户1的触觉。具体地，阻塞相变是如下现象：其中粉末和颗粒材料表现为硬度根据密度而变化。因此，根据阻塞相变，可以通过改变袋内的大气压力来改变填充有空气的袋的硬度。根据这样的配置，口感输出单元改变填充有空气的袋内的大气压力，并使用户1咬住袋等，从而使得可以将第二空间20中的烹饪对象的口感呈现给第一空间10中的用户1的触觉。
可替选地，口感输出单元可以通过基于其中积累了基于人咀嚼时的下颚的肌电信息的数据库对用户1的下颚进行电刺激来将烹饪对象的口感呈现给用户1的触觉。具体地，口感输出单元可以在其中积累了肌电信息的数据库中搜索与烹饪对象的口感相对应的肌电信息，并且基于搜索到的肌电信息来将再现烹饪对象的口感的电刺激呈现给用户1的下颚。根据这样的配置，口感输出单元能够通过电刺激来将第二空间20中的烹饪对象的口感呈现给第一空间10中的用户1的触觉。
然而，不必说，呈现方法不限于上述内容，只要风味输出单元131能够将烹饪对象的风味呈现给用户1的感觉例如味觉、嗅觉或触觉即可。
信息处理设备100包括风味呈现单元110、指令生成单元120和转换器140。
风味呈现单元110基于与由风味传感器单元211感测到的烹饪对象的风味相关的信息来生成用于将烹饪对象的风味呈现给用户1的数据。所生成的数据被输出到风味输出单元131并经由风味输出单元131呈现给用户1。
具体地，风味呈现单元110可以生成用于第一空间10中的风味输出单元131对存在于第二空间20中的烹饪对象的味道、香味或口感进行再现并将味道、香味或口感呈现给用户1的味觉、嗅觉或触觉的数据。可替选地，风味呈现单元110可以生成用于通过数值来表示存在于第二空间20中的烹饪对象的味道、香味或口感并且将味道、香味或口感在视觉上呈现给用户1的数据。
指令生成单元120基于由输入单元133获取的来自用户1的操作输入来生成用于控制烹饪机器人200的动作的控制指令。具体地，指令生成单元120可以基于用户1输入的烹饪机器人200的动作来生成用于控制烹饪机器人200的动作的控制指令，并且可以基于用户1的动作来生成用于控制烹饪机器人200的动作以跟踪用户1的动作的控制指令。所生成的控制指令经由网络31被发送到第二空间20中的烹饪机器人200。
转换器140使经由网络31在信息处理设备100与烹饪机器人200之间发送和接收的数据标准化。具体地，转换器140使由指令生成单元120生成的控制指令标准化，并且将标准化后的控制指令发送到烹饪机器人200。
根据第一空间10侧的这样的配置，如图4A和图4B所示，用户1能够经过风味空间和操作空间中的每一个空间中的子目标而朝向目的目标来控制烹饪机器人200。图4A是示出风味空间中从当前值s到目标值g的轨迹的示例的图。图4B是示出在操作空间中从当前值S到目标值G的轨迹的示例的图。
例如，在风味空间中，如图4A所示，用户1能够控制烹饪机器人200，使得从由风味输出单元131呈现的烹饪对象的风味的当前值s经过多个子目标m1……mn到达烹饪对象的风味的目标值g。
然而，用户1实际操作的是烹饪机器人200。因此，在操作空间中，如图4B所示，控制烹饪机器人200的动作，使得烹饪机器人200经过与风味空间中从当前值s到目标值g的轨迹相对应的轨迹(即，从当前值S经过多个子目标M1……Mn到达目标值G的轨迹)。
应注意，通过参照存储在稍后描述的DB服务器32的数据库，可以估计：与风味空间中从当前值s到目标值g的轨迹相对应的操作空间中从当前值S到目标值G的轨迹；以及要经过的子目标M1……Mn。在这样的情况下，即使没有来自用户1的特定操作输入，也可以控制烹饪机器人200以经过操作空间中所估计的从当前值S到目标值G的轨迹并经过要经过的子目标M1……Mn。这使得即使用户1没有执行特定的操作输入，用户1也能够控制烹饪机器人200的动作，使得烹饪对象的风味通过简单的反馈到达目标值g。
(第二空间20侧)
如上所述，环境2包括将由烹饪机器人200烹饪的食材、用于将由烹饪机器人200执行的烹饪的烹饪用具、以及作为将由烹饪机器人200执行烹饪的场所的厨房。烹饪机器人200能够基于来自信息处理设备100的控制指令通过用厨房中的烹饪用具对包括在环境2中的食材进行烹饪来完成菜肴。
烹饪机器人200包括转换器240、风味传感器单元211、AV传感器单元212、机器人控制器213和机器人驱动器222。
风味传感器单元211是获取包括在环境2中的烹饪对象(例如食材、烹饪期间的食材或烹饪后的菜肴)的风味的感测单元的具体示例。具体地，风味传感器单元211可以包括感测烹饪对象的味道的味道传感器、感测烹饪对象的香味的香味传感器、以及感测烹饪对象的口感的口感传感器。
例如，味道传感器能够通过测量与包含在烹饪对象中的味物质静电和疏水地相互作用的脂质膜的膜电位来测量烹饪对象的味道。
具体地，首先，将味道传感器浸入基准液体中，从而获得基准膜电位。此后，使味道传感器与烹饪对象接触以获得通过味物质与脂质膜之间的相互作用而改变的第一膜电位。此后，将味道传感器与基准液体共洗，随后将味道传感器浸入基准液体中以获得第二膜电位。第二膜电位是与基准膜电位不同的膜电位，因为味物质中的苦味物质和涩味物质被吸附在脂质膜的表面上。此后，用酒精等洗涤味道传感器以完全除去吸附在脂质膜的表面上的味物质。味道传感器能够基于所测量的第一膜电位和第二膜电位来确定烹饪对象的味道。
应注意，可由味道传感器测量的味道根据脂质膜等的种类而不同。因此，味道传感器可以使用多个传感器来测量烹饪对象的味道，并且基于来自多个传感器中的每一个传感器的输出来确定烹饪对象的味道。例如，味道传感器可以包括主要能够测量苦味的苦味传感器、主要能够测量甜味的甜味传感器、主要能够测量鲜味的鲜味传感器、主要能够测量咸味的咸味传感器、主要能够测量酸味的酸味传感器以及主要能够测量涩味的涩味传感器。
例如，香味传感器能够通过使用MEMS装置来测量烹饪对象的香味，在该MEMS装置中，具有对各种香味成分的吸附特性并且其频率由于香味成分吸附到传感器元件而变化的传感器元件被布置成阵列。应注意，香味传感器可以通过上述阵列上的频率变化、或者通过例如包括在传感器元件中的半导体的电阻值的变化、由于香味成分吸附到传感器元件的电极而出现的电势差、或者由于香味成分吸附到传感器元件而出现的挠曲来检测香味成分到传感器元件的吸附。
例如，口感传感器能够通过压缩烹饪对象来测量与烹饪对象的口感相关的信息。具体地，首先，口感传感器测量基于当烹饪对象被口感传感器压缩时的力信号，并且然后基于数据库得到基于当人咀嚼烹饪对象时的下颚的肌电信息，在数据库中，基于当食材被口感传感器压缩时的力信号与基于当人咀嚼同一食材时的下颚的肌电信息彼此相关联。此后，口感传感器基于所得到的下颚的肌电信息来对用户1的下颚的肌肉进行电刺激，这使得可以将烹饪对象的口感呈现给用户1。
然而，不必说，感测方法不限于上述方法，只要风味传感器单元211能够感测烹饪对象的风味即可。
AV传感器单元212获取环境2和烹饪机器人200的图像和声音。具体地，AV传感器单元212包括捕获环境2的成像装置以及对将在环境2中生成的声音进行收集的麦克风。据此，AV传感器单元212能够：通过由成像装置感测包括在环境2中的食材、烹饪用具和厨房的位置关系、速度、加速度来获取环境2的视觉信息；并且通过麦克风获取听觉信息。
机器人控制器213通过基于由指令生成单元120生成的控制指令控制机器人驱动器222来控制烹饪机器人200的动作。具体地，机器人控制器213可以控制机器人驱动器222，使得使用包括在控制指令中的烹饪机器人200的动作的轨迹作为参考轨迹，烹饪机器人200的实际动作的轨迹与参考轨迹之间的差变得更小。这允许机器人控制器213控制烹饪机器人200的动作使得烹饪机器人200基于控制指令执行动作。例如，机器人控制器213可以控制烹饪机器人200的手臂、设置在手臂的端部处的执行器和腿的驱动。
机器人驱动器222例如是设置到烹饪机器人200的每个部分的马达或致动器。例如，机器人驱动器222可以是旋转烹饪机器人200的每个关节的马达或致动器，或者可以是驱动设置到用于控制烹饪机器人200的运动的运动机构的轮或腿的马达或致动器。机器人驱动器222由机器人控制器213基于由指令生成单元120生成的控制指令来控制，这使得可以使烹饪机器人200根据来自用户1的操作输入来执行动作。
与信息处理设备100的转换器140一样，转换器240使经由网络31在信息处理设备100与烹饪机器人200之间发送和接收的数据标准化。具体地，转换器240可以使如下数据标准化：与由AV传感器单元212感测到的视觉信息例如环境2和烹饪机器人200的动作、位置关系、速度或加速度相关的数据；与由AV传感器单元212感测到的听觉信息例如声音相关的数据；以及与由风味传感器单元211感测到的风味信息例如包括在环境2中的烹饪对象(食材、烹饪期间的食材或烹饪后的菜肴)的味道、香味或口感相关的数据。此外，转换器240还可以将由设置到烹饪机器人200的每个机器人驱动器222的各个传感器感测到的与烹饪机器人200的每个部分的位置、速度和力相关的数据作为与烹饪机器人200的动作相关的数据而标准化。转换器240将上述标准化后的数据发送到烹饪机器人200。
(网络31和DB服务器32)
网络31是被配置成在第一空间10与第二空间20之间发送和接收数据的通信路径30的具体示例。网络31可以是有线或无线通信网络例如因特网通信网络、LAN(局域网)、基于红外的通信网络、无线电通信网络或卫星通信网络。
DB服务器32是存储其中累积了与烹饪相关的数据的数据库的服务器。具体地，DB服务器32可以存储其中用于执行食材的图像识别的图像数据与关于食材的信息彼此相关联的数据库。此外，DB服务器32可以存储其中烹饪的名称、烹饪前后的食材状态以及用于执行烹饪的烹饪机器人200的动作彼此相关联的数据库。此外，DB服务器32可以存储其中菜肴的名称、食物布局以及指示将被烹饪的食材放置在哪个位置的信息彼此相关联的数据库。另外，DB服务器32可以存储其中食材的分子结构、食材的味道、香味或口感彼此相关联的数据库。在这样的情况下，DB服务器32还可以存储其中在加热或烹饪(例如与另一种食材混合)时变化的食材的分子结构与该食材的味道、香味或口感相关联的数据库。
在上述数据库存储在DB服务器32中的情况下，烹饪机器人200能够通过参考在数据库中累积的数据来估计风味空间或操作空间中从当前值到目标值的轨迹。因此，在用户1针对风味空间或操作空间中的当前值设置目标值的情况下，烹饪机器人200还能够自主地设置适当的子目标并且自主地动作以执行烹饪。
根据本实施方式的烹饪系统，在烹饪机器人200由于某种错误而未能如用户1所预期的那样动作的情况下，用户1能够远程操作烹饪机器人200以解决该错误并如用户1所预期的那样动作。例如，在烹饪机器人200由于错误而偏离操作空间中从当前值到目标值的轨迹的情况下，用户1能够远程地将烹饪机器人200返回到从当前值到目标值的轨迹中的任何子目标。
应当注意，在烹饪对象的风味偏离了风味空间中从当前值到目标值的轨迹的情况下，在一些情况下，可能难以将烹饪对象的风味返回到从当前值到目标值的轨迹中的任何子目标。在这样的情况下，用户1可以通过重置风味空间中的目标值来解决该错误。DB服务器32还可以累积与由用户1自主地执行错误恢复的这样的方法相关的数据，以便允许烹饪机器人200自主地执行错误恢复。
此外，为了防止烹饪对象的风味偏离风味空间中的轨迹，可以控制烹饪机器人200逐渐地调整烹饪对象的风味。具体地，机器人控制器213可以针对包括在控制指令中的风味空间中的轨迹设置更多的子目标，并且控制烹饪机器人200经由更多的子目标来调整烹饪对象的风味。
(1.3.修改示例)
接下来，参照图5和图6，将描述根据本实施方式的烹饪系统的修改示例。图5是示出烹饪对象的风味的视觉呈现的示例的图。图6是示出烹饪对象的风味的视觉呈现的另一示例的图。
如图5和图6所示，包括烹饪对象的味道、香味或口感的风味可以在图形等中被量化和可视化并且被呈现给用户1。在这样的情况下，与AV输出单元132一样，风味输出单元131可以包括能够显示图像的显示装置，例如LCD、PDP、OLED显示器、全息图、投影仪或HMD。
例如，如图5所示，烹饪对象的味道和香味(例如酸味、甜味、咸味、苦味、香味1、香味2、香味3和香味4)可以在雷达图中在视觉上被呈现给用户1。应当注意，在图5的雷达图中，没有示出口感的数据；然而，口感的数据可以在与味道和香味的数据相同的雷达图中被示出，或者可以在与味道和香味的雷达图不同的雷达图中被示出。
此外，如图6所示，烹饪对象的味道(例如，甜味、咸味、苦味、酸味和鲜味)可以在直方图中在视觉上被呈现给用户1。应当注意，在图6的直方图中，没有示出香味和口感的数据；然而，香味和口感的数据可以与味道一样在直方图中示出，或者可以以另一种方法表示。
因此，用户1能够在视觉上识别烹饪对象的感测值(当前值)与目标(目标值)之间的差异，并且因此能够更容易地控制烹饪机器人200。因此，用户1能够操作烹饪机器人200，同时通过烹饪机器人200的操作来检查所感测到的烹饪对象的风味的当前值在接近目标值。
<2.第二实施方式>
(2.1.配置示例)
接下来，参照图7和图8，将描述根据本公开内容的第二实施方式的烹饪系统的配置示例。图7是示出根据本实施方式的烹饪系统的配置的示例的框图。图8是示出根据本实施方式的烹饪系统中的烹饪对象的风味的视觉呈现的示例的图。
如图7所示，根据第二实施方式的烹饪系统与根据第一实施方式的烹饪系统的不同之处在于，在第一空间10侧还设置有第一虚拟空间41。
第一虚拟空间41是在第一空间10侧模拟第二空间20的虚拟空间。具体地，第一虚拟空间41虚拟地设置有第二空间20中的烹饪机器人200和环境2。用户1能够通过操作第一虚拟空间41中的虚拟烹饪机器人来虚拟地执行烹饪。第一虚拟空间41例如可以由信息处理设备100的指令生成单元120等生成。指令生成单元120能够基于用户1对第一虚拟空间41中的虚拟烹饪机器人执行的动作来生成对存在于第二空间20中的烹饪机器人200的控制指令。
即，从第二空间20侧的烹饪机器人200向第一虚拟空间41输入各种信息，并且因此对第二空间20中的环境2的状态以及第二空间20中的烹饪机器人200的位置、速度、加速度和力进行模拟并将其呈现给用户1。用户1能够通过操作第一虚拟空间41中的虚拟烹饪机器人来执行烹饪对象的烹饪。第一虚拟空间41和第二空间20通过在第一虚拟空间41与第二空间20之间交换以下信息而相互链接：基于用户1的操作输入对虚拟烹饪机器人的控制指令；以及第二空间20中的烹饪机器人200和环境2的感测结果。
第一虚拟空间41可以例如在第一空间10和第二空间20被分开而导致经由网络31的通信中的通信延迟的情况下生成。在第一空间10与第二空间20之间发生通信延迟的情况下，第二空间20中的环境2的状态由于通信延迟等以延迟的方式呈现给第一空间10中的用户1，并且基于用户1的操作输入的控制指令由于通信延迟等以延迟的方式被发送到第二空间20中的烹饪机器人200。因此，认为用户1难以在适当的定时处控制烹饪机器人200。
设置在第一空间10侧的第一虚拟空间41是再现第二空间20的虚拟空间。在第一虚拟空间41与第一空间10之间不存在通信延迟。因此，用户1通过在第一虚拟空间41中操作虚拟烹饪机器人来虚拟地执行烹饪，从而能够在不考虑通信延迟的情况下由虚拟烹饪机器人执行烹饪。由用户1在第一虚拟空间41中执行的对虚拟烹饪机器人的操作输入作为控制指令被发送到第二空间20中的烹饪机器人200。这使得第二空间20中的烹饪机器人200可以如用户1所预期的那样动作。
然而，在第一虚拟空间41与第二空间20之间，由于感测的时间滞后等，环境2的状态和烹饪机器人200的动作可能彼此不完全一致。例如，烹饪后的烹饪对象的风味在第一虚拟空间41与第二空间20之间可能彼此不完全一致。
在这样的情况下，例如，在向用户1在视觉上呈现烹饪对象的风味时，如图8所示，除了目标值和第一虚拟空间41中的感测值(即，第一虚拟空间41中的表面当前值)之外，还可以呈现第二空间20中的感测值(即，第二空间20的实际当前值)。这使得用户1可以在视觉上检查第一虚拟空间41与第二空间20之间在烹饪对象的风味方面的差异，从而使得可以操作烹饪机器人200以使得第二空间20中的烹饪对象的风味更接近目标值。
(2.2.动作示例)
随后，参照图9，将描述根据本实施方式的烹饪系统的动作示例。图9是示出根据本实施方式的烹饪系统的示例的框图。
如图9所示，用户1通过操作第一虚拟空间41中的虚拟烹饪机器人来生成命令1(CMD1)。此后，响应于由命令1(CMD1)引起的第一虚拟空间41中的改变，用户1顺序地生成命令2(CMD2)、命令3(CMD3)和命令4(CMD4)。
命令1(CMD1)、命令2(CMD2)、命令3(CMD3)和命令4(CMD4)以通信延迟被发送到第二空间20中的烹饪机器人200，以控制烹饪机器人200并使烹饪机器人200执行烹饪。
第二空间20中的感测结果(例如，Sense1和Sense2)以通信延迟被发送到第一虚拟空间41。因此，用户1能够在第一虚拟空间41中以时间滞后检查由命令1(CMD1)、命令2(CMD2)、命令3(CMD3)和命令4(CMD4)引起的第二空间20中的状态的改变。
根据本实施方式的烹饪系统，在第一空间10中的用户1与第一虚拟空间41之间不发生通信延迟。这使得用户1可以解决由第一空间10与第二空间20之间的通信延迟引起的操作输入与烹饪机器人200的动作之间的时间滞后(即，操作延迟)，并操作烹饪机器人200。
<3.第三实施方式>
(3.1.配置示例)
随后，参照图10，将描述根据本公开内容的第三实施方式的烹饪系统的配置示例。图10是示出根据本实施方式的烹饪系统的配置的示例的框图。
如图10所示，根据第三实施方式的烹饪系统与根据第二实施方式的烹饪系统的不同之处在于，在第二空间20侧还设置有第二虚拟空间42。
第二虚拟空间42是在第二空间20侧模拟第二空间20的虚拟空间。具体地，第二虚拟空间42虚拟地设置有第二空间20中的烹饪机器人200和环境2。从信息处理设备100发送的控制指令被发送到第二虚拟空间42和第二空间20中的烹饪机器人200中的每一个，同时检查第二虚拟空间42基于环境2的感测结果被更新。第二虚拟空间42可以例如由烹饪机器人200的机器人控制器213等生成。
即，基于从用户1的对第一虚拟空间41中的虚拟烹饪机器人的操作输入而生成的控制指令被临时存储在第二虚拟空间42中的高速缓存中。此后，在检查基于第二空间20中的环境2的感测结果而被更新的第二虚拟空间42中的环境2的状态之后，将临时存储的控制指令顺序地发送到第二虚拟空间42中的虚拟烹饪机器人和第二空间20中的烹饪机器人200。
此外，应用于第二虚拟空间42的第二空间20中的环境2的感测结果也被应用于第一空间10侧的第二虚拟空间(镜像)52，并经由第二虚拟空间(镜像)52呈现给用户1。第二虚拟空间(镜像)52例如可以由信息处理设备100的运算装置生成。根据这样的配置，如果在烹饪机器人200的控制中发生错误并且第二空间20中的环境2的状态变为用户1不期望的状态，则用户1将第一虚拟空间41与第二虚拟空间(镜像)52彼此进行比较，从而根据错误的存在或不存在来明确差异，并且使得可以适当地解决错误。
第二虚拟空间42可以例如在第一空间10和第二空间20被分开成引起经由网络31的通信中的通信延迟的情况下生成。在第一空间10与第二空间20之间发生通信延迟的情况下，在从第一空间10侧发送的控制指令与第二空间20侧的烹饪机器人200之间可能发生延迟，并且在控制指令与烹饪机器人200的动作之间可能发生偏差。
设置在第二空间20侧的第二虚拟空间42与第二空间20之间不存在通信延迟。因此，烹饪机器人200将由指令生成单元120生成的控制指令临时存储在第二虚拟空间42中的高速缓存中，并且在检查第二空间20中的环境2的状态的同时将控制指令应用于动作的控制，从而使得可以在不引起控制指令与动作之间的偏差的情况下执行动作。
(3.2.动作示例)
随后，参照图11和图12，将描述根据本实施方式的烹饪系统的动作示例。图11是示出根据本实施方式的烹饪系统的动作的示例的框图。图12是示出根据本实施方式的烹饪系统的动作的另一示例的框图。
图11所示的烹饪系统的动作示例是在烹饪机器人200侧没有发生错误的情况下的动作示例。
如图11所示，用户1通过操作第一虚拟空间41中的虚拟烹饪机器人来生成命令1(CMD1)。此后，响应于由命令1(CMD1)引起的第一虚拟空间41中的改变，用户1顺序地生成命令2(CMD2)、命令3(CMD3)和命令4(CMD4)。
命令1(CMD1)、命令2(CMD2)、命令3(CMD3)和命令4(CMD4)以通信延迟被发送到第二虚拟空间42中的高速缓存，并被临时存储。通过第二空间20中的感测结果(例如，Sense1、Sense2、Sense3和Sense4)来更新第二虚拟空间42。在检查第二空间20中的感测结果(例如，Sense1、Sense2、Sense3和Sense4)的同时，将命令1(CMD1)、命令2(CMD2)、命令3(CMD3)和命令4(CMD4)顺序地从高速缓存发送到第二虚拟空间42中的虚拟烹饪机器人和第二空间20中的烹饪机器人200。
此外，第二空间20中的感测结果(例如，Sense1、Sense2、Sense3和Sense4)被反映在第二虚拟空间42中，并且此后以通信延迟被发送到第一空间10侧的第二虚拟空间(镜像)52，并且更新第二虚拟空间(镜像)52中的状态。因此，用户1能够以时间滞后在第二虚拟空间(镜像)52中检查由命令1(CMD1)、命令2(CMD2)、命令3(CMD3)和命令4(CMD4)引起的第二空间20中的状态改变。
图12所示的烹饪系统的动作示例是在烹饪机器人200侧发生错误的情况下的动作示例。
如图12所示，与图11一样，用户1通过操作第一虚拟空间41中的虚拟烹饪机器人来生成命令1(CMD1)。此后，响应于由命令1(CMD1)引起的第一虚拟空间41中的改变，用户1顺序地生成命令2(CMD2)、命令3(CMD3)和命令4(CMD4)。
命令1(CMD1)、命令2(CMD2)、命令3(CMD3)和命令4(CMD4)以通信延迟被发送到第二虚拟空间42中的高速缓存，并被临时存储。通过第二空间20中的感测结果(例如，Sense1)来更新第二虚拟空间42。在检查第二空间20中的感测结果(例如，Sense1)的同时，将命令1(CMD1)从高速缓存发送到第二虚拟空间42中的虚拟烹饪机器人和第二空间20中的烹饪机器人200。
此处，假设在通过命令1(CMD1)控制第二空间20中的烹饪机器人200之后发生错误，并且第二空间20中的烹饪机器人200没有正常地执行动作。在这样的情况下，跟随命令1(CMD1)的命令2(CMD2)、命令3(CMD3)和命令4(CMD4)不被发送到第二虚拟空间42中的虚拟烹饪机器人和第二空间20中的烹饪机器人200，并且保持临时存储在高速缓存中。
此后，第二空间20中的状态的感测结果(例如，Sense1、Sense5、Sense6和Sense7)被反映在第二虚拟空间42中，并且此后以通信延迟被发送到第一空间10侧的第二虚拟空间(镜像)52，并且更新第二虚拟空间(镜像)52中的状态。因此，在命令1(CMD1)之后，用户1能够在第二虚拟空间(镜像)52中以时间滞后检查第二空间20中的环境2已经改变为不期望的状态。此外，用户1能够通过检查第一虚拟空间41与第二虚拟空间(镜像)52之间的差异来掌握要由烹饪机器人200在第二空间20中执行的动作以解决错误。
根据本实施方式的烹饪系统，在第二虚拟空间42与第二空间20之间不发生通信延迟。这使得烹饪机器人200可以解决控制指令与烹饪机器人200的动作之间的时间滞后(即，控制延迟)，并且执行该动作。
<4.第四实施方式>
(4.1.概要)
随后，参照图13A和图13B，将描述根据本公开内容的第四实施方式的烹饪系统的概要。在根据第四实施方式的烹饪系统中，厨房、食材等也被布置在第一空间10侧，并且用户1实际上使用第一空间10中的厨房和食材来执行烹饪。根据第四实施方式的烹饪系统使用传感器等观察用户的运动以及厨房中的食材和烹饪用具的运动，并且能够基于观察结果使第二空间20中的烹饪机器人200执行烹饪。图13A是第一空间10中的对象的布置的示例的示意图。图13B是第二空间20中的对象的布置的示例的示意图。
例如，在用户1在第一空间10中执行烹饪并且使得第二空间20中的烹饪机器人200执行动作以使得跟踪用户1的运动的情况下，第一空间10中的对象的布置和第二空间中的对象的布置可以彼此不同，如图13A和图13B所示。具体地，厨房的水槽、炉灶和自由空间(区域1)的相应位置、食材的相应位置以及包括菜板、刀等的烹饪用具的相应位置可以在第一空间10与第二空间20之间彼此不同。
在这样的情况下，即使烹饪机器人200移动手臂等以跟踪用户1的运动，烹饪机器人200也难以以与用户1类似的方式执行烹饪。即，重要的是，烹饪机器人200掌握由用户1在第一空间10中执行的烹饪过程的含义，并在第二空间20中执行动作，以便执行相同含义的烹饪过程。
在根据本实施方式的烹饪系统中，信息处理设备100掌握用户1在第一空间10中的运动的含义，并将基于所掌握的含义的控制指令发送到烹饪机器人200。烹饪机器人200在第二空间20中执行具有与用户1的运动的含义相同的含义的动作，从而使得即使第一空间10和第二空间在对象的布置方面彼此不同，也可以执行与用户1所执行的烹饪相似的烹饪。
(4.2.配置示例)
接下来，参照图14至图15B，将具体描述根据本实施方式的烹饪系统的配置示例。图14是示出根据本实施方式的烹饪系统的更具体配置的示例的框图。图15A和图15B是用于说明第一空间10中的对象的布置与第二空间20中的对象的布置之间的关联的示意图。
如图14所示，根据第四实施方式的烹饪系统与根据第一实施方式的烹饪系统的不同之处在于，第一虚拟空间41和第二虚拟空间(镜像)52设置在第一空间10侧，并且第二虚拟空间42和第一虚拟空间(镜像)51设置在第二空间20侧。此外，要执行烹饪的环境2在第一空间10与第二空间20之间是不同的，并且在第一空间10与第二空间20之间执行基于信息的含义的关联。应注意，第一虚拟空间41可以由指令生成单元120等生成，以及第二虚拟空间(镜像)52可以由信息处理设备100的运算装置生成。第二虚拟空间42可以由机器人控制器213等生成，并且第一虚拟空间(镜像)51可以由烹饪机器人200的运算装置生成。
具体地，如图15A所示，通过成像装置151对第一空间10中的厨房的每个部分、食材和烹饪用具(下文中也统称为对象)进行成像。对象识别单元152能够通过基于由成像装置151捕获的图像执行图像识别来识别第一空间10中的对象的名称(即，含义)和位置(即，每个顶点的坐标等)。类似地，如图15B所示，通过成像装置251对第二空间20中的厨房的每个部分、食材和烹饪用具(下文中也统称为对象)进行成像。对象识别单元252能够通过基于由成像装置251捕获的图像执行图像识别来识别第二空间20中的对象的名称(即，含义)和位置(即，每个顶点的坐标等)。因此，第一空间10中的对象和第二空间20中的对象根据名称或含义彼此相关联，并且这允许识别对象之间的位置差异。
应注意，对象识别单元152和252可以通过使用机器学习技术例如深度神经网络的图像识别来识别第一空间10和第二空间20中的各个对象的名称(即，含义)和位置。可替选地，信息处理设备100可以将第一空间10和第二空间20中的相应图像呈现给用户1，以使用户1对第一空间10和第二空间20中的对象执行关联和位置识别。此外，信息处理设备100可以组合地使用对象识别单元152和252的图像识别和用户1的手动关联来对第一空间10和第二空间20中的对象执行关联和位置识别。
在根据本实施方式的烹饪系统中，首先，用户1进行在第一虚拟空间41中执行烹饪过程的动作，该第一虚拟空间41在第一空间10侧模拟第一空间10。用户1的动作经由网络31被发送到第一虚拟空间(镜像)51，第一虚拟空间(镜像)51在第二空间20侧再现第一虚拟空间41。此后，基于根据动作的含义的关联，将用户1在第一虚拟空间(镜像)51中的动作转换成虚拟烹饪机器人在第二虚拟空间42中的动作，该第二虚拟空间42在第二空间20侧模拟第二空间20。此后，第二虚拟空间42中的虚拟烹饪机器人的动作反映在第二空间20中的烹饪机器人200的实际动作中。
此外，由烹饪机器人200的动作引起的第二空间20中的环境2的变化被反映在第二虚拟空间42中，并且此后被反映在第二虚拟空间(镜像)52中，第二虚拟空间(镜像)52在第一空间10侧再现第二虚拟空间42。此后，基于根据含义的关联，将第二虚拟空间(镜像)52中的环境2的状态转换为第一虚拟空间41中的环境2的状态。
据此，通过用户1对在第一空间10与第二空间20之间关联的对象执行动作，根据本实施方式的烹饪系统能够使第二空间20中的烹饪机器人200执行具有与用户1的动作相同含义的动作。
例如，在第一空间10中的用户1执行“将菜板放置在区域1上”的动作的情况下，第二空间20中的烹饪机器人200将用户1的动作识别为以下动作命令，并且能够将第二空间20中的“菜板”放置在“区域1”上。
1.If Hand1(Clear)then PickUp(菜板)
2.If Hand1(菜板)then Move(Hand1,On(区域1))
3.If Hand1(on(区域1))then Release(Hand1)
在上文中，针对每个步骤检查“If Hand1(Clear)”、“IfHand1(菜板)”和“If Hand1(on(区域1)”，以便在烹饪机器人200满足针对执行动作的前提条件的情况下执行动作。在烹饪机器人200不满足前提条件的情况下，可以停止动作的执行，并且可以通过返回到前一步骤来重新开始动作。例如，在再次检查“Hand1”和“菜板”的当前位置之后，可以将“Hand1”的状态设置为“Clear”，并且可以从开始重复上述动作的步骤。如果上述方法没有解决错误，则烹饪机器人200可以向用户1发送请求以解决错误。
根据上述配置，根据本实施方式的烹饪系统即使在对象的布置彼此不同的第一空间10与第二空间20之间也能够通过第一空间10中的用户1的动作来控制第二空间20中的烹饪机器人200的动作。因此，根据本实施方式的烹饪系统，在对象的布置方面不同于第一空间10的第二空间20中的烹饪机器人200能够执行与由第一空间10中的用户1执行的烹饪类似的烹饪。
(4.3.修改示例)
接下来，参照图16，将描述根据本实施方式的烹饪系统的修改示例。图16是示出根据本实施方式的烹饪系统的修改示例的配置的示例的框图。
如图16所示，根据本实施方式的烹饪系统的修改示例与根据第四实施方式的烹饪系统的不同之处在于，信息处理设备100还设置有选择器160。
选择器160在第一虚拟空间41与第二虚拟空间(镜像)52之间切换用户1能够检查或操作的虚拟空间。通过使用选择器160，在第一空间10侧的用户1可以直接检查模拟第二空间20的第二虚拟空间(镜像)52中的状态，并且直接操作第二虚拟空间(镜像)52中的虚拟烹饪机器人。这使得在第二空间20中的烹饪机器人200中发生错误的情况下，用户1可以通过检查第二虚拟空间(镜像)52中的错误的原因并直接操作第二虚拟空间(镜像)52中的虚拟烹饪机器人来直接解决第二空间20中发生的错误。
<5.硬件配置示例>
另外，参照图17，将描述包括在根据本实施方式的实施方式的烹饪系统中的信息处理设备100的硬件配置。图17是示出信息处理设备100的硬件配置示例的框图。
根据本实施方式的信息处理设备100的功能可以结合下面将要描述的软件和硬件来实现。风味呈现单元110、指令生成单元120、转换器140和选择器160的相应功能可以由例如CPU 901执行。
如图17所示，信息处理设备100包括CPU(中央处理单元)901、ROM(只读存储器)903和RAM(随机存取存储器)905。
此外，信息处理设备100还可以包括主机总线907、桥接器909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923或通信装置925。此外，信息处理设备100可以根据需要包括成像装置933或传感器935。代替CPU 901或与CPU901一起，信息处理设备100还可以包括处理电路例如DSP(数字信号处理器)或ASIC(专用集成电路)。
CPU 901用作运算处理单元或控制单元，并且根据记录在ROM 903、RAM 905、存储装置919或可移除记录介质927中的各种程序来控制信息处理设备100中的操作。ROM 903存储由CPU 901使用的程序和运算参数。RAM 905临时存储要在CPU 901的执行中使用的程序以及要在执行期间使用的参数等。
CPU 901、ROM 903和RAM 905经由包括内部总线例如CPU总线等的主机总线907彼此耦接。另外，主机总线907经由桥接器909耦接至外部总线911例如PCI(外围部件互连/接口)总线。
输入装置915是接受来自用户的输入的装置，例如鼠标、键盘、触摸面板、按钮、开关、杠杆或外骨骼。输入装置915可以是检测用户的语音的麦克风等。输入装置915可以是使用例如红外光或其他无线电波的远程控制装置，或者可以是与信息处理设备100的操作兼容的外部连接装置929。
输入装置915还包括输入控制电路，该输入控制电路将基于由用户输入的信息生成的输入信号输出至CPU 901。用户向信息处理设备100输入各种数据，或者通过操作输入装置915来指示信息处理设备100执行处理操作。
输出装置917是能够将由信息处理设备100获取或生成的信息在视觉或听觉上呈现给用户的装置。输出装置917例如可以是：显示装置，例如LCD(液晶显示器)、PDP(等离子显示面板)、OLED(有机发光二极管)显示器、全息显示器或投影仪或头戴式显示器；音频输出装置，例如扬声器或头戴式耳机；或打印装置，例如打印机。输出装置917能够将通过由信息处理设备100执行的处理获得的信息输出为文本或图像形式的视频，或者输出为音频或声音形式的音频。
存储装置919是被配置为信息处理设备100的存储装置的示例的、用于存储数据的装置。存储装置919可以例如包括诸如HDD(硬盘驱动器)的磁存储装置、半导体存储装置、光学存储装置或磁光存储装置。存储装置919能够存储要由CPU 901执行的程序、各种数据以及从外部获得的各种数据。
驱动器921是用于可移除记录介质927例如磁盘、光盘、磁光盘或半导体存储器的读取装置或写入装置，并且内置在信息处理设备100中或从外部附接至信息处理设备100。例如，驱动器921能够读取记录在附接的可移除记录介质927上的信息，并且将信息输出至RAM 905。此外，驱动器921能够将记录写入附接的可移除记录介质927上。
连接端口923是用于使外部连接装置929直接耦接至信息处理设备100的端口。连接端口923的示例可以包括USB(通用串行总线)端口、IEEE1394端口、SCSI(小型计算机系统接口)端口等。此外，连接端口923的其他示例可以包括RS-232C端口、光学音频端子、HDMI(注册商标)(高清晰度多媒体接口)端口等。通过将外部连接装置929耦接至连接端口923，可以在信息处理设备100与外部连接装置929之间发送和接收各种数据。
通信装置925是包括例如用于建立至通信网络931的连接的通信装置的通信接口。通信装置925可以是例如有线或无线LAN(局域网)、蓝牙(注册商标)、用于WUSB(无线USB)的通信卡等。可替选地，通信装置925可以是用于光通信的路由器、用于ADSL(非对称数字用户线)的路由器、用于各种通信的调制解调器等。
例如，通信装置925能够使用预定协议例如TCP/IP在因特网上以及与其他通信装置一起来发送和接收信号等。此外，连接至通信装置925的通信网络931是经由有线或无线地连接的网络等。通信网络931可以是例如因特网通信网络、家用LAN、红外通信网络、无线电波通信网络、卫星通信网络等。
应当注意，还可以创建用于使内置在计算机中的硬件例如CPU 901、ROM 903或RAM905表现出与上述信息处理设备100基本相同的功能的程序。此外，还可以提供一种其上记录有程序的计算机可读记录介质。
已经参照第一实施方式至第四实施方式和修改示例描述了根据本公开内容的技术。然而，根据本公开内容的技术不限于前述实施方式等，并且可以以各种方式修改。
另外，并非在以上实施方式中描述的所有配置和操作均是作为本公开内容的配置和操作必不可少的。例如，在上述实施方式的部件中，未在指示本公开内容的最重要概念的独立权利要求中描述的部件将被理解为可选部件。
在整个说明书和所附权利要求中使用的术语应当被解释为“非限制性”术语。例如，术语“包含”或“被包含”应当被解释为“不限于被叙述为被包含的模式”。术语“包括”应被解释为“不限于被叙述为被包括的模式”。
本文所使用的术语仅是为了便于说明而使用的，并且包括不用于限制配置和操作的术语。例如，术语“右”、“左”、“顶部”和“底部”等仅各自指示所参照的附图上的方向。术语“内侧”和“外侧”仅各自分别指示朝向感兴趣的元件的中心的方向和远离感兴趣的元件的中心的方向。这同样适用于与这些术语类似的术语和具有类似含义的术语。
应注意，根据本公开内容的技术可以具有以下配置。根据具有以下配置的本公开内容的技术，存在于第一空间中的用户可以掌握存在于与第一空间分开的第二空间中的烹饪对象的风味。因此，本实施方式的信息处理设备和烹饪系统能够向操作存在于远程位置处的机器人的用户呈现比在远程位置处感测到的感测信息更多的感测信息。根据本公开内容的技术的效果不一定限于本文描述的那些效果。本公开内容还可以包括除了本文描述的效果之外的任何效果。
(1)
一种信息处理设备，包括：
风味呈现单元，其生成用于向存在于第一空间中的用户呈现存在于第二空间中的烹饪对象的风味的数据，第二空间与第一空间分开；以及
指令生成单元，其基于来自用户的输入生成用于控制存在于第二空间中的烹饪机器人的动作的控制指令。
(2)
根据(1)所述的信息处理设备，其中，烹饪对象包括在进入烹饪过程之前的食材、在烹饪过程中被烹饪的食材、或者经过全部的烹饪过程而完成的菜肴。
(3)
根据(1)或(2)所述的信息处理设备，其中，风味包括烹饪对象的味道、香味或口感中的至少一种或更多种。
(4)
根据(1)至(3)中任一项所述的信息处理设备，其中，风味呈现单元生成用于再现风味并将风味呈现给用户的感觉的数据。
(5)
根据(4)所述的信息处理设备，其中，感觉包括味觉、嗅觉或触觉中的至少一种或更多种。
(6)
根据(1)至(5)中任一项所述的信息处理设备，其中，风味呈现单元生成用于使风味可视化并将风味呈现给用户的数据。
(7)
根据(6)所述的信息处理设备，其中，风味呈现单元生成用于以叠加方式使烹饪对象的被感测到的风味和作为目标的风味可视化的数据。
(8)
根据(1)至(7)中任一项所述的信息处理设备，其中，指令生成单元在第一空间侧生成模拟第二空间的第一虚拟空间，并且基于用户对第一虚拟空间执行的输入来生成用于控制烹饪机器人的动作的控制指令。
(9)
根据(1)至(8)中任一项所述的信息处理设备，其中，控制指令基于针对第二空间的感测结果来控制第二虚拟空间中的烹饪机器人的动作，第二虚拟空间在第二空间侧生成。
(10)
根据(1)至(9)中任一项所述的信息处理设备，其中，来自用户的输入包括针对烹饪机器人的动作指令。
(11)
根据(1)至(9)中任一项所述的信息处理设备，其中，来自用户的输入包括通过感测用户的烹饪动作而获得的数据。
(12)
根据(1)至(11)中任一项所述的信息处理设备，其中，控制指令包括烹饪机器人的操作空间中的当前值、目标值以及从当前值到目标值的轨迹。
(13)
根据(12)所述的信息处理设备，其中，控制指令还包括设置在当前值与目标值之间的中间值。
(14)
根据(1)至(13)中任一项所述的信息处理设备，其中，
在第一空间和第二空间中，对象的布置彼此不同，并且
考虑第一空间和第二空间中的对象的布置的不同，通过控制指令来控制烹饪机器人的动作。
(15)
根据(14)所述的信息处理设备，其中，第一空间中的对象与第二空间中的对象通过对象的图像识别在彼此的含义方面相互关联。
(16)
根据(15)所述的信息处理设备，其中，指令生成单元掌握来自用户的输入的含义，并且生成具有与输入的含义相对应的含义的控制指令。
(17)
根据(1)至(16)中任一项所述的信息处理设备，其中，在第一空间侧生成的控制指令经由通信路径被发送到存在于第二空间中的烹饪机器人。
(18)
根据(17)所述的信息处理设备，其中，第一空间和第二空间彼此分开比在通信路径中引起通信延迟的距离大的距离。
(19)
一种烹饪系统，包括：
感测单元，其感测存在于第二空间中的烹饪对象的风味；
风味呈现单元，其生成用于向存在于第一空间中的用户呈现感测到的烹饪对象的风味的数据，第一空间与第二空间分开；
指令生成单元，其基于来自用户的输入生成控制指令；以及
烹饪机器人，其动作基于控制指令被控制，烹饪机器人对存在于第二空间中的烹饪对象进行烹饪。
本申请要求于2020年11月11日向日本专利局提交的日本优先权专利申请JP2020-188272的权益，该日本优先权专利申请的全部内容通过引用整体并入本文。
本领域技术人员应当理解，可以根据设计要求和其他因素进行各种修改、组合、子组合和改变，只要它们在所附权利要求或其等同物的范围内即可。

Claims (19)

1.一种信息处理设备，包括：
风味呈现单元，其生成用于向存在于第一空间中的用户呈现存在于第二空间中的烹饪对象的风味的数据，所述第二空间与所述第一空间分开；以及
指令生成单元，其基于来自所述用户的输入生成用于控制存在于所述第二空间中的烹饪机器人的动作的控制指令。
2.根据权利要求1所述的信息处理设备，其中，所述烹饪对象包括在进入烹饪过程之前的食材、在所述烹饪过程中被烹饪的食材、或者经过全部的所述烹饪过程而完成的菜肴。
3.根据权利要求1所述的信息处理设备，其中，所述风味包括所述烹饪对象的味道、香味或口感中的至少一种或更多种。
4.根据权利要求1所述的信息处理设备，其中，所述风味呈现单元生成用于再现所述风味并将所述风味呈现给所述用户的感觉的数据。
5.根据权利要求4所述的信息处理设备，其中，所述感觉包括味觉、嗅觉或触觉中的至少一种或更多种。
6.根据权利要求1所述的信息处理设备，其中，所述风味呈现单元生成用于使所述风味可视化并将所述风味呈现给所述用户的数据。
7.根据权利要求6所述的信息处理设备，其中，所述风味呈现单元生成用于以叠加的方式使所述烹饪对象的被感测到的风味和作为目标的风味可视化的数据。
8.根据权利要求1所述的信息处理设备，其中，所述指令生成单元在所述第一空间侧生成模拟所述第二空间的第一虚拟空间，并且基于所述用户对所述第一虚拟空间执行的输入来生成用于控制所述烹饪机器人的动作的所述控制指令。
9.根据权利要求1所述的信息处理设备，其中，所述控制指令基于针对所述第二空间的感测结果来控制第二虚拟空间中的所述烹饪机器人的动作，所述第二虚拟空间在所述第二空间侧生成。
10.根据权利要求1所述的信息处理设备，其中，来自所述用户的所述输入包括针对所述烹饪机器人的动作指令。
11.根据权利要求1所述的信息处理设备，其中，来自所述用户的所述输入包括通过感测所述用户的烹饪动作而获得的数据。
12.根据权利要求1所述的信息处理设备，其中，所述控制指令包括所述烹饪机器人的操作空间中的当前值、目标值以及从所述当前值到所述目标值的轨迹。
13.根据权利要求12所述的信息处理设备，其中，所述控制指令还包括设置在所述当前值与所述目标值之间的中间值。
14.根据权利要求1所述的信息处理设备，其中，
在所述第一空间和所述第二空间中，对象的布置彼此不同，并且
考虑所述第一空间和所述第二空间中的所述对象的布置的不同，通过所述控制指令来控制所述烹饪机器人的动作。
15.根据权利要求14所述的信息处理设备，其中，所述第一空间中的对象与所述第二空间中的对象通过对象的图像识别在彼此的含义方面相互关联。
16.根据权利要求15所述的信息处理设备，其中，所述指令生成单元掌握来自所述用户的所述输入的含义，并且生成具有与所述输入的含义相对应的含义的所述控制指令。
17.根据权利要求1所述的信息处理设备，其中，在所述第一空间侧生成的所述控制指令经由通信路径被发送到存在于所述第二空间中的所述烹饪机器人。
18.根据权利要求17所述的信息处理设备，其中，所述第一空间和所述第二空间彼此分开比在所述通信路径中引起通信延迟的距离大的距离。
19.一种烹饪系统，包括：
感测单元，其感测存在于第二空间中的烹饪对象的风味；
风味呈现单元，其生成用于向存在于第一空间中的用户呈现感测到的所述烹饪对象的风味的数据，所述第一空间与所述第二空间分开；
指令生成单元，其基于来自所述用户的输入生成控制指令；以及
烹饪机器人，其动作基于所述控制指令被控制，所述烹饪机器人对存在于所述第二空间中的所述烹饪对象进行烹饪。
CN202180073812.7A 2020-11-11 2021-10-05 信息处理设备和烹饪系统 Pending CN116507459A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020188272 2020-11-11
JP2020-188272 2020-11-11
PCT/JP2021/036876 WO2022102287A1 (ja) 2020-11-11 2021-10-05 情報処理装置、及び調理システム

Publications (1)

Publication Number Publication Date
CN116507459A true CN116507459A (zh) 2023-07-28

Family

ID=81600970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180073812.7A Pending CN116507459A (zh) 2020-11-11 2021-10-05 信息处理设备和烹饪系统

Country Status (5)

Country Link
US (1) US20230405808A1 (zh)
EP (1) EP4245479A4 (zh)
JP (1) JPWO2022102287A1 (zh)
CN (1) CN116507459A (zh)
WO (1) WO2022102287A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077444A (ja) * 2000-08-31 2002-03-15 Nec Access Technica Ltd 香気・味覚の回線伝達システムおよび回線伝達方法
JP4728107B2 (ja) * 2005-11-30 2011-07-20 クリナップ株式会社 コンピュータ支援キッチンシステム及び該システムを用いた味つけの伝達方法、調理作業の伝達方法並びにプログラム
JP4942672B2 (ja) * 2008-01-25 2012-05-30 三菱電機株式会社 ロボット軌道制御装置及びロボット軌道制御方法
KR102370289B1 (ko) 2018-03-30 2022-03-04 제이엑스금속주식회사 포토다이오드 및 광 감응 디바이스
JP7259269B2 (ja) 2018-11-05 2023-04-18 ソニーグループ株式会社 データ処理装置、データ処理方法
JP7259270B2 (ja) 2018-11-05 2023-04-18 ソニーグループ株式会社 調理ロボット、調理ロボット制御装置、制御方法
WO2020179401A1 (ja) * 2019-03-01 2020-09-10 ソニー株式会社 調理ロボット、調理ロボット制御装置、制御方法
JP2020175471A (ja) * 2019-04-18 2020-10-29 キヤノン株式会社 情報処理装置、情報処理方法、プログラム、及び記録媒体

Also Published As

Publication number Publication date
EP4245479A1 (en) 2023-09-20
JPWO2022102287A1 (zh) 2022-05-19
US20230405808A1 (en) 2023-12-21
WO2022102287A1 (ja) 2022-05-19
EP4245479A4 (en) 2024-04-10

Similar Documents

Publication Publication Date Title
US10317997B2 (en) Selection of optimally positioned sensors in a glove interface object
US8418085B2 (en) Gesture coach
US20130198625A1 (en) System For Generating Haptic Feedback and Receiving User Inputs
WO2017077751A1 (ja) 情報処理装置、情報処理方法およびプログラム
EP3364272A1 (en) Automatic localized haptics generation system
US11360545B2 (en) Information processing device, information processing method, and program
JP6834614B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US11157084B2 (en) Touch enabling process, haptic accessory, and core haptic engine to enable creation and delivery of tactile-enabled experiences with virtual objects
CN108509028A (zh) 用于虚拟情感触摸的系统和方法
Li et al. See, hear, and feel: Smart sensory fusion for robotic manipulation
KR101915780B1 (ko) 로봇을 이용하여 사용자에게 피드백을 제공하는 vr-로봇 연동 시스템 및 방법
JPWO2019187862A1 (ja) 情報処理装置、情報処理方法、および記録媒体
JP7416903B2 (ja) 動画配信システム、動画配信方法、及び動画配信プログラム
CN105881535A (zh) 可根据音乐节拍跳舞的机器人
US20160364960A1 (en) Systems and methods for ultrasonically induced tactile stimuli in an entertainment system
US11169599B2 (en) Information processing apparatus, information processing method, and program
US20220026991A1 (en) Method and Arrangement for Handling Haptic Feedback
CN116507459A (zh) 信息处理设备和烹饪系统
Macchini et al. Does spontaneous motion lead to intuitive Body-Machine Interfaces? A fitness study of different body segments for wearable telerobotics
US20170157514A1 (en) Condition Ascertainment Unit
JP5513974B2 (ja) 仮想力覚提示装置及び仮想力覚提示プログラム
JP6475921B2 (ja) 通信ユニット
US20190339771A1 (en) Method, System and Apparatus For Brainwave and View Based Recommendations and Story Telling
WO2022224504A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2022201922A1 (ja) 情報処理装置、情報処理方法及び情報処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination