CN113473890B - 烹饪机器人、烹饪机器人控制装置和控制方法 - Google Patents

烹饪机器人、烹饪机器人控制装置和控制方法 Download PDF

Info

Publication number
CN113473890B
CN113473890B CN202080016746.5A CN202080016746A CN113473890B CN 113473890 B CN113473890 B CN 113473890B CN 202080016746 A CN202080016746 A CN 202080016746A CN 113473890 B CN113473890 B CN 113473890B
Authority
CN
China
Prior art keywords
cooking
flavor
information
data
food material
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080016746.5A
Other languages
English (en)
Other versions
CN113473890A (zh
Inventor
藤田雅博
吉田芳
米夏埃尔·西格弗里德·施普兰格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113473890A publication Critical patent/CN113473890A/zh
Application granted granted Critical
Publication of CN113473890B publication Critical patent/CN113473890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0045Manipulators used in the food industry
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47JKITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J44/00Multi-purpose machines for preparing food with several driving units
    • AHUMAN NECESSITIES
    • A23FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23LFOODS, FOODSTUFFS, OR NON-ALCOHOLIC BEVERAGES, NOT COVERED BY SUBCLASSES A21D OR A23B-A23J; THEIR PREPARATION OR TREATMENT, e.g. COOKING, MODIFICATION OF NUTRITIVE QUALITIES, PHYSICAL TREATMENT; PRESERVATION OF FOODS OR FOODSTUFFS, IN GENERAL
    • A23L5/00Preparation or treatment of foods or foodstuffs, in general; Food or foodstuffs obtained thereby; Materials therefor
    • A23L5/10General methods of cooking foods, e.g. by roasting or frying
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47JKITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00Parts, details or accessories of cooking-vessels
    • A47J36/32Time-controlled igniting mechanisms or alarm devices
    • A47J36/321Time-controlled igniting mechanisms or alarm devices the electronic control being performed over a network, e.g. by means of a handheld device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • AHUMAN NECESSITIES
    • A23FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23VINDEXING SCHEME RELATING TO FOODS, FOODSTUFFS OR NON-ALCOHOLIC BEVERAGES AND LACTIC OR PROPIONIC ACID BACTERIA USED IN FOODSTUFFS OR FOOD PREPARATION
    • A23V2002/00Food compositions, function of food ingredients or processes for food or foodstuffs
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2643Oven, cooking

Landscapes

  • Engineering & Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Nutrition Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Polymers & Plastics (AREA)
  • General Preparation And Processing Of Foods (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

该技术涉及一种烹饪机器人、烹饪机器人控制装置和控制方法,其允许在使用烹饪机器人来再现由烹饪者制作的菜肴时提高再现性。该技术的一个方面的烹饪机器人通过使用包括数据集的食谱数据来控制由烹饪臂执行的烹饪动作,该数据集链接:描述与菜肴食材有关的信息和与使用食材的烹饪过程中的烹饪者的动作有关的信息的烹饪操作数据;以及指示与烹饪过程的进度相结合地测量的烹饪者的感觉的感官数据。该技术可以应用于通过操作臂来进行烹饪的烹饪机器人。

Description

烹饪机器人、烹饪机器人控制装置和控制方法
技术领域
本技术涉及烹饪机器人、烹饪机器人控制装置和控制方法,具体地,涉及能够在烹饪机器人再现与烹饪者制作的菜肴相同菜肴的情况下提高再现性的烹饪机器人、烹饪机器人控制装置和控制方法。
背景技术
正在研究一种用于通过在烹饪期间感测烹饪者的移动并且保存/发送感测结果数据的数据来在烹饪机器人侧再现由烹饪者制作的菜肴的技术。例如,基于与烹饪者的手的移动相同的移动的感测结果来实现由烹饪机器人进行的烹饪操作。
引文列表
专利文献
专利文献1:PCT日文翻译专利公开第2017-506169号
专利文献2:PCT日文翻译专利公开第2017-536247号
发明内容
本发明要解决的问题
通过使用常规烹饪机器人的烹饪方法,即使根据食谱执行烹饪过程,实际上也难以如烹饪者想要的那样再现菜肴。
这是因为味觉、嗅觉等取决于烹饪者和食用食物的个人而不同,并且食材的类型、大小、质感、产地等在烹饪者侧与再现侧之间不同,烹饪设备的类型和能力不同,并且诸如温度和湿度的烹饪环境也不同。
鉴于上述情况而做出了本技术,并且本技术在由烹饪机器人再现与烹饪者制作的菜肴相同的菜肴的情况下改进了再现性。
问题的解决方案
根据本技术的一个方面的烹饪机器人包括:烹饪臂,其被配置成执行用于制作菜肴的烹饪操作;以及控制单元,其被配置成使用包括以下数据集的食谱数据来控制由烹饪臂执行烹饪操作,在该数据集中,将烹饪操作数据和感觉数据相链接,该烹饪操作数据描述关于菜肴的食材的信息以及关于使用食材在饪过程中的烹饪者的操作的信息,并且该感觉数据指示与烹饪过程的进度相结合地测量的烹饪者的感觉。
在本技术的一方面,使用包括以下数据集的食谱数据来控制由烹饪臂执行的烹饪操作,在该数据集中,将烹饪操作数据和感觉数据相链接,该烹饪操作数据描述关于菜肴的食材的信息以及关于使用食材的烹饪过程中的烹饪者的操作的信息,并且该感觉数据指示与烹饪过程的进度相结合地测量的烹饪者的感觉。
附图说明
图1是示出根据本技术的实施方式的烹饪系统中的整体处理的示例的图。
图2是用于描述在厨师侧和再现侧上使用的食材上的差异的图。
图3是示出食谱数据的描述内容的示例的图。
图4是示出包含在烹饪过程数据集中的信息的示例的图。
图5是示出风味的构成要素的示例的图。
图6是示出味觉主观信息的计算示例的图。
图7是示出味觉主观信息的图表的示例的图。
图8是示出食谱数据的示例的图。
图9是示出生成食谱数据的流程的示例的图。
图10是示出基于食谱数据再现菜肴的流程的示例的图。
图11是一起示出厨师侧的流程和再现侧的流程的图。
图12是示出食谱数据的另一描述内容的示例的图。
图13是示出根据本技术的实施方式的烹饪系统的配置示例的图。
图14是示出烹饪系统的另一配置示例的图。
图15是示出控制装置的配置示例的图。
图16是示出厨师进行烹饪的厨房周围的配置示例的图。
图17是示出味觉传感器的使用状态的示例的图。
图18是示出厨师侧的配置示例的框图。
图19是示出数据处理装置的硬件的配置示例的框图。
图20是示出数据处理装置的功能配置示例的框图。
图21是示出烹饪机器人的外观的立体图。
图22是示出烹饪臂的状况的放大视图。
图23是示出烹饪臂的外观的视图。
图24是示出烹饪臂的各个部分的可移动范围的示例的视图。
图25是示出烹饪臂与控制器之间的连接的示例的视图。
图26是示出烹饪机器人及其周围的配置的示例的框图。
图27是示出控制装置的功能配置示例的框图。
图28是示出风味信息处理单元的配置示例的框图。
图29是用于描述数据处理装置的食谱数据生成处理的流程图。
图30是用于描述在图29的步骤S5中执行的风味信息生成处理的流程图。
图31是用于描述控制装置的菜肴再现处理的流程图。
图32是用于描述在图31的步骤S36中执行的风味测量处理的流程图。
图33是用于描述在图31的步骤S38中执行的风味调整处理的流程图。
图34是用于描述在图33的步骤S61中执行的味道调整处理的流程图。
图35是示出计划的示例的图。
图36是用于描述控制装置的风味调整处理的流程图。
图37是示出确定风味的示例的图。
图38是示出使用风味主观信息来确定风味的示例的图。
图39是示出用于生成传感器数据的模型的示例的图。
图40是用于描述控制装置的风味传感器信息校正处理的流程图。
图41是示出烹饪系统的另一配置示例的图。
具体实施方式
<本技术的概要>
本技术聚焦于烹饪者制作菜肴时的感觉与基于由烹饪者创建的食谱执行烹饪时的感觉之间的差异,并且链接通过将制作菜肴时的烹饪者的感觉转换成数据而获得的感觉数据与描述食材和烹饪过程的数据,以管理链接的数据作为食谱数据。
此外,本技术通过基于由感觉数据表示的烹饪者的感觉来调整烹饪机器人的烹饪操作,使得烹饪机器人侧能够再现具有由烹饪者想要的风味的菜肴。
此外,本技术通过使用除感觉数据之外的在再现时的烹饪操作期间感测到的数据来调整食材和烹饪操作,根据食用菜肴的个人的特性(属性、状态等)来实现灵活的烹饪。
在下文中,将描述用于实现本技术的方式。将按照以下顺序给出说明。
1.在烹饪系统中食谱数据的生成以及菜肴的再现
2.食谱数据
3.食谱数据的生成和菜肴的再现的流程示例
4.烹饪系统的配置示例
5.烹饪系统的操作
6.修改例
<在烹饪系统中食谱数据的生成和菜肴的再现>
图1是示出根据本技术的实施方式的烹饪系统中的整体处理的示例的图。
如图1所示,烹饪系统包括用于烹饪的厨师侧配置和用于再现由厨师制作的菜肴的再现侧配置。
厨师侧配置例如是设置在餐馆中的配置,并且再现侧配置例如是设置在普通家庭中的配置。准备烹饪机器人1作为再现侧配置。
图1的烹饪系统是与由厨师制作的菜肴相同的菜肴被再现在作为再现侧配置的烹饪机器人1上的系统。烹饪机器人1是包括诸如烹饪臂和各种传感器的驱动系统装置并且具有烹饪功能的机器人。
由箭头指示的食谱数据从厨师侧配置被提供至包括烹饪机器人1的再现侧配置。如下面将详细描述的,在食谱数据中描述了关于由厨师制作的菜肴的信息,其包括菜肴的食材。
在再现侧配置中,通过基于食谱数据控制烹饪机器人1的烹饪操作来再现菜肴。例如,通过使烹饪机器人1执行用于实现与厨师的烹饪过程相同的过程的烹饪操作来再现菜肴。
尽管将厨师示出为执行烹饪的厨师,但是图1的烹饪系统适用于任何人进行烹饪的情况,只要这个人执行烹饪,而与厨师或烹饪者的名字或在厨房中的角色无关。
此外,尽管在图1中示出一个厨师侧配置,但是烹饪系统包括分别设置在多个餐馆中的多个厨师侧配置。例如,由食用由烹饪机器人1再现的菜肴的个人选择的预定厨师所制作的预定菜肴的食谱数据被提供给再现侧配置。
注意,菜肴是指烹饪之后完成的工作产品。烹饪是指制作菜肴的过程或制作菜肴的动作(工作)。
图2是用于描述在厨师侧和再现侧上使用的食材上的差异的图。
在例如厨师的烹饪中使用胡萝卜的情况下,在食谱数据中描述了表示使用胡萝卜作为食材的信息。此外,描述了关于使用胡萝卜的烹饪过程的信息。
类似地,基于食谱数据在再现侧执行使用胡萝卜的烹饪操作。
此处,即使食材被分类为相同的“胡萝卜”,但由于类型、产地、收获时间、生长状况和收获之后的环境上的差异,由厨师侧制备的胡萝卜和由再现侧制备的胡萝卜在味道、香气和质感上也不同。不存在作为天然产品的完全相同的食材。
因此,即使烹饪机器人1执行与厨师的操作完全相同的烹饪操作,使用胡萝卜制备的菜肴的风味也将不同。下面将描述风味的细节。
经历多个烹饪过程以完成一个菜肴,但是即使查看通过使用胡萝卜的一个烹饪过程而制作的半成品菜肴,其风味在厨师侧与再现侧之间也不同。
类似地,取决于某个烹饪过程中使用的调味料的差异、用于烹饪的烹饪工具(例如,厨房刀和锅)的差异以及设备中诸如火力的差异,成品菜肴或半成品菜肴的风味在厨师侧与再现侧之间是不同的。
因此,在图1的烹饪系统中,例如,每次执行一个烹饪过程,都测量由厨师在制作菜肴时作为感觉获得的风味。在提供给再现侧的食谱数据中,通过将由厨师获得的风味转换成数据获得的感觉数据被描述为与例如关于与一个烹饪过程有关的食材和操作的信息相链接。
<食谱数据>
图3是示出食谱数据的描述内容的示例的图。
如图3所示,一个食谱数据包括多个烹饪过程数据集。在图3的示例中,包括与烹饪过程#1有关的烹饪过程数据集、与烹饪过程#2有关的烹饪过程数据集......、以及与烹饪过程#N有关的烹饪过程数据集。
因此,在食谱数据中,将关于一个烹饪过程的信息描述为一个烹饪过程数据集。
图4是示出烹饪过程数据集中包括的信息的示例的图。
如图4的气球所示,烹饪过程数据集包括作为关于用于实现烹饪过程的烹饪操作的信息的烹饪操作信息以及作为关于已经历烹饪过程的食材的风味的信息的风味信息。
1.烹饪操作信息
烹饪操作信息包括食材信息和操作信息。
1-1.食材信息
食材信息是关于由厨师在烹饪过程中使用的食材的信息。关于食材的信息包括表示食材的类型、数量和大小的信息。
例如,在厨师在某个烹饪过程中用胡萝卜进行烹饪的情况下,表示胡萝卜被使用的信息被包括在食材信息中。在食材信息中还包括表示由厨师用作菜肴的食材(例如水和调味料)的各种食物的信息。食物是人可以食用的各种物品。
食材不仅包括完全未烹饪过的食材,而且还包括通过应用某种烹饪而获得的已烹饪过(制备的)的食材。某个烹饪过程的烹饪操作信息中包括的食材信息包括已经经历先前烹饪过程的食材的信息。
例如可以通过分析由摄像装置捕获的正在烹饪的厨师的图像来识别由厨师使用的食材。食材信息是基于食材的识别结果而生成的。由摄像装置捕获的图像可以是静态图像或动态图像。
可以由厨师或在生成食谱数据时支持厨师的另一个人(例如工作人员)来注册食材信息。
1-2.操作信息
操作信息是关于厨师在烹饪过程中的运动的信息。关于厨师的移动的信息包括表示厨师的身体每次的移动的信息,其包括由厨师使用的烹饪工具的类型和手移动、厨师每次的站立位置等。
例如,在厨师用厨房刀切割某种食材的情况下,操作信息包括表示厨房刀已被用作烹饪工具的信息、表示切割位置、切割次数、切割强度、角度、速度等的信息。
此外,在厨师用长柄勺搅拌容纳有作为食材的液体的锅的情况下,操作信息包括表示已将长柄勺用作烹饪工具的信息、表示搅拌方法的强度、角度、速度、时间等的信息。
在厨师在烤箱中烘烤某种食材的情况下,操作信息包括表示烤箱已被用作烹饪工具、烤箱的加热功率、烘烤时间等的信息。
在厨师已经将食材摆放在盘子上的情况下,操作信息包括用于摆放食材的餐具、布置食材的方法、食材的颜色等的信息。
例如,通过分析由摄像装置捕获的正在烹饪的厨师的图像,或者通过分析由附接至厨师的传感器测量的传感器数据,识别厨师的移动。基于厨师的移动的识别结果来生成操作信息。
2.风味信息
如图4所示,风味信息包括风味传感器信息和风味主观信息。获得风味作为感觉。包括在烹饪过程数据集中的风味信息对应于通过将厨师的感觉转换为数据而获得的感觉数据。
图5是示出风味的构成要素的示例的图。
如图5所示,个人在大脑中感觉到的美味即“风味”主要是通过个人的味觉获得的味道、通过个人的嗅觉获得的香气和通过个人的触觉获得的质感的组合。
风味还包括体感温度(apparent temperature)和颜色,这是因为个人感觉到美味取决于食材的体感温度和颜色而改变。
将描述风味的配置要素。
(1)味道
味道包括可以由舌头和口腔中的味觉受体细胞感觉到的五种味道(咸味、酸味、苦味、甜味和鲜味)。咸味、酸味、苦味、甜味和鲜味被称为基本的五种风味。
此外,除了基本的五种味道外,味道还包括不仅在口腔中的辣味,而且还包括在属于瞬时受体电位(TRP)通道家族的香草醛受体(vanilloid receptor)中感觉到的辣味,这是一种全身疼痛感。涩味也是味道的一种,尽管涩味与苦味取决于浓度而交叠。
将描述每种味道。
-咸味
产生咸味的物质包括通过离子化键形成盐的矿物质(Na、K、Fe、Mg、Ca、Cu、Mn、Al、Zn等)。
-酸味
产生酸味的物质包括酸,例如柠檬酸和乙酸。通常,取决于pH的降低(例如,约pH3)来感觉到酸味。
-甜味
产生甜味的物质包括糖(例如蔗糖和葡萄糖)、脂质、氨基酸(例如甘氨酸)和人造甜味剂。
-鲜味
产生鲜味的物质包括氨基酸(例如谷氨酸和天冬氨酸)、核酸衍生物(例如肌苷酸、鸟苷酸和黄苷酸)、有机酸(例如琥珀酸)和盐。
-苦味
产生苦味的物质包括生物碱(例如咖啡因)、葎草酮(例如可可碱、烟碱、儿茶素和萜类化合物)、柠檬苦素、葫芦素、黄烷酮糖苷柚皮苷、苦味氨基酸、苦味肽、胆汁酸和无机盐(例如钙盐和镁盐)。
-涩味
产生涩味的物质包括多酚、单宁、儿茶素、多价离子(Al、Zn和Cr)、乙醇和丙酮。涩味被识别或测量为苦味的一部分。
-辣味
产生辣味的物质包括辣椒素。作为生物功能,辣椒素和薄荷醇被TRP通道家族的温暖受体识别为疼痛感觉,而不是味觉。辣椒素是辣椒和各种香料的一种成分,人感到热,薄荷醇是薄荷的一种成分,人感到冷。
(2)香气
该香气由分子量为300或更小的挥发性低分子量有机化合物感知,其被鼻腔和鼻咽中表达的嗅觉受体识别(结合)。
(3)质感
质感是称为食物质感的指标,并且由硬度、粘性、粘度、凝聚性、聚合物含量、水含量(水分)、油含量(油腻性)等来表示。
(4)体感温度
体感温度是由人类皮肤感觉到的温度。体感温度不仅是食物本身的温度,而且还是皮肤表层响应于食物成分而感觉到的温度感觉,例如包含诸如薄荷的挥发性物质的食物的清爽感,以及包含有诸如辣椒的辣味食材的食物的温暖感。
(5)颜色
食物的颜色反映了食物中包含的色素以及苦味和涩味的成分。例如,植物源性(plant-derived)的食物包括通过光合作用产生的色素和与多酚的苦味和涩味有关的成分。可以通过光学测量方法从食物的颜色估计食物中包括的成分。
2-1.风味传感器信息
配置风味信息的风味传感器信息是通过用传感器测量食材的风味而获得的传感器数据。由传感器通过测量未烹饪的食材的风味获得的传感器数据可以被包括在风味信息中作为风味传感器信息。
由于风味由味道、香气、质感、体感温度和颜色进行配置,因此风味传感器信息包括与味道有关的传感器数据、与香气有关的传感器数据、与质感有关的传感器数据、与体感温度有关的传感器数据以及与颜色有关的传感器数据。所有传感器数据可以被包括在风味传感器信息中,或者没有任何传感器数据可以被包括在风味传感器信息中。
配置风味传感器信息的各个传感器数据被称为味觉传感器数据、嗅觉传感器数据、质感传感器数据、体感温度传感器数据和颜色传感器数据。
味觉传感器数据是由味觉传感器测量的传感器数据。味觉传感器数据由咸味传感器值、酸味传感器值、苦味传感器值、甜味传感器值、鲜味传感器值、辣味传感器值和涩味传感器值中的至少一个参数来配置。
味觉传感器包括例如在传感器单元中使用人造脂质膜的人造脂质膜型味觉传感器。人造脂质膜型味觉传感器是一种如下传感器,其用于检测脂质膜相对于味觉物质的静电和疏水相互作用引起的膜电位变化,该味觉物质是引起感觉到味道的物质,并将该变化作为传感器值输出。
能够将配置食物的味道的咸味、酸味、苦味、甜味、鲜味、辣味和涩味的各个要素转换为数据并输出该数据的装置可以使用各种装置,例如,使用聚合物膜作为味觉传感器的味觉传感器,而不是人造脂质膜型味觉传感器。
嗅觉传感器数据是由嗅觉传感器测量的传感器数据。嗅觉传感器数据由表示香气的每个要素的值进行配置,例如,香辛香气、水果香气、青草味、霉味(奶酪味)、柑橘香气和玫瑰香气。
嗅觉传感器包括例如设置有无数传感器的传感器,例如晶体振荡器。使用晶体振荡器代替人类的鼻受体。使用晶体振荡器的嗅觉传感器检测在香气成分撞击晶体振荡器时晶体振荡器的振荡频率的改变,并且基于该振荡频率的改变的模式来输出表达上述香气的值。
能够输出表达香气的值的装置可以使用如下各种装置,例如使用利用诸如碳的各种材料形成的传感器代替人类鼻受体作为嗅觉传感器(而非使用晶体振荡器的传感器)的装置。
质感传感器数据是通过分析由摄像装置捕获的图像和由各种传感器测量的传感器数据而指定的传感器数据。质感传感器数据由表示硬度、粘性、粘度(应力)、凝聚性、聚合物含量、水含量、油含量等的信息的至少一个参数进行配置。
硬度、粘性、粘度和凝聚性例如通过分析由摄像装置捕获的厨师所烹饪的食材的图像来识别。例如,通过分析由厨师搅拌的汤的图像,可以识别硬度、粘性、粘度和凝聚性的值。这些值可以通过测量厨师用厨房刀切割食材时的压力来识别。
聚合物含量、水含量和油含量通过例如传感器来测量,该传感器使用具有预定波长的光来照射食材,并且分析反射光以测量值。
准备其中每种食材和质感的每个参数彼此相关联的数据库,并且可以通过参考该数据库来识别每种食材的质感传感器数据。
体感温度传感器数据是通过使用温度传感器测量食材的温度而获得的传感器数据。
颜色传感器数据是通过分析来自摄像装置所捕获的图像的食材的颜色而指定的数据。
2-2.风味主观信息
风味主观信息是表示诸如正在烹饪的厨师的个人如何感觉主观风味的信息。基于风味传感器信息来计算风味主观信息。
由于风味是由味道、香气、质感、体感温度和颜色配置的,因此风味主观信息包括与味道有关的主观信息、与香气有关的主观信息、与质感有关的主观信息、与体感温度有关的主观信息以及与颜色有关的主观信息。与味道有关的主观信息、与香气有关的主观信息、与质感有关的主观信息、与体感温度有关的主观信息以及与颜色有关的主观信息全部都可以被包括在风味主观信息中,或者一些主观信息可以不被包括在风味主观信息中。
配置风味主观信息的各条主观信息被称为味觉主观信息、嗅觉主观信息、质感主观信息、体感温度主观信息和颜色主观信息。
图6是示出味觉主观信息的计算示例的图。
如图6所示,使用味觉主观信息生成模型来计算味觉主观信息,该味觉主观信息生成模型是通过深度学习等生成的神经网络的模型。例如,通过使用某种食材的味觉传感器数据和表示已食用该食材的厨师如何感觉味道的信息(数值)执行学习,来预先生成味觉主观信息生成模型。
例如,如图6所示,在输入作为某种食材的味觉传感器数据的咸味传感器值、酸味传感器值、苦味传感器值、甜味传感器值、鲜味传感器值、辣味传感器值和涩味传感器值的情况下,从味觉主观信息生成模型输出咸味主观值、酸味主观值、苦味主观值、甜味主观值、鲜味主观值、辣味主观值和涩味主观值。
咸味主观值是表示厨师如何感觉咸味的值。酸味主观值是表示厨师如何感觉酸味的值。类似地,苦味主观值、甜味主观值、鲜味主观值、辣味主观值和涩味主观值是分别表示厨师如何感觉苦味、甜味、鲜味、辣味和涩味的值。
如图7所示,使用咸味主观值、酸味主观值、苦味主观值、甜味主观值、鲜味主观值、辣味主观值和涩味主观值来将某种食材的味觉主观信息示出为图表。具有味觉主观信息的图表的相似形状的食材是仅关注风味的味道时对于厨师而言具有相似的味道的食材。
类似地,使用用于生成主观信息的各个模型来计算配置风味主观信息的其他主观信息。
即,通过将嗅觉传感器数据输入到嗅觉主观信息生成模型中来计算嗅觉主观信息,并且通过将质感传感器数据输入到质感主观信息生成模型中来计算质感主观信息。通过将体感温度主观传感器数据输入到体感温度主观信息模型来计算体感温度主观信息,并且通过将颜色传感器数据输入到颜色主观信息生成模型中来计算颜色主观信息。
可以基于表格信息而不是使用神经网络模型来计算味觉主观信息,在该表格信息中,将某种食材的味觉传感器数据与表示已食用该食材的厨师如何感觉味道的信息相关联。可以采用用于使用风味传感器信息来计算风味主观信息的各种方法。
如上所述,食谱数据是通过将作为关于实现烹饪过程的烹饪操作的信息的烹饪操作信息链接(关联)到作为关于结合烹饪过程测量的食材或菜肴的风味的信息的风味信息来配置的。
如图8所示,为每个菜肴准备包括以上信息中的每个的食谱数据。例如,由安装烹饪机器人1的地方处的个人来选择哪些食谱数据用于再现菜肴。
<食谱数据的生成和菜肴的再现的流程的示例>
图9是示出生成食谱数据的流程的示例的图。
如图9所示,由厨师进行的烹饪通常通过对每个烹饪过程重复使用食材的烹饪、品尝经烹饪的食材并且调整风味来进行。
例如,通过添加工作例如在咸味不足时添加盐或在酸味不足时挤压柠檬汁来调整风味。例如,通过添加工作例如切碎和添加香草,或加热食材来调整香气。例如,通过添加工作例如在食材较硬时敲打食材以使其变软或增加用于烹煮食材的时间来调整质感。
通过感测使用食材进行烹饪的厨师的操作和调整风味的厨师的操作,基于感测结果,来生成配置烹饪过程数据集的烹饪操作信息。
此外,通过感测经烹饪的食材的风味,基于感测结果来生成风味信息。
在图9的示例中,如箭头A1和A2所示,基于由厨师作为烹饪过程#1执行的烹饪操作以及厨师用于调整风味的操作的感测结果,来生成配置烹饪过程#1的烹饪过程数据集的烹饪操作信息。
此外,如箭头A3所示,基于通过烹饪过程#1烹饪的食材的风味的感测结果,来生成配置烹饪过程#1的烹饪过程数据集的风味信息。
在烹饪过程#1完成之后,执行烹饪过程#2,其是下一个烹饪过程。
类似地,如箭头A11和A12所示,基于由厨师作为烹饪过程#2执行的烹饪操作以及厨师用于调整风味的操作的感测结果,生成配置烹饪过程#2的烹饪过程数据集的烹饪操作信息。
此外,如箭头A13所示,基于通过烹饪过程#2对经烹饪的食材的风味的感测结果,生成配置烹饪过程#2的烹饪过程数据集的风味信息。
通过这样的多个烹饪过程完成一个菜肴。此外,当完成菜肴时,生成描述每个烹饪过程的烹饪过程数据集的食谱数据。
在下文中,将描述一个烹饪过程主要由烹饪、品尝和调整的三个烹饪操作进行配置的情况,但是可以任意设置在一个烹饪过程中包括的烹饪操作的单元。一个烹饪过程可以由不涉及品尝或品尝后风味调整的烹饪操作来配置,或者可以由风味调整来配置。同样在这种情况下,在烹饪过程数据集中包括通过感测每个烹饪过程的风味基于感测结果而获得的风味信息。
也可以任意设置用于感测风味的定时,而不是每次完成一个烹饪过程都感测风味。例如,可以在一个烹饪过程期间重复进行风味感测。在这种情况下,烹饪过程数据集包括风味信息的时间序列数据。
风味信息可以与在每次在任意定时处测量风味的定时处执行的烹饪操作的信息一起包括在烹饪过程数据集中,而不是在所有的烹饪过程数据集中都包括风味信息。
图10是示出基于食谱数据再现菜肴的流程的示例的图。
如图10所示,通过以下操作来执行由烹饪机器人1对菜肴的再现,基于在食谱数据中描述的烹饪过程数据集中包括的烹饪操作信息,针对每个烹饪过程重复烹饪,测量经烹饪的食材的风味并且调整风味。
通过添加工作来调整风味,使得例如由在烹饪机器人1侧上准备的传感器测量的风味接近由风味信息表示的风味。下面将描述由烹饪机器人1进行的风味调整的细节。
风味测量和调整例如可以在烹饪过程中重复多次。即,每次执行调整时,就针对经调整的食材测量风味,并且基于测量结果来调整风味。
在图10的示例中,如箭头A21所示,基于配置烹饪过程#1的烹饪过程数据集的烹饪操作信息来控制烹饪机器人1的烹饪操作,并且由烹饪机器人1执行与厨师的烹饪过程#1的操作相同的操作。
在由烹饪机器人1执行与厨师的烹饪过程#1的操作相同的操作之后,测量经烹饪食材的风味,并且如箭头A22所示,基于配置烹饪过程#1的烹饪过程数据集的风味信息来控制对烹饪机器人1的风味的调整。
在由在烹饪机器人1侧上准备的传感器测量的风味与由风味信息表示的风味相匹配的情况下,风味调整完成,并且烹饪过程#1也完成。例如,不仅在风味完全相同的情况下,而且还在风味相似达阈值或更多的情况下,确定由在烹饪机器人1侧准备的传感器测量的风味与由风味信息表示的风味相匹配。
在烹饪过程#1完成之后,执行烹饪过程#2,其是下一个烹饪过程。
类似地,如箭头A31所示,基于配置烹饪过程#2的烹饪过程数据集的烹饪操作信息来控制烹饪机器人1的烹饪操作,并且由烹饪机器人1执行与厨师的烹饪过程#2的操作相同的操作。
在由烹饪机器人1执行与厨师的烹饪过程#2的操作相同的操作之后,测量经烹饪的食材的风味,并且如箭头A32所示,基于配置烹饪过程#2的烹饪过程数据集的风味信息来控制对烹饪机器人1的风味的调整。
在由在烹饪机器人1侧上准备的传感器测量的风味与由风味信息表示的风味相匹配的情况下,风味调整完成,并且烹饪过程#2也完成。
通过这样的多个烹饪过程,由烹饪机器人1再现由厨师制作的菜肴。
图11是一起示出厨师侧的流程和再现侧的流程的图。
如图11的左侧所示,通过多个烹饪过程#1至#N完成一个菜肴,并且生成描述每个烹饪过程的烹饪过程数据集的食谱数据。
同时,在再现侧,基于由厨师的烹饪生成的食谱数据,通过与在厨师侧执行的烹饪过程相同的多个烹饪过程#1至#N来再现一个菜肴。
由于通过调整每个烹饪过程的风味来执行由烹饪机器人1进行的烹饪,因此最终菜肴将是与由厨师制作的菜肴具有相同或相似的风味的菜肴。以这种方式,基于食谱数据以高度可再现的形式再现与由厨师制作的菜肴具有相同风味的菜肴。
例如,厨师可以为无法到访厨师自己的餐馆的个人提供与由厨师制作的菜肴具有相同风味的菜肴。此外,厨师可以将由厨师制作的菜肴以可再现的形式保留为食谱数据。
同时,食用由烹饪机器人1再现的菜肴的个人可以食用与由厨师制备的菜肴具有相同风味的菜肴。
图12是示出食谱数据的另一描述内容的示例的图。
如图12所示,食谱数据可以包括关于完成的菜肴的风味的风味信息。在这种情况下,关于完成的菜肴的风味的风味信息被链接至整个烹饪操作信息。
以这种方式,烹饪操作信息与风味信息之间相关联的关系不一定是一对一的。
<烹饪系统的配置示例>
(1)整体配置
图13是示出根据本技术的实施方式的烹饪系统的配置示例的图。
如图13所示,通过经由诸如因特网的网络13连接被设置为厨师侧配置的数据处理装置11与被设置为再现侧配置的控制装置12来配置烹饪系统。如上所述,烹饪系统被设置有多个这样的厨师侧配置和再现侧配置。
数据处理装置11是生成上述食谱数据的装置。由计算机等配置数据处理装置11。数据处理装置11经由网络13将例如由食用再现的菜肴的个人选择的菜肴的食谱数据发送至控制装置12。
控制装置12是控制烹饪机器人1的装置。控制装置12也由计算机等配置。控制装置12接收由数据处理装置11提供的食谱数据,并且基于食谱数据的描述输出指示命令,以控制烹饪机器人1的烹饪操作。
烹饪机器人1根据从控制装置12提供的指示命令来驱动诸如烹饪臂的每个部分,以执行每个烹饪过程的烹饪操作。指示命令包括设置在烹饪臂中的马达的扭矩、驱动方向、用于控制驱动量的信息等。
控制装置12将指示命令顺序地输出至烹饪机器人1,直到烹饪完成为止。当烹饪机器人1根据指示命令执行操作时,菜肴最终完成。
图14是示出烹饪系统的另一配置示例的图。
如图14所示,可以经由网络上的服务器从厨师侧向再现侧提供食谱数据。
图14所示的食谱数据管理服务器21接收从每个数据处理装置11发送的食谱数据,并且通过使数据库存储食谱数据来管理食谱数据。食谱数据管理服务器21响应于经由网络13从控制装置12发送的请求,将预定的食谱数据发送至控制装置12。
食谱数据管理服务器21具有集中管理由各种餐馆的厨师制作的菜肴的食谱数据并且响应于来自再现侧的请求来分发食谱数据的功能。
图15是示出控制装置12的布置示例的图。
如图15中的A所示,控制装置12被设置为例如在烹饪机器人1外部的装置。在图15中的A的示例中,控制装置12和烹饪机器人1经由网络13连接。
由烹饪机器人1经由网络13接收从数据处理装置12发送的指示命令。由烹饪机器人1的摄像装置捕获的图像、由设置在烹饪机器人1中的传感器测量的诸如传感器数据的各种数据经由网络13从烹饪机器人1被发送至数据处理装置12。
可以将多个烹饪机器人1连接至一个控制装置12,而不是将一个烹饪机器人1连接至一个控制装置12。
如图15中的B所示,控制装置12可以被设置在烹饪机器人1的壳体内部。在这种情况下,根据由数据处理装置12生成的指示命令来控制烹饪机器人1的每个部分的操作。
在下文中,将在以下假设下给出描述:控制装置12被设置为在烹饪机器人1外部的装置。
(2)厨师侧的配置
(2-1)厨房周围的配置
图16是示出厨师进行烹饪的厨房周围的配置示例的图。
在厨师进行烹饪的厨房31的附近,设置各种装置以测量在分析厨师的操作和食材的风味时使用的信息。这些装置中的一些被附接至厨师的身体。
设置在厨房31周围的装置经由有线或无线通信连接至数据处理装置11。设置在厨房31周围的每个装置可以经由网络连接至数据处理装置11。
如图16所示,摄像装置41-1和41-2被设置在厨房31上方。摄像装置41-1和41-2捕获厨师烹饪的状态以及厨房31的顶板上的状态,并且将通过捕获而获得的图像发送至数据处理装置11。
小型摄像装置41-3附接至厨师的头部。可以根据厨师的视线的方向来切换摄像装置41-3的捕获范围。摄像装置41-3捕获正在烹饪的厨师的手部的状态、要烹饪的食材的状态以及厨房31的顶板上的状态,并且将通过捕获而获得的图像发送至数据处理装置11。
以这种方式,在厨房31的周围设置有多个摄像装置。在不需要区分摄像装置41-1至41-3的情况下,将它们适当地统称为摄像装置41。
嗅觉传感器42被附接至厨师的身体。嗅觉传感器42测量食材的香气,并且将嗅觉传感器数据发送至数据处理装置11。
在厨房31的顶板上设置有味觉传感器43。味觉传感器43测量食材的味道,并且将味觉传感器数据发送至数据处理装置11。
如图17所示,通过使设置在线缆的端部处的传感器单元43A与要烹饪的食材等接触来使用味觉传感器43。在味觉传感器43是上述人工脂质膜型味觉传感器的情况下,在传感器单元43A上设置有脂质膜。
不仅味觉传感器数据而且在配置风味传感器信息的传感器数据中的质感传感器数据和体感温度传感器数据也可以由味觉传感器43来测量,并且被发送至数据处理装置11。在这种情况下,味觉传感器43设置有作为质感传感器和体感温度传感器的功能。例如,质感传感器数据例如聚合物含量、水含量和油含量可以由味觉传感器43来测量。
在厨房31周围设置有除了图16所示的装置以外的各种装置。
图18是示出厨师侧的配置示例的框图。
在图18所示的配置中,与上述配置相同的配置由相同附图标记表示。将适当地省略重复描述。
如图18所示,摄像装置41、嗅觉传感器42、味觉传感器43、红外传感器51、质感传感器52和环境传感器53连接至数据处理装置11。与上述配置相同的配置由相同的附图标记来表示。将适当地省略重复描述。
红外传感器51输出IR光并且生成IR图像。由红外传感器51生成的IR图像被输出至数据处理装置11。可以基于由红外传感器51拍摄的IR图像而不是由摄像装置41捕获的图像(RGB图像)来执行各种分析,例如,对厨师的操作和食材的分析。
质感传感器52由输出用于质感分析的各种传感器数据的传感器例如硬度传感器、应力传感器、水含量传感器和温度传感器来配置。可以在诸如厨房刀、煎锅或烤箱的烹饪工具中设置硬度传感器、应力传感器、水含量传感器和温度传感器。由质感传感器52测量的传感器数据被输出至数据处理装置11。
环境传感器53是测量烹饪环境的传感器,烹饪环境是诸如厨师进行烹饪所在的厨房的空间的环境。在图18的示例中,环境传感器53包括摄像装置61、温度/湿度传感器62和照度传感器63。
摄像装置61将烹饪空间的捕获图像输出至数据处理装置11。通过分析烹饪空间的捕获图像,例如,测量烹饪空间的颜色(亮度、色调和饱和度)。
温度/湿度传感器62测量厨师侧空间的温度和湿度,并将表示测量结果的信息输出至数据处理装置11。
照度传感器63测量厨师侧空间的亮度,并将表示测量结果的信息输出至数据处理装置11。
食用菜肴所在的空间的颜色、温度和亮度影响个人如何感知风味。例如,在考虑相同菜肴的调味料的情况下,温度越高,味道越淡是优选的,而温度越低,味道越重是优选的。
可以在烹饪时测量可能影响个人如何感知风味的烹饪环境,并将该烹饪环境包括在食谱数据中作为环境信息。
在再现侧,将个人食用菜肴所在的房间的诸如颜色、温度和亮度的环境调整变为与由包括在食谱数据中的环境信息表示的烹饪环境相同的环境。
因此,个人在食用再现的菜肴时对风味的感觉可以接近厨师在烹饪时的感觉。
可能影响如何感知风味的各种类型的信息例如厨师侧空间中的气压和噪音以及烹饪期间的季节和一天中的时间可以由环境传感器53进行测量,并且被包括在食谱数据中作为环境信息。
(2-2.数据处理装置11的配置)
图19是示出数据处理装置11的硬件的配置示例的框图。
如图19所示,由计算机配置数据处理装置11。中央处理单元(CPU)201、只读存储器(ROM)202和随机存取存储器(RAM)203通过总线204相互连接。
此外,输入/输出接口205连接至总线204。包括键盘和鼠标等的输入单元206和包括显示器和扬声器等的输出单元207连接至输入/输出接口205。
此外,包括硬盘、非易失性存储器等的存储单元208、包括网络接口等的通信单元209、以及用于驱动可移除介质211的驱动器210连接至输入/输出接口205。
在如上所述配置的计算机中,CPU 201例如经由输入/输出接口205和总线204将存储在存储单元208中的程序加载到RAM 203中,并且执行程序,从而执行一系列的处理。
图20是示出数据处理装置11的功能配置示例的框图。
图20所示的功能单元的至少一部分由图19中的执行预定程序的CPU 201来实现。
如图20所示,在数据处理装置11中实现数据处理单元221。数据处理单元221包括烹饪操作信息生成单元231、风味信息生成单元232、食谱数据生成单元233、环境信息生成单元234、属性信息生成单元235和食谱数据输出单元236。
烹饪操作信息生成单元231包括食材识别单元251、工具识别单元252和操作识别单元253。
食材识别单元251分析由摄像装置41捕获的图像,并且识别由厨师用于烹饪的食材的类型。食材识别单元251被提供有识别信息,例如,识别各种类型的食材时使用的特性信息。
工具识别单元252分析由摄像装置41捕获的图像,并且识别由厨师用于烹饪的烹饪工具的类型。工具识别单元252被提供有识别各种类型的烹饪工具时使用的识别信息。
操作识别单元253分析由摄像装置41捕获的图像、表示附接至厨师的身体的传感器的测量结果的传感器数据等,并且识别正在烹饪的厨师的操作。
表示由烹饪操作信息生成单元231的每个单元的识别结果的信息被提供给食谱数据生成单元233。
风味信息生成单元232包括味道测量单元261、香气测量单元262、质感测量单元263、体感温度测量单元264、颜色测量单元265和主观信息生成单元266。
味道测量单元261通过控制味觉传感器43来测量食材的味道,并且获取味觉传感器数据。要测量的食材包括由厨师处理的所有食材,例如预烹饪的食材、经烹饪的食材和完成的菜肴。
香气测量单元262通过控制嗅觉传感器42来测量食材的香气,并且获取食材的嗅觉传感器数据。
质感测量单元263通过分析由摄像装置41捕获的图像和质感传感器52的测量结果来测量食材的质感,并且获取食材的质感传感器数据。
体感温度测量单元264获取表示由温度传感器测量的食材的体感温度的体感温度传感器数据。
颜色测量单元265通过分析由摄像装置41捕获的图像来识别食材的颜色,并且获取表示识别结果的颜色传感器数据。在要识别颜色的对象是通过摆放食材而完成的菜肴的情况下,识别整个菜肴中的每个部分的颜色。
主观信息生成单元266基于由味道测量单元261至颜色测量单元265中的每个单元获取的传感器数据来生成主观信息。主观信息生成单元266执行将由传感器数据表示的关于风味的客观数据转换成表示厨师如何感觉风味的主观数据的处理。
主观信息生成单元266被提供有生成主观信息时使用的信息,例如参照图6描述的神经网络。
例如,主观信息生成单元266将由味道测量单元261获取的味觉传感器数据输入到味觉主观信息生成模型中,以生成食材的味觉主观信息。
类似地,主观信息生成单元266将由香气测量单元262获取的嗅觉传感器数据输入到嗅觉主观信息生成模型中,以生成食材的嗅觉主观信息。主观信息生成单元266将由质感测量单元263获取的质感传感器数据输入到质感主观信息模型中,以生成食材的质感主观信息。
主观信息生成单元266将由体感温度测量单元264获取的体感温度传感器数据输入到体感温度主观信息生成模型中,以生成食材的体感温度主观信息。主观信息生成单元266将由颜色测量单元265获取的颜色传感器数据输入到颜色主观信息生成模型中,以生成食材的颜色主观信息。
由味道测量单元261至颜色测量单元265中的每个获取的传感器数据和由主观信息生成单元266生成的主观信息被提供给食谱数据生成单元233。
食谱数据生成单元233基于从烹饪操作信息生成单元231的每个单元提供的信息来生成烹饪操作信息。即,食谱数据生成单元233基于食材识别单元251的识别结果来生成食材信息,并且基于工具识别单元252和操作识别单元253的识别结果来生成操作信息。食谱数据生成单元233生成包括食材信息和操作信息的烹饪操作信息。
此外,食谱数据生成单元233基于从风味信息生成单元232的每个单元提供的信息来生成风味信息。即,食谱数据生成单元233基于由味道测量单元261至颜色测量单元265获取的传感器数据来生成风味传感器信息,并且基于由主观信息生成单元266生成的主观信息来生成风味主观信息。食谱数据生成单元233生成包括风味传感器信息和风味主观信息的风味信息。
食谱数据生成单元233例如通过将用于厨师的每个烹饪过程的烹饪操作信息和风味信息相关联来生成烹饪过程数据集。食谱数据生成单元233收集与从某种菜肴的第一烹饪过程到最后烹饪过程的烹饪过程有关的烹饪过程数据集,从而生成描述多个烹饪过程数据集的食谱数据。
食谱数据生成单元233将以这种方式生成的食谱数据输出至食谱数据输出单元236。由食谱数据生成单元233输出的食谱数据适当时包括由环境信息生成单元234生成的环境信息和由属性信息生成单元235生成的属性信息。
环境信息生成单元234基于环境传感器53的测量结果来生成表示烹饪环境的环境信息。由环境信息生成单元234生成的环境信息被输出至食谱数据生成单元233。
属性信息生成单元235生成表示厨师的属性的属性信息。厨师的属性包括例如厨师的年龄、性别、国籍和生活区域。表示厨师的身体状况的信息可以被包括在属性信息中。
厨师的年龄、性别、国籍和生活区域会影响厨师如何感觉风味。即,认为包括在食谱数据中的风味主观信息受厨师的年龄、性别、国籍、生活区域等影响。
在再现侧,在使用在食谱数据中包括的风味主观信息执行处理的情况下,根据由属性信息表示的厨师的属性与食用再现的菜肴的个人的属性之间的差异来适当地校正风味主观信息,并且使用经校正的风味主观信息执行处理。
例如,假设厨师是法国人,并且食用再现的菜肴的人是日本人。在这种情况下,厨师如何感觉由食谱数据中包括的风味主观信息表示的风味是法国人如何感觉风味,这与日本人如何感觉是不同的。
基于表示日本人如何感觉与法国人如何感觉相对应的信息,对食谱数据中包括的风味主观信息进行校正,使得在日本人食用该菜肴时可以获得相同的感觉。校正风味主观信息时使用的信息是将法国人如何感觉风味与日本人如何感觉风味相关联的信息,并且例如在再现侧预先统计地生成并且准备。
诸如由厨师制作的菜肴的类别(例如,法式、日式、意式或西班牙式)的属性可以被包括在属性信息中。
此外,用于烹饪的食材和调味料的属性可以包括在属性信息中。食材的属性包括生产区域和品种。调味料的属性也包括生产区域和品种。
以这种方式,作为表示厨师的属性的属性信息的厨师属性信息、作为表示菜肴和食材的属性的属性信息的食物属性信息以及作为表示食材之中的调味料的属性的属性信息的调味属性信息可以被包括在食谱数据中。
食谱数据输出单元236控制通信单元209(图19),并且输出由食谱数据生成单元233生成的食谱数据。从食谱数据输出单元236输出的食谱数据经由网络13被提供给控制装置12或食谱数据管理服务器21。
(3)再现侧的配置
(3-1)烹饪机器人1的配置
-烹饪机器人1的外观
图21是示出烹饪机器人1的外观的立体图。
如图21所示,烹饪机器人1是具有长方形平行六面体壳体311的厨房型机器人。在作为烹饪机器人1的主体的壳体311内部提供各种配置。
烹饪辅助系统312设置在壳体311的后侧,以便从壳体311的上表面直立。在烹饪辅助系统312中由薄板状构件划分形成的空间具有用于辅助烹饪臂321-1至321-4烹饪的功能,该空间例如冰箱、烤箱和储藏室。
在顶板311A上沿长度方向设置有轨道,并且在该轨道上设置有烹饪臂321-1至321-4。烹饪臂321-1至321-4可以作为移动机构沿轨道改变位置。
烹饪臂321-1至321-4是通过用接合部连接圆柱形构件而配置的机器人臂。通过烹饪臂321-1至321-4执行与烹饪有关的各种操作。
顶板311A上方的空间是烹饪臂321-1至321-4进行烹饪的烹饪空间。
虽然在图21中示出了四个烹饪臂,但是烹饪臂的数量不限于四个。在下文中,在不需要区分烹饪臂321-1至321-4的情况下,将烹饪臂321-1至321-4统称为烹饪臂321。
图22是示出烹饪臂321的放大状况的视图。
如图22所示,具有各种烹饪功能的附件附接至烹饪臂321的远端。作为用于烹饪臂321的附件,准备各种附件,例如具有用于抓取食材、餐具等的机械手功能(手功能)的附件,以及具有用于切割食材的刀具功能的附件。
在图22的示例中,作为具有刀具功能的附件的刀附件331-1附接至烹饪臂321-1。使用刀附件331-1切割放置在顶板311A上的一块肉。
作为用于固定食材或旋转食材的附件的主轴附件331-2附接至烹饪臂321-2。
作为具有去皮器功能以对食材进行去皮的附件的去皮器附件331-3附接至烹饪臂321-3。
使用去皮器附件331-3通过烹饪臂321-3,将使用主轴附件331-2通过烹饪臂321-2举起的土豆去皮。如上所述,多个烹饪臂321可以相互协作执行一项工作。
作为具有机械手功能的附件的机械手附件331-4附接至烹饪臂321-4。使用机械手附件331-4将带有鸡肉的煎锅运送到具有烤箱功能的烹饪辅助系统312的空间。
由烹饪臂321进行的烹饪通过根据工作的内容适当地更换附件来进行。附件的更换例如由烹饪机器人1自动地执行。
也可以将相同的附件附接至多个烹饪臂321,例如将机械手附件331-4附接至四个烹饪臂321中的每个烹饪臂。
不仅使用以上准备的附件作为用于烹饪臂的工具来执行由烹饪机器人1进行的烹饪,而且使用与由个人用于烹饪的工具相同的工具来适当地执行烹饪。例如,由个人使用的刀被机械手附件331-4夹持,并且使用该刀来执行烹饪,例如切割食材。
-烹饪臂的配置
图23是示出烹饪臂321的外观的视图。
如图23所示,通常通过将薄的圆柱形构件与用作接合部的铰链部连接来配置烹饪臂321。每个铰链部设置有生成用于驱动每个构件的力的马达等。
作为圆柱形构件,从远端按顺序设置有附接/分离构件351、中继构件353和基座构件355。附接/分离构件351是具有约为中继构件353的长度的1/5长度的构件。附接/分离构件351的长度与中继构件353的长度的组合长度基本上与基座构件355的长度相同。
附接/分离构件351和中继构件353利用铰链部352连接,并且中继构件353和基座构件355利用铰链部354连接。铰链部352和铰链部354设置在中继构件353的两端。
在该示例中,由三个圆柱形构件配置烹饪臂321。然而,可以由四个或更多个圆柱形构件配置烹饪臂321。在这种情况下,设置多个中继构件353。
在附接/分离构件351的远端处设置有附接或分离附件的附接/分离部351A。附接/分离构件351包括附接或分离各种附件的附接/分离部351A,并且用作通过操作该附件进行烹饪的烹饪功能臂单元。
在基座构件355的后端处设置有要安装到轨道的附接/分离部356。基座构件355用作实现烹饪臂321的移动的移动功能臂单元。
图24是示出烹饪臂321的各个部分的可移动范围的示例的视图。
如椭圆#1所示,附接/分离构件351可绕圆形横截面的中心轴旋转。在椭圆#1的中心示出的扁平小圆表示长短交替的虚线的旋转轴的方向。
如圆#2所示,附接/分离构件351可绕穿过带有铰链部352的装配部351B的轴旋转。此外,中继构件353可绕穿过带有铰链部352的装配部353A的轴旋转。
在圆#2内示出的两个小圆表示各个旋转轴的方向(在垂直于纸面的方向上)。以穿过装配部351B的轴为中心的附接/分离构件351的可移动范围和以穿过装配部353A的轴为中心的中继构件353的可移动范围例如为90度的范围。
中继构件353被配置成由远端侧上的构件353-1和后端侧上的构件353-2分开。如椭圆#3所示,中继构件353在构件353-1与构件353-2之间的连接部353B处可绕圆形横截面的中心轴旋转。
其他可移动部基本上具有类似的可移动范围。
换言之,如圆#4所示,中继构件353可绕穿过带有铰链部354的装配部353C的轴旋转。此外,基座构件355可绕穿过带有铰链部354的装配部355A的轴旋转。
基座构件355被配置成由远端侧上的构件355-1和后端侧上的构件355-2分开。如椭圆#5所示,基座构件355在构件355-1与构件355-2之间的连接部355B处可绕圆形横截面的中心轴旋转。
如圆#6所示,基座构件355可绕穿过带有附接/分离部356的装配部355C的轴旋转。
如椭圆#7所示,附接/分离部356安装到轨道上,以变得能够绕圆形横截面的中心轴旋转。
因此,在远端处具有附接/分离部351A的附接/分离构件351、连接附接/分离构件351和基座构件355的中继部件353以及连接至附接/分离部356的后端的基座构件355利用铰链部被分别连接成可旋转。每个可移动部的移动由烹饪机器人1中的控制器根据指示命令进行控制。
图25是示出烹饪臂与控制器之间的连接的示例的视图。
如图25所示,烹饪臂321和控制器361经由在壳体311内部形成的空间311B中的导线连接。在图25中的示例中,烹饪臂321-1至321-4和控制器361分别经由导线362-1至362-4连接。具有柔性的导线362-1至362-4取决于烹饪臂321-1至321-4的位置而适当地弯曲。
如上所述,烹饪机器人1是能够通过驱动烹饪臂321执行与烹饪有关的各种工作的机器人。
-烹饪机器人1周围的配置
图26是示出烹饪机器人1及其周围的配置的示例的框图。
通过将每个部分连接至控制器361来配置烹饪机器人1。在图26所示的配置中,与上述配置相同的配置由相同附图标记表示。将适当地省略重复描述。
除了烹饪臂321之外,摄像装置401、嗅觉传感器402、味觉传感器403、红外传感器404、质感传感器405、环境传感器406和通信单元407也连接至控制器361。
尽管在图21等中未示出,但是与设置在厨师侧的传感器相同的传感器被设置在烹饪机器人1本身的预定位置处或者在烹饪机器人1周围。摄像装置401、嗅觉传感器402、味觉传感器403、红外传感器404、质感传感器405和环境传感器406具有与厨师侧的摄像装置41、嗅觉传感器42、味觉传感器43、红外传感器51、质感传感器52和环境传感器53相似的功能。
通过具有CPU、ROM、RAM、闪速存储器等的计算机来配置控制器361。控制器361通过CPU执行预定程序以控制烹饪机器人1的整体操作。
在控制器361中,执行预定程序以实现指示命令获取单元421和臂控制单元422。
指示命令获取单元421获取从控制装置12发送并由通信单元407接收到的指示命令。将由指示命令获取单元421获取的指示命令提供给臂控制单元422。
臂控制单元422根据由指示命令获取单元421获取的指示命令来控制烹饪臂321的操作。
摄像装置401捕获执行烹饪操作的烹饪臂321的状态、要烹饪的食材的状态以及烹饪机器人1的顶板311A上的状态,并且将通过捕捉获得的图像输出至控制器361。摄像装置401设置在诸如烹饪辅助系统312的前部和烹饪臂321的远端的各种位置处。
嗅觉传感器402测量食材的香气,并且将嗅觉传感器数据发送至控制器361。嗅觉传感器402设置在诸如烹饪辅助系统312的前部和烹饪臂321的远端的各种位置处。
味觉传感器403测量食材的味道,并将味觉传感器数据发送至控制器361。同样在再现侧,提供了味觉传感器403,例如人造脂质膜型味觉传感器。
可以通过在测量时附接至烹饪臂321来准备和使用具有如嗅觉传感器402和味觉传感器403的功能的附件。
红外传感器404输出IR光,并且生成IR图像。由红外传感器404生成的IR图像被输出至控制器361。可以基于由红外传感器404拍摄的IR图像而不是由摄像装置401捕获的图像(RGB图像)来执行诸如烹饪机器人1的操作和食材的分析的各种分析。
质感传感器405由输出用于质感分析的各种传感器数据的传感器(例如硬度传感器、应力传感器、水含量传感器和温度传感器)来配置。可以在安装在烹饪臂321或烹饪工具(诸如厨房刀、煎锅或烤箱)上的附件中设置硬度传感器、应力传感器、水含量传感器和温度传感器。由质感传感器405测量的传感器数据被输出至控制器361。
环境传感器406是测量用餐环境的传感器,该用餐环境是诸如餐厅的空间的环境,在该空间中,由烹饪机器人1再现的菜肴被食用。在图26的示例中,环境传感器406包括摄像装置441、温度/湿度传感器442和照度传感器443。烹饪机器人1进行烹饪所在的再现空间的环境可以由环境传感器406测量。
摄像装置441将用餐空间的捕获图像输出至控制器361。例如,通过分析用餐空间的捕获图像,测量用餐空间的颜色(亮度、色调和饱和度)。
温度/湿度传感器442测量用餐空间的温度和湿度,并且将指示测量结果的信息输出至控制器361。
照度传感器443测量用餐空间的亮度,并且将指示测量结果的信息输出至控制器361。
通信单元407是诸如无线LAN模块或与长期演进(long term evolution,LTE)兼容的便携式通信模块的无线通信模块。通信单元407与控制装置12或诸如因特网上的食谱数据管理服务器21的外部装置进行通信。
此外,通信单元407与诸如由用户使用的智能电话或平板终端的便携式终端进行通信。用户是食用由烹饪机器人1再现的食物的个人。可以通过便携式终端上的操作来输入用户在烹饪机器人1上的操作,例如菜肴的选择。
如图26所示,烹饪臂321设置有马达431和传感器432。
马达431设置在烹饪臂321的每个接合部处。马达431在臂控制单元422的控制下围绕轴执行旋转操作。在每个接合部处还设置用于测量马达431的旋转量的编码器、用于基于编码器的测量结果自适应地控制马达431的旋转的驱动器等。
例如由陀螺仪传感器、加速度传感器、触摸传感器等配置传感器432。传感器432在烹饪臂321的操作期间测量每个接合部的角速度、加速度等,并且将指示测量结果的信息输出至控制器361。指示传感器432的测量结果的传感器数据也适当地从烹饪机器人1被发送至控制装置12。
在预定定时处从烹饪机器人1向控制装置12提供关于烹饪机器人1的规格的信息,例如烹饪臂321的数量。在控制装置12中,根据烹饪机器人1的规格来计划操作。在控制装置12中生成的指示命令与烹饪机器人1的规格对应。
(3-2)控制装置12的配置
与数据处理装置11类似地,控制烹饪机器人1的操作的控制装置12由如图19所示的计算机配置。在下文中,将适当引用图19中所示的数据处理装置11的配置作为控制装置12的配置来给出描述。
图27是示出控制装置12的功能配置示例的框图。
图27所示的功能单元的至少一部分通过控制装置12的CPU 201(图19)执行预定程序来实现。
如图27所示,在控制装置12中,实现了命令生成单元501。命令生成单元501包括食谱数据获取单元511、食谱数据分析单元512、机器人状态估计单元513、风味信息处理单元514、控制单元515和命令输出单元516。
食谱数据获取单元511控制通信单元209,并且通过接收从数据处理装置11发送的食谱数据或通过与食谱数据管理服务器21进行通信来获取食谱数据。由食谱数据获取单元511获取的食谱数据例如是由用户选择的菜肴的食谱数据。
可以在存储单元208中提供食谱数据的数据库。在这种情况下,从存储单元208中提供的数据库获取食谱数据。将由食谱数据获取单元511获取的食谱数据提供给食谱数据分析单元512。
食谱数据分析单元512分析由食谱数据获取单元511获取的食谱数据。在该执行某个烹饪过程的情况下,食谱数据分析单元512分析与烹饪过程有关的烹饪过程数据集,并且提取烹饪操作信息和风味信息。将从烹饪过程数据集提取的烹饪操作信息提供给控制单元515,并且将风味信息提供给风味信息处理单元514。
在食谱数据包括属性信息和环境信息的情况下,这些信息也由食谱数据分析单元512提取,并且提供给风味信息处理单元514。
机器人状态估计单元513控制通信单元209,以接收从烹饪机器人1发送的图像和传感器数据。从烹饪机器人1,以预定周期发送由烹饪机器人1的摄像装置捕获的图像和由设置在烹饪机器人1的预定位置处的传感器测量的传感器数据。在由烹饪机器人1的摄像装置捕获的图像中,捕获烹饪机器人1周围的情况。
机器人状态估计单元513通过分析从烹饪机器人1发送的图像和传感器数据来估计烹饪机器人1周围的状态,例如烹饪臂321的状态和食材的状态。将指示由机器人状态估计单元513估计的烹饪机器人1周围的状态的信息提供给控制单元515。
风味信息处理单元514基于从食谱数据分析单元512提供的风味信息,与控制单元515协作控制烹饪机器人1的操作。由风味控制信息处理单元514控制的烹饪机器人1的操作是例如与食材的风味的调整有关的操作。
例如,风味信息处理单元514控制烹饪机器人1的操作,使得由烹饪机器人1烹饪的食材的风味变得与由风味传感器信息表示的风味相同。将参照图28描述由风味信息处理单元514进行的控制的细节。
控制单元515通过生成指示命令并从命令输出单元516发送指示命令来控制烹饪机器人1的操作。由控制单元515基于从食谱数据分析单元512提供的烹饪操作信息或由风味信息处理单元514进行的请求来控制烹饪机器人1的操作。
例如,控制单元515基于包括在烹饪操作信息中的食材信息来识别将在要执行的烹饪过程中使用的食材。此外,控制单元515基于包括在烹饪操作信息中的操作信息来识别在烹饪过程中使用的烹饪工具以及要由烹饪臂321执行的操作。
控制单元515将食材的准备就绪的状态设置为目标状态,并且设置从作为烹饪机器人1的当前状态的当前状态到目标状态的操作顺序。控制单元515生成用于执行配置操作序列的每个操作的指示命令,并且将该指示命令输出至命令输出单元516。
在烹饪机器人1中,根据由控制单元515生成的指示命令来控制烹饪臂321,并且准备食材。包括烹饪臂321的状态的表示每个定时处的烹饪机器人1的状态的信息从烹饪机器人1发送至控制装置12。
此外,在食材就绪的情况下,控制单元515将使用准备的食材的烹饪(要执行的一个烹饪过程中的烹饪)完成的状态设置为目标状态,并且设置从当前状态到目标状态的操作序列。控制单元515生成用于执行配置操作序列的每个操作的指示命令,并且将该指示命令输出至命令输出单元516。
在烹饪机器人1中,根据由控制单元515生成的指示命令来控制烹饪臂321,并且执行使用食材的烹饪。
在使用食材的烹饪结束的情况下,控制单元515生成用于测量风味的指示命令,并且将该指示命令输出至命令输出单元516。
在烹饪机器人1中,根据由控制单元515生成的指示命令来控制烹饪臂321,并且在适当时使用摄像装置401、嗅觉传感器402、味觉传感器403、红外传感器404和质感传感器405来测量食材的风味。将表示风味的测量结果的信息从烹饪机器人1发送至控制装置12。
在风味信息处理单元514中,计划了调整风味等的方法,并且风味信息处理单元514请求控制单元515执行用于调整风味的操作。
在请求用于调整风味的操作的情况下,控制单元515将操作已经完成的状态设置为目标状态,并且设置从当前状态到目标状态的操作序列。控制单元515将用于执行配置操作序列的每个操作的指示命令输出至命令输出单元516。
在烹饪机器人1中,根据由控制单元515生成的指示命令来控制烹饪臂321,并且执行用于调整风味的操作。
烹饪机器人1的操作由控制单元515通过使用例如以上指示命令来控制。控制单元515具有作为用于生成指示命令的生成单元的功能。
注意,由控制单元515生成的指示命令可以是用于给出指示执行用于引起某个状态转换的整个动作的命令,或者可以是用于给出指示执行动作的一部分的命令。换言之,一个动作可以根据一个指示命令执行,或者可以根据多个指示命令执行。
命令输出单元516控制通信单元209,并且将由控制单元515生成的指示命令发送给烹饪机器人1。
图28是示出风味信息处理单元514的配置示例的框图。
如图28所示,风味信息处理单元514包括风味测量单元521、风味调整单元522、主观信息分析单元523、属性信息分析单元524和环境信息分析单元525。
风味测量单元521包括味道测量单元541、香气测量单元542、质感测量单元543、体感温度测量单元544和颜色测量单元545。
味道测量单元541响应于风味的测量来获取从烹饪机器人1发送的味觉传感器数据。由味觉测量单元541获取的味觉传感器数据由味觉传感器403(图26)测量。在烹饪机器人1中,在预定定时(例如某个烹饪过程的烹饪操作完成时的定时)处测量食材的风味。
香气测量单元542响应于风味的测量来获取从烹饪机器人1发送的嗅觉传感器数据。由香气测量单元542获取的嗅觉传感器数据由嗅觉传感器402测量。
质感测量单元543响应于风味的测量来获取从烹饪机器人1发送的质感传感器数据。由质感测量单元543获取的质感传感器数据由质感传感器405测量。
体感温度测量单元544响应于风味的测量来获取从烹饪机器人1发送的体感温度传感器数据。由设置在烹饪机器人1的预定位置(例如在味觉传感器403中)的温度传感器来测量由体感温度测量单元544获取的体感温度传感器数据。
颜色测量单元545响应于风味的测量来获取从烹饪机器人1发送的颜色传感器数据。通过分析由烹饪机器人1的摄像装置401捕获的图像来识别由颜色测量单元545获取的颜色传感器数据。
由风味测量单元521的每个部分获取的传感器数据被提供给风味调整单元522。
风味调整单元522包括味道调整单元551、香气调整单元552、质感调整单元553、体感温度调整单元554和颜色调整单元555。从食谱数据分析单元512提供的风味信息被输入至风味调整单元522。
味道调整单元551将配置在食谱数据中包括的风味传感器信息的味觉传感器数据与由味道测量单元541获取的味觉传感器数据进行比较,并且确定两种味觉传感器数据是否相匹配。此处,在由烹饪机器人1执行与厨师的烹饪操作相同的操作的情况下,确定通过烹饪机器人1的烹饪操作获得的食材的味道是否与通过厨师的烹饪操作获得的食材的味道相匹配。
在确定配置在食谱数据中包括的风味传感器信息的味觉传感器数据与由味道测量单元541获取的味觉传感器数据相匹配的情况下,味道调整单元551确定不需要调整味道。
另一方面,在确定配置在食谱数据中包括的风味传感器信息的味觉传感器数据与由味道测量单元541获取的味觉传感器数据不相匹配的情况下,味觉调整单元551计划调整味道的方法,并且请求控制单元515执行用于调整味道的操作。
需要控制单元515执行诸如在咸味不足时添加盐以及在酸味不足时挤压柠檬汁的操作。
类似地,在风味调整单元522的其他处理单元中,确定通过烹饪机器人1的烹饪操作获得的食材的味道是否与通过厨师的烹饪操作获得的食材的味道相匹配,并且根据需要来调整风味。
即,香气调整单元552将配置在食谱数据中包括的风味传感器信息的嗅觉传感器数据与由香气测量单元542获取的嗅觉传感器数据进行比较,并且确定两种嗅觉传感器数据是否相匹配。此处,确定通过烹饪机器人1的烹饪操作获得的食材的香气是否与通过厨师的烹饪操作获得的食材的香气相匹配。
在确定配置在食谱数据中包括的风味传感器信息的嗅觉传感器数据与由香气测量单元542获取的嗅觉传感器数据相匹配的情况下,香气调整单元552确定不需要调整香气。
另一方面,在确定配置在食谱数据中包括的风味传感器信息的嗅觉传感器数据与由香气测量单元542获取的嗅觉传感器数据不相匹配的情况下,香气调整单元552计划调整香气的方法,并且请求控制单元515执行用于调整香气的操作。
控制单元515需要执行诸如当柠檬闻起来不酸(green)时挤压柠檬汁、当柑橘香气弱时切碎并添加香草的操作。
质感调整单元553将配置在食谱数据中包括的风味传感器信息的质感传感器数据与由质感测量单元543获取的质感传感器数据进行比较,并确定两个质感传感器数据是否相匹配。此处,确定通过烹饪机器人1的烹饪操作获得的食材的质感是否与通过厨师的烹饪操作获得的食材的质感相匹配。
在确定配置在食谱数据中包括的风味传感器信息的质感传感器数据与由质感测量单元543获取的质感传感器数据相匹配的情况下,质感调整单元553确定不需要调整质感。
另一方面,在确定配置在食谱数据中包括的风味传感器信息的质感传感器数据与由质感测量单元543获取的质感传感器数据不相匹配的情况下,质感调整单元553计划调整质感的方法,并且请求控制单元515执行用于调整质感的操作。
需要控制单元515执行诸如当食材较硬时敲打食材使其变软以及增加用于烹煮食材的时间的操作。
体感温度调整单元554将配置在食谱数据中包括的风味传感器信息的体感温度传感器数据与由体感温度测量单元544获取的体感温度传感器数据进行比较,并且确定这两种体感温度传感器数据是否都相匹配。此处,确定通过烹饪机器人1的烹饪操作获得的食材的体感温度与通过厨师的烹饪操作获得的食材的体感温度是否相匹配。
在确定配置在食谱数据中包括的风味传感器信息的体感温度传感器数据与由体感温度测量单元544获取的体感温度传感器数据相匹配的情况下,体感温度调整单元554确定不需要调整体感温度。
另一方面,在确定配置在食谱数据中包括的风味传感器信息的体感温度传感器数据与由体感温度测量单元544获取的体感温度传感器数据不相匹配的情况下,体感温度调整单元554计划调整体感温度的方法,并且请求控制单元515执行用于调整体感温度的操作。
需要控制单元515执行诸如当食材的体感温度较低时使用烤箱加热食材以及在食材的体感温度较高时冷却食材的操作。
颜色调整单元555将配置在食谱数据中包括的风味传感器信息的颜色传感器数据与由颜色测量单元545获取的颜色传感器数据进行比较,并且确定这两种颜色传感器数据是否相匹配。此处,确定通过烹饪机器人1的烹饪操作获得的食材的颜色是否与通过厨师的烹饪操作获得的食材的颜色相匹配。
在确定配置在食谱数据中包括的风味传感器信息的颜色传感器数据与由颜色测量单元545获取的颜色传感器数据相匹配的情况下,颜色调整单元555确定不需要调整颜色。
另一方面,在确定配置在食谱数据中包括的风味传感器信息的颜色传感器数据与由颜色测量单元545获取的颜色传感器数据不相匹配的情况下,颜色调整单元555计划调整颜色的方法,并且请求控制单元515执行用于调整颜色的操作。
在执行经烹饪的食材的摆放的情况下,在烹饪机器人1的摆放方法与厨师的摆放方法不同的情况下,需要控制单元515执行诸如移动食材的位置以接近厨师的摆放方法的操作。
主观信息分析单元523分析在风味信息中包括的风味主观信息,并且在由风味调整单元522执行的风味调整中反映厨师如何感觉由风味主观信息表示的风味。
属性信息分析单元524分析在食谱数据中包括的属性信息,并且在由风味调整单元522执行的风味调整中反映厨师的属性。
环境信息分析单元525分析在食谱数据中包括的环境信息,并且在由风味调整单元522执行的风味调整中反映由环境传感器406测量的烹饪环境与用餐环境之间的差异。
<烹饪系统的操作>
此处,将描述具有以上配置的烹饪系统的操作。
(1)厨师侧的操作
首先,将参照图29的流程图描述数据处理装置11的食谱数据生成处理。
在食材和烹饪工具就绪并且厨师开始烹饪时,开始图29中的处理。还开始由摄像装置41进行的捕获、由红外传感器51进行的IR图像的生成、由附接至厨师的身体的传感器进行的感测等。
在步骤S1中,图20的食材识别单元251分析由摄像装置41捕获的图像,并且识别要由厨师使用的食材。
在步骤S2中,操作识别单元253分析由摄像装置41捕获的图像、表示附接至厨师的身体的传感器的测量结果的传感器数据等,并且识别厨师的烹饪操作。
在步骤S3中,食谱数据生成单元233基于根据食材识别单元251的识别结果生成的食材信息以及根据操作识别单元253的识别结果生成的操作信息来生成烹饪操作信息。
在步骤S4中,食谱数据生成单元233确定一个烹饪过程是否已完成,并且在确定一个烹饪过程未完成的情况下,过程返回至步骤S1,并且重复上述处理。
在步骤S4中确定一个烹饪过程已完成的情况下,过程进行至步骤S5。
在步骤S5中执行风味信息生成处理。风味信息是通过风味信息生成处理生成的。下面将参照图30的流程图描述风味信息生成处理的细节。
在步骤S6中,食谱数据生成单元233通过将烹饪操作信息与风味信息相关联来生成烹饪过程数据集。
在步骤S7中,食谱数据生成单元233确定是否所有烹饪过程均已完成,并且在确定未完成所有烹饪过程的情况下,处理返回至步骤S1,并且重复上述处理。针对下一个烹饪过程重复类似的处理。
在步骤S7中确定所有烹饪过程均已完成的情况下,处理进行至步骤S8。
在步骤S8中,食谱数据生成单元233生成包括所有烹饪过程数据集的食谱数据。
接下来,将参照图30的流程图描述在图29的步骤S5中执行的风味信息生成处理。
在步骤S11中,味道测量单元261通过控制味觉传感器43来测量食材的味道。
在步骤S12中,香气测量单元262通过控制嗅觉传感器42来测量食材的香气。
在步骤S13中,质感测量单元263基于由摄像装置41捕获的图像和质感传感器52的测量结果来测量食材的质感。
在步骤S14中,体感温度测量单元264测量由温度传感器测量的食材的体感温度。
在步骤S15中,颜色测量单元265基于由摄像装置41捕获的图像来测量食材的颜色。
在步骤S16中,主观信息生成单元266基于由味道测量单元261至颜色测量单元265中的每个单元获取的传感器数据来生成风味主观信息。
在步骤S17中,食谱数据生成单元233基于包括由味道测量单元261至颜色测量单元265测量的传感器数据的风味传感器信息以及由主观信息生成单元266生成的风味主观信息来生成风味信息。
在生成风味信息之后,处理返回至图29中的步骤S5,并且执行步骤S5和后续步骤的处理。
(2)再现侧的操作
将参照图31的流程图描述控制装置12的菜肴再现处理。
在步骤S31中,图27的食谱数据获取单元511获取从数据处理装置11发送的食谱数据。由食谱数据分析单元512分析由食谱数据获取单元511获取的食谱数据,并且提取烹饪操作信息和风味信息。烹饪操作信息被提供给控制单元515,并且风味信息被提供给风味信息处理单元514。
在步骤S32中,控制单元515选择一个烹饪过程作为要执行的烹饪过程。从与第一烹饪过程有关的烹饪过程数据集中按顺序选择烹饪过程。
在步骤S33中,控制单元515确定要执行的烹饪过程是否是摆放经烹饪食材的烹饪过程。在步骤S33中确定要执行的烹饪过程不是用于摆放经烹饪食材的烹饪过程的情况下,处理进行至步骤S34。
在步骤S34中,控制单元515基于在烹饪操作信息中包括的食材信息的描述,准备在将要执行的烹饪过程中使用的食材。
在步骤S35中,控制单元515基于烹饪操作信息中包括的操作信息的描述来生成指示命令,并且将该指示命令发送至烹饪机器人1,以使烹饪臂321执行烹饪操作。
在步骤S36中执行风味测量处理。通过风味测量处理,测量由烹饪机器人1烹饪的经烹饪食材的风味。下面将参照图32的流程图描述风味测量处理的细节。
在步骤S37中,风味调整单元522确定经烹饪的食材的风味与由在食谱数据中包括的风味传感器信息表示的风味是否相匹配。此处,对于作为风味的配置要素的味道、香气、质感、体感温度和颜色的全部,在经烹饪的食材的风味与由风味传感器信息表示的风味相匹配的情况下,确定风味相匹配。
在由于任何配置要素不相匹配而在步骤S37中确定风味不相匹配的情况下,在步骤S38中执行风味调整处理。通过风味调整处理来调整经烹饪的食材的风味。下面将参照图33的流程图描述风味调整处理的细节。
在步骤S38中执行风味调整处理之后,处理返回至步骤S36,并且重复执行上述处理,直到确定风味相匹配为止。
同时,在步骤S33中确定要执行的烹饪过程是摆放经烹饪食材的烹饪过程的情况下,处理进行至步骤S39。
在步骤S39中,控制单元515基于对烹饪操作信息的描述来生成指示命令,并且将该指示命令发送至烹饪机器人1,以使烹饪臂321摆放经烹饪的食材。
在食材的摆放完成的情况下或在步骤S37中确定经烹饪的食材的风味与由在食谱数据中包括的风味传感器信息表示的风味相匹配的情况下,处理进行至步骤S40。
在步骤S40中,控制单元515确定是否所有烹饪过程都已完成,并且在确定尚未完成所有烹饪过程的情况下,处理返回至步骤S32,并且重复上述处理。针对下一个烹饪过程重复类似的处理。
另一方面,当在步骤S40中确定所有烹饪步骤均已完成时,菜肴完成,并且终止菜肴再现处理。
接下来,将参照图32的流程图描述在图31的步骤S36中执行的风味测量处理。
在步骤S51中,图28的味道测量单元541使烹饪机器人1测量经烹饪的食材的味道,并且获取味觉传感器数据。
在步骤S52中,香气测量单元542使烹饪机器人1测量经烹饪的食材的香气,并且获取嗅觉传感器数据。
在步骤S53中,质感测量单元543使烹饪机器人1测量经烹饪的食材的质感,并且获取质感传感器数据。
在步骤S54中,体感温度测量单元544使烹饪机器人1测量经烹饪的食材的体感温度,并且获取体感温度传感器数据。
在步骤S55中,颜色测量单元545使烹饪机器人1测量经烹饪的食材的颜色,并且获取颜色传感器数据。
通过以上处理,测量经烹饪的食材的风味,并且可以将经烹饪的食材的风味用于以下要描述的风味调整处理。此后,处理返回至图31的步骤S36,并且执行步骤S36和后续步骤的处理。
接下来,将参照图33的流程图描述在图31的步骤S38中执行的风味调整处理。
在步骤S61中,味道调整单元551执行味道调整处理。当经烹饪的食材的味道与由在风味传感器信息中包括的味觉传感器数据表示的味道不相匹配时,执行味道调整处理。下面将参照图34的流程图描述味道调整处理的细节。
在步骤S62中,香气调整单元552执行香气调整处理。当经烹饪的食材的香气与由在风味传感器信息中包括的嗅觉传感器数据表示的香气不相匹配时,执行香气调整处理。
在步骤S63中,质感调整单元553执行质感调整处理。当经烹饪的食材的质感与由在风味传感器信息中包括的质感传感器数据表示的质感不相匹配时,执行质感调整处理。
在步骤S64中,体感温度调整单元554执行体感温度调整处理。当经烹饪的食材的体感温度与由在风味传感器信息中包括的体感温度传感器数据表示的体感温度不相匹配时,执行体感温度调整处理。
在步骤S65中,颜色调整单元555执行颜色调整处理。当经烹饪的食材的颜色与由在风味传感器信息中包括的颜色传感器数据表示的颜色不相匹配时,执行颜色调整处理。
例如,在执行在食材上喷洒柠檬汁以增加酸味的操作作为味道调整处理的情况下,这可能改变食材的香气,并且还可能需要调整香气。在这种情况下,香气调整处理与味道调整处理一起执行。
以这种方式,风味的任何要素的调整都可能影响另一要素,并且实际上,多个要素的调整是共同执行的。
接下来,将参照图34的流程图描述在图33的步骤S61中执行的味道调整处理。
在步骤S71中,味道调整单元551基于由味道测量单元541获取的味觉传感器数据,在味道空间中识别经烹饪的食材的味道的当前值。
在步骤S72中,味道调整单元551基于食谱数据中包括的风味传感器信息的描述来设置味道的目标值。将通过由厨师执行的烹饪操作获得的食材的味道(由风味传感器信息中包括的味觉传感器数据表示)设置为目标值。
在步骤S73中,味道调整单元551计划用于从当前值转变为目标值的食材的味道的调整内容。
图35是示出计划的示例的图。
图35所示的纵轴表示七个味道中的一个,而横轴表示另一个味道。为了便于描述,味道空间在图35中表示为二维空间,但是在味道包括如上所述的咸味、酸味、苦味、甜味、鲜味、辣味和涩味七种类型的情况下,味道空间变为七维空间。
经烹饪的食材的味道通过由烹饪机器人1测量的味觉传感器数据表示为当前值。
此外,通过包括在风味传感器信息中的味觉传感器数据来设置要成为目标值的味道。要成为目标值的味道是由厨师烹饪的食材的味道。
由于不存在仅改变咸味、酸味、苦味、甜味、鲜味、辣味和涩味中的一种味道的调味料和食材,因此存在食材的味道无法直接从当前值味道改变为目标值味道的一些情况。在这种情况下,如白色箭头所示,计划烹饪操作,以通过多个味道实现目标值味道。
返回至图34的描述,在步骤S74中,味道调整单元551使控制单元515根据计划执行用于调整味道的操作。
此后,处理返回至图33的步骤S61,并且执行步骤S61和后续步骤的处理。
与图34的味道调整处理类似地执行香气调整处理(步骤S62)、质感调整处理(步骤S63)、体感温度调整处理(步骤S64)和颜色调整处理(步骤S65)。即,执行烹饪操作以将经烹饪的食材的味道从当前值改变为目标值,其中,将经烹饪的食材的风味作为当前值,并将由食谱数据的风味传感器信息表示的风味作为目标值。
通过上述一系列处理,烹饪机器人1再现与由厨师准备的菜肴具有相同风味的菜肴。用户可以吃到与由厨师制作的菜肴具有相同风味的菜肴。
此外,厨师可以为不同的人服务与由厨师制作的菜具有相同风味的菜肴。此外,厨师可以将由厨师制作的菜肴以可再现的形式保留为食谱数据。
<修改例>
-在再现侧更新烹饪过程的示例
在一些情况下,再现侧无法准备与食谱数据(食材信息)中描述的食材相同的食材,作为用于烹饪的食材。在这些情况下,可以由控制单元515(图27)执行部分地更新食谱数据的处理。
例如,在某种食材不足的情况下,控制单元515参考替选食材数据库,并且从可以在再现侧准备的食材中选择替选食材。替选食材是代替食谱数据中描述的食材作为用于烹饪的食材的食材。通过例如识别烹饪机器人1周围的状况来指定可以在再现侧准备的食材。
在由控制单元515参考的替选食材数据库中,例如,描述了关于通过食物配对方法而预定的替选食材的信息。
例如,在无法准备在食谱数据中描述的食材“海胆”的情况下,控制单元515参考替选食材数据库,并且选择结合“布丁”和“酱油”的食材作为替选食材。公知的是,可以通过结合“布丁”和“酱油”来再现“海胆”的风味。
控制单元515使用其中描述了关于将“布丁”和“酱油”结合的操作的信息以及关于使用替选食材的烹饪过程的信息的烹饪操作信息,来更新其中描述了关于使用“海胆”的烹饪过程的信息的烹饪操作信息。控制单元515基于经更新的烹饪操作信息来控制烹饪机器人1的烹饪操作。
可以测量以这种方式准备的替选食材的风味,并且可以适当地调整该风味。
图36是用于描述控制装置12的用于调整替选食材的风味的处理的流程图。
在准备替选食材之后执行图36的处理。
在步骤S111中,风味信息处理单元514的风味测量单元521测量所准备的替选食材的风味,并获取表示替选食材的风味的传感器数据。
在步骤S112中,风味调整单元522确定替选食材的风味是否与替换之前的食材的风味相匹配。在上述示例的情况下,确定结合“布丁”和“酱油”的替选食材的风味是否与“海胆”的风味相匹配。“海胆”的风味由食谱数据中包括的风味传感器信息来指定。
在步骤S112中确定由于表示替选食材的风味的传感器数据与在食谱数据中包括的风味传感器信息不相匹配因而替选食材的风味与替换之前的食材的风味不相匹配的情况下,处理进行至步骤S113。
在步骤S113中,风味调整单元522调整替选食材的风味。与调整经烹饪食材的风味的处理类似地执行替选食材的风味的调整。
在已执行替选食材的风味的调整的情况下或者在步骤S112中确定了替选食材的风味与替换之前的食材的风味相匹配的情况下,终止调整替选食材的风味的处理。此后,根据使用替选食材的更新的烹饪过程来执行处理。
由此,即使在再生侧不能准备与厨师侧使用的食材相同的食材的情况下,也可以使用替选食材进行烹饪。由于替选食材的风味与替换之前的食材的风味相同,因此最终完成的菜肴将与由厨师准备的菜肴相同或相似。
替选食材数据库可以在控制装置12中准备,或者可以在预定的服务器例如食谱数据管理服务器21中准备。可以在控制装置12中或在数据处理装置11中更新烹饪操作信息。
-风味主观信息的使用示例
存在一些如下情况,两侧的传感器的规格不同,使得厨师侧设置的传感器比再现侧设置的传感器具有更高的测量准确度。在两侧的规格不同的情况下,在通过各个传感器测量相同食材的风味的情况下,测量结果是不同的。
为了即使在厨师侧与再现侧之间传感器的规格不同的情况下也能够确定由烹饪机器人1烹饪的食材的风味和由厨师烹饪的食材的风味,使用风味主观信息。
图37是示出确定风味的示例的图。
在以上示例中,如图37的左侧所示,当通过在再现侧上的某个烹饪过程中通过烹饪获得经烹饪的食材时,测量风味并且获得表示经烹饪的食材的风味的传感器数据。
此外,如图37的右侧所示,从食谱数据中提取风味传感器信息,并且如箭头A101所示,将表示经烹饪的食材的风味的传感器数据与风味传感器信息进行比较,使得执行对风味的确定(确定风味是否相匹配)。
图38是示出使用风味主观信息来确定风味的示例的图。
在使用风味主观信息来确定风味的情况下,如图38的左侧所示,基于表示再现侧的经烹饪食材的风味的传感器数据来计算风味主观信息。针对风味主观信息的计算,使用如参照图6所述的基于厨师如何感觉味道生成的模型。
风味信息处理单元514的主观信息分析单元523(图28)具有与用于生成由厨师侧准备的味觉主观信息的模型相同的模型。
如箭头A102所示,主观信息分析单元523通过将基于表示经烹饪食材的风味的传感器数据计算的风味主观信息与从食谱数据中提取的风味主观信息进行比较来确定风味。在这些风味主观信息相匹配的情况下确定风味相匹配,并且执行下一个烹饪过程的处理。
由此,即使在厨师侧和再现侧上设置的传感器的规格不同的情况下,也可以再现具有与厨师感觉的风味相同的风味的食材或菜肴。
如上所述,作为用于确定风味的模式,准备了基于传感器数据的模式和基于风味主观信息的模式。
图39是示出用于生成传感器数据的模型的示例的图。
如图39所示,可以基于食谱数据中包括的风味主观信息为主观信息分析单元523准备能够计算再现侧设置的传感器的规格下的传感器数据的模型。
图39所示的味觉传感器信息生成模型是诸如神经网络模型的模型,该模型是基于关于在再现侧准备的传感器测量的味道的传感器数据以及表示厨师如何感觉味道的主观值、通过深度学习而生成的。例如,管理食谱数据的管理员根据各种传感器的规格准备模型,并将模型提供给再现侧。
在这种情况下,主观信息分析单元523通过将风味主观信息输入到模型中来计算对应的传感器数据。主观信息分析单元523通过将通过测量由烹饪机器人1烹饪的食材的风味而获得的传感器数据与使用该模型计算的传感器数据进行比较来确定风味。
-属性信息的使用示例
食谱数据包括指示厨师的属性等的属性信息。由于年龄、性别、国籍、生活区域等影响如何感知风味,因此可以根据厨师的属性与食用由烹饪机器人1再现的菜肴的个人的属性之间的差异来调整再现的食材的风味。
作为从食谱数据中提取的属性信息的烹饪者属性信息被提供给属性信息分析单元524,并且用于控制由风味调整单元522执行的风味调整。由食用由烹饪机器人1再现的菜肴的个人输入的表示食用者的属性的食用者属性信息也被提供给属性信息分析单元524。
属性信息分析单元524基于烹饪者属性信息来识别厨师的属性,并且还基于食用者属性信息来识别食用者的属性。
例如,属性信息分析单元524在识别出食用者比厨师年长得多并且食用者是老年人的情况下,调整食材的质感以使其变软。
此外,如上所述,在食用者和厨师的国籍不同的情况下,属性信息分析单元524基于所准备的信息,根据国籍的差异来控制由风味调整单元522调整的食材的风味。类似地,在食用者和厨师的其他属性(例如性别和生活区域)不同的情况下,属性信息分析单元524根据食用者与厨师之间的属性的差异来控制由风味调整单元522调整的食材的风味。
因此,尽管风味基本上与厨师的风味相同,但仍利用根据食用者的喜好细微调整的风味来再现菜肴。
此外,属性信息分析单元524基于食物属性信息来识别食材的属性,并且还指定在再现侧准备的食材的属性。
在厨师侧使用的食材和在再现侧准备的食材的属性不同的情况下,属性信息分析单元524根据属性的差异来控制由风味调整单元522调整的食材的风味。
以这种方式,可以基于厨师侧与再现侧之间的各种属性的差异来在再现侧调整食材的风味。
-环境信息的使用示例
(1)用餐环境的调整
食谱数据包括表示烹饪环境的环境信息,该烹饪环境是厨师进行烹饪的空间的环境。由于空间的颜色、温度、亮度等影响如何感知风味,因此可以执行调整以使诸如食用由烹饪机器人1再现的菜肴的餐厅的用餐环境接近于烹饪环境。从食谱数据中提取的环境信息被提供给环境信息分析单元525,并且用于调整用餐环境。
例如,环境信息分析单元525控制餐厅中的照明设备,以使通过分析由摄像装置441(图26)捕获的图像而测量的用餐环境中的颜色接近于由环境信息表示的烹饪环境中的颜色。环境信息分析单元525具有作为环境控制单元的功能,该环境控制单元通过控制外部装置来调整用餐环境。
此外,环境信息分析单元525控制餐厅中的空气调节设备,以使由温度/湿度传感器442测量的用餐环境中的温度和湿度接近于由环境信息表示的烹饪环境中的温度和湿度。
环境信息分析单元525控制餐厅中的照明设备,以使由照度传感器443测量的用餐环境中的亮度接近于由环境信息表示的烹饪环境中的亮度。
由此,可以使用餐环境接近于烹饪环境,并且可以使食用由烹饪机器人1再现的菜肴的个人如何感觉风味接近于厨师如何感觉风味。
(2)风味传感器信息的校正
关于设置在厨师侧的传感器的规格的信息可以被包括在环境信息中并且被提供给再现侧。在再现侧,基于设置在厨师侧的传感器与设置在再现侧的传感器之间的差异来校正包括在食谱数据中的风味传感器信息。
图40是用于描述由控制装置12对风味传感器信息进行校正的处理的流程图。
在步骤S121中,环境信息分析单元525基于包括在食谱数据中的环境信息来获取在厨师侧设置的传感器的规格。
在步骤S122中,环境信息分析单元525获取在再现侧的烹饪机器人1周围设置的传感器的规格。
在步骤S123中,环境信息分析单元525基于在厨师侧设置的传感器的规格与在烹饪机器人1周围设置的传感器的规格之间的差异来校正包括在食谱数据中的风味传感器信息,该食谱数据是在厨师侧测量的传感器数据。对于环境信息分析单元525,准备表示在厨师侧设置的传感器的测量结果与在再现侧设置的传感器的测量结果之间的对应关系的信息,作为用于校正的信息。
以这种方式校正的风味传感器信息用于确定风味。由此,环境的差异被吸收,并且可以确定风味。
<其他>
-配置的修改例
虽然已经基于食谱数据再现菜肴的烹饪机器人被假设为安装在家庭中的烹饪机器人1,但是可以通过安装在各个地方的烹饪机器人来再现烹饪。例如,即使在由安装在工厂中的烹饪机器人或安装在餐馆中的烹饪机器人再现烹饪的情况下,也可以应用上述技术。
此外,基于食谱数据再现菜肴的烹饪机器人是操作烹饪臂以进行烹饪的烹饪机器人1,但是可以通过能够以除烹饪臂以外的配置来烹饪食材的各种烹饪机器人来再现菜肴。
在以上描述中,烹饪机器人1已经由控制装置12控制,但是烹饪机器人1可以由生成食谱数据的数据处理装置11直接控制。在这种情况下,数据处理装置11设置有参照图27描述的命令生成单元501的每个配置。
此外,命令生成单元501的每个配置可以被设置在食谱数据管理服务器21中。
可以在生成食谱数据的数据处理装置11中设置用于管理食谱数据并将食谱数据提供给其他装置的食谱数据管理服务器21的服务器功能。
图41是示出烹饪系统的另一配置示例的图。
数据处理装置11中包括的食谱数据管理单元11A具有用于管理食谱数据并将食谱数据提供给其他装置的服务器功能。由食谱数据管理单元11A管理的食谱数据被提供给多个烹饪机器人和用于控制烹饪机器人的控制装置。
-数据管理
由于上述食谱数据、烹饪过程数据集(烹饪操作信息和风味信息)等可以说是创造性地表达关于烹饪过程的思想和感情的产品,因此可以将它们视为文学作品。
例如,进行烹饪的厨师(例如,经营著名餐馆的厨师)通过反复尝试烹饪过程中的食材的选择和品尝来完成具有创造力的美味菜肴。在这种情况下,食谱数据和烹饪过程数据集(烹饪操作信息和风味信息)具有作为数据的值,并且可以假设当被他人使用时需要补偿的状况。
因此,可以考虑以与音乐等类似的方式来管理食谱数据、烹饪过程数据集(烹饪操作信息和风味信息)等的版权的应用。
即,在本公开内容中,还可以通过使用诸如复制保护和加密的版权保护技术来保护单个食谱数据和烹饪过程数据集,所述版权保护技术为单个数据提供保护功能。
在这种情况下,例如,图14的食谱数据管理服务器21(图41的数据处理装置11)在厨师和食谱数据(或烹饪过程数据集)彼此相关联的状态下管理版权。
接下来,在用户想要烹饪机器人1使用食谱数据进行烹饪的情况下,用户支付食谱数据的使用费,从而使用下载到控制装置12的食谱数据,以用于例如由烹饪机器人1进行的烹饪。注意,使用费返还给作为食谱数据的创建者的厨师、管理食谱数据的数据管理者等。
此外,在本公开内容中,还可以通过使用用于以分布式方式在服务器上作为账本来管理数据的交易历史的区块链技术来保护单个食谱数据和烹饪过程数据集。
在这种情况下,例如,图14的食谱数据管理服务器21(图41的数据处理装置11)使用用于以分布式方式在服务器(云服务器或边缘服务器)上作为账本管理数据的交易历史记录的区块链技术来管理彼此关联的厨师和食谱数据(或烹饪过程数据集)。
接下来,在用户想要烹饪机器人1使用食谱数据进行烹饪的情况下,用户支付食谱数据的使用费,从而使用下载到控制装置12的食谱数据,以用于例如由烹饪机器人1进行的烹饪。注意,使用费返还给作为食谱数据的创建者的厨师、管理食谱数据的数据管理者等。
以这种方式,考虑到厨师、用户和使用费之间的关系,可以高效地将食谱数据(或烹饪过程数据集)作为创造性表达的作品进行管理。
-使用吸收光谱中的温度变化对食材的表征
尽管食材的风味由诸如味道、香气和质感的传感器数据表示,但是风味可以由其他指标来表示。吸收光谱中的温度变化可以用作用于表达食材的风味的指标。
原理
使用分光光度计测量样本(食材)的吸收光谱。吸收光谱取决于样本的温度而变化。以下反应可被认为是随着温度增加而吸收光谱变化的背景。
(1)缔合的解离
样本中包含的成分的缔合状态(由于分子之间的弱键而使两个或更多个分子像一个分子一样移动的状态)随温度改变。当温度低时,分子趋于缔合或聚集,而相反地,当温度升高时,分子振动变强,使得分子趋于从缔合中解离。因此,源自缔合的吸收波长的峰值减小,并且源自解离的单分子的吸收波长的峰值增大。
(2)由热能引起的分子的分解
通过吸收热量,结合力弱的部分脱落,并且分子分裂。
(3)由酶活性引起的分子的分解
分子通过降解酶而分裂。
(4)氧化还原
随着温度的增加,水的pH值下降(H+浓度升高)。在脂肪和油的情况下,氧化速率增加。
此处,从天然产物中包含的成分的诸如食材的天然产物的味道和香气的观点出发,味道物质是液相中所包含的成分,并且香气物质是挥发性的,并且是气体中所包含的成分。
处于缔合状态的分子不太可能进入气相,并且从缔合状态解离的单分子可能转变至气相。
此外,例如,与香气深度相关的萜烯以带有糖的糖苷的形式存在于植物中,但是由于热分解或酶分解而变成不带糖的无糖苷配基形式,并且容易挥发。
因此,随着温度的升高,容易挥发的分子的数量增加,在挥发的边缘的香气物质的吸收波长的峰值增加,和与香气物质已关联的分子基团相关联的吸收波长的峰值随之减小。
根据该性质,可以认为吸收光谱的温度变化反映了从与“味道”相关的液相到与“香气”相关的气相的相变。
因此,目标样本在至少两个或更多个不同的温度下保温,测量在各自的热保持状态下的样本的吸收光谱,并且该数据集可以用作表征样本的味道和香气的信息。可以从吸收光谱数据集的特性(模式)中识别样本。
这考虑到以下事实:存在由于分子的缔合的解离或分子通过热分解/酶分解的分解将发生从液相到气相的相变的高度可能性。可以说,该方法是通过三维数据的吸收光谱来表征样本的方法,其通过将温度的维度添加到表示为波长和吸光度的二维数据的吸收光谱中。
-程序
可以通过硬件或软件来执行上述一系列处理。在由软件执行一系列处理的情况下,将构成软件的程序安装在并入专用硬件的计算机、通用个人计算机等中。
要安装的程序被记录在图19所示的可移除介质211上并与之一起提供,该可移除介质包括光盘(致密盘-只读存储器(CD-ROM)、数字通用盘(DVD)等)、半导体存储器等。此外,可以经由诸如局域网、因特网或数字广播的有线或无线传输介质来提供程序。程序可以被预先安装在ROM 202或存储单元208中。
由计算机执行的程序可以是根据本说明书中描述的顺序按时间顺序处理的程序,或者可以是并行执行或在诸如进行调用时的必要的定时处执行的程序。
注意,在本说明书中,术语“系统”意指多个配置元件(装置、模块(部件)等)的组,并且所有配置元件是否在同一外壳中是无关紧要的。因此,容纳在单独的壳体中并且经由网络连接的多个装置以及在一个壳体中容纳多个模块的一个装置两者均是系统。
本说明书中描述的效果仅是示例,并不是限制,并且可以表现出其他效果。
本技术的实施方式不限于上述实施方式,并且在不脱离本技术的主旨的情况下可以进行各种修改。
例如,在本技术中,可以采用云计算的配置,在该配置中,由多个装置经由网络共享和协作处理一个功能。
此外,上述流程图中描述的步骤可以由一个装置执行,或者可以由多个装置共享和执行。
此外,在一个步骤中包括多个处理的情况下,一个步骤中包括的多个处理可以由一个装置执行,或者可以由多个装置共享和执行。
附图标记列表
1 烹饪机器人
11 数据处理装置
12 控制装置
21 食谱数据管理服务器
41 摄像装置
42 嗅觉传感器
43 味觉传感器
51 红外传感器
52 质感传感器
53 环境传感器
221 数据处理单元
231 烹饪操作信息生成单元
232 风味信息生成单元
233 食谱数据生成单元
234 环境信息生成单元
235 属性信息生成单元
236 食谱数据输出单元
321 烹饪臂
361 控制器
401 摄像装置
402 嗅觉传感器
403 味觉传感器
404 红外传感器
405 质感传感器
406 环境传感器
407 通信单元
501 信息处理单元
511 食谱数据获取单元
512 食谱数据分析单元
513 机器人状态估计单元
514 风味信息处理单元
515 控制单元
516 命令输出单元

Claims (20)

1.一种烹饪机器人,包括:
烹饪臂,其被配置成执行用于制作菜肴的烹饪操作;以及
控制单元,其被配置成使用包括以下数据集的食谱数据来控制由所述烹饪臂执行的烹饪操作,在所述数据集中,将烹饪操作数据与感觉数据相链接,所述烹饪操作数据描述关于所述菜肴的食材的信息以及关于使用所述食材的烹饪过程中的烹饪者的操作的信息,并且所述感觉数据指示结合所述烹饪过程的进度而测量的所述烹饪者的感觉,
其中,所述感觉数据包括由味觉信息配置的风味信息,所述味觉信息由味觉信息神经网络模型生成,所述味觉信息神经网络模型已使用所述食材的味觉传感器数据和所述烹饪者在食用所述食材时的感觉来执行学习。
2.根据权利要求1所述的烹饪机器人,其中,
所述感觉数据是指示烹饪之前的所述食材的风味、在所述烹饪过程中烹饪的经烹饪的食材的风味以及通过所有烹饪过程完成的所述菜肴的风味中的至少一个的数据。
3.根据权利要求2所述的烹饪机器人,其中,
所述感觉数据包括所述味觉信息,所述味觉信息指示甜味、酸味、咸味、苦味、鲜味、辣味以及涩味中的至少一个。
4.根据权利要求2所述的烹饪机器人,还包括:
风味测量单元,其被配置成测量以下中的至少一个:通过由所述烹饪臂执行的烹饪操作所烹饪的所述食材的风味、以及通过由所述烹饪臂执行的烹饪操作所完成的所述菜肴的风味。
5.根据权利要求4所述的烹饪机器人,其中,
所述风味测量单元对形成所述食材的风味的味道以及形成所述菜肴的风味的味道中的至少一个进行测量,并且
所述控制单元使所述烹饪臂执行用于进行味道调整的烹饪操作,使得由所述风味测量单元测量的味道与由所述感觉数据表示的味道相匹配。
6.根据权利要求4所述的烹饪机器人,其中,
所述感觉数据包括指示所述食材的质感以及所述菜肴的质感中的至少一个的质感信息,
所述风味测量单元对形成所述食材的风味的质感以及形成所述菜肴的风味的质感中的至少一个进行测量,并且
所述控制单元使所述烹饪臂执行用于进行质感调整的烹饪操作,使得由所述风味测量单元测量的质感与由所述感觉数据表示的质感相匹配。
7.根据权利要求6所述的烹饪机器人,其中,
所述质感信息是指示由传感器测量的应力、硬度以及水含量中的至少一个的信息。
8.根据权利要求1所述的烹饪机器人,其中,
所述食谱数据包括指示结合所述烹饪过程的进度而测量的烹饪空间的环境的烹饪环境数据,
所述烹饪机器人还包括:
环境控制单元,其被配置成控制用餐空间的环境,使得所述用餐空间的环境与由所述烹饪环境数据表示的烹饪空间的环境相匹配,在所述用餐空间中,执行对通过所述烹饪臂执行的烹饪操作所完成的菜肴的用餐。
9.根据权利要求8所述的烹饪机器人,其中,
所述烹饪环境数据是指示所述烹饪空间的温度、湿度、大气压、亮度、色调以及饱和度中的至少一个的数据。
10.根据权利要求1所述的烹饪机器人,其中,
所述食谱数据包括食物属性信息,所述食物属性信息指示烹饪之前的所述食材的属性、在所述烹饪过程中烹饪的经烹饪的食材的属性以及通过所有烹饪过程完成的所述菜肴的属性中的至少一个。
11.根据权利要求1所述的烹饪机器人,其中,
在所述烹饪操作数据中描述了在所述烹饪过程中使用的调味料的类型和量,并且
所述食谱数据包括指示所述调味料的属性的调味料属性信息。
12.根据权利要求1所述的烹饪机器人,其中,
所述食谱数据包括指示所述烹饪者的属性的烹饪者属性信息。
13.根据权利要求12所述的烹饪机器人,其中,
所述控制单元根据由所述烹饪者属性信息指示的所述烹饪者的属性与食用通过由所述烹饪臂执行的烹饪操作所完成的菜肴的用户的属性之间的差异来更新所述烹饪过程。
14.根据权利要求1所述的烹饪机器人,还包括:
状况识别单元,其被配置成识别所述烹饪臂执行烹饪操作时的状况,其中,
所述控制单元根据所识别的状况来更新所述烹饪过程。
15.根据权利要求14所述的烹饪机器人,其中,
所述控制单元根据所述食材的状况来更新所述烹饪过程。
16.根据权利要求1所述的烹饪机器人,其中,
所述控制单元根据指示命令来控制所述烹饪臂,所述指示命令基于所述食谱数据生成并且给出关于所述烹饪操作的指示。
17.根据权利要求16所述的烹饪机器人,其中,
所述控制单元根据所述指示命令来使多个所述烹饪臂协作地执行所述烹饪操作。
18.一种控制方法,包括:
由包括执行制作菜肴的烹饪操作的烹饪臂的烹饪机器人使用包括数据集的食谱数据来控制由所述烹饪臂执行的烹饪操作,在所述数据集中,将烹饪操作数据与感觉数据相链接,所述烹饪操作数据描述关于所述菜肴的食材的信息以及关于使用所述食材的烹饪过程中的烹饪者的操作的信息,并且所述感觉数据指示结合所述烹饪过程的进度而测量的所述烹饪者的感觉,
其中,所述感觉数据包括由味觉信息配置的风味信息,所述味觉信息由味觉信息神经网络模型生成,所述味觉信息神经网络模型已使用所述食材的味觉传感器数据和所述烹饪者在食用所述食材时的感觉来执行学习。
19.一种烹饪机器人控制装置,包括:
控制单元,其被配置成使用包括数据集的食谱数据来控制由烹饪机器人中包括的烹饪臂执行的烹饪操作,在所述数据集中,将烹饪操作数据与感觉数据相链接,所述烹饪操作数据描述关于菜肴的食材的信息以及关于使用所述食材的烹饪过程中的烹饪者的操作的信息,并且所述感觉数据指示结合所述烹饪过程的进度而测量的所述烹饪者的感觉,
其中,所述感觉数据包括由味觉信息配置的风味信息,所述味觉信息由味觉信息神经网络模型生成,所述味觉信息神经网络模型已使用所述食材的味觉传感器数据和所述烹饪者在食用所述食材时的感觉来执行学习。
20.一种控制方法,包括:
由烹饪机器人控制装置使用包括数据集的食谱数据来控制由烹饪机器人中包括的烹饪臂执行的烹饪操作,在所述数据集中,将烹饪操作数据与感觉数据相链接,所述烹饪操作数据描述关于菜肴的食材的信息以及关于使用所述食材的烹饪过程中的烹饪者的操作的信息,并且所述感觉数据指示结合所述烹饪过程的进度而测量的所述烹饪者的感觉,
其中,所述感觉数据包括由味觉信息配置的风味信息,所述味觉信息由味觉信息神经网络模型生成,所述味觉信息神经网络模型已使用所述食材的味觉传感器数据和所述烹饪者在食用所述食材时的感觉来执行学习。
CN202080016746.5A 2019-03-01 2020-02-14 烹饪机器人、烹饪机器人控制装置和控制方法 Active CN113473890B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-038070 2019-03-01
JP2019038070 2019-03-01
PCT/JP2020/005704 WO2020179401A1 (ja) 2019-03-01 2020-02-14 調理ロボット、調理ロボット制御装置、制御方法

Publications (2)

Publication Number Publication Date
CN113473890A CN113473890A (zh) 2021-10-01
CN113473890B true CN113473890B (zh) 2024-04-23

Family

ID=72338266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080016746.5A Active CN113473890B (zh) 2019-03-01 2020-02-14 烹饪机器人、烹饪机器人控制装置和控制方法

Country Status (6)

Country Link
US (1) US20220097239A1 (zh)
EP (1) EP3932273B1 (zh)
JP (1) JPWO2020179401A1 (zh)
KR (1) KR20210134619A (zh)
CN (1) CN113473890B (zh)
WO (1) WO2020179401A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4245479A4 (en) * 2020-11-11 2024-04-10 Sony Group Corporation INFORMATION PROCESSING DEVICE AND COOKING SYSTEM
CN113378220B (zh) * 2021-06-09 2022-07-22 浙江旅游职业学院 一种基于区块链的中央厨房烹饪溯源系统
US11969897B2 (en) * 2021-07-14 2024-04-30 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a serving robot
KR102498429B1 (ko) * 2022-08-23 2023-02-10 피플즈리그 주식회사 육류 자동 조리 장치 및 그 제어 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007155825A (ja) * 2005-11-30 2007-06-21 Cleanup Corp コンピュータ支援キッチンシステム及び該システムを用いた味つけの伝達方法、調理作業の伝達方法並びにプログラム
WO2015125017A2 (en) * 2014-02-20 2015-08-27 Mark Oleynik Methods and systems for food preparation in a robotic cooking kitchen
CN106213971A (zh) * 2016-08-08 2016-12-14 宁波卡特马克炊具科技有限公司 一种智能烹饪系统及烹饪方法
CN107065634A (zh) * 2015-09-18 2017-08-18 德国福维克控股公司 用于改进多功能烹饪装置的烹饪结果再现性的系统和方法
JP2017163916A (ja) * 2016-03-17 2017-09-21 株式会社電通 食品味覚再現システム、食品味覚再現データ変換装置及び食品味覚再現方法
CN107343382A (zh) * 2014-09-02 2017-11-10 Mbl有限公司 在具有电子微操纵库的仪器化环境中执行特定领域应用的机器人操纵方法和系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4503502A (en) * 1983-06-03 1985-03-05 Chapin Roger A Method and apparatus for automated chinese stir-fry cooking
JP2578370B2 (ja) * 1989-07-24 1997-02-05 アンリツ株式会社 味覚センサ及びその製造方法
JP2578374B2 (ja) * 1989-11-22 1997-02-05 アンリツ株式会社 味覚検出システム
CN100445948C (zh) * 2001-09-29 2008-12-24 张晓林 自动烹调方法及系统
JP5196445B2 (ja) * 2009-11-20 2013-05-15 独立行政法人科学技術振興機構 料理プロセス指示装置及び料理プロセス指示方法
SE1200431A1 (sv) * 2012-07-09 2012-10-22 Electrolux Ab Anordning för köket
US20160029836A1 (en) * 2014-08-04 2016-02-04 Panasonic Intellectual Property Management Co., Ltd. Recipe information processing apparatus, cooking apparatus, and recipe information processing method
WO2016040361A1 (en) * 2014-09-09 2016-03-17 Casabots, Inc. Automated cooking machine using a cartesian bot
US20160350704A1 (en) * 2015-05-29 2016-12-01 Eugenio Minvielle Nutrition based food system and method
US20170221296A1 (en) * 2016-02-02 2017-08-03 6d bytes inc. Automated preparation and dispensation of food and beverage products
WO2018039503A1 (en) * 2016-08-24 2018-03-01 Iceberg Luxembourg S.A.R.L. Calibration of dynamic conditioning systems
US20180232689A1 (en) * 2017-02-13 2018-08-16 Iceberg Luxembourg S.A.R.L. Computer Vision Based Food System And Method
US20210030199A1 (en) * 2017-03-06 2021-02-04 Miso Robotics, Inc. Augmented reality-enhanced food preparation system and related methods
US20190111568A1 (en) * 2017-10-13 2019-04-18 International Business Machines Corporation Robotic Chef
JP2020131339A (ja) * 2019-02-18 2020-08-31 コネクテッドロボティクス株式会社 複合調理装置及び制御プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007155825A (ja) * 2005-11-30 2007-06-21 Cleanup Corp コンピュータ支援キッチンシステム及び該システムを用いた味つけの伝達方法、調理作業の伝達方法並びにプログラム
WO2015125017A2 (en) * 2014-02-20 2015-08-27 Mark Oleynik Methods and systems for food preparation in a robotic cooking kitchen
CN107343382A (zh) * 2014-09-02 2017-11-10 Mbl有限公司 在具有电子微操纵库的仪器化环境中执行特定领域应用的机器人操纵方法和系统
CN107065634A (zh) * 2015-09-18 2017-08-18 德国福维克控股公司 用于改进多功能烹饪装置的烹饪结果再现性的系统和方法
JP2017163916A (ja) * 2016-03-17 2017-09-21 株式会社電通 食品味覚再現システム、食品味覚再現データ変換装置及び食品味覚再現方法
CN106213971A (zh) * 2016-08-08 2016-12-14 宁波卡特马克炊具科技有限公司 一种智能烹饪系统及烹饪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
论味觉科学和味觉变化在烹饪中的应用;毛羽扬;食品科学;20001230(第12期);全文 *

Also Published As

Publication number Publication date
KR20210134619A (ko) 2021-11-10
CN113473890A (zh) 2021-10-01
EP3932273A1 (en) 2022-01-05
EP3932273A4 (en) 2022-05-18
WO2020179401A1 (ja) 2020-09-10
JPWO2020179401A1 (zh) 2020-09-10
EP3932273B1 (en) 2023-10-25
US20220097239A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
CN113473890B (zh) 烹饪机器人、烹饪机器人控制装置和控制方法
CN112068526B (zh) 用于在机器人烹饪厨房中制备食物的方法和系统
KR101926764B1 (ko) 영양 물질들을 위한 로컬 저장 및 컨디셔닝 시스템
US20180003687A1 (en) Dynamic Recipe Control
WO2017181716A1 (zh) 一种烹饪方法和烹饪工具的推荐方法和系统
US20180063900A1 (en) Calibration Of Dynamic Conditioning Systems
KR20160082701A (ko) 영양 물질들을 컨디셔닝하기 위한 다중-컨디셔너 제어
KR20150003733A (ko) 소비 시에 영양 물질들을 최적화하는 변환 시스템
WO2015069950A1 (en) Instructions for conditioning nutritional substances
CN108133743A (zh) 一种信息推送的方法、装置和系统
CN108255084B (zh) 基于中控设备的烹饪控制方法及厨房管家机器人
WO2020179407A1 (ja) データ処理装置、データ処理方法
CN108720546B (zh) 烹饪器具的控制方法、控制装置及烹饪器具
JPWO2005109246A1 (ja) 感覚データベース
WO2018197596A1 (en) Device and method for determining sugar content information for a food item
WO2020179408A1 (ja) データ処理装置、データ処理方法
KR20130015512A (ko) 사용자 제어 장치를 통해 제어되는 재료 혼합장치 및 방법
CN113474134B (zh) 烹饪机器人、烹饪机器人控制装置和控制方法
CN115337651A (zh) 一种餐食研究的系统及方法
CN105046568B (zh) 食品加工信息处理方法
WO2015195573A1 (en) Multi-conditioner control for conditioning nutritional substances
WO2021024299A1 (ja) 食品生成システム
CN114282091A (zh) 食材管理方法、装置、设备和存储介质
JP2023077887A (ja) メニュー提供装置、メニュー提供システム、メニュー提供方法、及び、プログラム
CN114049933A (zh) 生成用餐报告的方法、系统、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant