CN113474134A - 烹饪机器人、烹饪机器人控制装置和控制方法 - Google Patents

烹饪机器人、烹饪机器人控制装置和控制方法 Download PDF

Info

Publication number
CN113474134A
CN113474134A CN202080016680.XA CN202080016680A CN113474134A CN 113474134 A CN113474134 A CN 113474134A CN 202080016680 A CN202080016680 A CN 202080016680A CN 113474134 A CN113474134 A CN 113474134A
Authority
CN
China
Prior art keywords
cooking
data
cook
information
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080016680.XA
Other languages
English (en)
Inventor
藤田雅博
吉田芳
米夏埃尔·西格弗里德·施普兰格尔
梨子田辰志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113474134A publication Critical patent/CN113474134A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47JKITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00Parts, details or accessories of cooking-vessels
    • A47J36/32Time-controlled igniting mechanisms or alarm devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0084Programme-controlled manipulators comprising a plurality of manipulators
    • AHUMAN NECESSITIES
    • A23FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23LFOODS, FOODSTUFFS, OR NON-ALCOHOLIC BEVERAGES, NOT COVERED BY SUBCLASSES A21D OR A23B-A23J; THEIR PREPARATION OR TREATMENT, e.g. COOKING, MODIFICATION OF NUTRITIVE QUALITIES, PHYSICAL TREATMENT; PRESERVATION OF FOODS OR FOODSTUFFS, IN GENERAL
    • A23L5/00Preparation or treatment of foods or foodstuffs, in general; Food or foodstuffs obtained thereby; Materials therefor
    • A23L5/10General methods of cooking foods, e.g. by roasting or frying
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47JKITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00Parts, details or accessories of cooking-vessels
    • A47J36/32Time-controlled igniting mechanisms or alarm devices
    • A47J36/321Time-controlled igniting mechanisms or alarm devices the electronic control being performed over a network, e.g. by means of a handheld device
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47JKITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J44/00Multi-purpose machines for preparing food with several driving units
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0045Manipulators used in the food industry
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1682Dual arm manipulator; Coordination of several manipulators
    • AHUMAN NECESSITIES
    • A23FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23VINDEXING SCHEME RELATING TO FOODS, FOODSTUFFS OR NON-ALCOHOLIC BEVERAGES AND LACTIC OR PROPIONIC ACID BACTERIA USED IN FOODSTUFFS OR FOOD PREPARATION
    • A23V2002/00Food compositions, function of food ingredients or processes for food or foodstuffs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405Determining heart rate variability
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2643Oven, cooking

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Food Science & Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Nutrition Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Polymers & Plastics (AREA)
  • Physiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本技术涉及一种烹饪机器人、烹饪机器人控制装置和控制方法,其使得能够根据进餐的个人的口味来定制由烹饪机器人制作的食物。本技术的一方面的该烹饪机器人通过使用包括数据集的食谱数据来控制由烹饪臂(321)执行的烹饪操作,在该数据集中,将烹饪操作数据与烹饪者的生物数据相链接,其中,烹饪操作数据描述了关于食物的食材的信息和关于使用食物食材的烹饪过程中的烹饪者的操作的信息,并且烹饪者的生物数据表示结合烹饪过程的进度测量的烹饪者的生物反应。本技术可以应用于操作臂并执行烹饪的烹饪机器人。

Description

烹饪机器人、烹饪机器人控制装置和控制方法
技术领域
本技术涉及烹饪机器人、烹饪机器人控制装置和控制方法,并且特别地涉及用于使得能够根据食用由烹饪机器人制作的菜肴的个人的喜好来定制菜肴的烹饪机器人、烹饪机器人控制装置和控制方法。
背景技术
正在研究一种用于通过在烹饪期间感测烹饪者的移动并且保存/发送感测结果数据的数据来在烹饪机器人侧再现由烹饪者制作的菜肴的技术。例如,基于与烹饪者的手的移动相同的移动的感测结果来实现由烹饪机器人进行的烹饪操作。
引文列表
专利文献
专利文献1:PCT日语译文专利公开第2017-506169号
专利文献2:PCT日语译文专利公开第2017-536247号
发明内容
本发明要解决的问题
由常规烹饪机器人进行的烹饪根据作为控制数据预先准备的食谱进行。因此,完成的菜肴可能不适合食用者的喜好。
鉴于这种情况而做出了本技术,并且本技术使得能够根据食用者的喜好来定制由烹饪机器人制作的菜肴。
问题的解决方案
根据本技术的一个方面的烹饪机器人包括:烹饪臂,其被配置成执行用于制作菜肴的烹饪操作;以及控制单元,其被配置成使用包括数据集的食谱数据来控制由烹饪臂执行的烹饪操作,在该数据集中,将烹饪操作数据和烹饪者生物数据相链接,该烹饪操作数据描述关于菜肴的食材的信息以及关于使用食材的烹饪过程中的烹饪者的操作的信息,并且该烹饪者生物数据指示结合烹饪过程的进度测量的烹饪者的生物反应。
在本技术的一方面,使用包括数据集的食谱数据来控制由烹饪臂执行的烹饪操作,在该数据集中,将烹饪操作数据和烹饪者生物数据相链接,该烹饪操作数据描述关于菜肴的食材的信息以及关于使用食材的烹饪过程中的烹饪者的操作的信息,并且该烹饪者生物数据指示结合烹饪过程的进度测量的烹饪者的生物反应。
附图说明
图1是示出根据本技术的实施方式的烹饪系统中的整体处理的示例的图。
图2是用于描述在厨师侧和再现侧使用的食材上的差异的图。
图3是示出食谱数据的描述内容的示例的图。
图4是示出包含在烹饪过程数据集中的信息的示例的图。
图5是示出要测量的生物反应的示例的图。
图6是示出风味的配置要素的示例的图。
图7是示出烹饪过程的示例的图。
图8是示出生成信息的示例的图。
图9是示出生成信息的另一示例的图。
图10是示出用于确定风味的确定模型的示例的图。
图11是示出食谱数据的示例的图。
图12是示出生成食谱数据的流程的示例的图。
图13是示出基于食谱数据再现菜肴的流程的示例的图。
图14是示出再现时的烹饪过程的示例的图。
图15是示出定制食谱数据的流程的示例的图。
图16是示出食用者对风味感觉如何的分析的示例的图。
图17是一起示出厨师侧的流程和再现侧的流程的图。
图18是示出食谱数据的另一描述内容的示例的图。
图19是示出要测量的生物反应的示例的图。
图20是示出定制食谱数据的流程的示例的图。
图21是示出定制的示例的图。
图22是示出烹饪系统的应用示例的图。
图23是示出食谱数据的另一描述内容的示例的图。
图24是示出根据本技术的实施方式的烹饪系统的配置示例的图。
图25是示出烹饪系统的另一配置示例的图。
图26是示出控制装置的布置示例的图。
图27是示出厨师侧的配置示例的框图。
图28是示出数据处理装置的硬件的配置示例的框图。
图29是示出数据处理装置的功能配置示例的框图。
图30是示出烹饪机器人的外观的立体图。
图31是示出烹饪臂的状况的放大视图。
图32是示出烹饪臂的外观的视图。
图33是示出烹饪臂的各个部分的可移动范围的示例的视图。
图34是示出烹饪臂与控制器之间的连接的示例的视图。
图35是示出烹饪机器人及其周围环境的配置的示例的框图。
图36是示出控制装置的功能配置示例的框图。
图37是用于描述数据处理装置的食谱数据生成处理的流程图。
图38是示出数据处理装置的食谱数据定制处理的流程图。
图39是用于描述控制装置的菜肴再现处理的流程图。
图40是示出包含在烹饪过程数据集中的信息的示例的图。
图41是示出味觉主观信息的计算示例的图。
图42是示出生成食谱数据的流程的示例的图。
图43是示出基于食谱数据再现菜肴的流程的示例的图。
图44是示出食谱数据的描述内容的示例的图。
图45是示出烹饪系统的另一配置示例的图。
具体实施方式
<本技术的概要>
本技术感测烹饪者制作菜肴时的生物反应,将所感测的生物数据包括在食谱数据中,并将食谱数据提供给再现菜肴的烹饪机器人侧。
此外,本技术在再现由烹饪者制作的菜肴时,在烹饪机器人侧使用包括在食谱数据中的生物数据来更新烹饪过程,从而根据食用者的喜好来再现具有精细调整的风味的菜肴。
此外,本技术聚焦于烹饪者制作菜肴时的感觉与基于由烹饪者创建的食谱执行烹饪时的感觉之间的差异,并且将通过将制作菜肴时的烹饪者的感觉转换成数据而获得的感觉数据与描述食材和烹饪过程的数据相链接,以将链接的数据作为食谱数据进行管理。
在下文中,将描述用于实现本技术的方式。将按照以下顺序给出说明。
1.在烹饪系统中食谱数据的生成以及菜肴的再现
2.食谱数据的描述
3.食谱数据的生成示例
4.食谱数据的生成和菜肴的再现的流程示例
5.食谱数据的描述的修改例
6.烹饪系统的配置示例
7.烹饪系统的操作
8.包括风味信息的食谱数据
9.修改例
<在烹饪系统中食谱数据的生成和菜肴的再现>
图1是示出根据本技术的实施方式的烹饪系统中的整体处理的示例的图。
如图1所示,烹饪系统包括用于烹饪的厨师侧配置和用于再现由厨师制作的菜肴的再现侧配置。
厨师侧配置例如是设置在餐馆中的配置,并且再现侧配置例如是设置在普通家庭中的配置。准备烹饪机器人1作为再现侧配置。
图1的烹饪系统是与由厨师制作的菜肴相同的菜肴被再现在作为再现侧配置的烹饪机器人1上的系统。烹饪机器人1是包括诸如烹饪臂和各种传感器的驱动系统装置并且具有烹饪功能的机器人。
从厨师侧配置向包括烹饪机器人1的再现侧配置提供由箭头指示的食谱数据。如下面将详细描述的,在食谱数据中描述了关于由厨师制作的菜肴的信息——包括菜肴的食材。
在再现侧配置中,通过基于食谱数据控制烹饪机器人1的烹饪操作来再现菜肴。例如,通过使烹饪机器人1执行用于实现与厨师的烹饪过程相同的过程的烹饪操作来再现菜肴。
尽管将厨师示出为执行烹饪的烹饪者,但是图1的烹饪系统适用于任何人进行烹饪的情况,只要这个人执行烹饪即可,而与诸如厨师或烹饪者的名称或在厨房中的角色无关。
此外,尽管在图1中示出一个厨师侧配置,但是烹饪系统包括分别设置在多个餐馆中的多个厨师侧配置。例如,由食用由烹饪机器人1再现的菜肴的个人选择的预定厨师制作的预定菜肴的食谱数据被提供给再现侧配置。
注意,菜肴是指烹饪之后完成的工作产品。烹饪是指制作菜肴的过程或制作菜肴的动作(工作)。
图2是用于描述在厨师侧和再现侧使用的食材上的差异的图。
在例如在厨师的烹饪中使用胡萝卜的情况下,在食谱数据中描述了表示使用胡萝卜作为食材的信息。此外,描述了关于使用胡萝卜的烹饪过程的信息。
基于食谱数据,在再现侧类似地执行使用胡萝卜的烹饪操作。
此处,即使食材被分类为相同的“胡萝卜”,但由于类型、产地、收获时间、生长状况和收获之后的环境不同,由厨师侧准备的胡萝卜和由再现侧准备的胡萝卜在味道、香气和质感上也不同。不存在作为天然产品的完全相同的食材。
因此,即使烹饪机器人1执行与厨师的操作完全相同的烹饪操作,使用胡萝卜准备的菜肴的风味也将不同。
经历多个烹饪过程以完成一个菜肴,但是即使观看通过经过使用胡萝卜的一个烹饪过程而制作的半成品菜肴,其风味在厨师侧与再现侧也不同。
即使厨师感觉该菜肴是美味的,但取决于食用由烹饪机器人1再现的菜肴的个人,感觉可能并不总是相同的。
因此,在图1的烹饪系统中,测量正在烹饪的厨师的生物反应。在提供给再现侧的食谱数据中,描述了通过将厨师的生物反应转换成数据获得的与关于食材和操作的信息相链接的生物信息。
再现侧要求烹饪机器人1周围的个人(例如,食用由烹饪机器人1再现的菜肴的个人)在完成所有烹饪过程时执行品尝。例如,基于在食谱数据中包括的生物信息来指定厨师感觉到美味的生物反应的品尝的定时,并且需要在对应的定时处进行品尝。
此外,测量进行品尝的个人的生物反应,并且根据测量结果适当地更新烹饪机器人1的烹饪过程。
可以说,个人将食物放入其口中时的生物反应表达了个人对风味感觉如何。基于表示厨师对风味感觉如何的生物信息来控制烹饪机器人1的烹饪,并且根据在由烹饪机器人1进行的烹饪期间已执行品尝的个人对风味感觉如何来更新食谱数据中描述的烹饪过程。
在下文中,表示厨师的生物反应的生物信息被适当地称为烹饪者生物信息。
此外,将食用由烹饪机器人1烹饪的经烹饪食材或使用经烹饪食材准备(再现)的菜肴的个人称为食用者。表示响应于烹饪机器人1的请求而品尝菜肴的食用者的生物反应的生物信息是食用者生物信息。
<食谱数据的描述>
图3是示出食谱数据的描述内容的示例的图。
如图3所示,一个食谱数据包括多个烹饪过程数据集。在图3的示例中,包括与烹饪过程#1有关的烹饪过程数据集、与烹饪过程#2有关的烹饪过程数据集......、以及与烹饪过程#N有关的烹饪过程数据集。
因此,在食谱数据中,将关于一个烹饪过程的信息描述为一个烹饪过程数据集。
图4是示出烹饪过程数据集中包括的信息的示例的图。
如图4的气泡框中所示,烹饪过程数据集包括烹饪操作信息(其是与用于实现烹饪过程的烹饪操作有关的信息)以及表示厨师的生物反应的烹饪者生物信息。
1.烹饪操作信息
烹饪操作信息包括食材信息和操作信息。
1-1.食材信息
食材信息是关于由厨师在烹饪过程中使用的食材的信息。关于食材的信息包括表示食材的类型、数量和大小的信息。
例如,在厨师在某个烹饪过程中用胡萝卜烹饪的情况下,表示胡萝卜被使用的信息被包括在食材信息中。在食材信息中还包括表示由厨师用作菜肴的食材的各种食物诸如水和调味品的信息。食物是个人可以食用的各种物品。
食材不仅包括完全未烹饪过的食材,而且还包括通过应用某种烹饪获得的已烹饪过(制备的)的食材。某个烹饪过程的烹饪操作信息中包括的食材信息包括已经历先前烹饪过程的经烹饪食材的信息。
例如可以通过分析由摄像装置捕获的正在烹饪的厨师的图像来识别由厨师使用的食材。食材信息是基于食材的识别结果而生成的。由摄像装置捕获的图像可以是静态图像或动态图像。
在生成食谱数据时,可以由厨师或支持厨师的另一个人(例如工作人员)登记食材信息。
1-2.操作信息
操作信息是关于厨师在烹饪过程中的移动的信息。关于厨师的移动的信息包括表示厨师的身体每次的移动的信息,其包括由厨师使用的烹饪工具的类型和手移动、厨师每次的站立位置等。
例如,在厨师用厨房刀切割某种食材的情况下,操作信息包括表示厨房刀已被用作烹饪工具的信息、表示切割位置、切割次数、切割强度、角度、速度等的信息。
此外,在厨师用长柄勺搅拌容纳有作为食材的液体的锅的情况下,操作信息包括表示已将长柄勺用作烹饪工具的信息、表示搅拌方法的强度、角度、速度、时间等的信息。
在厨师在烘箱中烘烤某种食材的情况下,操作信息包括表示烘箱已被用作烹饪工具、烘箱的加热功率、烘烤时间等的信息。
在厨师已经将食材放在盘上的情况下,操作信息包括用于放食材的餐具、布置食材的方法、食材的颜色等的信息。
例如,通过分析由摄像装置捕获的正在烹饪的厨师的图像或分析由附接至厨师的传感器测量的传感器数据,来识别厨师的移动。基于厨师的移动的识别结果来生成操作信息。
2.烹饪者生物信息
图5是示出要测量的生物反应的示例的图。
如图5所示,例如,作为厨师的生物反应,例如测量脑电图、瞳孔、出汗、四肢的肌电图、整个面部的温度、面部表情、整个身体的运动、心率和声音。
(1)脑电图(EEG)
厨师的脑电图是使用脑电图仪测量的。厨师执行品尝时的脑电图包括来自味觉受体和嗅觉受体的信号。通过分析脑电图,可以指定厨师对味道和香气感觉如何。
(2)瞳孔
厨师的瞳孔的变化是通过分析由摄像装置捕获的图像来测量的。可以从瞳孔的张开和闭合的程度来识别情绪,例如当个人高兴或惊讶时瞳孔张开。例如,在执行品尝的厨师的瞳孔的张开和闭合的程度高于阈值的情况下,可以推测厨师感觉美味。
(3)出汗
厨师的出汗量的变化是通过分析由摄像装置捕获的图像或通过分析测量皮肤中的水含量的皮肤传感器的测量结果来测量的。例如,食用热的或辛辣的食物可能会增加血液流动并且增加出汗。
(4)四肢的肌电图
使用肌电仪测量厨师的肌电图的变化。可以从肌电图的变化中识别出情绪,例如,在存在令人高兴的事物时,四肢暂时受到压力,并且可以观察到肌电图的变化。例如,如果当厨师进行品尝时肌电图显著改变,则可以推测厨师感觉美味。
(5)整个面部的温度
使用红外线传感器来测量厨师的整个面部的温度。例如,食用热的或辛辣的食物可能会增加血液流动并增加整个面部的温度。
(6)面部表情
通过分析由摄像装置捕获的图像来测量厨师的面部表情。例如,在厨师进行品尝时的高兴的面部表情的情况下,可以推测厨师感觉美味,而在悲伤的面部表情的情况下,可以推测厨师感觉不美味。
(7)整个身体的运动
通过分析由摄像装置捕获的图像和表示附接至厨师的身体的运动传感器的测量结果的传感器数据,来测量整个身体的运动。由于没有太多人在他们食用美味的食物时被卡住,因此可以说,整个身体的运动表达了人们对风味感觉如何。
(8)心率
厨师的心率是使用可穿戴活动计测量的。例如,在厨师进行品尝时心率升高的情况下,可以推测厨师感觉美味。
(9)声音
厨师的声音是通过分析由麦克风收集的声音来测量的。例如,在品尝期间厨师发出的声音的频率高于品尝之前发出的声音的频率的情况下,可以推测厨师感觉美味。
可以分析厨师的话语的含义,并且可以基于语义分析的结果来推测厨师是否感觉美味。例如,在做出肯定风味的诸如“美味”、“好”、“OK”和“不错”的话语的情况下,可以推测厨师感觉美味。
基于如上所述的生物反应的测量结果来生成烹饪者生物信息,并且该烹饪者生物信息被包括在食谱数据中。烹饪者生物信息包括表示厨师的脑电图的状态的数据、表示瞳孔的状态的数据、表示出汗的状态的数据、表示四肢的肌电图的状态的数据、表示整个面部的温度的状态的数据、表示面部表情的状态的数据、表示整个身体的运动的状态的数据、表示心率的状态的数据和表示声音的状态的数据,作为表示厨师对风味感觉如何的数据。
代替被测量的所有以上生物反应,表示脑电图、瞳孔、出汗、四肢的肌电图、整个面部的温度、面部表情、整个身体的运动、心率或声音中的至少一个的信息可以被生成为烹饪者生物信息。
这里,将描述风味。
图6是示出风味的配置要素的示例的图。
如图6所示,个人在大脑中感觉到的美味即“风味”主要是通过个人的味觉获得的味道、通过个人的嗅觉获得的香气和通过个人的触觉获得的质感的组合。
风味还包括体感温度(apparent temperature)和颜色,这是因为个人对美味感觉如何取决于食材的体感温度和颜色而改变。
将描述风味的配置要素。
(1)味道
味道包括可以由舌头和口腔中的味觉受体细胞感觉到的五种味道(咸味、酸味、苦味、甜味和鲜味)。咸味、酸味、苦味、甜味和鲜味被称为基本的五种风味。
此外,除了基本的五种味道外,味道还包括不仅在口腔中而且还在属于瞬时受体电位(TRP)通道家族的香草酸受体中感觉到的辣味,这是整个身体的痛感觉。涩味也是味道的一种,尽管涩味与苦味取决于浓度而交叠。
将描述每种味道。
-咸味
产生咸味的物质包括通过电离键形成盐的矿物质(Na、K、Fe、Mg、Ca、Cu、Mn、Al、Zn等)。
-酸味
产生酸味的物质包括酸,例如柠檬酸和乙酸。通常,根据pH的降低(例如,约pH3)而感觉到酸味。
-甜度
产生甜味的物质包括糖(例如蔗糖和葡萄糖)、脂质、氨基酸(例如甘氨酸)和人造甜味剂。
-鲜味
产生鲜味的物质包括氨基酸(例如谷氨酸和天冬氨酸)、核酸衍生物(例如肌苷酸、鸟苷酸和黄苷酸)、有机酸(例如琥珀酸)和盐。
-苦味
产生苦味的物质包括生物碱(例如咖啡因)、葎草酮(例如可可碱、烟碱、儿茶素和萜类化合物)、柠檬苦素、葫芦素、黄烷酮糖苷柚皮苷、苦味氨基酸、苦味肽、胆汁酸和无机盐(例如钙盐和镁盐)。
-涩味
产生涩味的物质包括多酚、单宁、儿茶素、多价离子(Al、Zn和Cr)、乙醇和丙酮。涩味被识别或测量为苦味的一部分。
-辣味
产生辣味的物质包括辣椒素。作为生物功能,作为个人感觉辣的辣椒和各种香料的成分的辣椒素以及作为个人感觉冷的薄荷油的成分的薄荷醇被TRP通道家族的温感受体识别为痛感觉而不是味觉感觉。
(2)香气
香气是通过在鼻腔和鼻咽中表达的嗅觉受体识别(结合)的具有300或更低的分子量的挥发性低分子量有机化合物来感知的。
(3)质感
质感是称为食物质感的指标,并且由硬度、粘性、粘度、凝聚性、聚合物含量、水含量(水分)、油含量(油腻性)等来表示。
(4)体感温度
体感温度是由人类皮肤感觉到的温度。体感温度不仅是食物本身的温度,而且还是皮肤表层响应于食物成分而感觉到的温度感觉,例如包含诸如薄荷的挥发性物质的食物的清爽感以及包含诸如红辣椒的辣味食材的食物的温感。
(5)颜色
食物的颜色反映了食物中包含的色素以及苦味和涩味的成分。例如,植物源(plant-derived)的食物包括通过光合作用产生的色素和与多酚的苦味和涩味有关的成分。可以通过光学测量方法从食物的颜色估计食物中包括的成分。
<食谱数据的生成示例>
图7是示出烹饪过程的示例的图。
由厨师进行的烹饪通常是通过对于每个烹饪过程重复使用食材的烹饪、品尝经烹饪的食材并调整风味来进行的。
通过添加例如在咸味不足时添加盐或在酸味不足时挤压柠檬汁的过程来调整风味。通过添加例如切碎和添加香草或加热食材的过程来调整香气。通过添加例如在食材硬时敲打食材使其变软或增加用于烹煮食材的时间的过程来调整质感。
在图7的烹饪过程#1中,在时间t1与时间t2之间执行使用食材的烹饪作为第一次烹饪,并且在时间t2与时间t3之间执行对经烹饪的食材的品尝作为第一次品尝。此外,在时间t3与时间t4之间执行使用诸如调味品的食材对风味的调整作为第二次烹饪,并且在时间t4与时间t5之间执行风味的调整之后的品尝作为第二次品尝。
在时间t3与时间t4之间执行作为第二次烹饪的风味的调整是基于先前的第一次品尝的结果执行的过程。在时间t4与时间t5之间执行的第二次品尝是执行以确认先前风味调整的结果的过程。
在图7的示例中,一个烹饪过程包括四个厨师过程,但是包括在一个烹饪过程中的厨师过程的次数是任意的。一个厨师过程可以形成一个烹饪过程。
此外,在图7的示例中,一个烹饪过程包括两个品尝过程,但是包括在一个烹饪步骤中的品尝过程的次数可以是一次,或者可以不包括该品尝过程。可以通过例如分析由摄像装置捕获的图像来识别厨师的品尝。可以基于厨师的生物反应来识别厨师的品尝。
图8是示出生成信息的示例的图。
如图8所示,在执行第一次烹饪时,从时间t1到时间t2测量厨师的操作,并且识别由厨师使用的食材和厨师的移动。基于时间t1与时间t2之间的识别结果,如箭头A1的尖端所示的那样,生成烹饪操作信息#1-1。
此外,当在时间t2处识别出厨师开始品尝时,开始测量厨师的生物反应。继续进行对生物反应的测量,直到例如识别出厨师的品尝结束的时间t3。基于时间t2与时间t3之间的测量结果,如箭头A2的尖端所示的那样,生成烹饪者生物信息#1-1。
类似地,在执行第二次烹饪时,从时间t3到时间t4测量厨师的移动,并且识别由厨师使用的食材和厨师的移动。基于时间t3与时间t4之间的识别结果,如箭头A3的尖端所示的那样,生成烹饪操作信息#1-2。
在时间t4处识别出厨师开始品尝的情况下,开始对厨师的生物反应的测量。继续进行对生物反应的测量,直到例如识别出厨师的品尝结束的时间t5。基于时间t4与时间t5之间的测量结果,如箭头A4的尖端所示的那样,生成烹饪者生物信息#1-2。
例如,通过组合烹饪操作信息#1-1和烹饪操作信息#1-2,生成配置烹饪过程#1的烹饪过程数据集的烹饪操作信息。
此外,通过组合烹饪者生物信息#1-1和烹饪者生物信息#1-2,生成配置烹饪过程#1的烹饪过程数据集的烹饪者生物信息。烹饪者生物信息还包括表示基于厨师在品尝的什么定时的生物反应生成了烹饪者生物信息的信息。烹饪者生物信息与品尝过程相链接。
图9是示出生成信息的另一示例的图。
在图9的示例中,食谱数据不包括表示所有测量的生物反应的烹饪者生物信息。例如,食谱数据仅包括表示品尝结果为OK时即厨师判断食物为美味时的生物学反应的烹饪者生物信息。
可以由厨师通过按下设置在厨房中的按钮直接输入厨师是否判断所食用的食材是美味的。
此外,可以基于厨师的生物反应来确定厨师是否判断所食用的食材是美味的。
图10是示出用于确定风味的确定模型的示例的图。
如图10中所示,使用风味确定模型来确定厨师是否判断所食用的食材是美味的,该风味确定模型是通过深度学习等生成的神经网络的模型。通过例如使用厨师食用某种食材时的生物反应的测量结果以及关于食材是美味还是不美味的表示对风味的感觉的信息进行学习,来预先生成风味确定模型。
例如,在输入品尝某种食材时的生物反应的测量结果的情况下,从风味确定模型输出风味确定结果。风味确定结果指示品尝的食材是美味(OK)还是不美味(NG)。
在图9的示例中,如箭头A11的尖端所示的那样,确定在时间t2与时间t3之间执行的第一次品尝的结果是不美味的。同时,如箭头A12的尖端所示的那样,确定在时间t4与时间t5之间执行的第二次品尝的结果是美味的。
在这种情况下,基于时间t4与时间t5之间的测量结果而生成的烹饪者生物信息#1-2连同如参照图8描述的那样生成的烹饪操作信息被包括在烹饪过程#1的烹饪过程数据集中。
以这种方式,食谱数据可以仅包括表示满足预定条件的、被厨师认为是美味的生物反应的烹饪者生物信息。
在参照图8描述的那样在食谱数据中包括所有烹饪者生物信息的情况下,可以将风味OK标志设置为表示厨师判断所食用的食材为美味时的生物学反应的烹饪者生物信息#1-2。风味OK标志是指示厨师判断所食用的食材为美味的标志。
通过参考风味OK标志,再现侧可以指定厨师已判断食材为美味时的品尝的定时。
注意,在图8和图9的示例中,仅在厨师进行品尝时测量生物反应,但是可以在厨师进行烹饪时以稳定的基础测量生物反应。在这种情况下,食谱数据包括从由厨师进行的烹饪的开始到结束的生物反应的时间序列数据作为烹饪者生物信息。
如上所述,通过将烹饪操作信息(与用于实现烹饪过程的烹饪操作有关的信息)与烹饪者生物信息(表示结合烹饪过程的进度测量的厨师的生物反应的信息)相链接(相关联)来配置食谱数据。
如图11所示,为每个菜肴准备包括以上信息中的每一个的食谱数据。例如,由安装烹饪机器人1的地方处的食用者来选择哪些食谱数据用于再现菜肴。
<食谱数据的生成和菜肴的再现的流程的示例>
图12是示出生成食谱数据的流程的示例的图。
如上所述,通过感测(测量)正在烹饪的厨师的操作,基于感测结果来生成配置烹饪过程数据集的烹饪操作信息。
此外,通过感测正在品尝的厨师的生物反应,基于感测结果来生成烹饪者生物信息。
在图12的示例中,如箭头A21所示的那样,基于由厨师作为烹饪过程#1执行的烹饪操作的感测结果,来生成配置烹饪过程#1的烹饪过程数据集的烹饪操作信息。
此外,如箭头A22所示的那样,基于正在测试经烹饪食材的厨师的生物反应的感测结果,来生成配置烹饪过程#1的烹饪过程数据集的烹饪者生物信息。
在烹饪过程#1完成之后,执行烹饪过程#2,其是下一个烹饪过程。
类似地,如箭头A31所示的那样,基于由厨师作为烹饪过程#2执行的烹饪操作的感测结果,来生成配置烹饪过程#2的烹饪过程数据集的烹饪操作信息。
此外,如箭头A32所示的那样,基于正在测试经烹饪食材的厨师的生物反应的感测结果,来生成配置烹饪过程#2的烹饪过程数据集的烹饪者生物信息。
通过这样的多个烹饪过程完成一个菜肴。此外,当完成菜肴时,生成描述每个烹饪过程的烹饪过程数据集的食谱数据。
图13是示出基于食谱数据再现菜肴的流程的示例的图。
如图13所示,通过以下操作来执行由烹饪机器人1对菜肴的再现:针对每个烹饪过程,重复基于在食谱数据中描述的烹饪过程数据集中包括的烹饪操作信息的烹饪以及根据品尝过经烹饪食材的食用者的生物反应来更新所述烹饪过程。
由食用者例如响应于烹饪机器人1对食用者品尝经烹饪的食材的请求,而执行对经烹饪的食材的品尝。食用者将在正在基于食谱数据进行烹饪的烹饪机器人1周围,使得食用者可以响应于烹饪机器人1的请求而进行品尝。
通过例如从烹饪机器人1的扬声器输出合成声音或者通过使烹饪机器人1中设置的诸如LED的发光单元闪烁来执行用于品尝的请求。可以通过向食用者的诸如智能电话的移动终端发送消息来执行用于品尝的请求。
例如,基于包括在烹饪过程数据集中的烹饪者生物信息,根据厨师判断食物是美味时的品尝的定时来确定请求品尝的定时。
在图13的示例中,如箭头A41所示,基于配置烹饪过程#1的烹饪过程数据集的烹饪操作信息来控制烹饪机器人1的烹饪操作,并且由烹饪机器人1执行与厨师的烹饪过程#1的操作相同的操作。
在由烹饪机器人1执行与厨师的烹饪过程#1的操作相同的操作之后,请求食用者对经烹饪的食材进行品尝,如箭头A42所示。基于表示厨师判断该食材为美味时的生物反应的烹饪者生物信息来执行用于品尝的该请求。
响应于由烹饪机器人1进行的请求来测量正在品尝的食用者的生物反应,并且基于该测量结果来更新烹饪过程。尽管下面将描述细节,但是更新烹饪过程,使得在食用者感觉到经烹饪的食材不美味的情况下经烹饪的食材变得美味。
在由烹饪机器人1执行根据经更新的烹饪过程的烹饪的情况下,烹饪过程#1终止。在烹饪过程#1完成之后,执行烹饪过程#2,其是下一个烹饪过程。
类似地,如箭头A51所示,基于配置烹饪过程#2的烹饪过程数据集的烹饪操作信息来控制烹饪机器人1的烹饪操作,并且由烹饪机器人1执行与厨师的烹饪过程#2的操作相同的操作。
在由烹饪机器人1执行与厨师的烹饪过程#2的操作相同的操作之后,请求食用者对经烹饪的食材进行品尝,如箭头A52所示。基于表示厨师判断该食材为美味时的生物反应的烹饪者生物信息来执行用于品尝的该请求。
响应于由烹饪机器人1进行的请求来测量正在品尝的食用者的生物反应,并且基于该测量结果来更新烹饪过程。
在由烹饪机器人1执行根据经更新的烹饪过程的烹饪的情况下,烹饪过程#2终止。
通过这样的多个烹饪过程,由烹饪机器人1再现由厨师制作的菜肴。
图14是示出再现时的烹饪过程的示例的图。
假设由厨师执行参照图8描述的烹饪过程#1,并且生成上述烹饪过程数据集。
如图14所示,由烹饪机器人1在时间t11至时间t12期间,基于包括在烹饪过程数据集中的烹饪操作信息#1-1来执行与由厨师在时间t1至时间t2(图8)期间执行的第一次烹饪相同的烹饪。
此外,由烹饪机器人1在时间t12至时间t13期间,基于包括在烹饪过程数据集中的烹饪操作信息#1-2来执行与由厨师在时间t3至时间t4期间执行的第二次烹饪相同的烹饪。
由此,已经由烹饪机器人1执行与由厨师执行的两次烹饪具有相同内容的两次烹饪。
在基于烹饪操作信息#1-2的烹饪完成的时间t13处,在烹饪机器人1侧准备具有由厨师调整的风味的食材,即与图8的时间t4处获得的食材具有相同风味的食材,作为经烹饪的食材。
由于已经在厨师侧的第二次烹饪之后执行的第二次品尝中判断该食材是美味的,因此请求食用者在再现侧的对应的第二次烹饪之后的定时处进行品尝。基于烹饪者生物信息#1-2,来确定厨师在第二次品尝时判断食材是美味的。如上所述,烹饪者生物信息#1-2是基于在厨师判断食材为美味时的生物反应生成的信息。
在图14的示例中,请求食用者在时间t13处进行品尝。食用者将响应于来自烹饪机器人1的请求而品尝食材。
在识别到食用者开始品尝的情况下,开始对食用者的生物反应的测量。要测量的食用者的生物反应类似于厨师的生物反应。测量食用者的脑电图、瞳孔、出汗、四肢的肌电图、整个面部的温度、面部表情、整个身体的运动、心率和声音。继续进行对生物反应的测量,直到例如识别出食用者的品尝结束的时间t14。
基于时间t13与时间t14之间的测量结果,来确定食用者是否判断该食材是美味的。即,确定食用者是否也判断经烹饪的食材是美味的,该经烹饪的食材已经被厨师判断为是美味的。
由食用者通过按下设置在烹饪机器人1中的按钮直接输入食用者是否判断所食用的食材是美味的。
可以基于食用者的生物反应来确定食用者是否判断所食用的食材是美味的。
还使用参照图10描述的风味确定模型来确定食用者是否判断所食用的食材是美味的。在再现侧准备的风味确定模型是通过使用食用者食用某种食材时的生物反应的测量结果进行学习而生成的模型。
在食用者判断所食用的食材为美味的情况下,烹饪过程#1终止。
同时,在食用者判断所食用的食材不美味的情况下,在时间t14与时间t15之间更新烹饪过程,并且由烹饪机器人1执行根据经更新的烹饪过程的烹饪。基于已经进行尝试的食用者的生物反应来更新烹饪过程。
图15是示出包括更新烹饪过程的定制食谱数据的流程的示例的图。
图15中所示的数据处理装置11是具有生成食谱数据并且将食谱数据提供给包括烹饪机器人1的再现侧的功能的装置,这将在下面详细描述。
如箭头A101所示,烹饪机器人1将表示品尝了味道的食用者的生物反应的食用者生物信息发送到数据处理装置11。
在数据处理装置11中,通过基于食用者生物信息更新烹饪过程来定制食谱数据。例如,基于食用者生物信息来分析食用者对要品尝的食材的风味感觉如何。
图16是示出食用者对风味感觉如何的分析的示例的图。
如图16所示,通过将食用者生物信息输入到数据处理装置11中准备的风味主观信息生成模型中来计算食用者对风味感觉如何的风味主观值。风味主观信息生成模型是通过使用食用者的生物反应以及表示食用者对风味感觉如何的信息进行学习来预先生成的模型。
根据基于食用者生物信息计算出的风味主观值,例如,食用者对风味的主观感觉用美味/不美味、咸味重/轻、甜味重/轻、香气重/轻、硬/软、热/温热等来表达。
例如,在食用者感到咸味轻的情况下,数据处理装置11更新烹饪过程,以增加向食材中撒盐的动作以增强咸味。
在食用者感到食材硬的情况下,数据处理装置11更新烹饪过程,以增加将食材煮沸达预定时间的操作以使食材变软。
此外,在食用者感到食材温热的情况下,数据处理装置11更新烹饪过程,以增加将食材加热达预定时间的操作以使食材变热。
如图15中的箭头A102所示,将包括对更新的烹饪过程的描述的定制的食谱数据提供给烹饪机器人1。在烹饪机器人1中,根据更新的烹饪过程来烹饪食材。
重复这样的品尝请求和烹饪过程更新,直到例如食用者判断所烹饪的食材是美味的。
如上所述,包括烹饪机器人1的再现侧在进行烹饪的同时,针对每个烹饪过程,检查食用者是否判断所烹饪的食材是美味的,所烹饪的食材是通过执行与厨师的操作相同的操作而获得的。
图17是一起示出厨师侧的流程和再现侧的流程的图。
如图17的左侧所示,通过多个烹饪过程#1至#N完成一个菜肴,并且生成描述每个烹饪过程的烹饪过程数据集的食谱数据。
同时,在再现侧,基于由厨师的烹饪生成的食谱数据,通过与厨师侧执行的烹饪过程相同的多个烹饪过程#1至#N来再现一个菜肴。
在针对每个烹饪过程检查食用者是否感到与厨师的感觉相似的美味的同时,进行烹饪机器人1的烹饪,并且更新烹饪过程以使食用者可以感到美味。因此,最终的菜肴成为食用者感到美味的菜肴。
基本上,该菜肴是通过与厨师的烹饪相同的烹饪制成的,尽管该菜肴是厨师烹饪的菜肴的再现品,但是最终的菜肴变为具有根据食用者的喜好定制的风味的菜肴。
厨师可以为不能访问厨师自己的餐厅的个人提供与由厨师制作的菜肴相同的菜肴。此外,厨师可以将由厨师制作的菜肴以可再现的形式保留为食谱数据。
同时,食用由烹饪机器人1再现的菜肴的人可以根据自己的喜好定制与由厨师准备的菜肴相同的菜肴。
<食谱数据的描述的修改例>
图18是示出食谱数据的另一描述内容的示例的图。
如图18所示,食谱数据可以包括表示品尝过完成的菜肴的厨师的生物反应的烹饪者生物信息。在这种情况下,将烹饪者生物信息链接到整个烹饪操作信息。
以这种方式,烹饪操作信息与烹饪者生物信息之间的关联关系不必是一对一的。
例如,在食谱数据包括表示品尝过完成的菜肴的厨师的生物反应的烹饪者生物信息的情况下,在烹饪机器人1完成菜肴的再现之后,在进餐后的定时处基于正在食用所再现的菜肴的食用者的生物反应来执行食谱数据的定制。当在烹饪机器人1中再次再现相同的菜肴时,将使用基于在食用期间测量的生物反应来定制的食谱数据。
图19是示出要测量的生物反应的示例的图。
图19所示的两个人是正在食用烹饪机器人1再现的菜肴的食用者。如图19所示,例如,测量食用者的脑电图、瞳孔、出汗、四肢的肌电图、整个面部的温度、面部表情、整个身体的运动、心率和声音,并且生成食用者生物信息。
在食用期间测量的食用者生物信息是表示食用者对由烹饪机器人1再现的菜肴的风味感觉如何的信息。
图20是示出定制食谱数据的流程的示例的图。
如图20的上部所示,烹饪机器人1将表示正在进餐的食用者的生物反应的食用者生物信息发送到数据处理装置11。
在数据处理装置11中,通过基于食用者生物信息更新烹饪过程来定制食谱数据。如上所述,食谱数据的定制是通过基于食用者生物信息来分析食用者对菜肴的风味感觉如何、基于指示食用者对风味的感觉的风味主观值来执行的。
例如,在食用者感到咸味轻的情况下,数据处理装置11更新烹饪过程,以增加在预定定时处向食材撒盐的动作以增强咸味。
在食用者感到菜肴硬的情况下,数据处理装置11更新烹饪过程,以增加在预定定时处将食材煮沸达预定时间的操作以使菜肴变软。
此外,在食用者感到菜肴温热的情况下,数据处理装置11更新烹饪过程,以增加在预定定时处加热食材达预定时间的操作以加热菜肴。
在食用者选择制作相同菜肴的情况下,如箭头A111的尖端所示,包括更新后的烹饪过程的描述的定制的食谱数据被提供给烹饪机器人1。烹饪机器人1根据更新的烹饪过程进行烹饪。
基于定制的食谱数据再现的菜肴的风味变为根据食用者的喜好的风味。
如图21所示,图20所示的烹饪系统是如下的系统,该系统基于指示已经食用了基于食谱数据再现的菜肴的食用者对风味的感觉的风味主观值来定制某些食谱数据,并且提供定制的食谱数据。
图22是示出烹饪系统的应用示例的图。
如图22中所示,数据处理装置11可以基于一个食谱数据,根据多个食用者中的每一个的喜好来定制食谱数据以生成多个食谱数据,并且将食谱数据提供给各个食用者。
在图22的示例中,基于指示用户A至C中的每一个对风味的感觉的风味主观值来定制某些食谱数据,用户A至C是已经食用了基于某些食谱数据再现的菜肴的食用者。
根据用户A的喜好定制的用户A的食谱数据被提供给用户A,根据用户B的喜好定制的用户B的食谱数据被提供给用户B。根据用户C的喜好定制的用户C的食谱数据被提供给用户C。
如上所述,上述技术可以应用于提供针对每个食用者定制的食谱数据的烹饪系统。
图23是示出食谱数据的另一描述内容的示例的图。
如图23所示,食用者生物信息可以代替烹饪者生物信息而被包括在定制的食谱数据中。食谱数据中包括的食用者生物信息是如上所述作为在食用期间测量的信息从再现侧发送的信息。
在基于定制的食谱数据来再现菜肴的情况下,适当地使用食谱数据中包括的食用者生物信息来进行烹饪。
食谱数据可以包括烹饪者生物信息和食用者生物信息两者,而不是包括食用者生物信息来代替烹饪者生物信息。
<烹饪系统的配置示例>
(1)整体配置
图24是示出根据本技术的实施方式的烹饪系统的配置示例的图。
如图24所示,通过经由诸如因特网的网络13将被设置为厨师侧配置的数据处理装置11与被设置为再现侧配置的控制装置12进行连接来配置烹饪系统。如上所述,烹饪系统设置有多个这样的厨师侧配置和再现侧配置。
数据处理装置11是生成上述食谱数据的装置。数据处理装置11由计算机等配置而成。数据处理装置11经由网络13向控制装置12发送例如由食用所再现的菜肴的食用者选择的菜肴的食谱数据。
控制装置12是控制烹饪机器人1的装置。控制装置12也由计算机等配置而成。控制装置12接收由数据处理装置11提供的食谱数据,并且基于食谱数据的描述输出指示命令,以控制烹饪机器人1的烹饪操作。
烹饪机器人1根据从控制装置12提供的指示命令来驱动诸如烹饪臂的每个部分,以执行每个烹饪过程的烹饪操作。指示命令包括设置在烹饪臂中的马达的扭矩、驱动方向、用于控制驱动量的信息等。
在烹饪完成之前,控制装置12将指示命令顺序地输出到烹饪机器人1。当烹饪机器人1根据指示命令执行操作时,菜肴最终完成。
图25是示出烹饪系统的另一配置示例的图。
如图25所示,可以经由网络上的服务器将食谱数据从厨师侧提供到再现侧。
图25所示的食谱数据管理服务器21接收从每个数据处理装置11发送的食谱数据,并且通过使数据库存储食谱数据来管理食谱数据。食谱数据管理服务器21响应于经由网络13从控制装置12发送的请求,将预定的食谱数据发送到控制装置12。
食谱数据管理服务器21具有集中管理由各种餐馆的厨师制作的菜肴的食谱数据并且响应于来自再现侧的请求来分发食谱数据的功能。
图26是示出控制装置12的配置示例的图。
如图26中的A所示,控制装置12被设置为例如烹饪机器人1外部的装置。在图26中的A的示例中,控制装置12和烹饪机器人1经由网络13连接。
从控制装置12发送的指示命令由烹饪机器人1经由网络13接收。由烹饪机器人1的摄像装置捕获的图像以及诸如由设置在烹饪机器人1中的传感器测量的传感器数据之类的各种数据经由网络13从烹饪机器人1发送到控制装置12。
可以将多个烹饪机器人1连接到一个控制装置12,而不是将一个烹饪机器人1连接到一个控制装置12。
如图26中的B所示,控制装置12可以被设置在烹饪机器人1的壳体内部。在这种情况下,根据由控制装置12生成的指示命令来控制烹饪机器人1的每个部分的操作。
在下文中,将假设控制装置12被设置为烹饪机器人1外部的装置来进行描述。
(2)厨师侧的配置
图27是示出厨师侧的配置示例的框图。
如图27所示,摄像装置41和生物传感器42连接至数据处理装置11。与上述配置相同的配置由相同的附图标记表示。将适当地省略重复描述。
摄像装置41捕获厨师烹饪的状态和厨房顶板上的状态,并且将通过捕获而获得的图像发送到数据处理装置11。
摄像装置41包括多个摄像装置。配置摄像装置41的一些摄像装置例如被附接到厨师的头部。附接到厨师的头部的摄像装置捕获正在烹饪的厨师的手的状态、要烹饪的食材的状态以及厨房顶板上的状态,并且将通过捕获而获得的图像发送到数据处理装置11。
生物传感器42是测量厨师的生物反应的传感器。生物传感器42包括测量上述生物反应的脑电图仪、皮肤传感器、肌电图仪、红外线传感器、运动传感器、可穿戴式活动计、麦克风等。由摄像装置41捕获的图像也适当地用于测量厨师的生物反应。
生物传感器42将表示厨师的生物反应的测量结果的数据发送到数据处理装置11。
除了摄像装置41和生物传感器42之外,用于识别厨师的操作的各种传感器(诸如附接到厨师的身体的陀螺仪传感器以及用于捕获厨师的红外线传感器)也连接至数据处理装置11。
图28是示出数据处理装置11的硬件的配置示例的框图。
如图28所示,数据处理装置11由计算机配置而成。中央处理单元(CPU)201、只读存储器(ROM)202和随机存取存储器(RAM)203通过总线204相互连接。
此外,输入/输出接口205连接到总线204。包括键盘、鼠标等的输入单元206以及包括显示器、扬声器等的输出单元207连接到输入/输出接口205。
此外,包括硬盘、非易失性存储器等的存储单元208;包括网络接口等的通信单元209;以及用于驱动可移除介质211的驱动器210连接至输入/输出接口205。
在如上所述配置的计算机中,CPU 201例如经由输入/输出接口205和总线204将存储在存储单元208中的程序加载到RAM 203中并且执行该程序,从而执行一系列处理。
图29是示出数据处理装置11的功能配置示例的框图。
图29所示的功能单元的至少一部分由图28中的CPU 201执行预定程序来实现。
如图29所示,数据处理单元221被实现在数据处理装置11中。数据处理单元221包括烹饪操作信息生成单元231、烹饪者生物信息生成单元232、食谱数据生成单元233、食谱数据输出单元234和食用者生物信息获取单元235。
烹饪操作信息生成单元231包括食材识别单元251、工具识别单元252和操作识别单元253。
食材识别单元251分析由摄像装置41捕获的图像,并且识别厨师用于烹饪的食材的类型。食材识别单元251被提供有识别信息,例如用于识别各种类型的食材的特征信息。
工具识别单元252分析由摄像装置41捕获的图像,并且识别厨师用于烹饪的烹饪工具的类型。工具识别单元252被提供有用于识别各种类型的烹饪工具的识别信息。
操作识别单元253分析由摄像装置41捕获的图像、表示附接到厨师的身体的传感器的测量结果的传感器数据等,并且识别正在烹饪的厨师的操作。
表示烹饪操作信息生成单元231的每个单元的识别结果的信息被提供给食谱数据生成单元233。
烹饪者生物信息生成单元232通过控制生物传感器42来测量厨师的生物反应。如上所述,测量正在品尝味道的厨师的生物反应。烹饪者生物信息生成单元232获取从生物传感器42发送的表示厨师的生物反应的测量结果的传感器数据,并且将该传感器数据输出到食谱数据生成单元233。
食谱数据生成单元233基于从烹饪操作信息生成单元231的每个单元提供的信息来生成烹饪操作信息。即,食谱数据生成单元233基于食材识别单元251的识别结果来生成食材信息,并且基于工具识别单元252和操作识别单元253的识别结果来生成操作信息。食谱数据生成单元233生成包括食材信息和操作信息的烹饪操作信息。
此外,食谱数据生成单元233基于从烹饪者生物信息生成单元232提供的传感器数据来生成烹饪者生物信息。食谱数据生成单元233基于风味确定模型等来适当地识别厨师是否判断食材是美味的,并且设置风味OK标志。
在食谱数据中包括表示当厨师品尝了味道时测量的生物反应的所有烹饪者生物信息的情况下,在所有烹饪者生物信息中将风味OK标志设置为表示厨师判断食材美味的生物反应的烹饪者生物信息。
在食谱数据中没有包括所有烹饪者生物信息而是仅包括表示厨师判断食材美味的生物反应的烹饪者生物信息的情况下,可以将风味OK标志设置为烹饪者生物信息。
食谱数据生成单元233通过例如使厨师的每个烹饪过程的烹饪操作信息和烹饪者生物信息相关联来生成烹饪过程数据集。食谱数据生成单元233收集与从特定菜肴的第一个烹饪过程到最后一个烹饪过程的烹饪过程有关的烹饪过程数据集,从而生成描述多个烹饪过程数据集的食谱数据。
食谱数据生成单元233将以这种方式生成的食谱数据输出到食谱数据输出单元234。
另外,在从食用者生物信息获取单元235提供了表示食用者的生物反应的食用者生物信息的情况下,食谱数据生成单元233基于食用者生物信息来更新烹饪过程以定制食谱数据。从食用者生物信息获取单元235提供的食用者生物信息包括指示在再现侧使用哪个食谱数据的信息。
食谱数据生成单元233将定制的食谱数据输出到食谱数据输出单元234。
食谱数据输出单元234控制通信单元209(图28),并且输出由食谱数据生成单元233生成的食谱数据。从食谱数据输出单元234输出的食谱数据通过网络13被提供给控制装置12或食谱数据管理服务器21。
(3)再现侧的配置
(3-1)烹饪机器人1的配置
-烹饪机器人1的外观
图30是示出烹饪机器人1的外观的立体图。
如图30所示,烹饪机器人1是具有长形长方体壳体311的厨房型机器人。在作为烹饪机器人1的主体的壳体311的内部设置有各种结构。
烹饪辅助系统312被设置在壳体311的后侧,以从壳体311的上表面竖立。通过薄板状构件分隔而在烹饪辅助系统312中形成的空间具有用于通过烹饪臂321-1至321-4来辅助烹饪的功能,例如冰箱、烤箱和存储库。
在顶板311A上沿长形方向设置有轨道,并且烹饪臂321-1至321-4被设置在该轨道上。烹饪臂321-1至321-4可以作为移动机构沿着轨道改变位置。
烹饪臂321-1至321-4是通过将圆柱形构件与关节部连接配置而成的机械臂。与烹饪有关的各种操作由烹饪臂321-1至321-4执行。
顶板311A上方的空间是烹饪臂321-1至321-4进行烹饪的烹饪空间。
尽管在图30中示出了四个烹饪臂,但是烹饪臂的数目不限于四个。在下文中,在不需要区分烹饪臂321-1至321-4的情况下,将烹饪臂321-1至321-4统称为烹饪臂321。
图31是示出烹饪臂321的放大状态的视图。
如图31所示,具有各种烹饪功能的附件被附接到烹饪臂321的前端。作为用于烹饪臂321的附件,准备有诸如具有用于抓握食材、餐具等的机械手功能(手功能)的附件以及具有用于切割食材的刀功能的附件之类的各种附件。
在图31的示例中,刀附件331-1(其为具有刀功能的附件)被附接到烹饪臂321-1。使用刀附件331-1来切割放置在顶板311A上的一块肉。
主轴附件331-2被附接到烹饪臂321-2,该主轴附件331-2是用于固定食材或旋转食材的附件。
去皮器附件331-3被附接到烹饪臂321-3,该去皮器附件331-3是具有使食材去皮的去皮器功能的附件。
由使用去皮器附件331-3的烹饪臂321-3将由使用主轴附件331-2的烹饪臂321-2举起的马铃薯进行去皮。如上所述,多个烹饪臂321可以彼此协作地执行一项工作。
作为具有机械手功能的附件的机械手附件331-4被附接到烹饪臂321-4。使用机械手附件331-4将盛着鸡肉的平底锅运送到烹饪辅助系统312的具有烤箱功能的空间。
通过根据工作内容适当地更换附件来进行由这种烹饪臂321进行的烹饪。例如,附件的更换由烹饪机器人1自动执行。
还可以将相同的附件附接到多个烹饪臂321,例如将机械手附件331-4附接到四个烹饪臂321中的每一个。
烹饪机器人1的烹饪不仅使用上述准备作为用于烹饪臂的工具的附件来执行,而且还使用与人用于烹饪的工具相同的工具来适当地执行。例如,人使用的刀被机械手附件331-4握住,并且使用该刀执行诸如切割食材的烹饪。
-烹饪臂的配置
图32是示出烹饪臂321的外观的视图。
如图32所示,烹饪臂321通常通过将细的圆柱形构件与用作接合部的铰链部连接而配置。每个铰链部设置有产生用于驱动每个构件的力的马达等。
作为圆柱形构件,从前端起依次设置有附接/拆卸构件351、中继构件353和基体构件355。附接/拆卸构件351是长度为中继构件353的长度的大约1/5的构件。附接/拆卸构件351的长度与中继构件353的长度的组合长度基本上与基座构件355的长度相同。
附接/拆卸构件351和中继构件353用铰链部352连接,中继构件353和基座构件355用铰链部354连接。铰链部352和铰链部354被设置在中继构件353的两端处。
在该示例中,烹饪臂321由三个圆柱形构件配置而成。然而,烹饪臂321可以由四个或更多个圆柱形构件配置而成。在这种情况下,设置有多个中继构件353。
在附接/拆卸构件351的前端处设置有用于附接或拆卸附件的附接/拆卸部351A。附接/拆卸构件351包括用于附接或拆卸各种附件的附接/拆卸部351A,并且用作通过操作附件进行烹饪的烹饪功能臂单元。
在基座构件355的后端处设置有待安装到轨道的附接/拆卸部356。基座构件355用作实现烹饪臂321的移动的移动功能臂单元。
图33是示出烹饪臂321的各个部分的可移动范围的示例的图。
如椭圆#1所示,附接/拆卸构件351可以绕圆形截面的中心轴旋转。椭圆#1的中心所示的扁平小圆圈表示长短交替的虚线的旋转轴的方向。
如圆圈#2所示,附接/拆卸构件351可以绕穿过具有铰链部352的装配部351B的轴线旋转。此外,中继构件353可以绕穿过具有铰链部352的装配部353A的轴线旋转。
在圆圈#2内示出的两个小圆圈表示各个旋转轴的方向(在垂直于纸张表面的方向上)。以穿过装配部351B的轴为中心的附接/拆卸构件351的可移动范围以及以穿过装配部353A的轴为中心的中继构件353的可移动范围例如为90度的范围。
中继构件353被配置成由前端侧的构件353-1与后端侧的构件353-2隔开。如椭圆#3所示,中继构件353在构件353-1与构件353-2之间的连接部353B处可以绕圆形截面的中心轴旋转。
其他可移动部基本上具有相似的可移动范围。
换言之,如圆圈#4所示,中继构件353可以绕穿过具有铰链部354的装配部353C的轴线旋转。此外,基座构件355可以绕穿过具有铰链部354的装配部355A的轴线旋转。
基座构件355被配置成由前端侧的构件355-1与后端侧的构件355-2隔开。如椭圆#5所示,基座构件355在构件355-1与构件355-2之间的连接部355B处可以绕圆形截面的中心轴旋转。
如圆圈#6所示,基座构件355可以绕穿过具有附接/拆卸部356的装配部355C的轴线旋转。
如椭圆#7所示,附接/拆卸部356以能够绕圆形截面的中心轴旋转的方式安装在轨道上。
因此,在前端处具有附接/拆卸部351A的附接/拆卸构件351、连接附接/拆卸构件351和基座构件355的中继构件353以及其后端连接到连接/拆卸部356的基座构件355分别与铰链部可旋转地连接。每个可移动部的移动由烹饪机器人1中的控制器根据指示命令来控制。
图34是示出烹饪臂与控制器之间的连接的示例的图。
如图34所示,烹饪臂321和控制器361在形成在壳体311内部的空间311B中经由电线连接。在图34的示例中,烹饪臂321-1至321-4和控制器361分别经由电线362-1至362-4连接。具有柔性的电线362-1至362-4根据烹饪臂321-1至321-4的位置适当地弯曲。
如上所述,烹饪机器人1是能够通过驱动烹饪臂321来执行与烹饪有关的各种工作的机器人。
-烹饪机器人1周围的配置
图35是示出烹饪机器人1及其周围的配置的示例的框图。
通过将各部分连接至控制器361来配置烹饪机器人1。图35所示的配置中的与上述配置相同的配置由相同的附图标记表示。将适当地省略重复的描述。
除了烹饪臂321之外,摄像装置401、生物传感器402和通信单元403也连接至控制器361。
尽管在图30等中未示出,但是与设置在厨师侧的传感器相同的传感器被设置在烹饪机器人1本身的预定位置处或者在烹饪机器人1周围。摄像装置401和生物传感器402分别具有与厨师侧的摄像装置41和生物传感器42相似的功能。
控制器361由具有CPU、ROM、RAM、闪存等的计算机配置而成。控制器361用作控制单元,该控制单元通过CPU执行预定程序来控制烹饪机器人1的整体操作。
在控制器361中,执行预定程序以实现指示命令获取单元421和臂控制单元422。
指示命令获取单元421获取从控制装置12发送并且由通信单元403接收的指示命令。由指示命令获取单元421获取的指示命令被提供给臂控制单元422。
臂控制单元422根据由指示命令获取单元421获取的指示命令来控制烹饪臂321的操作。
摄像装置401捕获执行烹饪操作的烹饪臂321的状态、要烹饪的食材的状态以及烹饪机器人1的顶板311A上的状态,并且将通过捕获而获得的图像输出到控制器361。摄像装置401被设置在诸如烹饪辅助系统312的前部和烹饪臂321的前端的各种位置。
另外,摄像装置401捕获正在品尝食物的食用者的状态以及正在食用菜肴的食用者的状态,并且将通过捕获而获得的图像输出到控制器361。
生物传感器402是测量食用者的生物反应的传感器。生物传感器402包括测量上述生物反应的脑电图仪、皮肤传感器、肌电图仪、红外线传感器、运动传感器、可穿戴式活动度计、麦克风等。
生物传感器42将表示食用者的生物反应的测量结果的数据发送到控制器361。
通信单元403是诸如无线LAN模块或者与长期演进(LTE)兼容的便携式通信模块之类的无线通信模块。通信单元403与控制装置12或诸如互联网上的食谱数据管理服务器21之类的外部装置进行通信。
此外,通信单元403与用户使用的诸如智能电话或平板终端之类的便携式终端进行通信。用户是食用由烹饪机器人1再现的食物的人。可以通过便携式终端上的操作来输入用户对烹饪机器人1的操作,例如选择菜肴。
如图35所示,烹饪臂321设置有马达431和传感器432。
马达431被设置在烹饪臂321的每个关节部处。马达431在臂控制单元422的控制下执行绕轴线的旋转操作。在各接合部处还设置有用于测量马达431的旋转量的编码器、用于基于编码器的测量结果来自适应地控制马达431的旋转的驱动器等。
传感器432例如由陀螺仪传感器、加速度传感器、触摸传感器等配置而成。传感器432在烹饪臂321的操作期间测量每个关节部的角速度、加速度等,并且将指示测量结果的信息输出到控制器361。指示传感器432的测量结果的传感器数据也被适当地从烹饪机器人1发送到控制装置12。
在预定定时处从烹饪机器人1向控制装置12提供关于烹饪机器人1的规格的信息,例如烹饪臂321的数目。在控制装置12中,根据烹饪机器人1的规格来计划操作。在控制装置12中生成的指示命令与烹饪机器人1的规格相对应。
(3-2)控制装置12的配置
控制烹饪机器人1的操作的控制装置12与数据处理装置11类似地通过如图28所示的计算机来配置。在下文中,将适当地引用图28所示的数据处理装置11的配置作为控制装置12的配置来给出描述。
图36是示出控制装置12的功能配置示例的框图。
图36所示的功能单元的至少一部分由执行预定程序的控制装置12的CPU 201(图28)实现。
如图36所示,在控制装置12中,实现了命令生成单元501。命令生成单元501包括食谱数据获取单元511、食谱数据分析单元512、机器人状态估计单元513、生物信息处理单元514、控制单元515和命令输出单元516。
食谱数据获取单元511控制通信单元209,并且通过接收从数据处理装置11发送的食谱数据或者通过与食谱数据管理服务器21进行通信来获取食谱数据。由食谱数据获取单元511获取的食谱数据是例如食用者选择的菜肴的食谱数据。
类似地,在从数据处理装置11发送定制的食谱数据的情况下,定制的食谱数据由食谱数据获取单元511获取。
可以在存储单元208中设置食谱数据的数据库。在这种情况下,从在存储单元208中设置的数据库获取食谱数据。由食谱数据获取单元511获取的食谱数据被提供给食谱数据分析单元512。
食谱数据分析单元512分析由食谱数据获取单元511获取的食谱数据。在到了执行特定烹饪过程的时间的情况下,食谱数据分析单元512分析与烹饪过程有关的烹饪过程数据集,并且提取烹饪操作信息和烹饪者生物信息。从烹饪过程数据集提取的烹饪操作信息被提供给控制单元515,并且烹饪者生物信息被提供给生物信息处理单元514。
机器人状态估计单元513控制通信单元209以接收从烹饪机器人1发送的图像和传感器数据。以预定周期从烹饪机器人1发送由烹饪机器人1的摄像装置捕获的图像以及由设置在烹饪机器人1的预定位置处的传感器测量的传感器数据。在由烹饪机器人1的摄像装置捕获的图像中捕获烹饪机器人1周围的情况。
机器人状态估计单元513通过分析从烹饪机器人1发送的图像和传感器数据来估计烹饪机器人1周围的状态,例如烹饪臂321的状态和食材的状态。由机器人状态估计单元513估计的指示烹饪机器人1周围的状态的信息被提供给控制单元515。
生物信息处理单元514基于从食谱数据分析单元512提供的烹饪者生物信息,与控制单元515协作控制烹饪机器人1的操作。
例如,在存在设置了风味OK标志的烹饪者生物信息的情况下,生物信息处理单元514请求食用者在厨师品尝定时的对应定时处进行品尝。如上所述,在厨师在执行某些烹饪之后已经品尝了食材并且品尝时厨师的生物反应确定该食材美味的情况下,要求食用者在烹饪机器人1已经执行了相同的烹饪之后的定时处进行品尝。
在从烹饪机器人1发送并且由通信单元209接收表示食用者在进行品尝时的生物反应的传感器数据的情况下,生物信息处理单元514获取传感器数据。生物信息处理单元514基于所获取的传感器数据来生成食用者生物信息,并且将食用者生物信息发送到数据处理装置11。
控制单元515通过生成指示命令并且从命令输出单元516发送该指示命令来控制烹饪机器人1的操作。基于从食谱数据分析单元512提供的烹饪操作信息,控制单元515对烹饪机器人1的操作进行控制。
例如,控制单元515基于烹饪操作信息中包括的食材信息来识别在要执行的烹饪过程中将使用的食材。此外,控制单元515基于包括在烹饪操作信息中的操作信息来识别在烹饪过程中使用的烹饪工具以及由烹饪臂321执行的操作。
控制单元515将食材的准备就绪的状态设置为目标状态,并且从作为烹饪机器人1的当前状态的当前状态到目标状态设置操作序列。控制单元515生成用于执行构成操作序列的每个操作的指示命令,并且将该指示命令输出到命令输出单元516。
在烹饪机器人1中,根据由控制单元515生成的指示命令来控制烹饪臂321,并且准备食材。包括烹饪臂321的状态在内的表示烹饪机器人1在每个定时处的状态的信息从烹饪机器人1发送至控制装置12。
此外,在食材已就绪的情况下,控制单元515将完成了使用准备好的食材的烹饪(要执行的一个烹饪过程中的烹饪)的状态设置为目标状态,并且从当前状态到目标状态设置操作序列。控制单元515生成用于执行构成操作序列的每个操作的指示命令,并且将该指示命令输出到命令输出单元516。
在烹饪机器人1中,根据由控制单元515生成的指示命令来控制烹饪臂321,并且执行使用食材的烹饪。
烹饪机器人1的操作由控制单元515通过使用例如上述指示命令来控制。控制单元515具有用于生成指示命令的生成单元的功能。
注意,由控制单元515生成的指示命令可以是用于给出执行整个动作以引起特定状态转变的指令的命令,或者可以是用于给出执行动作的一部分的指令的命令。换言之,可以根据一个指示命令执行一个动作,或者可以根据多个指示命令执行一个动作。
命令输出单元516控制通信单元209,并且将由控制单元515生成的指示命令发送到烹饪机器人1。
<烹饪系统的操作>
这里,将描述具有以上配置的烹饪系统的操作。在食谱数据中,表示厨师的生物反应的烹饪者生物信息与每个烹饪过程相关联。
(1)厨师侧的操作
首先,将参照图37的流程图描述数据处理装置11的食谱数据生成处理。
当食材和烹饪工具已就绪并且厨师开始烹饪时,图37中的处理开始。还开始摄像装置41的捕获、附接到厨师的身体的传感器的感测等。
在步骤S1中,图29的食材识别单元251分析由摄像装置41捕获的图像,并且识别厨师要使用的食材。
在步骤S2中,操作识别单元253分析由摄像装置41捕获的图像、表示附接到厨师的身体的传感器的测量结果的传感器数据等,并且识别厨师的烹饪操作。
在步骤S3中,食谱数据生成单元233根据基于食材识别单元251的识别结果生成的食材信息以及基于操作识别单元253的识别结果生成的操作信息来生成烹饪操作信息。
在步骤S4中,食谱数据生成单元233确定是否已经执行了品尝,并且在确定还没有执行品尝的情况下,返回步骤S1并且重复上述处理。
在步骤S4中确定已经完成品尝的情况下,处理进入步骤S5。
在步骤S5中,烹饪者生物信息生成单元232通过控制生物传感器42来测量厨师的生物反应。表示厨师的生物反应的测量结果的传感器数据由烹饪者生物信息生成单元232获取并且被提供给食谱数据生成单元233。
在步骤S6中,食谱数据生成单元233基于从烹饪者生物信息生成单元232提供的传感器数据来生成烹饪者生物信息。
在步骤S7中,食谱数据生成单元233通过使烹饪操作信息与烹饪者生物信息相关联来生成烹饪过程数据集。
在步骤S8中,食谱数据生成单元233确定是否所有烹饪过程均已完成,并且在确定未完成所有烹饪过程的情况下,处理返回至步骤S1,并且重复上述处理。对下一个烹饪过程重复类似的处理。
在步骤S8中确定所有烹饪过程均已完成的情况下,处理进入步骤S9。
在步骤S9中,食谱数据生成单元233生成包括所有烹饪过程数据集的食谱数据。
接下来,将参照图38的流程图描述由数据处理装置11定制食谱数据的处理。
当在再现侧进行烹饪过程并且在预定定时处进行品尝时,图38的处理开始,从而从控制装置12发送食用者生物信息。
在步骤S11中,食用者生物信息获取单元235获取从控制装置12发送的食用者生物信息。
在步骤S12中,食用者生物信息获取单元235基于食用者生物信息来确定是否需要更新烹饪过程。
由于烹饪者已确定所烹饪的食材是美味的,因此在步骤S12中确定不需要更新烹饪过程的情况下终止处理。在这种情况下,不定制食谱数据。
同时,由于烹饪者已确定所烹饪的食材不美味,因此在步骤S12中确定需要更新烹饪过程的情况下,处理进入步骤S13。
在步骤S13中,食谱数据生成单元233将由食用者生物信息获取单元235获取的食用者生物信息输入到风味主观信息生成模型中,并且计算风味主观值。
在步骤S14中,食谱数据生成单元233根据由风味主观值表示的食用者对风味感觉如何来生成已经更新了烹饪过程的食谱数据。
在步骤S15中,食谱数据生成单元233通过更新烹饪过程将定制的食谱数据输出到食谱数据输出单元234,并且将食谱数据提供给控制装置12。在控制装置12中,基于定制的食谱数据执行烹饪。
(2)再现侧的操作
将参照图39的流程图描述控制装置12的菜肴再现处理。
在步骤S31中,图36的食谱数据获取单元511获取从数据处理装置11发送的食谱数据。由食谱数据分析单元512分析由食谱数据获取单元511获取的食谱数据,并且烹饪操作信息和烹饪者生物信息被提取。烹饪操作信息被提供给控制单元515,并且烹饪者生物信息被提供给生物信息处理单元514。
在步骤S32中,控制单元515选择一个烹饪过程作为要执行的烹饪过程。从与第一个烹饪过程有关的烹饪过程数据集中依次选择烹饪过程。
在步骤S33中,控制单元515基于烹饪操作信息的描述来生成指示命令,并且将该指示命令发送至烹饪机器人1,以使烹饪臂321执行烹饪操作。
在步骤S34中,生物信息处理单元514确定是否存在设置了风味OK标志的烹饪者生物信息。
在步骤S34中确定存在设置了风味OK标志的烹饪者生物信息的情况下,生物信息处理单元514在步骤S35中请求食用者品尝味道。
在步骤S36中,控制单元515发送指示命令,以使烹饪机器人1测量当食用者进行品尝时的生物反应。
在步骤S37中,生物信息处理单元514基于从烹饪机器人1发送的传感器数据来生成食用者生物信息,并且将食用者生物信息发送至数据处理装置11。
在数据处理装置11中,执行参照图38描述的处理,并且根据需要定制食谱数据。当定制食谱数据时,从数据处理装置11发送定制的食谱数据。
在步骤S38中,食谱数据获取单元511确定是否已经从数据处理装置11发送了定制的食谱数据。
在步骤S38中确定已经发送了定制的食谱数据的情况下,在步骤S39中,食谱数据获取单元511获取从数据处理装置11发送的定制的食谱数据。在定制了食谱数据的情况下,基于定制的食谱数据来执行后续处理。
同时,在步骤S34中,在确定不存在设置了风味OK标志的烹饪者生物信息的情况下,跳过步骤S35至S39的处理。此外,在步骤S38中,在确定尚未发送定制的食谱数据的情况下,跳过步骤S39的处理。
在步骤S40中,控制单元515确定是否所有烹饪过程均已完成,并且在确定尚未完成所有烹饪过程的情况下,处理返回到步骤S32,并且重复上述处理。对下一个烹饪过程重复类似的处理。
另一方面,当在步骤S40中确定所有烹饪步骤均已完成时,菜肴完成,并且菜肴再现处理终止。
通过上述一系列处理,再现了与厨师制作的菜肴相同的菜肴,其具有根据食用者的口味定制的风味。
食用者可以根据自己的喜好定制与厨师制作的菜肴相同的菜肴。
此外,厨师可以根据每个人的喜好定制厨师制作的菜肴,并且将定制的菜肴提供给各个人。
<包括风味信息的食谱数据>
图40是示出烹饪过程数据集中包含的信息的示例的图。
如图40的气泡框中所示,除了上述烹饪操作信息和烹饪者生物信息之外,作为关于食材的风味的信息的风味信息也可以被包括在烹饪过程数据集中。将适当地省略重复的描述。
风味信息是通过将厨师获得的风味数字化为烹饪时的感觉而获得的感觉数据。在下文中,将在下面描述风味信息。
如图40所示,风味信息包括风味传感器信息和风味主观信息。
(1)风味传感器信息
配置风味信息的风味传感器信息是通过用传感器测量食材的风味而获得的传感器数据。通过由传感器测量未烹饪的食材的风味而获得的传感器数据可以被包括在风味信息中作为风味传感器信息。
由于风味是由味道、香气、质感、体感温度和颜色配置的,因此风味传感器信息包括与味道有关的传感器数据、与香气有关的传感器数据、与质感有关的传感器数据、与体感温度有关的传感器数据以及与颜色有关的传感器数据。所有传感器数据都可以包括在风味传感器信息中,或者一些传感器数据可以不包括在风味传感器信息中。
配置风味传感器信息的各个传感器数据被称为味觉传感器数据、嗅觉传感器数据、质感传感器数据、体感温度传感器数据和颜色传感器数据。
味觉传感器数据是由味觉传感器测量的传感器数据。味觉传感器数据由咸味传感器值、酸味传感器值、苦味传感器值、甜味传感器值、鲜味传感器值、辣味传感器值和涩味传感器值中的至少一个参数来配置。
味觉传感器包括例如在传感器单元中使用人造脂质膜的人造脂质膜型味觉传感器。人造脂质膜型味觉传感器是检测由脂质膜相对于味觉物质的静电和疏水相互作用引起的膜电位变化并输出该变化作为传感器值的传感器,味觉物质是引起要被感觉到的味道的物质。
能够将配置食物的味道的咸味、酸味、苦味、甜味、鲜味、辣味和涩味的各个要素转换为数据并输出数据的装置可以使用各种装置,例如使用聚合物膜作为味觉传感器的味觉传感器,而不是人造脂质膜型味觉传感器。
嗅觉传感器数据是由嗅觉传感器测量的传感器数据。嗅觉传感器数据由表示香气的每个要素的值配置,例如香辛香气、水果香气、草味、霉味(干酪质)、柑橘香气和玫瑰香气。
嗅觉传感器包括例如设置有无数传感器的传感器,例如晶体振荡器。使用晶体振荡器代替人类的鼻受体。使用晶体振荡器的嗅觉传感器检测当香气成分撞击晶体振荡器时晶体振荡器的振荡频率的改变,并且基于该振荡频率的改变的模式输出表示上述香气的值。
能够输出表示香气的值的装置可以使用各种装置,其使用利用诸如碳的各种材料形成的传感器代替人类鼻受体作为嗅觉传感器,而不是使用晶体振荡器的传感器。
质感传感器数据是通过分析由摄像装置捕获的图像和由各种传感器测量的传感器数据而指定的传感器数据。质感传感器数据由表示硬度、粘性、粘度(应力)、凝聚性、聚合物含量、水含量、油含量等的信息的至少一个参数配置。
硬度、粘性、粘度和凝聚性例如通过分析由摄像装置捕获的厨师烹饪的食材的图像来识别。例如,通过分析由厨师搅拌的汤的图像,可以识别硬度、粘性、粘度和凝聚性的值。这些值可以通过测量厨师用厨房刀切割食材时的应力来识别。
聚合物含量、水含量和油含量通过例如传感器来测量,该传感器用具有预定波长的光照射食材并且分析反射光以测量值。
准备其中每种食材和质感的每个参数彼此相关联的数据库,并且可以通过参考该数据库来识别每种食材的质感传感器数据。
体感温度传感器数据是通过用温度传感器测量食材的温度获得的传感器数据。
颜色传感器数据是通过分析来自由摄像装置捕获的图像的食材的颜色而指定的数据。
(2)风味主观信息
风味主观信息是表示诸如正在烹饪的厨师的个人对主观风味感觉如何的信息。基于风味传感器信息来计算风味主观信息。
由于风味是由味道、香气、质感、体感温度和颜色配置的,因此风味主观信息包括与味道有关的主观信息、与香气有关的主观信息、与质感有关的主观信息、与体感温度有关的主观信息以及与颜色有关的主观信息。与味道有关的主观信息、与香气有关的主观信息、与质感有关的主观信息、与体感温度有关的主观信息以及与颜色有关的主观信息全部都可以包括在风味主观信息中,或者一些主观信息可以不包括在风味主观信息中。
配置风味主观信息的各条主观信息被称为味觉主观信息、嗅觉主观信息、质感主观信息、体感温度主观信息和颜色主观信息。
图41是示出味觉主观信息的计算示例的图。
如图41所示,使用味觉主观信息生成模型来计算味觉主观信息,该味觉主观信息生成模型是通过深度学习等生成的神经网络的模型。例如,通过使用某种食材的味觉传感器数据和表示已食用该食材的厨师对味道感觉如何的信息(数值)执行学习,来预先生成味觉主观信息生成模型。
例如,如图41所示,在输入作为某种食材的味觉传感器数据的咸味传感器值、酸味传感器值、苦味传感器值、甜味传感器值、鲜味传感器值、辣味传感器值和涩味传感器值的情况下,从味觉主观信息生成模型输出咸味主观值、酸味主观值、苦味主观值、甜味主观值、鲜味主观值、辣味主观值和涩味主观值。
咸味主观值是表示厨师对咸味感觉如何的值。酸味主观值是表示厨师对酸味感觉如何的值。类似地,苦味主观值、甜味主观值、鲜味主观值、辣味主观值和涩味主观值是分别表示厨师对苦味、甜味、鲜味、辣味和涩味感觉如何的值。
类似地,使用用于生成主观信息的各个模型来计算配置风味主观信息的其他主观信息。
即,通过将嗅觉传感器数据输入到嗅觉主观信息生成模型中来计算嗅觉主观信息,并且通过将质感传感器数据输入到质感主观信息生成模型中来计算质感主观信息。通过将体感温度主观传感器数据输入到体感温度主观信息模型来计算体感温度主观信息,并且通过将颜色传感器数据输入到颜色主观信息生成模型中来计算颜色主观信息。
可以基于表信息而不是使用神经网络模型来计算味觉主观信息,在该表信息中,将某种食材的味觉传感器数据与表示已食用该食材的厨师对味道感觉如何的信息相关联。可以采用用于使用风味传感器信息来计算风味主观信息的各种方法。
如上所述,通过将作为与用于实现烹饪过程的烹饪操作有关的信息的烹饪操作信息、表示厨师的生物反应的烹饪者生物信息与风味信息相链接(相关联)来配置食谱数据,风味信息是关于结合烹饪过程的进度测量的食材或菜肴的风味的信息。
-食谱数据的生成和菜肴的再现的流程的示例
图42是示出生成食谱数据的流程的示例的图。
注意,图42省略了关于生物信息的处理的图示。图43同样适用。
如图42所示,基于通过感测使用食材进行烹饪的厨师的操作和调整风味的厨师的操作的感测结果,来生成配置烹饪过程数据集的烹饪操作信息。
此外,基于通过感测经烹饪的食材的风味的感测结果,来生成风味信息。在厨师侧准备了上述用于测量食材的风味的各种传感器。
在图42的示例中,如箭头A1和A2所示,基于由厨师作为烹饪过程#1执行的烹饪操作以及厨师用于调整风味的操作的感测结果,来生成配置烹饪过程#1的烹饪过程数据集的烹饪操作信息。
此外,如箭头A3所示,基于通过烹饪过程#1烹饪的食材的风味的感测结果,来生成配置烹饪过程#1的烹饪过程数据集的风味信息。
在烹饪过程#1完成之后,执行烹饪过程#2,其是下一个烹饪过程。
类似地,如箭头A11和A12所示,基于由厨师作为烹饪过程#2执行的烹饪操作以及厨师用于调整风味的操作的感测结果,来生成配置烹饪过程#2的烹饪过程数据集的烹饪操作信息。
此外,如箭头A13所示,基于通过烹饪过程#2烹饪的食材的风味的感测结果,来生成配置烹饪过程#2的烹饪过程数据集的风味信息。
通过这样的多个烹饪过程完成一个菜肴。此外,当完成菜肴时,生成描述每个烹饪过程的烹饪过程数据集的食谱数据。
可以任意设置一个烹饪过程中包括的烹饪操作的单位。一个烹饪过程可以通过不涉及品尝或品尝后的风味调整的烹饪操作来配置,或者可以通过风味调整来配置。同样在这种情况下,在烹饪过程数据集中包括基于通过感测针对每个烹饪过程的风味的感测结果而获得的风味信息。
也可以任意设置用于感测风味的定时,而不是每次完成一个烹饪过程都感测风味。例如,可以在一个烹饪过程期间重复进行风味感测。在这种情况下,烹饪过程数据集包括风味信息的时间序列数据。
风味信息可以与在每次在任意定时处测量风味的定时处执行的烹饪操作的信息一起包括在烹饪过程数据集中,而不是在所有的烹饪过程数据集中都包括风味信息。
图43是示出基于食谱数据再现菜肴的流程的示例的图。
如图43所示,通过针对每个烹饪过程重复基于在食谱数据中描述的烹饪过程数据集中包括的烹饪操作信息的烹饪,测量经烹饪的食材的风味并且调整风味,来执行由烹饪机器人1对菜肴的再现。在烹饪机器人1侧还准备有用于测量食材的风味的各种传感器。
通过添加工作来调整风味,使得例如由在烹饪机器人1侧准备的传感器测量的风味接近由风味信息表示的风味。。
风味测量和调整例如可以在烹饪过程中重复多次。即,每次执行调整时,就针对经调整的食材测量风味,并且基于测量结果来调整风味。
在图43的示例中,如箭头A21所示,基于配置烹饪过程#1的烹饪过程数据集的烹饪操作信息来控制烹饪机器人1的烹饪操作,并且由烹饪机器人1执行与厨师的烹饪过程#1的操作相同的操作。
在由烹饪机器人1执行与厨师的烹饪过程#1的操作相同的操作之后,测量经烹饪的食材的风味,并且如箭头A22所示,基于配置烹饪过程#1的烹饪过程数据集的风味信息来控制烹饪机器人1对风味的调整。
在由在烹饪机器人1侧准备的传感器测量的风味与由风味信息表示的风味匹配的情况下,风味调整完成并且烹饪过程#1也完成。例如,不仅在风味完全相同的情况下,而且还在风味相似度达阈值或更多的情况下,确定由在烹饪机器人1侧准备的传感器测量的风味与由风味信息表示的风味相匹配。
在烹饪过程#1完成之后,执行烹饪过程#2,其是下一个烹饪过程。
类似地,如箭头A31所示,基于配置烹饪过程#2的烹饪过程数据集的烹饪操作信息来控制烹饪机器人1的烹饪操作,并且由烹饪机器人1执行与厨师的烹饪过程#2的操作相同的操作。
在由烹饪机器人1执行与厨师的烹饪过程#2的操作相同的操作之后,测量经烹饪的食材的风味,并且如箭头A32所示,基于配置烹饪过程#2的烹饪过程数据集的风味信息来控制烹饪机器人1对风味的调整。
在由在烹饪机器人1侧准备的传感器测量的风味与由风味信息表示的风味匹配的情况下,风味调整完成并且烹饪过程#2也完成。
通过这样的多个烹饪过程,由烹饪机器人1再现由厨师制作的菜肴。
由于通过针对每个烹饪过程调整风味来执行由烹饪机器人1进行的烹饪,因此最终菜肴将是与由厨师制作的菜肴具有相同或相似的风味的菜肴。以这种方式,基于食谱数据再现与由厨师制作的菜肴具有相同风味的菜肴。
例如,厨师可以为不能访问厨师自己的餐厅的个人提供与由厨师制作的菜肴具有相同风味的菜肴。此外,厨师可以将由厨师制作的菜肴以可再现的形式保留为食谱数据。
同时,食用由烹饪机器人1再现的菜肴的个人可以食用与由厨师制备的菜肴具有相同风味的菜肴。
图44是示出食谱数据的另一描述内容的示例的图。
如图44所示,食谱数据可以包括关于完成的菜肴的风味的风味信息。在这种情况下,关于完成的菜肴的风味的风味信息与整个烹饪操作信息相链接。
以这种方式,烹饪操作信息与风味信息之间的相关联关系不必是一对一的。
<修改例>
尽管基于食用者的生物反应来定制食谱数据,但是可以基于与食用者有关的其他信息来执行定制。
例如,可以基于食用者的属性,例如年龄、性别、国籍和居住区域来定制食谱数据。在基于国籍来定制食谱数据的情况下,针对每个国籍生成食谱数据,例如日本国民的食谱数据、美国国民的食谱数据和法国国民的食谱数据。
与厨师侧的烹饪有关的声音信息可以被包括在食谱数据中作为环境信息。与烹饪有关的声音包括用刀切割食材的声音以及在锅中煮食材的声音。
-配置的修改例
虽然基于食谱数据再现菜肴的烹饪机器人被假设为安装在家庭中的烹饪机器人1,但是可以通过安装在各个地方的烹饪机器人来再现烹饪。例如,即使在由安装在工厂中的烹饪机器人或安装在餐馆中的烹饪机器人再现烹饪的情况下,也可以应用上述技术。
此外,基于食谱数据再现菜肴的烹饪机器人是操作烹饪臂以进行烹饪的烹饪机器人1,但是可以通过能够以除烹饪臂以外的配置对食材进行烹饪的各种烹饪机器人来再现菜肴。
在以上描述中,烹饪机器人1已经由控制装置12控制,但是烹饪机器人1可以由生成食谱数据的数据处理装置11直接控制。在这种情况下,数据处理装置11设置有参照图36描述的命令生成单元501的每个配置。
此外,命令生成单元501的每个配置可以被设置在食谱数据管理服务器21中。
可以在生成食谱数据的数据处理装置11中设置管理食谱数据并将食谱数据提供给其他装置的食谱数据管理服务器21的服务器功能。
图45是示出烹饪系统的另一配置示例的图。
数据处理装置11中包括的食谱数据管理单元11A具有用于管理食谱数据并将食谱数据提供给其他装置的服务器功能。由食谱数据管理单元11A管理的食谱数据被提供给多个烹饪机器人和用于控制烹饪机器人的控制装置。
-数据管理
由于上述食谱数据、烹饪过程数据集(烹饪操作信息和风味信息)等可以说是创造性地表达关于烹饪过程的思想和感情的产品,因此可以将它们视为文学作品。
例如,进行烹饪的厨师(例如,经营著名餐馆的厨师)通过重复烹饪过程中的食材的选择的尝试和品尝味道来完成具有创造力的美味菜肴。在这种情况下,食谱数据和烹饪过程数据集(烹饪操作信息和风味信息)具有作为数据的值,并且可以假设当被他人使用时需要补偿的情况。
因此,可以考虑以与音乐等类似的方式来管理食谱数据、烹饪过程数据集(烹饪操作信息和风味信息)等的版权的应用。
即,在本公开内容中,还可以通过使用诸如复制保护和加密的版权保护技术来保护个体食谱数据和烹饪过程数据集,所述版权保护技术为个体数据提供保护功能。
在这种情况下,例如,图25的食谱数据管理服务器21(图45的数据处理装置11)在厨师和食谱数据(或烹饪过程数据集)彼此相关联的状态下管理版权。
接下来,在用户想要烹饪机器人1使用食谱数据进行烹饪的情况下,用户支付食谱数据的使用费,从而使用下载到控制装置12的食谱数据用于例如由烹饪机器人1进行烹饪。注意,使用费退还给作为食谱数据的创建者的厨师、管理食谱数据的数据管理者等。
此外,在本公开内容中,还可以通过使用用于以分布式方式在服务器上作为账本来管理数据的交易历史的区块链技术来保护个体食谱数据和烹饪过程数据集。
在这种情况下,例如,图25的食谱数据管理服务器21(图45的数据处理装置11)使用用于以分布式方式在服务器(云服务器或边缘服务器)上作为账本管理数据的交易历史的区块链技术来管理彼此关联的厨师和食谱数据(或烹饪过程数据集)。
接下来,在用户想要烹饪机器人1使用食谱数据进行烹饪的情况下,用户支付食谱数据的使用费,从而使用下载到控制装置12的食谱数据用于例如由烹饪机器人1进行烹饪。注意,使用费退还给作为食谱数据的创建者的厨师、管理食谱数据的数据管理者等。
以这种方式,考虑到厨师、用户和使用费之间的关系,可以高效地将食谱数据(或烹饪过程数据集)作为创造性表达的作品进行管理。
-程序
可以通过硬件或软件来执行上述一系列处理。在由软件执行一系列处理的情况下,将构成软件的程序安装在并入专用硬件的计算机、通用个人计算机等中。
要安装的程序被记录在图28所示的可移除介质211上并由可移除介质211提供,该可移除介质包括光盘(致密盘-只读存储器(CD-ROM)、数字通用盘(DVD)等)、半导体存储器等。此外,可以经由诸如局域网、因特网或数字广播的有线或无线传输介质来提供程序。程序可以被预先安装在ROM 202或存储单元208中。
由计算机执行的程序可以是根据本说明书中描述的顺序按时间顺序处理的程序,或者可以是并行执行或在诸如进行调用时的必要定时执行的程序。
注意,在本说明书中,术语“系统”表示多个配置元件(装置、模块(部件)等)的组,并且所有配置元件是否在同一外壳中是无关紧要的。因此,容纳在单独的壳体中并且经由网络连接的多个装置,以及在一个壳体中容纳多个模块的一个装置两者均是系统。
本说明书中描述的效果仅是示例,并不被限制,并且可以表现出其他效果。
本技术的实施方式不限于上述实施方式,并且在不脱离本技术的主旨的情况下可以进行各种修改。
例如,在本技术中,可以采用云计算的配置,在该配置中,由多个装置经由网络共享和协作处理一个功能。
此外,上述流程图中描述的步骤可以由一个装置执行,或者可以由多个装置共享和执行。
此外,在一个步骤中包括多个处理的情况下,一个步骤中包括的多个处理可以由一个装置执行,或者可以由多个装置共享和执行。
附图标记列表
1 烹饪机器人
11 数据处理装置
12 控制装置
21 食谱数据管理服务器
41 摄像装置
42 生物传感器
221 数据处理单元
231 烹饪操作信息生成单元
232 烹饪者生物信息生成单元
233 食谱数据生成单元
234 食谱数据输出单元
235 食用者生物信息获取单元
321 烹饪臂
361 控制器
401 摄像装置
402 生物传感器
403 通信单元
501 命令生成单元
511 食谱数据获取单元
512 食谱数据分析单元
513 机器人状态估计单元
514 生物信息处理单元
515 控制单元
516 命令输出单元

Claims (23)

1.一种烹饪机器人,包括:
烹饪臂,其被配置成执行用于制作菜肴的烹饪操作;以及
控制单元,其被配置成使用包括数据集的食谱数据来控制由所述烹饪臂执行的所述烹饪操作,在所述数据集中,将烹饪操作数据与烹饪者生物数据相链接,所述烹饪操作数据描述关于所述菜肴的食材的信息以及关于使用所述食材的烹饪过程中的烹饪者的操作的信息,并且所述烹饪者生物数据指示结合所述烹饪过程的进度测量的所述烹饪者的生物反应。
2.根据权利要求1所述的烹饪机器人,其中,
所述烹饪者生物数据与作为所述烹饪者尝试味道的过程的品尝过程相链接。
3.根据权利要求2所述的烹饪机器人,其中,
所述烹饪者生物数据与感觉数据相链接,所述感觉数据指示结合所述烹饪过程的进度测量的所述烹饪者的感觉。
4.根据权利要求2所述的烹饪机器人,其中,
所述烹饪者生物数据与所述烹饪者生物数据的内容满足预定条件的情况下的所述品尝过程相链接。
5.根据权利要求1所述的烹饪机器人,其中,
所述烹饪者生物数据包括指示所述烹饪者的脑波的状态的脑波数据。
6.根据权利要求1所述的烹饪机器人,其中,
所述烹饪者生物数据包括指示所述烹饪者的面部的状态的面部状态数据。
7.根据权利要求1所述的烹饪机器人,其中,
所述烹饪者生物数据包括指示所述烹饪者的心跳的状态的心跳数据。
8.根据权利要求1所述的烹饪机器人,其中,
所述烹饪者生物数据包括指示所述烹饪者的瞳孔的状态的瞳孔数据。
9.根据权利要求1所述的烹饪机器人,其中,
所述烹饪者生物数据是指示所述烹饪者尝试味道时的反应的数据。
10.根据权利要求1所述的烹饪机器人,其中,
所述食谱数据根据食用者生物数据进行更新,所述食用者生物数据指示食用通过由所述烹饪机器人进行的烹饪获得的经烹饪的食材或由所述烹饪机器人烹饪的菜肴的食用者的生物反应,并且
所述控制单元使用经更新的食谱数据来控制由所述烹饪臂执行的烹饪操作。
11.根据权利要求10所述的烹饪机器人,其中,
通过更新所述烹饪过程,针对每个食用者来更新所述食谱数据,并且
所述控制单元使用针对每个食用者更新的所述食谱数据来控制由所述烹饪臂执行的烹饪操作。
12.根据权利要求10所述的烹饪机器人,其中,
通过更新所述烹饪过程,针对所述食用者的每个属性来更新所述食谱数据,并且
所述控制单元使用针对所述食用者的每个属性更新的所述食谱数据来控制由所述烹饪臂执行的烹饪操作。
13.根据权利要求10所述的烹饪机器人,其中,
所述食用者生物数据是指示所述食用者进餐时的反应的数据。
14.根据权利要求10所述的烹饪机器人,其中,
所述食用者生物数据是指示所述食用者进餐时的声音的状态的数据。
15.根据权利要求10所述的烹饪机器人,其中,
所述食用者生物数据是指示所述食用者进餐时的身体的肌电图的状态的数据。
16.根据权利要求1所述的烹饪机器人,其中,
所述控制单元根据基于所述食谱数据生成的并且给出关于所述烹饪操作的指示的指示命令来控制所述烹饪臂。
17.根据权利要求16所述的烹饪机器人,其中,
设置多个所述烹饪臂。
18.根据权利要求17所述的烹饪机器人,其中,
所述控制单元根据所述指示命令来使多个所述烹饪臂协作地执行所述烹饪操作。
19.一种控制方法,包括:
由包括执行用于制作菜肴的烹饪操作的烹饪臂的烹饪机器人:
使用包括数据集的食谱数据来控制由所述烹饪臂执行的所述烹饪操作,在所述数据集中,将烹饪操作数据与烹饪者生物数据相链接,所述烹饪操作数据描述关于所述菜肴的食材的信息以及关于使用所述食材的烹饪过程中的烹饪者的操作的信息,并且所述烹饪者生物数据指示结合所述烹饪过程的进度测量的所述烹饪者的生物反应。
20.一种烹饪机器人控制装置,包括:
控制单元,其被配置成使用包括数据集的食谱数据来控制由包括在烹饪机器人中的烹饪臂执行的烹饪操作,在所述数据集中,将烹饪操作数据与烹饪者生物数据相链接,所述烹饪操作数据描述关于菜肴的食材的信息以及关于使用所述食材的烹饪过程中的烹饪者的操作的信息,并且所述烹饪者生物数据指示结合所述烹饪过程的进度测量的所述烹饪者的生物反应。
21.一种控制方法,包括:
由烹饪机器人控制装置:
使用包括数据集的食谱数据来控制由包括在烹饪机器人中的烹饪臂执行的烹饪操作,在所述数据集中,将烹饪操作数据与烹饪者生物数据相链接,所述烹饪操作数据描述关于菜肴的食材的信息以及关于使用所述食材的烹饪过程中的烹饪者的操作的信息,并且所述烹饪者生物数据指示结合所述烹饪过程的进度测量的所述烹饪者的生物反应。
22.一种烹饪机器人,包括:
烹饪臂,其被配置成执行用于制作菜肴的烹饪操作;以及
控制单元,其被配置成使用包括数据集的食谱数据来控制由所述烹饪臂执行的所述烹饪操作,在所述数据集中,将烹饪操作数据与食用者生物数据相链接,所述烹饪操作数据描述关于所述菜肴的食材的信息以及关于使用所述食材的烹饪过程中的烹饪者的操作的信息,并且所述食用者生物数据指示食用由所述烹饪机器人烹饪的所述菜肴的食用者的生物反应。
23.一种控制方法,包括:
由包括执行用于制作菜肴的烹饪操作的烹饪臂的烹饪机器人:
使用包括数据集的食谱数据来控制由所述烹饪臂执行的所述烹饪操作,在所述数据集中,将烹饪操作数据与食用者生物数据相链接,所述烹饪操作数据描述关于所述菜肴的食材的信息以及关于使用所述食材的烹饪过程中的烹饪者的操作的信息,并且所述食用者生物数据指示食用由所述烹饪机器人烹饪的所述菜肴的食用者的生物反应。
CN202080016680.XA 2019-03-01 2020-02-14 烹饪机器人、烹饪机器人控制装置和控制方法 Pending CN113474134A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019038072 2019-03-01
JP2019-038072 2019-03-01
PCT/JP2020/005705 WO2020179402A1 (ja) 2019-03-01 2020-02-14 調理ロボット、調理ロボット制御装置、制御方法

Publications (1)

Publication Number Publication Date
CN113474134A true CN113474134A (zh) 2021-10-01

Family

ID=72338261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080016680.XA Pending CN113474134A (zh) 2019-03-01 2020-02-14 烹饪机器人、烹饪机器人控制装置和控制方法

Country Status (6)

Country Link
US (1) US20220142398A1 (zh)
EP (1) EP3932627B1 (zh)
JP (1) JPWO2020179402A1 (zh)
KR (1) KR20210134624A (zh)
CN (1) CN113474134A (zh)
WO (1) WO2020179402A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022063885A (ja) * 2019-03-01 2022-04-25 ソニーグループ株式会社 データ処理装置、データ処理方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1409212A (zh) * 2001-09-29 2003-04-09 张晓林 自动烹调方法及系统
JP2005144093A (ja) * 2003-11-11 2005-06-09 Paloma Ind Ltd 加熱調理方法
US7174830B1 (en) * 2003-06-05 2007-02-13 Dawei Dong Robotic cooking system
CN101013535A (zh) * 2006-01-25 2007-08-08 深圳市繁兴科技有限公司 自动/半自动烹饪系统示教再现系统
US20080040344A1 (en) * 2004-05-12 2008-02-14 Ajikaori Senryaku Kenkyusyo Co., Ltd. Sense Database
CN102657482A (zh) * 2012-03-16 2012-09-12 邓力 将手工烹饪操作转变为自动/半自动烹饪操作的方法
US20150064314A1 (en) * 2013-08-27 2015-03-05 David Briden Manuel System and method of monitoring and adjusting a temperature of an object
JP2016148997A (ja) * 2015-02-12 2016-08-18 三菱電機株式会社 調理支援装置、調理支援システムおよび調理支援方法
CN107343382A (zh) * 2014-09-02 2017-11-10 Mbl有限公司 在具有电子微操纵库的仪器化环境中执行特定领域应用的机器人操纵方法和系统
JP2017220701A (ja) * 2016-06-03 2017-12-14 株式会社 ゼンショーホールディングス 調理支援システム
CN107705219A (zh) * 2017-10-10 2018-02-16 北京开席科技有限公司 一种用于生成个性化菜谱的方法、终端和服务器
CN107908670A (zh) * 2017-10-24 2018-04-13 西安科锐盛创新科技有限公司 烹饪菜谱生成方法及系统
US20180242772A1 (en) * 2016-02-18 2018-08-30 Meyer Intellectual Properties Ltd. Cooking system with error detection

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061381A (ja) * 2008-09-03 2010-03-18 Nikon Corp 自動レシピ作成装置およびプログラム
JP5196445B2 (ja) * 2009-11-20 2013-05-15 独立行政法人科学技術振興機構 料理プロセス指示装置及び料理プロセス指示方法
WO2014199584A1 (ja) * 2013-06-12 2014-12-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 調理スキル評価方法、調理スキル評価システム及び調理スキル評価システムを制御する制御プログラム
JP2016103042A (ja) * 2013-06-12 2016-06-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 調理スキル評価方法、調理スキル評価システム及び調理スキル評価システムを制御する制御プログラム
WO2015125017A2 (en) 2014-02-20 2015-08-27 Mark Oleynik Methods and systems for food preparation in a robotic cooking kitchen

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1409212A (zh) * 2001-09-29 2003-04-09 张晓林 自动烹调方法及系统
US7174830B1 (en) * 2003-06-05 2007-02-13 Dawei Dong Robotic cooking system
JP2005144093A (ja) * 2003-11-11 2005-06-09 Paloma Ind Ltd 加熱調理方法
US20080040344A1 (en) * 2004-05-12 2008-02-14 Ajikaori Senryaku Kenkyusyo Co., Ltd. Sense Database
CN101013535A (zh) * 2006-01-25 2007-08-08 深圳市繁兴科技有限公司 自动/半自动烹饪系统示教再现系统
CN102657482A (zh) * 2012-03-16 2012-09-12 邓力 将手工烹饪操作转变为自动/半自动烹饪操作的方法
US20150064314A1 (en) * 2013-08-27 2015-03-05 David Briden Manuel System and method of monitoring and adjusting a temperature of an object
CN107343382A (zh) * 2014-09-02 2017-11-10 Mbl有限公司 在具有电子微操纵库的仪器化环境中执行特定领域应用的机器人操纵方法和系统
JP2016148997A (ja) * 2015-02-12 2016-08-18 三菱電機株式会社 調理支援装置、調理支援システムおよび調理支援方法
US20180242772A1 (en) * 2016-02-18 2018-08-30 Meyer Intellectual Properties Ltd. Cooking system with error detection
JP2017220701A (ja) * 2016-06-03 2017-12-14 株式会社 ゼンショーホールディングス 調理支援システム
CN107705219A (zh) * 2017-10-10 2018-02-16 北京开席科技有限公司 一种用于生成个性化菜谱的方法、终端和服务器
CN107908670A (zh) * 2017-10-24 2018-04-13 西安科锐盛创新科技有限公司 烹饪菜谱生成方法及系统

Also Published As

Publication number Publication date
EP3932627A4 (en) 2022-06-01
US20220142398A1 (en) 2022-05-12
WO2020179402A1 (ja) 2020-09-10
JPWO2020179402A1 (zh) 2020-09-10
EP3932627A1 (en) 2022-01-05
KR20210134624A (ko) 2021-11-10
EP3932627B1 (en) 2024-05-08

Similar Documents

Publication Publication Date Title
US11738455B2 (en) Robotic kitchen systems and methods with one or more electronic libraries for executing robotic cooking operations
US10817778B2 (en) Customized cooking utilizing deep learning neuromorphic computing of hyperspectral input
CN113473890B (zh) 烹饪机器人、烹饪机器人控制装置和控制方法
KR20160124770A (ko) 로봇식 요리용 키친에서의 음식 준비를 위한 방법 및 시스템
US20230031545A1 (en) Robotic kitchen systems and methods in an instrumented environment with electronic cooking libraries
JPWO2005109246A1 (ja) 感覚データベース
EP3932627B1 (en) Cooking robot, cooking robot control device, and control method
WO2020179408A1 (ja) データ処理装置、データ処理方法
US20220091586A1 (en) Data processing device and data processing method
Ford et al. Next-generation sensory and consumer science: data collection tools using digital technologies
Camargo-Gómez et al. Electronic Prototype for Heart Rate Measurement Oriented to Emotions Generated by Tasting Food
JP2021179659A (ja) 食事アドバイス提供システムおよび方法
CN114269213A (zh) 信息处理装置、信息处理方法、烹饪机器人、烹饪方法及烹饪设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination