CN106030427A - 用于在机器人烹饪厨房中制备食物的方法和系统 - Google Patents

用于在机器人烹饪厨房中制备食物的方法和系统 Download PDF

Info

Publication number
CN106030427A
CN106030427A CN201580009171.3A CN201580009171A CN106030427A CN 106030427 A CN106030427 A CN 106030427A CN 201580009171 A CN201580009171 A CN 201580009171A CN 106030427 A CN106030427 A CN 106030427A
Authority
CN
China
Prior art keywords
robot
food
sensor
cook
kitchen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580009171.3A
Other languages
English (en)
Other versions
CN106030427B (zh
Inventor
M·奥利尼克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010815251.0A priority Critical patent/CN112068526A/zh
Publication of CN106030427A publication Critical patent/CN106030427A/zh
Application granted granted Critical
Publication of CN106030427B publication Critical patent/CN106030427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J27/00—Cooking-vessels
    • A47J27/56—Preventing boiling over, e.g. of milk
    • A47J27/62—Preventing boiling over, e.g. of milk by devices for automatically controlling the heat supply by switching off heaters or for automatically lifting the cooking-vessels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A47J36/32—Time-controlled igniting mechanisms or alarm devices
    • A47J36/321—Time-controlled igniting mechanisms or alarm devices the electronic control being performed over a network, e.g. by means of a handheld device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0045—Manipulators used in the food industry
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2603—Steering car
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36184—Record actions of human expert, teach by showing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40391—Human to robot skill transfer
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40395—Compose movement with primitive movement segments from database

Abstract

本公开涉及用于指示机器人代替人类厨师的活动和动作来制备食物菜肴的方法、计算机程序产品和计算机系统。在仪器化的应用特定的环境中，本实例中为标准化机器人厨房，执行对人类厨师的监视，所述监视涉及采用传感器和计算机来观察、监视、记录和解释人类厨师的运动和动作，以开发出对于环境中的变异和变化具有鲁棒性的机器人可执行命令集，其能够允许机器人厨房中的机器人或自动化系统制备出从标准和质量上与人类厨师制备的菜肴相同的菜肴。

Description

用于在机器人烹饪厨房中制备食物的方法和系统
相关申请的交叉引用
本申请要求以下申请的优先权，其公开内容通过整体引用而合并于此：2015年2月16日提交的题为“Method and System for Food Preparation in a Robotic CookingKitchen”的美国临时申请No.62/116,563、2015年2月8日提交的题为“Method and Systemfor Food Preparation in a Robotic Cooking Kitchen”的美国临时申请No.62/113,516、2015年1月28日提交的题为“Method and System for Food Preparation in aRobotic Cooking Kitchen”的美国临时申请No.62/109,051、2015年1月16日提交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.62/104,680、2014年12月10日提交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.62/090,310、2014年11月22日提交的题为“Method and System for RoboticCooking Kitchen”的美国临时申请No.62/083,195、2014年10月31日提交的题为“Methodand System for Robotic Cooking Kitchen”的美国临时申请No.62/073,846、2014年9月26日提交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.62/055,799、2014年9月2日提交的题为“Method and System for Robotic CookingKitchen”的美国临时申请No.62/044,677、2014年7月15日提交的题为“Method and Systemfor Robotic Cooking Kitchen”的美国临时申请No.62/024,948、2014年6月18日提交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.62/013,691、2014年6月17日提交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.62/013,502、2014年6月17日提交的题为“Method and System for RoboticCooking Kitchen”的美国临时申请No.62/013,190、2014年5月8日提交的题为“Method andSystem for Robotic Cooking Kitchen”的美国临时申请No.61/990,431、2014年5月1日提交的题为“Method and System for Robotic Cooking Kitchen”的美国临时申请No.61/987,406、2014年3月16日提交的题为“Method and System for Robotic CookingKitchen”的美国临时申请No.61/953,930、以及2014年2月20日提交的题为“Method andSystem for Robotic Cooking Kitchen”的美国临时申请No.61/942，559。
技术领域
本发明总体上涉及机器人和人工智能的学科交叉领域，更特别地，涉及用于通过使专业和非专业厨师菜肴的食物制备过程数字化，随后借助于实时电子调节来复现厨师的烹饪动作、过程和技术而进行食物制备的计算机化机器人食物制备系统。
背景技术
机器人的研发已经进行了几十年，但是其取得的进展大多是在诸如汽车制造自动化的重工业应用或者军事应用当中。尽管已经针对消费者市场设计出了简单的机器人系统，但是到目前为止几乎看不到家庭消费机器人的广泛应用。随着技术进步和人民收入更高，市场已经成熟到适于为技术进步创造机会以改善人们生活。机器人借助于增强的人工智能以及对许多形式的人类技能和任务的仿真而不断地改进着自动化技术。
自从二十世纪七十年代首次开发机器人以来，在某些领域用机器人代替人类执行通常由人类执行的任务的想法是一种不断演进的思想。制造业长期以来一直以教导重现(teach-playback)模式使用机器人，其中通过控制台(pendant)或离线固定的轨迹生成和下载对机器人进行教导，其持续复制一些动作而不存在变化或偏差。公司将计算机教导轨迹的预编程轨迹运行以及机器人动作重现运用到诸如搅拌饮料、汽车焊接或喷漆等应用领域。但是，所有这些常规应用均采用意在使机器人只忠实地执行动作命令的1:1计算机对机器人或教导-重现原则，机器人将总是无偏差地遵循所教导的/预先计算的轨迹。
美食是一门吃的艺术，美食家的菜谱敏锐地将高质量的食材和味道融合起来，吸引着我们的全部感官。美食家的烹饪所遵循的原则是以可能要非常细心、需要专门知识和技术而且在一些情况下可能需要长期训练的技能为基础的。在过去的若干年里，由于收入的快速提高以及烹饪意识的世代流传，对美味食物的需求也随之激增。但是，用餐者仍需去特定餐厅或场所品尝其喜爱的厨师烹饪的美食。现场观看厨师制备您喜欢的菜肴或者体验菜肴的制备是很有利的，这会让您想起儿时祖母为你精心制作的美味。
因此，希望有一种系统和方法，使消费者在自己家里就能够方便地制作、品尝厨师的美味菜肴，而不必千里迢迢地走遍世界各地的每一家餐厅去品尝特定的美味。
发明内容
本公开的实施例涉及带有机器人指令的机器人设备的方法、计算机程序产品和计算机系统，其以基本相同的结果复现食物菜肴，就像是厨师来制备了该食物菜肴一样。在第一实施例中，标准化机器人厨房中的机器人设备包括两个机器臂和手，其基于先前记录的厨师制备相同食物菜肴的精确动作的软件文件(菜谱脚本)，按照相同的顺序(或基本相同的顺序)和相同的时序(或基本相同的时序)复现厨师的精确动作以制备食物菜肴。在第二实施例中，计算机控制的烹饪设备基于先前记录在软件文件中的感测曲线，例如随时间推移的温度，来制备食物菜肴，其中厨师用带有传感器的烹饪设备制备相同的食物菜肴，当厨师先前在配备有传感器的烹饪设备上制备食物菜肴时，由计算机记录随时间推移的传感器值。在第三实施例中，厨房设备包括第一实施例中的机器臂和第二实施例中用于制备菜肴的带有传感器的烹饪设备，其将机器臂与一条或多条感测曲线两者结合起来，其中机器臂能够在烹饪过程期间对食物菜肴进行质量检查，质量检查所针对的特性诸如是味道、气味和外观，由此允许对食物菜肴的制备步骤进行任何烹饪调整。在第四实施例中，厨房设备包括采用计算机控制容器和容器标识的食物存放系统，用于存放食材以及为用户提供食材，以遵循厨师的烹饪指令制备食物菜肴。在第五实施例中，机器人烹饪厨房包括具有臂的机器人和厨房设备，其中机器人围绕厨房设备移动，从而通过模仿厨师的精确烹饪动作来制备食物菜肴，其包括对菜谱脚本中定义的制备过程做出可能的实时修改/适应性调节。
一种机器人烹饪引擎包括检测、记录和模仿厨师烹饪活动，控制诸如温度和时间之类的重要参数，以及处理借助于指定用具、设备和工具的执行，由此重现味道与厨师制备的同种菜肴相同的美食家菜肴，并且在特定和方便的时间上菜。在一实施例中，机器人烹饪引擎提供机器臂以用于采用相同的食材和技术复现厨师的相同动作，从而制作相同口味的菜肴。
本公开的基础动机的核心在于，在人自然地执行活动的过程中采用传感器对其进行监视，然后能够使用监视传感器、捕获传感器、计算机和软件来生成信息和命令，从而使用一个或多个机器人和/或自动化系统复现人的活动。尽管可以设想多种这样的活动(例如，烹饪、绘画、演奏乐器等)，但是本公开的一个方面涉及烹饪膳食；其实质上是机器人膳食制备应用。在仪器化应用特定的设置(本实例中为标准化厨房)中执行对人的监视，并且对人的监视涉及采用传感器和计算机来观察、监视、记录和解释人类厨师的运动和动作，从而开发出对环境中的变化和改变具有鲁棒性的可由机器人执行的命令集，能够允许机器人厨房中的机器人或自动化系统制备出从标准和质量上与人类厨师制备的菜肴相同的菜肴。
多模态感测系统的使用是收集必要的原始数据的手段。能够收集和提供这样的数据的传感器包括环境和几何传感器，例如，二维(摄像机等)和三维(激光、声纳等)传感器，以及人类运动捕获系统(人佩戴的摄像机目标、仪器化外套/外骨架、仪器化手套等)，以及在菜谱创建和执行过程中采用的仪器化(传感器)和动力(致动器)设备(仪器化用具、烹饪设备、工具、食材分配器等)。通过一个或多个分布式/中央计算机收集所有这些数据并且通过各种软件过程对其进行处理。算法将对数据进行处理和抽象化，以达到人类和计算机控制的机器人厨房能够理解人类采取的活动、任务、动作、设备、食材以及方法和过程，包括复现特定厨师的关键技能的程度。通过一个或多个软件抽象化引擎对原始数据进行处理，从而建立人可读的、并且通过进一步处理机器可理解和执行的菜谱脚本，其清楚说明机器人厨房将执行的特定菜谱的所有步骤的所有动作和活动。这些命令的复杂性范围从控制各个关节到随时间的特定关节运动概况，到与菜谱中的具体步骤相关联的、较低层级运动执行命令嵌入在其中的命令抽象化层级。抽象化运动命令(例如，“将蛋磕到平底锅里”、“两面烤成金黄色”等)可以从原始数据生成，并且通过大量迭代学习过程精炼和优化，现场和/或离线地执行，从而允许机器人厨房系统成功处理测量不确定性、食材变化等，由此能够基于相当抽象化/高层级的命令(例如，“通过把手抓取锅(pot)”、“倒出内容物”、“抓取台面上的汤匙并且对汤进行搅拌”等)，使用安装至机器臂和手腕上的带手指的手来实现复杂的(自适应的)微操纵活动。
创建机器可执行命令序列(其现在容纳在允许共享/传输的数字文件内，允许任何机器人厨房执行它们)的能力开辟了随时随地执行菜肴制备步骤的选项。因而，其允许在线买/卖菜谱的选项，允许用户基于每次使用或订购来访问和分发菜谱。
通过机器人厨房执行人类制备的菜肴的复现，其实质上是对人类厨师在菜肴创造过程中采用的仪器化厨房的标准化复制，除了现在是由受计算机监视的一组机器臂和手以及计算机可控制的器具、装置、工具、分配器等执行人的动作之外。因而，菜肴复现的保真度与机器人厨房对人类厨师在制备菜肴时受到观察所处的厨房(及其所有元件和食材)的复制程度紧密相关。
广言之，可以提供一种对机器人设备进行操作的计算机实施的方法，其包括对一种或多种食物菜肴的电子描述，包括厨师由食材制作每种食物菜肴的菜谱；对于每种食物菜肴，随着厨师采用食材和厨房装置制备食物菜肴而通过多个机器人传感器感测厨师活动的观测序列；在所述观测序列中检测对应于在制备特定食物菜肴的每一阶段内执行的活动的序列的微操纵；将感测到的观测序列转换成用于对能够执行微操纵序列的机器人设备加以控制的计算机可读指令；至少将用于微操纵的指令序列存储到用于每种食物菜肴的电子介质上，其中用于每种食物菜肴的微操纵的序列存储为相应的电子记录；将用于食物菜肴的相应电子记录传输至能够对应于厨师的厨师动作复现所存储的微操纵的序列的机器人设备；以及通过机器人设备执行用于特定食物菜肴的微操纵的指令序列，由此获得基本上与厨师制备的原始食物菜肴相同的结果，其中执行指令包括感测在制备食物菜肴时采用的食材的属性。
有利地，标准化机器人厨房中的机器人设备具有通过全球网络和数据库访问制备来自世界各地的种类繁多的美食的能力，与之相比厨师可能只擅长一种烹饪风格。标准化机器人厨房还能够捕获并记录你最喜欢的食物菜肴之一，每当你想要享用这种菜肴时机器人设备就可以进行复现，而不必一次一次地重复制备相同菜肴的劳作过程。
在下文的具体实施方式中公开了本发明的结构和方法。这一发明内容部分并非旨在对本发明进行界定。本发明由权利要求界定。通过下述描述、所附权利要求和附图，本发明的这些以及其他实施例、特征、方面和优点将变得更好理解。
附图说明
将参照附图就本发明的具体实施例对本发明予以描述，附图中：
图1是示出根据本发明的具有硬件和软件的总体机器人食物制备厨房的系统图。
图2是示出根据本发明的包括厨师工作室系统和家庭机器人厨房系统的机器人食物烹饪系统的第一实施例的系统图。
图3是示出根据本发明的用于通过复现厨师菜谱的过程、技术和动作而制备菜肴的标准化机器人厨房的一实施例的系统图。
图4是示出根据本发明的与厨师工作室系统和家庭机器人厨房系统中的计算机结合使用的机器人食物制备引擎的一实施例的系统图。
图5A是示出根据本发明的厨师工作室菜谱创建过程的框图。
图5B是示出根据本发明的标准化教导/重现机器人厨房的一实施例的框图。
图5C是示出根据本发明的菜谱脚本生成和抽象化引擎的一实施例的框图。
图5D是示出根据本发明的用于标准化机器人厨房中的对象操纵的软件单元的框图。
图6是示出根据本发明的多模态感测和软件引擎架构的框图。
图7A是示出根据本发明的厨师采用的标准化机器人厨房模块的框图。
图7B是示出根据本发明的具有一对机器臂和手的标准化机器人厨房模块的框图。
图7C是示出根据本发明的由厨师使用的标准化机器人厨房模块的物理布局的一实施例的框图。
图7D是示出根据本发明的由一对机器臂和手使用的标准化机器人厨房模块的物理布局的一实施例的框图。
图7E是描绘根据本发明的逐步流程和方法的框图，所述逐步流程和方法用于确保在基于标准化机器人厨房执行菜谱脚本的菜谱复现过程中存在有控制或检验点。
图8A是示出根据本发明的厨师活动和机器人镜像活动之间的转换算法模块的一实施例的框图。
图8B是示出由厨师49佩戴的用于捕获和传输厨师活动的一副具有传感器的手套的框图。
图8C是示出根据本发明的基于来自厨师手套的捕获感测数据的机器人烹饪执行的框图。
图8D是示出相对于平衡的动态稳定和动态不稳定曲线的曲线图。
图8E是示出根据本发明的需要被称为阶段的步骤的序列的食物制备过程的顺序图。
图8F是示出根据本发明的作为制备食物菜肴的阶段的数量的函数的总体成功概率的曲线图。
图8G是示出采用多阶段机器人食物制备的菜谱执行的框图，其中所述多阶段食物制备采用微操纵和动作基元(primitive)。
图9A是示出根据本发明的用于检测和移动厨房工具、对象或一件厨房设备的具有触觉振动、声纳和摄像机传感器的机器手和手腕的例子的框图。
图9B是示出根据本发明的耦合至一对用于标准化机器人厨房中的操作的机器臂和手的、具有传感器摄像机的云台头的框图。
图9C是示出根据本发明的用于标准化机器人厨房内的操作的机器手腕上的传感器摄像机的框图。
图9D是示出根据本发明的用于标准化机器人厨房中的操作的机器手上的手内眼(eye-in-hand)的框图。
图9E-9I是示出根据本发明的机器手中的可形变手掌的各方面的图画示图。
图10A是示出厨师在机器人厨房环境内佩戴的用于在具体菜谱的食物制备过程中记录和捕获厨师活动的厨师记录装置的例子的框图。
图10B是示出根据本发明的用机器人姿势、运动和力评估对厨师活动的捕获的过程的一实施例的流程图。
图11是示出根据本发明的家庭机器人厨房系统中采用的机器臂实施例的侧视图的框图。
图12A-12C是示出根据本发明的与具有手掌的机器手一起使用的厨房把手的一实施例的框图。
图13是示出根据本发明的具有触觉传感器和分布式压力传感器的示例机器手的图画示图。
图14是示出根据本发明的厨师在机器人烹饪工作室佩戴的感测服装的示例的图画示图。
图15A-15B是示出根据本发明的用于厨师制备食物的具有传感器的三指触觉手套的一实施例以及具有传感器的三指机器手的示例的图画示图。
图16是示出根据本发明的微操纵数据库的库(library)的创建模块和微操纵数据库的库的执行模块的框图。
图17A是示出根据本发明的厨师用于执行标准化操作活动的感测手套的框图。
图17B是示出根据本发明的机器人厨房模块中的标准化操作活动的数据库的框图。
图18A是示出根据本发明的包覆有人工的类似于人的柔软皮肤的手套的每个机器手的示意图。
图18B是示出根据本发明的包覆有人工的类似于人的皮肤的手套以基于已经预定义并且储存在库数据库中的微操纵库数据库执行高层级微操纵的机器手的框图。
图18C是示出根据本发明的用于食物制备的三种类型的操纵动作分类的示意图。
图18D是示出根据本发明的对用于食物制备的操纵动作所做的分类(taxonomy)的一实施例的流程图。
图18E是示出根据本发明的机器臂和机器手之间的相互作用和相互配合的一示例的框图。
图18F是示出根据本发明的采用可附接至炊具头的标准化厨房把手的机器手和可附接至厨具的机器臂的框图。
图19是示出根据本发明的创建导致用刀敲裂鸡蛋的微操纵的框图。
图20是示出根据本发明的用于具有实时调整的微操纵的菜谱执行的示例的框图。
图21是示出根据本发明的在标准化厨房模块中捕获厨师的食物制备动作的软件过程的流程图。
图22是示出根据本发明的机器人标准化厨房模块中的机器人设备实施的食物制备的软件过程的流程图。
图23是示出根据本发明的建立、测试、验证和存储用于微操纵系统的各种参数组合的软件过程的一实施例的流程图。
图24是示出根据本发明的用于创建微操纵系统的任务的软件过程的一实施例的流程图。
图25是示出根据本发明的分配和利用标准化机器人厨房内的标准化厨房工具、标准化对象和标准化装置的库的过程的流程图。
图26是示出根据本发明的借助于三维建模识别非标准化对象的过程的流程图。
图27是示出根据本发明的用于微操纵的测试和学习的过程的流程图。
图28是示出根据本发明的用于机器臂质量控制和对准功能的过程的流程图。
图29是示出根据本发明的供在标准化机器人厨房中使用的微操纵对象的数据库库(library)结构的表格。
图30是示出根据本发明的供在标准化机器人厨房中使用的标准化对象的数据库库结构的表格。
图31是示出根据本发明的用于进行鱼肉的质量检查的机器手的图画示图。
图32是示出根据本发明的用于进行碗内质量检查的机器人传感器的图画示图。
图33是示出根据本发明的用于确定食物新鲜度和质量的检测装置或具有传感器的容器的图画示图。
图34是示出根据本发明的用于确定食物新鲜度和质量的在线分析系统的系统图。
图35是示出根据本发明的带有可编程分配器控制的预填充容器的框图。
图36是示出根据本发明的供在标准化机器人厨房中使用的菜谱系统结构的框图。
图37A-37C是示出根据本发明的供在标准化机器人厨房中使用的菜谱搜索菜单的框图。
图37D是根据本发明的具有创建和提交菜谱选项的菜单的屏幕快照。
图37E-37M是示出具有功能能力的食物制备用户界面的一实施例的流程图，所述功能能力包括菜谱过滤器、食材过滤器、设备过滤器、账号和社交网络访问、个人合作伙伴页、购物车页以及有关购买的菜谱、注册设置、创建菜谱的信息。
图37N-37V是根据本发明的各种图形用户界面和菜单选项的屏幕快照。
图38是示出根据本发明的选择供在标准化机器人厨房中使用的字段的菜谱搜索菜单的框图。
图39是示出根据本发明的具有用于三维跟踪和参考数据生成的增强型传感器的标准化机器人厨房的框图。
图40是示出根据本发明的具有用于创建实时三维模型的多个传感器的标准化机器人厨房的框图。
图41A-41L是示出根据本发明的标准化机器人厨房的各种实施例和特征的框图。
图42A是示出根据本发明的标准化机器人厨房的顶视平面图的框图。
图42B是示出根据本发明的标准化机器人厨房的透视平面图的框图。
图43A-43B是示出根据本发明的标准化机器人厨房中的具有自动透明门的厨房模块框架的第一实施例的框图。
图43C-43F是示出根据本发明的标准化机器人厨房的屏幕快照和样本厨房模块规格的框图。
图44A-44B是示出根据本发明的标准化机器人厨房中的具有自动透明门的厨房模块框架的第二实施例的框图。
图45是示出根据本发明的具有可伸缩致动器的标准化机器人厨房的框图。
图46A是示出根据本发明的具有一对固定机器臂而没有移动轨道的标准化机器人厨房的正视图的框图。
图46B是示出根据本发明的具有一对固定机器臂而没有移动轨道的标准化机器人厨房的斜视图的框图。
图46C-46G是示出根据本发明的具有一对固定机器臂而没有移动轨道的标准化机器人厨房中的各种尺寸的示例的框图。
图47是示出根据本发明的与标准化机器人厨房结合使用的可编程存储系统的框图。
图48是示出根据本发明的与标准化机器人厨房结合使用的可编程存储系统的正视图的框图。
图49是示出根据本发明的与标准化机器人厨房结合使用的食材获取容器的正视图的框图。
图50是示出根据本发明的与标准化机器人厨房结合使用的与食材获取容器相关联的食材质量监视仪表板的框图。
图51是示出根据本发明的菜谱参数的数据库库(database library)的表格。
图52是示出根据本发明的记录厨师的食物制备过程的一实施例的过程的流程图。
图53是示出根据本发明的机器人设备制备食物菜肴的一实施例的过程的流程图。
图54是示出根据本发明的在机器人获得与厨师相同或基本相同的食物菜肴制备结果的过程中的质量和功能调整的一实施例的过程的流程图。
图55是示出根据本发明的机器人厨房通过复现来自机器人厨房中的记录软件文件的厨师活动而制备菜肴的过程中的第一实施例的流程图。
图56是示出根据本发明的机器人厨房中的存储验入(check-in)和识别过程的流程图。
图57是示出根据本发明的机器人厨房中的存储验出(check-out)和烹饪制备过程的流程图。
图58是示出根据本发明的机器人厨房中的自动化烹饪前制备过程的一实施例的流程图。
图59是示出根据本发明的机器人厨房中的菜谱设计和脚本化过程的一实施例的流程图。
图60是示出根据本发明的供用户购买机器人食物制备菜谱的订购模型的流程图。
图61A-61B是示出根据本发明的从门户网站的菜谱商业平台进行菜谱搜索和购买/订购的过程的流程图。
图62是示出根据本发明的在app平台上创建机器人烹饪菜谱app的流程图。
图63是示出根据本发明的用户对烹饪菜谱进行搜索、购买和订购的过程的流程图。
图64A-64B是示出根据本发明的预定义菜谱搜索标准的示例的框图。
图65是示出根据本发明的机器人厨房中的一些预定义容器的框图。
图66是示出根据本发明的按照矩形布局配置的机器人餐馆厨房模块的第一实施例的框图，该厨房具有多对机器手以用于同时进行食物制备处理。
图67是示出根据本发明的按照U形布局配置的机器人餐馆厨房模块的第二实施例的框图，该厨房具有多对机器手以用于同时进行食物制备处理。
图68是示出根据本发明的具有感测炊具和曲线的机器人食物制备系统的第二实施例的框图。
图69是示出根据本发明的第二实施例中的机器人食物制备系统的一些物理元件的框图。
图70是示出根据本发明的在第二实施例中采用的具有实时温度传感器的(智能)平底锅的感测炊具的框图。
图71是示出根据本发明的来自厨师工作室中的感测炊具的不同传感器的具有多个数据点的记录温度曲线的曲线图。
图72是示出根据本发明的来自厨师工作室中的感测炊具的、用于传输给操作控制单元的记录温度和湿度曲线的曲线图。
图73是示出根据本发明的感测炊具的框图，所述感测炊具用于基于来自平底锅上的不同区域的温度曲线的数据进行烹饪。
图74是示出根据本发明的供在第二实施例中使用的具有实时温度和湿度传感器的(智能)烤箱的感测炊具的框图。
图75是示出根据本发明的供在第二实施例中使用的具有实时温度传感器的(智能)炭烤架的感测炊具的框图。
图76是示出根据本发明的供在第二实施例中使用的具有速度、温度和电源控制功能的(智能)龙头(faucet)的感测炊具的框图。
图77是示出根据本发明的第二实施例中的具有感测炊具的机器人厨房的顶视平面图的框图。
图78是示出根据本发明的第二实施例中的具有感测炊具的机器人厨房的透视图的框图。
图79是示出根据本发明的机器人厨房根据在机器人厨房中的一条或多条先前记录的参数曲线来制备菜肴的过程的第二实施例的流程图。
图80是示出根据本发明的用感测炊具捕获厨师烹饪过程的机器人食物制备系统的第二实施例的流程图。
图81是示出根据本发明的用感测炊具复现厨师的烹饪过程的机器人食物制备系统的第二实施例的流程图。
图82是示出根据本发明的具有烹饪操作控制模块以及命令和视觉监视模块的机器人食物制备厨房的第三实施例的框图。
图83是示出根据本发明的具有机器臂和手活动的机器人食物制备厨房的第三实施例的顶视平面图的框图。
图84是示出根据本发明的具有机器臂和手活动的机器人食物制备厨房的第三实施例的透视图的框图。
图85是示出根据本发明的采用命令和视觉监视装置的机器人食物制备厨房的第三实施例的顶视平面图的框图。
图86是示出根据本发明的采用命令和视觉监视装置的机器人食物制备厨房的第三实施例的透视图的框图。
图87A是示出根据本发明的采用机器人的机器人食物制备厨房的第四实施例的框图。
图87B是示出根据本发明的采用人形机器人的机器人食物制备厨房的第四实施例的顶视平面图的框图。
图87C是示出根据本发明的采用人形机器人的机器人食物制备厨房的第四实施例的透视平面图的框图。
图88是示出根据本发明的机器人的人类模拟器电子知识产权(IP)库的框图。
图89是示出根据本发明的机器人的人类情感识别引擎的框图。
图90是示出根据本发明的机器人的人类情感引擎的处理的流程图。
图91A-91C是示出根据本发明的用激素、信息素和其他参数将人的情感概况与情感概况族群进行比较的过程的流程图。
图92A是示出根据本发明的通过监视一组激素、一组信息素以及其他关键参数而对人的情感状态进行情感检测和分析的框图。
图92B是示出根据本发明的机器人对人的情感行为进行评估和学习的框图。
图93是示出根据本发明的人体内植入的检测和记录人的情感概况的端口装置的框图。
图94A是示出根据本发明的机器人人类智能引擎的框图。
图94B是示出根据本发明的机器人人类智能引擎的处理的流程图。
图95A是示出根据本发明的机器人绘画系统的框图。
图95B是示出根据本发明的机器人绘画系统的各种部件的框图。
图95C是示出根据本发明的机器人人类绘画技巧复现引擎的框图。
图96A是示出根据本发明的绘画工作室中对艺术家的记录过程的流程图。
图96B是示出根据本发明的机器人绘画系统的复现过程的流程图。
图97A是示出根据本发明的音乐家复现引擎的实施例的框图。
图97B是示出根据本发明的音乐家复现引擎的处理的框图。
图98是示出根据本发明的护理复现引擎的实施例的框图。
图99A-99B是示出根据本发明的护理复现引擎的处理的流程图。
图100是示出计算机装置的示例的框图，在该计算机装置上可以安装并运行用于执行这里论述的机器人方法的计算机可执行指令。
具体实施方式
将参考图1-100提供对本发明的结构性实施例和方法的描述。应理解，无意将本发明限制到具体公开的实施例，而是本发明可以采用其他特征、元件、方法和实施例来实践。在各实施例中，通常采用类似的附图标记来表示类似的元件。
下述定义适用于文中描述的元件和步骤。这些术语可类似地进行扩展。
抽象化数据——是指对机器运行而言实用的抽象化菜谱，其具有机器需要知晓以用于正确运行和重现的很多其他数据元素。这种所谓的元数据或对应于烹饪过程中的特定步骤的附加数据，不管是直接的传感器数据(时钟时间、水温度、摄像机图像、所使用的用具或食材(ingredient)等)还是通过对更大数据集进行解释或抽象化而产生的数据(例如，来自用于提取图像中的对象的位置和类型的激光器的、覆盖有来自摄像机照片的纹理和颜色图的三维范围云等)都带有时间戳，并且由机器人厨房用于随着其逐步完成菜谱中的步骤序列，在每个时间点上设置、控制和监视所有过程和相关方法以及所需设备。
抽象化菜谱——是指对厨师菜谱的表示，人类将其认识为通过如下来表示：使用特定食材，按特定顺序，通过一系列过程和方法以及人类厨师的技巧来进行制备和组合。机器用来以自动化方式运行的抽象化菜谱需要不同类型的分类和顺序。尽管所执行的总体步骤与人类厨师采取的步骤相同，但是机器人厨房实用的抽象化菜谱要求额外的元数据作为菜谱中的每一步骤的一部分。这样的元数据包括烹饪时间、诸如温度(及其随时间的变化)之类的变量、烤箱设置、所采用的工具/设备等。基本上，机器可执行的菜谱脚本需要具有所有可能的与时间相关的对于烹饪过程具有重要性的测量变量(所有的都是当人类厨师在厨师工作室内制备菜谱时测得并储存的)，这些变量既包括总体的，也包括处于烹饪序列的每个处理步骤内的。因此，抽象化菜谱是映射到机器可读的表示或域的烹饪步骤的表示，其通过一组逻辑抽象化步骤将来自人类域的所需过程变为机器可理解且机器可执行域的过程。
加速度——是指机器臂可绕轴或沿短距离上的空间轨迹加速的最大速度变化速率。
精确度——是指机器人能够在怎样的接近程度上达到所命令的位置。精确度由机器人的绝对位置对照命令位置之间的差确定。可以借助于外部感测，例如机器手上的传感器或利用多个(多模)传感器的实时三维模型来对精确度进行改善、调整或校准。
动作基元——在一实施例中，该术语是指不可分的机器人动作，例如，将机器人设备从位置X1移动到位置X2，或者感测离用于食物制备的对象的距离而不必获得功能结果。在另一实施例中，该术语是指由用于完成微操纵(mini-manipulation)的一个或多个这样的单元的序列中的不可分机器人动作。这些是同一定义的两个方面。
自动化剂料(dosage)系统——是指标准化厨房模块中的剂料容器，在其中根据应用释放特定量的食物化学化合物(例如，盐、糖、胡椒粉、香料、任何种类的液体，诸如水、油、香精、番茄酱等)。
自动化存储和输送系统——是指标准化厨房模块中的存储容器，其维持所存储食物的特定温度和湿度；每个存储容器分配有代码(例如，条形码)，使机器人厨房能够识别并检索出特定的存储容器将其中存储的食物内容输送到何处。
数据云——是指按照特定间隔收集并且基于多重关系，例如时间、位置等汇总的来自特定空间的基于传感器或数据的数值测量结果(三维激光/声程测量、来自摄像机图像的RGB值等)的集合。
自由度(DOF)——是指机械装置或系统能够按照其移动的定义模式和/或方向。自由度数量等于独立位移或运动方面的总数。对于两个机器臂而言，自由度总数加倍。
边缘检测——是指能够识别多个对象的边缘的基于软件的计算机程序，所述多个对象可在摄像机的二维图像中重叠，但仍能成功识别其边界以辅助对象识别以及抓取和操纵的规划。
平衡值——是指诸如机器臂之类的机器人附件的目标位置，在该处作用于该附件上的力处于平衡，即，没有净作用力，因而没有净移动。
执行序列规划器——是指能够为诸如臂、分配器、器具等的能够被计算机控制的一个或多个元件或系统建立运行脚本或命令的序列的基于软件的计算机程序。
食物执行保真度——是指机器人厨房，其旨在通过通过观察、测量和理解人类厨师的步骤、变量、方法和过程，由此尝试模仿其技术和技巧，来复现在厨师工作室中生成的菜谱脚本。通过机器制备的菜肴与人类制备的菜肴的接近程度(通过各种主观元素，例如，一致性、颜色、味道等衡量)衡量菜肴制备的执行与厨师的菜肴制作的接近程度，即保真度。这一概念表明，机器人厨房制备的菜肴与人类厨师制备的菜肴越接近，复现过程的保真度就越高。
食物制备阶段(又称为“烹饪阶段”)——是指一项或多项微操纵(包括动作基元)和用于控制标准化厨房模块中的厨房设备和器具的计算机指令的顺序或并行组合；一个或多个食物制备阶段共同表示特定菜谱的整个食物制备过程。
几何推理——是指能够采用二维(2D)/三维(3D)表面和/或体积数据对特定体积的实际形状和尺寸做出相关推理的基于软件的计算机程序；确定或利用边界信息的能力还允许对特定几何元件的起始端以及所存在的数量(在图像或模型中)做出相关推断。
抓取推理——是指能够依赖几何和物理推理来规划机器人末端执行器(夹钳、联杆等)乃至末端执行器所持工具/器具之间的多接触(点/面/体积)接触交互，从而成功并且稳定地接触、抓取和保持对象，以便在三维空间内对其进行操纵的基于软件的计算机程序。
硬件自动化装置——是指能够连续执行预编程步骤但不具备对其中的任何步骤加以修改的能力的固定处理装置；这样的装置用于不需要任何调整的重复运动。
食材管理和操纵——是指详细地定义每种食材(包括大小、形状、重量、外形尺寸、特性和属性)，与特定食材有关的变量的一项或多项实时调整，其可不同于先前储存的食材细节(例如，鱼片的大小、蛋的外形尺寸等)，以及执行对食材的操纵活动的不同阶段当中的处理。
厨房模块(或厨房体积)——是指具有标准化的厨房设备集合、标准化厨房工具集合、标准化厨房把手(handle)集合、以及标准化厨房容器集合的标准化完整厨房模块，其具有预定义的空间和尺寸，用于存储、获取和操作标准化完整厨房模块中的每个厨房元件。厨房模块的一个目标在于对厨房设备、工具、把手、容器等进行尽可能多的预定义，从而为机器臂和机器手的活动提供相对固定的厨房平台。厨师厨房工作室中的厨师和在家使用机器人厨房的人(或餐馆里的人)采用标准化厨房模块来最大化厨房硬件的可预测性，同时将厨师厨房工作室和家庭机器人厨房之间存在差异、变化和偏差的风险降至最低。厨房模块有可能具有不同的实施例，包括独立厨房模块和集成厨房模块。将集成厨房模块匹配到典型房屋的常规厨房区域内。厨房模块至少按照两种模式工作，即，机器人模式和正常(手动)模式。
机器学习——是指软件部件或程序基于经验和反馈提高其性能的技术。一种机器学习是机器人中经常采用的强化学习(reinforcement learning)，其中将对符合要求的动作予以奖励，对不合乎要求的动作予以惩罚。另一种是基于实例的学习(case-basedlearning)，其中记住先前的解决方案，例如人类教导者或机器人本身的动作序列，连同用于解决方案的任何约束或原因，然后在新设置中应用或重新使用。还有其他种类的机器学习，例如，诱导法和转导法。
微操纵——是指以最高水平的概率的阈值(阈值的例子如处于最佳值的0.1、0.001或0.001以内)完成基本功能结果的一个或多个步骤的组合(或序列)。每一步骤可以是动作基元或另一(更小的)微操纵，类似于计算机程序由基本编码步骤以及可以独立或充当子例程的其他计算机程序构成。例如，微操纵可以是抓住鸡蛋，其由伸出机器臂，将机器手指移动为具有正确配置，并且施加正确精巧的力量进行抓取——所有这些基元动作所需的电动机操作构成。另一微操纵可以是用刀打开鸡蛋，包括用一只机器手进行的抓取微操纵，随后是用另一只手抓取刀的微操纵，继而是用刀以预定力打破鸡蛋的基元动作。
模型元素和分类——是指能够将某一场景内的元素理解为在任务的不同部分使用或需要的项的一个或多个基于软件的计算机程序；诸如用于混合的碗和对进行搅拌的汤匙的需要等。可以将场景或全局模型内的多个元素分为若干组，从而允许更快的规划和任务执行。
运动基元——是指定义详细动作步骤的不同水平/域的运动动作，例如，高层级运动基元是抓取杯子，低层级运动基元是将手腕旋转五度。
多模态感测单元——是指由能够以多个模式或多个电磁波段或波谱进行感测和检测的多个传感器构成的感测单元，所述多个传感器尤其能够捕获三维位置和/或运动信息；电磁波谱可以具有从低频到高频的范围，而不必局限于可被人类感知到。额外模式可包括但不限于其他物理感知，例如，触摸、气味等。
轴数量——需要三个轴以达到空间内的任何点。为了对臂的末端(即腕部)的取向进行完全控制，需要三个额外的旋转轴(偏航(yaw)、俯仰(pitch)、滚转(roll)。
参数——是指可取数值或数值范围的变量。三种参数尤其相关：机器人装置的指令中的参数(例如，臂移动的力或距离)、用户可设置的参数(例如，喜欢肉做得更熟一些还是中等熟)、以及厨师定义参数(例如，将烤箱温度设为350F)。
参数调整——是指基于输入改变参数的值的过程。例如，可基于但不限于食材的属性(例如，尺寸、形状、取向)、厨房工具的位置/取向、设备、用具、微操纵的速度和持续时间改变机器人装置的指令的参数。
有效载荷或承载能力——是指机器臂能够对抗重力承载和保持多大重量(甚至对其加速)，其为机器臂的端点位置的函数。
物理推理——是指能够依赖几何推理数据并且采用物理信息(密度、纹理、典型几何结构和形状)帮助推理引擎(程序)来更好地模拟对象并且还预测其在现实世界中的行为(尤其是在抓取和/或操纵/处理时)的基于软件的计算机程序。
原始数据——是指在观察/监视人类厨师制备菜肴时作为厨师工作室菜谱生成过程的一部分收集到的所有测量和推断的感测数据和表示信息。原始数据的范围可以从简单的数据点，例如时钟时间，到烤箱温度(随时间推移的)、摄像机图像、三维激光生成场景表示数据，再到所采用的器具/设备、所采用的工具、所分配的食材(类型和量)以及何时等。将工作室厨房由其内置传感器收集的并按照原始的带时间戳形式存储的所有信息都看作是原始数据。之后，其他软件过程采用原始数据来生成更高层次的理解和菜谱过程理解，将原始数据转化为其他的带时间戳的经处理/解释的数据。
机器人设备——是指机器人传感器和执行器(effector)的集合。执行器包括一个或多个机器臂以及一个或多个机器手，用于标准化机器人厨房中的操作。传感器包括摄像机、距离传感器、力传感器(触觉传感器)，它们将其信息发送至控制执行器的处理器或处理器集合。
菜谱烹饪过程——是指含有用于可编程硬自动化装置集合的抽象和详细层级的指令的机器人脚本，所述指令允许计算机可控制装置在其环境(例如，充分配备了食材、工具、器具和设备的厨房)内执行有序的操作。
菜谱脚本——是指作为时间序列的菜谱脚本，含有结构以及命令和执行基元(简单到复杂的命令软件)的列表，其在由机器人厨房元件(机器臂、自动化设备、器具、工具等)按照既定顺序执行时，将实现对人类厨师在工作室厨房内制备的相同菜肴的复现和产生。这样的脚本是时间有序的，等同于人类厨师产生该菜肴所采取的顺序，但是其具有适于机器人厨房内的计算机控制元件并被其所理解的表现形式。
菜谱速度执行——是指在通过复现厨师活动进行食物菜肴制备的菜谱步骤执行当中对时间线进行管理，其中菜谱步骤包括标准化食物制备操作(例如，标准化炊具、标准化设备、厨房处理器等)、微操作和对非标准化对象的烹饪。
可重复性——是指机器臂/手能够在多高的精确度上可重复地返回到编程位置的可接受预设裕量。如果控制存储器中的技术规范要求机器手移动到特定X-Y-Z位置并且处于该位置的+/-0.1mm内，那么测量该机器手返回到所教导的预期/命令位置的+/-0.1mm内的可重复性。
机器人菜谱脚本——是指与机器人/硬自动化执行步骤的适当序列有关的计算机生成的机器可理解指令序列，其中，所述步骤用以对菜谱中的所需烹饪步骤进行镜像从而获得就像厨师做出来的那样的相同最终产物。
机器人服装——厨师工作室中采用的外部仪器化装置或衣物，例如，关节外骨架、具有摄像机可跟踪标记的衣物、手套等，其用以监视和跟踪厨师在菜谱烹饪过程的所有方面当中的活动和动作。
场景建模——是指能够查看一个或多个摄像机的视场内的场景并且能够检测和识别出对于特定任务而言重要的对象的基于软件的计算机程序。这些对象可以是预先教导的，和/或可以是计算机库的一部分，其具有已知的物理属性和使用意图。
智能厨房炊具/设备——是指一项厨房炊具(例如，锅或平底锅)或一项厨房设备(例如，烤箱、烤架或龙头)，其具有一个或多个传感器并且基于一个或多个图形曲线(例如，温度曲线、湿度曲线等)制备食物菜肴。
软件抽象食物引擎——是指定义为软件环(software loop)或程序的集合的软件引擎，其协调工作从而对输入数据进行处理，并且通过某种形式的文本或图形输出界面创建供其他软件引擎或终端用户使用的特定期望的输出数据集。抽象软件引擎是一种软件程序，其致力于从特定域内的已知源取得巨大量的输入数据(例如，三维范围测量结果，其形成一个或多个传感器检测到的三维测量结果的数据云)，之后对所述数据进行处理，从而获得对不同域中的数据的解释(例如，基于具有相同的竖直数据值的数据在数据云中检测并识别出台表面等)，从而识别、检测、划分出与三维空间内的对象(例如，台顶、烹饪锅等)相关的数据读数。抽象过程基本定义为从一个域取得大数据集并且推断出在更高级空间内的结构(例如，几何结构)(抽象出数据点)，之后对所述推断做进一步抽象，并从抽象数据集中识别出对象(锅等)，以识别出图像中的现实世界元素，其然后可被其他软件引擎用来做出附加决策(对关键对象的处理/操纵决策等)。在本申请中“软件抽象引擎”的同义词可以是“软件解释引擎”，乃至“计算机软件处理和解释算法”。
任务推理——是指能够分析任务描述并且将其分解成一系列的多个机器可执行(机器人或硬自动化系统)步骤以实现任务描述中定义的特定最终结果的基于软件的计算机程序。
三维世界对象建模和理解——是指能够采用感测数据建立所有表面和体积的时变三维模型，使得能够检测、识别和分类其中的对象，并且理解它们的用法和意图的基于软件的计算机程序。
转矩向量——是指作用于机器人附件上的扭转力，包括其方向和大小。
体积对象推断(引擎)——是指能够采用几何数据和边缘信息以及其他感测数据(颜色、形状、纹理等)实现对一个或多个对象的三维识别，以辅助对象识别和分类过程的基于软件的计算机程序。
图1是示出具有机器人硬件12和机器人软件14的总体机器人食物制备厨房10的系统图。总体机器人食物制备厨房10包括机器人食物制备硬件12和机器人食物制备软件14，它们共同运转以执行机器人食物制备功能。机器人食物制备硬件12包括控制标准化厨房模块18(其一般在具有一个或多个传感器的仪表化环境中操作)、多模态三维传感器20、机器臂22、机器手24和捕捉手套26的各种操作和移动的计算机16。机器人食物制备软件14与机器人食物制备硬件12一起操作以捕获厨师在食物菜肴的制备过程中的动作，并通过机器臂和机器手复现厨师的动作以获得该食物菜肴的相同或基本相同的结果(例如，品尝起来一样、闻起来一样等)，即品尝起来和人类厨师做的相同或基本相同。
机器人食物制备软件14包括多模态三维传感器20、捕获模块28、校准模块30、转换算法模块32、复现模块34、具有三维视觉系统的质量检查模块36、相同结果模块38和学习模块40。捕获模块28随着厨师进行食物菜肴的制备而捕捉厨师的动作。校准模块30在烹饪过程之前、之中和之后对机器臂22和机器手24进行校准。转换算法模块32配置为将来自厨师工作室中收集的厨师活动的记录数据转换为菜谱修改数据(或变换数据)以供在机器人厨房中使用，在机器人厨房中，机器手将复现厨师菜肴的食物制备。复现模块34配置为在机器人厨房内复现厨师的动作。质量检查模块36配置为在食物制备过程当中、食物制备过程之前或之后执行对机器人厨房制备的食物菜肴的质量检查功能。相同结果模块38配置为判断由机器人厨房内的一对机器臂和机器手制备的食物菜肴品尝起来是否与厨师制备的一样或基本一样。学习模块40配置为向操作机器臂和机器手的计算机16提供学习能力。
图2是示出机器人食物烹饪系统的第一实施例的系统图，该系统包括厨师工作室系统和家庭机器人厨房系统，以用于通过复现厨师的菜谱过程和动作来制备菜肴。机器人厨房烹饪系统42包括厨师厨房44(又称为“厨师工作室厨房”)，其将一个或多个软件记录菜谱文件46传送给机器人厨房48(又称为“家庭机器人厨房”)。在一实施例中，厨师厨房44和机器人厨房48采用相同的标准化机器人厨房模块50(又称为“机器人厨房模块”、“机器人厨房体积”或者“厨房模块”或“厨房体积”)，从而最大化制备食物菜肴的精确复现，这样做可以减少可能在厨师厨房44制备的食物菜肴和机器人厨房46制备的菜肴之间导致偏差的变数。厨师52佩戴机器人手套或服装，其具有外部传感器装置以用于捕获和记录厨师的烹饪动作。标准化机器人厨房50包括用于控制各种计算功能的计算机16，其中计算机16包括存储器52和机器人烹饪引擎(软件)56，存储器52用于存储来自用于捕获厨师动作的手套或服装54的传感器的一个或多个菜谱软件文件。机器人烹饪引擎56包括动作分析以及菜谱抽象化和排序模块58。机器人厨房48通常用一对机器臂和机器手进行操作，由任意用户60负责开启机器人厨房46或对其进行编程。机器人厨房48中的计算机16包括用于操作机器臂和机器手的硬自动化模块62以及用于根据软件菜谱(食材、顺序、过程等)文件复现厨师动作的菜谱复现模块64。
标准化机器人厨房50设计为检测、记录和模拟厨师的烹饪动作，控制诸如随时间的温度之类的重要参数以及机器人厨房站中采用指定用具、设备和工具实施的过程执行。厨师厨房44提供计算厨房环境16，其具有带传感器的手套或带传感器的服装以用于记录和捕获厨师50对于具体菜谱在食物制备中的动作。在针对特定菜肴将厨师49的动作和菜谱过程记录到存储器52中的软件菜谱文件中时，将软件菜谱文件从厨师厨房44经由包括连接至因特网的无线网络和/或有线网络的通信网络46传送至机器人厨房48，从而使用户(任选的)60能够购买一个或多个软件菜谱文件，或者用户能够订购厨师厨房44的会员以接收新的软件菜谱文件或者现有软件菜谱文件的定期更新。在家庭住所、餐馆以及其他为用户60建立厨房以供其制备食物的地方，家庭机器人厨房系统48起着机器人计算厨房环境的作用。家庭机器人厨房系统48包括具有一个或多个机器臂和硬自动化装置的机器人烹饪引擎56，其用于基于从厨师工作室系统44接收到的软件菜谱文件复现厨师的烹饪动作、过程和活动。
厨师工作室44和机器人厨房48代表存在着复杂联系的教导重现系统，其具有多个级别的执行保真度。厨师工作室44生成有关如何制备专业烹饪菜肴的高保真过程模型，而机器人厨房48则是用于通过厨师在厨师工作室中工作而建立的菜谱脚本的执行/复现引擎/过程。机器人厨房模块的标准化是提高性能保真度以及成功/保证的手段。
菜谱执行的不同保真度级别取决于厨师工作室44和机器人厨房48之间的传感器和设备(当然除了食材以外)的相关性。可以将保真度定义为在一范围的一端(完美复现/执行)菜肴品尝起来与厨师制备的相同(不可分辨)，而在相反端菜肴可能具有一项或多项相当大的或致命的缺陷，其隐含着质量缺陷(烹饪过度的肉或意大利面)、味道缺陷(原料烧糊)、可食性缺陷(不正确的一致性)，甚至隐含着健康方面的缺陷(未烹熟的肉，例如鸡肉/猪肉携带着沙门氏菌等)。
具有能够复现出与厨师在厨师工作室烹饪过程中记录的活动和过程类似的活动和过程的相同硬件、传感器和致动系统的机器人厨房更有可能得到更高保真度的结果。这里的含意是设施需要相同，其隐含着成本和体积两方面。但是，仍然可以采用更加标准化的非计算机控制或计算机监视元件(具有传感器的锅、联网用具，例如烤箱等)实施机器人厨房48，其需要基于更多传感器的理解以允许更复杂的运行监视。由于关于关键元素(正确的食材量、烹饪温度等)和过程(在机器人家庭厨房没有混和器的情况下采用搅拌器/捣碎器)的不确定性现在已经增大，所以毫无疑问具有与厨师相同结果的保证将更低。
本公开的一重点在于，与机器人厨房耦接的厨师工作室44的概念是一般概念。机器人厨房48的水平是可变的，其从配备有一组臂和环境传感器的家庭厨房一直到工作室厨房的相同复制而不等，在相同复制的情况下一组臂和关节活动、工具、器具和食材供给能够按照几乎无异的方式复制出厨师的菜谱。唯一要满足的变量是最终结果或菜肴的质量水平，所述质量水平是从质量、外观、味道、可食性和健康的角度衡量的。
一种可能的对机器人厨房中的菜谱结果和输入变量之间的这种关联进行数学描述的方法可以通过下面的函数得到最佳描述：
Frecipe-outcome＝Fstudio(I,E,P,M,V)+FRobKit(Ef,I,Re,Pmf)
其中，Fstudio＝厨师工作室的菜谱脚本保真度
FRobKit＝机器人厨房的菜谱脚本执行
I＝食材
E＝设备
P＝过程
M＝方法
V＝变量(温度、时间、压力等)
Ef＝设备保真度
Re＝复现保真度
Pmf＝过程监视保真度
上面的公式将机器人制备的菜谱结果与人类厨师制备和上菜的结果的匹配程度(Frecipe-outcome)与厨师工作室44基于所采用的食材(I)、可用于执行厨师的过程(P)的设备(E)以及在烹饪过程中适当捕获所有关键变量(V)的方法(M)正确捕获和表示菜谱的水平(Fstudio)联系起来；并且将该匹配程度与机器人厨房如何能够通过一函数(FRobKit)表示机器人菜谱脚本的复现/执行过程联系了起来，其中该函数主要由下述内容驱动：适当食材(I)的使用、与厨师工作室中的相比机器人厨房中的设备保真度(Ef)水平、在机器人厨房中能够对菜谱脚本进行复现的水平(Re)以及在何种程度上存在监视和执行校正动作从而实现尽可能最高的过程监视保真度(Pmf)的能力和需求。
函数(Fstudio)和(FRobKit)可以是具有常数、变量以及任何形式的算法关系的线性和非线性函数式的任何组合。这两种函数的此类代数表示的示例可以是：
Fstudio＝I(fct.sin(Temp))+E(fct.Cooptiop1*5)+P(fct.Circle(spoon)+V(fct.0.5*time)
描绘出制备过程的保真度与作为正弦函数的冰箱中食材随时间变化的温度相关，与食材能在特定站台上的灶口上以特定升温速率加热的速度相关，以及与汤匙能够多好地按照具有特定幅度和周期的圆形路径移动有关，还描绘出必须以不低于人类厨师速度的1/2执行所述过程，以保持制备过程的保真度。
FRobKit＝Ef,(Cooktop2,Size)+I(1.25*Size+Linear(Temp))+Re(Motion-Profile)+Pmf(Sensor-Suite Correspondence)
描绘出机器人厨房中的复现过程的保真度与特定烹饪区域的用具类型和布局以及加热元件的尺寸有关，与正受烧炙和烹饪的食材的尺寸和温度情况有关(较厚的牛排需要更长的烹饪时间)，同时还保留特定步骤(例如，烧炙或慕斯搅打)的任何搅动和浸浴活动的活动概况，还与机器人厨房和厨师工作室内的传感器之间的对应性是否充分高从而能够信任所监视到的传感器数据精确并且详细到了能够在菜谱的所有步骤当中提供机器人厨房内的烹饪过程的适当监视保真度有关。
菜谱的结果不仅是厨师工作室以怎样的保真度捕获人类厨师的烹饪步骤/方法/过程/技巧的函数，还是机器人厨房能够以怎样的保真度执行这些烹饪步骤/方法/过程/技巧的函数，其中，它们当中的每个都具有影响它们相应的子系统性能的关键元素。
图3是示出用于通过在厨师制备食物菜肴的过程中记录厨师的动作并通过机器臂和机器手复现食物菜肴而进行食物制备的标准化机器人厨房50的一实施例的系统图。在该上下文中，术语“标准化”(或“标准”)是指部件或特征的规格是预先设置的，下文将对此予以解释。计算机16通信耦接到标准化机器人厨房50中的多个厨房元件，包括三维视觉传感器66、可缩回安全挡板(例如，玻璃、塑料或其他类型的防护材料)68、机器臂70、机器手72、标准化烹饪用具/设备74、具有传感器的标准化炊具76、标准化炊具78、标准化把手和用具80、标准化硬自动化分配器82(又称为“机器人硬自动化模块”)、标准化厨房处理器84、标准化容器86和冰箱88内的标准化食物储存室。
标准化硬自动化分配器82是可通过烹饪计算机16编程和/或控制的装置或一系列装置，其用以为烹饪过程馈送或提供预封装(已知)量的关键材料或者提供专用的关键材料用料，例如，所述材料为香料(盐、胡椒粉等)、液体(水、油等)、或者其他干材料(面粉、糖等)。标准化硬自动化分配器82可位于特定站台处或能够通过机器人访问和触发从而根据菜谱序列进行分发。在其他实施例中，可以使机器人硬自动化模块与其他这样的模块或机器臂或烹饪用具结合或者串行或并行地序列化。在这一实施例中，标准化机器人厨房50包括机器臂70和机器手72，它们由机器人食物制备引擎56根据存储器52中存储的软件菜谱文件加以控制，以用于在菜肴制备中复现厨师的精确动作，由此得到尝起来就像厨师亲手所做的相同味道的菜肴。三维视觉传感器66提供实现对对象的三维建模，提供厨房活动的可视三维模型，以及对厨房体积进行扫描以评估标准化机器人厨房50内的尺寸和对象的能力。可缩回安全玻璃68包括机器人厨房50上的透明材料，其在处于开启状态时使安全玻璃绕机器人厨房伸展以保护周围的人不受机器臂70和机器手72的移动、热水和其他液体、蒸汽、火以及其他危险影响因素的伤害。机器人食物制备引擎56通信耦接至电子存储器52，以检索先前从厨师工作室系统44发送的软件菜谱文件，针对软件菜谱文件，机器人食物制备引擎56配置为执行制备和复现软件菜谱文件中指示的厨师烹饪方法和过程的过程。机器臂70和机器手72的结合用于在菜肴制备过程中复现厨师的精确动作的作用，从而所得食物菜肴具有与厨师制备的相同食物菜肴相同(或基本相同)的味道。标准化烹饪设备74包括被包括为机器人厨房50的一部分的各种烹饪用具46，其包括但不限于炉/感应/灶口(电灶口、天然气灶口、感应灶口)、烤箱、烤架、烹饪蒸箱和微波炉。标准化炊具和传感器76被用作基于炊具上的传感器记录食物制备步骤以及基于具有传感器的炊具烹饪食物菜肴的实施例，带传感器的炊具包括具有传感器的锅、具有传感器的平底锅、具有传感器的烤箱和具有传感器的炭烤架。标准化炊具78包括煎锅、炒锅、烤锅、多锅、烘烤器、铁锅和蒸锅。机器臂70和机器手72在烹饪过程中操作标准化把手和用具80。在一实施例中，机器手72之一配备有标准化把手，其附连至叉头(fork head)、刀头和汤匙头，可以根据需要加以选择。标准化硬自动化分配器82被包括到机器人厨房50中以提供合宜的(既通过机器臂70又通过人的使用)关键性常用/重复食材，该食材是易于度量/按计量分配的或者是预封装的。标准化容器86是在室温下存放食物的储存位置。标准化冰箱容器88是指但不限于带有标识容器的冰箱，其用于存放鱼、肉、蔬菜、水果、牛奶以及其他易腐食品。可以采用容器标识符对标准化容器86或者标准化储存器88中的容器进行编码，机器人食物制备引擎56能够基于容器标识符确定容器内的食物的类型。标准化容器86为诸如盐、胡椒粉、糖、油和其他香料之类的非易腐食品提供存放空间。具有传感器的标准化炊具76和炊具78可以存放在架子上或橱柜内以供机器臂70选择制备菜肴的烹饪工具之用。典型地，将生鱼、生肉和蔬菜预先切好并存放在带标识的标准化储存器88内。厨房工作台面90为机器臂70提供了根据需要处理肉或蔬菜的平台，所述处理可以包括或不包括切或剁动作。厨房龙头92提供了用于在菜肴制备时清洗或清洁所用食物的厨房水槽空间。在机器臂70完成了制备菜肴的菜谱过程并且制备好上菜时，将菜肴放在上菜台90上，其还允许通过用机器臂70调整环境设置来增强就餐环境，例如摆放用具、酒杯，选择与膳食搭配的酒。标准化机器人厨房模块50中的设备的一实施例是一系列专业的设备以提高制备的各种类型的菜肴的普遍吸引力。
标准化机器人厨房模块50以厨房模块50以及厨房模块本身的各种部件的标准化作为一个目标，从而确保厨师厨房44和机器人厨房48两者之间的一致性，由此使菜谱复现的精确度最大化，同时将厨师厨房44和机器人厨房48之间的发生偏离菜谱菜肴的精确复现的风险降至最低。使厨房模块50标准化的一个主要目的是在厨师制备的第一食物菜肴和通过机器人厨房对相同的菜谱过程所做的随后复现之间获得相同的烹饪过程结果(或者相同的菜肴)。在厨师厨房44和机器人厨房48之间构思标准化机器人厨房模块50中的标准化平台具有若干关键的考虑事项：相同的时间线、相同的程序或模式、以及质量检查。厨师在厨师厨房44制备食物菜肴以及机器手在机器人厨房48实施复现过程所采取的标准化机器人厨房50中的相同时间线是指相同的操纵序列、每一操纵的相同起始和结束时间、以及处理操作之间相同的对象移动速度。标准化机器人厨房50中的相同程序或模式是指在每一操纵记录和执行步骤当中对标准化设备的使用和操作。质量检查涉及标准化机器人厨房50中的三维视觉传感器，其对食物制备过程中的每一操纵动作进行实时监视和调整，以校正任何偏差并且避免有瑕疵的结果。标准化机器人厨房模块50的采用降低并且最小化了在厨师制备的食物菜肴和机器人厨房采用机器臂和手制备的食物菜肴之间得不到相同结果的风险。如果没有机器人厨房模块以及机器人厨房模块内的部件的标准化，厨师厨房44和机器人厨房48之间增大的变化将提高在厨师制备的食物菜肴和机器人厨房制备的食物菜肴之间无法得到相同结果的风险，因为对于厨师厨房44和机器人厨房48之间不同的厨房模块、不同的厨房设备、不同的厨房用具、不同的厨房工具和不同的食材，需要更加精细并且复杂的调整算法。
标准化机器人厨房模块50包括很多方面的标准化。第一，标准化机器人厨房模块50包括任何类型的厨房用具、厨房容器、厨房工具和厨房设备的标准化位置和取向(在XYZ坐标面内)(借助于厨房模块和装置位置上的标准化固定孔)。第二，标准化机器人厨房模块50包括标准化烹饪体积尺寸和架构。第三，标准化机器人厨房模块50包括标准化设备组，例如烤箱、炉、洗碗机、龙头等。第四，标准化机器人厨房模块50包括标准化厨房用具、标准化烹饪工具、标准化烹饪装置、标准化容器、以及冰箱中的标准化食物储存器，所述标准化是就形状、尺寸、结构、材料、容量等而言的。第五，在一实施例中，标准化机器人厨房模块50包括用于操纵任何厨房用具、工具、仪器、容器和设备的标准化通用把手，其使机器手能够仅在一个正确的位置上握住标准化通用把手，同时避免任何不适当的抓取或不正确的取向。第六，标准化机器人厨房模块50包括具有操纵库的标准化机器臂和手。第七，标准化机器人厨房模块50包括用于标准化食材操纵的标准化厨房处理器。第八，标准化机器人厨房模块50包括用于建立动态三维视觉数据的标准化三维视觉装置以及其他可能的用于菜谱记录、执行跟踪和质量检查功能的标准传感器。第九，标准化机器人厨房模块50包括特定菜谱执行期间的每种食材的标准化类型、标准化体积、标准化尺寸和标准化重量。
图4是示出与厨师工作室系统44和家庭机器人厨房系统48中的计算机16结合使用的机器人烹饪引擎56(又称为“机器人食物制备引擎”)的一实施例的系统图。其他实施例可具有厨师厨房44和机器人厨房48的机器人烹饪引擎16中的模块的修改、添加或改变。机器人烹饪引擎56包括输入模块50、校准模块94、质量检查模块96、厨师动作记录模块98、炊具传感器数据记录模块100、用于存储软件菜谱文件的存储器模块102、采用所记录的传感器数据生成机器模块特定的顺序操作简档(profile)的菜谱抽象化模块104、厨师动作复现软件模块106、采用一条或多条感测曲线的炊具感测复现模块108、机器人烹饪模块110(计算机控制以操作标准化操作、微操纵和非标准化对象)、实时调整模块112、学习模块114、微操纵库数据库模块116、标准化厨房操作库数据库模块117、以及这些模块通过总线120通信耦接至的输出模块118。
输入模块50配置为接收另一计算装置发送的诸如软件菜谱文件之类的任何类型的输入信息。校准模块94配置为用机器臂70、机器手72以及标准化机器人厨房模块50内的其他厨房用具和设备部件校准其自身。质量检查模块96配置为在取得原料食物以用于烹饪时确定生肉、生疏菜、与牛奶有关的食材以及其他原料食物的质量和新鲜度，以及在将食物接收到标准化食物储存器88内时检查原料食物的质量。质量检查模块96还可配置为基于感测进行质量检查，例如基于食物的气味、食物的颜色、食物的味道、以及食物的图像或外观。厨师动作记录模块98配置为记录厨师制备食物菜肴时的顺序和精确动作。炊具传感器数据记录模块100配置为记录来自配备有放到炊具内的不同区域中的传感器的炊具(例如，具有传感器的平底锅、具有传感器的烤架或具有传感器的烤箱)的感测数据，由此生成一条或多条感测曲线。结果是感测曲线的生成，例如温度(和/或湿度)曲线，其反映对于特定菜肴而言烹饪用具随时间的温度波动。存储器模块102配置为用于存储软件菜谱文件的存储位置，所述文件可以是用于厨师菜谱活动的复现的文件或者是包括感测数据曲线的其他类型的软件菜谱文件。菜谱抽象化模块104配置为采用所记录的传感器数据生成机器模块特定的有序操作简档。厨师动作复现模块106配置为基于存储器52内存储的软件菜谱文件复现厨师在菜肴制备时的精确动作。炊具感测复现模块108配置为遵循一条或多条先前记录的感测曲线的特征复现食物菜肴的制备，所述曲线是在厨师49采用具有传感器的标准化炊具76制备菜肴时生成的。机器人烹饪模块110配置为控制和运行标准化厨房操作、微操纵、非标准化对象、以及标准化机器人厨房50中的各种厨房工具和设备。实时调整模块112配置为对与特定厨房操作或微操作相关的变量提供实时调整，从而生成作为厨师动作的精确复现或感测曲线的精确复现的所得过程。学习模块114配置为向机器人烹饪引擎56提供学习能力，从而优化机器臂70和机器手72对食物菜肴制备的精确复现，就像食物菜肴是厨师做出来的一样，其可以采用诸如基于实例的(机器人)学习的方法。微操纵库数据库模块116配置为存储微操纵的第一数据库的库。标准化厨房操作库数据库模块117配置为存储标准化厨房用具以及如何操作标准化厨房用具的第二数据库的库。输出模块118配置为将输出计算机文件或控制信号发送到机器人烹饪引擎之外。
图5A是示出厨师工作室菜谱创建过程的框图，其展示了几个主要功能块，它们支持使用扩展多模态感测以建立用于机器人厨房的菜谱指令脚本。来自多个传感器，例如(但不限于)嗅觉124、视频摄像机126、红外扫描仪和测距仪128、立体(乃至三目)摄像机130、触觉手套132、关节式激光扫描仪134、虚拟世界眼镜136、麦克风138或外骨架运动套装140的传感器数据，人语音142、触摸传感器144乃至其他形式的用户输入146被用于通过传感器接口模块148收集数据。数据被获取和过滤150，包括可能的人类用户输入(例如，厨师；触摸屏和语音输入)146，之后多个(并行)软件进程利用时间和空间数据生成用于充实机器特定的菜谱创建过程的数据。传感器可以不限于捕获人的位置和/或运动，还可以捕获标准化机器人厨房50内的其他对象的位置、取向和/或运动。
例如，这些各个软件模块(但并非因此仅局限于这些模块)生成的信息可以是(i)厨师位置和烹饪站ID，其通过位置和配置模块152生成，(ii)臂的配置(通过躯干生成)，(iii)所运用的工具以及何时、如何运用，(iv)所采用的用具和在站台上的位置，其通过硬件和变量抽象化模块154生成，(v)借助于它们执行的过程，以及(vi)需要监视的变量(温度、盖子y/n，搅拌等)，其通过过程模块B156生成，(vii)时间(开始/结束，类型)分配，(viii)所应用的过程(搅动，调料调入等)的类型，以及(ix)所添加的食材(类型、量、预备的状态等)，其通过烹饪序列和过程抽象化模块158生成。
之后，所有这样的信息用于通过独立模块160建立一组机器特定的(不仅对于机器臂而言，而且还对于食材分配器、工具和用具等而言)菜谱指令，这些指令被组织为所要执行和监视的顺次/并行重叠任务的脚本。该菜谱脚本连同整个原始数据集(164)存储在数据存储模块166中，并可由远程机器人烹饪站通过机器人厨房接口模块168访问或者由人类用户170经由图形用户界面(GUI)172访问。
图5B是示出采用教导/重现过程176的标准化厨师工作室44和机器人厨房50的一实施例的框图。教导/重现过程176描述了在厨师实施菜谱执行180的厨师工作室44内捕获厨师的菜谱实施过程/方法/技巧49的步骤，其中厨师采用一组厨师工作室标准化设备72和菜谱所需食材178来创造菜肴，同时被记录和监视182。原始传感器数据在182中被记录(以供重现)，并且还被处理以生成不同抽象层次的信息(所采用的工具/设备、所采用的技术、开始/结束的时间/温度等)，之后用于建立供机器人厨房48执行的菜谱脚本184。
机器人厨房48进行菜谱复现过程106，其概况取决于厨房是标准化类型还是非标准化类型，这由过程186进行检查。
机器人厨房的执行依赖于用户可用的厨房类型。如果机器人厨房采用与厨师工作室内相同/等同(至少在功能上)的设备，那么菜谱复现过程主要是采用原始数据并将其作为菜谱脚本执行过程的一部分予以重现的过程。然而，如果该厨房不同于(理想的)标准化厨房，那么执行引擎将必须依赖于抽象化数据以生成厨房特定的执行序列，从而尝试取得一步步类似的结果。
由于烹饪过程通过监视过程194由机器人厨房内的所有传感器单元连续监视，因而不管是正在使用已知的工作室设备196，还是正在使用混合/非典型的非厨师工作室设备198，系统都能够依据菜谱进程检查200按需做出修改。在标准化厨房的一实施例中，通常采用厨师工作室类型的装备通过执行模块188重现原始数据，预计唯独需要做出的调整就是脚本执行过程中的调适202(重复某一步骤，回到某一步骤，使执行慢下来等)，因为在教导和重现数据集之间存在一对一对应关系。但是，就非标准化厨房而言，很可能系统必须通过菜谱脚本修改模块204对实际菜谱本身及其执行进行修改和调适，以适应与厨师工作室44中的工具/器具不同的可用工具/器具192或者与菜谱脚本的测量偏差(肉烹饪太慢，锅内的热点烧糊了乳酷面粉糊等)。采用类似的过程206对总体菜谱脚本进程进行监视，所述类似过程可能根据正在使用的是厨房工作室设备208还是混合/非典型厨房设备210而存在差别。
与使用标准化机器人厨房相比，非标准化厨房获得接近人类厨师烹饪菜肴的可能性更低，标准化机器人厨房具有反映工作室厨房内采用的设备和性能的那些设备和性能。当然，最终主观判断是作为质量评估212的人(或厨师)的品尝所做的判断，其将得到(主观)质量判断214。
图5C是示出菜谱脚本生成和抽象化引擎的一实施例216的框图，该引擎涉及作为人类厨师完成的厨师工作室菜谱的一部分的菜谱脚本生成过程的结构和流程。第一步骤是将可在厨师工作室44内测量的所有可用数据输入至中央计算机系统并由其进行过滤，并且通过主进程218加上时间戳，不论所述数据是来自厨师的人机工程数据(臂/手位置和速度、触觉手指数据等)、厨房用具(烤箱、冰箱、分配器等)的状态、具体变量(灶口温度、食材温度等)、所采用的器具或工具(锅/平底锅、炒菜铲等)，还是多谱感测设备(包括摄像机、激光器、结构性光系统等)收集的二维和三维数据。
数据过程映射算法220采用更为简单(通常为单个单位)的变量判断过程动作正在何处发生(灶口和/或烤箱、冰箱等)，向正被使用的任何物品/器具/设备分配使用标签，不论其被断续使用还是连续使用。其使烹饪步骤(烘焙、烧烤、食材添加等)与具体的时间段相关联，并且跟踪何时、何地添加哪种以及多少食材。之后，使这一(带时间戳的)信息数据集可在菜谱脚本生成过程222中被数据建模过程所用。
数据提取和映射过程224主要致力于取得二维信息(例如，来自单目/单镜头摄像机)并从其提取关键信息。为了从每个连续图像提取重要且更抽象的描述信息，必须向这一数据集应用若干算法处理。这样的处理步骤可包括(但不限于)边缘检测、颜色和纹理映射，之后采用图像当中的畴域知识并结合以从数据简化和抽象过程226提取的对象匹配信息(类型和尺寸)以允许对象(一件设备或食材等)的识别和定位，再次从数据简化和抽象过程226提取出所述识别和定位，从而允许使图像中的状态(以及描述其的所有相关变量)和项目与特定的过程步骤(煎炸、煮沸、切割等)相关联。一旦提取出了这一数据并使之与特定时间点上的特定图像相关，就可以将其传送给菜谱脚本生成过程222，从而制定出菜谱内的序列和步骤。
数据简化和抽象引擎(软件例程组)226旨在简化较大的三维数据集，并由其提取关键的几何信息和相关信息。第一步骤是从大的三维数据点云中仅提取出在特定时间点上对菜谱重要的具体工作空间区域。一旦完成了对所述数据集的剪裁(trim)，就可以通过被称为模板匹配的过程识别出关键几何特征；这允许识别出诸如水平台面、圆筒形锅和平底锅、臂和手位置等的项目。一旦在数据集中确定了典型的已知(模板)几何条目，就进行对象识别和匹配过程以区分出所有项目(普通锅对比平底锅等)，并关联其正确的外形规格(锅或平底锅的尺寸等)和取向，继而将其置入到正在通过计算机组建的三维世界模型中。之后，所有的该抽象化/提取出的信息在被馈送至菜谱脚本生成引擎222之前，还与数据提取和映射引擎224共享。
菜谱脚本生成引擎过程222负责将所有的可用数据和集合融合(混合/组合)成结构化有序烹饪脚本，每一脚本内具有清楚的过程标识符(预备、预煮、油炸、清洗、涂覆等)和过程特定的步骤，其然后可被转化为机器人厨房的机器可执行命令的脚本，这些脚本在过程完成和总烹饪时间以及烹饪过程的基础上同步。数据融合至少涉及但不唯独地局限于取得每个(烹饪)过程步骤的能力，以及采用适当相关的要素(食材、设备等)、将在过程步骤中采用的方法和处理、以及为了检验适当的进度和执行而要保持和检查的相关的关键控制变量(设定的烤箱/灶口温度/设置)和监视变量(水或肉温度等)来填充要执行的步骤的序列。之后，将融合数据结合到结构化有序烹饪脚本中，该脚本将类似于一组最小描述性步骤(近于杂志上的菜谱)，但是在流程中的任何一点上都具有与烹饪过程的每一元素(设备、食材、处理、方法、变量等)相关的大得多的变量组。最终步骤是取得这一有序烹饪脚本并将其变换成具有等价结构的有序脚本，其可通过机器人厨房48内的一组机械/机器人/设备来转换。机器人厨房48正是采用这一脚本执行自动化菜谱执行和监视步骤的。
所有原始的(未处理的)和处理了的数据以及相关脚本(既包括结构有序烹饪序列脚本又包括机器可执行烹饪序列脚本)存储到数据和简档存储单元/过程228中并加上时间戳。用户能够通过GUI从这一数据库进行选择并使机器人厨房通过自动化执行和监视引擎230执行所期望的菜谱，其受自己内部的自动化烹饪过程的连续监视，并由其生成对所述脚本的必要调适和修改，所述调适和修改由机器人厨房元件实施，这样做的目的在于获得完整装盘、可供上菜的菜肴。
图5D是示出用于标准化机器人厨房中的对象操纵的软件元素的框图，其采用与微操纵步骤耦合或者借助于微操纵步骤的运动复现概念示出了机器人脚本的机器人厨房执行的对象操纵部分的结构和流程250。为了使基于机器臂/手的自动化烹饪可行，简单地监视臂和手/手指中的每一单个关节是不够的。在很多情况下只知道手/腕的位置和取向(并且能够复制)，但是之后操纵对象(识别位置、取向、姿势、抓取位置、抓取策略和任务执行)需要采用手和手指的局部感测以及习得的行为和策略来成功地完成抓取/操纵任务。这些运动简档(基于传感器的/受传感器驱动的)、行为和序列存储在机器人厨房系统的微小手操纵库软件仓库(repository)中。人类厨师可以穿戴完整的臂外骨架或仪器化/目标适配运动背心，允许计算机通过内置传感器或通过摄像机跟踪来随时确定手和腕部的确切3D位置。即使双手的十个手指都设置了关节仪器(双手超过30个DoF(自由度)，很难佩戴和使用，因而不太可能使用)，对所有关节位置的简单的基于运动的重现也不能保证成功的(交互式)对象操纵。
微操纵库是命令软件仓库，在该仓库中基于离线学习过程存储运动行为和过程，其中将存储成功完成特定抽象任务(抓取刀，之后切片；抓取汤匙之后搅动；一只手抓锅，之后用另一只手抓取炒菜铲，并将其放到肉的下面，使肉在平底锅内翻面；等等)的臂/腕/手指运动和序列。该仓库被构建为含有手/腕部的成功传感器驱动运动概况和顺序行为的习得序列(有时也包含臂位置校正)，从而确保成功地完成以更加抽象的语言(例如，“握刀并将蔬菜切片”、“将鸡蛋打到碗里”、“将平底锅中的肉翻面”等等)描述的对象(器具、设备、工具)和食材操纵任务。学习过程是迭代式的，并且基于来自厨师工作室的厨师教导运动概况的多次尝试，其然后被离线学习算法模块执行和迭代地修改，直到表明获得了令人满意的执行序列为止。意在用所有必要的元素来充实(先验地和离线地)微操纵库(命令软件仓库)，从而允许机器人厨房系统能够成功地与所有设备(器具、工具等)和烹饪过程中需处理(超出了仅做分配范畴的步骤)的主要食材进行交互。在人类厨师佩戴的手套具有嵌入的针对手指和手掌的触觉传感器(接近度、触摸、接触位置/力)时，为机器手在各个位置上配备类似类型的传感器，从而允许采用这些传感器的数据建立、修改和调适运动概况，由此成功地执行预期运动概况和处理命令。
下文将进一步详述机器人厨房烹饪过程(用于厨房环境中的对象的交互式操纵和处理的机器人菜谱脚本执行软件模块)的对象操纵部分252。菜谱脚本执行器模块256采用机器人菜谱脚本数据库254(其含有原始形式、抽象化烹饪序列形式和机器可执行脚本形式的数据)逐步完成具体的菜谱执行步骤。配置重现模块258选择配置命令，并将其传送至机器臂系统(躯干、臂、腕和手)控制器270，然后所述控制器270控制物理系统模拟所需的配置(关节位置/速度/转矩等)值。
借助于(i)3D世界建模以及(ii)微操纵通过实时过程检验，使得能够忠实地执行正确的环境交互操纵和处理任务的想法成为了可能。通过添加机器人腕和手配置修改器260执行检验和操纵步骤。该软件模块采用来自3D世界配置模拟器262(其在每一采样步骤由多模态传感器单元提供的感测数据建立新的3D世界模型)的数据查实机器人厨房系统和过程的配置与菜谱脚本(数据库)的要求相匹配；不然的话，其将对所命令的系统配置值制定修改以确保成功地完成任务。此外，机器人腕和手配置修改器260还采用来自微操纵运动概况执行器264的配置修改输入命令。馈送至配置修改器260的手/腕(以及可能的臂)配置修改数据是以微操纵运动概况执行器264知道来自258的预期配置重现应是什么为基础，但是之后修改它是基于其3D对象模型库266和来自配置和排序库268(其基于用于所有主要对象操纵和处理步骤的多个迭代式学习步骤而建立)的先验习得(并且存储的)数据。
尽管配置修改器260持续不断地向机器臂系统控制器270馈送经修改的命令配置数据，但是其依赖于处理/操纵检验软件模块272验证不仅所述操作是否正被正确地进行，而且验证是否需要后续操纵/处理。就后一种情况(判定的答案为“否”)而言，配置修改器260向世界模拟器262和微操纵概况执行器264两者重新请求配置修改(针对腕、手/手指以及可能的臂乃至躯干)更新。目标仅是验证已经成功地完成了操纵/处理步骤或序列。处理/操纵检验软件模块272通过采用对菜谱脚本数据库F2和3D世界配置模拟器262的了解检验菜谱脚本执行器256当前命令的烹饪步骤的适当进展而执行这一检查。一旦认为进展成功，那么菜谱脚本索引递增过程274就通知菜谱脚本执行器256进行至菜谱脚本执行中的下一步骤。
图6是示出根据本发明的多模态感测及软件引擎架构300的框图。实现对机器人烹饪脚本的规划、执行和监视的自主烹饪主要特征之一要求采用多模态感测输入302，其被多个软件模块用于生成下述操作所需的数据：(i)理解所述世界，(ii)对场景和材料建模，(iii)规划机器人烹饪序列中的接下来的步骤，(iv)执行所生成的规划，以及(v)对所述执行进行监视，从而检验正确的操作，所有这些步骤都是按照连续/重复的闭环样式进行的。
多模态传感器单元302，包括但不限于视频摄影机304、IR摄像机和测距仪306、立体(乃至三目)摄像机308和多维扫描激光器310，向主软件抽象化引擎312提供多谱感测数据(在数据采集和过滤模块314中进行采集和过滤之后)。在场景理解模块316中采用所述数据执行多个步骤，例如(但不限于)，采用叠加的可视及IR谱颜色和纹理视频信息构建场景的高分辨率和较低分辨率(激光器：高分辨率；立体摄像机：较低分辨率)三维表面体积，允许边缘检测和体积对象检测算法来推断场景中有什么元素，允许采用形状/颜色/纹理/一致性映射算法来运行经处理的数据，从而将经处理的信息馈送给厨房烹饪过程设备操纵模块318。在模块318中，采用基于软件的引擎识别厨房工具和用具并三维地定位其位置和取向，以及识别出可识别食物元素(肉、胡萝卜、调味汁、液体等)并为其加上标签，从而生成让计算机构建和理解特定时间点上的完整场景的数据以用于接下来的步骤规划和过程监视。获得这种数据和信息抽象化的引擎包括但不限于抓取推理引擎、几何推理引擎、物理推理引擎和任务推理引擎。之后，来自引擎316和318两者的输出数据用于馈送给场景模拟器和内容分类器320，其中用运行机器人烹饪脚本执行器所需的所有关键内容建立3D世界模型。一旦理解了所述世界的完整充实模型，就可以将其馈送至运动和操纵规划器322(如果机器臂抓取和操纵是必需的，那么可以采用相同的数据区分和规划食物和厨房物品的抓取和操纵，具体取决于所需的抓取和放置)，从而实现对臂和附加的末端执行器(抓取器和多指手)的运动和轨迹的规划。后续执行序列规划器324为所有的个体机器人/自动化厨房元素创建基于任务的命令的适当顺序，之后其将由机器人厨房致动系统326加以使用。在机器人菜谱脚本执行和监视阶段按照连续闭环重复上面的整个序列。
图7A描绘了标准化厨房50，在本实例中，标准化厨房50起着厨师工作室的作用，在该厨房中，人类厨师49在受到多模态传感器系统66监视的同时进行菜谱创造和执行，从而允许创建菜谱脚本。在标准化厨房内包含很多执行菜谱所需的元素，包括主烹饪模块350，其包括诸如用具360、灶口362、厨房水槽358、洗碗机356、桌面搅拌器和混合器(又称为“厨房混合器”)352、烤箱354和冰箱/冷冻器组合单元353之类的设备。
图7B描绘了标准化厨房50，在这一实例中，其被配置为标准化机器人厨房，其中，由双臂机器人系统执行菜谱脚本中定义的菜谱复现过程，所述双臂机器人系统具有竖直可伸缩旋转躯干接头360，接头360配备有两个臂70以及两只带腕和手指的手72。多模态传感器系统66持续监视菜谱复现过程的多个阶段中的机器人执行烹饪步骤。
图7C描绘了整个菜谱执行过程中通过监视人类厨师49而进行的菜谱脚本创建相关的系统。在厨师工作室模式中使用相同标准化厨房50，其中厨师能够从工作模块的两侧对厨房进行操作。多模态传感器66监视和收集数据，以及通过厨师佩戴的触觉手套370及仪器化炊具372和设备将收集到的所有原始数据无线中继至处理计算机16，以供处理和存储。
图7D描绘了用于通过利用双臂系统复现菜谱脚本19的标准化厨房50所涉及的系统，双臂系统具有可伸缩旋转躯干374，包括两个臂72、两个机器手腕71和两只带有多个手指的手72(嵌入有感测皮肤和点传感器)。在执行菜谱复现过程中的特定步骤时，机器人双臂系统采用仪器化臂和手连同灶口12上的烹饪用具以及仪器化用具和炊具(图像中的平底锅)，与此同时通过多模态传感器单元66对此进行连续监视，以确保复现过程的执行尽可能忠实于人类厨师创建的过程。将所有来自多模态传感器66、由躯干74、臂72、腕71和多指手72构成的双臂机器人系统、用具、炊具和器具的数据无线传输至计算机16，在计算机16中通过板上处理单元16对其进行处理，从而对菜谱的复现过程进行比较和跟踪，从而尽可能忠实地遵循先前创建的菜谱脚本19中定义的并且存储在介质18内的标准和步骤。
图7E是描绘逐步流程和方法376的框图，所述流程和方法确保在通过标准化机器人厨房50执行菜谱脚本时在基于菜谱脚本的菜谱复现过程中存在控制和检验点，其将确保对于特定菜肴而言标准化机器人厨房50的执行所获得的烹饪结果将尽可能接近于人类厨师49制备的该种菜肴。采用菜谱脚本所述并且按照烹饪过程380中的顺序步骤执行的菜谱378，机器人厨房50对菜谱的执行的保真度将在很大程度上取决于对下面的主要控制项的考虑。关键控制项包括选择和使用标准化部分的量和形状的高质量预处理食材381的过程；标准化工具和用具以及带有标准化把手的炊具的使用，以确保以已知取向383正确并且安全地抓取；标准化厨房中的标准化设备385(烤箱、混合器、冰箱等)，其在比较人类厨师49制备菜肴的厨师工作室厨房和标准化机器人厨房50时尽可能是等同的；菜谱中将使用的食材的位置和放置384；以及最后厨房模块382中的一对机器臂、腕和多指手，传感器持续监视其受计算机控制的动作以确保特定菜肴的菜谱脚本的复现过程中的每一阶段的每一步骤的成功执行。最后，确保等同结果386的任务是标准化机器人厨房50的最终目标。
图8A是示出厨师活动和机器人复现活动之间的菜谱转化算法模块400的一实施例的框图。菜谱算法转换模块404将从厨师工作室44中的厨师活动捕获的数据转换为机器可读和机器可执行语言406，用于命令机器臂70和机器手72在机器人厨房48中复现厨师活动制备的食物菜肴。在厨师工作室44中，计算机16基于厨师佩戴的手套26上的传感器捕获和记录厨师的活动，在表格408中通过垂直列中的多个传感器S0、S1、S2、S3、S4、S5、S6……Sn以及水平行中的时间增量t0、t1、t2、t3、t4、t5、t6……tend对此予以表示。在时间t0，计算机16记录来自从多个传感器S0、S1、S2、S3、S4、S5、S6……Sn接收的传感器数据的xyz坐标位置。在时间t1，计算机16记录来自从多个传感器S0、S1、S2、S3、S4、S5、S6……Sn接收的传感器数据的xyz坐标位置。在时间t2，计算机16记录来自从多个传感器S0、S1、S2、S3、S4、S5、S6……Sn接收的传感器数据的xyz坐标位置。持续这一过程直到在时间tend完成了整个食物制备过程为止，每一时间单元t0、t1、t2、t3、t4、t5、t6……tend的持续时间相同。作为捕获和记录传感器数据的结果，表格408按照xyz坐标示出了来自手套26中的传感器S0、S1、S2、S3、S4、S5、S6……Sn的任何活动，其将指示某一具体时间的xyz坐标位置与下一具体时间的xyz坐标位置之间的差别。表格408有效地记录了从起始时间t0到结束时间tend在整个食物制备过程中厨师的活动是如何变化的。可以将这一实施例中的举例说明扩展至两只由厨师49佩戴以在制备食物菜肴的同时捕获其活动的带有传感器的手套26。在机器人厨房48中，机器臂70和机器手72复现从厨师工作室44记录继而转换为机器人指令的菜谱，其中机器臂70和机器手72根据时间线416复现厨师49的食物制备。机器臂70和手72以相同的xyz坐标位置、相同的速度以及如时间线416所示从起始时间t0到结束时间tend的相同时间增量执行食物制备。
在一些实施例中，厨师多次执行相同的食物制备操作，产生从一次到下一次变化的传感器读数以及对应的机器人指令中的参数。每一传感器的跨越同一食物菜肴制备的多次重复的一组传感器读数将提供具有平均值、标准偏差值以及最小和最大值的分布。跨越厨师对同一食物菜肴的多次执行的机器人指令(又称为执行器参数)的对应变化也定义具有平均值、标准偏差值以及最小和最大值的分布。可以采用这些分布确定随后的机器人食品制备的保真度(或精确度)。
在一实施例中，下式给出机器人食物制备操作的估算平均精确度：
A ( C , R ) = 1 - 1 n Σ n = 1 , ... n | c i - p i | m a x ( | c i , t - p i , t |
其中，C表示一组厨师参数(第1到第n)，R表示一组机器人设备参数(对应的第1到第n)。求和式中的分子表示机器人参数和厨师参数之间的差(即，误差)，分母针对最大差进行归一化。求和式给出了总的归一化累积误差，即乘以1/n给出了平均误差。平均误差的补数对应于平均精确度。
精确度计算的另一版本是对参数进行重要性加权，其中每一系数(每一αi)表示第i个参数的重要性，归一化累积误差为并且通过下式给出估算平均精确度：
A ( C , R ) = 1 - ( Σ n = 1 , ... n a i | c i - p i | m a x ( | c i , t - p i , t | ) / Σ i = 1 , ... n a i
图8B是示出厨师49佩戴的具有用于捕获和传输厨师活动的传感器的一副手套26a和26b的框图。在这一意在非限制性地呈现一个例子的说明性例子中，右手手套26a包括25个传感器以捕获手套26a上的各个传感器数据点D1、D2、D3、D4、D5、D6、D7、D8、D9、D10、D11、D12、D13、D14、D15、D16、D17、D18、D19、D20、D21、D22、D23、D24、D25，手套26a可以具有任选的电子和机械线路420。左手手套26b包括25个传感器以捕获手套26b上的各个传感器数据点D26、D27、D28、D29、D30、D31、D32、D33、D34、D35、D36、D37、D38、D39、D40、D41、D42、D43、D44、D45、D46、D47、D48、D49、D50，手套26b可以具有任选的电子和机械线路422。
图8C是示出基于来自厨师手套26a和26b的捕获感测数据的机器人烹饪执行步骤的框图。在厨师工作室44中，厨师49佩戴具有用于捕获食物制备过程的传感器的手套26a和26b，其中将传感器数据记录到表格430中。在本例子中，厨师49用刀切胡萝卜，其中胡萝卜的每一片大约1厘米厚。厨师49的这些由手套26a、26b记录下来的动作基元可以构成在时隙1、2、3和4发生的微操纵432。菜谱算法转换模块404配置为根据软件表格434将来自厨师工作室44的记录菜谱文件转换成用于操作机器人厨房28中的机器臂70和机器手72的机器人指令。机器臂70和机器手72借助于实现采用刀切割胡萝卜(其中，胡萝卜的每一片约为1厘米厚)的微操纵的控制信号436制备食物菜肴，所述微操纵是在微操纵库116中预先定义的。机器臂70和机器手72借助于相同的xyz坐标438以及来自实时调整装置112的通过建立特定胡萝卜的临时三维模型440而对该胡萝卜的尺寸和形状做出的可能的实时调整进行操作。
为了操作机械机器人机构，例如本发明一实施例中描述的那些，熟练技工发现必须解决很多机械和控制问题，有关机器人的文献恰恰描述了这样做的方法。在机器人系统中建立静态和/或动态稳定性是一个重要考虑事项。尤其是对于机器人操纵而言，动态稳定性是强烈期望的特性，其目的在于避免超出预期或编程之外发生的意外的破坏或活动。在图8D中示出了相对于平衡的动态稳定性。这里的“平衡值”是臂的预期状态(即，臂刚好移动到其被编程为要移动到的位置)，其具有由很多因素导致的偏差，例如，惯性、向心或离心力、谐波振荡等。动态稳定系统是其中变化小且随时间衰减的系统，如曲线450所示。动态不稳定系统是其中变化不能衰减，并且可能随时间而提高的系统，如曲线452所示。最坏的情况是在臂静态不稳定(例如，不能保持住其抓住的东西的重量)并且下落时，或者无法从与编程位置和/或路径的任何偏差中恢复的时候，如曲线454所示。要想获取有关规划(形成微操纵的序列或在出错的时候恢复)的额外信息，参考Garagnani,M.(1999)“Improving theEfficiency of Processed Domain-axioms planning”,Proceedings of PLANSIG-99,Manchester,England,pp.190-192,该文献通过整体引用而合并于此。
所引用的文献解决了动态稳定性的条件，通过引用而将该文献导入到本发明中，从而实现机器臂的适当功用。这些条件包括计算机器臂的关节的转矩的基本原理：
T → = M ( q → ) d 2 q → dt 2 + C ( q → , d q → d t ) d q → , + G ( q → )
其中，T是转矩向量(T具有n个分量，每一分量对应于机器臂的一自由度)，M是系统的惯性矩阵(M是正半定n×n矩阵)，C是向心力和离心力的组合，其也是n×n矩阵，G(q)是重力向量，q是位置向量。并且它们包括在能够通过两次微分函数(y's)描述机器人位置(x's)的情况下通过例如拉格朗日方程找到稳定点和最小值。
J [ y ] = ∫ x 1 x 2 L [ x , y ( x ) , y ′ ( x ) ] d x ,
J [ f ] ≤ J [ f + ∂ η ]
为了使由机器臂和手/抓取器构成的系统稳定，重要的是使所述系统得到正确的设计和构建，并且使其具有在可接受的性能边界内工作的适当感测和控制系统。这一点之所以重要的原因在于想要获得物理系统有可能给出且其控制器要求其做的最佳(最高速度，具有最高位置/速度和力/转矩跟踪，全部都在稳定条件下)性能。
在谈及适当设计时，该概念是实现系统的适当可观测性和可控性。可观测性暗示系统的关键变量(关节/手指位置和速度、力及转矩)是可由系统测量的，这暗示需要具有感测这些变量的能力，继而暗示适当感测装置(内部或外部)的存在和使用。可控性暗示(这一实例中的计算机)具有基于来自内部/外部传感器的观测参数对系统的关键轴进行整形和控制的能力；这通常暗示致动器或者通过电机或其他计算机控制致动系统对某一参数进行直接/间接控制。使系统响应尽可能线性由此消除非线性的不利影响(静摩擦、后冲、滞后等)的能力允许实现诸如PID增益调度的控制方案和诸如滑动模式控制的非线性控制器，从而在考虑系统建模不可靠性(质量/惯性估值的误差、空间几何形状离散化、传感器/转矩离散化不规则等)的情况下也能确保系统稳定性和性能，而所述不可靠性在任何更高性能的控制系统中也总是存在的。
此外，使用适当的计算和采样系统也是重要的，因为系统跟上具有某一最高频率成分的快速运动的能力显然与整个系统能够实现进而系统的频率响应(跟踪具有某速度和运动频率成分的运动的能力)能够表现出的控制带宽(计算机控制系统的闭环采样速率)有关。
当涉及确保高度冗余系统实际上能够以动态和稳定形式执行厨师对成功的菜谱脚本执行所要求的复杂、灵巧的任务时，上文所述的所有特征都是重要的。
与本发明相关的机器人操纵上下文中的机器学习可能涉及用于参数调整的公知方法，例如，强化学习。本发明的替代优选实施例是一种不同的并且更加适当的学习技术，其针对的是重复的复杂动作，例如，随时间推移采用多个步骤制备和烹饪膳食，也就是说这种技术是基于实例的学习。随着时间的推移已经开发出了又名为模拟推理的基于实例的推理。
作为总的概述，基于实例的推理包括下述步骤：
A.构建和记忆实例。实例是指通过成功地执行而实现目标的一系列具有参数的动作。参数包括距离、力、方向、位置以及其他物理或电子测度，它们的值是成功地执行任务(例如，烹饪操作)所需的值。首先，
1.存储刚解决的问题的各个方面，连同：
2.解决所述问题的方法和任选的中间步骤及其参数值，以及
3.(典型地)存储最终的结果。
B.应用实例(在之后的时间点)
4.检索一个或多个存储实例，所述实例的问题与新的问题具有强烈的相似性，
5.任选地调整检索到的实例的参数以应用到当前实例(例如，某物品可稍微更重一些，因而需要稍微更强一些的力来提升它)，
6.采用与实例相同的、具有至少部分地调整了的参数(如果需要的话)的方法和步骤来解决新问题。
因而，基于实例的推理包括记忆对过去问题的解决方案以及借助于可能的参数修改将它们应用于新的非常类似问题。但是，为了将基于实例的推理应用于机器人操纵这一难题，还需要更多的东西。解决方案计划的一个参数的变化将引起一个或多个耦合参数的变化。这需要对问题解决方案加以变换，而不仅仅是应用。我们将新的过程称为基于实例的机器人学习，因为其将所述解决方案推广到一族接近的解决方案当中(与输入参数的小变化对应的那些，输入参数例如为输入食材的确切重量、形状和位置)。基于实例的机器人学习的操作如下：
C.构建、记忆和变换机器人操纵实例
1.存储刚解决的问题的各个方面，连同：
2.参数的值(例如，来自公式1的惯性矩阵、力等)，
3.通过改变与域相关的参数(例如，在烹饪时，改变材料的重量或者它们的确切开始位置)来进行扰动分析，以查看参数值能够改变多大而仍能获得预期结果，
4.通过对模型的扰动分析，记录哪些其他参数值将发生变化(例如，力)以及将发生多大的变化，以及
5.如果变化处于机器人设备的操作规范以内，则存储经变换的解决方案计划(以及参数间的相关性和针对它们的值的投射变化(projected change)计算)。
D.应用实例(在之后的时间点)
6.检索具有变换的确切值的一个或多个存储实例(现在新的值的范围或计算取决于输入参数的值)，虽然具有经变换的确切值，但是其初始问题仍非常类似于所述新问题，包括参数值和值范围，以及
7.采用来自所述实例的经变换的方法和步骤至少部分解决所述新问题。
随着厨师对机器人(两条臂和感测装置，例如，来自手指的触觉反馈、来自关节的力反馈、以及一个或多个观测摄像机)进行教导，机器人不仅学习到特定动作序列和时间关联，而且还学习到围绕厨师动作的一族小变化，此时尽管可观测输入参数中存在微小变化，但是厨师动作仍能够制备出相同的菜肴，由此机器人学习到一般化的变换方案，从而使其比机械记忆具有更高的实用性。要想获得有关基于实例的推理和学习的额外信息，请参考Leake,1996Book,Case-Based Reasoning:Experiences,Lessons and FutureDirections,http://journals.cambridge.org/action/displayAbstract？fromPage＝online&aid＝4068324&fileld＝S026988890 0006585dl.acm.org/citation.cfm？id＝524680；Carbonell,1983,Learning by Analogy:Formulating and Generalizing Plansfrom Past Experience,http://link.springer.com/chapter/10.1007/978-3-662-12405-5_5，这些参考文献通过整体引用而合并于此。
如图8E所示，烹饪过程需要一系列步骤，其被称为食物制备的多个阶段S1、S2、S3…Sj…Sn，如时间线456所示。这些步骤可能需要严格的线性/有序的顺序，或者一些步骤可以并行执行；不管怎样都具有阶段的集合{S1、S2、S3…Sj…Sn}，必须成功地完成所有这些步骤才能获得整体的成功。如果每一阶段的成功概率为P(si)，并且存在n个阶段，那么通过每一阶段的成功概率的积估算总体成功概率：
P ( S ) = Π S i ∈ S p ( s i )
本领域技术人员将认识到，即使各个阶段的成功概率相对较高，但是总体成功概率也可能很低。例如，假定有10个阶段，每一阶段的成功概率为90％，那么总体成功概率为(0.9)10＝0.28或28％。
制备食物菜肴的阶段包括一个或多个微操纵，其中每一微操纵包括得到明确定义的中间结果的一个或多个机器人动作。例如，切蔬菜可以是一手抓住蔬菜，另一只手抓住刀，并且应用重复的刀移动，直到切完为止构成的微操纵。制备菜肴的阶段可包括一个或多个切菜微操纵。
成功概率公式在阶段级别上和微操纵级别上同样地适用，只要每一微操纵相对于其他微操纵独立即可。
在一实施例中，为了缓解由于潜在的复合误差导致的成功确定性降低的问题，推荐对所有阶段中的大部分或所有微操纵都采用标准化方法。标准化操作是这样的操作，其可被预先编程、预先测试以及必要时预先调整以选择出具有最高成功概率的操作序列。因而，如果通过各个阶段内的微操纵实施的标准化方法的概率非常高，那么由于先前的工作，直到所有的步骤都变得完美并且受到测试，所以制备食物菜肴的总体成功概率也将非常高。例如，重新来看上面的例子，如果每一阶段采用可靠的标准化方法，那么其成功概率为99％(而不是先前例子中的90％)，那么总体成功概率为(0.99)10＝90.4％，如前一样假设有10个阶段。这明显优于28％的获得总体正确结果的概率。
在另一实施例中，针对每一阶段提供不止一种替代方法，其中如果一种替代方法失败，那么尝试另一种替代方法。这需要动态监视来确定每一阶段的成功或失败，并且还需要制定备选方案的能力。该阶段的成功概率是所有备选方案的失败概率的补数，从数学上表示如下：
P ( s i | A ( s i ) ) = 1 - Π a j ∈ A ( s i ) ( 1 - P ( s i | a j ) )
在上面的表达式中，si是阶段，A(si)是完成si的一组备选方案。给定备选方案的失效概率是该备选方案的成功概率的补数，即，1-P(si|aj)，所有备选方案失败的概率是上述公式中的乘积项。因而，不会全部失败的概率是所述乘积的补数。采用有备选方案的方法，能够将总体成功概率估算为具有备选方案的每一阶段的乘积，即：
P ( S ) = Π S i ∈ S P ( s i | A ( s i ) )
对于这种具有备选方案的方法，如果10个阶段中的每个具有4个备选方案，并且每一阶段的每一备选方案的预期成功概率为90％，那么总体成功概率为(1-(1-(0.9))4)10＝0.99或99％，与之对照的是没有备选方案时仅为28％的总体成功概率。具有备选方案的方法将初始问题从一条具有多个故障点(如果任何阶段失败)的阶段链条变换成了没有单一故障点的链条，因为必须所有的备选方案都失败才能导致任何给定阶段的失败，从而提供了更加鲁棒的结果。
在另一实施例中，将包含标准化微操纵的标准化阶段与食物菜肴制备阶段的备选措施两者相结合，从而得到甚至更鲁棒性的性能。在这样的情况下，对应的成功概率可以非常高，即使只有一些阶段或微操纵具有备选方案。
在另一实施例中，只为具有较低成功概率的阶段提供备选方案，以防失败，例如，没有非常可靠的标准化方法的阶段或者具有潜在变化的阶段，例如，依赖于奇怪形状材料的阶段。该实施例降低了向所有阶段提供备选方案的负担。
图8F是示出作为烹饪食物菜肴所需的阶段数(x轴)的函数的总成功概率(y轴)的曲线图，其中第一曲线示出非标准化厨房458，第二曲线459示出标准化厨房50。在该例子中，假设对于非标准化操作而言每一食物制备阶段的个体成功概率为90％，对于标准化预编程阶段而言为99％。那么就前一种情况而言复合误差要严重得多，如曲线458所示，可以比对曲线459。
图8G是示出采用多阶段机器人食物制备的菜谱460的执行的框图，所述多阶段食物制备采用微操纵和动作基元。可以将每一食品菜谱460划分成多个食物制备阶段：第一食物制备阶段S1 470、第二食物制备阶段S2…第n食物制备阶段Sn 490，它们是由机器臂70和机器手72执行的。第一食物制备阶段S1 470包括一个或多个微操纵MM1 471、MM2 472和MM3473。每一微操纵包括一个或多个获得功能结果的动作基元。例如，第一微操纵MM1 471包括第一动作基元AP1 474、第二动作基元AP2 475和第三动作基元AP3 475，其将获得功能结果477。于是，第一阶段S1 470中的一个或多个微操纵MM1 471、MM2 472、MM3 473将获得阶段结果479。一个或多个食物制备阶段S1 470、第二食物制备阶段S2和第n阶段食物制备阶段Sn490的组合将通过重复在厨师工作室44中记录的厨师49的食物制备过程而生成基本上相同或相同的结果。
预定义微操纵可用于实现每一功能结果(例如，磕开鸡蛋)。每一微操纵包含若干动作基元的集合，这些动作基元一起作用，从而完成所述功能结果。例如，机器人可以开始于将其手移向鸡蛋，触摸鸡蛋以定位其位置，检查其大小，并执行将鸡蛋抓取并提升到已知的预定配置所需的移动和感测动作。
为了便于理解和组织菜谱，可以将多个微操纵汇集成阶段，例如，调制料汁。执行所有微操纵以完成所有阶段的最终结果是每次以一致的结果复现食物菜肴。
图9A是示出具有五个手指和手腕的机器手72的例子的框图，机器手72具有RGB-D传感器、摄像机传感器和声纳传感器能力，用于检测和移动厨房工具、对象或一件厨房设备。机器手72的手掌包含RGB-D传感器500、摄像机传感器或声纳传感器504f。或者，机器手450的手掌既包括摄像机传感器，又包括声纳传感器。RGB-D传感器500或声纳传感器504f能够检测对象的位置、尺寸和形状，以建立对象的三维模型。例如，RGB-D传感器500采用结构化的光来捕获对象的形状，进行三维映射和定位、路径规划、导航、对象识别和人物跟踪。声纳传感器504f采用声波来捕获对象的形状。置于机器人厨房某处(例如，置于轨道上或机器人上)的视频摄像机66与摄像机传感器452和/或声纳传感器454相结合提供了捕获、遵循或指引厨房工具如厨师49使用的那样(如图7A所示)移动的途径。将视频摄像机66设定到相对于机器手72成一定角度并且相距一定距离的位置，因此其将在更高的水平上检视机器手72抓取对象以及机器手是否已经抓取或松开/释放了对象。RGB-D(红光束、绿光束、蓝光束和深度)传感器的适当例子是微软公司的Kinect系统，其以依靠软件运行的RGB摄像机、深度传感器和多阵列麦克风为特征，这些部件将提供全身3D运动捕获、面部识别和语音识别能力。
机器手72具有置于手掌中央或附近的RGB-D传感器500，以检测对象的距离和形状以及对象的距离，并且用于操纵厨房工具。RGB-D传感器500在将机器手72朝对象方向移动并且做出必要的调整以抓取对象的过程中为机器手72提供引导。其次，声纳传感器502f和/或触觉压力传感器放置到机器手72的手掌附近，以检测对象的距离和形状以及后续接触。声纳传感器502f也可引导机器手72朝向对象移动。手中的额外类型的传感器可包括超声波传感器、激光器、射频识别(RFID)传感器以及其他适当的传感器。此外，触觉压力传感器起着反馈机制的作用，以判断机器手72是否继续施加额外的力，从而在具有足够的压力以安全地拿起对象的点上抓取对象。此外，机器手72的手掌中的声纳传感器502f提供触觉感测功能，以抓取和操纵厨房工具。例如，在机器手72抓取刀切牛肉时，能够在刀结束切牛肉时，即在刀没有阻力时，或者在保持住一对象时，通过触觉传感器检测机器手对刀施加的并由此对牛肉施加的压力的值。所分配的压力不仅是为了固定对象，而且还要不对其(例如，鸡蛋)造成破坏。
此外，机器手72上的每一手指具有处于相应的指尖上的触觉振动传感器502a-e和声纳传感器504a-e，如处于拇指指尖上的第一触觉振动传感器502a和第一声纳传感器504a、处于食指指尖上的第二触觉振动传感器502b和第二声纳传感器504b、处于中指指尖上的第三触觉振动传感器502c和第三声纳传感器504c、处于无名指指尖上的第四触觉振动传感器502d和第四声纳传感器504d以及处于小指指尖上的第五触觉振动传感器502e和第五声纳传感器504e所示。触觉振动传感器502a、502b、502c、502d和502e的每者能够通过使振动的形状、频率、幅度、持续时间和方向发生变化而模拟出不同的表面和效果。声纳传感器504a、504b、504c、504d和504e的每者提供对对象的距离和形状的感测能力、对温度或湿度的感测能力、以及反馈能力。额外的声纳传感器504g和504h可放置在机器手72的手腕上。
图9B是示出具有耦合至一对用于标准化机器人厨房中的操作的机器臂和手的传感器摄像机512的云台头510的一实施例的框图。云台头510具有用于监视、捕获或处理标准化机器人厨房50内的信息和三维图像的RGB-D传感器512。云台头510提供独立于臂和传感器运动的良好位置知觉性。云台头510耦合至一对机器臂70和手72，以执行食物制备过程，但是这一对机器臂70和手72可能引起阻挡。
图9C是示出用于标准化机器人厨房50内的操作的机器手腕73上的传感器摄像机514的框图。传感器摄像机514的一实施例是安装到相应手72的腕部73上的提供彩色图像和深度感知的RGB-D传感器。相应腕部73上的摄像机传感器514的每个受到臂的有限阻挡，但是在机器手72抓取对象时一般不受阻挡。但是，RGB-D传感器514可能受到相应机器手72的阻挡。
图9D是示出用于标准化机器人厨房50中的操作的机器手72上的手内眼518的框图。每只手72具有传感器，例如，RGB-D传感器，从而通过标准化机器人厨房50中的机器手72提供手内眼功能。每只手内的具有RGB-D传感器的手内眼518提供具有相应的机器臂70和相应的机器手72的有限阻挡的高度图像细节。但是，具有手内眼518的机器手72在抓取对象时可能会受阻挡。
图9E-9G是示出机器手72中的可形变手掌520的各个方面的图画示图。带有五个手指的手的手指带有标签，将拇指标为第一手指F1 522，将食指标为第二手指F2 524，将中指标为第三手指F3 526，将无名指标为第四手指F4 528，将小指标为第五手指F5 530。鱼际隆起532是处于手的桡侧(第一手指F1 522一侧)的可形变材料的凸起体积。小鱼际隆起534是处于手的尺骨侧(第五手指F5 530一侧)的可形变材料的凸起体积。掌指骨垫(MCP垫)536是处于第二、第三、第四和第五手指F2524、F3 526、F4 528、F5 530的掌指骨(指节)关节的腹侧(掌侧)的凸起可形变体积。具有可形变手掌520的机器手72外面带着手套，其具有柔软的类似于人的皮肤。
鱼际隆起532和小鱼际隆起534一起支持从机器臂向工作空间内的对象施加大力，使得这些力的施加对机器手的关节造成的压力降至最低(例如，擀面棍的图片)。手掌520内的额外关节本身可用于使手掌发生形变。手掌520将通过某种方式发生形变，从而形成用于按照与厨师类似的方式进行工具抓取的倾斜的掌内沟槽(典型的把手抓取)。手掌520应当按照某种方式发生形变，从而呈杯状，以按照与厨师类似的方式舒适地抓取凸状物体，例如，盘子和食物材料，如图9G中的呈杯状手势542所示。
手掌520内的可以支持这些动作的关节包括位于接近手腕的手掌桡侧的拇指腕掌关节(CMC)，其可以具有两个截然不同的运动方向(挠曲/伸展以及外展/内收)。支持这些动作所需的额外关节可以包括处于接近手腕的手掌的尺骨侧的关节(第四手指F4 528和第五手指F5 530CMC关节)，其允许以一定倾角弯曲，以支持小鱼际隆起534处的成杯状动作以及掌内沟槽的形成。
机器人手掌520可以包括复现人的烹饪活动当中的手掌形状所需的额外/不同关节，例如，一系列耦接的挠曲关节，用以支持在鱼际和小鱼际隆起532和534之间形成拱形540，从而使手掌520发生形变，例如，在拇指F1 522接触小指F5 530时，如图9F所示。
在使手掌呈杯状时，鱼际隆起532、小鱼际隆起534和MCP垫536形成围绕掌谷的隆脊，这使手掌能够绕小的球形对象(例如，2cm)围拢。
将采用特征点相对于固定参照系(reference frame)的位置描述可形变手掌的形状，如图9H和9I所示。每一特征点表示为随时间的x、y、z坐标位置的向量。在厨师佩戴的感测手套上以及机器人佩戴的感测手套上标出特征点位置。还在所述手套上标出参照系，如图9H和9I所示。在手套上相对于参照系的位置定义特征点。
在厨师执行烹饪任务时，通过安装在工作空间内的经校准的摄像机测量特征点。时域内的特征点轨迹用于将厨师活动与机器人活动相匹配，包括使可形变手掌的形状相匹配。还可以采用来自厨师活动的特征点轨迹为机器人可形变手掌设计提供信息，包括可形变手掌表面的形状以及机器手的关节的安置和运动范围。
在图9H所示的实施例中，特征点处于小鱼际隆起534、鱼际隆起532和MCP垫536内，它们是带标记的棋盘形图案，标记示出手掌的每一区域内的特征点。腕部区域的参考系具有四个矩形，其可被识别为参照系。相对于参照系识别相应区域内的特征点(或标记)。出于食品安全的考虑，可以在手套下面实施这一实施例中的特征点和参照系，但是其可以通过手套透过来，以便被检测到。
图9H示出具有可以用于确定三维形状特征点550的位置的可视图案的机器手。随着手掌关节移动且随着手掌表面响应于外加力而发生形变，这些形状特征点的位置将提供有关手掌表面形状的信息。
所述可视图案包括位于机器手上或厨师佩戴的手套上的表面标记552。可以通过食品安全透明手套554覆盖这些表面标记，但是表面标记552仍然能够透过手套看到。
当表面标记552在摄像机图像中可见时，可以通过对可视图案中的凸角或凹角进行定位而识别出摄像机图像内的二维特征点。单幅摄像机图像中的每一这样的拐角都是二维特征点。
当在多幅摄像机图像中识别出同一特征点时，能够在相对于标准化机器人厨房50固定的坐标系内确定这一点的三维位置。该计算是基于每一图像中该点的二维位置和已知摄像机参数(位置、取向、视场等)执行的。
可以采用参照系可视图案获得固定至机器手72的参照系556。在一实施例中，固定至机器手72的参照系556包括原点和三个正交坐标轴。其通过在多个摄像机中对参照系的可视图案的特征进行定位，并且采用参照系可视图案的已知参数以及各摄像机的已知参数来提取原点和坐标轴而被识别。
一旦观测到了机器手的参照系，就可以将在食物制备站的坐标系中表达的三维形状特征点转化为机器手的参照系。
可形变手掌的形状包括三维形状特征点的向量，所有这些特征点都在固定至机器人或厨师的手的参照坐标系内表达。
如图9I所示，实施例中的特征点560由不同区域(手掌的小鱼际隆起534、鱼际隆起532和MCP垫536)中的传感器(例如，霍耳效应传感器)表示。特征点可在其相应位置相对于参照系被识别出来，参照系在本实施方式中为磁体。磁体生成可被传感器读取的磁场。本实施例中的传感器嵌入在手套下面。
图9I示出具有嵌入的传感器以及一个或多个磁体562的机器手72，其可用作替代机制来确定三维形状特征点的位置。一个形状特征点与每个嵌入的传感器相关联。随着手掌关节的移动以及随着手掌表面响应于外加力发生形变，这些形状特征点560的位置将提供有关手掌表面形状的信息。
在传感器信号的基础上确定形状特征点的位置。传感器提供输出，所述输出允许计算附至磁体的参照系中的距离，所述磁体进一步附至机器人或厨师的手。
基于传感器测量结果以及从传感器校准获得的已知参数计算每一形状特征点的三维位置。可形变手掌的形状包括三维形状特征点的向量，所有这些特征点都在固定至机器人或厨师的手的参照坐标系内表达。要想获得有关人手上的常用接触区域以及抓取功能的额外信息，参考Kamakura,Noriko,Michiko Matsuo,Harumi Ishii,Fumiko Mitsuboshi,and Yoriko Miura."Patterns of static prehension in normal hands."AmericanJournal of Occupational Therapy 34,no.7(1980):437-445，该文献通过整体引用而合并于此。
图10A是示出厨师49在标准化机器人厨房环境50内佩戴的用于在具体菜谱的食物制备过程中记录和捕获厨师活动的厨师记录装置550的例子的框图。厨师记录装置550包括但不限于一个或多个机器人手套(或机器人衣服)26、多模态传感器单元20和一副机器人眼镜552。在厨师工作室系统44中，厨师49佩戴机器人手套26进行烹饪，从而记录和捕获厨师的烹饪活动。或者，厨师49可以佩戴具有机器人手套的机器人服装，而不是只戴机器人手套26。在一实施例中，具有嵌入的传感器的机器人手套26捕获、记录和保存厨师的臂、手和手指运动在xyz坐标系中的带有时间戳的位置、压力和其他参数。机器人手套26保存从制备特定食物菜肴的起始时间到结束时间的持续时间内三维坐标系中厨师18的臂和手指的位置和压力。在厨师49戴着机器人手套26时，按周期性时间间隔(例如，每隔t秒)精确地记录厨师工作室系统44中制备食物菜肴时的所有活动、手的位置、抓取运动以及所施加的压力的量。多模态传感器单元20包括视频摄像机、IR摄像机和测距仪306、立体(或者甚至三目)摄像机308和多维扫描激光器310，并且向主软件抽象化引擎312提供多谱感测数据(在数据获取和过滤模块314中获取和过滤之后)。多模态传感器单元20生成三维表面或纹理，并且处理抽象化模型数据。该数据在场景理解模块316中用于执行多个步骤，例如(但不限于)用叠加的可视及IR谱颜色和纹理视频信息构建场景的高分辨率和较低分辨率(激光器：高分辨率；立体摄像机：较低分辨率)三维表面体积，允许边缘检测和体积对象检测算法推断什么元素在场景中，允许采用形状/颜色/纹理/一致性映射算法运行经处理的数据，从而将处理了的信息馈送给厨房烹饪过程设备操纵模块318。任选地，除了机器人手套76之外，厨师49还可以佩戴一副机器人眼镜552，所述眼镜具有围绕框架设置的一个或多个机器人传感器554，所述框架设有机器人耳机556和麦克风558。机器人眼镜552提供额外的视觉和捕获能力，例如，用于捕获和记录厨师49在烹饪膳食时看到的视频和图像的摄像机。一个或多个机器人传感器554捕获并记录正在制备的膳食的温度和气味。耳机556和麦克风558捕获并记录厨师在烹饪时听到的声音，其可以包括人的语音以及油炸、烧烤、磨碎等的声音特征。厨师49还可以采用耳机和麦克风82记录食物制备时的同步语音指令和实时烹饪步骤。就此而言，厨师机器人记录器装置550在特定食物菜肴的食物制备过程中记录厨师的活动、速度、温度和声音参数。
图10B是示出用机器人姿势、运动和力评估厨师运动的捕获的过程560的一实施例的流程图。数据库561存储机器臂72和机器手72的预定义(或预确定的)抓取姿势562和预定义的手运动，根据重要性564对其加权并且用接触点565和所存储的接触力565对其加标签。在操作567，厨师活动记录模块98配置为部分地基于预定义的抓取姿势562和预定义的手运动563捕获厨师制备食物菜肴的运动。在操作568，机器人食物制备引擎56配置为评估机器人设备配置完成姿势、运动和力，继而完成微操纵的能力。接下来，机器人设备配置经历评估机器人设计参数570、调整设计参数以改善评分和性能571、以及修改机器人设备配置572的迭代过程569。
图11是示出供家庭机器人厨房48中的标准化机器人厨房系统50使用的机器臂70的侧视图的一实施例的框图。在其他实施例中，可以设计一条或多条机器臂70，例如，一条臂、两条臂、三条臂、四条臂或更多臂以用于标准化机器人厨房50中的操作。来自厨师工作室系统44的存储食物制备过程中厨师的臂、手和手指活动的一个或多个软件菜谱文件46可被上载并且转换为机器人指令，以控制所述一条或多条机器臂70以及一个或多个机器手72来模仿厨师的活动，以制备厨师曾制备的食物菜肴。机器人指令控制机器人设备来复现厨师在制备相同食物菜肴时的精确活动。每个机器臂70和每个机器手72还可以包括额外的特征和工具，例如，刀、叉、匙、炒菜铲、其他类型的用具、或者完成食物制备过程的食物制备器具。
图12A-12C是示出与具有手掌520的机器手72一起使用的厨房把手580的一实施例的框图。厨房把手580的设计旨在具有通用性(或者标准化)，从而使同一厨房把手580能够附接至任何类型的厨房用具或工具，例如，刀、炒菜铲、撇渣器、勺子、漏勺、锅铲等。在图12A-12B中示出了厨房把手580的不同立体图。机器手72握住厨房把手580，如图12C所示。在不背离本发明的精神的情况下可以设计其他类型的标准化(或通用)厨房把手。
图13是示出具有触觉传感器602和分布式压力传感器604的示范性机器手600的图画示图。在食物制备过程中，机器人设备采用机器手的指尖和手掌内的传感器生成的触摸信号在机器人复现一步步活动的同时检测力、温度、湿度和毒性(toxicity)，并且将感测到的值与厨师的工作室烹饪程序的触觉概况进行比较。视觉传感器帮助机器人识别周围环境并且采取适当的烹饪动作。机器人设备分析来自视觉传感器的即时环境图像并将其与厨师工作室烹饪程序的保存图像进行比较，从而做出适当动作以获得等同结果。机器人设备还采用不同的麦克风来将厨师的指令语言与食物制备过程的本底噪声进行比较，以改善烹饪期间的识别性能。任选地，机器人可以具有电子鼻子(未示出)，以检测气味或味道以及环境温度。例如，机器手600能够通过手指和手掌内的触觉传感器生成的表面纹理、温度和重量信号区分出真实的鸡蛋，进而能够施加适当大小的力握住鸡蛋而不将其打破，并且能够通过晃动鸡蛋听其溅泼声、磕开鸡蛋观察蛋黄和蛋白并闻其气味来判断鸡蛋的新鲜程度，由此完成质量检查。之后，机器手600可以采取措施处理掉坏掉的鸡蛋，或者选择新鲜的鸡蛋。手、臂和头上的传感器602和604使机器人能够移动、触摸、看和听，从而采用外部反馈执行食物制备过程，并获得与厨师工作室烹饪结果等同的食物菜肴制备结果。
图14是示出厨师49在标准化机器人厨房50中穿戴的感测服装620的例子的图画示图。在软件文件46记录的食物菜肴的食物制备过程中，厨师49穿戴感测服装620，从而按时间序列实时地捕获厨师的食物制备活动。感测服装620可包括但不限于触觉套装622(示出了一整条臂和手部的服装)[在该处没有像这样的附图标记]、触觉手套624、多模态传感器626[无此附图标记]、头部服饰628。具有传感器的触觉套装622能够从厨师的活动捕获数据，并将捕获的数据传输至计算机16，从而记录带时间戳的XYZ坐标系内人的臂70和手/手指72的xyz坐标位置和压力。感测服装620也进行感测，计算机16记录机器人坐标系中人的臂70和手/手指72的位置、速度和力/转矩以及端点接触行为，其具有系统时间戳并与之相关联，由此与采用几何传感器(激光器传感器、3D立体传感器或视频传感器)的标准化机器人厨房50中的相对位置关联起来。具有传感器的触觉手套624用于捕获、记录和保存通过手套624中的触觉传感器检测到的力、温度、湿度和杀菌度信号。头部服饰628包括具有视觉摄像机、声纳、激光器、视频识别(RFID)和一副定制眼镜的反馈装置，它们用于感测、捕获数据并将捕获的数据传输至计算机16，从而记录并存储厨师48在食物制备过程中观察到的图像。此外，头部服饰628还包括用于检测标准化机器人厨房50中的环境温度和嗅觉特征的传感器。此外，头部服饰628还包括音频传感器，用于捕获厨师49听到的音频，例如，油炸、磨碎、切斩等的声音特征。
图15A-15B是示出用于厨师49的食物制备的具有传感器的三指触觉手套630的一实施例以及具有传感器的三指机器手640的例子的屠户示图。文中所示的实施例示出了用于食物制备的具有不到五个手指的简化机器手640。对应地，将显著降低简化机器手640的设计当中的复杂性以及简化机器手640的制造成本。在备选实施方式中，具有或者没有相对的拇指的二指抓爪或四指机器手也是可能的。在这一实施例中，厨师手的活动受到三个手指，即拇指、食指和中指的功能的限制，其中每一手指具有用于在力、温度、湿度、毒性或触觉感知方面感测厨师活动数据的传感器632。三指触觉手套630还包括处于三指触觉手套630的手掌区域内的点传感器或分布式压力传感器。将厨师使用拇指、食指和中指在佩戴三指触觉手套630的情况下制备食物菜肴的活动记录到软件文件中。接下来，三指机器手640根据软件菜谱文件复现厨师的活动，软件菜谱文件被转换成机器人指令以用于在监视机器手640的手指上的传感器642b和手掌上的传感器644的同时，控制机器手640的拇指、食指和中指。传感器642包括力、温度、湿度、杀菌度或触觉感传感器，而传感器644可以采用点传感器或分布式压力传感器实现。
图16是示出微操纵库数据库的创建模块650和微操纵库数据库的执行模块660的框图。微操纵数据库的库的创建模块60是创建、测试各种可能的组合以及选择最佳微操纵以获得特定功能结果的过程。创建模块60的一个目标在于探索执行具体微操纵的过程的不同可能组合，以及预定义最佳微操纵的库，以供机器臂70和机器手72随后在食物菜肴的制备当中执行。还可以采用微操纵库的创建模块650作为针对机器臂70和机器手72的教导方法，使之学习来自微操纵库数据库的不同食物制备功能。微操纵库数据库的执行模块660配置为提供一定范围的的微操纵功能，机器人设备能够在食物菜肴的制备过程中从微操纵库数据库对其进行访问和执行，其包括具有第一功能结果662的第一微操纵MM1、具有第二功能结果664的第二微操纵MM2、具有第三功能结果666的第三微操纵MM3、具有第四功能结果668的第四微操纵MM4以及具有第五功能结果670的第五微操纵MM5。
图17A是示出厨师49在制备食物菜肴时用于感测和捕获厨师活动的感测手套680的框图。感测手套680具有处于每个手指上的多个传感器682a、682b、682c、682d、682e以及处于感测手套680的手掌区域中的多个传感器682f、682g。在一实施例中，采用处于软手套内的至少5个压力传感器682a、682b、682c、682d、682e捕获和分析全部手部操纵过程中的厨师活动。将这一实施例中的多个传感器682a、682b、682c、682d、682e、682f和682g嵌入到感测手套680内，但是其能够透过感测手套680的材料受到外部感测。感测手套680可以具有与多个传感器682a、682b、682c、682d、682e、682f、682g相关联的特征点，它们反映感测手套680内的具有各个较高点和较低点的手部曲线(或起伏)。置于机器手72之上的感测手套680由模拟人类皮肤的柔顺性和形状的柔软材料制成。在图9A中能够找到详述机器手72的额外描述。
机器手72包括摄像机传感器684，例如，RGB-D传感器、成像传感器或视觉感测装置，其置于手掌中央或附近，用于检测对象的距离和形状、以及对象的距离，并且用于对厨房工具进行操纵。成像传感器682f在使机器手72朝向对象的方向移动时为机器手72提供引导，并进行必要的调整，以抓取对象。此外，可以将诸如触觉压力传感器之类的声纳传感器置于机器手72的手掌附近，用于检测对象的距离和形状。声纳传感器682f还可以引导机器手72朝向对象移动。每个声纳传感器682a、682b、682c、682d、682e、682f、682g包括超声波传感器、激光器、射频识别(RFID)以及其他适当的传感器。此外，每个声纳传感器682a、682b、682c、682d、682e、682f、682g起着反馈机构的作用，以判断机器手72是否继续施加额外压力，以便在这样的具有足够的抓取和提升对象的压力的点上抓取对象。此外，机器手72的手掌内的声纳传感器682f提供触觉感知功能，以操纵厨房工具。例如，在机器手72抓取刀切牛肉时，机器手72向刀施加继而施加到牛肉上的压力的值允许触觉感受器检测何时刀结束了对牛肉的切割，即，刀何时没有阻力。所分配的压力不仅是为了固定对象，而且还要避免施加的压力过大，例如不使鸡蛋破裂。此外，机器手72的每一手指上具有指尖上的传感器，如拇指指尖上的第一传感器682a、食指指尖上的第二传感器682b、中指指尖上的第三传感器682c、无名指指尖上的第四传感器682d以及小指指尖上的第五传感器682f所示。每个传感器682a、682b、682c、682d、682e提供对对象的距离和形状的感测能力、对温度或湿度的感测能力、以及触觉反馈能力。
手掌内的RGB-D传感器684和声纳传感器682f加上每个手指的指尖上的声纳传感器682a、682b、682c、682d、682e为机器手72提供反馈机制，以作为抓取非标准化对象或非标准化厨房工具的措施。机器手72可以将压力调整到足以抓取并保持非标准化对象的程度。图17B示出了根据具体时间间隔存储样本抓取功能692、694、696的程序库690，机器手72能在执行特定抓取功能时从程序库690取出这些功能。图17B是示出标准化机器人厨房模块50中的标准化操作活动的库数据库690的框图。预定义并且存储在库数据库690中的标准化操作活动包括抓取、放置和操作厨房工具或一件厨房设备。
图18A是示出包覆了人工的类似于人的软皮肤手套700的每个机器手72的示意图。人工的类似于人的软皮肤手套700包括多个嵌入式传感器，它们是能透过的，并且对于机器手72而言足以使其执行高层级微操纵。在一实施例中，软皮肤手套700包括十个或更多传感器，以复现手部活动。
图18B是示出包覆着人工的类似于人的皮肤手套的机器手基于微操纵的库数据库720执行高层级微操纵的框图，所述微操纵被预定义且存储在库数据库720内。高层级微操纵涉及需要大量的交互式活动和相互作用力以及对其的控制的动作基元的序列。提供了存储在数据库库720内的三个微操纵的例子。第一个微操纵的例子是采用一双机器手72揉面团722。第二个微操纵的例子是采用一双机器手72制作意大利方饺724。第三个微操纵的例子是采用一双机器手72制作寿司。三个微操纵的例子中的每个都具有一定的持续时间和速度曲线，将通过计算机16对其予以跟踪。
图18C是示出三种类型的食物制备操纵动作的示意图，其具有产生预期目标状态的机器臂70和机器手72的运动和力的连续轨迹。机器臂70和机器手72执行刚性抓取和转移730活动，从而借助于不可移动的抓取拾取对象并将其转移到目标位置，而无需用力的相互作用。刚性抓取和转移的例子包括将平底锅放到炉子上、拿起盐瓶、将盐撒到菜里、将食材投放到碗里、倒出容器内的内容物、拌沙拉以及对烙饼翻面。机器臂70和机器手72执行采用用力相互作用732的刚性抓取，其中在两个表面或对象之间存在用力的接触。采用用力相互作用的刚性抓取的例子包括在锅里搅动、打开盒子、转动平底锅以及将物品从砧板扫到平底锅里。机器臂70和机器手72执行具有形变734的用力相互作用，其中在两个表面或对象之间具有用力接触，从而导致两个表面之一发生形变，例如，切胡萝卜、打蛋或滚动面团。要想获得有关人手功能、人手掌的形变及其抓取功能的额外信息，参考I.A.Kapandji,“ThePhysiology of the Joints,Volume 1:Upper Limb,6e,”Churchill Livingstone,6edition,2007，该参考文献通过整体引用而合并于此。
图18D是示出在揉面740的过程中用于食物制备的操纵动作的分类法的一实施例的简化流程图。揉面740可以是先前在微操纵库数据库中预定义的微操纵。揉面740的过程包括一系列动作(或短的微操纵)，其包括抓住面团742，将面团放到表面744上、以及重复揉搓动作直到获得期望的形状746为止。
图18E是示出机器臂70和机器手72之间的相互作用和相互配合的一个例子的框图。顺应性机器臂750提供较小的有效载荷、较高的安全性、更温和的动作、但是较低的精确度。拟人机器手752提供更高的灵巧度，能够操纵人用工具，更易于重新锁定人手动作，更具顺应性，但是其设计需要更高的复杂性，增加了重量而且生产成本更高。简单的机器手754重量更轻，价格更低，但是其灵巧度较低且不能直接使用人用工具。工业机器臂756更加精确，具有更高的有效载荷能力，但是一般认为其在人的周围是不安全的，有可能施加很大的力并且造成伤害。标准化机器人厨房50的一实施例将采用顺应臂750和拟人手752的第一组合。对于本发明的实施而言，一般不太期望采用其他三种组合。
图18F是示出采用附接至定制炊具头的标准化厨房把手580的机器手72和可固定至厨具的机器臂70的框图。在一种抓取厨具的技术中，机器手72抓取标准化厨房工具580，该工具用于附接至定制炊具头中的任何一者上，图中示出了定制炊具头的选择760a、760b、760c、760d、760e以及其它。例如，标准化厨房把手580附着至定制炒菜铲头760e，从而用于对平底锅内的食材进行搅动煎炸。在一实施例中，机器手72只能在一个位置握住标准化厨房把手580，从而将因采用不同方法握住标准化厨房把手580而造成混乱的可能性降至了最低。在另一种抓取厨具的技术中，机器臂具有一个或多个夹持器762，其可固定至厨具762，其中机器臂70能够在机器手运动过程中在按压厨具762时施加更大的力(如有必要)。
图19是示出得到“用刀磕开鸡蛋”结果的微操纵的数据库库结构770的例子的框图。打蛋的微操纵770包括：怎样在正确位置握住鸡蛋772，怎样相对于鸡蛋握住刀774，什么是用刀敲击鸡蛋的最佳角度776、以及如何打开破裂的鸡蛋778。对772、774、776和778每个的各种可能参数进行测试，从而找到执行具体动作的最佳方式。例如，在握住鸡蛋772时，对握住鸡蛋的不同位置、取向和方式进行测试，从而找到握住鸡蛋的最佳方式。第二，机器手72从预定位置拿起刀。关于握刀的不同位置、取向和方式对握刀774进行研究，从而找到拿刀的最佳方式。第三，还针对用刀敲击鸡蛋的各种组合对用刀敲击鸡蛋776进行测试，从而找到用刀敲击鸡蛋的最佳方式。随后，将执行用刀敲裂鸡蛋770的微操纵的最佳方式存储到微操纵的库数据库中。所保存的用刀敲裂鸡蛋770的微操纵将包括握住鸡蛋772的最佳方式、握住刀774的最佳方式和用刀敲击鸡蛋776的最佳方式。
为了建立得到用刀敲裂鸡蛋结果的微操纵，必须对多个参数组合进行测试，从而识别出确保获得预期功能结果(使鸡蛋裂开)的一组参数。在这一例子中，参数被识别以确定如何以不捏碎鸡蛋的方式抓取和握住鸡蛋。通过测试选择适当的刀，并找到手指和手掌的适当放置，从而可以握住刀用于敲击。识别将成功破裂鸡蛋的敲击动作。识别使破裂的鸡蛋成功打开的打开动作和/或力。
机器人设备的教导/学习过程涉及多种重复测试，以识别出获得预期的最终功能结果的必要参数。
可以改变场景来执行这些测试。例如，鸡蛋的大小可以变化。可以改变敲裂鸡蛋的位置。刀可以处于不同的位置。微操纵必须在所有这些变化环境中都取得成功。
一旦完成了学习过程，就将结果存储为已知一起完成预期功能结果的动作基元集合。
图20是示出借助于实时调整进行微操纵的菜谱执行800的例子的框图。在菜谱执行800中，机器手72执行用刀敲裂鸡蛋的微操纵770，其中从微操纵库数据库中选择执行敲裂鸡蛋操作772、握刀操作774、用刀敲击鸡蛋操作776和打开破裂的鸡蛋操作778中的每个动作的最佳方式。执行实施每个动作772、774、776、778的最佳方式的过程确保了微操纵770将实现该特定微操纵的相同或基本相同的结果(或其保证)。多模态三维传感器20提供关于一种或多种食材的可能变化(例如，鸡蛋的尺寸和重量)的实时调整能力112。
作为图19中的微操纵的创建和图20中的微操纵的执行之间的操作关系的例子，与“用刀敲裂鸡蛋”微操纵相关联的具体变量包括鸡蛋的初始xyz坐标、鸡蛋的初始取向、鸡蛋的尺寸、鸡蛋的形状、刀的初始xyz坐标、刀的初始取向、磕裂鸡蛋的位置的xyz坐标、速度、以及微操纵的持续时间。因而，在创建阶段定义“用刀敲裂鸡蛋”微操纵的所识别的变量，其中可以在相关微操纵的执行阶段通过机器人食物制备引擎56对这些可识别变量进行调整。
图21是示出在标准化厨房模块中捕获厨师的食物制备活动从而从厨师工作室44生成软件菜谱文件46的软件过程810的流程图。在厨师工作室44中，在步骤812，厨师49设计食物菜谱的不同成分。在步骤814，机器人烹饪引擎56配置为接收厨师49选定的菜谱设计的名称、ID食材和测度输入。在步骤816，厨师49将食物/食材移动到指定的标准化烹饪用具/器具中并且移动到它们的指定位置。例如，厨师49可以挑选两根中等大小的葱和两个中等大小的蒜瓣，并将八个蘑菇放到案板上，并将两块解冻的20cm×30cm的松饼从冷冻室(freezer lock)F02移到冰箱(冰柜)。在步骤818，厨师49戴上捕获手套26或触觉服装622，其具有捕获厨师的动作数据以供传输给计算机16的传感器。在步骤820，厨师49开始履行其从步骤122中选择的菜谱。在步骤822，厨师动作记录模块98配置为捕获并记录厨师的精确动作，包括在标准化机器人厨房50中对厨师臂和手指的力、压力以及xyz位置和取向进行实时测量。除了捕获厨师的动作、压力和位置之外，厨师动作记录模块98配置为记录特定菜谱的整个食物制备过程中的视频(有关菜肴、食材、工艺和交互图像)和声音(人语音、煎炸的嘶嘶声等)。在步骤824，机器人烹饪引擎56配置为存储来自步骤822的捕获数据，其包括来自捕获手套26上的传感器以及多模态三维传感器30的厨师动作。在步骤826，菜谱抽象化软件模块104配置为生成适于机器实施的菜谱脚本。在步骤828，在生成和保存菜谱数据之后，可通过面向位于家庭或餐馆的用户计算机的app商店或市场以及集成在移动装置上机器人烹饪接收app而向用户销售软件菜谱文件46或者供其订购。
图22是示出用于具有机器人设备的机器人标准化厨房中机器人设备基于从厨师工作室系统44接收的一个或多个软件菜谱文件22实施食物制备的软件过程的流程图830。在步骤832，用户24通过计算机15选择从厨师工作室44购买或订购的菜谱。在步骤834，家庭机器人厨房48中的机器人食物制备引擎56配置为接收来自输入模块50的对要制备的选定菜谱的输入。在步骤836，家庭机器人厨房48中的机器人食物制备引擎56配置为将选定菜谱上载到具有软件菜谱文件46的存储模块102。在步骤838，家庭机器人厨房48中的机器人食物制备引擎56配置为计算用以完成选定菜谱的食材可用性以及完成菜肴所需的大致烹饪时间。在步骤840，家庭机器人厨房48中的机器人食物制备引擎56配置为分析选定菜谱的先决条件，并且根据选定的菜谱和上菜安排判断是否存在食材的短缺或缺少，或者是否会没有足够的时间最终上菜。如果不满足先决条件，那么在步骤842，家庭机器人厨房48中的机器人食物制备引擎56发出警报，指示应将食材添加到购物清单中，或者提供备选菜谱或上菜安排。但是，如果满足先决条件，那么机器人食物制备引擎56配置为在步骤844中确认菜谱选择。在步骤846，在确认了菜谱选择之后，用户60通过计算机16将食物/食材移动到具体的标准化容器内并且移动到所需位置。在将食材置于指定容器和识别位置之后，家庭机器人厨房48中的机器人食物制备引擎56配置为在步骤848检查是否已经触发了起始时间。正值此际，家庭机器人食物制备引擎56提供第二过程检查，以确保满足了所有先决条件。如果家庭机器人厨房48中的机器人食物制备引擎56没有制备好开始烹饪过程，那么家庭机器人食物制备引擎56继续在步骤850核对先决条件，直到触发了起始时间为止。如果机器人食物制备引擎56制备好了开始烹饪过程，则在步骤852，机器人食物制备引擎56中的原料食物模块96的质量检查被配置为处理选定菜谱的先决条件，并且对照菜谱描述(例如，一块中间切开的牛里脊肉的烧烤)和状况(例如，过期/购买日期、气味、颜色、纹理等)检查每一食材项。在步骤854，机器人食物制备引擎56将时间设定到“0”阶段，将软件菜谱文件46上载到一个或多个机器臂70和机器手72，用于根据软件菜谱文件46复现厨师的烹饪动作以制作选定菜肴。在步骤856，一个或多个机器臂72和手74对食材进行处理，并用与厨师49的臂、手和手指等同的动作，以从厨师动作中捕获和记录的准确压力、精确力、相同的XYZ位置和相同的时间增量执行烹饪方法/技术。在该时间期间，一个或多个机器臂70和手72将烹饪结果与受控数据(例如，温度、重量、损耗等)和媒体数据(例如，颜色、外观、气味、份量等)进行比较，如步骤858所示。在对数据进行了比较之后，机器人设备(包括机器臂70和机器手72)在步骤860中对结果进行对齐(align)和调整。在步骤862，机器人食物制备引擎56配置为指示机器人设备将完成的菜肴移到指定的上菜盘内并将其放到柜台上。
图23是示出建立、测试、验证和存储微操纵库数据库870的各种参数组合的软件过程的一实施例的流程图。微操纵库数据库870涉及存储在临时库内的一次性成功测试过程870(例如，握住鸡蛋)以及对微操纵数据库库中的一次性测试结果的组合890(例如，磕开鸡蛋的全部动作)进行测试。在步骤872，计算机16创建具有多个动作基元(或多个分立的菜谱动作)的新的微操纵(例如，磕开鸡蛋)。在步骤874，识别与新的微操纵相关联的对象(例如，鸡蛋和刀)的数量。计算机16在步骤876识别多个分立动作或活动。在步骤878，计算机选择与特定的新微操纵相关联的完全可能范围的关键参数(例如，对象的位置、对象的取向、压力和速度)。在步骤880，对于每一关键参数而言，计算机16测试并验证关键参数的每个值，其将借助于与其他关键参数的所有可能组合(例如，以一位置握住鸡蛋但是测试其他取向)来进行。在步骤882，计算机16判断一组特定的关键参数组合是否产生可靠的结果。可以通过计算机16或人来完成对结果的验证。如果判断结果是否定的，那么计算机16进行至步骤886，从而查看是否还有其他有待于测试的关键参数组合。在步骤888，计算机16在制定下一参数组合时使关键参数递增一，以用于进一步测试和评估下一参数组合。如果步骤882的判断是肯定的，那么计算机16将该组成功的关键参数组合存储到临时位置库内。所述临时位置库存储一组或多组成功的关键参数组合(具有最多成功测试或具有最少失败结果)。
在步骤892，计算机16对特定成功参数组合进行X次测试和验证(例如，100次)。在步骤894，计算机16计算特定成功参数组合的重复测试过程中的失败结果的数量。在步骤896，计算机16从临时库中选择下一个一次性成功参数组合，并使过程返回至步骤892，从而对该下一个一次性成功参数组合进行X次测试。如果没有剩余其他的一次性成功参数组合，那么计算机16在步骤898存储产生可靠(或者有保证的)结果的一组或多组参数组合的测试结果。如果存在超过一组可靠的参数组合，那么在步骤899，计算机16确定最佳的或者最优的一组参数组合，并且存储与特定微操纵相关联的最优的一组参数组合，从而在微操纵库数据库中供标准化机器人厨房50中的机器人设备在菜谱的各个食物制备阶段使用。
图24是示出创建用于微操纵的任务的软件过程900的一实施例的流程图。在步骤902，计算机16用将存储到数据库库内的机器手微操纵定义特定机器人任务(例如，用刀磕开鸡蛋)。计算机在步骤904识别出每一微小步骤中对象的所有不同可能取向(例如，鸡蛋以及握住鸡蛋的取向)，并且在步骤906识别出相对于所述对象握住厨房工具(例如，相对于鸡蛋握住刀)的所有不同位置点。在步骤908，计算机凭经验识别出握住鸡蛋以及用刀以正确的(切割)动作概况、压力和速度打破鸡蛋的所有可能方式。在步骤910，计算机16定义握住鸡蛋并且相对于鸡蛋定位刀以适当地打破鸡蛋的各种组合。例如，找到诸如对象的取向、位置、压力和速度之类的最佳参数的组合。在步骤912，计算机16进行训练和测试过程以检验各种组合的可靠性，例如，测试所有的变化、差异，并将该过程重复X次，直到对于每个微操纵可靠性是确定的为止。在厨师49执行某一食物制备任务时(例如，用刀磕开鸡蛋)，在步骤914，该任务被转化为作为该任务的一部分执行的若干手部微操纵步骤/任务。在步骤916，计算机16将用于该特定任务的各种微操纵组合存储到数据库库中。在步骤918，计算机16判断对于任何微操纵是否存在需要定义和执行的额外任务。如果存在需要定义的任何额外微操纵，那么过程返回至步骤902。厨房模块的不同实施例是可能的，包括独立厨房模块和集成厨房模块。集成厨房模块被适配到典型房屋的常规厨房区域内。厨房模块至少按照两种模式工作，即机器人模式和正常(手动)模式。磕开鸡蛋是微操纵的一个例子。微操纵库数据库还将适用于很宽范围的各种任务，例如，用叉子通过沿正确的方向施加正确的压力从而相对于牛肉的形状和厚度达到适当的深度来叉取一片牛肉。在步骤919，计算机组合预定义厨房任务的数据库库(database library)，其中每个预定义的厨房任务包括一个或多个微操纵。
图25是示出分配和利用标准化机器人厨房内的标准化厨房工具、标准化对象和标准化设备的库的过程920的流程图。在步骤922，计算机16为每个厨房工具、对象或设备/用具分配代码(或条形码)，其预定义了工具、对象或设备的参数，例如其三维位置坐标和取向。这一过程使标准化机器人厨房50内的各种元素标准化，其包括但不限于：标准化厨房设备、标准化厨房工具、标准化刀、标准化叉子、标准化容器、标准化平底锅、标准化器具、标准化工作区、标准化附件以及其他标准化元件。在执行菜谱中的处理步骤时，在步骤924，机器人烹饪引擎配置为在根据具体菜谱的食物制备过程被提示访问厨房工具、对象、设备、用具或用具时指引一个或多个机器手拾取该特定厨房工具、对象、设备、器具或用具。
图26是示出通过三维建模和推理识别非标准对象的过程926的流程图。在步骤928，计算机16通过传感器检测非标准对象，例如，可能具有不同大小、不同外形尺寸和/或不同重量的食材。在步骤930，计算机16用捕获形状、外形尺寸、取向和位置信息的三维建模传感器66来识别非标准对象，并且机器手72进行实时调整以执行适当的食物制备任务(例如，切割或拾取一块牛排)。
图27是示出用于微操纵的测试和学习的过程932的流程图。在步骤934，计算机执行食物制备任务构成分析，其中，对每一烹饪操作(例如，用刀磕开鸡蛋)进行分析、分解并且构造成动作基元或微操纵的序列。在一实施例中，微操纵指的是实现朝向食物菜肴制备中的一具体结果前进的基本功能结果(例如，磕开鸡蛋或切好蔬菜)的一个或多个动作基元的序列。在本实施例中，微操纵可进一步描述为低层级微操纵或高层级微操纵，其中低层级微操纵是指需要极小的相互作用力并且几乎唯独地依赖于使用机器人设备的动作基元序列，高层级微操纵是指需要大量相互作用和大的相互作用力以及对其的控制的动作基元的序列。过程环936聚焦于微操纵和学习步骤，其包括重复很多次(例如，100次)的测试以确保微操纵的可靠性。在步骤938，机器人食物制备引擎56配置为对执行食物制备阶段或微操纵的所有可能性知识进行评估，其中，关于特定微操纵相关的取向、位置/速度、角度、力、压力和速度对每一微操纵进行测试。微操纵或动作基元可涉及机器手72和标准对象，或者涉及机器手72和非标准对象。在步骤940，机器人食物制备引擎56配置为执行微操纵，并且判断结果是认为成功还是失败。在步骤942，计算机16关于微操纵的失败进行自动分析和推理。例如，多模态传感器可提供有关微操纵的成功或失败的感测反馈数据。在步骤944，计算机16配置为做出实时调整，并且调整微操纵执行过程的参数。在步骤946，计算机16向微操纵库增加有关参数调整的成功或失败的新信息，以作为用于机器人食物制备引擎56的学习机制。
图28是示出机器臂的质量控制和对准功能的过程950的流程图。在步骤952，机器人食物制备引擎56通过输入模块50加载人类厨师复现软件菜谱文件46。例如，软件菜谱文件46将复现来自米其林星级厨师Arnd Beuchel的“维也纳炸肉(Wiener Schnitzel)”食物制备。在步骤954，机器人设备基于所存储的包含所有动作/活动复现数据的菜谱脚本，以与基于人类厨师在具有标准化设备的标准化厨房模块中制备相同菜谱的动作存储的所记录的菜谱数据相同的步速，用相同的动作(例如，躯干、手、手指的动作)、相同压力、力和xyz位置执行任务。在步骤956，计算机16通过多模态传感器监视食物制备过程，多模态传感器生成提供给抽象化软件的原始数据，在抽象化软件中机器人设备基于多模态感测数据(视觉、音频以及任何其他感测反馈)对照受控数据比较现实世界输出。在步骤958，计算机16判断受控数据和多模态感测数据之间是否存在任何差异。在步骤960，计算机16分析多模态感测数据是否偏离受控数据。如果存在偏离，则在步骤962，计算机16做出调整，从而对机器臂70、机器手72或其他元件进行重新校准。在步骤964，机器人食物制备引擎16配置为在过程964中通过向知识数据库添加对一个或多个参数值所做的调整来进行学习。在步骤968，计算机16将更新的修订信息存储到知识数据库，其涉及经校正的过程、条件和参数。如果根据步骤958没有偏差差异，那么过程950直接进行至完成执行的步骤969。
图29是示出供标准化机器人厨房使用的微操纵对象的数据库库结构970的一实施例的表格。数据库库结构970示出了用于输入和存储特定微操纵的信息的若干字段，包括(1)微操纵的名称、(2)微操纵的分配代码、(3)与微操纵的性能相关联的标准化设备和工具的代码、(4)受操纵的(标准或非标准)对象(食材和工具)的初始位置和取向、(5)用户定义的(或在执行过程中从所记录的菜谱提取的)参数/变量、(6)时间线上的微操纵的机器手动作(用于所有伺服的控制信号)和连接反馈参数(来自任何传感器或视频监视系统)的序列。特定微操纵的参数可能取决于复杂性和执行微操纵所需的对象而有所不同。在该例子中，确定了四个参数：标准化厨房模块的体积内的起始XYZ位置坐标、速度、对象尺寸和对象形状。可以通过非标准参数定义或描述对象尺寸和对象形状。
图30是示出供标准化机器人厨房中使用的标准化对象的数据库库结构972的表格。标准对象数据库库结构972示出用于存储与标准对象有关的信息的若干字段，包括(1)对象的名称、(2)对象的图像、(3)对象的分配代码、(4)对象在XYZ坐标矩阵内的完整外形尺寸的虚拟3D模型，具有预定义的优选分辨率、(5)对象的虚拟向量模型(如果可得的话)、(6)对象的工作元素的定义和标记(可与手和其他对象接触以供操纵的元素)、以及(7)对于每一具体操纵而言对象的初始标准取向。
图31描绘了用于检查将作为标准化机器人厨房实施的菜谱复现过程的一部分使用的食材的质量的过程1000的执行。多模态传感器系统视频感测元件能够实施过程1006，其使用颜色检测和波谱分析来检测指示可能变质的变色。类似地，采用嵌入在厨房中的或者是机器手操纵的移动探头的部件的氨敏感传感器系统也能够检测变质的可能性。机器手和手指中的附加触觉传感器允许通过触摸感测过程1004验证食材的新鲜度，其中将测量对接触力的结实度和阻力(作为压缩距离的函数的挠曲量和挠曲率)。作为例子，对鱼而言，鱼鳃的颜色(深红)和水分含量是新鲜度的指示器，同样的还有眼睛应清澈(非模糊的)，并且正确解冻的鱼肉的适当温度不应超过40F。手指尖上的额外接触传感器能够通过触摸、摩擦以及拿住/拾取动作执行与食材的温度、纹理和总重量有关的额外质量检查1002。通过这些触觉传感器收集到的所有数据以及视频图像可在处理算法中用于判断食材的新鲜度以及决定是使用该食材还是将其丢弃。
图32示出了机器人菜谱脚本复现过程1010，其中配备了多模态传感器的头20以及具有拿食材和用具的多指手72的双臂与炊具1012相互作用。具有多模态传感器单元的机器人传感器头20用于对两条机器臂工作的三维任务空间持续进行建模和监视，同时还向任务抽象化模块提供数据以识别工具和用具、器具及其内容物和变量，从而允许将它们与烹饪过程序列生成的菜谱步骤进行比较以确保执行是遵循菜谱的计算机存储序列数据进行的。在烹饪过程的重要部分中，机器人传感器头20中的额外传感器用在可听领域中听声音以及用来闻气味。机器手72及其触觉传感器用于适当地操纵相应的食材，例如本实例中的鸡蛋；手指和手掌中的传感器能例如通过表面纹理和重量及其分布检测可用鸡蛋，并且在不打破鸡蛋的情况下握住鸡蛋和设置其取向。多指机器手72还能取来和操纵特定炊具，例如本实例中的碗，并且能够应用适当的动作和力来抓取和操纵烹饪用具(本实例中的搅拌器)，从而按照菜谱脚本的规定对食物食材进行正确的处理(例如，磕开鸡蛋，分离蛋黄，搅打蛋清直到获得粘稠成分为止)。
图33描绘了食材储存系统概念1020，其中能够存放任何所需烹饪食材(例如，肉、鱼、禽类、贝类、蔬菜等)的食物储存容器1022配备有传感器以测量和监视相应食材的新鲜度。嵌入在食物储存容器1022中的监视传感器包括但不限于氨传感器1030、易挥发有机化合物传感器1032、容器内温度传感器1026和湿度传感器1028。此外，可以采用由人类厨师或机器臂和手使用的手工探头，从而允许对较大食材的体积的内部(例如，肉的内部温度)进行关键测量(例如，温度)。
图34描绘了置于含有传感器和检测装置(例如，温度探头/探针)的食物储存容器1042中的作为食材新鲜度和质量检查的一部分实施的测量和分析过程1040。容器能够通过通信步骤1056在无线数据网络上借助于指定其容器ID的元数据标签1044将其数据集转发至主服务器，所述数据集包括温度数据1046、湿度数据1048、氨水平数据1050、易挥发有机化合物数据1052，在主服务器处食品控制质量引擎对容器数据进行处理。处理步骤1060采用容器特定的数据1044，并将其与认为可接受的数据值和范围进行比较，所述数据值和范围存储于介质1058中并且由数据检索和存储过程1054检索。之后，由一组算法针对食材的适合性做出判定，通过单独的通信过程1062经由数据网络提供实时的食物质量分析结果。之后，在另一过程1064中采用所述质量分析结果，其中所述结果被转发至机器臂，以用于实施进一步的动作，也可以远程显示在屏幕上(例如，智能电话或其他显示器)以供用户决定是在烹饪过程中将该食材用于后续消耗，还是将其作为废品丢弃。
图35描绘了标准化厨房中采用的预填充食材容器1070的功能和处理步骤，其中不论所述厨房是标准化机器人厨房还是厨师工作室。食材容器1070被设计为具有不同的尺寸1082并且意图被设计为具有变化的用途，适于适当的储存环境1080以通过冷藏、冷冻、冷却等容纳易腐食物从而获得特定的储存温度范围。此外，食材储存容器1070还被设计为适于不同类型的食材1072，所述容器已被预先加上了标签，并且被预填充有固体(盐、面粉、大米等)、粘性/粘稠(芥末、蛋黄酱、杏仁糖、果子酱等)或液体(水、油、牛奶、料汁等)食材，其中分发过程1074根据食材类型而利用多种不同的应用器件(滴管、滑槽、蠕动给料泵等)，借助于运行剂量控制过程1076的剂量控制引擎1084进行准确的计算机可控的分发，确保在正确的时间分发正确量的食材。应指出，菜谱指定的剂量是可通过菜单界面或者甚至通过远程电话应用加以调整的，以适应个人口味或饮食规定(低钠等)。剂量控制引擎1084基于菜谱指定的量执行剂量确定过程1078，通过人工释放命令或者基于分配器的出口点处的特定分配容器的检测通过远程计算机控制来进行分配。
图36是示出供标准化机器人厨房50中使用的菜谱系统结构1000的框图。食物制备过程1100示为沿烹饪时间线划分成多个阶段，每一阶段具有针对每一阶段1102、阶段1004、阶段1106和阶段1108的一个或多个原始数据块。数据块可含有若干元素，例如，视频图像、音频记录、文本描述以及形成了控制程序的一部分的机器可读、可理解指令和命令集合。原始数据集合包含在菜谱结构内，并且表示从菜谱复现过程开始到烹饪过程结束沿时间线的每一烹饪阶段或其中的任何子过程，所述时间线被以变化的时长水平和时间顺序划分成许多时间顺序阶段。
图37A-37C是示出供标准化机器人厨房中使用的菜谱搜索菜单的框图。如图37A所示，菜谱搜索菜单1120提供最为通用的类别，例如，烹饪风格类型(例如，意大利、法国、中国)、菜肴基础食材(例如，鱼、猪肉、牛肉、意大利面)、或者标准和范围，例如，烹饪时间范围(例如，短于60分钟，20至40分钟)，以及进行关键字搜索(例如，乳清干酪猫耳面、黑布丁蛋糕)。选定的个性化菜谱可以排除具有过敏食材的菜谱，其中用户可以在个人用户简档中指示其应当避免的过敏食材。在图37B中，用户可以选择搜索标准，包括烹饪时间短于44分钟，上足够7人吃的份，提供素食者菜肴选项、总卡路里数不超过4521等要求。图37C示出了不同类型的菜肴1122，其中菜单1120具有等级层次，从而用户可以选择类别(例如，菜肴类型)1122，之后展开到下一级的子类别(例如，开胃食品、沙拉、主菜……)，以细化选择。在图37D中示出了所实施的菜谱创建和提交的屏幕快照。在图37N-V中示出了各种图形用户界面和菜单选项的额外屏幕快照。
图37E到37M示出了菜谱过滤器、食材过滤器、设备过滤器、账号和社交网访问、个人合作伙伴页、购物车页以及有关购买的菜谱、注册设置、创建菜谱的信息的功能流程图的一实施例，其示出了机器人食物制备软件14能够基于数据库的过滤和向用户呈现信息而执行的各种功能。如图37E所演示的，平台用户能够访问菜谱部分，选择用于自动机器人烹饪的期望菜谱过滤器1130。最常用的过滤器类型包括烹饪风格类型(例如，中国、法国、意大利)、烹饪类型(例如，烘焙、蒸、炸)、素食菜肴、以及糖尿病人食物。用户将能够从过滤后的搜索结果中查看菜谱细节，例如，描述、照片、食材、价格和评价。在图37F中，用户能够出于其自己的目的选择期望的食材过滤器1132，例如，有机食品、食材类型、或食材品牌。在图37G中，用户能够针对自动机器人厨房模块应用设备过滤器1134，例如，设备的类型、品牌、制造商。在做出选择之后，用户将能够直接通过来自相关卖家的系统门户购买菜谱、食材或设备产品。平台允许用户出于其自己的目的建立额外的过滤器和参数，这使得整个系统是可定制的并且时常更新。用户增加的过滤器和参数将在受到管理者(moderator)批准之后呈现为系统过滤器。
在图37H中，用户能够通过登录用户账户1136经由平台的社交专业网络连接至其他用户和卖家。有可能通过信用卡和地址细节验证网络用户的身份。账号门户还起着交易平台的作用，供用户共享或售卖其菜谱，以及向其他用户做广告。用户也可以通过账户门户管理其账户财务和设备。
图37I演示了平台用户之间的合作伙伴关系的例子。一个用户能够提供其食材的全部信息和细节，另一用户提供其设备的全部信息和细节。在将所有信息添加至平台/网站数据库之前必须通过仲裁者对这些信息进行过滤。在图37J中，用户能够在购物车1140中看到其购买信息。也可以改变其他选项，例如，送货和支付方式。用户还能够基于其购物车中的菜谱购买更多食材或设备。
图37K示出了能够从菜谱页面1560访问的有关所购买的菜谱的其他信息。用户能够读、听、看如何烹饪以及执行自动机器人烹饪。还有可能从菜谱页面与卖家或技术支持进行有关菜谱的通信。
图37L是示出来自“我的账户”页1136和设置页1138的平台的不同层的框图。用户将能够从“我的账户”页读取专业烹饪新闻或博客，并且能够写要发表的文章。通过“我的账户”下面的菜谱页，用户可以有多种途径创建其自身的菜谱1570，如图37M所示。用户能够通过捕获厨师烹饪活动或者通过从软件库中选择操纵序列来创建自动机器人烹饪脚本，由此创建菜谱。用户还可以通过简单地列举食材/设备来创建菜谱，然后添加音频、视频或图片。用户能够从菜谱页对所有的菜谱进行编辑。
图38是示出选择供标准化机器人厨房中使用的字段的菜谱搜索菜单1150的框图。通过用搜索标准或范围来选择种类，用户60接收到列举出各种菜谱结果的返回页面。用户60能够根据诸如用户评价(例如，从高到低)、专家评价(例如，从高到低)或者食物制备持续时间(例如，从短到长)之类的标准来对结果进行排序。计算机显示器可以包含菜谱的照片/媒体、标题、描述、评价和价格信息，任选地带有“阅读更多”按钮的选项卡，该选项卡可以调出完整的菜谱页面，以供浏览有关该菜谱的进一步信息。
图39中的标准化机器人厨房50描绘了使用增强传感器系统1854的可行配置。增强传感器系统1854示出了位于可移动计算机可控线性轨道上的单个增强传感器系统1854，该轨道延伸厨房轴的长度那么长，旨在有效地覆盖标准化厨房的整个可视三维工作空间。
基于机器人厨房某处(例如，在计算机可控轨道上或者在具有臂和手的机器人躯干上)的增强传感器系统1854的适当放置，允许在用于机器特定的菜谱脚本生成的厨师监视期间以及在标准化机器人厨房50中的菜肴复现的各个阶段中对机器人执行步骤的进展以及成功完成进行监视期间，进行3D跟踪和原始数据生成。
图39中的标准化机器人厨房50描绘了使用增强传感器系统20的可行配置。标准化机器人厨房50示出了置于可移动计算机可控线性轨道上的单个增强传感器系统20，该轨道延伸厨房轴的长度那么长，旨在有效地覆盖标准化厨房的整个可视三维工作空间。
图40是示出具有用于食物制备环境的实时三维建模1160的多个摄像机传感器和/或激光器20的标准化厨房模块50的框图。机器人厨房烹饪系统48包括三维电子传感器，其能够为计算机提供实时原始数据，以供建立厨房操作环境的三维模型。实时三维建模过程的一种可行实施方式涉及使用三维激光扫描。实时三维建模的一种替代实施方式是采用一个或多个视频摄像机。第三种方法涉及采用摄像机观察到的投影光图案，即所谓的结构光成像。三维电子传感器对厨房操作环境进行实时扫描，以提供厨房模块中的工作空间的视觉表示(形状和外形尺寸数据)1162。例如，三维电子传感器实时地捕获机器臂/手是否拾取了肉或鱼的三维图像。厨房的三维模型还起着一些“人眼”的作用，用于对抓取对象进行调整，因为一些对象可能具有非标准的外形尺寸。计算机处理系统16生成工作空间内的三维几何形状和对象的计算机模型，并且提供控制信号1164回到标准化机器人厨房50。例如，厨房的三维建模能够提供具有期望间隔的三维分辨率网格，例如，在网格点之间具有1厘米的间隔。
标准化机器人厨房50描绘了使用一个或多个增强传感器系统20的另一可行配置。标准化机器人厨房50示出了置于沿厨房轴长度的厨房工作表面上方的拐角处的多个增强传感器系统20，其旨在有效地覆盖标准化机器人厨房50的整个可视三维工作空间。
标准化机器人厨房50中的增强传感器系统20的适当放置允许使用视频摄像机、激光器、声纳以及其他二维和三维传感器系统进行三维感测，从而实现对原始数据的收集以辅助产生经处理的数据，由此随着机器臂、手、工具、设备和器具在标准化机器人厨房50中的菜肴复现的多个顺序阶段中涉及不同的步骤而获得它们的形状、位置、取向和活动的实时动态模型。
在每一时间点上收集原始数据，从而允许对原始数据进行处理，以便能够在步骤1162中提取出对于标准化机器人厨房50中的菜肴复现的多个顺序阶段中的不同步骤具有重要性的所有物体的形状、外形尺寸、位置和取向。通过计算机系统对经处理的数据做进一步分析，从而允许标准化机器人厨房的控制器通过修改机器人脚本定义的控制信号来调整机器臂和手的轨迹以及微操纵。考虑到很多变量(食材、温度等)可能发生变化，所以对菜谱脚本执行进而控制信号进行适应性调整对于成功完成特定菜肴的复现的每一阶段是很关键的。在标准化机器人厨房50内执行特定菜肴的复现步骤的过程中，基于关键可测量变量的菜谱脚本执行过程是使用增强(又称为多模态)传感器系统20的关键部分。
图41A是示出机器人厨房原型的示意图。原型厨房具有三层，顶层包括用于使两条臂在烹饪时沿之移动的轨道系统、用于使两条机器臂返回至充电座并且允许在不用其烹饪时或者在将厨房设为人工烹饪模式时对其进行存放的可收缩机罩。中间层包括水槽、炉子、烤架、烤箱和通向食材储存设备的工作台面。中间层还具有计算机监视器以操作设备、选择菜谱、观看视频和文本指令、以及收听音频指令。下层包括用于以最佳条件存放食物/食材的自动容器系统，其有可能根据菜谱需要而将食材自动输送至烹饪体积处。厨房原型还包括烤箱、洗碗机、烹饪工具、附件、炊具摆放柜、抽屉和垃圾箱。
图41B是示出具有透明材料外壳的机器人厨房原型的图，该外壳在进行机器人烹饪过程时用作保护机构以防止对周围的人造成可能的伤害。透明材料外壳可由各种透明材料制成，例如玻璃、玻璃纤维、塑料或任何其他适当材料。在一例子中，透明材料外壳包括自动玻璃门(或多个门)。如本实施例中所示，自动玻璃门定位成从上往下或从下往上(从底部部分)滑动以在涉及使用机器臂的烹饪过程中出于安全原因而关闭。透明材料外壳的设计可能存在变化，例如，竖直下滑、竖直上滑、水平从左向右滑、水平从右向左滑、或者可以采取允许厨房中的透明材料外壳充当保护机构的任何其他放置方法。
图41C描绘了标准化机器人厨房的实施例，其中台面表面和机罩内面规定的体积具有水平滑动玻璃门1190，其可以手工地或者在计算机控制下左右移动从而将机器臂/手的工作空间与其周围分隔开，由此实现保护站得靠近厨房的人、或者限制污染物进出厨房工作区域、或者甚至允许在封闭体积内的更好气候控制的目的。自动滑动玻璃门左右滑动，从而在涉及使用机器臂的烹饪过程中出于安全的原因关闭。
图41D描绘了标准化机器人厨房的实施例，其中台面或工作表面包括具有通往机器人厨房柜台的底部橱柜体积内的食材储存体积的滑动门1200的区域。门可以手工地或者在计算机控制下滑开以允许访问其内的食材容器。无论是手工地还是在计算机控制下，一个或多个特定容器可以通过食材储存和供给单元被馈送至台面层，从而允许手工(在该描述中通过机器臂/手)拿取该容器、其盖子、进而容器内的内容物。然后，机器臂/手可以打开盖子，取回所需食材，并将食材放到适当的位置(盘、平底锅、锅等)，而后重新密封容器并将其放回到食材储存和供给单元上或其中。然后，食材储存和供给单元将容器放回到单元内的适当位置以供后续再次使用、清洁或重新备料。这一供给和重新堆放食材容器以供机器臂/手访问的过程是一个一体的且重复的过程，形成菜谱脚本的一部分，因为菜谱复现过程内的某些步骤基于标准化机器人厨房50可能涉及其中的菜谱脚本执行的阶段而需要一种或多种特定类型的食材。
为了拿取食材储存和供给单元，可以打开具有滑动门的台面部分，其中菜谱软件控制所述门并且将指定容器和食材移动到拿取位置，在该位置处机器臂可以拾取容器，打开盖子，将食材从容器移出到指定位置，重新封上盖子并将容器移回到储存器。容器被从拿取位置移回到其在储存单元内的默认位置，然后将新的/下一个容器项目上载到拿取位置以供拾取。
图41E描绘了食材储存和供给单元1210的替代实施例。可以采用计算机控制的馈送机构分配特定的或重复使用的食材(盐、糖、面粉、油等)，或者允许通过人或者机器人的手或手指进行的手动触发，以释放特定量的特定食材。可以通过人或机器人的手在触摸面板上手工输入所要分配的食材量，或者可以通过计算机控制提供所要分配的食材量。然后，可以在菜谱复现过程中的任何时间收集所分配的食材或将其馈送到一件厨房设备(碗、平底锅、锅等)中。食材供给和分配系统的这一实施例可看作是更加经济有效并且具有空间效率的方案，同时还减小了容器操纵复杂性以及机器臂/手的浪费运动时间。
在图41F中，标准化机器人厨房的实施例包括后挡板区域1220，该区域中安装有具有触摸屏区域的虚拟监视器/显示器，从而允许人按照手动模式对厨房进行操作以与机器人厨房及其元件进行交互。计算机投影图像以及监视投影区域的单独摄像机能够基于投影图像中的位置判断人手及其手指在做出具体选择时处于什么位置，然后系统基于其来相应地采取动作。虚拟触摸屏允许访问标准化机器人厨房50内的设备的所有方面的所有控制和监视功能，检索和存储菜谱，浏览所存储的人类厨师的完整或部分菜谱执行步骤的视频，以及收听与特定菜谱中的特定步骤或操作有关的人类厨师语音描述和指令的可听重放。
图41G描绘了构建到标准化机器人厨房中的单个或一系列机器人硬自动化装置1230。所述一个或多个装置是可编程的并且可由计算机远程控制的，被设计为馈送或提供菜谱复现过程中所需的预包装或预测度的量的专用食材元素，例如香料(盐、胡椒粉等)、液体(水、油等)或者其他干食材(面粉、糖、发酵粉等)。这些机器人自动化装置1230定位成使得其可被机器臂/手容易地拿取到，从而允许它们被机器臂/手或者人类厨师的臂/手所使用，从而基于菜谱脚本中指定的需求来设置和/或触发预定量的选定食材的释放。
图41H描绘了构建到标准化机器人厨房中的单个或一系列机器人硬自动化装置1340。所述一个或多个装置是可编程并且可由计算机远程控制的，被设计为馈送或提供菜谱复现过程中所需的预包装或预测度的量的常用并且重复使用的食材元素，其中剂量控制引擎/系统能够恰好提供适当的量给一件特定的设备，例如碗、锅或平底锅。这些机器人自动化装置1340定位成使得其可被机器臂/手容易地拿取到，从而允许它们被机器臂/手或者人类厨师的臂/手所使用，从而基于菜谱脚本中指定的需求设置和/或触发受剂量引擎控制的选定食材量的释放。食材供给和分配系统的这一实施例可看作是更加经济有效并且具有空间效率的方案，同时还减小了容器操纵复杂性以及机器臂/手的浪费运动时间。
图41I描绘了配备有通风系统1250以及自动烟雾/火苗检测和抑制系统1252的标准化机器人厨房，前者用于在自动化烹饪过程中抽出烟和蒸汽，后者用于熄灭任何有害烟雾和危险火苗的来源，其还允许滑动门的安全玻璃包围标准化机器人厨房50以控制受影响的空间。
图41J描绘了具有废料管理系统1260的标准化机器人厨房50，废料管理系统1260位于下橱柜中的位置内，从而允许通过一组具有可移动盖子的垃圾容器容易并且快速地清除可回收(玻璃、铝等)和不可回收(食物碎屑等)物品，所述可移动盖子具有密封元件(垫圈、O环等)以提供气密密封，从而使气味不会飘散到标准化机器人厨房50内。
图41K描绘了具有顶装式洗碗机1270的标准化机器人厨房50，洗碗机1270位于厨房中便于机器人加载和卸载的某一位置。洗碗机包括密封盖，其在自动化菜谱复现步骤执行过程中还可以用作砧板或者具有集成排水沟槽的工作空间。
图41L描绘了具有仪器化食材质量检查系统1280的标准化厨房，仪器化食材质量检查系统1280包括具有传感器和食物探头的仪器化面板。该区域包括处于后挡板上的能够检测置于该区域内的食材的多个物理和化学特性的传感器，所述特性包括但不限于变质(氨传感器)、温度(热电偶)、挥发性有机化合物(生物质分解散发的)以及湿气/湿度(湿度计)含量。还可以提供采用温度传感器(热电偶)检测装置的食物探头，以供机器臂/手持有来探测特定烹饪食材或元素的内部属性(例如，红肉、禽肉等的内部温度)。
图42A以平面图50描绘了标准化机器人厨房的实施例，应理解，可以按不同的样式布置其中的元素。标准化机器人厨房被划分为三个层级，即顶层1292-1、柜台层1292-2和下层1292-3。
顶层1292-1含有具有不同单元的多个橱柜型模块，其借助于内置的器具和设备执行特定厨房功能。在最简单的级别上，包含搁板/橱柜储存区域1294、用于储存和访问烹饪工具和器具以及其他烹饪和上菜用具(烹饪、烘焙、装盘等)的橱柜体积1296、用于特定食材(例如，水果和蔬菜等)的存放成熟(storage ripening)橱柜体积1298、用于诸如莴苣和洋葱之类的物品的冷藏储存区1300、用于深度冷冻物品的冷冻储存橱柜体积1302、以及用于其他食材和很少使用的香料等的另一储存储藏柜1304。
柜台层1292-2不仅容纳机器臂70，而且还包括上菜柜台1306、具有水槽的柜台区域1308、具有可移除的工作表面(切/斩案板等)的另一柜台区域1310、基于炭的板条式烤架1312、以及用于其他烹饪器具的多用途区域1314，所述其他烹饪器具包括炉、煮锅、蒸锅和炖蛋锅。
下层1292-3容纳组合对流烤箱和微波炉1316、洗碗机1318和较大橱柜体积1320，较大橱柜体积1320保持和存放其他频繁使用的烹饪和烘焙用具以及餐具、包装材料和刀具。
图42B描绘了标准化机器人厨房的透视图50，其在具有x轴1322、y轴1324、z轴1326的xyz坐标系内描绘了顶层1292-1、柜台层1292-2和下层1294-3的位置，从而允许在标准化机器人厨房内为机器臂34的定位提供适当的几何参照。
机器人厨房50的透视图清晰地确定了许多可行布局之一以及在所有三个层级的设备的位置，所述三个层级包括顶层1292-1(储存储藏柜1304、标准化烹饪工具和用具1320、存放成熟区1298、冷藏储存区1300、冷冻储存区1302)、柜台层1292-2(机器臂70、水槽1308、斩/切区1310、炭烤架1312、烹饪器具1314和上菜柜台1306)以及下层(洗碗机1318以及烤箱和微波炉1316)。
图43A描绘了标准化机器人厨房布局的一个可行物理实施例的平面图，其中厨房被构建成更具线性的基本矩形水平布局，描绘了供用户操作设备、选择菜谱、观看视频和收听所记录的厨师指令的内置监视器1328、以及用于在机器臂操作期间包围标准化机器人烹饪体积的开放面的计算机自动控制左/右可移动透明门1330。
图43B描绘了标准化机器人厨房布局的一可行物理实施例的透视图，其中厨房被构建成更具线性的基本矩形水平布局，描绘了供用户操作设备、选择菜谱、观看视频和收听所记录的厨师指令的内置监视器1332、以及用于在机器臂操作期间包围标准化机器人烹饪体积的开放面的计算机自动控制左/右可移动透明门1334。在图43C-43E中示出了标准化机器人厨房中的样本屏幕快照，图43F示出了样本厨房模块规格。
图44A描绘了标准化机器人厨房布局的另一可行物理实施例的平面图，其中厨房被构建成更具线性的基本矩形水平布局，描绘了供用户操作设备、选择菜谱、观看视频和收听所记录的厨师指令的内置监视器1336、以及用于在机器臂操作期间包围标准化机器人烹饪体积的开放面的计算机自动控制左/右可移动透明门1338。
图44B描绘了标准化机器人厨房布局的另一可行物理实施例的透视图，其中厨房被构建成更具线性的基本矩形水平布局，描绘了供用户操作设备、选择菜谱、观看视频和收听所记录的厨师指令的内置监视器1340、以及用于在机器臂操作期间包围标准化机器人烹饪体积的开放面的计算机自动控制左/右可移动透明门1342。
图45描绘了标准化机器人厨房50中的可伸缩实物1350的透视布局图，其中一对机器臂、腕和多指手一体地在棱柱式(通过线性分级延伸)可伸缩致动的躯干上沿竖直y轴1352和水平x轴1354移动，以及绕经过其自身躯干的中心线的竖直y轴旋转移动。致动器嵌入在躯干和上方层级中以允许这些线性和旋转运动，由此允许机器臂在菜谱脚本描述的菜谱的复现的所有部分当中可移动到标准化机器人厨房中的不同地方。这些多种运动是能够正确地复现在人类厨师烹饪的菜肴创建过程中在厨师工作室厨房设备中观察到的人类厨师49的活动所必需的。
图46A描绘了标准化机器人厨房布局的一物理实施例1356的平面图，其中厨房被构建成更具线性的基本矩形水平布局，描绘了具有手腕和多指手的一组双机器臂，其中，每个臂基部既不是安装在一组可移动轨道上，也不是安装在可旋转躯干上，而是固定不可移动地安装到同一个机器人厨房竖直表面上，由此定义和固定机器人躯干的位置和尺寸，但是仍允许两条机器臂协同工作并且抵达烹饪表面的所有区域和所有设备。
图46B描绘了标准化机器人厨房布局的一物理实施例1358的透视图，其中厨房被构建成更具线性的基本矩形水平布局，描绘了具有手腕和多指手的一组双机器臂，其中，每个臂基部既不是安装在一组可移动轨道上，也不是安装在可旋转躯干上，而是固定不可移动地安装到同一个机器人厨房竖直表面上，由此定义和固定机器人躯干的位置和尺寸，但是仍允许两条机器臂协同工作并且抵达烹饪表面的所有区域和所有设备(后壁上的烤箱、机器臂下面的灶口以及机器臂一侧的水槽)。
图46C描绘了标准化机器人厨房的一可行物理实施例1360的带尺寸的正视图，标注了其沿y轴的高度和沿x轴的宽度，总体上为2284mm。
图46D描绘了标准化机器人厨房的一可行物理实施例1362的带尺寸的侧视截面图，标注了其沿y轴的高度分别为2164mm和3415mm。
图46E描绘了标准化机器人厨房的一物理实施例1364的带尺寸的侧视图，标注了其沿y轴的高度和沿z轴的深度分别为2284mm和1504mm。
图46F描绘了包括一对机器臂1368的标准化机器人厨房的一物理实施例1366的带尺寸的俯视截面图，标注了整个机器人厨房模块沿z轴的深度总体上为1504mm。
图46G描绘了标准化机器人厨房的一物理实施例的通过截面图加强了的三视图，示出了沿x轴的总长度为3415mm，沿y轴的总高度为2164mm，沿z轴的总深度为1504mm，其中截面侧视图中的总高度表明沿z轴的总高度为2284mm。
图47是示出供标准化机器人厨房50使用的可编程储存系统88的框图。基于储存系统88内的相对xy位置坐标在标准化机器人厨房50中将可编程储存系统88结构化。在本示例中，可编程储存系统88具有二十七个(27；排列成9×3矩阵)储存位置，其具有九列三行。可编程储存系统88能够充当冷冻器位置或冰箱位置。在本实施例中，二十七个可编程储存位置中的每个包括四种类型的传感器：压力传感器1370、湿度传感器1372、温度传感器1374和气味(嗅觉)传感器1376。由于每个储存位置可通过其xy坐标而被识别，所以机器人设备能够访问选定的可编程储存位置以获得该位置的制备菜肴所需的食物项目。计算机16还能监视每个可编程储存位置的适当温度、适当湿度、适当压力和适当气味概况，以确保对特定食物项目或食材的最佳储存条件进行监视和维持。
图48描绘了容器储存站86的正视图，其中可通过计算机监视和控制温度、湿度和相对氧含量(以及其他室内条件)。该储存容器单元中可包括但不限于食品柜/干储存区域1304、对酒重要的具有可单独控制的温度和湿度的成熟区1298(用于水果/蔬菜)、用于农产品/水果/肉类的低温储存从而优化储藏寿命的冷藏单元1300、以及用于长期储存其他物项(肉、烘焙货品、海鲜、冰激凌等)的冷冻单元1302。
图49描绘了将由人类厨师以及机器臂和多指手访问的食材容器1380的正视图。标准化机器人厨房的这一区块包括但不一定限于包括如下的多个单元：食材质量监视仪表板(显示器)1382、计算机化测量单元1384(包括条形码扫描器、摄像机和刻度)、具有用于食材的验入验出的自动化架式搁板的单独台面1386、以及用于清除适于回收的可回收硬物品(玻璃、铝、金属等)和软物品(食物残余和碎屑等)的回收单元1388。
图50描绘了食材质量监视仪表板1390，其为供人类厨师使用的计算机控制显示器。该显示器允许用户查看对人和机器人烹饪的食材供给和食材质量方面重要的多个项目。这些包括对如下项目的显示：概括有什么可用的食材库存总览1392、所选择的各个食材及其营养成分和相对分布1394、与储存类别(肉、蔬菜等)有关的量和专门储存1396、描绘未到的截止日期以及完成/重新补足日期和物项的时间表1398、用于任何种类的警报(感测到变质、异常温度或故障等)的区域1400、以及语音解释器命令输入的选项1402，从而允许人类用户借助于仪表板1390与计算机化库存系统进行交互。
图51是示出菜谱参数的库数据库1410的一例子的表格。菜谱参数的库数据库1410包括很多类别：膳食分组概况1402、烹饪风格类型1404、媒体库1406、菜谱数据1408、机器人厨房工具和设备1410、食材分组1412、食材数据1414和烹饪技术1416。这些类别中的每个提供在菜谱选择当中可用的详细选择的列举。膳食分组概况包括诸如年龄、性别、体重、过敏症、用药情况和生活方式之类的参数。烹饪风格类型分组概况1404包括根据地区、文化或宗教定义的烹饪风格类型，烹饪设备类型分组概况1410包括诸如平底锅、烤架或烤箱以及烹饪持续时间之类的项目。菜谱数据分组概况1408包含诸如菜谱名称、版本、烹饪和制备时间、所需工具和器具等之类的项目。食材分组概况1412包含被分组成诸如乳制品、水果和蔬菜、谷物和其他碳水化合物、各种类型的流体、以及各种蛋白质(肉、豆)等之类的项目的食材。食材数据分组概况1414包含诸如名称、描述、营养信息、储存和操纵指令等之类的食材描述符数据。烹饪技术分组概况1416含有关于具体烹饪技术的信息，被分组为诸如机械技术(涂油脂、切斩、擦碎、切碎等)和化学处理技术(腌制、酸渍、发酵、烟熏等)之类的领域。
图52是示出记录厨师的食物制备过程的一实施例的过程1420的一实施例的流程图。在步骤1422，在厨师工作室44中，多模态三维传感器20扫描厨房模块体积以定义其中的标准化厨房设备和所有对象的xyz坐标位置和取向，不论是静态的还是动态的。在步骤1424，多模态三维传感器20扫描厨房模块体积以找到诸如食材之类的非标准化对象的xyz坐标位置。在步骤1426，计算机16创建所有非标准化对象的三维模型，并且将它们的类型和属性(大小、外形尺寸、用法等)存储到计算机的系统存储器中(在计算装置上或者在云计算环境)，并且定义非标准化对象的形状、尺寸和类型。在步骤1428，厨师活动记录模块98配置为通过厨师手套感测和捕获在连续时程中厨师的臂、手腕和手的活动(优选根据标准微操纵对厨师的手的活动进行识别和分类)。在步骤1430，计算机16将所感测和捕获的厨师在制备食物菜肴时的活动的数据存储到计算机的存储器储存装置中。
图53是示出机器人设备制备食物菜肴的一实施例的过程1440的一实施例的流程图。在步骤1442，机器人厨房48中的多模态三维传感器20扫描厨房模块体积以找到非标准化对象(食材等)的xyz位置坐标。在步骤1444，机器人厨房48中的多模态三维传感器20创建在标准化机器人厨房50中检测到的非标准化对象的三维模型，并且将非标准化对象的形状、尺寸和类型存储到计算机存储器中。在步骤1446，机器人烹饪模块110根据转换后的菜谱文件开始菜谱的执行，以相同的步调，采用相同的活动并且用类似的持续时间复现厨师的食物制备过程。在步骤1448，机器人设备采用一个或多个微操纵以及动作基元的组合执行转换后的菜谱文件的机器人指令，从而使机器人标准化厨房中的机器人设备制备出就像厨师49亲自制备食物菜肴那样的相同或基本相同的食物菜肴。
图54是示出在机器人相对于厨师获得相同或基本相同的食物菜肴制备结果的过程中质量和功能调整1450的一实施例的过程的流程图。在步骤1452，质量检查模块56配置为通过一个或多个多模态传感器、机器人设备上的传感器监视和验证菜谱复现过程并且采用抽象化软件来比较来自机器人设备的输出数据和来自软件菜谱文件的受控数据，来进行质量检查，所述软件菜谱文件是通过当执行相同的菜谱时对人类厨师在标准化机器人厨房的厨师工作室版本中执行的烹饪过程进行监视和抽象化而创建的。在步骤1454，机器人食物制备引擎56配置为检测和确定将要求机器人设备对食物制备过程做出调整的任何差异，例如，至少监视食材的大小、形状或取向的差异。如果存在差异，则机器人食物制备引擎56配置为通过基于原始的和经处理的感测输入数据调整该特定食物菜肴处理步骤的一个或多个参数来对食物制备过程进行修改。在步骤1454，做出对菜谱脚本中所存储的过程变量与所感测和抽象化的过程进展之间的可能差异采取行动的判定。如果标准化机器人厨房中的烹饪过程的过程结果与菜谱脚本中对该过程步骤描述的结果等同，那么如菜谱脚本描述的那样继续进行食物制备过程。如果基于原始和经处理的感测输入数据要求对该过程做出修改或调适，那么通过对确保使过程变量顺应菜谱脚本中对该过程步骤描述的那些所需的任何参数进行调整，来执行调适过程1556。在成功结束调适过程1456后，食物制备过程1458如菜谱脚本序列中说明的那样继续进行。
图55是示出机器人厨房通过复现来自机器人厨房中所记录的软件文件的厨师活动来制备菜肴的过程1460的第一实施例的流程图。在步骤1462，用户通过计算机选择特定菜谱以供机器人设备制备食物菜肴在步骤1464，机器人食物制备引擎56配置为检索所选择菜谱的抽象化菜谱以供食物制备。在步骤1468，机器人食物制备引擎56配置为将所选菜谱脚本上载到计算机存储器中。在步骤1470，机器人食物制备引擎56计算食材可得性和所需烹饪时间。在步骤1472，机器人食物制备引擎56配置为如果根据所选菜谱和上菜时间安排制备菜肴的食材短缺或时间不足时，发出警报或通知。在步骤1472，机器人食物制备引擎56发出警报，以将缺少或不足的食材放到购物清单上，或者选择替代菜谱。在步骤1474，确认用户的菜谱选择。在步骤1476，机器人食物制备引擎1476配置为检查是否到了开始制备菜谱的时间。在步骤1476，过程1460暂停，直到到达开始时间。在步骤1460，机器人设备检查每一食材的新鲜度和状况(例如，购买日、到期日、气味、颜色)。在步骤1462，机器人食物制备引擎56配置为向机器人设备发送指令，以将食物或食材从标准化容器移到食物制备位置。在步骤1464，机器人食物制备引擎56配置为指示机器人设备在开始时间“0”通过根据软件菜谱脚本文件复现食物菜肴来开始食物制备。在步骤1466，标准化厨房50中的机器人设备采用与厨师的臂和手指一样的活动、相同的食材、相同的步调以及相同的标准化厨房设备和工具复现食物菜肴。在步骤1468，机器人设备在食物制备过程中进行质量检查，以做出任何必要的参数调整。在步骤1470，机器人设备完成了食物菜肴的复现和制备，因此制备将食物菜肴装盘和上菜。
图56示出了储存容器的验入(check-in)和识别的过程1480。在步骤1482，用户使用质量监视仪表板选择验入食材。然后在步骤1484，用户在验入站或柜台处扫描食材包装。在步骤1486，机器人烹饪引擎采用来自条形码扫描器、秤、摄像机和激光扫描器的附加数据处理食材特定的数据并且将其映射至其食材和菜谱库，并且分析其任何潜在的过敏影响。基于步骤1488，如果存在过敏可能性，那么在步骤1490系统决定通知用户并且出于安全原因舍弃该食材。如果认为食材可接受，那么在步骤1492系统将其记入日志并且进行确认。在步骤1494，用户可以打开包装(如果还没打开包装)，并倒出该物项。在后续步骤1496，该物项被包装(锡箔、真空袋等)，并打上具有打印到其上的所有必要食材数据的计算机打印标签，并且基于识别结果移到储存容器和/或储存位置。然后在步骤1498，机器人烹饪引擎更新其内部数据库，并且在其质量监视仪表板中显示可用食材。
图57描绘了从储存器验出(check-out)食材以及烹饪制备过程1500。在第一步骤1502，用户利用质量监视仪表板选择验出食材。在步骤1504，用户基于一个或多个菜谱所需的单个物项选择要验出的物项。然后在步骤1506，计算机化厨房采取行动以将包含选定物项的特定容器从其储存位置移到柜台区域。在用户于步骤1508中拾取了物项的情况下，用户在步骤1510中按很多可行方式(烹饪、丢弃、回收等)中的一种或多种对该物项进行处理，在步骤1512中将剩余物项重新验入回到系统内，其于是结束用户与系统的交互1514。在标准化机器人厨房中的机器臂接收到所检索的食材物项的情况下，执行步骤1516，其中臂和手对照食材物项的标识数据(类型等)和状况(到期日、颜色、气味等)检查容器内的每一食材物项。在质量检查步骤1518，机器人烹饪引擎做出有关可能的物项不匹配或检测到的质量状况的判定。在物项不适当的情况下，步骤1520发送警报给烹饪引擎，使其随后进行适当的操作。如果食材具有可接受的类型和质量，那么机器臂在步骤1522中移动该物项，以供在下一烹饪过程阶段内使用。
图58描绘了自动化烹饪前制备过程1524。在步骤1530，机器人烹饪引擎基于特定菜谱计算裕量和/或浪费的食材材料。接下来在步骤1532，机器人烹饪引擎搜索所有可能的用于采用每种食材执行菜谱的技术和方法。在步骤1534，机器人烹饪引擎针对时间和能耗计算并优化食材使用和方法，尤其是对需要并行多任务处理的菜肴而言。然后，机器人烹饪引擎为所安排的菜肴建立多级别烹饪规划1536，并向机器人厨房系统发送烹饪执行请求。在下一步骤1538中，机器人厨房系统将烹饪过程所需的食材以及烹饪/烘焙用具从其自动化搁架系统移出，并且在步骤1540中对工具和设备进行组装，设立各种工作站。
图59描绘了菜谱设计和脚本建立过程1542。作为第一步骤1544，厨师选择特定菜谱，然后在步骤1546中针对其输入或编辑菜谱数据，包括但不限于名称和其他元数据(背景、技术等)。在步骤1548，厨师基于数据库和相关的库输入或编辑所需食材，并且输入菜谱所需的相应重量/体积/单位的量。在步骤1550中厨师基于数据库和相关库中可用的技术选择菜谱制备中采用的必要技术。在步骤1552，厨师执行类似的选择，但是这次其关注的是执行菜肴的菜谱所需的烹饪和制备方法的选择。之后，结束步骤1554允许系统建立菜谱ID，其对于后续的数据库储存和检索将是有用的。
图60描绘了用户可能如何选择菜谱的过程1556。第一步骤1558要求用户通过计算机或移动应用从在线市场商店购买菜谱或订购菜谱购买计划，由此实现能够复现的菜谱脚本的下载。在步骤1560，用户基于个人偏好设置以及现场食材可用性搜索在线数据库并且从所购买的或者作为订购的一部分而可得的菜谱中选择特定菜谱。作为最后一个步骤1562，用户输入希望制备好上菜的日期和时间。
图61A描绘了用于在线服务门户或所谓的菜谱商业平台的菜谱搜索和购买及/或订购过程的过程1570。作为第一步骤，新用户在步骤1572中必须向系统注册(选择年龄、性别、用餐偏好等，随后选择总体偏好的烹饪或厨房风格)，而后用户能够通过手持装置上的app或者采用TV和/或机器人厨房模块对菜谱进行搜索并且进行下载以浏览菜谱。用户可在步骤1574中选择采用诸如菜谱风格(包括人工烹饪菜谱)之类的标准1576或者基于特定厨房或设备风格1578(铁锅、蒸锅、熏烟器等)进行搜索。用户可在步骤1580中将搜索选择或设置为使用预定义标准，并且采用过滤步骤1582来收窄搜索空间和所产生的结果。在步骤1584，用户从所提供的搜索结果、信息和推荐中选择菜谱。用户可以在步骤1586中选择之后与烹饪伙伴或在线社区进行有关所述选择和接下来的步骤的共享、合作或商讨。
图61B描绘了从图61A继续进行针对服务门户1590的菜谱搜索和购买/订购过程。在步骤1592中用户被提示基于机器人烹饪方案或菜谱的参数受控制版本选择特定菜谱。在基于受控制的参数的菜谱的情况下，系统在步骤1594中针对诸如所有炊具和器具以及机器臂要求之类的项目提供所需设备细节，并在步骤1602中提供选择食材来源和设备供应商的外部链接，以获得详细的订货须知。之后，门户系统执行菜谱类型检查1596，其允许在远程装置上直接下载和安装1598菜谱程序文件，或者要求用户在步骤1600中采用很多种可能的支付方式(PayPal、BitCoin、信用卡等)之一在一次性支付或基于订购的支付的基础上输入支付信息。
图62描绘了在机器人菜谱烹饪应用(App)的创建中采用的过程1610。作为第一步骤1612，需要在诸如App Store、Google Play Windows Mobile或者其他这样的市场上建立开发者账户，包括提供银行和公司信息。之后，在步骤1614中提示用户获得并下载最近更新的应用程序接口(API)文档，其对于每个app商店是特定的。之后，开发者必须在步骤1618中遵循所说明的API要求并且创建满足API文档要求的菜谱程序。在步骤1620，开发者需要提供菜谱的名称和其他元数据，其应当是适合的并且由各种网站(Apple、Google、Samsung等)规定。步骤1622要求开发者上载菜谱程序和元数据文件以获得批准。之后，相应的市场网站将在步骤1624中对菜谱程序进行检查、测试和批准，而后在步骤1626中相应的网站列出菜谱程序并使其可用于在其购买界面上在线检索、浏览和购买。
图63描绘了购买特定菜谱或订购菜谱交付计划的过程1628。在第一步骤1630中，用户搜索要订货的特定菜谱。用户可以选择通过关键字进行浏览(步骤1632)，可以采用偏好过滤器收窄结果(步骤1634)，也可以采用其他预定义的标准进行浏览(步骤1636)，或者甚至基于促销、新发布或预订货的菜谱以及甚至厨师实况烹饪事件进行浏览(步骤1638)。在步骤1640中将菜谱的搜索结果显示给用户。之后，作为步骤1642的一部分，用户可以浏览这些菜谱结果，并在音频或短视频剪辑中预览每一菜谱。之后，用户在步骤1644中选择装置和操作系统，并接收特定在线市场应用网站的具体下载链接。如果用户在步骤1648中选择连接至新的提供商网站，那么网站将要求新用户完成验证和协议步骤1650，从而允许网站之后在步骤1652中下载和安装网站特定的接口软件，以允许继续菜谱交付过程。提供商网站将在步骤1646中询问用户是否创建机器人烹饪购物清单，如果用户在步骤1654中同意，那么在单次或订购的基础上选择特定菜谱，并选择要上菜的特定日期和时间。在步骤1656中，向用户提供和显示所需食材和设备的购物清单，包括最近以及最快的供应商及其地点、食材和设备的可得性以及相关的交货时间(lead time)和价格。在步骤1658，为用户提供检查每一物项描述及其默认或推荐来源和品牌的机会。于是，用户能够在步骤1660中查看食材和设备清单上的所有项目的相关成本，包括所有的相关链条项目成本(运送、税费等)。如果用户或买家在步骤1662中想要查看所建议的购物清单项目的替代选择，则执行步骤1664，为用户或买家提供备选来源的链接，由此允许其连接和查看备选的购买和订货选项。如果用户或买家接受所建议的购物清单，那么系统不仅保存这些选择作为未来购买的个性化选择(步骤1666)并且更新当前购物清单(步骤1688)，而且还移至步骤1670，基于附加标准，例如当地/最近提供商、基于季节和成熟阶段的物项可得性、或者甚至来自不同供应商的实际上具有相同性能但是对用户或买家而言交货成本显著不同的设备的定价，从购物清单中选择替代方案。
图64A-B是示出预定义菜谱搜索标准1672的例子的框图。这一例子中的预定义菜谱搜索标准包括若干类别，例如，主要食材、烹饪持续时间、根据地域和类型划分的烹饪风格、厨师姓名搜索、招牌菜、以及制备食物菜肴的估计食材成本。其他可能的菜谱搜索字段包括膳食类型、特殊规定饮食、杜绝食材、菜肴类型和烹饪方法、场合和季节、回顾和建议、以及评级。
图66是示出机器人标准化厨房50中的一些预定义的容器的框图。标准化机器人厨房50中的每个容器具有容器编号或条形码，其说明容器内储存的特定内容物。例如，第一容器储存大的块状产品，例如，白球甘蓝、红球甘蓝、皱叶卷心菜、芫根、花椰菜。第六容器储存大量固体块材，包括诸如杏仁屑、籽(向日葵、南瓜籽、白瓜籽)、去核杏干、番木瓜干和杏干。图66是示出按照矩形布局配置的机器人餐馆厨房模块的第一实施例的框图，该厨房具有多对机器手以用于同时进行食物制备处理。本发明的另一实施例围绕着图66所示的专业或餐馆厨房装置中用于多个相继或并行的机器臂和手站点的分级配置。该实施例描绘了更具线性的配置(尽管可采用任何几何布置)，示出了多个机器臂/手模块，每者专注于创建特定元素、菜肴或菜谱脚本步骤(例如，六对机器臂/手在商业化厨房中发挥不同的作用，例如，副主厨、烤焙厨师、炸/炒厨师、冷盘厨师、糕点师、汤和调味汁厨师等)。该机器人厨房布局使得与任何人的或者相邻臂/手模块之间的访问/交互是沿单个前向表面的。该装置能被计算机控制，由此允许整个多臂/手机器人厨房装置分别执行多个复现烹饪任务，而不管臂/手机器人模块是在顺次执行单个菜谱(来自一个站点的最终产品被提供给下一站点，以用于菜谱脚本中的后续步骤)，还是在并行执行多个菜谱/步骤(例如，餐前食物/食材制备，以供在菜肴复现完成期间使用，从而满足高峰时段的时间紧迫性)。
图67是示出按照U形布局配置的机器人餐馆厨房模块的第二实施例的框图，该厨房具有多对机器手以供同时进行食物制备处理。本发明的另一实施例围绕着图67所示的专业或餐馆厨房装置中的多个相继或并行的机器臂和手站点的另一分级配置。该实施例描绘了矩形配置(但是可以采用任何几何布置)，示出了多个机器臂/手模块，其每个专注于创建特定的元素、菜肴或菜谱脚本步骤。该机器人厨房布局使得与任何人或者相邻臂/手模块之间的访问/交互都是沿一组U形向外表面且沿U形的中央部分的，允许臂/手模块在各个菜谱复现阶段内传递给/接触到对面的工作区，并与它们对面的臂/手模块交互。该装置能被计算机控制，由此允许整个多臂/手机器人厨房装置分别执行多个复现烹饪任务，而不管臂/手机器人模块是在顺次执行单个菜谱(来自一个站点的最终产品被沿U形路径提供给下一站点，以用于菜谱脚本中的后续步骤)，还是在并行执行多个菜谱/步骤(例如，餐前食物/食材制备，以供在菜肴复现完成期间使用，从而满足高峰时段的时间紧迫性，所制备的食材可能储存在放置于U形厨房的基部的容器或器具(冰箱等)中)。
图68描绘了机器人食物制备系统1680的第二实施例。采用标准化机器人厨房系统1682的厨师工作室包括制备或执行菜谱的人类厨师49，而炊具1682上的传感器则记录随时间推移的重要变量(温度等)并将其作为形成了菜谱脚本原始数据文件的一部分的传感器曲线和参数存储到计算机存储器1684中。来自厨师工作室1682的这些存储的感测曲线和参数数据文件基于购买或订购被递送至标准化(远程)机器人厨房1686。家庭安装的标准化机器人厨房1688包括用户60和计算机控制系统1690二者，以基于所接收的与测得的感测曲线和参数数据文件对应的原始数据操作自动化和/或机器人厨房设备。
图69描绘了标准化机器人厨房48的另一实施例。运行机器人烹饪(软件)引擎56的计算机16与多个外部装置接口连接，机器人烹饪引擎56包括烹饪操作控制模块1692，其对来自菜谱脚本以及相关存储介质和存储器1694的被记录、分析和抽象化的感测数据进行处理，以存储包括感测曲线和参数数据的软件文件。这些外部装置包括但不限于可收缩安全玻璃68、计算机监视和计算机控制的储存单元88、对原料食物质量和供给进行报告的多个传感器198、分配食材的硬自动化模块82、具有食材的标准化容器86、以及配备有传感器的智能炊具1700。
图71描绘了智能炊具项目1700(此图中为调味汁壶)，其包括内置的实时温度传感器，其能够生成并且无线传输跨单元的底表面跨至少但不限于三个平面区带的温度概况，所述三个平面区带是跨炊具单元的整个底表面按同心圆布置的，包括区带1 1702、区带21704和区带3 1706。这三个区带中的每个能够基于所耦接的传感器1716-1、1716-2、1716-3、1716-4和1716-5无线传输相应的数据1 1708、数据2 1710和数据3 1712。
图71描绘了一组典型的感测曲线220，具有针对数据1 1720、数据2 1722和数据31724的记录温度概况，每条曲线对应于炊具单元的特定底部区域的三个区带中的每个区带的温度。测量时间单位反映为从开始至结束以分钟计的烹饪时间(自变量)，而温度则是以摄氏度为单位测量的(因变量)。
图72描绘了具有所记录的温度1732和湿度1734概况的一组多重感测曲线1730，来自每个传感器的数据被表示为数据1 1736、数据2 1738、直至数据N 1740。原始数据流被转发给操作控制单元274并被其处理。测量时间单位反映为从开始至结束以分钟计的烹饪时间(自变量)，而温度则是以摄氏度为单位测量的(因变量)。
图73描绘了用于智能(煎炸)平底锅的实时温度控制1700的处理装置。电源1750使用三个单独的控制单元(但不必局限于此)，包括控制单元1 1752、控制单元2 1754和控制单元3 1756，从而对一组电感线圈有效地加热。所述控制实际上是(煎炸)平底锅的(三个)区带1758(区带1)、1760(区带2)和1762(区带3)中的每个内的测得温度的函数，其中温度传感器1770(传感器1)、1772(传感器2)和1774(传感器3)通过数据流1776(数据1)、1778(数据2)和1780(数据3)将温度数据无线提供回到操作控制单元274，操作控制单元274又指示电源1750独立地控制单独的区带加热控制单元1752、1754和1756。目标在于实现和复现预期的随时间推移的温度曲线，如在菜肴制备期间人类厨师的特定(煎炸)步骤中记录的感测曲线数据那样。
图74描绘了智能烤箱和计算机控制系统，它们耦接到操作控制单元1790，允许基于先前存储的感测(温度)曲线实时执行烤箱器具1792的温度概况。操作控制单元1790能够控制烤箱的门(打开/关闭)，追踪通过感测曲线提供给它的温度概况，还能够进行烹饪后处理和自清洁。通过内置于各位置的生成数据流268(数据1)的温度传感器1794以及产生数据流的附加湿度传感器1796监视烤箱内的温度和湿度，探针形式的温度传感器插入到待烹饪的食材(肉、禽类等)中以监视烹饪温度，从而推断烹饪完成程度。操作控制单元1790取得所有这种感测数据，并且调整烤箱参数，从而允许其正确地跟踪在先前存储并下载的两种变量(因变量)的一组感测曲线中描述的感测曲线。
图75描绘了用于一控制单元的计算机控制点火和控制系统装置1798，该控制单元调节炭烤架的电功率1858从而正确地跟踪在炭烤架内部分布的一个或多个温度和湿度传感器的感测曲线。功率控制单元1800采用电子控制信号1802启动烤架，采用信号1804和1806调整烤架表面与炭的距离以及在炭1810上的水雾喷射1808，从而分别调整可(上/下)移动的搁架1812的温度和湿度。控制单元1800使其输出信号1804、1806基于一组数据流(这里画出了五个)1814以及数据流1836，数据流1814用于来自一组分布于炭烤架内的湿度传感器(1到5)1826、1828、1830、1832、1834的湿度测量结果1816、1818、1820、1822、1824，数据流1836用于来自分布式温度传感器(1到5)1848、1850、1852、1854、1856的温度测量结果1840、1842、1844、1846、1846。
图76描绘了允许计算机控制龙头注入水槽(或炊具)中的水的流速、温度和压力的计算机控制龙头1860。龙头由控制单元1862控制，其接收单独的数据流1862(数据1)、1864(数据2)和1866(数据3)，它们对应于提供数据1的水流速传感器1868、提供数据2的温度传感器1870以及提供数据3感测数据的水压传感器1872。然后，控制单元1862控制冷水1874和热水1878的供应，适当的冷水温度和压力数字显示在显示器1876上，适当的热水温度和压力数字显示在显示器1880上，从而实现龙头出水的期望压力、流速和温度。
图77通过俯视平面图描绘了充分仪器化的机器人厨房1882的实施例。标准化机器人厨房被划分为三个层，即顶层、柜台层和下层，每一层含有的设备和器具具有集成安装的传感器1884和计算机控制单元1886。
顶层含有具有不同单元的多个橱柜型模块，其通过内置的器具和设备执行特定的厨房功能。在最简单的级别上，搁板/橱柜储存区域82包括用于存放和获取烹饪工具和器具以及其他烹饪和上菜用具(烹饪、烘焙、装盘等)的橱柜体积1320、用于特定食材(例如，水果和蔬菜等)的存放成熟(ripening)的橱柜体积1298、用于诸如莴苣和洋葱之类的物项的冷藏储存区88、用于深度冷冻物项的冷冻存放橱柜体积1302、以及用于其他食材和很少使用的香料等的另一存放食品柜区1304。顶层内的每个模块含有传感器单元1884，其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个控制单元1886，以允许计算机控制的操作。
柜台层不仅容纳有监视传感器1884和控制单元1886，而且还包括上菜柜台1306、具有水槽的柜台区域1308、具有可移动工作表面(切/斩案板等)的另一柜台区域1310、炭基板条式烤架1312、以及用于其他烹饪器具的多用途区域1314，所述其他烹饪器具包括炉子、煮锅、蒸锅和炖蛋锅。柜台层内的每个模块含有传感器单元1884，其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个控制单元1886，以允许计算机控制的操作。
下层容纳组合对流烤箱和微波炉以及蒸锅、炖蛋锅和烤架1316、洗碗机1318、硬自动化控制食材分配器82、以及较大橱柜体积1320，较大橱柜体积1320保持和存放其他频繁使用的烹饪和烘焙用具以及餐具、扁平餐具、用具(搅拌器、刀等)和刀具。下层内的每个模块含有传感器单元1884，其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个控制单元1886，以允许计算机控制的操作。
图78描绘了机器人厨房烹饪系统1890的一实施例的透视图，其具有从上到下布置的不同层，每个层配备有多个分布式传感器单元1892，传感器单元1892直接向一个或多个控制单元1894馈送数据，或者向一个或多个中央计算机馈送数据，中央计算机又使用和处理这些感测数据，然后命令一个或多个控制单元376按其命令工作。
顶层含有具有不同单元的多个橱柜型模块，其通过内置的器具和设备执行特定的厨房功能。在最简单的级别上，搁板/橱柜储存柜体积1294包括用于存放和获取烹饪工具和器具以及其他烹饪和上菜用具(烹饪、烘焙、装盘等)的橱柜体积1296、用于特定食材(例如，水果和蔬菜等)的存放成熟(ripening)的橱柜体积1298、用于诸如莴苣和洋葱之类的物项的冷藏储存区88、用于深度冷冻物项的冷冻存放橱柜体积1302、以及用于其他食材和很少使用的香料等的另一存放食品柜区1294。顶层内的每个模块含有传感器单元1892，其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个控制单元1894，以允许计算机控制的操作。
柜台层不仅容纳有监视传感器1892和控制单元1894，而且还包括具有水槽和电子龙头的柜台区域1308、具有可移动工作表面(切/斩案板等)的另一柜台区域1310、炭基板条式烤架1312、以及用于其他烹饪器具的多用途区域1314，所述其他烹饪器具包括炉子、煮锅、蒸锅和炖蛋锅。柜台层内的每个模块含有传感器单元1892，其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个控制单元1894，以允许计算机控制的操作。
下层容纳组合对流烤箱和微波炉以及蒸锅、炖蛋锅和烤架1316、洗碗机1318、硬自动化控制食材分配器82、以及较大橱柜体积1310，较大橱柜体积1310保持和存放其他频繁使用的烹饪和烘焙用具以及餐具、扁平餐具、用具(搅拌器、刀等)和刀具。下层内的每个模块含有传感器单元1892，其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个控制单元1896，以允许计算机控制的操作。
图79是示出机器人厨房根据标准化机器人厨房中先前记录的一条或多条参数曲线来制备菜肴的过程的第二实施例1900的流程图。在步骤1902，用户通过计算机选择特定菜谱以供机器人设备制备食物菜肴。在步骤1904，机器人食物制备引擎配置为检索用于食物制备的选定菜谱的抽象化菜谱。在步骤1906，机器人食物制备引擎配置为将选定菜谱脚本上载到计算机存储器中。在步骤1908，机器人食物制备引擎计算食材可得性。在步骤1910，机器人食物制备引擎配置为根据选定菜谱和上菜安排评估是否存在制备菜肴所需食材的缺失或不足。机器人食物制备引擎在步骤1912中发出警报以将缺失或不够的食材放到购物清单上，或者选择替代菜谱。在步骤1914中确认用户所做的菜谱选择。在步骤1916，机器人食物制备引擎配置为向用户发出机器人指令，以将食物或食材放到标准化容器内，并将其移到适当的食物制备位置。在步骤1918，为用户提供选择实时视频监视器投影的选项(在专用监视器上或者全息的基于激光的投影上)，从而能够视觉观看菜谱复现过程的每个和所有步骤，所述菜谱复现过程是基于被记录并且此时被重放的厨师执行的所有活动和过程的。在步骤1920，机器人食物制备引擎配置为允许用户在其选择的对标准化机器人厨房的计算机化控制系统加电的起始时间“0”开始食物制备。在步骤1922，用户基于监视器/投影屏幕上人类厨师的整个菜谱创建过程的重放执行对厨师的所有动作的复现，由此将半成品移至指定炊具和器具或者中间储存容器，以供后面使用。在步骤1924，标准化厨房中的机器人设备根据厨师在厨师工作室的标准化机器人厨房中执行菜谱制备过程中的同一步骤时感测到的数据曲线或基于当时记录的烹饪参数执行各个处理步骤。在步骤1926，机器人食物制备的计算机在温度、压力和湿度方面控制所有的炊具和器具设置，从而基于厨师在厨师工作室标准化机器人厨房内制备菜谱时捕获并保存的数据复现在整个烹饪时间所要求的数据曲线。在步骤1928，用户进行所有简单动作以复现厨师的步骤和过程动作，如通过经由监视器或投影屏幕转达给用户的音频和视频指令而显见的那样。在步骤1930，在完成了基于感测曲线或参数集的特定烹饪步骤时，机器人厨房的烹饪引擎向用户发出警报。一旦用户和计算机控制器的交互使得菜谱的所有烹饪步骤都得以完成，机器人烹饪引擎就在步骤1932发送终止复现过程的计算机控制部分的请求。在步骤1934，用户移动所完成的菜谱菜肴，将其装盘并上菜，或者手动地继续任何剩余的烹饪步骤或处理。
图80示出了厨师工作室内的感测数据捕获过程1936。第一步骤1938是厨师创建或设计菜谱。下一步骤1940要求厨师向机器人烹饪引擎输入菜谱的名称、食材、度量和过程描述。厨师在步骤1942中开始将所有所需食材加载到指定的标准化储存容器、器具内，并选择适当的炊具。下一步骤1944涉及厨师设置起始时间并启动感测和处理系统以记录所有感测到的原始数据并允许对其进行处理。一旦厨师在步骤1946中开始烹饪，所有的嵌入监视传感器单元和器具就向中央计算机系统报告和发送原始数据，从而允许其在整个烹饪过程1948中实时记录所有相关数据。还在步骤1950中将额外的烹饪参数和可听厨师评述记录并存储为原始数据。作为步骤1952的一部分，机器人烹饪模块抽象化(软件)引擎处理所有原始数据，包括二维和三维几何运动以及对象识别数据，以生成机器可读可执行的烹饪脚本。在厨师完成了厨师工作室菜谱创建和烹饪过程之后，机器人烹饪引擎生成模拟可视化程序1954，其复制用于远程标准化机器人厨房系统的后续菜谱复现的活动和媒体数据。在原始的和经处理的数据以及厨师对模拟菜谱执行可视化的确认的基础上，在步骤1956中，针对不同的(移动)操作系统开发并集成硬件特定的应用，并将其提交给在线软件应用商店和/或市场，以供直接的单菜谱用户购买或通过订购模型实施的多菜谱购买。
图81描绘了家庭机器人烹饪过程1960的处理和流程。第一步骤1962涉及用户选择菜谱以及获取数字形式的菜谱。在步骤1964，机器人烹饪引擎接收菜谱脚本，其含有用于烹饪所选菜谱的机器可读命令。在步骤1966，菜谱被上载至机器人烹饪引擎，脚本被置于存储器中。一旦存储，步骤1968就计算必要的食材并确定其可用性。在逻辑检查1970中，系统在步骤1972判断是要警告用户或者发送建议，督促向购物清单添加缺失的物项或者建议替代菜谱以适应可用的食材，还是在有足够的食材可用的情况下继续进行。一旦在步骤1974中检验了食材的可用性，系统就确认菜谱，并在步骤1976中询问用户，从而将所需食材放到指定标准化容器中，所述指定标准化容器位于厨师最初开始菜谱创建过程(在厨师工作室内)时所处的位置处。在步骤1978，提示用户设定烹饪过程的起始时间，并将烹饪系统设置为继续工作。在开动后，机器人烹饪系统根据菜谱脚本数据文件中提供的感测曲线和烹饪参数数据实时地开始烹饪过程的执行1980。在烹饪过程1982中，为了复现最初在厨师工作室菜谱创建过程中捕获并保存的感测曲线和参数数据文件，计算机控制所有的器具和设备。在完成烹饪过程后，机器人烹饪引擎在步骤1984中基于判定已经完成了烹饪过程而发送提醒。接下来，机器人烹饪引擎向计算机控制系统发送终止请求1986以终止整个烹饪过程，并且在步骤1988，用户从柜台上移动菜肴，从而上菜，或者以人工方式继续任何剩余的烹饪步骤。
图82描绘了标准化机器人食物制备厨房系统48的另一实施例。计算机16运行机器人烹饪(软件)引擎56，机器人烹饪(软件)引擎56包括对来自菜谱脚本的记录、分析和抽象化的感测数据进行处理的烹饪操作控制模块1990、可视命令监视模块1992、以及用于存储由感测曲线和参数数据构成的软件文件的相关储存介质和存储器1994，计算机16与多个外部装置接口连接。这些外部装置包括但不限于仪器化厨房工作柜台90、可伸缩安全玻璃68、仪器化龙头92、具有嵌入式传感器的烹饪器具74、具有嵌入式传感器的炊具1700(存放在搁板上或橱柜内)、标准化容器和食材储存单元78、计算机监视和计算机控制储存单元88、对原料食物质量和供应的过程进行相关报告的多个传感器1996、用于分配食材的硬自动化模块82、以及操作控制单元1998。
图83在俯视平面图中描绘了充分仪器化的机器人厨房2000的实施例。标准化机器人厨房被划分为三个层，即顶层、柜台层和下层，每个层含有的设备和器具具有集成安装的传感器1884和计算机控制单元1886。
顶层含有具有不同单元的多个橱柜型模块，其通过内置的器具和设备执行特定的厨房功能。在最简单的级别上，其包括用于存放和获取烹饪工具和器具以及其他烹饪和上菜用具(烹饪、烘焙、装盘等)的橱柜体积1296、用于特定食材(例如，水果和蔬菜等)的存放成熟(ripening)的橱柜体积1298、用于诸如莴苣和洋葱之类的物项的冷藏储存区1300、用于深度冷冻物项的冷冻存放橱柜体积1302、以及用于其他食材和很少使用的香料等的另一存放食品柜区1304。顶层内的每个模块含有传感器单元1884，其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个控制单元1886，以允许计算机控制的操作。
柜台层不仅容纳有监视传感器1884和控制单元1886，而且还包括一个或多个机器臂、腕和多指手72、上菜柜台1306、具有水槽的柜台区域1308、具有可移动工作表面(切/斩案板等)的另一柜台区域1310、炭基板条式烤架1312、以及用于其他烹饪器具的多用途区域1314，所述其他烹饪器具包括炉子、煮锅、蒸锅和炖蛋锅。柜台层内的每个模块含有传感器单元1884，其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个控制单元1886，以允许计算机控制的操作。
下层容纳组合对流烤箱和微波炉以及蒸锅、炖蛋锅和烤架1316、洗碗机1318、硬自动化控制食材分配器82、以及较大橱柜体积378，较大橱柜体积378保持和存放其他频繁使用的烹饪和烘焙用具以及餐具、扁平餐具、用具(搅拌器、刀等)和刀具。下层内的每个模块含有传感器单元1884，其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个控制单元1886，以允许计算机控制的操作。
图84在透视图中描绘了充分仪器化的机器人厨房2000的实施例，其中叠加的坐标系指定了x轴1322、y轴1324和z轴1326，将在该坐标系内相对于原点(0,0,0)定义和参照所有的活动和位置。标准化机器人厨房被划分为三个层，即顶层、柜台层和下层，每个层含有的设备和器具具有集成安装的传感器1884和计算机控制单元1886。
顶层含有具有不同单元的多个橱柜型模块，其通过内置的器具和设备执行特定的厨房功能。
在最简单的级别上，顶层包括用于存放和获取标准化烹饪工具和器具以及其他烹饪和上菜用具(烹饪、烘焙、装盘等)的橱柜体积1294、用于特定食材(例如，水果和蔬菜等)的存放成熟的橱柜体积1298、用于诸如莴苣和洋葱之类的物项的冷藏储存区1300、用于深度冷冻物项的冷冻存放橱柜体积86、以及用于其他食材和很少使用的香料等的另一存放食品柜区1294。顶层内的每个模块含有传感器单元1884，其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个控制单元1886，以允许计算机控制的操作。
柜台层不仅容纳有监视传感器1884和控制单元1886，而且还包括一个或多个机器臂、腕和多指手72、具有水槽和电子龙头的柜台区域1308、具有可移动工作表面(切/斩案板等)的另一柜台区域1310、炭基板条式烤架1312、以及用于其他烹饪器具的多用途区域1314，所述其他烹饪器具包括炉子、煮锅、蒸锅和炖蛋锅。柜台层内的每个模块含有传感器单元1884，其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个控制单元1886，以允许计算机控制的操作。
下层容纳组合对流烤箱和微波炉以及蒸锅、炖蛋锅和烤架1315、洗碗机1318、硬自动化控制食材分配器82(未示出)、以及较大橱柜体积1310，较大橱柜体积1310保持和存放其他频繁使用的烹饪和烘焙用具以及餐具、扁平餐具、用具(搅拌器、刀等)和刀具。下层内的每个模块含有传感器单元1884，其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个控制单元1886，以允许计算机控制的操作。
图85在俯视平面图中描绘了充分仪器化的机器人厨房2020的实施例。标准化机器人厨房被划分为三个层，即顶层、柜台层和下层，顶部和下部层级包含具有集成安装的传感器1884和计算机控制单元1886的设备和器具，柜台层级配备有一个或多个命令和可视监视装置2022。
顶层含有具有不同单元的多个橱柜型模块，其通过内置的器具和设备执行特定的厨房功能。在最简单的级别上，顶层包括用于存放和获取标准化烹饪工具和器具以及其他烹饪和上菜用具(烹饪、烘焙、装盘等)的橱柜体积1296、用于特定食材(例如，水果和蔬菜等)的存放成熟的橱柜体积1298、用于诸如莴苣和洋葱之类的物项的冷藏储存区1300、用于深度冷冻物项的冷冻存放橱柜体积1302、以及用于其他食材和很少使用的香料等的另一存放食品柜区1304。顶层内的每个模块含有传感器单元1884，其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个控制单元1886，以允许计算机控制的操作。
柜台层不仅容纳有监视传感器1884和控制单元1886，而且还包括可视命令监视装置2020，同时还包括上菜柜台1306、具有水槽的柜台区域1308、具有可移动工作表面(切/斩案板等)的另一柜台区域1310、炭基板条式烤架1312、以及用于其他烹饪器具的多用途区域1314，所述其他烹饪器具包括炉子、煮锅、蒸锅和炖蛋锅。柜台层内的每个模块含有传感器单元1884，其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个控制单元1886，以允许计算机控制的操作。此外，一个或多个可视命令监视装置2022也设置在柜台层内以用于监视人类厨师在工作室厨房中的以及机器臂或人类用户在标准化机器人厨房中的可视操作，其中数据被馈送给一个或多个中央或分布式计算机以供处理，随后校正性或支持性反馈以及命令被发送回到机器人厨房以用于显示或依照脚本来执行。
下层容纳组合对流烤箱和微波炉以及蒸锅、炖蛋锅和烤架1316、洗碗机1318、硬自动化控制食材分配器86(未示出)、以及较大橱柜体积1320，较大橱柜体积1320保持和存放其他频繁使用的烹饪和烘焙用具以及餐具、扁平餐具、用具(搅拌器、刀等)和刀具。下层内的每个模块含有传感器单元1884，其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个控制单元1886，以允许计算机控制的操作。
图86在透视图中描绘了充分仪器化的机器人厨房2020的实施例。标准化机器人厨房被划分为三个层，即顶层、柜台层和下层，顶和下层包含具有集成安装的传感器1884和计算机控制单元1886的设备和器具，柜台层配备有一个或多个命令和可视监视装置2022。
顶层含有具有不同单元的多个橱柜型模块，其通过内置的器具和设备执行特定的厨房功能。在最简单的级别上，顶层包括用于存放和获取标准化烹饪工具和器具以及其他烹饪和上菜用具(烹饪、烘焙、装盘等)的橱柜体积1296、用于特定食材(例如，水果和蔬菜等)的存放成熟的橱柜体积1298、用于诸如莴苣和洋葱之类的物项的冷藏储存区1300、用于深度冷冻物项的冷冻存放橱柜体积86、以及用于其他食材和很少使用的香料等的另一存放食品柜区1294。顶层内的每个模块含有传感器单元1884，其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个控制单元1886，以允许计算机控制的操作。
柜台层不仅容纳有监视传感器1884和控制单元1886，而且还包括可视命令监视装置1316，同时还包括具有水槽和电子龙头的柜台区域1308、具有可移动工作表面(切/斩案板等)的另一柜台区域1310、炭基板条式烤架1312、以及用于其他烹饪器具的多用途区域1314，所述其他烹饪器具包括炉子、煮锅、蒸锅和炖蛋锅。柜台层内的每个模块含有传感器单元1184，其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个控制单元1186，以允许计算机控制的操作。此外，一个或多个可视命令监视装置(未示出)也设置在柜台层内以用于监视人类厨师在工作室厨房中的以及机器臂或人类用户在标准化机器人厨房中的可视操作，其中数据被馈送给一个或多个中央或分布式计算机以供处理，随后校正性或支持性反馈以及命令被发送回到机器人厨房以用于显示或依照脚本来执行。
下层容纳组合对流烤箱和微波炉以及蒸锅、炖蛋锅和烤架1316、洗碗机1318、硬自动化控制食材分配器86(未示出)、以及较大橱柜体积1309，较大橱柜体积1309保持和存放其他频繁使用的烹饪和烘焙用具以及餐具、扁平餐具、用具(搅拌器、刀等)和刀具。下部层级内的每个模块含有传感器单元1307，其直接地或者通过一个或多个中央或分布式控制计算机提供数据给一个或多个控制单元376，以允许计算机控制的操作。
图87A描绘了标准化机器人厨房系统48的另一实施例。计算机16运行机器人烹饪(软件)引擎56和用于存储菜谱脚本数据以及感测曲线和参数数据文件的存储器模块102，计算机16与多个外部装置接口连接。这些外部装置包括但不限于仪器化的机器人厨房站2030、仪器化的上菜站2032、仪器化的洗涤清洁站2034、仪器化的炊具2036、计算机监视和计算机控制的烹饪器具2038、专用工具和用具2040、自动化搁板站2042、仪器化的储存站2044、食材取回站2046、用户控制台界面2048、双机器臂70、分配食材的硬自动化模块82、以及厨师记录装置2050。
图87B在平面图中描绘了机器人厨房烹饪系统2060的一实施例，其中厨师49或家庭烹饪用户60能够从多个侧面(这里示出了四个)访问各个烹饪站。中央储存站2062为在不同温度(冷藏/冷冻)保存的各种食物提供不同的储存区域以保持最佳新鲜度，允许从所有侧面访问该储存站。沿当前实施例的方形布置的周边，厨师49或用户60能够访问具有模块的各个烹饪区域，所述模块包括但不限于用于实施菜谱并且对过程进行监督的用户/厨师控制台2064、包括扫描器、摄像机和其他食材表征系统的食材访问站2066、用于炊具/烘焙用具/餐具的自动搁板站2068、至少由水槽和洗碗机单元构成的洗涤清洁站2070、用于食物或食材制备当中采用的特定技术所需的专门工具的专门工具和用具站2072、用于使上菜盘温暖或冰冷的保温站2074以及由多个器具构成的烹饪器具站2076，所述器具包括但不限于烤箱、炉子、烤架、蒸锅、炸锅、微波炉、混合器、脱水器等。
图87C描绘了机器人厨房48的相同实施例的透视图，允许厨师49或用户60从至少四个不同侧面获得对多个烹饪站和设备的访问。中央储存站2062为在不同温度(冷藏/冷冻)保存的各种食物提供不同的储存区域以保持最佳新鲜度，允许从所有侧面访问该储存站，并且位于上层。用于炊具/烘焙用具/餐具的自动搁板站2068位于中央储存站2062下面的中间层。在下层处，烹饪站和设备的布置被定位成包括但不限于用于实施菜谱并且对过程进行监督的用户/厨师控制台2064、包括扫描器、摄像机和其他食材表征系统的食材访问站2060、用于炊具/烘焙用具/餐具的自动搁板站2068、至少由水槽和洗碗机单元构成的洗涤清洁站2070、用于食物或食材制备当中采用的特定技术所需的专门工具的专门工具和用具站2072、用于使上菜盘温暖或冰冷的保温站2074以及由多个器具构成的烹饪器具站2076，所述器具包括但不限于烤箱、炉子、烤架、蒸锅、炸锅、微波炉、混合器、脱水器等。
图88是示出机器人人类模拟器电子知识产权(IP)库2100的框图。机器人人类模拟器电子IP库2100覆盖机器人设备用作复现人的特定技能集合的手段的各种构思。更具体而言，包含一双机器手70和机器臂72的机器人设备用于复现一组具体人类技能。通过某种方式，能够通过人的手捕获从人工到智能的转移，之后机器人设备复现所记录动作的精确动作，获得相同的结果。机器人人类模拟器电子IP库2100包括机器人人类烹饪技能复现引擎56、机器人人类绘画技能复现引擎2102、机器人人类乐器技能复现引擎2102、机器人人类护理技能复现引擎2104、机器人人类情感识别引擎2106、机器人人类智能复现引擎2108、输入/输出模块2110以及通信模块2112。将关于图90、91、92和93描述机器人人类情感识别引擎1358。
图89是机器人人类情感识别(或响应)引擎2106，其包括通过总线2120耦接至应用块的训练块。训练块含有人类输入刺激模块2122、传感器模块2124、人类情感响应模块(以输入刺激)2126、情感响应记录模块2128、质量检查模块2130和学习机模块2132。应用块含有输入分析模块2134、传感器模块2136、响应生成模块2138和反馈调整模块2140。
图90是示出机器人人类情感系统2150的处理和逻辑流的流程图。在其第一步骤2151，(软件)引擎接收来自与人的感官类似的各种源的感测输入，包括来自周围环境的视觉、可听反馈、触觉和嗅觉传感器数据。在判定步骤2152，做出是否创建运动反射的判定，其要么将导致反射运动2153，要么如果不需要反射运动则执行步骤2154，其中将基于存储在存储器中的信息或模式(pattern)识别具体输入信息或者其模式或组合，其随后被转换为抽象或符号表示。通过基于经验的智能环序列对抽象和/或符号信息进行处理。另一判定步骤2156基于已知的预定义行为模式判断是否应采取运动反应2157，如果否，则进行步骤2158。在步骤2158，通过具有从内部存储器提供的输入的另一层情感和心情反应行为环处理抽象和/或符号信息，其可以是通过学习而形成的。情感被分解为数学形式并编程到机器人中，其具有可被描述的机制和可被度量和分析的量(例如，在捕获面部表情时分析微笑多快形成和持续多久来将真实微笑和礼貌性微笑区分开，或者基于扬声器的音质来检测情感，其中计算机测量语音的音高、能量和音量以及从某一时刻到下一时刻的音量和音高的波动)。因而，将存在某些可识别并且可度量的对情感表达的量度(metrics)，其中动物行为或人类说唱声音的这些量度将具有可识别并且可测量的相关情感属性。基于这些可识别可度量的量度，情感引擎能够做出有关采取哪种行为的判定，不管其是预先学习的还是新学习的。在存储器中更新所采取或执行的行为及其实际结果，并将其添加到经验个性和自然行为数据库2160中。在接下来的步骤2161中，经验个性数据被转换为更人类特定的信息，该信息然后允许他或她执行规定的或所导致的运动2162。
图91A-91C是示出用激素、信息素和其他参数将人的情感概况与情感概况族群进行比较的过程的流程图。图91A描绘了情感概况应用的过程，其中在2182中从用户的一般概况2184监视和提取人的情感参数，并且基于刺激输入和从时间线片段导出的离开基线值的参数值变化，将其与在类似条件下存在的更大组的那些进行比较。在步骤1804，基于一个或多个标准参数进行第一级向下分组(degrouping)(例如，基于具有相同情感参数的人的变化速度进行向下分组)。所述过程通过进一步的情感参数比较步骤来继续情感参数向下分组和分离，进一步的情感参数比较步骤可包括由一组信息素1808、一组微表情1809、人的心率和排汗1810、瞳孔扩张1811、所观测到的反射运动1812、对总体身体温度的感知1813以及所觉察到的情境压力1814表示的后续级。然后，向下分组了的情感参数被用于确定类似参数群组1815，以供比较目的。
图91B描绘了所有的单独情感群组，例如，诸如愤怒之类的直接情感1820、诸如恐惧之类的二级情感1821，一直到N种实际情感。之后，下一步骤1823根据相关情感概况数据计算每组中的相关情感，得到情感状态的强度级的评估1824，其允许引擎然后决定适当的动作1825。
图91C描绘了大量情感概况开发和学习的自动化过程1830。该过程涉及从各种来源接收新的多来源情感概况和状况输入1831，以及对概况/参数数据变化的相关质量检查1832。在步骤1833中存储多个情感概况数据，并且使用多种机器学习技术1835执行在中央数据库中对每一概况和数据集进行分析并且将其分类成具有匹配的集合(子集)的各种群组的迭代循环1834。
图92A是示出通过监视一组激素、一组信息素以及其他关键参数而对人的情感状态所做的情感检测和分析2220的框图。可以通过在具有内部和/或外部刺激的限定条件下监视和分析人的生理指征并且评估这些生理指征在某一时间线上如何变化来检测人的情感状态。向下分组过程的一实施例是基于一个或多个关键参数(例如，基于具有相同情感参数的人的变化速度进行向下分组)。
在一实施例中，可以基于统计分类器通过机器学习检测情感简档，在统计分类器中输入是信息素、激素或诸如视觉或听觉线索之类的其他特征的任何测定水平。如果该组特征是被表示为向量的{x1,x2,x3,...xn}，y表示情感状态，那么情感检测统计分类器的一般形式为：
y = argmin j , l [ ( Σ i | | y i - f j , p l ( x → i ) | | ) + β ( f j , p l ) ]
其中函数f是决策树、神经网络、逻辑回归量或机器学习文献中描述的其他统计分类器。第一项使经验误差(在训练分类器时检测到的误差)最小化，第二项使复杂性(例如，奥卡姆剃刀定律)最小化，找到最简函数以及用于该函数得到预期结果的参数集p。
此外，为了判定哪些信息素或其他特征对预测情感状态产生最大差异(添加最大值)，可以增加主动学习标准，其一般表示为：
arg min x → i ∈ { x → k + 1 , ... , x → n } ( L ( f ^ ( x → t e s t , y ^ t e s t ) ) | x → i ∪ { x → 1 , ... , x → k } )
其中，L是“损失函数”，f是与先前的公式中相同的统计分类器，带帽的y是已知结果。我们衡量统计分类器是否通过添加新特征而具有更好的性能(更小的损失函数)，如果是，则保留这些特征，否则不保留。
通过检测从某一时刻到下一时刻的变化或变换，可以对随时间演变的参数、值和量进行评估以创建人类情感简档。对于情感表达而言，存在可识别的量。具有对其环境进行响应的情感的机器人可以做出更快更有效的决策，例如，在机器人受到恐惧、高兴或渴求促动时，其可能做出更好的决策，并且更有效地并且高效率地获得目标。
机器人情感引擎单独地或者组合地复现人类激素情感和信息素情感。激素情感是指人体内的激素如何变化以及其如何影响人的情感。信息素情感是指人体外的影响人的情感的信息素，例如气味。可以通过理解和分析激素和信息素情感构建人的情感概况。机器人情感引擎尝试采用传感器检测人的激素和信息素概况来理解人的情感，例如，愤怒和恐惧。
要测量九种关键生理指征参数来建立人的情感概况：(1)在体内隐匿的、触发引起某些作用的各种生化途径的激素2221的集合，例如，肾上腺素和胰岛素都是激素；(2)外部隐匿的、以类似方式对其他人具有影响的信息素2222的集合，例如，雄甾烯醇、雄烯酮和费洛蒙酮；(3)微表情2223，其为人根据所经历的情感表现出的简短的不自觉的面部表情；(4)心率2224或心跳，例如，在人的心率提高时；(5)出汗2225(例如，鸡皮疙瘩)，例如，在兴奋或紧张的状态下面部泛红和手掌出汗；(6)瞳孔扩张2226(以及虹膜括约肌、胆管括约肌)，例如，瞳孔响应于恐惧的感觉而短时间扩张；(7)反射性运动v7，其为响应于外界刺激而产生的主要受到脊髓反射弧控制的活动/动作，例如，下颌反射；(8)体温2228；(9)压力2229。有关这些参数在某一时间2231如何变化的分析2230可以揭示人的情感状态和概况。
图92B是示出机器人1590围绕人的情感行进行评估和学习的框图。借助于内部刺激2242和/或外界刺激2244对参数读数进行分析2240并将其划分成情感和/或非情感响应，例如，瞳孔对光的反射仅处于脊髓的级别上，在人处于愤怒、疼痛或恋爱中时瞳孔尺寸可能发生变化，而不自觉的反应一般还涉及大脑。中枢神经系统兴奋剂和某些致幻药物的使用可能引起瞳孔放大。
图93是示出人体内植入的用于检测和记录人的情感简档的端口装置2230的框图。在测量生理指征变化时，人可通过在情感变化开始时按下具有第一标签的按钮，在情感变化结束时再触摸具有第二标签的按钮来监视和记录一时间段的情感简档。这一过程使计算机能够基于情感参数的变化评估和学习人的情感简档。借助于从大量用户收集到的数据/信息，计算机对与每种情感有关的所有变化进行分类，并且从数学上找到可归因于特定情感特性的重要并且具体的参数变化。
在用户经历情感或心情波动时，能够借助于连接至人体(在皮肤上且直接至静脉)的端口检测和记录诸如激素、心率、排汗、信息素之类的生理参数。可以由人自己随着情感状态的变化而确定情感变化的起始时间和终止时间。例如，人在一周之内启动了四个人工情感周期并且创建了四条时间线，如该人所确定的，第一个周期从其标记为开始的时间到其标记为结束的时间持续了2.8小时。第二个周期持续了2小时，第三个周期持续了0.8小时，第四个周期持续了1.6小时。
图94A描绘了机器人人类智能引擎2250。在复现引擎1360中，存在两个主要的块，包括训练块和应用块，两者均含有多个额外的模块，这些模块通过公共模块间通信总线72彼此互连。人类智能引擎的训练块进一步包含若干模块，包括但不限于传感器输入模块1404、人类输入刺激模块1402、对输入刺激做出反应的人类智能响应模块1420、智能响应记录模块1422、质量检查模块1410以及学习机模块1412。人类智能引擎的应用块进一步包括若干模块，包括但不限于输入分析模块1414、传感器输入模块1404、响应生成模块1416以及反馈调整模块1418。
图94B描绘了机器人人类智能系统1136的架构。该系统被划分成认知机器人代理和人类技能执行模块。两模块共享感测反馈数据1482以及感测到的运动数据1538和模型化运动数据1539。认知机器人代理模块包括但不一定限于表示知识数据库1531的模块，其与调整和修订模块1534互连，两模块均通过学习模块1535来更新。已有知识1532被馈送到执行监视模块1536中，并且已有知识1533被馈送到自动化分析和推理模块1537中，两模块均从人类技能执行模块接收感测反馈数据1482，两者还向学习模块1535提供信息。人类技能执行模块由控制模块1138和模块1541两者构成，控制模块1138使其控制信号基于收集和处理多个反馈源(可视的和可听的)，模块1541具有利用标准化设备、工具和附件的机器人。
图95A描绘了机器人绘画系统1440的架构。在这一系统中既包括工作室机器人绘画系统1441，又包括商业机器人绘画系统1445，两者通信连接1444以允许在单件购买的基础上或者在基于订购的支付的基础上将用于机器人绘画的软件程序文件或应用从工作室机器人绘画系统1441输送至商业机器人绘画系统1445。工作室机器人绘画系统1441包括(人类)绘画艺术家1442和计算机1443，计算机1443接口连接到运动和动作感测装置以及绘画框架捕获传感器，以捕获和记录艺术家的活动和过程，并将相关软件绘画文件存储到存储器1380中。商业机器人绘画系统1445包括用户1446和计算机1447，计算机1447具有机器人绘画引擎，该引擎能够与机器臂接口连接并且根据软件绘画文件或应用以及用于校准模拟模型的视觉反馈来控制机器臂以重建绘画艺术家1442的活动。
图95B描绘了机器人绘画系统架构1430。该架构包括计算机1420，其与多个外部装置接口连接，所述外部装置包括但不限于运动感测输入装置和触摸框架1424、标准化工作站1425(包括画架1426、洗涤池1427、美工脚架1428、贮存橱1429和材料容器1430(颜料、溶剂等))、以及标准化工具和附件(刷子、颜料等)1431、视觉输入装置(摄像机等)1432、以及一个或多个机器臂1433。
计算机模块1420包括若干模块，所述模块包括但不限于与绘画活动模拟器1422接口连接的机器人绘画引擎1352、基于绘画执行过程的视觉反馈起作用的绘画控制模块1421、用于存储绘画执行程序文件的存储器模块1380、用于学习适当绘画工具的选择和使用的算法1423、以及扩展的模拟验证和校准模块1378。
图95C描绘了机器人人类绘画技能复现引擎1352。在复现引擎1352中，有多个额外模块，其全部通过公共的模块间通信总线72彼此互连。复现引擎进一步含有若干模块，所述模块包括但不限于输入模块1370、绘画活动记录模块1372、辅助/额外感测数据记录模块1376、绘画活动编程模块1374、含有软件执行过程程序文件的存储器模块1380、基于所记录的传感器数据生成执行命令的执行过程模块1382、含有标准化绘画参数的模块1400、输出模块1388、以及(输出)质量检查模块1378，所有的模块均受到软件维护模块1386的监督。
下面定义美术平台标准化的一实施例。第一，美术平台中的任何种类的美术工具(刷子、颜料、画布等)的标准化位置和取向(xyz)。第二，每一美术平台中的标准化操作体积尺寸和架构。第三，每一美术平台中的标准化美术工具集合。第四，每一美术平台中采用操纵库的标准化机器臂和手。第五，每一美术平台中用于创建动态三维视觉数据以实现绘画记录和执行跟踪以及质量检查功能的标准化三维视觉装置。第六，特定绘画执行过程中所有使用颜料的标准化类型/制造商/品牌。第七，特定绘画执行过程中画布的标准化类型/制造商/品牌。
具有标准化美术平台的一主要目的是实现最初绘画者执行的绘画过程与后来机器人美术平台复现的绘画过程具有相同的结果(即，相同的绘画)。在标准化美术平台的使用当中要强调的几个要点是：(1)绘画者和自动化机器人执行具有相同的时间线(相同的操纵顺序、每一操纵有相同的起始和结束时间、在操纵之间以相同的速度移动对象)；以及(2)存在质量检查(3D视觉、传感器)以避免在绘画过程中的每一操纵后产生任何失败结果。因此，如果绘画是在标准化美术平台上完成的，那么将降低不能取得相同结果的风险。如果采用非标准化美术平台，那么其将增大无法取得相同结果的风险(即，无法获得相同的绘画)，因为如果在机器人美术平台中未与在绘画者工作室中在相同的体积内用相同的美术工具、颜料或画布执行绘画，那么可能需要调整算法。
图96A描绘了工作室绘画系统和程序商业化过程1450。第一步骤1451是人类绘画艺术家决定要在工作室机器人绘画系统中创作美术作品，其包括确定诸如主题、构成、媒体、工具和设备等问题。艺术家在步骤1452中将所有这些数据输入到机器人绘画引擎中，其后在步骤1453中艺术家根据需要和装置程序中的详细说明设立标准化工作站、工具和设备、附件和材料、以及运动和可视输入装置。艺术家在步骤1454中设置过程的起始点，并打开工作室绘画系统，而后艺术家开始实际绘画步骤1455。在步骤1456中，工作室绘画系统在整个绘画过程中在已知的xyz坐标系中实时地记录艺术家活动的运动和视频。之后，在步骤1457中存储在绘画工作室中收集到的数据，从而允许机器人绘画引擎基于所存储的活动和媒体数据生成模拟程序1458。针对所创作的绘画的机器人绘画程序执行文件或应用被开发并被整合以供不同的操作系统和移动系统使用，并且被提交给App商店或其他市场位置以供销售，可以对其进行单次使用购买，也可基于订购来购买。
图96B描绘了机器人绘画引擎的逻辑执行流1460。作为第一步骤，用户在步骤1461选择绘画标题，在步骤1462中机器人绘画引擎接收所述输入。机器人绘画引擎在步骤1463中将绘画执行程序文件上载到板上存储器中，之后进行至步骤1464，计算所需工具和附件。检查步骤1465提供有关是否存在工具或附件和材料的短缺的答案；如果存在短缺，则系统向用户发送警报1466，或者发送购物清单或替代绘画的建议。如果不存在短缺，则引擎在步骤1467中确认选择，允许用户继续到步骤1468，该步骤包括使用绘画执行程序文件中包含的逐步指令设置标准化工作站、运动和视觉输入装置。一旦完成，机器人绘画引擎就执行检查步骤1469以验证适当的设置；如果通过步骤1470检测到错误，那么系统引擎将向用户发送错误警报1472，并且提示用户重新检查设置和校正任何所检测到的缺陷。如果检查通过，没有检测到任何错误，则在步骤1471中引擎将确认所述设置，从而允许其在步骤1473中提示用户设置起始点并对复现以及视觉反馈和控制系统加电。在步骤1474中，(多个)机器臂将执行绘画执行程序文件中指定的步骤，包括如绘画程序执行文件指定的那样以相同步调执行活动以及工具和设备的使用。视觉反馈步骤1475对照定义绘画过程的成功执行及其结果的受控参数数据监视绘画复现过程的执行。机器人绘画引擎还采取模拟模型验证步骤1476，从而提高复现过程的保真度，其目标是使整个复现过程达到如工作室绘画系统捕获和保存的那样相同的最终状态。一旦完成了绘画，就将向用户发送通知1477，包括所应用的材料(颜料、膏糊等)的干燥和固化时间。
图97A描绘了人类乐器技能复现引擎1354。在复现引擎1354中，有多个附加模块，其全部通过公共的模块间通信总线72彼此互连。复现引擎进一步包括若干模块，所述模块包括但不限于可听(数字)音频输入模块1370、人类乐器演奏活动记录模块1390、辅助/附加感测数据记录模块1376、乐器演奏活动编程模块1392、含有软件执行过程程序文件的存储器模块1380、基于所记录的传感器数据生成执行命令的执行过程模块1382、含有标准化乐器演奏参数(例如，步调、压力、角度等)的模块1394、输出模块1388、以及(输出)质量检查模块1378，所有模块都受软件维护模块1386监督。
图96B描绘了音乐家复现引擎1480执行的过程和逻辑流。一开始，在步骤1481中用户选择音乐曲目和/或作曲家，之后在步骤1482中询问是由机器人引擎做出所述选择还是通过与人交互做出所述选择。
在用户在步骤1482中选择由机器人引擎来选择曲目/作曲家的情况下，引擎在步骤1492中采用其自身的创造性解释，从而在步骤1493中向人类用户提供机会向选择过程提供输入。如果人类拒绝提供输入，则机器人音乐家引擎在步骤1499中采用设置，例如，对音调、音高和乐器以及旋律变化的人工输入，在步骤1130中收集所需输入，以在步骤1501中生成并上载所选的乐器演奏执行程序文件，在机器人音乐家引擎在步骤1502中确认了选择后，允许用户在步骤1503中选择偏好的文件。然后在步骤1504中将人类做出的选择作为个人选择存储到个人简档数据库中。如果人类在步骤1493中决定为所述询问提供输入，则用户将能够在步骤1493中向选择过程提供额外的情感输入(面部表情、照片、新闻文章等)。机器人音乐家引擎在步骤1495中接收来自步骤1494的输入，允许其进行至步骤1496，在该步骤中所述引擎执行与所有可用输入数据有关的感情分析，并基于适合人的情感输入数据的情绪和风格上载音乐选择。在机器人音乐家引擎在步骤1497中确认了上载的音乐选择之后，用户可以在步骤1498中选择“开始”按钮以演奏用于该选择的程序文件。
在人类想要密切参与曲目/作曲家选择的情况中，系统在步骤1483中在显示器上向人类提供所选曲目的表演者列表。在步骤1484中，用户选择期望的表演者，即系统在步骤1485中接收到的选择输入。在步骤1486中，机器人音乐家引擎生成并上载乐器演奏执行程序文件，并在步骤1487中进行到比较人类和机器人音乐家对特定乐器的演奏表现之间的潜在限制，由此允许计算潜在表现差距。检查步骤1488判断是否存在差距。如果存在差距，那么系统将在步骤1489中基于用户偏好简档建议其他选择。如果没有表现差距，那么机器人音乐家引擎将在步骤1490中确认所述选择，并允许用户进行至步骤1491，用户可选择“开始”按钮以播放用于该选择的程序文件。
图98描绘了人类护理技能复现引擎1356。在复现引擎1356中，有多个附加模块，其全部通过公共的模块间通信总线72彼此互连。复现引擎进一步包含若干模块，所述模块包括但不限于输入模块1370、护理活动记录模块1396、辅助/附加感测数据记录模块1376、护理活动编程模块1398、含有软件执行过程程序文件的存储器模块1380、基于所记录的传感器数据生成执行指令的执行过程模块1382、含有标准化护理参数的模块1400、输出模块1388、以及(输出)质量检查模块1378，所有模块均受软件维护模块1386监督。
图99A描绘了机器人人类护理系统过程1132。第一步骤1511涉及用户(护理接受者或家属/朋友)为护理接受者建立帐户，提供个人数据(姓名、年龄、ID等)。生物测定数据收集步骤1512涉及收集个人数据，包括面部图像、指纹、语音样本等。之后，用户在步骤1513中输入用于紧急联络的联系信息。机器人引擎在步骤1514中接收所有这些输入数据以建立用户帐户和简档。如果在步骤1515中确定用户未处于远程健康监视程序下，那么作为步骤1521的一部分，机器人引擎将帐户创建确认消息和自行下载手册文件/app发送给用户的平板电脑、TV、智能电话或将来用作基于触摸屏或语音的命令接口的其他装置。如果用户是远程健康监视程序的一部分，那么机器人引擎将在步骤1516中请求准许访问医疗记录。作为步骤1517的一部分，机器人引擎连接用户的医院和医师办公室、实验室以及医疗保险数据库以接收用户的病历、处方、治疗和就诊数据，并生成用于存储在用户特定文件内的医疗护理执行程序。作为下一步骤1518，机器人引擎与用户的任何和所有的可佩戴医疗装置(例如，血压监视器、脉搏和血氧传感器)连接，或甚至与电子控制药物分配系统(无论是口服的还是注射的)连接，从而允许进行连续监视。作为后续步骤，机器人引擎接收到医疗数据文件和感测输入，允许其在步骤1519中生成一个或多个针对该用户帐户的医疗护理执行程序文件。下一步骤1134涉及为用户信息、日常活动、相关参数以及任何过去或将来的医疗事件或预约建立安全的云存储数据空间。如之前在步骤1521中那样，机器人引擎将帐户创建确认消息和自行下载手册文件/app发给用户的平板电脑、TV、智能电话或将来用作基于触摸屏或语音的命令接口的其他装置。
图99B描绘了最初从图99A开始的机器人人类护理系统过程1132的继续，但是其现在涉及用户环境中物理存在的机器人。作为第一步骤1522，用户开启默认配置和位置(例如，充电站)的机器人。在任务1523中，机器人接收用户的基于语音或触摸屏的命令，从而执行一个具体的或一组命令或动作。在步骤1524中，机器人利用用户的语音和面部识别命令及线索、响应或行为，基于与用户的交互执行特定任务和活动，基于某些因素做出判决，所述因素例如为基于对特定或总体情况的了解的任务紧急性或任务优先度。在任务1525中，机器人执行对一个或多个物项的典型取回、抓住和运送，利用对象识别和环境感测、定位以及映射算法来优化沿无障碍路径的活动以完成任务，甚至可充当化身从而为用户提供音频/视频远程会议能力或者可与任何可控家用电器接口连接。机器人基于感测输入和用户简档数据持续监视用户的医疗状况，并且监视潜在医疗危险状况的可能症状，同时具有将任何可能需要及时处理的状况通知给第一应答者或家属的能力。机器人在步骤1526中持续检查任何开放的或剩余的任务，并且时刻准备着对来自步骤1522的任何用户输入做出反应。
图100是示出224所示的计算机装置的例子的框图，在计算机装置上可安装和运行用于执行文中讨论的方法的计算机可执行指令。如上所述，联系本发明讨论的各种基于计算机的装置可以共享类似的属性。24中的每个计算机装置能够执行一组指令，以使计算机装置执行文中讨论的方法中的任何一个或多个。计算机装置12可表示任意或所有24、服务器10或任何网络中间装置。此外，尽管只示出了单个机器，但是还应将“机器”一词理解为包括任何机器的集合，这些机器单独地或者联合地运行一组(或者多组)指令，以执行文中讨论的方法中的任何一种或多种。示范性计算机系统224包括处理器226(例如，中央处理单元(CPU)、图形处理单元(GPU)或两者)、主存储器228以及静态存储器230，它们通过总线232彼此通信。计算机系统224还可以包括视频显示单元234(例如，液晶显示器(LCD))。计算机系统224还包括字母数字输入装置236(例如，键盘)、光标控制装置238(例如，鼠标)、盘驱动单元240、信号生成装置242(例如，扬声器)以及网络接口装置248。
盘驱动单元2240包括机器可读介质244，其上存储一组或多组指令(例如，软件246)，所述指令实现文中描述的方法或功能中的任何一者或多者。软件246在其执行过程中还可以完全或者至少部分地存在于主存储器244内和/或处理器226内，计算机系统224、主存储器228和处理器226的指令存储部分属于机器可读介质。还可以经由网络接口装置248通过网络18传输或接收软件246。
尽管在示范性实施例中将机器可读介质244示为单个介质，但是“机器可读介质”应被理解为包含存储一组或多组指令的单个介质或多个介质(例如，集中式或分布式数据库和/或相关高速缓存和服务器)。还应将“机器可读介质”一词理解为包含任何能够存储供机器执行的一组指令并且使机器执行本发明的方法中的任何一者或多者的有形介质。相应地，应当将“机器可读介质”一词理解为包括但不局限于固态存储器以及光学和磁介质。
一般而言，可以考虑一种用于机器人系统的运动捕获和分析方法，其包括在人采用工作设备制备产品时通过多个机器人传感器感测人的活动的观测序列；在所述观测序列中检测与在制备产品的每个阶段中实施的活动序列对应的微操纵；将所感测到的观测序列转换为计算机可读指令，其用于对能够执行所述微操纵序列的机器人设备进行控制；至少将用于所述微操纵的指令序列存储到电子媒介上以用于获得所述产品。这可对多种产品重复。用于所述产品的微操纵序列优选存储为电子记录。所述微操纵可以是多阶段过程的抽象化部分，例如，切割对象、加热对象(在烤箱内或者在炉子上用油或水加热)等。之后，所述方法还可以包括：将用于所述产品的电子记录传输至能够与人的初始动作对应地复现所存储的微操纵的序列的机器人设备。此外，所述方法还可包括通过机器人设备执行用于获得该产品的微操纵的指令序列，由此获得基本上与人制备的原始产品一样的结果。
就另一个一般方面而言，可以考虑一种操作机器人设备的方法，包括提供用于标准微操纵的预编程指令的序列，其中，每一微操纵生成产品制备阶段内的至少一个可识别结果；在人采用设备制备产品的同时通过多个机器人传感器感测与人的活动对应的观测序列；在所述观测序列中检测标准微操纵，其中一微操纵对应于一个或多个观测，并且所述微操纵的序列对应于产品的制备；基于用于软件实现的方法将观测序列转变为机器人指令，所述软件实现的方法用于基于所感测的人的活动的序列识别预编程标准微操纵的序列，每个微操纵包含机器人指令的序列，机器人指令包括动态感测操作和机器人动作操作；将微操纵的序列及其对应的机器人指令存储到电子媒介中。优选地，产品的指令序列和对应的微操纵被存储为用于制备该产品的电子记录。这可以针对多种产品重复。所述方法还可以包括将所述指令的序列(优选以电子记录的形式)传输给能够复现和执行机器人指令序列的机器人设备。此外，所述方法还可以包括通过机器人设备执行用于该产品的机器人指令，由此获得基本上与人制备的原始产品一样的结果。在针对多种产品重复所述方法的情况下，所述方法可以额外包括提供一个或多个产品的电子描述的库，其包括产品名称、产品食材以及由所述食材制作产品的方法(例如，菜谱)。
另一个一般化方面提供一种操作机器人设备的方法，其包括接收用于制作产品的指令集，该指令集包括一系列与人的原始动作对应的微操纵的指示，每个指示包括机器人指令的序列，机器人指令包括动态感测操作和机器人动作操作；将所述指令集提供给能够复现所述微操纵的序列的机器人设备；通过机器人设备执行用于所述产品的微操纵的指令的序列，由此获得基本上与人制备的原始产品一样的结果。
可以从不同的角度考虑另一种操作机器人设备的一般化方法，其包括执行用于复现具有多个产品制备活动的菜谱的机器人指令脚本；判断每一制备活动是被识别为标准工具或标准对象的标准抓取动作，标准手操纵动作或对象，还是非标准对象；对于每一制备活动而言，下述操作中的一者或多者：如果制备活动涉及标准对象的标准抓取动作，那么指示机器人烹饪装置访问第一数据库库；如果食物制备活动涉及标准手操纵动作或对象，那么指示机器人烹饪装置访问第二数据库库；如果食物制备活动涉及非标准对象，那么指示机器人烹饪装置建立该非标准对象的三维模型。尤其可以在计算机系统中或者由计算机系统实施所述判断和/或指示步骤。所述计算系统可以具有处理器和存储器。
另一方面可见于一种通过机器人设备制备产品的方法中，其包括通过由机器人设备制备产品(例如，食物菜肴)而复现菜谱，所述菜谱被分解为一个或多个制备阶段，每个制备阶段被分解为微操纵和活动基元的序列，每个微操纵被分解为动作基元的序列。优选地，每个微操纵已被(成功地)测试以在考虑到适用对象以及一种或多种适用食材的位置、取向、形状的任何变化的情况下使该微操纵获得最佳结果。
另一方法方面可以在于一种生成菜谱脚本的方法，其包括接收来自诸如厨房环境之类的标准化工作环境模块的环境内的传感器的过滤了的原始数据；由所述过滤了的原始数据生成脚本数据的序列；以及将脚本数据的序列转换为用于制备产品的机器可读和机器可执行命令，所述机器可读和机器可执行命令包括用于控制一对机器臂和手以执行功能的命令。所述功能可以选自包括一个或多个烹饪阶段、一个或多个微操纵以及一个或多个动作基元的组。还可以考虑一种菜谱脚本生成系统，其包括配置为根据该方法操作的硬件和/或软件特征。
就这些方面的任何方面而言，可以考虑下述事项。产品的制备通常采用食材。执行指令通常包括感测产品制备当中采用的食材的属性。产品可以是根据(食物)菜谱(其可以保持在电子描述中)的食物菜肴，人可以是厨师。工作设备可以包括厨房设备。这些方法可以结合文中描述的其他特征中的一者或多者使用。可以结合各个方面的特征之一、所述特征中的不止一个或者所有的特征，从而(例如)使来自某一方面的特征可以与另一方面相结合。每一方面都可以是计算机实现的，并且可以提供一种被配置为在通过计算机或处理器运行时执行每一方法的计算机程序。可以将每一计算机程序存储到计算机可读介质上。附加地或替代地，所述程序可以是部分或完全硬件实现的。可以使各个方面相结合。还可以提供一种被配置为根据联系这些方面中的任何方面描述的方法工作的机器人系统。
在另一方面中，可以提供一种机器人系统，其包括：能够在第一仪器化环境内观测人的运动并生成人运动数据的多模态感测系统；以及通信耦合至多模态感测系统的用于记录从多模态感测系统接收到的人运动数据并对人运动数据进行处理以提取运动基元从而优选使运动基元定义机器人系统的操作的处理器(其可以是计算机)。运动基元可以是微操纵，如文中所述(例如，紧挨着的在先段落当中)，并且可以具有标准格式。运动基元可以定义具体类型的动作和某一类型的动作的参数，例如，具有定义的起始点、终点、力和抓握类型的牵拉动作。任选地，还可以提供通信耦合至处理器和/或多模态感测系统的机器人设备。机器人设备可以能够采用运动基元和/或人运动数据在第二仪器化环境内复现所观测到的人的运动。
就另一方面而言，可以提供一种机器人系统，其包括：用于接收定义机器人系统的操作的运动基元的处理器(其可以是计算机)，所述运动基元是基于从人的运动捕获的人运动数据的；以及通信耦合至处理器的能够采用运动基元在仪器化环境内复现人的运动的机器人系统。应理解，还可以使这些方面相结合。
另一方面可见于一种机器人系统中，其包括：第一和第二机器臂；第一和第二机器手，每只手具有耦合至相应的臂的腕，每只手具有手掌和多个关节连接的手指，相应手上的每一关节连接指具有至少一个传感器；以及第一和第二手套，每只覆盖相应手的手套具有多个嵌入的传感器。优选地，所述机器人系统是机器人厨房系统。
在一不同但相关的方面中还可以提供一种运动捕获系统，其包括：标准化工作环境模块，优选为厨房；多个具有配置为物理耦接至人的第一类型传感器和配置为与人分隔开的第二类型传感器的多模态传感器。可以是下述情况中的一种或多种：第一类型的传感器可用于测量人附属肢体的姿势以及感测人附属肢体的运动数据；第二类型的传感器可用于确定环境、对象、活动、以及人附属肢体的位置中的一个或多个的三维配置的空间配准；第二类型的传感器可配置为感测活动数据；标准化工作环境可具有与第二类型的传感器接口连接的连接器；第一类型的传感器和第二类型的传感器测量运动数据和活动数据，并将运动数据和活动数据两者都发送至计算机，从而对其进行存储和处理，以供产品(例如，食物)制备之用。
附加地或替代地，一个方面可以在于包覆有感测手套的机器手，其包括：五个手指；以及连接至五个手指的手掌，所述手掌具有内部关节和处于三个区域内的可形变表面材料；第一可形变区域设置在手掌的桡骨侧并且接近拇指的基部；第二可形变区域设置在手掌的尺骨侧并且与桡骨侧隔开；第三可形变区域设置在手掌上并且跨越各手指的基部延伸。优选地，第一可形变区域、第二可形变区域和第三可形变区域的组合以及内部关节协同工作，以执行微操纵，尤其是用于食物制备的微操纵。
就上述系统、装置或设备方面中的任何方面而言，还可以提供包括用以执行系统的功能的步骤的方法。附加地或替代地，可以在文中相对于其他方面描述的特征中的一者或多者的基础上发现任选的特征。
表A：设备类型
表B：食材类型
表C：食物制备方法和设备，烹饪法和基材(Bases)列表
食物制备方法列表
l；“0”；“炒”
2；“0”；“煮”
3；“0”；“炖”
4；“0”；“烘培”
5；“0”；“切”
设备列表
1；“0”；“厨房附件”
2；“1”；“漏斗”
3；“2”；“不锈钢漏斗”
4；“2”；“塑料漏斗”
5；“2”；“硅胶漏斗”
6；“2”；“可转换漏斗”
7；“1”；“过滤器”
8；“7”；“二次过滤器”
9；“7”；“椭圆勺子-花瓶”
10；“7”；“有可折叠把手的过滤器”
11；“7”；“平底过滤器”
12；“7”；“塑料过滤器”
13；“7”；“圆型小过滤器”
14；“7”；“悬挂过滤器”
15；“7”；“封盖过滤器”
16；“7”；“不锈钢和铝过滤器”
17；“7”；“锥形过滤器”
18；“1”；“厨房器具”
19；“18”；“搅拌器”
20；“18”；“量勺，铲子”
21；“20”；“炒菜铲”
22；“20”；“有槽的铲子”
23；“20”；“糖果铲”
24；“18”；“勺”
25；“24”；“用餐勺”
26；“24”；“勺-夹子”
27；“24”；“有槽的勺”
28；“24”；“大米勺”
29；“24”；“长柄勺”
30；“24”；“冰激凌勺”
31；“24”；“蜂蜜勺”
32；“24”；“意粉勺”
33；“24”；“用餐勺”
34；“18”；“用于曲奇和奶油的裱花模具”
35；“18”；“长柄汤勺”
36；“18”；“马铃薯搅碎机”
37；“18”；“漏勺”
38；“18”；“肉叉”
39；“18”；“刷子”
40；“18”；“咖啡过滤器”
41；“18”；“搅拌器”
42；“18”；“硅胶刷”
43；“18”；“硅胶取汁器”
44；“18”；“陶碟”
45；“18”；“滤茶器”
46；“18”；“压泵式出油器或出醋器”
47；“18”；“硅胶勺的锅边夹”
48；“18”；“用于沙拉的花式勺”
49；“18”；“取樱桃籽的用具”
50；“18”；“洗碗池垫子”
51；“18”；“卷带”
52；“18”；“面团迷你刮板”
53；“18”；“烧烤钳”
54；“18”；“意粉钳”
55；“18”；“冰块钳”
56；“18”；“糖块钳”
57；“18”；“包装袋夹具”
58；“18”；“包装袋夹具”
59；“18”；“柑橘喷雾器(citrus spray)”
60；“18”；“压面机”
61；“18”；“大容量勺(scoop for bulk)”
62；“18”；“沙拉夹(夹钳)”
63；“18”；“管道附件(accessories for tubes)”
64；“18”；“杵”
65；“18”；“研钵”
66；“18”；“环切滚子”
67；“18”；“开盖器”
68；“18”；“肉品嫩化剂；肉品软化剂”
69；“18”；“蛋黄分离器”
70；“18”；“围裙”
71；“18”；“装饰工具”
72；“18”；“装油和醋的罐子”
73；“18”；“装沸牛奶的马克杯”
74；“18”；“餐巾纸”
75；“18”；“桌布”
76；“18”；“用于玻璃的标记笔”
78；“18”；“篮子”
79；“18”；“肉品嫩化剂”
80；“18”；“炖锅”
81；“18”；“洗蔬菜的刷子”
82；“18”；“杯盖”
83；“18”；“烘焙绳”
84；“18”；“香料贮藏罐”
86；“18”；“玻璃陶瓷盘刮板”
87；“18”；“茶壶”
88；“18”；“冰箱贴的夹子”
89；“18”；“栏杆系统”
90；“18”；“厨房用具的挂架”
91；“18”；“无粘着表面的柱塞”
92；“18”；“硅胶柱塞”
93；“18”；“厚度可调的擀面杖”
94；“18”；“带有泵的真空袋”
95；“18”；“气体打火机”
96；“18”；“骨钳”
97；“1”；“厨房计时器温度计”
98；“97”；“烤肉计时器”
99；“97”；“数字温度计”
100；“97”；“温度计支架”
101；“97”；“肉品用温度计”
102；“97”；“数字计时器”
103；“97”；“电子数字计时器”
104；“97”；“焦糖温度计”
105；“1”；“香料研磨器”
106；“105”；“黑胡椒研磨器”
107；“105”；“电动研磨器”
108；“105”；“胡椒/盐混合研磨器(2合一)”
109；“105”；“香料研磨器”
110；“105”；“青菜辊压机(mill for greens)”
111；“1”；“测量用具”
112；“111”；“带刻度的容器(塑料瓶)”
113；“111”；“带刻度的瓶”
114；“111”；“带刻度的罐”
115；“111”；“带刻度的碗”
116；“111”；“机械出冰淇淋器”
117；“1”；“机械搅拌器”
118；“1”；“碗”
119；“118”；“金属碗”
120；“118”；“不锈钢碗”
121；“118”；“塑料碗”
122；“118”；“塑料碗”
123；“118”；“装饰物的碗”
124；“1”；“套件”
125；“124”；“酒具套件”
126；“124”；“香料套件”
127；“124”；“烤蛋糕套件”
128；“124”；“烘焙盒”
129；“124”；“酒吧用具套件”
130；“124”；“厨房用具套件”
131；“124”；“鸡蛋和烙饼套件”
132；“1”；“切丝和切块”
133；“132”；“切割用具”
134；“132”；“切洋葱的支座”
135；“132”；“切菜板”
136；“132”；“多用途专业刀具”
137；“132”；“厨房大剪刀”
138；“132”；“短柄小斧”
139；“132”；“剁肉斧”
140；“132”；“带小斧的肉锤”
141；“132”；“剥离铲”
142；“132”；“锤肉的锤子”
143；“132”；“刀”
144；“143”；“菜刀”
145；“143”；“切橘子的刀”
146；“143”；“切猕猴桃的刀”
147；“143”；“切菠萝的刀”
148；“143”；“切胡萝卜的螺旋刀”
149；“143”；“多功能刀”
150；“143”；“菜刀”
151；“143”；“切批萨的刀”
152；“143”；“万用刀”
153；“143”；“切片刀”
154；“143”；"“厨师刀(cook knife)”
155；“143”；“美食刀(gastronomic knife)”
156；“143”；“开瓶器”
157；“143”；“奶酪刀”
158；“143”；“剔骨刀”
159；“143”；“切生菜的刀”
160；“143”；“切肋排的刀”
161；“143”；“屠夫刀”
162；“143”；“切碎刀”
163；“143”；“切面包的刀”
164；“143”；“鱼刀”
165；“143”；“切三明治的刀”
166；“143”；“三德刀”
167；“143”；“去果核的刀”
168；“143”；“切黄油的刀”
169；“169”；“开瓶器”
170；“169”；“罐头开瓶器”
171；“169”；“螺旋开瓶器”
172；“169”；“立式螺旋开瓶器”
173；“169”；“杠杆螺旋开瓶器”
174；“169”；“折叠式螺旋开瓶器”
175；“169”；“侍者专用开瓶器”
178；“494”；“加温台”
179；“494”；“厨房用具存放台”
180；“494”；“牙签架”
181；“494”；“瓶架”
182；“494”；“装小容器的架子”
183；“494”；“勺子架”
184；“494”；“装咖啡胶囊的支座”
185；“494”；“杯垫”
186；“494”；“纸巾支座”
187；“494”；“鸡蛋支座”
188；“494”；“开瓶器支座”
189；“494”；“铲子支座”
190；“494”；“煮蛋和盛蛋的支座”
191；“494”；“长柄杓支座”
192；“494”；“纸巾支座”
193；“494”；“厨房用具转换支座”
194；“494”；“马克杯座”
195；“494”；“马克杯座和杯垫”
196；“494”；“厨房刀具架”
197；“494”；“鸡的支座”
198；“494”；“餐巾纸架”
199；“494”；“加热了的支座”
200；“494”；“蛋糕托”
201；“1”；“剥皮和切割的工具”
202；“201”；“擦菜器”
203；“305”；“摩擦器”
204；“201”；“压蒜器”
205；“201”；“切蛋器”
206；“201”；“手动蔬菜擦菜器”
207；“201”；“蔬菜削皮器”
208；“201”；“坚果钳”
209；“201”；“蛋黄蛋白分离器”
210；“201”；“洗胡萝卜的把手
211；“201”；“刮鳞器”
212；“201”；“水果切刀”
213；“201”；“钻孔器”
214；“201”；“鱼骨钳”
215；“201”；“旋转切蔬菜的器具”
216；“1”；“瓶帽”
217；“216”；“香槟酒瓶软木塞(瓶塞)”
218；“216”；“葡萄酒瓶塞”
219；“216”；“取带冠瓶塞的开瓶器”
220；“1”；“筛子”
221；“220”；“茶叶筛”
222；“220”；“带钳子的茶叶筛”
223；“220”；“香料滤网”
224；“220”；“茶叶滤网”
225；“220”；“通用筛”
226；“220”；“面粉筛”
228；“220”；“内插网格的中国式筛子”
229；“220”；“带支架的筛子”
230；“220”；“用于面粉的大口筛子”
231；“220”；“把手上的筛子”
232；“1”；“盐和胡椒的振动器”
233；“282”；“装调料的容器”
234；"232"；“盐罐”
235；"232"；“装油和醋的容器”
236；“1”；“盘子干燥器”
237；"236"；“沙拉干燥器”
238；"236"；“干燥器-餐垫”
239；"236"；“用于陶器和餐具的干燥器”
240；“1”；“餐具附件”
241；“240”；“餐具托盘”
242；“240”；“餐具支架”
243；“240”；“装餐具的容器”
244；“240”；“餐具滤水架”
245；“240”；“挂厨房用具的墙架”
246；“240”；“餐具收纳装置”
247；“240”；“餐具垫”
248；“240”；“用于餐具的滑动托盘”
249；“240”；“餐具干燥器”
250；“240”；“用于餐具的玻璃”
251；“240”；“擦餐具的纸”
252；“240”；“装餐具的箱子”
253；“240”；“用于餐具的托盘”
254；“240”；“编织的隔热垫”
255；“240”；“装餐具的盒子”
256；“240”；“符合餐具大小的支架(卡式)”
257；“240”；“不带装餐具的容器的底座”
258；“240”；“餐具卡槽”
259；“240”；“装餐具的容器”
260；“240”；“餐具收纳空间”
261；“240”；“搁餐具的架子”
262；“1”；“调酒用具”
263；“262”；“吸管”
264；“262”；“搅棒”
266；“496”；“制冰模具”
267；“496”；“儿童用的模具”
268；“496”；“有具体形状的模具”
269；“496”；“饺子模具”
271；“497”；“能测量的容器”
272；“497”；“带有分配器的用于混合的容器”
273；“497”；“有漏斗的能测量的容器”
274；“497”；“烧杯”
275；“497”；“勺”
276；“1”；“厨房剪刀”
277；“276”；“BBQ剪刀”
278；“276”；“带开瓶器的厨房剪刀”
279；“276”；“用于青菜的剪刀”
280；“276”；“厨房多用剪”
281；“276”；“用于禽类的厨房剪刀”
282；“1”；“储存用具”
283；“282”；“储存容器”
284；“282”；“装液体香料油的瓶子”
285；“282”；储存罐
286；“282”；“午餐盒”
287；“282”；“可折叠午餐盒”
288；“282”；“大体积食品的密封储存罐”
289；“282”；“喷油/醋壶”
290；“282”；“装大体积食品的罐子”
291；“282”；“装香料的容器”
293；“282”；“装茶的容器”
294；“1”；“隔热用具”
295；“294”；“热炉-手套”
296；“294”；“硅胶隔热垫”
297；“294”；“摆餐盘的布垫”
298；“1”；“带钩的挂架”
299；“1”；“硅胶大垫子”
300；“299”；“烘培垫”
301；“299”；“烤蛋糕用的垫子”
302；“299”；“使玻璃器皿干燥时用的垫子”
303；“299”；“烹饪垫”
304；“299”；“使餐盘干燥时用的垫子”
305；“1”；“擦菜器，挤压器，摩擦器”
306；“305”；“带手柄的擦菜器”
308；“305”；“多功能擦菜器”
309；“305”；“碎菜器”
310；“305”；“青菜粉碎器”
311；“305”；“大蒜粉碎器”
312；“305”；“西红柿切片器”
313；“305”；“带转鼓的擦菜器”
314；“305”；“通用研磨装置”
315；“305”；“机械擦菜器”
316；“305”；“大蒜去皮管”
317；“305”；“摩擦器”
318；“305”；“蔬菜压榨器”
319；“305”；“压蒜器”
320；“305”；“汉堡挤压器”
321；“1”；“磨刀器”
322；“321”；“电动磨刀器”
323；“321”；“磨刀石”
324；“321”；“陶瓷磨刀器”
325；“1”；“面包盒”
326；“1”；“带腿格架”
327；“339”；“扁平餐具(Flatware)”
328；“327”；“酒具”
329；“540”；“干邑白兰地套件，带计量器”
330；“540”；“玻璃纪念杯”
331；“540”；“玻璃制品”
332；“540”；“冰桶”
333；“540”；“烈酒杯”
334；“540”；“香槟桶”
335；“540”；“盛酒的玻璃杯(wine glasses)”
336；“540”；“玻璃水瓶(decanter)”
337；“540”；“托盘”
338；“540”；“酒瓶底的支座”
339；“327”；餐桌上的餐具
340；“339”；“上第一道菜的盘子”
341；“339”；“盛肉汤的盘子”
342；“339”；“盛肉汤的碗”
343；“339”；“注油壶”
344；“339”；“圆碟”
345；“339”；“鸭锅”
346；“339”；“用于巧克力火锅的套件”
347；“339”；“用于奶酪火锅的套件”
348；“339”；“沙拉碗”
349；“339”；“蛋糕碟”
350；“339”；“分格子的盘”
351；“339”；“餐具套件”
352；“339”；“用餐的勺子和叉子”
353；“339”；“带盖子的碟子”
354；“339”；“蒸汽台”
355；“374”；“冰激凌碗”
357；“339”；“浅碟”
358；“339”；“果酱碟”
359；“339”；“芥末罐”
360；“339”；“胡椒罐”
361；“339”；“灰筒”
362；“339”；“嵌有深台的板”
363；“339”；“装正菜的盘子”
364；“339”；“装小吃的盘子”
365；“339”；“装甜点的大肚盘”
366；“339”；“装甜点的盘子”
367；“339”；“装馅饼的盘子”
368；“339”；“辣根锅”
369；“327”；“餐桌用品”
370；“369”；“餐桌上餐具的垫子”
371；“369”；“就餐用的软垫”
372；“369”；“就餐用的托盘”
373；“369”；“玻璃燃烧器”
374；“327”；“盛茶、咖啡、甜品的碟子”
375；“374”；“糖碗”
376；“374”；“马克杯”
377；“374”；“马克杯带茶壶”
378；“374”；“马克杯带底座”
379；“374”；“带盖马克杯”
380；“374”；“茶具”
381；“374”；“盘子”
382；“374”；“法式挤压机”
383；“374”；“茶壶”
384；“374”；“茶壶带过滤器”
385；“374”；“玻璃茶壶”
387；“374”；“多用途大瓶”
388；“540”；“玻璃器皿”
389；“374”；“汤碗”
390；“374”；“柳条筐”
391；“374”；“3层大瓶”
393；“374”；“纸巾滚架”
394；“374”；“水果篮”
395；“374”；“桌面垃圾筐”
396；“374”；“饼干碟”
397；“374”；“糖果碟”
398；“374”；“咖啡具”
399；“327”；“刀具”
437；“0”；“厨房用具”
438；“437”；“烤架”
439；“437”；“搅拌机研磨器”
440；“437”；“咖啡机”
441；“437”；“咖啡研磨机”
442；“437”；“食物加工机”
443；“437”；“混合器”
444；“437”；“迷你炉”
445；“437”；“多头灶”
446；“437”；“绞肉机”
447；“437”；“蒸锅”
448；“437”；“拉克雷特烤架”
449；“437”；“榨汁机”
450；“437”；“烤面包机”
451；“437”；“煮蛋器”
452；“437”；“电灶”
453；“437”；“电磁炉”
454；“437”；“电热水壶”
455；“437”；“热水瓶”
456；“437”；“制面包机”
457；“437”；“微波炉”
458；“437”；“厨房秤”
459；“437”；“电烘干机”
461；“0”；“儿童餐盘”
462；“461”；“儿童烘焙套件”
463；“461”；“儿童刀具”
464；“461”；“儿童暖瓶”
465；“461”；“儿童餐盘套件”
488；“437”；“油炸锅”
491；“339”；“烘焙板(baking sheet)”
494；“1”；“底座和支架”
495；“220”；““鸟巢”状筛子”
496；“1”；“模具”
497；“1”；“能测量的容器”
498；“339”；“锅”
499；“339”；“煎锅”
500；“437”；“电磁炉能用的炊具”
501；“437”；“果汁炊具”
502；“437”；“奶品炊具”
503；“437”；“盖/闪屏”
504；“437”；“微波炉炊具”
505；“437”；“火盆烘烤炉(Braziers roasters)”
506；“437”；“Turk(土耳其餐具)”
507；“437”；"Dumpling(manti)餐具"
508；“437”；“套件”
509；“437”；“Samovars(俄式茶壶)”
510；“437”；“kasans”
511；“437”；“电炉”
512；“437”；“煲锅(平底)”
513；“512”；“煲锅(平底)带不粘涂层”
514；“512”；“铝制煲锅(平底)”
515；“512”；“不锈钢煲锅(平底)”
516；“512”；“搪瓷煲锅(平底)”
517；“512”；“涂特氟龙的煲锅(平底)”
518；“512”；“耐热玻璃煲锅(平底)”
519；“512”；“长柄杓(ladles)”
520；“512”；“陶瓷煲锅(平底)”
521；“512”；“煲锅(平底)套件”
522；“512”；“压力锅”
523；“512”；“平底蒸锅”
524；“512”；“电磁炉煲锅”
525；“512”；“平底炒锅”
526；“512”；“铸铁煲锅(大肚锅)”
527；“512”；“钛煲锅”
528；“437”；“长柄平底煎锅”
529；“528”；“有陶瓷涂层的平底煎锅”
530；“528”；“有不粘涂层的平底煎锅”
531；“528”；“有可取下的手柄的平底煎锅”
532；“528”；“双耳炖锅(Stewpots)”
533；“528”；“烤架专用平底煎锅”
534；“528”；“炒菜锅(Wok)”
535；“528”；“做薄饼的平底锅”
536；“528”；“平底电炒锅”
537；“528”；“长柄平底铸铁煎锅”
538；“528”；“多用途煎锅”
539；“528”；“钛煎锅”
540；“437”；“饮具(Drinkware)”
541；“540”；“玻璃喝酒杯”
542；“540”；“玻璃制喝水杯”
543；“540”；“玻璃制啤酒杯”
544；“540”；“小桶(Kegs)”
545；“540”；“玻璃水瓶(Carafes)”
546；“540”；“玻璃水瓶(Decanters)”
547；“540”；“水壶(Jugs)”
548；“540”；“Shots”
549；“540”；“玻璃制香槟酒杯”
550；“540”；“玻璃制白兰地/干邑酒杯”
551；“540”；“玻璃制鸡尾酒/马爹利酒杯”
烹饪风格列表
1；“0”；“阿布哈齐亚”
2；“0”；“澳大利亚”
3；“0”；“奥地利”
4；“0”；“阿塞拜疆”
5；“0”；“阿尔巴尼亚”
6；“0”；“阿尔及利亚”
7；“0”；“美国”
8；“0”；“英国”
9；“0”；“阿拉伯”
10；“0”；“阿根廷”
11；“0”；“亚美尼亚”
12；“0”；“巴什基尔”
13；“0”；“白俄罗斯”
14；“0”；“比利时”
15；“0”；“保加利亚”
16；“0”；“波斯尼亚”
17；“0”；“巴西”
18；“0”；“匈牙利”
19；“0”；“委内瑞拉”
20；“0”；“越南”
21；“0”；“希腊”
22；“0”；“格鲁吉亚”
23；“0”；“丹麦”
24；“0”；“犹太”
25；“0”；“以色列”
26；“0”；“印度”
27；“0”；“印度尼西亚”
28；“0”；“约旦”
29；“0”；“伊拉克”
30；“0”；“伊朗”
31；“0”；“爱尔兰”
32；“0”；“冰岛”
33；“0”；“西班牙”
34；“0”；“意大利”
35；“0”；“柬埔寨”
36；“0”；“加拿大”
37；“0”；“塞浦路斯”
38；“0”；“中国”
39；“0”；“哥伦比亚”
40；“0”；“韩国”
41；“0”；“克里奥尔”
42；“0”；“哥斯达黎加”
43；“0”；“拉脱维亚”
44；“0”；“黎巴嫩”
45；“0”；“利比亚”
46；“0”；“立陶宛”
47；“0”；“马其顿”
48；“0”；“马来西亚”
49；“0”；“摩洛哥”
50；“0”；“墨西哥”
51；“0”；“摩尔达维亚”
52；“0”；“蒙古”
53；“0”；“德国”
54；“0”；“荷兰”
55；“0”；“新西兰”
56；“0”；“挪威”
57；“0”；“奥塞特”
58；“0”；“巴基斯坦”
59；“0”；“巴勒斯坦”
60；“0”；“巴拿马”
61；“0”；“秘鲁”
62；“0”；“波兰”
63；“0”；“葡萄牙”
64；“0”；“罗马尼亚”
65；“0”；“俄罗斯”
66；“0”；“塞尔维亚”
67；“0”；“新加坡”
68；“0”；“叙利亚”
69；“0”；“斯洛伐克”
70；“0”；“斯洛文尼亚”
71；“0”；“泰国”
72；“0”；“鞑靼”
73；“0”；“西藏”
74；“0”；“突尼斯”
75；“0”；“土耳其”
76；“0”；“土库曼”
77；“0”；“乌克兰”
78；“0”；“菲律宾”
79；“0”；“芬兰”
80；“0”；“法国”
81；“0”；“克罗地亚”
82；“0”；“黑山”
83；“0”；“捷克”
84；“0”；“智利”
85；“0”；“楚瓦什”
86；“0”；“楚科奇”
87；“0”；“瑞典”
88；“0”；“瑞士”
89；“0”；“苏格兰”
90；“0”；“厄尔多瓦”
91；“0”；“爱沙尼亚”
92；“0”；“日本”
93；“0”；“原始食物饮食”
94；“0”；“欧洲”
95；“0”；“国际”
96；“0”；“多国”
97；“0”；“无脂肪”
98；“0”；“高加索”
99；“0”；“儿童”
基材列表：
l；“0”；“肉及肉制品”
2；“1”；“五香熏牛肉”
3；“1”；“肥肉”
4；“1”；“烟熏熟胸肉”
5；“1”；“野兔肉”
6；“1”；“带皮鸭”
7；“1”；“香肠”
8；“1”；“各种香肠”
9；“1”；“香肠“狩猎聚会””
10；“1”；“马肉”
11；“1”；“骨头带骨髓”
12；“1”；“鱼子”
13；“1”；“家兔肉”
14；“1”；“肉”
15；“1”；“麋鹿肉”
16；“1”；“鹿肉”
17；“1”；“肝”
18；“1”；“肾”
19；“1”；“熏肋排”
20；“1”；“萨拉米”
21；“1”；“各种香肠”
22；“1”；“思华力肠”
23；“1”；“各种香肠”
24；“1”；“匈牙利烟熏培根”
25；“1”；“肥尾培根”
26；“1”；“牛排”
27；“1”；“肋眼牛排”
28；“1”；“肉馅”
29；“1”；“鳄鱼片”
30；“1”；“Jamon”
31；“1”；“Choriso(西班牙香肠)”
32；“1”；“Skewers(串烧)”
33；“1”；“Sowbelly”
34；“1”；“鹿舌”
35；“1”；“羊肉”
36；“35”；“羊胸”
37；“35”；“羊肾”
38；“35”；“羊肉片”
39；“35”；“小牛牛脑”
40；“35”；“羔羊火腿”
41；“35”；“小牛火腿”
42；“35”；“羊腿”
43；“35”；“羔羊羊腱子”
44；“35”；“羊内脏”
45；“35”；“小牛肾”
46；“35”；“羊排”
47；“35”；“奶牛牛肝”
48；“35”；“小牛牛心”
49；“35”；“羊睾丸”
50；“35”；“小牛牛肉”
51；“35”；“小牛脸颊肉(veal cheeks)”
52；“35”；“羊肉馅”
53；“35”；“小牛牛肉馅”
54；“35”；“小牛牛尾”
55；“35”；“小牛牛舌”
56；“35”；“牛宝”
57；“1”；“牛肉”
58；“57”：“牛胸”
59；“57”；“”
60；“57”；牛肉(上腰)
61；“57”；带骨牛肉
62；“57”；牛眼肉
63；“57”；牛腿
64；“57”；牛肉火腿
65；“57”；牛肝
66；“57”；牛排
67；“57”；牛心
68；“57”；牛肉馅
69；“57”；牛尾
70；“57”；牛舌
71；“1”；“猪肉”
72；“71”；“培根”
73；“71”；“熏培根”
74；“71”；“猪肉”
75；“71”；“火腿”
76；“71”；“猪胸”
77；“71”；“熏猪五花肉”
78；“71”；“猪肠”
79；“71”；“猪腿”
80；“71”；“野猪火腿”
81；“71”；“猪肉火腿”
82；“71”；“猪排”
83；“71”；“猪肘子”
84；“71”；“肥肉”
85；“71”；“猪肉(猪脖或猪腰)”
86；“71”；“猪耳”
87；“71”；“猪肉馅”
88；“71”；“猪尾”
89；“71”；“猪舌”
90；“0”；“禽肉”
91；“90”；“garshnep”
92；“90”；“火鸡胸”
93；“90”；“小鸡胸”
94；“90”；“熏小鸡胸”
95；“90”；“鸭胸”
96；“90”；“鹅”
97；“90”；“小鸡鸡心”
98；“90”；“火鸡”
99；“90”；“火鸡鸡翅”
100；“90”；“小鸡鸡翅”
101；“90”；“小鸡”
102；“90”；“熏小鸡”
103；“90”；“松鸡”
104；“90”；黑鸭
105；“90”；“鸭腿”
106；“90”；“乌鸦腿”
107；“90”；“小鸡鸡腿”
108；“90”；“小鸡火腿”
109；“90”；“鹌鹑”
110；“90”；“小鸡鸡肝”
111；“90”；“小鸡鸡杂”
112；“90”；“松鸡”
113；“90”；“小鸡鸡心”
114；“90”；“鸭”
115；“90”；“熏鸭”
116；“90”；“山鸡”
117；“90”；“鸡肉馅”
118；“90”；“鸡肉”
119；“90”；“鹅肝”
120；“90”；“小鸡”
121；“90”；“烧鸡”
122；“90”；“鸭脖”
123；“0”；“鱼和海产品”
124；“123”；“凤尾鱼”
125；“123”；“北极红点鲑”
126；“123”；“鲻鱼”
127；“123”；“黑海虾虎鱼”
128；“123”；“虾头”
129；“123”；“鲳鱼”
130；“123”；“扇贝”
131；“123”；“剑鱼”
132；“123”；“ruff”
133；“123”；“鱼子酱”
134；“123”；“红鱼子酱”
135；“123”；“Tobiko鱼子酱”
136；“123”；“鱿鱼”
137；“123”；“比目鱼”
138；“123”；“墨鱼”
139；“123”；“鲤鱼”
140；“123”；“小鲱鱼”
141；“123”；“胡瓜鱼”
142；“123”；“蟹棒”
143；“123”；“虾”
144；“123”；“王虾”
145；“123”；“沙拉虾”
146；“123”；“虎虾”
147；“123”；“鳊鱼”
148；“123”；“三文鱼”
149；“123”；“熏三文鱼”
150；“123”；“贻贝”
151；“123”；“带壳贻贝”
152；“123”；“鳕鱼类”
153；“123”；“贝类”
154；“123”；“海产”
155；“123”；“海鱼”
156；“123”；“龙利鱼”
157；“123”；“蟹肉”
158；“123”；“磷虾肉”
159；“123”；“江鳕”
160；“123”；“蛙腿”
161；“123”；“河鲈鱼”
162；“123”；“龙虾”
163；“123”；“加拿大白鲑”
164；“123”；“鲟鱼”
165；“123”；“章鱼”
166；“123”；“小章鱼”
167；“123”；“虾肉汤”
168；“123”；“大比目鱼”
169；“123”；“鲶鱼属”
170；“123”；“鱼肝油”
171；“123”；“黑线鳕”
172；“123”；“小龙虾”
173；“123”；“干甲壳动物”
174；“123”；“热熏鱼”
175；“123”；“腌红鱼”
176；“123”；“旗鱼”
177；“123”；“秋刀鱼”
178；“123”；“沙丁鱼”
179；“123”；“鲱鱼”
180；“123”；“三文鱼”
181；“123”；“熏三文鱼”
182；“123”；“腌三文鱼”
183；“123”；“海鲈鱼”
184；“123”；“白鱼”
185；“123”；“ramp”
186；“123”；“鲭鱼”
187；“123”；“熏鲭鱼”
188；“123”；“鲇鱼”
189；“123”；“"starlet”
190；“123”；“白斑鱼”
191；“123”；“干海带”
192；“123”；“罗非鱼”
193；“123”；“鲤鱼”
194；“123”；“鳕鱼”
195；“123”；“热熏鳕鱼”
196；“123”；“黑鳕鱼”
197；“123”；“金枪鱼”
198；“123”；“大菱鲆”
199；“123”；“鳗鱼”
200；“123”；“熏鳗鱼”
201；“123”；“蜗牛”
202；“123”；“牡蛎”
203；“123”；“白色鱼片”
204；“123”；“鲶鱼鱼片”
205；“123”；“鲤鱼鱼片”
206；“123”；“鱼片”
207；“123”；“三文鱼鱼片”
208；“123”；“腌鲱鱼片”
209；“123”；“河鲈鱼鱼片”
210；“123”；“鳟鱼”
211；“123”；“熏鳟鱼”
212；“123”；“鱿鱼墨”
213；“123”；“cervical虾”
214；“123”；“宫颈癌”
215；“123”；“小鲱鱼”
216；“123”；“梭子鱼”
217；“0”；“蔬菜”
218；“217”；“西瓜”
219；“217”；“朝鲜蓟”
220；“217”；“茄子”
221；“217”；“山芋”
222；“217”；“西兰花头”
223；“217”；“甜菜头”
224；“217”；“西兰花”
225；“217”；“芜菁甘蓝”
226；“217”；“高良姜”
227；“217”；“豌豆”
228；“217”；“豌豆苗”
229；“217”；“豌豆荚”
230；“217”；“青豆”
231；“217”；“大白萝卜”
232；“217”；“甜瓜”
233；“217”；“参”
234；“217”；“姜”
235；“217”；“西葫芦”
236；“217”；“粪”
237；“217”；“卷心菜”
238；“217”；“球芽甘蓝”
239；“217”；“酸菜”
240；“217”；“白菜”
241；“217”；“卷心菜”
242；“217”；“罗马卷心菜”
243；“217”；“皱叶甘蓝”
244；“217”；“花椰菜”
245；“217”；“土豆”
246；“217”；“嫩土豆”
247；“217”；“苤蓝”
248；“217”；“茴香根”
249；“217”；“婆罗门参根”
250；“217”；“欧芹根”
251；“217”；“芹菜根”
252；“217”；“鲜玉米”
253；“217”；“白洋葱”
254；“217”；“pearl bow”
255；“217”；“洋葱”
256；“217”；“红洋葱”
257；“217”；“干洋葱”
258；“217”；“小洋葱”
259；“217”；“小葱”
260；“217”；“木薯”
261；“217”；“迷你玉米”
262；“217”；“迷你辣椒”
263；“217”；“小西红柿”
264；“217”；“胡萝卜”
265；“217”；“黄瓜”
266；“217”；“防风草”
267；“217”；“笋瓜”
268；“217”；“柿子椒”
269；“217”；“红辣椒”
270；“217”；“鲜辣椒”
271；“217”；“jalapeno辣椒”
272；“217”；“西红柿”
273；“217”；“腌西红柿”
274；“217”；“樱桃西红柿”
275；“217”；“向日葵芽”
276；“217”；“小麦胚芽”
277；“217”；“大豆幼苗”
278；“217”；“黄豆芽”
279；“217”；“大黄”
280；“217”；“水萝卜”
281；“217”；“野生水萝卜”
282；“217”；“白萝卜”
283；“217”；“菜豆芽”
284；“217”；“甜菜”
285；“217”；“芦笋”
286；“217”；“碎西红柿”
287；“217”；“甜”
288；“217”；“南瓜”
289；“217”；“青豆”
290；“217”；“茴香”
291；“217”；“酸浆属植物”
292；“217”；“辣根”
293；“217”；“西葫芦”
294；“217”；“大蒜”
295；“217”；“菊苣”
296；“0”；“水果”
297；“296”；“杏”
298；“296”；“鳄梨”
299；“296”；“木梨”
300；“296”；“鲜菠萝”
301；“296”；“橘子”
302；“296”；“香蕉”
303；“296”；“山楂”
304；“296”；“蔓越莓”
305；“296”；“葡萄”
306；“296”；“樱桃”
307；“296”；“樱桃干”
308；“296”；“蓝莓”
309；“296”；“石榴石”
310；“296”；“葡萄柚”
311；“296”；“梨”
312；“296”；“黑莓”
313；“296”；“草莓”
314；“296”；“石榴籽”
315；“296”；“杨桃”
316；“296”；“猕猴桃”
317；“296”；“草莓”
318；“296”；“蔓越莓”
319；“296”；“椰子”
320；“296”；“鹅莓”
321；“296”；“金橘”
322；“296”；“酸橙”
323；“296”；“柠檬”
324；“296”；“荔枝”
325；“296”；“覆盆子”
326；“296”；“芒果”
327；“296”；“柑橘”
328；“296”；“百香果”
329；“296”；“迷你菠萝”
330；“296”；“油桃”
331；“296”；“沙棘”
332；“296”；“木瓜”
333；“296”；“桃”
334；“296”；“柚”
335；“296”；“花楸”
336；“296”；“drain”
337；“296”；“红醋栗”
338；“296”；“黑醋栗”
339；“296”；“罗望子”
340；“296”；“费约果”
341；“296”；“要品尝的水果”
342；“296”；“柿子”
343；“296”；“各种樱桃”
344；“296”；“樱桃”
345；“296”；“蓝莓”
346；“296”；“苹果”
347；“296”；“冻莓”
348；“296”；“杜松子”
349；“296”；“鲜莓”
350；“0”；“杂项”
351；“350”；“琼脂”
352；“350”；“adjika”
353；“350”；“米纸”
354；“350”；“香草精”
355；“350”；“粉丝米”
356；“350”；“鸡蛋面”
357；“350”；“藻”
358；“350”；“葡萄糖”
359；“350”；“果酱”
360；“350”；“覆盆子果酱”
361；“350”；“鲜酵母”
362；“350”；“明胶”
363；“350”；“熏制液”
364；“350”；“甜味剂”
365；“350”；“玉米松饼”
366；“350”；“番茄酱”
367；“350”；“柠檬酸”
368；“350”；“糖果”
369；“350”；“蜜饯”
370；“350”；“草莓酱”
371；“350”；“食物染料”
372；“350”；“淀粉”
373；“350”；“土豆淀粉”
374；“350”；“玉米淀粉”
375；“350”；“面包屑”
376；“350”；“面条”
377；“350”；“荞麦面”
378；“350”；“泰式面”
379；“350”；“米粉”
380；“350”；“水晶面”
381；“350”；“粉丝”
382；“350”；“鸡蛋面”
383；“350”；“蛋黄酱”
384；“350”；“罂粟甜”
385；“350”；“帕斯塔”
386；“350”；“意大利碎肉卷面”
387；“350”；“pasta lumakoni”
388；“350”；“pasta feathers”
389；“350”；“螺丝意面”
390；“350”；“pumpkin marmal”
391；“350”；“枣果”
392；“350”；“杏仁膏”
393；“350”；“味醂”
394；“350”；“椰奶”
395；“350”；“杏仁奶”
396；“350”；“豆奶”
397；“350”；“muesli”
398；“350”；“帕斯塔”
399；“350”；“花生酱”
400；“350”；“红咖喱酱”
401；“350”；“罗望子酱”
402；“350”；“泰式酸辣酱”
403；“350”；“辣椒酱”
404；“350”；“糖蜜”
405；“350”；“果胶”
406；“350”；“通心粉”
407；“350”；“果酱”
408；“350”；“接骨木糖浆”
409；“350”；“香草糖浆”
410；“350”；“syrup vishnevny”
411；“350”；“姜糖浆”
412；“350”；“焦糖糖浆”
413；“350”；“枫糖浆”
414；“350”；“草莓糖浆”
415；“350”；“咖啡糖浆”
416；“350”；“玉米糖浆”
417；“350”；“覆盆子糖浆”
418；“350”；“芒果糖浆”
419；“350”；“蜂蜜糖浆”
420；“350”；“杏仁糖浆”
421；“350”；“核桃糖浆”
422；“350”；“黑醋栗糖浆”
423；“350”；“巧克力糖浆”
424；“350”；“蔓越莓酱”
425；“350”；“worcestershire sauce”
426；“350”“石榴汁”
427；“350”；“韩国泡菜酱”
428；“350”；“香蒜酱”
429；“350”；“鱼酱”
430；“350”；“fish sauce nampla”
431；“350”；“塔巴斯科辣椒酱”
432；“350”；“照烧酱”
433；“350”；“sauce tkemali”
434；“350”；“蚝油”
435；“350”；“甜辣酱”
436；“350”；“日式核桃酱”
437；“350”；“spaghetti”
438；“350”；”；“白面包屑”
439；“350”；“面包屑”
440；“350”；“糕点装饰”
441；“350”；“糖渍”
442；“0”；“奶制品和蛋”
443；“442”；“酸奶”
444；“442”；“天然酸奶”
445；“442”；“俄式酸奶酒”
446；“442”；“人造黄油”
447；“442”；“黄油”
448；“442”；“融化的黄油”
449；“442”；“牛奶”
450；“442”；“烘培的牛奶”
451；“442”；“酪乳”
452；“442”；“凝块”
453；“442”；“奶油”
454；“442”；“酸的奶油”
455；“442”；“乳清”
456；“442”；“塔那酒”
457；“442”；“豆腐”
458；“442”；“豆腐串”
459；“442”；“鹌鹑蛋”
460；“442”；“蛋”
461；“0”；“蘑菇类”
462；“461”；“平菇类(oyster mushrooms)”
463；“461”；“”
464；“461”；“ceps”
465；“461”；“金针菇”
466；“461”；“中国干菇”
467；“461”；“波托贝落蘑菇”
468；“461”；“干菇”
469；“461”；“香菇”
470；“461”；“奶菇”
471；“461”；“鸡油菌”
472；“461”；“牛肝菌”
473；“461”；“蜜环菌”
474；“461”；“藏红花奶盖”
475；“461”；“羊肚菌”
476；“461”；“松露”
477；“461”；“草甸蘑菇”
478；“0”；“奶酪”
479；“478”；“奶酪”
480；“478”；“阿迪格奶酪”
481；“478”；“布里奶酪”
482；“478”；“羊奶酪”
483；“478”；“布拉塔奶酪”
484；“478”；“高达奶酪”
485；“478”；“荷兰奶酪”
486；“478”；“蓝纹奶酪”
487；“478”；“戈尔佐拉”
488；“478”；”；“格拉娜帕达诺奶酪”
489；“478”；“格鲁耶尔干酪”
490；“478”；“–”；“多尔蓝奶酪”
491；“478”；“卡门培尔奶酪”
492；“478”；“山羊奶酪”
493；“478”；“奶酪香肠”
494；“478”；“马斯卡帕尼奶酪”
495；“478”；“蒙特利杰克奶酪”
496；“478”；“莫扎里拉奶酪”
497；“478”；“软酪”
498；“478”；“山羊奶酪”
499；“478”；“帕玛森奶酪”
500；“478”；“佩克力诺干酪”
501；“478”；“再制干酪”
502；“478”；“cheese Poshehonsky”
503；“478”；“里科塔干酪”
504；“478”；“诺克福羊乳干酪”
505；“478”；“蓝纹奶酪”
506；“478”；“奶油奶酪”
507；“478”；“suluguni”
508；“478”；“奶酪块”
509；“478”；“费塔干酪”
510；“478”；“费城奶酪”
511；“478”；“切达干酪”
512；“478”；“红波奶酪”
513；“478”；“艾门塔尔奶酪”
514；“0”；“坚果和干果”
515；“514”；“花生”
516；“514”；“伏牛花”
517；“514”；“核桃(去皮)”
518；“514”；“葡萄干”
519；“514”；“无花果”
520；“514”；“板栗”
521；“514”；“蔓越莓干”
522；“514”；“椰子”
523；“514”；“杏干”
524；“514”；“榛子”
525；“514”；“杏仁”
526；“514”；“坚果”
527；“514”；“松果”
528；“514”；“腰果”
529；“514”；“桃干”
530；“514”；“葵花籽”
531；“514”；“南瓜籽”
532；“514”；“水果干”
533；“514”；“枣”
534；“514”；“开心果”
535；“514”；“榛子”
536；“514”；“梅干”
537；“0”；“饮料”
538；“537”；“水”
539；“537”；“桔子水”
540；“537”；“矿泉水”
541；“537”；“水粉红”
542；“537”；“佳叶龙茶”
543；“537”；“洛神花茶”
544；“537”；“格瓦斯”
545；“537”；“面包格瓦斯”
546；“537”；”-；“可乐”
547；“537”；“苦丁茶”
548；“537”；“柠檬水”
549；“537”；“伴侣”
550；“537”；“果汁”
551；“537”；“碳酸饮料”
552；“537”；“苦白兰地”
553；“537”；“路易波士茶”
554；“537”；“菠萝汁”
555；“537”；“橙汁”
556；“537”；“桦树汁”
557；“537”；“葡萄汁”
558；“537”；“樱桃汁”
559；“537”；“石榴汁”
560；“537”；“草莓汁”
561；“537”；“蔓越莓汁”
562；“537”；“鹅莓汁”
563；“537”；“青柠汁”
564；“537”；“芒果汁”
565；“537”；“柑橘汁”
566；“537”；“桃汁”
567；“537”；“加仑汁”
568；“537”；“番茄汁”
569；“537”；“苹果汁”
570；“537”；“雪碧”
571；“537”；“奎宁水”
572；“537”；“白茶”
573；“537”；“黄茶”
574；“537”；“绿茶”
575；“537”；“红茶”
576；“537”；“普洱茶”
577；“537”；“普通话中的普洱茶”
578；“537”；“乌龙茶”
579；“537”；“黑茶”
580；“537”；“Espresso(咖啡)”
581；“0”；“酒精类”
582；“581”；“波美酒”
583；“581”；“比特酒”
584；“581”；“白兰地”
585；“581”；“波本威士忌”
586；“581”；“苦艾酒”
587；“581”；“葡萄酒”
588；“581”；“白葡萄酒”
589；“581”；“汽酒”
590；“581”；“红葡萄酒”
591；“581”；“干红葡萄酒”
592；“581”；“桑格利亚酒”
593；“581”；“威士忌”
594；“581”；“伏特加”
595；“581”；“茴香伏特加”
596；“581”；“格拉帕酒”
597；“581”；“杜松子酒”
598；“581”；“-”；“爱尔兰奶油利口酒”
599；“581”；“卡尔瓦多斯”
600；“581”；“巴西朗姆酒”
601；“581”；“白兰地”
602；“581”；“利口酒”
603；“581”；“桔子利口酒”
604；“581”；“咖啡利口酒”
605；“581”；“巧克力利口酒”
606；“581”；“马德拉酒”
607；“581”；“马沙拉酒”
608；“581”；“马爹利酒”
609；“581”；“啤酒”
610；“581”；“樱桃啤酒”
611；“581”；“波特酒”
612；“581”；“朗姆酒”
613；“581”；“白朗姆酒”
614；“581”；“黑朗姆酒”
615；“581”；“日本清酒”
616；“581”；“桑布卡酒”
617；“581”；“苹果酒”
618；“581”；“龙舌兰酒”
619；“581”；“雪莉酒”
620；“581”；“()”；“香槟”
621；“581”；“杜松子酒”
622；“0”；“greens和草药类”
623；“622”；“罗勒”
624；“622”；“罗勒红”
625；“622”；“bouquet garni(香草)”
626；“622”；“牛至”
627；“622”；“greens(青菜)”
628；“622”；”干香草(dried herbs)”
629；“622”；”-；“cabbage pakchoi(白菜)”
630；“622”；“细叶芹”
631；“622”；“芫荽叶”
632；“622”；“酢浆草”
633；“622”；“燕麦根”
634；“622”；“鲜胡荽”
635；“622”；“荨麻”
636；“622”；“水田芥”
637；“622”；“水田芥”
638；“622”；“玫瑰花瓣”
639；“622”；“柠檬香茅”
640；“622”；“竹叶”
641；“622”；“香蕉叶”
642；“622”；“葡萄叶”
643；“622”；“葡萄叶(咸)”
644；“622”；“卡菲尔青柠叶”
645；“622”；“青柠叶”
646；“622”；“蒲公英叶”
647；“622”；“小葱”
648；“622”；”-；“韭葱”
649；“622”；“墨角兰”
650；“622”；“chard(甜菜)”
651；“622”；“蜜蜂花”
652；“622”；“柠檬香蜂草”
653；“622”；“薄荷”
654；“622”；“牛至”
655；“622”；“香芹”
656；“622”；“干香芹”
657；“622”；“车前草”
658；“622”；“艾草”
659；“622”；“碎洋甘菊”
660；“622”；“芝麻菜”
661；“622”；“冰冻生菜”
662；“622”；“青菜沙拉”
663；“622”；“玉米沙拉”
664；“622”；“莴苣”
665；“622”；“叶莴苣”
666；“622”；“美津浓沙拉”
667；“622”；”：“橡树叶生菜”
668；“622”；“菊苣沙拉”
669；“622”；“长叶莴苣”
670；“622”；“沙拉弗里斯”
671；“622”；“什锦沙拉”
672；“622”；“水芹”
673；“622”；“柠檬香茅”
674；“622”；“意大利香草”
675；“622”；“辛辣的香草”
676；“622”；莳萝
677；“622”；“蒲公英花”
678；“622”；“花”
679；“622”；“薰衣草花”
680；“622”；“菊苣”
681；“622”；“百里香”
682；“622”；“阔叶葱”
683；“622”；“藏红花”
684；“622”；“玫瑰果”
685；“622”；“韭菜”
686；“622”；“菠菜”
687；“622”；“酢浆草”
688；“622”；“龙蒿”
689；“0”；“谷物豆类和面粉”
690；“689”；“菜豆”
691；“689”；“绿豆”
692；“689”；“碾碎的干小麦”
693；“689”；“爆米花”
694；“689”；“荞麦绿”
695；“689”；“藜麦”
696；“689”；“荞麦”
697；“689”；“玉米糝”
698；“689”；“粗粒小麦粉”
699；“689”；“燕麦”
700；“689”；“珍珠大麦”
701；“689”；“谷物小麦”
702；“689”；“蒸粗麦粉”
703；“689”；“面粉”
704；“689”；“荞麦粉”
705；“689”；“栗粉”
706；“689”；“玉米粉”
707；“689”；“杏仁粉”
708；“689”；“鹰嘴豆粉”
709；“689”；“燕麦粉”
710；“689”；“小麦粉”
711；“689”；“黑麦粉”
712；“689”；“大米粉”
713；“689”；“鹰嘴豆”
714；“689”；“米糠”
715；“689”；“小米”
716；“689”；“图”
717；“689”；“图巴亚”
718；“689”；“印度香米”
719；“689”；“糙米”
720；“689”；“野生稻”
721；“689”；“圆粒大米”
722；“689”；“semola(硬质小麦粉)”
723；“689”；“菜豆”
724；“689”；“白菜豆”
725；“689”；“红菜豆”
726；“689”；“荞麦片”
727；“689”；“谷粒”
728；“689”；“燕麦片”
729；“689”；“扁豆”
730；“689”；“大麦”
731；“0”；“香料和调味品”
732；“731”；“八角茴香”
733；“731”；“白胡椒”
734；“731”；“香兰素”
735；“731”；“香草”
736；“731”；“香草精”
737；“731”；“香草粉”
738；“731”；“芥末酱”
739；“731”；“菱角”
740；“731”；“garam masala”
741；“731”；“麝香石竹”
742；“731”；“丁香碎末”
743；“731”；“芥末”
744；“731”；“甜芥末”
745；“731”；“甜胡椒豆”
746；“731”；“芥末粒”
747；“731”；“小茴香”
748；“731”；“姜粉”
749；“731”；“酸豆”
750；“731”；“小豆蔻”
751；“731”；“咖喱”
752；“731”；“香菜”
753；“731”；“香菜粉”
754；“731”；“肉桂”
755；“731”；“咖啡精”
756；“731”；“香醋奶油”
757；“731”；“芝麻”
758；“731”；“姜黄”
759；“731”；“月桂叶”
760；“731”；“柠檬胡椒”
761；“731”；“罂粟籽”
762；“731”；“橄榄”
763；“731”；“橄榄干”
764；“731”；“鳄梨油”
765；“731”；“凤尾鱼酱”
766；“731”；“花生油”
767；“731”；“芥末油”
768；“731”；“煎炸油”
769；“731”；“香油”
770；“731”；“葡萄籽油”
771；“731”；“菜籽油”
772；“731”；“玉米油”
773；“731”；“芝麻油”
774；“731”；“亚麻籽油”
775；“731”；“橄榄油”
776；“731”；“花生酱”
777；“731”；“葵花籽油”
778；“731”；“贫油”
779；“731”；“植物油”
780；“731”；“精炼油”
781；“731”；“含油种子”
782；“731”；“大豆油”
783；“731”；“松露油”
784；“731”；“南瓜油”
785；“731”；“杏仁锤”
786；“731”；“味增酱”
787；“731”；“海盐”
788；“731”；“肉豆蔻”
789；“731”；“橄榄”
790；“731”；“利古里亚橄榄”
791；“731”；“红辣椒”
792；“731”；“辣椒”
793；“731”；“胡芦巴”
794；“731”；“辣椒粉”
795；“731”；“香茅酱”
796；“731”；“peperoncini(辣椒)”
797；“731”；“pepper pink polka dots(胡椒粉圆点)”
798；“731”；“chili(辣椒)”
799；“731”；“干辣椒”
800；“731”；“芥末粉”
801；“731”；“调味鱼”
802；“731”；“发酵粉”
803；“731”；“迷迭香”
804；“731”；“粉色胡椒粉”
805；“731”；“糖”
806；“731”；“香草糖”
807；“731”；“红糖”
808；“731”；“黑砂糖”
809；“731”；“甘蔗糖”
810；“731”；“粉状糖”
811；“731”；“金莲花种子”
812；“731”；“黑种草种子”
813；“731”；“茴香籽”
814；“731”；“”；“香料混合“taco””
815；“731”；“苏打”
816；“731”；“榨姜汁”
817；“731”；“柠檬汁”
818；“731”；“盐”
819；“731”；“柠檬酸盐”
820；“731”；“葡萄酱”
821；“731”；“sauce narsharab”
822；“731”；“柑橘酢”
823；“731”；“酱油”
824；“731”；“番茄酱”
825；“731”；“辣椒酱”
826；“731”；“香料”
827；“731”；“漆树”
828；“731”；“百里香”
829；“731”；“孜然”
830；“731”；“地中海香草”
831；“731”；“法国香草”
832；“731”；“醋”
833；“731”；“balsamic vinegar(香醋)”
834；“731”；“酒醋”
835；“731”；“白葡萄酒醋”
836；“731”；“红葡萄酒醋”
837；“731”；“樱桃醋”
838；“731”；“覆盆子醋”
839；“731”；“米醋”
840；“731”；“苹果醋”
841；“731”；-”；“hops suneli”
842；“731”；“香薄荷”
843；“731”；“酸辣酱”
844；“731”；“黑胡椒”
845；“731”；“黑胡椒豆”
846；“731”；“干大蒜”
847；“731”；“鼠尾草”
848；“0”；“制成品”
849；“848”；“菠萝罐头”
850；“848”；“朝鲜蓟罐头”
851；“848”；“腌朝鲜蓟”
852；“848”；“baguette(法式面包)”
853；“848”；“loaf(面包)”
854；“848”；“巧克力棒”
855；“848”；“酥皮”
856；“848”；“饼干”
857；“848”；“菜豆罐头”
858；“848”；“小圆包”
859；“848”；“汉堡包”
860；“848”；“肉汤”
861；“848”；“牛肉汤”
862；“848”；“鸡肉汤”
863；“848”；“鱼汤”
864；“848”；“果酱”
865；“848”；“杏酱”
866；“848”；“越橘酱”
867；“848”；“樱桃酱”
868；“848”；“黑加仑酱”
869；“848”；“覆盆子酱”
870；“848”；“蓝莓酱”
871；“848”；“Wafer(薄脆饼)”
872；“848”；“樱桃罐头”
873；“848”；“Glaze”
874；“848”；“第戎芥末”
875；“848”；“油炸面包块”
876；“848”；“腌蘑菇”
877；“848”；“Demiglas apple”
878；“848”；“酵母”
879；“848”；“果冻”
880；“848”；“发酵曲”
881；“848”；“蜀葵糖剂”
882；“848”；“碎番茄汁”
883；“848”；“腌姜”
884；“848”；“可可”
885；“848”；“腌仙人掌”
886；“848”；“腌酸豆”
887；“848”；“酸白菜”
888；“848”；“海甘蓝”
889；“848”；“韩式泡菜”
890；“848”；“wafer cakes(薄脆糕)”
891；“848”；“酸黄瓜”
892；“848”；“天然咖啡”
893；“848”；“速溶咖啡”
894；“848”；“脆饼干”
895；“848”；“巧克力粉”
896；“848”；“牛角面包”
897；“848”；“bouillon cubes(肉汤浓缩块)”
898；“848”；“罐头玉米”
899；“848”；“腌玉米”
900；“848”；“皮塔饼”
901；“848”；“lanspik”
902；“848”；“冰”
903；“848”；“letcho”
904；“848”；“面片”
905；“848”；“罐头三文鱼”
906；“848”；“腌洋葱”
907；“848”；“桔子罐头”
908；“848”；“蜀葵糖剂”
909；“848”；“榛子油”
910；“848”；“甜豆腐”
911；“848”；“酸奶”
912；“848”；“蜂蜜”
913；“848”；“蜂蜜梳”
914；“848”；“混合姜”
915；“848”；“炼乳”
916；“848”；“煮过的炼乳”
917；“848”；“奶粉”
918；“848”；“腌胡萝卜”
919；“848”；“冰激凌”
920；“848”；“香草冰激凌”
921；“848”；“巧克力冰激凌”
922；“848”；“盐渍黄瓜”
923；“848”；“腌黄瓜”
924；“848”；“腌黄瓜”
925；“848”；“山核桃”
926；“848”；“甜菜汤”
927；“848”；“玉米棒”
928；“848”；“面包棒”
929；“848”；“番茄酱”
930；“848”；“帕斯塔巧克力”
931；“848”；“pate”
932；“848”；“冻饺子”
933；“848”；“腌辣椒”
934；“848”；“罐头桃”
935；“848”；“曲奇”
936；“848”；“饼干”
937；“848”；“手指曲奇”
938；“848”；“巧克力曲奇”
939；“848”；“皮塔饼”
940；“848”；“补充剂“
941；“848”；“番茄汁”
942；“848”；“番茄罐头”
943；“848”；“爆米花”
944；“848”；“风干火腿”
945；“848”；“姜饼”
946；“848”；“芒果泥”
947；“848”；“土豆泥”
948；“848”；“番茄泥”
949；“848”；“苹果泥”
950；“848”；“腌黄瓜”
951；“848”；“卷”
952；“848”；“腌甜菜”
953；“848”；“猪肉干”
954；“848”；“糖浆”
955；“848”；“生奶油”
956；“848”；“椰子膏”
957；“848”；“麦芽酒”
958；“848”；“冰糕”
959；“848”；“烧烤酱”
960；“848”；“班尼斯汁”
961；“848”；“伯沙美酱”
962；“848”；“伍斯特沙司”
963；“848”；“多蜜酱汁”
964；“848”；“”
965；“848”；糖醋汁
966；“848”；“萨尔萨辣酱”
967；“848”；“甜酱”
968；“848”；“巧克力酱”
969；“848”；“莓酱”
970；“848”；“笋，豆”
971；“848”；“焦糖片”
972；“848”；“碎饼干”
973；“848”；“挞”
974；“848”；“芝麻酱"
975；“848”；“宽面条帕斯塔”
976；“848”；“馄钝面团”
977；“848”；“披萨面团”
978；“848”；“发酵面团”
979；“848”；“千丝卷面团”
980；“848”；“酥皮面团”
981；“848”；“馅饼面团”
982；“848”；“泡芙馅饼”
983；“848”；“干面团”
984；“848”；“费罗糕点”
985；“848”；“干番茄”
986；“848”；“玉米饼”
987；“848”；“吐司”
988；“848”；“豆腐”
989；“848”；“金枪鱼油”
990；“848”；“原汁罐头金枪鱼”
991；“848”；“芝麻酱”
992；“848”；“米馅”
993；“848”；“罐头菜豆”
994；“848”；“白面包”
995；“848”；“烤面包”
996；“848”；“黑麦面包”
997；“848”；“甜面包”
998；“848”；“黑面包”
999；“848”；“黑麦面包”
1000；“848”；“玉米片”
1001；“848”；“夏巴塔”
1002；“848”；“tea Away”
1003；“848”；“薯条”
1004；“848”；“玉米条”
1005；“848”；“腌蘑菇”
1006；“848”；“巧克力玉米球”
1007；“848”；“巧克力”
1008；“848”；“白巧克力”
1009；“848”；“苦巧克力”
1010；“848”；“奶油巧克力”
1011；“848”；“黑巧克力”
1012；“50”；“小牛牛肉片”
1013；“57”；“牛肉片”
1014；“848”；“配“带电乌冬面”汤的酱”
1015；“296”；“柠檬”
1016；“217”；“胡萝卜”
1017；“217”；“西红柿”
表格D：烹饪风格和菜肴的类型
表E：机器人食物准备系统的列表(一实施例)
已经关于可能的实施例尤其详细地描述了本发明。本领域技术人员将认识到可以通过其他实施例实践本发明。部件的具体命名、术语的大小写、属性、数据结构或者任何其他的程序设计或结构方面都不具有强制性或者重要性，实施本发明的机制或其特征可以具有不同的名称、形式或规程。可以通过硬件和软件的组合(如所描述的)，完全通过硬件元素或者完全通过软件元素实施所述系统。文中描述的各种系统部件之间的功能的具体划分只是示范性的，而非强制性的；相反，可以通过多个部件执行单个系统部件执行的功能，或者可以通过单个部件执行多个部件执行的功能。
在各实施例中，可以将本发明单独地或者组合地实现为用于执行上文描述的技术的系统或方法。还提供了文中描述的任何具体特征的组合，尽管未对该组合予以明确的描述。在另一实施例中，可以将本发明实现为计算机程序产品，其包括计算机可读存储介质和编码到所述介质上的计算机程序代码，所述代码用于使计算装置内的处理器或者其他电子装置执行上述技术。
如这里使用的，对“一实施例”或“实施例”的任何提及都表示将结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。在本说明书中的不同位置出现的“在一实施例中”这一短语未必都是指同一实施例。
上文的一些部分是通过计算机存储器中对数据比特进行的操作的算法和符号表示呈现的。这些算法描述和表示是数据处理领域的技术人员用于将其工作的实质最为有效地传达给其他本领域技术人员的手段。这里将算法一般性地看作是导致预期结果的自洽的步骤(指令)的序列。所述步骤是需要对物理量进行实际操纵的步骤。这些量通常但未必一定采取能够受到存储、转移、合并、比较、变换以及其他操纵的电、磁或光信号的形式。有时这些信号主要是出于常用的原因便于被称为比特、值、元素、符号、字符、项、数字等。此外，有时还方便地将某些需要物理量的实际操纵的步骤安排称为模块或代码装置，而不失一般性。
但是应记住，所有的这些和类似术语都将与适当的物理量相关，其只是应用于这些量的方便标签。除非从下述讨论中明显地看出了另行的明确指定，否则应当认识到在整个说明书中，采用诸如“处理”、“计算”、“运算”、“确定”或“显示”等的词语所做的讨论是指计算机系统或类似电子计算模块和/或装置的操作和处理，其将对被表示为所述计算机系统的存储器或寄存器或者其他这样的信息存储器、传输或显示装置内的物理量的数据进行操纵和变换。
本发明的某些方面包括采取算法形式的文中描述的过程步骤和指令。应指出，本发明的过程步骤和指令可以实现在软件、固件和/或硬件当中，在通过软件实施时，其能够被下载，从而保存在各种操作系统使用的不同平台上并从所述平台对其进行操作。
本发明还涉及一种用于执行文中的操作的设备。这一设备可以是针对所需的目的而专门构造的，或者其可以包括由存储在计算机内的计算机程序有选择地激活或重新配置的通用计算机。这样的计算机程序可以存储在有形计算机可读存储介质中，例如，所述计算机可读存储介质可以是但不限于包括软盘、光盘、CD-ROM、磁光盘在内的任何类型的盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁或光卡、专用集成电路或者任何类型的适于存储电子指令的介质，它们当中的每者均耦合至计算机系统总线。此外，本说明书中引述的计算机和/或其他电子装置可以包括单个处理器或者可以是采用提高计算能力的多处理器设计的架构。
文中呈现的算法和显示并不与任何特定的计算机、虚拟化系统或其他设备存在固有的关联。也可以将各种通用系统与根据本文教导的程序一起使用，或者可以证明，构建更为专门的设备来执行期望的方法步骤是方便的。通过文中提供的描述，这些各种各样的系统所需的结构将变得显而易见。此外，未参照任何特定的编程语言描述本发明。要认识到，可以使用各种编程语言来实现文中描述的本发明的教导，并且上文提及的任何具体措辞都是出于公开本发明的实现及最佳方式的目的。
在各实施例中，可以将本发明实现为用于控制计算机系统、计算装置或其他电子装置的软件、硬件和/或其他元件，或者它们的任何组合或多重设置。根据本领域公知的技术，这样的电子装置可以包括(例如)处理器、输入装置(例如，键盘、鼠标、触控板、跟踪板、操纵杆、轨迹球、传声器和/或它们的任何组合)、输出装置(例如，屏幕、扬声器等)、存储器、长期存储器(例如，磁存储器、光存储器等)和/或网络连接。这样的电子装置可以是便携式的或者非便携式的。可以用于实施本发明的电子装置的例子包括移动电话、个人数字助理、智能电话、信息亭、台式计算机、膝上型电脑、消费电子装置、电视、机顶盒等。实施本发明的电子装置可以采用的操作系统可以是(例如)可从加利福尼亚库佩蒂诺的苹果公司获得的iOS、可从加利福尼亚山景城的谷歌公司获得的Android、可从华盛顿雷蒙德的微软公司获得的Microsoft Windows 7、可从加利福尼亚桑尼维尔的Palm公司获得的webOS或者任何其他适于在所述装置上使用的操作系统。在一些实施例中，用于实施本发明的电子装置包括用于通过一个或多个网络通信的功能，例如，所述网络包括蜂窝电话网、无线网络和/或诸如Internet的计算机网络。
可以采用“耦合”和“连接”及其派生词描述一些实施例。应理解，这些术语并非意在彼此同义。例如，可以在采用词语“连接”指示两个或更多元件相互直接物理或电接触的情况下描述一些实施例。在另一范例中，例如，可以在采用词语“耦合”指示两个或更多元件直接物理或电接触的情况下描述一些实施例。不过，术语“耦合”也可以表示两个或更多元件彼此不直接接触，但仍然彼此协作或交互作用。实施例不限于这种语境。
文中采用的词语“包括”、“包含”、“具有”或者它们的任何其他变型意思是非排他性地包含。例如，包括一系列元素的过程、方法、物品或设备未必仅局限于这些元素，而是可以包括其他未明确列举的或者这样的过程、方法、物品或设备所固有的元素。此外，除非做出明确的相反陈述，否则“或”是指包含性的或而非排他性的或。例如，条件A或B可由下面的任何一项满足：A为真(或存在)并且B为假(或者不存在)、A为假(或不存在)并且B为真(或存在)、以及A和B均为真(或存在)。
文中采用的单数冠词被定义为一个或者不止一个。文中采用的词语“多个”被定义为两个或不止两个。将文中采用的词语“另一个”定义为至少第二个或更多。
普通技术人员在开发文中描述的方法和系统的过程中将不需要额外的说明，但是通过查验相关领域的标准化参考著作可以找到一些有可能对这些方法和系统的准备有帮助的指导。
尽管已经联系有限数量的实施例描述了本发明，但是得益于上文的描述的本领域技术人员将认识到在不背离文中描述的本发明的范围的情况下可以设计出其他实施例。应指出，说明书中采用的措辞主要是出于易读性和指导目的而加以选择的，选择其的目的并非在于勾勒或者限制本发明的主题。不应将下面的权利要求中采用的术语推断为使本发明局限于说明书和权利要求中所公开的具体实施例，而是应当将其视为包含落在下文阐述的权利要求的范围内的所有方法和系统。相应地，本发明不受本公开的限定，相反其范围完全由下述权利要求决定。

Claims (138)

1.一种对机器人设备进行操作的计算机实施的方法，包括：
对一种或多种食物菜肴的电子描述，包括厨师用食材制作每种食物菜肴的菜谱；
对于每种食物菜肴，在厨师采用食材和厨房设备制备食物菜肴时，通过多个机器人传感器感测厨师活动的观测序列；
在所述观测序列中检测与在制备特定食物菜肴的每个阶段中执行的活动序列对应的微操纵；
将所感测的观测序列转换成计算机可读指令以用于控制能够执行微操纵序列的机器人设备；
对于每种食物菜肴至少将微操纵的指令序列存储到电子介质，其中用于每种食物菜肴的微操纵的序列被存储为相应的电子记录；
将食物菜肴的相应电子记录传输至能够与厨师的初始动作对应地复现所存储的微操纵的序列的机器人设备；以及
通过机器人设备执行用于特定食物菜肴的微操纵的指令序列，由此获得与厨师制备的原始食物菜肴基本相同的结果，其中执行指令包括感测在制备食物菜肴时使用的食材的属性。
2.根据权利要求1所述的方法，还包括将每个微操纵步骤预编程为机器人传感器动作、机器人操纵动作和机器人调整动作的序列的步骤，其中从电子储存器检索预编程的机器人动作的序列并且将其插入到机器人指令的序列中。
3.根据权利要求1所述的方法，在感测步骤和存储步骤之间还包括将来自多个传感器的、与各个食物制备阶段对应的感测数据变换成一组计算机可读指令以用于控制机器人设备，其中所述指令确定制备食物菜肴时机器人设备执行的一系列活动。
4.根据权利要求3所述的方法，其中，该组计算机可读指令包括根据与特定食物菜肴的食物制备相关联的食材的属性调整一个或多个参数。
5.根据权利要求4所述的方法，其中，所述一个或多个参数包括能取数值或数值范围的变量。
6.根据权利要求5所述的方法，其中，所述一个或多个参数包括用于调整用于特定食材的指令的一个或多个变量。
7.根据权利要求5所述的方法，其中，所述一个或多个参数包括用于调整用于特定微操纵的指令的一个或多个变量。
8.根据权利要求5所述的方法，其中，所述一个或多个参数包括用于调整用于特定烹饪阶段的指令的一个或多个变量。
9.根据权利要求5所述的方法，其中，所述一个或多个参数包括用于调整用于动作基元的指令的一个或多个变量。
10.根据权利要求5所述的方法，其中，所述一个或多个参数包括用于对机器人设备发出指令的指令参数，其包括对机器人装置的指令。
11.根据权利要求5所述的方法，其中，所述一个或多个参数包括多个厨师定义的参数。
12.根据权利要求5所述的方法，其中，所述一个或多个参数包括多个用户可设置的参数。
13.根据权利要求4所述的方法，其中，针对机器人动作的参数调整是在机器人设备在制备食物菜肴的过程中确定的食材的传感器值的基础上动态调整的。
14.根据权利要求4所述的方法，其中，针对设备的参数调整是由机器人设备基于厨师在食物菜肴的初始制备中设置的设备的参数值进行的。
15.根据权利要求1所述的方法，其中，执行步骤包括机器人设备在与厨师制备初始食物菜肴基本相同的时间量内制备相同的食物菜肴。
16.根据权利要求1所述的方法，其中，所述执行步骤包括机器人设备执行的食物菜肴的每个对应的食物制备阶段具有与厨师执行的初始食物制备中的对应步骤基本相同的持续时间。
17.根据权利要求3所述的方法，其中，每个阶段包括一个或多个具体的食物制备微操纵，其中微操纵被识别为标准化预编程机器人设备动作基元的序列，其中动作基元的序列被插入到用于控制机器人设备的计算机可读指令的总体序列中。
18.根据权利要求3所述的方法，其中，食物制备过程中的所有具体微操纵被识别为标准化预编程机器人设备动作基元的序列，其中动作基元的序列被插入到用于控制机器人设备的计算机可读指令的总体序列中。
19.根据权利要求1所述的方法，其中，所述机器人设备包括：
第一和第二机器臂，每条臂具有预定的自由度；
第一和第二机器手，每只手具有耦接至相应的机器臂的手腕，每个手腕具有预定的自由度；以及
第一和第二机器手，每只手包括多根手指，每只对应的手的每根手指具有预定的自由度并且具有至少一个触觉传感器。
20.根据权利要求19所述的方法，其中，每条臂的预定自由度至少包括六个自由度。
21.根据权利要求19所述的方法，其中，每个手腕的预定自由度至少包括两个自由度。
22.根据权利要求19所述的方法，其中，每根手指的预定自由度至少包括每根手指的四个自由度，每根手指具有多达三个关节。
23.根据权利要求1所述的方法，其中，机器人传感器包括至少一个视频摄像机。
24.根据权利要求1所述的方法，其中，机器人传感器包括至少一个距离传感器。
25.根据权利要求1所述的方法，其中，机器人传感器包括至少一个触觉传感器。
26.根据权利要求25所述的方法，其中，一个或多个触觉传感器被嵌入到厨师在制备每种食物菜肴时佩戴的手套中。
27.根据权利要求1所述的方法，其中，厨师佩戴的手套具有嵌入的表面标记，所述表面标记指示厨师的食物制备过程中每只手套上的手掌表面的形变。
28.根据权利要求1所述的方法，其中，厨师佩戴的手套具有嵌入的磁传感器，所述磁传感器测量厨师的食物制备过程中每只手套上的手掌表面的形变。
29.根据权利要求1所述的方法，其中，机器人传感器包括基于激光的传感器，以检测制备食物菜肴的至少一个阶段中使用的对象的取向、距离、形状和尺寸。
30.根据权利要求25所述的方法，其中，手套中的触觉传感器位于指尖处以及机器手的手掌上。
31.一种对机器人设备进行操作的计算机实施的方法，包括：
提供一种或多种食物菜肴的电子描述的库，包括食物菜肴的名称、食物菜肴的食材、以及用食材制作食物菜肴的菜谱；
提供用于标准化微操纵的预编程指令的序列，其中每个微操纵在至少一种食物菜肴的制备阶段中产生至少一个可识别的结果；
在厨师使用食材和厨房设备制备食物菜肴时，通过多个机器人传感器感测与厨师的活动对应的观测序列；
在观测序列中检测标准化微操纵，其中微操纵对应于一个或多个观测，微操纵的序列对应于食物菜肴的制备；
基于软件实施的方法将观测序列变换为机器人指令，所述软件实施的方法用于基于所感测的厨师活动的序列识别预编程的标准化微操纵的序列；所述微操纵每个都包括机器人指令的序列，所述机器人指令包括动态感测操作和机器人动作操作；
将微操纵的序列及其对应的机器人指令存储在电子介质中，用于每种食物菜肴的指令序列和对应的微操纵被存储为相应的电子记录以用于制备每种食物菜肴；
将食物菜肴的相应电子记录发送到能够复现和执行机器人指令序列的机器人设备；以及
通过机器人设备执行用于每种特定食物菜肴的机器人指令，由此获得与厨师制备的初始食物菜肴基本相同的结果。
32.根据权利要求31所述的方法，还包括基于厨师提供的默认值设置机器人指令的参数。
33.根据权利要求31所述的方法，还包括基于用户提供的偏好设置机器人指令的参数。
34.根据权利要求31所述的方法，还包括在机器人设备执行其指令序列时，基于记录并且变换为机器人指令中的调整后的参数的动态传感器观测来调整机器人指令的参数。
35.根据权利要求31所述的方法，其中，参数的调整包括补偿食材的变化以在制备食物菜肴时获得本质上相同的结果。
36.根据权利要求35所述的方法，其中，参数的调整使得结果中的预期误差最小化，从而最大化预期精确度。
37.根据权利要求36所述的方法，其中，通过下式来估算要最小化的累积误差， E r r o r ( C , R ) = Σ n = 1 , ... n | c i - p i | max ( | c i , t - p i , t |
并且通过下式来估算预期的所得精确度，
A ( C , R ) = 1 - 1 n Σ n = 1 , ... n | c i - p i | max ( | c i , t - p i , t | .
38.根据权利要求35所述的方法，其中，通过下式估算要最小化的累积误差， E r r o r ( C , R ) = ( Σ n = 1 , ... n a i | c i - p i | max ( | c i , t - p i , t | )
并且通过下式估算所得精确度，
A ( C , R ) = 1 - ( Σ n = 1 , ... n a i | c i - p i | max ( | c i , t - p i , t | ) / Σ i = 1 , ... n a i .
39.根据权利要求31所述的方法，还包括在软件中实施的一个或多个机器学习机构，其中学习机构使用于制备特定食物菜肴的机器人指令的序列一般化。
40.根据权利要求31所述的方法，其中，机器人指令的一般化包括用参数值范围替代参数值。
41.根据权利要求31所述的方法，其中，机器人指令的一般化还为食物制备微操纵中的至少一个提供多个替代指令。
42.根据权利要求41所述的方法，还包括评估至少一个微操纵的替代机器人指令以确定优选微操纵的步骤。
43.根据权利要求31所述的方法，其中，机器学习机构包括机器人的基于实例的学习。
44.根据权利要求31所述的方法，其中，机器学习机构包括机器人强化学习。
45.一种机器人系统，包括：
能在第一仪器化环境中观测人的运动并且生成人运动数据的多模态感测系统；
通信耦接至多模态感测系统的计算机，用于记录从多模态感测系统接收到的人运动数据并且处理所述人运动数据以提取运动基元；以及
通信耦接至多模态感测系统的机器人设备，其能够使用人运动数据在第二仪器化环境中复现所观测到的人的运动。
46.根据权利要求45所述的系统，其中，所述复现包括重现所提取的运动基元。
47.根据权利要求45所述的系统，其中，所提取的运动基元包括从高层级运动基元到低层级运动基元在内的多个运动基元。
48.根据权利要求45所述的系统，其中，所提取的运动基元包括一个或多个高层级运动基元以及一个或多个低层级运动基元。
49.根据权利要求45所述的系统，其中，机器人系统包括：
第一和第二机器臂；
第一和第二机器手，每只手具有耦接到相应的臂的手腕，每只手具有多根关节连接的手指以及手掌；以及
多个致动器，每个致动器控制单个自由度或者自由度的组合，其中每个自由度包括旋转元件、线性元件或其任意组合的相对运动。
50.根据权利要求45所述的系统，其中，机器人系统包括：
第一和第二机器臂；
第一和第二机器手，每只手具有耦接到相应的臂的手腕，每只手具有多根关节连接的手指以及手掌；以及
多个致动器，每个致动器控制机器臂、机器手、手指或手腕内的个体可动关节或其组合。
51.根据权利要求45所述的系统，其中，所述第一仪器化环境与所述第二仪器化环境相同。
52.根据权利要求45所述的系统，其中，所述第一仪器化环境不同于所述第二仪器化环境。
53.根据权利要求45所述的系统，其中，所述第二仪器化环境包括多对机器臂和多对机器手，所述多对机器臂和手的组合执行与多个人的食物制备等价的食物制备。
54.根据权利要求45所述的系统，其中，人运动数据包括来自对制备食物菜肴的人类厨师的观测的数据，所提取的运动基元包括食物制备步骤的序列。
55.根据权利要求45所述的系统，其中，人运动数据包括来自对在画布上绘制美术作品的艺术家的观测的数据，所提取的运动基元包括绘画步骤的序列。
56.根据权利要求45所述的系统，其中，人运动数据包括来自对演奏乐器的音乐家的观测的数据，所提取的运动基元包括乐器演奏步骤的序列。
57.根据权利要求45所述的系统，其中，所述计算机创建菜谱脚本，所述菜谱脚本包括实施烹饪菜谱的高层级运动命令的序列。
58.一种机器人厨房系统，包括：
第一和第二机器臂；
第一和第二机器手，每只手具有耦接到相应的臂的手腕，每只手具有手掌和多根关节连接的手指，相应手上的每根关节连接的手指具有至少一个传感器；以及
第一和第二手套，覆盖相应的手的每只手套具有多个嵌入的传感器。
59.根据权利要求58所述的系统，还包括标准化机器人厨房，其具有多个标准化厨房设备、标准化厨房工具和标准化容器。
60.根据权利要求58所述的系统，还包括标准化机器人厨房，其具有多种标准化食材，每种食材具有指示同种食材之间的可能变化的一个或多个属性。
61.根据权利要求58所述的系统，其中特定食材的一个或多个属性包括大小、外形尺寸和重量。
62.根据权利要求58所述的系统，其中，厨师用于制备食物菜肴的标准化机器人厨房和机器人厨房用于复现相同食物菜肴的标准化机器人厨房是相同的。
63.根据权利要求58所述的系统，其中，手上的多个传感器能测量距离、压力、温度、位置、力的分布和大小，并且能捕获图像。
64.根据权利要求58所述的系统，其中，相应手的每根手指上的至少一个传感器能测量距离、压力、温度、位置、力的分布和大小，并且能捕获图像。
65.根据权利要求58所述的系统，其中，所述多个传感器包括触摸传感器、压力传感器、摄像机传感器、深度传感器、触觉传感器和应变传感器。
66.根据权利要求58所述的系统，其中，所述多个传感器围绕每只手的表面以及在每只手内。
67.根据权利要求58所述的系统，其中，每条机器臂包括多个关节编码器和解析器以用于测量机器臂上的每个关节的位置和速度，还包括多个关节转矩传感器以用于测量机器臂上的每个关节处的转矩。
68.根据权利要求58所述的系统，其中，每个手腕具有六轴力和转矩传感器以用于测量手腕处的力和转矩。
69.根据权利要求58所述的系统，其中，第一和第二臂以及第一和第二手能实现第一和第二臂以及第一和第二手之间的同步运动的任何组合。
70.根据权利要求58所述的系统，其中，第一臂执行与厨师活动对应的第一食物制备功能，所述厨师活动需要较大的力来执行所述食物制备功能。
71.根据权利要求58所述的系统，其中，第一手附接至第一厨房工具，基本同时地第一臂附接至第二厨房工具。
72.根据权利要求58所述的系统，其中，第一手执行第一食物制备功能，同时地第一臂执行第二食物制备功能，由此将该阶段的时序调整到复现过程中的某一点，该点与随后机器人复现和厨师活动之间的一一对应关系相匹配。
73.根据权利要求58所述的系统，其中，第一手执行食物制备功能，同时地第一臂执行相同的食物制备功能。
74.根据权利要求58所述的系统，其中，第一手附接至第一厨房工具，第一臂附接至第二厨房工具。
75.根据权利要求58所述的系统，其中，第一和第二机器臂、第一和第二机器手、以及多个传感器由防水且具有宽温度范围容忍性、化学惰性和安全性以及食物安全性的材料制成。
76.一种系统，包括：
标准化厨房模块；
多个多模态传感器，其具有物理耦接至人的第一类型传感器和与人间隔开的第二类型传感器；
第一类型传感器用于测量人附属肢体的姿势，并且感测人的附属肢体的运动数据；
第二类型的传感器用于确定环境、对象、活动和人附属肢体位置的三维配置的空间配准，第二类型传感器配置为感测活动数据，所述标准化厨房模块具有与第二类型传感器接口连接的连接器，
其中，第一类型传感器和第二类型传感器测量运动数据和活动数据，并且将运动数据和活动数据两者发送至计算机以供存储和处理，从而用于食物制备。
77.根据权利要求76所述的系统，其中，第一类型传感器包括用于测量人附属肢体上的连接关节的速度的位置和速度传感器。
78.根据权利要求76所述的系统，其中，第一类型传感器包括距离、触摸和接触位置、分布和力传感器。
79.根据权利要求76所述的系统，其中，第二类型传感器包括摄像机传感器、激光传感器、超声波传感器、电容传感器和红外传感器。
80.根据权利要求76所述的系统，其中，第二类型传感器包括霍尔效应传感器。
81.根据权利要求76所述的系统，其中，人附属肢体包括头、臂、手和手指。
82.根据权利要求76所述的系统，其中，第二类型传感器持续确定环境、对象、活动和人附属肢体位置的三维配置的空间配准。
83.根据权利要求76所述的系统，其中，在将运动数据发送至计算机以供存储和处理之前对运动数据进行预处理。
84.根据权利要求76所述的系统，其中，在将活动数据发送至计算机以供存储和处理之前对活动数据进行预处理。
85.一种用于通过机器人设备进行食物制备的方法，包括通过机器人设备制备食物菜肴来复现菜谱，所述菜谱被分解为一个或多个食物制备阶段，每个食物制备阶段被分解为微操纵和活动基元的序列，每个微操纵被分解为动作基元的序列，其中每个微操纵已被成功测试以在考虑到适用对象以及一种或多种适用食材的位置、取向、形状发生变化的情况下使该微操纵产生最佳结果。
86.根据权利要求85所述的方法，在复现步骤之前，还包括捕获标准化厨房模块中厨师的运动、一个或多个对象的位置和取向、以及厨师的运动与所针对的对象之间的任何相互作用力。
87.根据权利要求86所述的方法，在捕获步骤和复现步骤之间还包括将所捕获的数据转换为机器人指令。
88.根据权利要求86所述的方法，其中，每个微操纵包括在获得食物制备中的特定结果的过程中完成基本功能单元的动作基元的序列。
89.根据权利要求86所述的方法，其中，每个动作基元包括不产生功能结果的不可分的食物制备构建块。
90.根据权利要求86所述的方法，其中，每个食物制备阶段包括微操纵和动作基元的序列，其中，用于食物制备的动作基元不产生功能结果。
91.根据权利要求86所述的方法，其中，机器人设备包括一个或多个机器臂以及一个或多个机器手。
92.根据权利要求86所述的方法，其中，机器人设备包括独立的机器人平台。
93.一种包覆有感测手套的机器手，包括：
五根手指；以及
连接至五根手指的手掌，所述手掌具有内部关节和处于如下三个区域中的可形变表面材料：
设置在手掌的桡骨侧并且接近拇指基部的第一可形变区域；
设置在手掌的尺骨侧并且与桡骨侧间隔开的第二可形变区域；以及
设置在手掌上并且跨各手指的基部延伸的第三可形变区域，
其中，所述第一可形变区域、所述第二可形变区域、所述第三可形变区域的组合以及所述内部关节协同操作以执行用于食物制备的微操纵。
94.根据权利要求93所述的机器手，其中，所述协同操作的功能包括使手掌形成一形状和通过手掌施加力，从而与厨师制备食物菜肴时的手部运动的形状和力相匹配。
95.根据权利要求88所述的机器手，其中，所述协同操作的功能包括在手掌内形成倾斜掌内沟槽以用于抓取厨房工具。
96.根据权利要求93所述的机器手，其中，所述协同操作的功能包括形成杯状手掌形状以用于食物制备操纵。
97.根据权利要求93所述的机器手，其中，第一可形变材料包括鱼际隆起。
98.根据权利要求93所述的机器手，其中，第二可形变材料包括小鱼际隆起。
99.根据权利要求93所述的机器手，其中，第一可形变区域、第二可形变区域和第三可形变区域包括可形变材料，当在改变材料形状的过程中施加力时，所述材料可以塑形。
100.根据权利要求93所述的机器手，其中，第一、第二和第三可形变区域包括软质人皮肤型材料，包括硅材料。
101.根据权利要求93所述的机器手，其中，第一、第二和第三可形变区域包括在施加压力时形变的材料。
102.根据权利要求93所述的机器手，其中，手掌的主体包括多个内部关节，其由一个或多个致动器驱动以用于配置手掌表面从而完成微操纵。
103.根据权利要求93所述的机器手，其中，手掌的主体包括多个内部关节，其由一个或多个致动器驱动以根据预定义的手掌结构配置手掌表面从而执行微操纵。
104.根据权利要求93所述的机器手，其中，手掌的主体包括多个内部关节，其由一个或多个致动器驱动以将手掌表面配置为顺应所测量对象的几何形状。
105.根据权利要求93所述的机器手，其中，通过一个或多个压力传感器检测到的压力传感器信号确定手掌表面的配置。
106.根据权利要求93所述的机器手，其中，通过与所测得对象的几何形状相匹配的多个形状特征点确定手掌表面的配置。
107.根据权利要求106所述的机器手，还包括用于感测形状特征点的具有表面标记的传感器手套。
108.根据权利要求107所述的机器手，还包括具有分布至手掌表面上的多个区域的多个表面标记的传感器手套。
109.根据权利要求107所述的设备，还包括具有耦接至手掌表面上的多个区域的多个表面标记的传感器手套，所述多个表面标记包括三组表面标记，第一组表面标记设置在手掌表面的鱼际隆起中，第二组表面标记设置在手掌表面的小鱼际隆起中，第三组表面标记跨手指基部设置在手掌表面上。
110.根据权利要求107所述的设备，其中，每个表面标记具有凸或凹的拐角，以识别相应特征点的位置。
111.根据权利要求110所述的设备，还包括一个或多个摄像机传感器，用于检测标记和计算形状特征点的三维定位。
112.根据权利要求93所述的设备，还包括一个或多个磁传感器，用于测量与手掌主体相关的形状特征点。
113.根据权利要求93所述的设备，还包括嵌入有多个磁传感器的传感器手套，所述多个磁传感器耦接至手掌表面上的多个区域，所述多个磁传感器包括三组磁传感器，第一组磁传感器设置在手掌表面的鱼际隆起中，第二组磁传感器设置在手掌表面的小鱼际隆起中，第三组磁传感器跨手指基部设置在手掌表面上。
114.根据权利要求93所述的设备，还包括一个或多个磁体，其耦接至手掌表面且用作多个磁传感器的xyz坐标位置的参照系。
115.根据权利要求93所述的设备，其中，由含有预定义形变模型的数据库库计算手掌表面上的形状特征点。
116.根据权利要求93所述的设备，其中，手掌主体具有多个识别标记以建立参照系，所述参照系提供一结构，针对所述结构，相对于手掌主体上的固定点识别出形状特征点。
117.根据权利要求93所述的设备，其中，每个形状特征点被定义为相对于参照系的xyz坐标位置的向量。
118.一种机器人设备上的计算机实施的方法，包括：
执行用于复现具有多个食物制备活动的食物菜谱的机器人烹饪脚本；
具有处理器和存储器的计算系统，所述系统确定每个食物制备活动是被识别为标准化厨房工具或标准化对象的标准化抓取动作、标准化手操纵动作或对象、还是非标准化对象；以及
对于每个食物制备活动，如果食物制备活动涉及标准化抓取动作或标准化对象，则计算机系统指示机器人烹饪装置访问第一数据库库，如果食物制备活动涉及标准化手操纵动作或对象，则计算机系统指示机器人烹饪装置访问第二数据库库，如果食物制备活动涉及非标准化对象，则计算机系统指示机器人烹饪装置建立非标准化对象的三维模型。
119.根据权利要求118所述的方法，其中，第一数据库库包括多个预定义厨房工具，每个厨房工具与包括该厨房工具的代码、该厨房工具的先前储存三维模型、以及该厨房工具的属性的软件文件相关联。
120.根据权利要求118所述的方法，其中，第二数据库库包括与特定食物制备人物相关联的多个预定义手部微操纵。
121.根据权利要求118所述的方法，其中，对于非标准化对象，计算机系统激活厨房模块上的多个传感器以构建非标准化对象的三维模型，从而确定机器人装置抓取非标准化对象的最佳方法。
122.一种菜谱脚本生成方法，包括：
从标准化厨房模块环境中的传感器接收经过滤的原始数据；
从经过滤的原始数据生成脚本数据的序列；以及
将脚本数据的序列变换为用于制备食物菜肴的机器可读机器可执行命令，所述机器可读机器可执行命令包括用于控制一对机器臂和手以执行功能的命令，所述功能来自于包括一个或多个食物制备阶段、一个或多个微操纵、以及一个或多个动作基元的组。
123.根据权利要求122所述的方法，在所述变换步骤之后，还包括执行脚本数据的序列以指示机器臂和手执行微操纵，从而制备食物菜肴的一个或多个阶段。
124.根据权利要求122所述的方法，其中，所述执行步骤包括监视机器臂、机器手、食物菜肴以进行实时的微操纵优化调适，从而获得基本相同的食物菜肴。
125.根据权利要求122所述的方法，其中，接收步骤包括收集原始数据，所述原始数据被组织成多个组。
126.根据权利要求125所述的方法，其中，所述多个组中的第一组包括从一个或多个传感器感测到的二维原始数据和三维原始数据。
127.根据权利要求125所述的方法，其中，所述多个组中的第二组包括从一个或多个传感器感测到的机器人设备原始数据。
128.根据权利要求127所述的方法，其中，所述机器人设备原始数据包括与机器人设备的内部位置、速度、关节和转矩相关的数据。
129.根据权利要求127所述的方法，其中，所述多个组中的第三组包括从一个或多个传感器感测到的厨房状态原始数据，所述厨房状态原始数据包括模拟数据和二进制数据。
130.根据权利要求122所述的方法，其中，所述生成步骤包括融合来自数据处理映射模块、数据提取模块、以及数据简化和抽象化模块的处理数据。
131.根据权利要求130所述的方法，其中，所述融合包括根据与对应的食材、所采用的设备、关键烹饪方法、以及要监视和跟踪的关键变量有关的时间戳和过程步骤对处理数据进行安排。
132.根据权利要求130所述的方法，其中，数据处理映射模块配置为对标准化机器人厨房的操作环境进行评估以识别出选定的食物制备阶段、选定的设备、选定的厨房工具、选定的食材、以及操作位置，作为特定食物菜肴的制备过程的一部分。
133.根据权利要求130所述的方法，其中，数据提取和映射模块配置为处理二维原始数据以提取二维图像数据，从而提取图像中的对象的边缘，提取图像中的周围区域内的对象的颜色和纹理，识别图像中的类型和位置，识别对图像而言可见的食材和设备，并与特定食物制备阶段相关联。
134.根据权利要求133所述的方法，其中，数据提取和映射模块接收来自数据简化和抽象化模块的处理数据，其包括对象属性信息、对象外形尺寸、以及对象在标准化机器人厨房中的相对三维位置和取向。
135.根据权利要求132所述的方法，其中，数据简化和抽象化模块配置为接收三维原始数据，并且提取三维数据中的与特定食物制备步骤有关的部分。
136.根据权利要求135所述的方法，其中，数据简化和抽象化模块配置为处理所提取的三维数据，执行包括几何信息提取在内的计算步骤，从而允许对原始三维数据集内的特定对象进行识别和匹配。
137.根据权利要求131所述的方法，其中，数据简化和抽象化模块包括识别三维标准化机器人厨房中的对象的尺寸、类型、位置和取向。
138.根据权利要求125所述的方法，其中，所述融合包括接收来自智能器具的信息。
CN201580009171.3A 2014-02-20 2015-02-20 用于在机器人烹饪厨房中制备食物的方法和系统 Active CN106030427B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010815251.0A CN112068526A (zh) 2014-02-20 2015-02-20 用于在机器人烹饪厨房中制备食物的方法和系统

Applications Claiming Priority (35)

Application Number Priority Date Filing Date Title
US201461942559P 2014-02-20 2014-02-20
US61/942,559 2014-02-20
US201461953930P 2014-03-16 2014-03-16
US61/953,930 2014-03-16
US201461987406P 2014-05-01 2014-05-01
US61/987,406 2014-05-01
US201461990431P 2014-05-08 2014-05-08
US61/990,431 2014-05-08
US201462013502P 2014-06-17 2014-06-17
US201462013190P 2014-06-17 2014-06-17
US62/013,502 2014-06-17
US62/013,190 2014-06-17
US201462013691P 2014-06-18 2014-06-18
US62/013,691 2014-06-18
US201462024948P 2014-07-15 2014-07-15
US62/024,948 2014-07-15
US201462044677P 2014-09-02 2014-09-02
US62/044,677 2014-09-02
US201462055799P 2014-09-26 2014-09-26
US62/055,799 2014-09-26
US201462073846P 2014-10-31 2014-10-31
US62/073,846 2014-10-31
US201462083195P 2014-11-22 2014-11-22
US62/083,195 2014-11-22
US201462090310P 2014-12-10 2014-12-10
US62/090,310 2014-12-10
US201562104680P 2015-01-16 2015-01-16
US62/104,680 2015-01-16
US201562109051P 2015-01-28 2015-01-28
US62/109,051 2015-01-28
US201562113516P 2015-02-08 2015-02-08
US62/113,516 2015-02-08
US201562116563P 2015-02-16 2015-02-16
US62/116,563 2015-02-16
PCT/IB2015/000379 WO2015125017A2 (en) 2014-02-20 2015-02-20 Methods and systems for food preparation in a robotic cooking kitchen

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010815251.0A Division CN112068526A (zh) 2014-02-20 2015-02-20 用于在机器人烹饪厨房中制备食物的方法和系统

Publications (2)

Publication Number Publication Date
CN106030427A true CN106030427A (zh) 2016-10-12
CN106030427B CN106030427B (zh) 2020-09-08

Family

ID=52998183

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580009171.3A Active CN106030427B (zh) 2014-02-20 2015-02-20 用于在机器人烹饪厨房中制备食物的方法和系统
CN202010815251.0A Pending CN112068526A (zh) 2014-02-20 2015-02-20 用于在机器人烹饪厨房中制备食物的方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010815251.0A Pending CN112068526A (zh) 2014-02-20 2015-02-20 用于在机器人烹饪厨房中制备食物的方法和系统

Country Status (10)

Country Link
US (6) US9815191B2 (zh)
EP (1) EP3107429B1 (zh)
JP (2) JP2017506169A (zh)
KR (2) KR20240027152A (zh)
CN (2) CN106030427B (zh)
AU (3) AU2015220546A1 (zh)
CA (1) CA2933095A1 (zh)
DK (1) DK3107429T3 (zh)
RU (3) RU2743044C1 (zh)
WO (1) WO2015125017A2 (zh)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106625729A (zh) * 2016-12-19 2017-05-10 浙江大学 带温度和触觉力感知功能的仿人型机械手指
CN106843000A (zh) * 2017-02-13 2017-06-13 华北电力大学（保定） 攀爬机器人移动控制系统恢复方法
CN106985148A (zh) * 2017-06-02 2017-07-28 成都小晓学教育咨询有限公司 基于svm的机器人烹饪方法
CN107340718A (zh) * 2017-06-30 2017-11-10 北京小米移动软件有限公司 智能灯参数的调整方法及装置
CN107348710A (zh) * 2016-12-15 2017-11-17 傅峰峰 智能自动化一体厨房
CN107388296A (zh) * 2017-07-24 2017-11-24 杭州家亮云科技有限公司 一种基于程序云的烟灶联动控制方法
CN107388301A (zh) * 2017-07-28 2017-11-24 杭州家亮云科技有限公司 一种基于程序云的智能电磁灶控制方法
CN107593519A (zh) * 2017-11-02 2018-01-19 湖南三尖农牧有限责任公司 一种用于鸡舍的自动化操作台
CN107871016A (zh) * 2017-11-27 2018-04-03 胡明建 一种机械视觉和机械味觉以时间相互映射的设计方法
CN107972069A (zh) * 2017-11-27 2018-05-01 胡明建 一种机械视觉和机械触觉以时间相互映射的设计方法
CN107972001A (zh) * 2017-12-12 2018-05-01 宁波隆翔环保科技有限公司 一种送餐机器人
CN108008662A (zh) * 2016-10-28 2018-05-08 松下电器（美国）知识产权公司 信息处理方法以及信息处理系统
CN108255087A (zh) * 2016-12-29 2018-07-06 佛山市顺德区美的电热电器制造有限公司 一种控制方法及装置
CN108260242A (zh) * 2018-01-10 2018-07-06 广东美的厨房电器制造有限公司 微波烹饪设备及其保护控制方法及装置
CN108621672A (zh) * 2018-05-07 2018-10-09 南通理工学院 一种具有烟雾探测功能的冰箱贴
CN108806066A (zh) * 2018-06-20 2018-11-13 杭州纳戒科技有限公司 运用物流箱进行菜品自助选购的方法及装置
CN109129511A (zh) * 2018-09-28 2019-01-04 北京猎户星空科技有限公司 一种基于机械臂制作餐饮的控制方法及装置
CN109170501A (zh) * 2018-10-24 2019-01-11 汪欢 自动化食物加工系统
CN109243562A (zh) * 2018-09-03 2019-01-18 陈怡� 一种基于Elman神经网络和遗传算法的形象气质提升方法
CN109727657A (zh) * 2019-01-15 2019-05-07 海南大学 个性化食材口味的节材节能环保炊具定制系统
CN109739139A (zh) * 2019-01-15 2019-05-10 鲁班嫡系机器人（深圳）有限公司 食材料理的系统、方法、控制装置、存储介质及设备
CN109875381A (zh) * 2019-02-28 2019-06-14 秒针信息技术有限公司 烹饪方法及其设备
CN110074700A (zh) * 2019-05-21 2019-08-02 北京鲲鹏神通科技有限公司 全智能大厨机器人控制系统
CN110462530A (zh) * 2017-03-31 2019-11-15 索尼公司 信息处理设备、信息处理方法、计算机程序和程序制造方法
CN110599823A (zh) * 2019-09-05 2019-12-20 北京科技大学 一种基于示教视频和解说语音融合的服务机器人示教方法
CN110599285A (zh) * 2018-06-13 2019-12-20 佛山市顺德区美的电热电器制造有限公司 智能厨房的控制方法、控制系统、智能厨房及计算机设备
CN110925815A (zh) * 2019-12-11 2020-03-27 中山市翰林电器有限公司 一种智能电磁炉控制方法及装置
CN111198529A (zh) * 2020-01-16 2020-05-26 珠海格力电器股份有限公司 一种烹饪设备、烹饪方法、装置、电子设备及存储介质
CN111329324A (zh) * 2018-12-18 2020-06-26 珠海格力电器股份有限公司 一种煲汤机的煲汤控制方法、装置、存储介质及煲汤机
CN111352355A (zh) * 2018-12-20 2020-06-30 美的集团股份有限公司 烹饪方法、设备、系统及介质
CN111435524A (zh) * 2019-01-11 2020-07-21 东芝泰格有限公司 信息处理装置及信息处理方法、存储介质、电子设备
CN111552332A (zh) * 2020-05-21 2020-08-18 浙江吉祥厨具股份有限公司 蒸柜控制方法、蒸柜控制装置以及蒸柜
CN111628917A (zh) * 2019-02-28 2020-09-04 三星电子株式会社 电子装置和通过电子装置提供信息的方法
CN112487023A (zh) * 2020-12-01 2021-03-12 珠海优特智厨科技有限公司 电子菜谱的创作方法、装置、设备及计算机可读存储介质
CN112739504A (zh) * 2018-08-07 2021-04-30 精灵企业有限公司 自动计算机控制的烹饪系统及方法
CN112801823A (zh) * 2021-02-03 2021-05-14 苏州神运机器人有限公司 餐饮管理系统、中央服务器以及餐饮管理开放式平台
CN112804920A (zh) * 2018-10-04 2021-05-14 索尼公司 信息处理装置、信息处理方法及程序
CN113100457A (zh) * 2021-04-14 2021-07-13 浙江旅游职业学院 切菜系统
CN113133674A (zh) * 2020-01-17 2021-07-20 佛山市顺德区美的电热电器制造有限公司 烹饪控制方法、烹饪控制装置和烹饪设备
CN113268352A (zh) * 2021-06-11 2021-08-17 中科院软件研究所南京软件技术研究院 面向通用服务机器人的多指令响应式任务协同管理方法
CN113496090A (zh) * 2021-09-07 2021-10-12 江西省农业科学院农产品加工研究所 一种板鸭加工品质的管理系统
CN114269213A (zh) * 2019-08-08 2022-04-01 索尼集团公司 信息处理装置、信息处理方法、烹饪机器人、烹饪方法及烹饪设备

Families Citing this family (288)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170311757A1 (en) * 2016-04-29 2017-11-02 Alan Backus Devices and methods for supporting and preparing foods
US9460633B2 (en) * 2012-04-16 2016-10-04 Eugenio Minvielle Conditioner with sensors for nutritional substances
US10719853B2 (en) * 2012-10-26 2020-07-21 Panasonic Intellectual Property Corporation Of America Advertisement distribution method and advertisement distribution system
US11241178B2 (en) * 2013-03-13 2022-02-08 George S. Cembrowski Method and apparatus for inversion detection
SG11201508256QA (en) * 2013-04-09 2015-11-27 Carlo Filippo Ratti Interactive robotic station for beverage, in particular cocktail, preparation and dispensing
US9292889B2 (en) 2013-06-18 2016-03-22 Zume Pizza, Inc. Systems and methods of preparing food products
KR101531664B1 (ko) * 2013-09-27 2015-06-25 고려대학교 산학협력단 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법
US9527716B2 (en) 2013-11-22 2016-12-27 Michael J. Kline System, method, and apparatus for purchasing, dispensing, or sampling of products
US9701530B2 (en) 2013-11-22 2017-07-11 Michael J. Kline System, method, and apparatus for purchasing, dispensing, or sampling of products
US9633504B2 (en) 2013-11-22 2017-04-25 Michael J Kline System, method, and apparatus for purchasing, dispensing, or sampling of products
US10765257B2 (en) 2014-02-03 2020-09-08 Serenete Corporation Modularized food preparation device and tray structure for use thereof
US10736464B2 (en) 2014-02-03 2020-08-11 Serenete Corporation System and method for operating a food preparation device
US10674855B2 (en) 2014-06-18 2020-06-09 Serenete Corporation Modularized food preparation device and tray structure for use thereof
AU2015288164A1 (en) 2014-07-07 2017-02-16 Breville USA, Inc. Systems, articles and methods related to providing customized cooking instruction
KR20160014418A (ko) * 2014-07-29 2016-02-11 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 방법
KR101661599B1 (ko) * 2014-08-20 2016-10-04 한국과학기술연구원 하드웨어 한계를 고려하는 동작 데이터의 압축 및 복원을 이용한 로봇 동작 데이터 처리 시스템
US10518409B2 (en) * 2014-09-02 2019-12-31 Mark Oleynik Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries
US10789543B1 (en) * 2014-10-24 2020-09-29 University Of South Florida Functional object-oriented networks for manipulation learning
US20200409382A1 (en) * 2014-11-10 2020-12-31 Carnegie Mellon University Intelligent cleaning robot
US9733646B1 (en) * 2014-11-10 2017-08-15 X Development Llc Heterogeneous fleet of robots for collaborative object processing
US9684830B2 (en) * 2014-11-14 2017-06-20 Intel Corporation Automatic target selection for multi-target object tracking
US11751712B2 (en) 2014-12-22 2023-09-12 Breville USA, Inc. Food preparation guidance system
US10657780B1 (en) 2015-01-29 2020-05-19 Transparensee Llc System, method, and apparatus for mixing, blending, dispensing, monitoring, and labeling products
US9652038B2 (en) 2015-02-20 2017-05-16 Sony Interactive Entertainment Inc. Magnetic tracking of glove fingertips
CA2882968C (en) 2015-02-23 2023-04-25 Sulfur Heron Cognitive Systems Inc. Facilitating generation of autonomous control information
US10025282B1 (en) * 2015-03-25 2018-07-17 Matthew T. Wilkinson Smart cooking device and system with cookware identification
EP3075496B1 (en) * 2015-04-02 2022-05-04 Honda Research Institute Europe GmbH Method for improving operation of a robot
DE102015005166B4 (de) 2015-04-23 2019-01-10 Eismann Innovations GmbH Fahrzeug mit einer Einrichtung zur Bearbeitung von Nahrungsmitteln
CN104898613B (zh) * 2015-04-27 2018-09-04 小米科技有限责任公司 智能家居设备的控制方法和装置
USD766958S1 (en) * 2015-05-21 2016-09-20 Elemica, Inc. Display with graphical user interface
JP2017001170A (ja) * 2015-06-16 2017-01-05 セイコーエプソン株式会社 ロボット、制御装置および制御方法
US11946812B2 (en) * 2015-06-25 2024-04-02 Apption Labs Limited Food thermometer and method of using thereof
US11506545B2 (en) * 2015-06-25 2022-11-22 Apption Labs Limited Food thermometer and method of using thereof
CN115462678A (zh) 2015-07-21 2022-12-13 布瑞威利美国公司 食物制备控制系统
PT3120741T (pt) 2015-07-24 2018-05-21 Vorwerk Co Interholding Robô de cozinha e método para operar um robô de cozinha
US9828094B2 (en) * 2015-07-26 2017-11-28 John B. McMillion Autonomous cleaning system
US10166680B2 (en) 2015-07-31 2019-01-01 Heinz Hemken Autonomous robot using data captured from a living subject
US9676098B2 (en) * 2015-07-31 2017-06-13 Heinz Hemken Data collection from living subjects and controlling an autonomous robot using the data
CN105167567B (zh) * 2015-09-30 2018-04-06 北京鲲鹏神通科技有限公司 全智能大厨机器人
US11475505B2 (en) * 2015-10-21 2022-10-18 Vishnu SUNDARAM Method and system for automatic end-to-end preparation and management of food
US10657577B2 (en) * 2015-10-21 2020-05-19 Vishnu Gurusamy Sundaram Method and system for automatic end-to-end preparation and management of food
US10218833B2 (en) * 2015-10-23 2019-02-26 Traeger Pellet Grills, Llc Mobile application for controlling outdoor grill
CA3005618A1 (en) * 2015-11-16 2017-05-26 ChefSteps, Inc. Data aggregation and personalization for remotely controlled cooking devices
US10220515B2 (en) * 2015-11-30 2019-03-05 Seiko Epson Corporation Robot and control method for robot
JP6710946B2 (ja) * 2015-12-01 2020-06-17 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
US10471594B2 (en) * 2015-12-01 2019-11-12 Kindred Systems Inc. Systems, devices, and methods for the distribution and collection of multimodal data associated with robots
US9975241B2 (en) * 2015-12-03 2018-05-22 Intel Corporation Machine object determination based on human interaction
US9669543B1 (en) 2015-12-11 2017-06-06 Amazon Technologies, Inc. Validation of robotic item grasping
EP3389955A2 (en) * 2015-12-16 2018-10-24 MBL Limited Robotic kitchen including a robot, a storage arrangement and containers therefor
US10628518B1 (en) * 2016-01-12 2020-04-21 Silenceux Francois Linking a video snippet to an individual instruction of a multi-step procedure
US10456910B2 (en) * 2016-01-14 2019-10-29 Purdue Research Foundation Educational systems comprising programmable controllers and methods of teaching therewith
DE102016200872A1 (de) 2016-01-22 2017-07-27 BSH Hausgeräte GmbH Gerät zur Herstellung eines Nahrungsmittels
US20170221296A1 (en) * 2016-02-02 2017-08-03 6d bytes inc. Automated preparation and dispensation of food and beverage products
US20170228364A1 (en) * 2016-02-08 2017-08-10 International Business Machines Corporation Learning object/action pairs for recipe ingredients
US11854308B1 (en) * 2016-02-17 2023-12-26 Ultrahaptics IP Two Limited Hand initialization for machine learning based gesture recognition
US11714880B1 (en) 2016-02-17 2023-08-01 Ultrahaptics IP Two Limited Hand pose estimation for machine learning based gesture recognition
US11841920B1 (en) 2016-02-17 2023-12-12 Ultrahaptics IP Two Limited Machine learning based gesture recognition
US20170249561A1 (en) * 2016-02-29 2017-08-31 GM Global Technology Operations LLC Robot learning via human-demonstration of tasks with force and position objectives
WO2017159562A1 (ja) * 2016-03-14 2017-09-21 オムロン株式会社 動作情報生成装置
JP6726388B2 (ja) * 2016-03-16 2020-07-22 富士ゼロックス株式会社 ロボット制御システム
USD866249S1 (en) 2016-03-22 2019-11-12 Zume, Inc. Food container cover
USD893247S1 (en) 2016-03-22 2020-08-18 Zume, Inc. Food container base
CU20180113A7 (es) 2016-03-22 2019-05-03 Zume Inc Contenedor para transporte y almacenamiento de productos alimenticios
USD900558S1 (en) 2016-03-22 2020-11-03 Zume, Inc. Food container
US11100112B2 (en) * 2016-03-29 2021-08-24 Gurunavi, Inc. Information processing apparatus, system, method and program for registering and retrieving menu and ingredients
JP6875010B2 (ja) 2016-04-07 2021-05-19 国立研究開発法人科学技術振興機構 触覚情報変換装置、触覚情報変換方法、および、触覚情報変換プログラム
TW201740340A (zh) * 2016-04-08 2017-11-16 促美披薩股份有限公司 隨選自動機器之餐點組合及其系統、裝置及方法
US10154756B2 (en) * 2016-04-11 2018-12-18 Hall Labs Llc Automated kitchen workspace with robot
CN105867634A (zh) * 2016-04-25 2016-08-17 张锦浩 一种虚拟家庭烹饪学习系统
US10500726B2 (en) * 2016-04-25 2019-12-10 Kindred Systems Inc. Facilitating device control
US10092011B1 (en) * 2016-04-27 2018-10-09 Girma Mulat Bekele Scalable semi-automated injera making system
US10322506B2 (en) 2016-05-06 2019-06-18 Kindred Systems Inc. Systems, devices, articles, and methods for using trained robots
CN106069886A (zh) * 2016-06-07 2016-11-09 苏州蓑笠翁养生科技有限公司 一种半自动螃蟹养殖装置
CN106127542A (zh) * 2016-06-14 2016-11-16 长沙喵厨智能科技有限公司 食材处理系统及处理方法
KR101777392B1 (ko) 2016-07-04 2017-09-11 주식회사 케이티 중앙 서버 및 이에 의한 사용자 음성 처리 방법
US10058995B1 (en) * 2016-07-08 2018-08-28 X Development Llc Operating multiple testing robots based on robot instructions and/or environmental parameters received in a request
EP3484679B1 (en) 2016-07-14 2022-07-27 Siemens Healthcare Diagnostics Inc. Methods, systems, and apparatus for dynamic pick and place selection sequence based on sample rack imaging data
US10427305B2 (en) * 2016-07-21 2019-10-01 Autodesk, Inc. Robotic camera control via motion capture
TW201804335A (zh) * 2016-07-27 2018-02-01 鴻海精密工業股份有限公司 一種連通裝置及採用該連通裝置的物聯網系統
US10726836B2 (en) * 2016-08-12 2020-07-28 Kt Corporation Providing audio and video feedback with character based on voice command
JP6514156B2 (ja) * 2016-08-17 2019-05-15 ファナック株式会社 ロボット制御装置
USD828161S1 (en) 2016-08-18 2018-09-11 Zume, Inc. Food container cover
USD861422S1 (en) 2016-08-18 2019-10-01 Zume, Inc. Food container base
USD806575S1 (en) 2016-08-18 2018-01-02 Zume Pizza, Inc. Food container
US10589949B2 (en) 2016-09-15 2020-03-17 Dishcraft Robotics, Inc. Robotic manipulation using reusable, independent tags
GB2554363B (en) 2016-09-21 2021-12-08 Cmr Surgical Ltd User interface device
KR20180032234A (ko) * 2016-09-21 2018-03-30 엔에이치엔엔터테인먼트 주식회사 요리 지원 서비스 제공 방법 및 시스템
US10416138B2 (en) 2016-09-29 2019-09-17 International Business Machines Corporation Sensing and adjusting the olfactory characteristics of a sample
US10412985B2 (en) 2016-09-29 2019-09-17 International Business Machines Corporation Identifying components based on observed olfactory characteristics
WO2018067979A1 (en) * 2016-10-07 2018-04-12 Perky Jerky, Llc System and method for preparing meat products
US10535169B2 (en) 2016-11-02 2020-01-14 United Parcel Service Of America, Inc. Displaying items of interest in an augmented reality environment
US10503363B2 (en) 2016-11-02 2019-12-10 Zume, Inc. Lazy Susan menu graphical user interface
US20180157232A1 (en) * 2016-11-10 2018-06-07 Serenete Corporation Food preparation device using image recognition
KR101955894B1 (ko) * 2016-11-15 2019-06-19 주식회사 엔유씨전자 블렌더 제어 장치, 방법 및 어플리케이션
DE102016223411A1 (de) * 2016-11-25 2018-05-30 Krones Ag Verfahren zum Betreiben einer Anlage zum Verarbeiten von flüssigen Lebensmittelprodukten
US10293488B2 (en) * 2016-11-28 2019-05-21 Hall Labs Llc Container and robot communication in inventory system
JP6831678B2 (ja) * 2016-11-29 2021-02-17 川崎重工業株式会社 ロボット及びその運転方法、並びに塗布システム
US20180161741A1 (en) * 2016-12-13 2018-06-14 Vela Blend, Inc. Food processing machine with liquid injection
US10642244B2 (en) * 2016-12-19 2020-05-05 Autodesk, Inc. Robotic augmentation of creative tasks
GB2572510A (en) * 2016-12-21 2019-10-02 Walmart Apollo Llc Drone for autonomously completing a task
CN106598615A (zh) * 2016-12-21 2017-04-26 深圳市宜居云科技有限公司 一种食谱程序代码生成方法及食谱编译云平台系统
KR101889279B1 (ko) 2017-01-16 2018-08-21 주식회사 케이티 음성 명령에 기반하여 서비스를 제공하는 시스템 및 방법
US10583557B2 (en) * 2017-02-10 2020-03-10 GM Global Technology Operations LLC Redundant underactuated robot with multi-mode control framework
US10334984B2 (en) 2017-02-27 2019-07-02 iYukti LLC Apparatus and methods for making bread
WO2018158601A1 (en) * 2017-03-01 2018-09-07 Omron Corporation Monitoring devices, monitored control systems and methods for programming such devices and systems
JP6892286B2 (ja) * 2017-03-03 2021-06-23 株式会社キーエンス 画像処理装置、画像処理方法、及びコンピュータプログラム
WO2018165188A1 (en) * 2017-03-06 2018-09-13 Keenwawa, Inc. Automatic food preparation apparatus
WO2018165038A1 (en) 2017-03-06 2018-09-13 Miso Robotics, Inc. Augmented reality-enhanced food preparation system and related methods
US11351673B2 (en) 2017-03-06 2022-06-07 Miso Robotics, Inc. Robotic sled-enhanced food preparation system and related methods
US10836525B1 (en) * 2017-03-07 2020-11-17 Amazon Technologies, Inc. Robotic gripper for bagging items
US10963493B1 (en) 2017-04-06 2021-03-30 AIBrain Corporation Interactive game with robot system
US10839017B2 (en) 2017-04-06 2020-11-17 AIBrain Corporation Adaptive, interactive, and cognitive reasoner of an autonomous robotic system utilizing an advanced memory graph structure
US10810371B2 (en) 2017-04-06 2020-10-20 AIBrain Corporation Adaptive, interactive, and cognitive reasoner of an autonomous robotic system
US11151992B2 (en) 2017-04-06 2021-10-19 AIBrain Corporation Context aware interactive robot
US10929759B2 (en) 2017-04-06 2021-02-23 AIBrain Corporation Intelligent robot software platform
JP6457587B2 (ja) * 2017-06-07 2019-01-23 ファナック株式会社 ワークの動画に基づいて教示点を設定するロボットの教示装置
JP6506348B2 (ja) * 2017-06-14 2019-04-24 ファナック株式会社 ロボットの軌道を修正するロボットの教示装置
SG11202000138XA (en) 2017-07-07 2020-02-27 Zume Inc Container for transport and storage of food products
US20200134952A1 (en) 2017-07-11 2020-04-30 Zume, Inc 250 Polaris Multi-modal distribution systems and methods using vending kiosks and autonomous delivery vehicles
WO2019014182A1 (en) 2017-07-12 2019-01-17 Walmart Apollo, Llc SYSTEMS AND METHODS FOR AUTONOMOUS ROBOT DELIVERY
TW201909065A (zh) 2017-07-14 2019-03-01 美商促美股份有限公司 以販賣亭為根據之販賣及或準備物品，例如，準備食物，之系統及方法
CN112088070A (zh) * 2017-07-25 2020-12-15 M·奥利尼克 用于操作机器人系统并执行机器人交互的系统及方法
JP7358352B2 (ja) * 2017-08-04 2023-10-10 シェフ ジャスパー インコーポレイテッド 選択されたレシピに従って食品を自動的に調理するためのシステム及びその作動方法
CN110250930A (zh) 2017-08-09 2019-09-20 沙克忍者运营有限责任公司 烹饪系统
US11156471B2 (en) * 2017-08-15 2021-10-26 United Parcel Service Of America, Inc. Hands-free augmented reality system for picking and/or sorting assets
US11797910B2 (en) 2017-08-15 2023-10-24 United Parcel Service Of America, Inc. Hands-free augmented reality system for picking and/or sorting assets
CN108304434B (zh) * 2017-09-04 2021-11-05 腾讯科技（深圳）有限公司 信息反馈方法和终端设备
DK179682B1 (da) * 2017-09-12 2019-03-20 Cookperfect Aps Intelligent stegetermometer
EP3665640A1 (en) * 2017-10-06 2020-06-17 Zume, Inc. Self-propelled food preparation appliances and on-demand robotic food assembly with self-propelled food preparation appliances
US20210023721A1 (en) * 2017-10-06 2021-01-28 Taylor Commercial Foodservice, Llc Matrix configured grill apparatus
US10796590B2 (en) * 2017-10-13 2020-10-06 Haier Us Appliance Solutions, Inc. Cooking engagement system
US10943585B2 (en) * 2017-10-19 2021-03-09 Daring Solutions, LLC Cooking management system with wireless active voice engine server
CN107669168B (zh) * 2017-10-27 2024-02-13 小熊电器股份有限公司 一种厨师机
CN107863138B (zh) * 2017-10-31 2023-07-14 珠海格力电器股份有限公司 菜谱生成装置和方法
US11158208B2 (en) * 2017-11-09 2021-10-26 ALK Ventures LLC Interactive cooking application
AU2018369909B2 (en) * 2017-11-15 2023-07-06 The Coca-Cola Company Dispenser with haptic feedback touch-to-pour user interface
US10592860B2 (en) * 2017-11-30 2020-03-17 Perfect Company, INC. System for smart pantry management using consumption data
US10320582B1 (en) * 2017-11-30 2019-06-11 Perfect Company, INC. System for smart spoilage alerts
US20190180276A1 (en) 2017-12-07 2019-06-13 Bank Of America Corporation Automated Event Processing Computing Platform for Handling and Enriching Blockchain Data
US11036293B2 (en) * 2017-12-07 2021-06-15 Flex Ltd. Method for using fingers to interact with a smart glove worn on a hand
US11196747B2 (en) 2017-12-07 2021-12-07 Bank Of America Corporation Automated event processing computing platform for handling and enriching blockchain data
CN107821200B (zh) * 2017-12-13 2023-10-27 成都万春农牧机械有限公司 饲喂设备
EP3737539A4 (en) 2018-01-10 2021-10-06 Simbe Robotics, Inc. METHOD OF MONITORING TEMPERATURE CONTROLLED UNITS IN A STORE
TWI699559B (zh) * 2018-01-16 2020-07-21 美商伊路米納有限公司 結構照明成像系統和使用結構化光來創建高解析度圖像的方法
US11116244B2 (en) * 2018-01-24 2021-09-14 U.S. Department Of Energy Precision cooking system
EP3518075B1 (en) 2018-01-24 2023-10-11 C.R.F. Società Consortile per Azioni Sensorized glove and corresponding method for ergonomic analysis of the hand, in particular a worker's hand
WO2019148019A1 (en) * 2018-01-25 2019-08-01 Kraft Foods Group Brands Llc Method and system for improving food-related personalization
US10720235B2 (en) * 2018-01-25 2020-07-21 Kraft Foods Group Brands Llc Method and system for preference-driven food personalization
US20190246858A1 (en) * 2018-02-13 2019-08-15 Nir Karasikov Cleaning robot with arm and tool receptacles
DE102018202255B4 (de) * 2018-02-14 2022-02-10 E.G.O. Elektro-Gerätebau GmbH Kochfeld und Verfahren zum Betrieb eines Kochfelds
SG11201913495UA (en) 2018-03-13 2020-01-30 Jiddu Inc IoT BASED APPARATUS FOR ASSESSING QUALITY OF FOOD PRODUCE
USD900862S1 (en) 2018-03-20 2020-11-03 Zume Pizza, Inc. Display screen with graphical user interface
US11190608B2 (en) * 2018-03-21 2021-11-30 Cdk Global Llc Systems and methods for an automotive commerce exchange
US11501351B2 (en) 2018-03-21 2022-11-15 Cdk Global, Llc Servers, systems, and methods for single sign-on of an automotive commerce exchange
JP6554202B1 (ja) * 2018-04-02 2019-07-31 日本航空電子工業株式会社 センサモジュール及びロボットシステム
US11142412B2 (en) * 2018-04-04 2021-10-12 6d bytes inc. Dispenser
US10815044B2 (en) 2018-04-04 2020-10-27 6D Bytes, Inc. Automated food production kiosk
JP6429138B1 (ja) * 2018-04-10 2018-11-28 コネクテッドロボティクス株式会社 食品製造装置、食品製造システム及び制御プログラム
US20190313831A1 (en) * 2018-04-13 2019-10-17 Walmart Apollo, Llc Smart cooking apparatus
EP3567366A1 (en) * 2018-05-08 2019-11-13 Koninklijke Philips N.V. A nutrition analysis module for a food processing device or food storage device
WO2019221643A2 (ar) * 2018-05-16 2019-11-21 Elahibakhsh Shadi Ahmed Fadul Karim ثلاجة حفظ الخضروات والفواكه
JP2021154392A (ja) 2018-05-22 2021-10-07 ソニーグループ株式会社 ロボットの制御装置及びロボットの制御方法
JP6559839B1 (ja) * 2018-05-22 2019-08-14 クックパッド株式会社 機器制御システム、サーバ装置、機器制御方法、プログラム、及びレシピのデータ構造
US10589423B2 (en) * 2018-06-18 2020-03-17 Shambhu Nath Roy Robot vision super visor for hybrid homing, positioning and workspace UFO detection enabling industrial robot use for consumer applications
USD884486S1 (en) 2018-07-12 2020-05-19 Zume, Inc. Food container
CN108784429B (zh) * 2018-07-31 2024-02-13 小熊电器股份有限公司 一种厨师机
WO2020024018A1 (en) * 2018-08-03 2020-02-06 NISKA Retail Robotics Pty ltd A robotic ice cream delivery system
US11748827B2 (en) * 2018-08-06 2023-09-05 Marmon Foodservice Technologies, Inc. Order fulfillment system
US11124367B2 (en) * 2018-08-08 2021-09-21 American Pan Company Automated tracking system for baking pans and trays
US11167421B2 (en) 2018-08-10 2021-11-09 Miso Robotics, Inc. Robotic kitchen assistant including universal utensil gripping assembly
DE102018214391A1 (de) * 2018-08-27 2020-02-27 BSH Hausgeräte GmbH Interaktionseinrichtung
US11213158B2 (en) 2018-08-29 2022-01-04 Breville USA, Inc. Cooking system
US20200077723A1 (en) * 2018-09-12 2020-03-12 RipGrip LLC Sport glove with grip pads based on hand anatomy
WO2020056301A1 (en) 2018-09-13 2020-03-19 The Charles Stark Draper Laboratory, Inc. Robot interaction with human co-workers
JP7290407B2 (ja) * 2018-10-05 2023-06-13 株式会社電通 食品、食品製造装置、食品製造方法及び食品製造システム
JPWO2020071150A1 (ja) 2018-10-05 2021-09-24 ソニーグループ株式会社 調理システム
JPWO2020071151A1 (ja) * 2018-10-05 2021-09-02 ソニーグループ株式会社 調理システム
WO2020075516A1 (ja) * 2018-10-12 2020-04-16 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US20210387363A1 (en) * 2018-10-12 2021-12-16 Sony Group Corporation Cooking system, method for controlling a cooking system, and program
CN113194792B (zh) * 2018-10-15 2022-05-20 广东美的厨房电器制造有限公司 训练烹饪器具、定位食物以及确定烹饪进度的系统和方法
US11078020B2 (en) * 2018-10-17 2021-08-03 Walmart Apollo, Llc System and method for ripening produce
US11351671B2 (en) * 2018-10-29 2022-06-07 Toyota Research Institute, Inc. Intent based control of a robotic device
JP7259269B2 (ja) 2018-11-05 2023-04-18 ソニーグループ株式会社 データ処理装置、データ処理方法
JP7259270B2 (ja) 2018-11-05 2023-04-18 ソニーグループ株式会社 調理ロボット、調理ロボット制御装置、制御方法
US11577401B2 (en) 2018-11-07 2023-02-14 Miso Robotics, Inc. Modular robotic food preparation system and related methods
US11410250B2 (en) * 2018-11-19 2022-08-09 Zhengxu He Automated restaurant
US11631010B1 (en) * 2019-01-06 2023-04-18 Adaptics Limited System and method for use with connected kitchen appliances
CN113874173A (zh) 2019-02-08 2021-12-31 安川美国有限公司 对射式自动示教
USD918712S1 (en) 2019-02-11 2021-05-11 Zume, Inc. Food container
USD950588S1 (en) * 2019-02-18 2022-05-03 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
WO2020171087A1 (ja) * 2019-02-18 2020-08-27 コネクテッドロボティクス株式会社 食品調理装置及び制御プログラム
JP2020131339A (ja) * 2019-02-18 2020-08-31 コネクテッドロボティクス株式会社 複合調理装置及び制御プログラム
CN212788226U (zh) 2019-02-25 2021-03-26 沙克忍者运营有限责任公司 烹饪系统
US20190254476A1 (en) 2019-02-25 2019-08-22 Sharkninja Operating Llc Cooking device and components thereof
JP6908642B2 (ja) * 2019-02-25 2021-07-28 ファナック株式会社 レーザ加工装置
JP2022063884A (ja) * 2019-03-01 2022-04-25 ソニーグループ株式会社 データ処理装置、データ処理方法
US11009238B2 (en) 2019-03-01 2021-05-18 Midea Group Co., Ltd. Staged oven self-clean preheat temperature control
JP2022063885A (ja) * 2019-03-01 2022-04-25 ソニーグループ株式会社 データ処理装置、データ処理方法
JPWO2020179401A1 (zh) * 2019-03-01 2020-09-10
CN113474134A (zh) 2019-03-01 2021-10-01 索尼集团公司 烹饪机器人、烹饪机器人控制装置和控制方法
US10865999B2 (en) 2019-03-01 2020-12-15 Midea Group Co., Ltd. Targeted oven self-clean preheat temperature control
KR102000909B1 (ko) * 2019-03-06 2019-07-16 박노섭 아트 프린팅 시스템
GB2582321A (en) * 2019-03-19 2020-09-23 Karakuri Ltd A configurable robotic processing system
US11080482B2 (en) * 2019-03-19 2021-08-03 International Business Machines Corporation Smart meal preparation using a sensor-enabled kitchen environment
US10906184B2 (en) 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
US11383390B2 (en) * 2019-03-29 2022-07-12 Rios Intelligent Machines, Inc. Robotic work cell and network
KR20200116741A (ko) * 2019-04-02 2020-10-13 현대자동차주식회사 로봇의 파지 제어방법 및 제어시스템
US11544594B2 (en) * 2019-04-11 2023-01-03 Sunghee Woo Electronic device comprising user interface for providing user-participating-type AI training service, and server and method for providing user-participating-type AI training service using the electronic device
US11460819B1 (en) * 2019-04-12 2022-10-04 Bradley Chammartin Smart kitchen
US11883963B2 (en) * 2019-06-03 2024-01-30 Cushybots Corporation Robotic platform for interactive play using a telepresence robot surrogate
US11194789B2 (en) * 2019-06-07 2021-12-07 Sap Se Content agnostic memory pageable storage model
CN110310052A (zh) * 2019-07-12 2019-10-08 上海氦豚机器人科技有限公司 支持清洁加料的现制现售食品设备的运营系统及运营方法
US20220281117A1 (en) * 2019-07-16 2022-09-08 Serve Robotics Inc. Remote physiological data sensing robot
WO2021024299A1 (ja) * 2019-08-02 2021-02-11 株式会社ルナロボティクス 食品生成システム
KR20190098936A (ko) * 2019-08-05 2019-08-23 엘지전자 주식회사 쿠킹 로봇 시스템 및 그 제어 방법
EP3998141A4 (en) * 2019-08-08 2022-11-23 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, COOKING ROBOT, COOKING METHOD AND COOKING UTENSILS
USD992963S1 (en) 2019-08-15 2023-07-25 Zume, Inc. Lid for a food container
KR20190104482A (ko) * 2019-08-21 2019-09-10 엘지전자 주식회사 로봇 시스템 및 그 제어방법
CA3155128A1 (en) * 2019-09-27 2021-04-01 J-Oil Mills, Inc. Frying oil processing work information reporting system and frying oil processing work information reporting method
CN110855920A (zh) * 2019-10-17 2020-02-28 佛山市云米电器科技有限公司 一种进行菜谱录制的方法、装置及其灶具
DE102019129872A1 (de) * 2019-11-06 2021-05-06 Miele & Cie. Kg Haushaltslagervorrichtung
CA3160612C (en) * 2019-12-04 2024-04-16 West Liberty Foods, L.L.C. Automated food preparation and packaging systems, methods, and apparatus
CN111079181A (zh) * 2019-12-18 2020-04-28 汪俊霞 一种基于区块链的智慧厨房平台系统
CA3161710A1 (en) 2019-12-31 2021-07-08 William Xavier Kerber Proxy controller suit with optional dual range kinematics
EP4084656A4 (en) * 2019-12-31 2024-01-03 Nala Robotics Inc AUTOMATED PREPARATION SYSTEMS AND METHODS
CN111241315A (zh) * 2020-01-07 2020-06-05 北京小米移动软件有限公司 食物摆盘方法、装置及介质
KR102163769B1 (ko) * 2020-01-22 2020-10-08 김경욱 케이크 제조 방법
US11019960B1 (en) 2020-02-03 2021-06-01 Roboburger Enterprises Apparatus and method for preparing cooked food
JP6981709B1 (ja) * 2020-02-17 2021-12-17 コネクテッドロボティクス株式会社 制御プログラム及び調理システム
CN111374624B (zh) * 2020-02-28 2021-02-26 陈志敏 一种水槽
US11130237B1 (en) * 2020-03-05 2021-09-28 Mujin, Inc. Method and computing system for performing container detection and object detection
US11964247B2 (en) 2020-03-06 2024-04-23 6d bytes inc. Automated blender system
JP7463777B2 (ja) * 2020-03-13 2024-04-09 オムロン株式会社 制御装置、学習装置、ロボットシステム、および方法
WO2021200306A1 (ja) * 2020-03-30 2021-10-07 ソニーグループ株式会社 情報処理装置、情報処理端末、情報処理方法
US11647861B2 (en) 2020-03-30 2023-05-16 Sharkninja Operating Llc Cooking device and components thereof
CN112215346B (zh) * 2020-10-20 2021-11-02 陈永聪 一种实现类人通用人工智能机器的方法
WO2021236942A1 (en) * 2020-05-21 2021-11-25 Blue Hill Tech, Inc. System and method for robotic food and beverage preparation using computer vision
US20210375155A1 (en) * 2020-06-02 2021-12-02 Sarah Beth S. Brust Automated cooking assistant
WO2022025282A1 (ja) * 2020-07-31 2022-02-03 ＴｅｃｈＭａｇｉｃ株式会社 学習制御システム
CN111913438B (zh) * 2020-08-04 2022-03-04 天津大学 针对五轴加工刀尖点与刀轴方向非线性误差的控制方法
US11462072B2 (en) 2020-08-18 2022-10-04 Dov Z. Glucksman Autonomous food station
US11605260B2 (en) 2020-08-18 2023-03-14 T3 Micro, Inc. Autonomous food station
US11776351B2 (en) 2020-08-18 2023-10-03 Kent Yu Autonomous food station
US11232170B1 (en) * 2020-09-08 2022-01-25 UiPath, Inc. Application-specific graphical element detection
US11507259B2 (en) 2020-09-08 2022-11-22 UiPath, Inc. Graphical element detection using a combined series and delayed parallel execution unified target technique, a default graphical element detection technique, or both
CN112190105B (zh) * 2020-09-10 2022-05-27 武汉轻工大学 一种助老药箱
KR102611452B1 (ko) * 2020-09-14 2024-01-09 주식회사 에이브로스 인공지능(ai) 기반 비대면 qsc 점검 솔루션 시스템
KR20220037908A (ko) * 2020-09-18 2022-03-25 삼성전자주식회사 전자 장치 및 이의 제어 방법
US20220104890A1 (en) * 2020-10-06 2022-04-07 Transenterix Surgical, Inc. Open source robotic platform
WO2022074448A1 (en) 2020-10-06 2022-04-14 Mark Oleynik Robotic kitchen hub systems and methods for minimanipulation library adjustments and calibrations of multi-functional robotic platforms for commercial and residential environments with artificial intelligence and machine learning
US11844458B2 (en) 2020-10-13 2023-12-19 June Life, Llc Method and system for automatic cook program determination
CN112349163A (zh) * 2020-10-19 2021-02-09 蒋郑隆 一种用于烘焙教学的线上培训系统
RU2767711C1 (ru) * 2020-10-29 2022-03-18 Автономная некоммерческая образовательная организация высшего образования "Сколковский институт науки и технологий" Способ определения состояния готовности и качества продуктов питания
US11727682B2 (en) * 2020-11-16 2023-08-15 Haier Us Appliance Solutions, Inc. Lid detection method for an over-the-range appliance
JPWO2022107517A1 (zh) * 2020-11-20 2022-05-27
CN112464013A (zh) * 2020-12-04 2021-03-09 珠海格力电器股份有限公司 信息的推送方法和装置、电子设备和存储介质
CN112596482B (zh) * 2020-12-10 2022-02-01 广西味豪食品有限公司 一种木瓜丝自动化生产的控制方法和装置
RU2763143C1 (ru) * 2020-12-28 2021-12-27 Игорь Сергеевич Лернер Пищевая станция самообслуживания с автоматизированными эксплуатационными циклами повышенной производительности
RU2768885C1 (ru) * 2020-12-28 2022-03-25 Игорь Сергеевич Лернер Двухуровневая пищевая система для поэтапного производства блюд ресторанного типа
RU2752818C1 (ru) * 2020-12-28 2021-08-06 Игорь Сергеевич Лернер Интеллектуальная кухонная машина для скоростного приготовления авторских продуктовых заказов
US11514021B2 (en) 2021-01-22 2022-11-29 Cdk Global, Llc Systems, methods, and apparatuses for scanning a legacy database
WO2022162697A1 (en) * 2021-01-30 2022-08-04 Mahindru Ashutosh System to stabilise a load in a moving vehicle
US11945117B2 (en) 2021-03-10 2024-04-02 Samsung Electronics Co., Ltd. Anticipating user and object poses through task-based extrapolation for robot-human collision avoidance
US20220288777A1 (en) * 2021-03-10 2022-09-15 Samsung Electronics Company, Ltd. Parameterized Waypoint Generation on Dynamically Parented Non-Static Objects for Robotic Autonomous Tasks
US11833691B2 (en) 2021-03-30 2023-12-05 Samsung Electronics Co., Ltd. Hybrid robotic motion planning system using machine learning and parametric trajectories
CN113287936B (zh) * 2021-04-14 2022-03-25 浙江旅游职业学院 炒菜系统
CN113229726B (zh) * 2021-04-20 2022-11-15 山东祥合商贸有限公司 家用鸡蛋存放用自排列及取出开口的摆放机构
WO2022236227A1 (en) 2021-05-01 2022-11-10 Miso Robotics, Inc. Automated bin system for accepting food items in robotic kitchen workspace and related methods
CN113378637B (zh) * 2021-05-11 2022-05-17 宁波方太厨具有限公司 基于用户烹饪动作预测的厨电设备控制方法
US11803535B2 (en) 2021-05-24 2023-10-31 Cdk Global, Llc Systems, methods, and apparatuses for simultaneously running parallel databases
US20220386807A1 (en) * 2021-06-03 2022-12-08 Miso Robotics, Inc. Automated kitchen system for assisting human worker prepare food
CN113240055B (zh) * 2021-06-18 2022-06-14 桂林理工大学 基于宏操作变异神经架构搜索的色素性皮损图像分类方法
CN117859147A (zh) * 2021-08-13 2024-04-09 索尼集团公司 信息处理装置、信息处理方法和程序
US11435762B1 (en) * 2021-08-17 2022-09-06 Beta Air, Llc System and method for the autonomous transition of an electric vertical takeoff and landing aircraft
CN113485456B (zh) * 2021-08-23 2022-10-18 中国人民解放军国防科技大学 一种无人机群分布式在线自适应任务规划方法
WO2023034521A1 (en) * 2021-09-01 2023-03-09 GOPIZZA Inc. Kitchen system with food preparation station
KR102507783B1 (ko) * 2021-09-28 2023-03-07 선명희 빅데이터와 인공지능 기반 피자 도우 숙성 최적화 시스템 및 방법
RU2767296C1 (ru) * 2021-10-11 2022-03-17 Общество с ограниченной ответственностью «КЬЮМИ» Микроволновая печь
USD976424S1 (en) * 2021-10-14 2023-01-24 Annabella Tech Ltd. Electrical unit for breast pump for nursing mothers
CN116058671A (zh) * 2021-11-01 2023-05-05 博西华电器（江苏）有限公司 过度烹饪检测方法和家用电器
US20230334697A1 (en) * 2022-04-13 2023-10-19 Nvidia Corporation 3d environment reconstruction for persistent object tracking
EP4290036A1 (en) * 2022-06-09 2023-12-13 B/E Aerospace, Inc. Integrated door lock for an aircraft galley container
US20240015045A1 (en) * 2022-07-07 2024-01-11 Paulmicheal Lee King Touch screen controlled smart appliance and communication network
US11668609B1 (en) * 2022-08-17 2023-06-06 June Life, Inc. System and method for temperature determination
CN115644054B (zh) * 2022-11-14 2023-08-15 浙江农业商贸职业学院 一种用于智慧农业的果树传粉授粉装置
US11914504B1 (en) * 2023-06-27 2024-02-27 Starbucks Corporation Performing physical experiments based on automatically-generated testing scripts
CN116820057B (zh) * 2023-08-30 2023-12-01 四川远方云天食品科技有限公司 一种基于物联网的火锅底料生产监测方法和系统
CN117541270B (zh) * 2024-01-08 2024-04-23 东莞市大研自动化设备有限公司 一种菜谱信息处理方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1478637A (zh) * 2003-07-07 2004-03-03 美华机器人（昆山）研究开发有限公司 机器人烹饪系统
CN100445948C (zh) * 2001-09-29 2008-12-24 张晓林 自动烹调方法及系统
US20130343640A1 (en) * 2012-06-21 2013-12-26 Rethink Robotics, Inc. Vision-guided robots and methods of training them

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4503502A (en) * 1983-06-03 1985-03-05 Chapin Roger A Method and apparatus for automated chinese stir-fry cooking
JP2540557B2 (ja) * 1987-09-01 1996-10-02 日本車輌製造株式会社 ティ―チング方式によるドラム缶搬送方法
CN1075409A (zh) * 1992-02-17 1993-08-25 黄文赞 自动食物烹调装置
US5386762A (en) * 1992-09-14 1995-02-07 Gokey; Phillip E. Robotic chef
US5656785A (en) * 1995-08-07 1997-08-12 The Charles Stark Draper Laboratory, Inc. Micromechanical contact load force sensor for sensing magnitude and distribution of loads and tool employing micromechanical contact load force sensor
JPH09112914A (ja) * 1995-10-18 1997-05-02 Matsushita Electric Ind Co Ltd 加熱調理システム
US6568848B1 (en) * 1999-09-20 2003-05-27 Maverick Industries, Inc. Wireless remote cooking thermometer system
DE10134687A1 (de) * 2001-07-20 2003-02-20 Miele & Cie Bedieneinrichtung für ein Gargerät
JP3602817B2 (ja) 2001-10-24 2004-12-15 ファナック株式会社 食品盛り付けロボット及び食品盛り付け装置
GB2390400A (en) 2002-03-07 2004-01-07 Shadow Robot Company Ltd Air muscle arrangement
GB2386886A (en) 2002-03-25 2003-10-01 Shadow Robot Company Ltd Humanoid type robotic hand
US20040030570A1 (en) * 2002-04-22 2004-02-12 Neal Solomon System, methods and apparatus for leader-follower model of mobile robotic system aggregation
US6584967B1 (en) * 2002-06-06 2003-07-01 Stephen P. Paumen Portable cooking apparatus and methods of use thereof
JP2004220414A (ja) * 2003-01-16 2004-08-05 Osaka Gas Co Ltd 調理レシピ提供システム
US20040173103A1 (en) * 2003-03-04 2004-09-09 James Won Full-automatic cooking machine
US7515990B2 (en) * 2003-05-21 2009-04-07 Panasonic Corporation Article control system, article control server, article control method
US7174830B1 (en) 2003-06-05 2007-02-13 Dawei Dong Robotic cooking system
CN100531626C (zh) * 2003-06-17 2009-08-26 刘小勇 带传感器的可调节火力炊具及其烹调系统
JP4313125B2 (ja) * 2003-09-12 2009-08-12 本田技研工業株式会社 ロボットハンド
JP5026081B2 (ja) * 2003-10-17 2012-09-12 リュウ、シャオユウ インテリジェント化調理方法
US8276505B2 (en) * 2004-02-18 2012-10-02 David Benjamin Buehler Food preparation system
MXPA06010098A (es) * 2004-03-05 2007-04-25 Turbochef Tech Inc Horno transportador.
JP2006015127A (ja) * 2004-06-04 2006-01-19 Food Gate Kk 調理装置
WO2006006624A1 (ja) * 2004-07-13 2006-01-19 Matsushita Electric Industrial Co., Ltd. 物品保持システム、ロボット及びロボット制御方法
GB0421820D0 (en) 2004-10-01 2004-11-03 Shadow Robot Company The Ltd Artificial hand/forearm arrangements
JP5319922B2 (ja) * 2004-11-22 2013-10-16 リュウ、シャオユウ インテリジェント化調理方法
JP2006250510A (ja) * 2005-03-14 2006-09-21 Toshiba Corp 調理支援システム
JP2006277410A (ja) * 2005-03-29 2006-10-12 Toshiba Corp 料理レシピ提案装置、料理レシピ提案方法、およびその方法をコンピュータで実行させるプログラム。
US7673916B2 (en) 2005-08-08 2010-03-09 The Shadow Robot Company Limited End effectors
DE102005054575B3 (de) * 2005-11-16 2007-04-26 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zur Regelung eines Roboterarms sowie Roboter zur Durchführung des Verfahrens
FR2894040B1 (fr) * 2005-11-28 2011-10-21 Eurocopter France Dispositif d'asservissement pour un vibrateur a rotors desequilibres.
US8033189B2 (en) * 2005-12-28 2011-10-11 Honda Motor Co., Ltd. Robot skin
CN101687321B (zh) * 2007-07-05 2012-08-08 松下电器产业株式会社 机器人手臂的控制装置及控制方法、机器人及控制程序
JP5003336B2 (ja) * 2007-07-31 2012-08-15 ソニー株式会社 検出装置、ロボット装置、および入力装置
GB0717360D0 (en) 2007-09-07 2007-10-17 Derek J B Force sensors
US8211134B2 (en) 2007-09-29 2012-07-03 Restoration Robotics, Inc. Systems and methods for harvesting, storing, and implanting hair grafts
ES2361129T3 (es) * 2007-10-09 2011-06-14 Abb Technology Ab Dispositivo de robot industrial, robot industrial y método para manipular objetos.
JP4531832B2 (ja) * 2007-10-10 2010-08-25 パナソニック株式会社 調理補助ロボット及び調理補助方法
US8276506B2 (en) * 2007-10-10 2012-10-02 Panasonic Corporation Cooking assistance robot and cooking assistance method
US8140188B2 (en) * 2008-02-18 2012-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Robotic system and method for observing, learning, and supporting human activities
KR101479232B1 (ko) * 2008-05-13 2015-01-06 삼성전자 주식회사 로봇과 로봇 핸드, 로봇 핸드의 제어 방법
JP5100525B2 (ja) * 2008-06-17 2012-12-19 パナソニック株式会社 物品管理システム及び物品管理方法及び物品管理プログラム
US8099205B2 (en) 2008-07-08 2012-01-17 Caterpillar Inc. Machine guidance system
US7844398B2 (en) * 2008-07-09 2010-11-30 Panasonic Corporation Path risk evaluating apparatus
US9279882B2 (en) 2008-09-19 2016-03-08 Caterpillar Inc. Machine sensor calibration system
US8918302B2 (en) 2008-09-19 2014-12-23 Caterpillar Inc. Machine sensor calibration system
US20100076710A1 (en) 2008-09-19 2010-03-25 Caterpillar Inc. Machine sensor calibration system
GB2467762B (en) 2009-02-13 2013-08-14 Shadow Robot Company Ltd Robotic musculo-skeletal jointed structures
JP2010191745A (ja) * 2009-02-19 2010-09-02 Seiko Epson Corp 調理支援装置、および調理支援方法
EP2243602B1 (de) * 2009-04-22 2013-05-15 KUKA Roboter GmbH Verfahren und Vorrichtung zur Regelung eines Manipulators
RU88467U1 (ru) * 2009-05-25 2009-11-10 Сергей Александрович Пономарев Торговый автомат для продажи обжаренных сыпучих пищевых продуктов, преимущественно орехов, семян масличных культур и других подобных продуктов
CN101943891B (zh) * 2009-07-09 2014-07-02 深圳市繁兴科技有限公司 一种烹饪专家系统及应用其的烹调设备
US8483880B2 (en) 2009-07-22 2013-07-09 The Shadow Robot Company Limited Robotic hand
US8511964B2 (en) * 2009-09-22 2013-08-20 GM Global Technology Operations LLC Humanoid robot
CN102300679B (zh) * 2009-09-28 2014-12-10 松下电器产业株式会社 机器人手臂的控制装置及控制方法、机器人及机器人手臂控制用集成电路
JP5196445B2 (ja) * 2009-11-20 2013-05-15 独立行政法人科学技術振興機構 料理プロセス指示装置及び料理プロセス指示方法
US9181924B2 (en) 2009-12-24 2015-11-10 Alan J. Smith Exchange of momentum wind turbine vane
US9131807B2 (en) 2010-06-04 2015-09-15 Shambhu Nath Roy Robotic kitchen top cooking apparatus and method for preparation of dishes using computer recipies
US8320627B2 (en) 2010-06-17 2012-11-27 Caterpillar Inc. Machine control system utilizing stereo disparity density
FI20105732A0 (fi) * 2010-06-24 2010-06-24 Zenrobotics Oy Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä
US8700324B2 (en) 2010-08-25 2014-04-15 Caterpillar Inc. Machine navigation system having integrity checking
US8744693B2 (en) 2010-11-22 2014-06-03 Caterpillar Inc. Object detection system having adjustable focus
US8751103B2 (en) 2010-11-22 2014-06-10 Caterpillar Inc. Object detection system having interference avoidance strategy
US8912878B2 (en) 2011-05-26 2014-12-16 Caterpillar Inc. Machine guidance system
WO2012174595A1 (en) * 2011-06-21 2012-12-27 Icookit Pty Ltd System for automating cooking steps
US20130006482A1 (en) 2011-06-30 2013-01-03 Ramadev Burigsay Hukkeri Guidance system for a mobile machine
CN102389255B (zh) * 2011-09-21 2014-06-04 唐晓溪 将个人厨艺自动转为电子程序并可自动烹调的方法及设备
DE102011121017A1 (de) 2011-12-13 2013-06-13 Weber Maschinenbau Gmbh Breidenbach Vorrichtung zur Verarbeitung von Lebensmittelprodukten
KR20130090585A (ko) * 2012-02-06 2013-08-14 삼성전자주식회사 착용형 로봇과 이를 이용한 모션 학습 방법
KR20150004819A (ko) * 2012-03-30 2015-01-13 더 보오드 오브 트러스티스 오브 더 유니버시티 오브 일리노이즈 표면에 상응하는 부속체 장착가능한 전자 장치
US9120233B2 (en) * 2012-05-31 2015-09-01 Toyota Motor Engineering & Manufacturing North America, Inc. Non-contact optical distance and tactile sensing system and method
CN107047694A (zh) 2012-06-06 2017-08-18 动力机械公司 分配配料的系统和方法
US9326544B2 (en) 2012-06-06 2016-05-03 Momentum Machines Company System and method for dispensing toppings
US9295281B2 (en) 2012-06-06 2016-03-29 Momentum Machines Company System and method for dispensing toppings
US9295282B2 (en) 2012-06-06 2016-03-29 Momentum Machines Company System and method for dispensing toppings
CN103481297B (zh) * 2012-06-08 2016-04-06 株式会社安川电机 机器人室元、机器人室元的组装方法以及机器人系统
US9230447B2 (en) * 2012-09-04 2016-01-05 Yaron Gabbai Method of recording a motion for robotic playback
JP6111589B2 (ja) * 2012-10-11 2017-04-12 セイコーエプソン株式会社 ロボットハンド、ロボット装置及びロボットハンドの製造方法
US10068273B2 (en) 2013-03-13 2018-09-04 Creator, Inc. Method for delivering a custom sandwich to a patron
US9199376B2 (en) * 2013-03-14 2015-12-01 GM Global Technology Operations LLC Intuitive grasp control of a multi-axis robotic gripper
US9718568B2 (en) 2013-06-06 2017-08-01 Momentum Machines Company Bagging system for packaging a foodstuff
US10206539B2 (en) * 2014-02-14 2019-02-19 The Boeing Company Multifunction programmable foodstuff preparation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100445948C (zh) * 2001-09-29 2008-12-24 张晓林 自动烹调方法及系统
CN1478637A (zh) * 2003-07-07 2004-03-03 美华机器人（昆山）研究开发有限公司 机器人烹饪系统
US20130343640A1 (en) * 2012-06-21 2013-12-26 Rethink Robotics, Inc. Vision-guided robots and methods of training them

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108008662A (zh) * 2016-10-28 2018-05-08 松下电器（美国）知识产权公司 信息处理方法以及信息处理系统
CN107348710A (zh) * 2016-12-15 2017-11-17 傅峰峰 智能自动化一体厨房
CN106625729A (zh) * 2016-12-19 2017-05-10 浙江大学 带温度和触觉力感知功能的仿人型机械手指
CN108255087A (zh) * 2016-12-29 2018-07-06 佛山市顺德区美的电热电器制造有限公司 一种控制方法及装置
CN106843000A (zh) * 2017-02-13 2017-06-13 华北电力大学（保定） 攀爬机器人移动控制系统恢复方法
CN106843000B (zh) * 2017-02-13 2019-03-26 华北电力大学（保定） 攀爬机器人移动控制系统恢复方法
CN110462530A (zh) * 2017-03-31 2019-11-15 索尼公司 信息处理设备、信息处理方法、计算机程序和程序制造方法
CN106985148A (zh) * 2017-06-02 2017-07-28 成都小晓学教育咨询有限公司 基于svm的机器人烹饪方法
CN107340718A (zh) * 2017-06-30 2017-11-10 北京小米移动软件有限公司 智能灯参数的调整方法及装置
CN107388296A (zh) * 2017-07-24 2017-11-24 杭州家亮云科技有限公司 一种基于程序云的烟灶联动控制方法
CN107388296B (zh) * 2017-07-24 2019-06-25 杭州家亮云科技有限公司 一种基于程序云的烟灶联动控制方法
CN107388301A (zh) * 2017-07-28 2017-11-24 杭州家亮云科技有限公司 一种基于程序云的智能电磁灶控制方法
CN107388301B (zh) * 2017-07-28 2019-06-25 杭州家亮云科技有限公司 一种基于程序云的智能电磁灶控制方法
CN107593519A (zh) * 2017-11-02 2018-01-19 湖南三尖农牧有限责任公司 一种用于鸡舍的自动化操作台
CN107972069A (zh) * 2017-11-27 2018-05-01 胡明建 一种机械视觉和机械触觉以时间相互映射的设计方法
CN107871016A (zh) * 2017-11-27 2018-04-03 胡明建 一种机械视觉和机械味觉以时间相互映射的设计方法
CN107972001A (zh) * 2017-12-12 2018-05-01 宁波隆翔环保科技有限公司 一种送餐机器人
CN108260242A (zh) * 2018-01-10 2018-07-06 广东美的厨房电器制造有限公司 微波烹饪设备及其保护控制方法及装置
CN108621672A (zh) * 2018-05-07 2018-10-09 南通理工学院 一种具有烟雾探测功能的冰箱贴
CN110599285A (zh) * 2018-06-13 2019-12-20 佛山市顺德区美的电热电器制造有限公司 智能厨房的控制方法、控制系统、智能厨房及计算机设备
CN110599285B (zh) * 2018-06-13 2022-05-17 佛山市顺德区美的电热电器制造有限公司 智能厨房的控制方法、控制系统、智能厨房及计算机设备
CN108806066A (zh) * 2018-06-20 2018-11-13 杭州纳戒科技有限公司 运用物流箱进行菜品自助选购的方法及装置
CN112739504A (zh) * 2018-08-07 2021-04-30 精灵企业有限公司 自动计算机控制的烹饪系统及方法
CN109243562A (zh) * 2018-09-03 2019-01-18 陈怡� 一种基于Elman神经网络和遗传算法的形象气质提升方法
CN109129511A (zh) * 2018-09-28 2019-01-04 北京猎户星空科技有限公司 一种基于机械臂制作餐饮的控制方法及装置
CN112804920A (zh) * 2018-10-04 2021-05-14 索尼公司 信息处理装置、信息处理方法及程序
CN109170501A (zh) * 2018-10-24 2019-01-11 汪欢 自动化食物加工系统
CN111329324A (zh) * 2018-12-18 2020-06-26 珠海格力电器股份有限公司 一种煲汤机的煲汤控制方法、装置、存储介质及煲汤机
CN111352355A (zh) * 2018-12-20 2020-06-30 美的集团股份有限公司 烹饪方法、设备、系统及介质
CN111435524A (zh) * 2019-01-11 2020-07-21 东芝泰格有限公司 信息处理装置及信息处理方法、存储介质、电子设备
CN109727657A (zh) * 2019-01-15 2019-05-07 海南大学 个性化食材口味的节材节能环保炊具定制系统
CN109739139A (zh) * 2019-01-15 2019-05-10 鲁班嫡系机器人（深圳）有限公司 食材料理的系统、方法、控制装置、存储介质及设备
CN109875381A (zh) * 2019-02-28 2019-06-14 秒针信息技术有限公司 烹饪方法及其设备
CN111628917B (zh) * 2019-02-28 2023-08-18 三星电子株式会社 电子装置和通过电子装置提供信息的方法
CN111628917A (zh) * 2019-02-28 2020-09-04 三星电子株式会社 电子装置和通过电子装置提供信息的方法
CN110074700A (zh) * 2019-05-21 2019-08-02 北京鲲鹏神通科技有限公司 全智能大厨机器人控制系统
CN114269213A (zh) * 2019-08-08 2022-04-01 索尼集团公司 信息处理装置、信息处理方法、烹饪机器人、烹饪方法及烹饪设备
CN110599823B (zh) * 2019-09-05 2021-08-13 北京科技大学 一种基于示教视频和解说语音融合的服务机器人示教方法
CN110599823A (zh) * 2019-09-05 2019-12-20 北京科技大学 一种基于示教视频和解说语音融合的服务机器人示教方法
CN110925815B (zh) * 2019-12-11 2022-03-25 中山市翰林电器有限公司 一种智能电磁炉控制方法及装置
CN110925815A (zh) * 2019-12-11 2020-03-27 中山市翰林电器有限公司 一种智能电磁炉控制方法及装置
CN111198529A (zh) * 2020-01-16 2020-05-26 珠海格力电器股份有限公司 一种烹饪设备、烹饪方法、装置、电子设备及存储介质
CN113133674A (zh) * 2020-01-17 2021-07-20 佛山市顺德区美的电热电器制造有限公司 烹饪控制方法、烹饪控制装置和烹饪设备
CN113133674B (zh) * 2020-01-17 2023-06-09 佛山市顺德区美的电热电器制造有限公司 烹饪控制方法、烹饪控制装置和烹饪设备
CN111552332B (zh) * 2020-05-21 2021-03-05 浙江吉祥厨具股份有限公司 蒸柜控制方法、蒸柜控制装置以及蒸柜
CN111552332A (zh) * 2020-05-21 2020-08-18 浙江吉祥厨具股份有限公司 蒸柜控制方法、蒸柜控制装置以及蒸柜
CN112487023A (zh) * 2020-12-01 2021-03-12 珠海优特智厨科技有限公司 电子菜谱的创作方法、装置、设备及计算机可读存储介质
CN112801823A (zh) * 2021-02-03 2021-05-14 苏州神运机器人有限公司 餐饮管理系统、中央服务器以及餐饮管理开放式平台
CN113100457A (zh) * 2021-04-14 2021-07-13 浙江旅游职业学院 切菜系统
CN113100457B (zh) * 2021-04-14 2022-03-25 浙江旅游职业学院 切菜系统
CN113268352A (zh) * 2021-06-11 2021-08-17 中科院软件研究所南京软件技术研究院 面向通用服务机器人的多指令响应式任务协同管理方法
CN113268352B (zh) * 2021-06-11 2024-03-08 中科院软件研究所南京软件技术研究院 面向通用服务机器人的多指令响应式任务协同管理方法
CN113496090B (zh) * 2021-09-07 2022-01-14 瑞昌市溢香农产品有限公司 一种板鸭加工品质的管理系统
CN113496090A (zh) * 2021-09-07 2021-10-12 江西省农业科学院农产品加工研究所 一种板鸭加工品质的管理系统

Also Published As

Publication number Publication date
EP3107429A2 (en) 2016-12-28
EP3107429B1 (en) 2023-11-15
RU2016134234A (ru) 2018-02-26
CN112068526A (zh) 2020-12-11
RU2743044C1 (ru) 2021-02-12
AU2015220546A1 (en) 2016-06-09
RU2016134234A3 (zh) 2018-09-07
RU2699690C2 (ru) 2019-09-09
US20180029222A1 (en) 2018-02-01
JP2017506169A (ja) 2017-03-02
RU2743194C1 (ru) 2021-02-16
US9815191B2 (en) 2017-11-14
KR20240027152A (ko) 2024-02-29
WO2015125017A2 (en) 2015-08-27
DK3107429T3 (da) 2024-02-12
US20180147718A1 (en) 2018-05-31
JP2022101582A (ja) 2022-07-06
CA2933095A1 (en) 2015-08-27
AU2022201845A1 (en) 2022-04-07
US20150290795A1 (en) 2015-10-15
CN106030427B (zh) 2020-09-08
US20180257219A1 (en) 2018-09-13
AU2020200017A1 (en) 2020-01-30
US11117253B2 (en) 2021-09-14
WO2015125017A3 (en) 2016-06-02
US20180043526A1 (en) 2018-02-15
US20190381654A1 (en) 2019-12-19
KR20160124770A (ko) 2016-10-28

Similar Documents

Publication Publication Date Title
US11117253B2 (en) Methods and systems for food preparation in a robotic cooking kitchen
AU2020226988B2 (en) Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries
CN108778634A (zh) 包括机器人、存放装置及其容器的机器人厨房
US20230031545A1 (en) Robotic kitchen systems and methods in an instrumented environment with electronic cooking libraries

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant