CN1860502A - 食品材料烹调操作识别系统及食品材料烹调操作识别程序 - Google Patents

食品材料烹调操作识别系统及食品材料烹调操作识别程序 Download PDF

Info

Publication number
CN1860502A
CN1860502A CNA2005800010854A CN200580001085A CN1860502A CN 1860502 A CN1860502 A CN 1860502A CN A2005800010854 A CNA2005800010854 A CN A2005800010854A CN 200580001085 A CN200580001085 A CN 200580001085A CN 1860502 A CN1860502 A CN 1860502A
Authority
CN
China
Prior art keywords
cooking
food material
certainty factor
cooking operation
mentioned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800010854A
Other languages
English (en)
Other versions
CN100538742C (zh
Inventor
长光左千男
美浓导彦
山肩洋子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1860502A publication Critical patent/CN1860502A/zh
Application granted granted Critical
Publication of CN100538742C publication Critical patent/CN100538742C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种食品材料烹调操作识别系统及其食品材料烹调操作识别程序，对烹调者正在烹调的食品材料及对该食品材料的烹调操作以较好的精确度进行指定，并对烹调者正在烹调的菜肴的烹调菜谱以较好的精确度予以推定。它包括具备拍摄烹调者的烹调状况的光学摄像机(10)、热感摄像机(20)，以及取得环境音的麦克风(30)的感应单元(200)、从食品材料数据库(103)、烹调物数据库(104)及烹调操作数据库(105)制作特征量模板的特征量模板制作单元(106)、根据感应单元(200)所取得的观测数据，计算烹调者正在烹调的食品材料及烹调操作的观测确信度，根据该观测确信度制作烹调流程，根据写入在特征量模板中的模板确信度，计算所制作的烹调流程的匹配度，对食品材料、烹调操作及烹调菜谱予以识别的识别处理单元(110)。

Description

食品材料烹调操作识别系统及食品材料烹调操作识别程序
技术领域
本发明涉及一种根据观测数据对食品材料及对该食品材料的烹调操作予以识别的技术。
背景技术
在非专利文献1(日本第17届人工智能学会全国大会论文集，基于文本信息的制约的菜肴图像中的物体检测，no.2C1-02，June 2003)中公开了一种技术，将从光学摄像机获得的图像中的食品材料的特征量，作为知识模板(template)进行存储，用该知识模板计算表示图像中的食品材料的可靠性的确信度，来识别图像中所包含的食品材料及烹调操作。
然而，在该非专利文献1记载的技术中所存在的问题是，得不到较高的确信度，无法以较好的精确度来识别食品材料及烹调操作。
发明内容
本发明的目的在于提供一种能以较好的精确度对烹调者正在烹调的食品材料及对该食品材料的烹调操作进行识别的食品材料烹调操作识别系统及食品材料烹调操作识别程序。
本发明的食品材料烹调操作识别系统，包括取得至少包含进行烹调操作的烹调者手部的图像和由该烹调操作产生的环境音的其中任何之一的观测数据的感应单元、将对各种食品材料预先设想的各种烹调操作，连同模板确信度即对各食品材料的每种烹调操作预先规定的确信度一起，以表格的形式加以存储的特征量模板、根据上述感应单元所取得的观测数据，计算表示烹调者正在烹调的食品材料及对该食品材料的烹调操作的至少其中任何之一的确信度的观测确信度，根据计算出的观测确信度，制作烹调者烹调菜肴的烹调流程的烹调流程制作单元、根据上述模板确信度和上述观测确信度，计算初次确信度，即构成上述烹调流程制作单元所制作成的烹调流程的各对象的确信度的初次确信度计算单元、根据上述初次确信度计算单元计算出的初次确信度，计算最终确信度，以计算出的最终确信度作为新的模板确信度，更新上述特征量模板，根据更新后的特征模板，来识别对应由上述感应单元取得的观测数据的食品材料及烹调操作的烹调操作识别单元。
根据该结构，根据由感应单元取得的进行烹调操作的烹调者的手部图像和该烹调操作产生的环境音，计算烹调者正在烹调的食品材料及对该食品材料的烹调操作的观测确信度，根据该观测确信度，制作烹调流程。而且，又根据模板确信度和观测确信度，计算构成烹调流程的各对象的初次确信度。然后，根据该匹配度和初次确信度，计算最终确信度，对感应单元所取得的图像中的食品材料及对该食品材料的烹调操作予以识别。
亦即，由于是根据存储有模板确信度的特征量模板来识别烹调操作及食品材料，因此可以较好的精确度对食品材料及烹调操作进行推定。
附图说明
图1是本发明实施例的食品材料烹调操作识别系统的整体结构的示意图，(a)是整体结构的侧视图，(b)是整体结构的主视图。
图2是本食品材料烹调操作识别系统的功能方框图。
图3是食品材料表的数据结构的示意图。
图4是特征量模板的数据结构的示意图。
图5是烤苹果和西红柿的烹调菜谱的菜谱特征量模板，以及沙拉和煮萝卜的烹调菜谱的菜谱特征量模板的数据结构的示意图。
图6是特征量模板的制作处理的流程图。
图7是说明特征量模板的制作处理的表格的变化图。
图8是食品材料烹调操作识别系统的操作流程图。
图9是烹调流程数据库存储的烹调流程的示意图，(a)表示马铃薯炖肉的烹调流程，(b)表示牛肉饼的烹调流程。
图10是烹调流程数据库存储的烹调流程的示意图，(a)表示咖喱牛肉的烹调流程，(b)表示炒蔬菜的烹调流程。
图11是流程匹配的说明图，(a)表示制作的烹调流程，(b)表示预先存储在烹调流程数据库中的烹调流程。
图12是观测流程的节点数和编辑距离的关系的图表。
图13是食品材料·烹调操作决定处理的流程图。
图14是除去背景区域的情况的说明图。
图15是青椒的色调、饱和度及区域尺寸随时间变化的图表。
图16是南瓜的色调、饱和度及区域尺寸随时间变化的图表。
图17是表示烹调操作前后的苹果和西红柿的色调及饱和度的直方图的图表，(a)表示烹调操作前的色调的直方图，(b)表示烹调操作前的饱和度的直方图，(c)表示烹调操作后的色调的直方图，(d)表示烹调操作后的饱和度的直方图。
具体实施方式
图1是本发明实施例的食品材料烹调操作识别系统的整体结构的示意图，(a)表示整体结构侧视图，(b)表示整体结构的主视图。图1所示的食品材料烹调操作识别系统包括：光学摄像机10、热感摄像机20、麦克风30、显示装置40、扬声器50、RFID标签读出器(tag reader)60及无图示的数据处理装置。光学摄像机10由公众所知的动画摄像机构成，被安装于烹调台的上方，拍摄正在烹调台上进行烹调操作的烹调者的手部，取得动画图像的光学图像。
热感摄像机20，被安装在烹调台的上方，拍摄正在进行烹调操作的烹调者的手部，取得动画图像的温度图像。
麦克风30，被安装在烹调台的上表面附近，取得因烹调而产生的环境音。显示装置40，由液晶板、等离子板、CRT等构成，显示用于向烹调者介绍烹调菜谱的各种图像。扬声器50，输出用于向烹调者介绍烹调菜谱的各种声音。RFID标签读出器60，从安装在各食品材料上的RFID标签中读取存储于该RFID中的食品材料数据。作为食品材料数据，包含有表示安装有RFID标签的食品材料名称的数据。
图2是本食品材料烹调操作识别系统的功能方框图。本食品材料烹调操作识别系统包括数据处理单元100和感应单元200。数据处理单元100，包括CPU、ROM、RAM及硬盘等，具备菜谱数据库101、抽出单元102、食品材料数据库103、烹调物数据库104、烹调操作数据库105、特征量模板制作单元106、特征量模板存储单元107、烹调流程数据库108、菜谱特征量模板存储单元109、识别处理单元110及引导单元111的功能。
这些功能，可通过CPU执行存储于ROM中的食品材料烹调操作识别程序而予以实现。
菜谱数据库101，存储表示各种菜肴的烹调菜谱的烹调菜谱数据。该烹调菜谱数据是文本数据，包含表示各菜肴所使用的食品材料名称的食品材料数据，以及切、煮、烤等对各食品材料进行的烹调操作数据。
抽出单元102，抽出存储于菜谱数据库101中的全部烹调菜谱数据所使用的食品材料和对该食品材料的烹调操作。
食品材料数据库103存储图3(a)所示的食品材料表T1，烹调物数据库104存储图3(b)所示的烹调物表T2，烹调操作数据库105存储图3(c)所示的烹调操作表T3。
图3(a)所示的食品材料表T1，包括包含有食品材料名称、颜色、形状及大小等字段的食品材料记录，存储各食品材料的颜色、形状、大小等。在食品材料名称的字段中，存储有表示食品材料名称的数据。在颜色的字段中，存储有有关食品材料颜色的数据。此处不仅存储有关食品材料的外部颜色的数据，也存储有关其内部颜色的数据。例如，由于苹果的表皮是红色的，内部是白色的，所以在颜色的字段中存储有“外；红(△)、[内；白]”的数据。此处，记号“△”表示预先规定的确信度的模板确信度。另外，由于西红柿的表皮是红色的，内部也是红色的，所以在颜色的字段中存储有“外；红(×)、[内；红]”的数据。
在形状的字段中，存储有表示食品材料的外观形状的数据。苹果和西红柿是圆形的，萝卜是椭圆形的，因此在各形状的字段中存储有“圆形”、“圆形”、“椭圆形”的数据。
图3(b)所示的烹调物表T2，包括包含有烹调操作、形状的变化及颜色等字段的烹调物记录，存储因各烹调操作而产生的食品材料形状的变化及颜色的变化。在烹调操作的字段中，存储有表示烹调操作名称的数据。烹调操作有切碎、切圆片、4分切、切丝、削、烤、煮。此处列举出的烹调操作只是一个例子，亦可包含其他烹调操作，亦可省略部分烹调操作。
在形状的变化的字段中，存储有表示相应的烹调操作所引起的食品材料形状的变化的数据。例如切碎时，由于食品材料从大变小，由1个整体变为多个碎片，因此，对应切碎的形状变化的字段中存储有“大→小、少→多”。在颜色的字段中，存储有表示相应的烹调操作所引起的食品材料颜色的变化的数据。例如，由于被切碎的食品材料主要显示其内部的颜色，所以对应切碎的颜色字段中存储有“外→内”。此外，被切成圆片的食品材料主要显示其外观的颜色和内部的颜色两者，于是对应切圆片的颜色字段中存储有“外→外+内”。
图3(c)所示的烹调操作表T3，包括包含有烹调操作、声音及手的动作等字段的烹调操作记录，存储因各烹调操作而产生的环境音及手的动作等。在烹调操作的字段中，与烹调物表T2同样存储有表示烹调操作名称的数据。在声音的字段中，存储有因各烹调操作而产生的环境音数据。
食品材料表T1至烹调操作表T3是预先制作的，各字段中存储的模板确信度也是预先规定的。另外，确信度是表示所推定的食品材料及烹调操作推定的准确性的数值，确信度越高，所推定的食品材料及烹调操作越接近烹调者实际进行烹调的食品材料及烹调操作。
在图3(a)至(c)所示的各表格中，用记号◎、○、△、×表示模板确信度。如图3(d)所示，◎表示模板确信度属于0.8～1.0的数值域，○表示模板确信度属于0.5～0.8的数值域，△表示模板确信度属于0.2～0.5的数值域，×表示确信度属于0.0～0.2的数值域。
图2所示的特征量模板制作单元106，制作以抽出单元102抽出的食品材料为各列项目、以烹调操作为各行项目的表格的特征量模板的框架。另外，特征量模板制作单元106，还制作以抽出单元102按烹调菜谱抽出的食品材料为各列项目、以烹调操作为各行项目的表格，即菜谱特征量模板的框架。
进而，特征量模板制作单元106，根据食品材料表T1、烹调物表T2及烹调操作表T3的各字段中存储的模板确信度，将模板确信度写入特征量模板及菜谱特征量模板的各字段中，使其存储在特征量模板存储单元107及菜谱特征量模板存储单元109中。
特征量模板存储单元107，存储由特征量模板制作单元106制作的特征量模板。烹调流程数据库108，存储按顺序表示对各种菜肴的烹调菜谱的烹调工序的烹调流程。图9及图10是烹调流程数据库108存储的烹调流程的示意图，图9(a)表示马铃薯炖肉的烹调流程，图9(b)表示牛肉饼的烹调流程，图10(a)表示咖喱牛肉的烹调流程，图10(b)表示炒蔬菜的烹调流程。在图9及图10中，以椭圆形所示的对象表示食品材料，以四方形所示的对象表示烹调操作，越是上层所示的对象，其烹调工序越接近最终工序。此外，椭圆形中没有记录文字的对象，表示被施行了其下一层的对象所示的烹调操作的食品材料。
图9(a)所示的马铃薯炖肉，牛肉在进行了“切·削”的烹调操作后，再进行“炒·烤”的烹调操作。然后，再与进行了“切·削”烹调操作后的洋葱一起进行“炒·烤”的烹调操作。之后，进行了“炒·烤”烹调操作后的洋葱和牛肉，与进行了“切·削”烹调操作后的马铃薯一起进行“炒·烤”的烹调操作后，再进行“炖·煮”的烹调操作。这样就完成了目的物的马铃薯炖肉。
识别处理单元110，根据感应单元200输出的观测数据，进行流程匹配(flow matching)等处理，既推定目前烹调者正在烹调的菜肴的烹调菜谱，又对目前烹调者正在烹调的食品材料及烹调操作予以识别。另外，流程匹配是众所周知的，其详细内容已公开在公众所知的文献1“The Tree-to-TreeCorrection Problem(KUO-CHUNG TAI)：Journal of the Association forComputing Machinery，Vol 26.No 3，July 1979.pp 422-433”中。
另外，识别处理单元110相当于烹调流程制作单元、初次确信度计算单元、匹配度计算单元及烹调操作识别单元。
引导单元111，将对应由识别处理单元110推定的烹调菜谱而预先存储的声音数据和图像数据，从扬声器50和显示装置40输出，向烹调者提示烹调菜谱。此处，引导单元111对目前用户正在烹调的烹调工序进行引导。
感应单元200，包括有图1所示的热感摄像机20、光学摄像机10、麦克风30、RFID读出器60，作为观测数据，向识别处理单元110输出由热感摄像机20拍摄的温度图像、由光学摄像机10拍摄的光学图像、由麦克风30取得的环境音及由RFID标签读出器60读取出的食品材料数据。
图4是特征量模板T4的数据结构的示意图。特征量模板T4，包括包含有食品材料名称、切碎、切圆片、4分切、切丝、削、烤及煮的字段的特征量记录。在图4的例子中，由抽出单元102抽出的烹调操作为切碎、切圆片、4分切、切丝、削、烤及煮，故在特征量模板T4中制作成这些字段。因此，当抽出单元102抽出这些操作以外的烹调操作时，该烹调操作的字段就被包含在特征量模板T4中了。另外，在特征量模板T4的各字段中记载的词句，是为了便于显示模板确信度是由哪个数据来决定的而予以加注的，实际上只存储有模板确信度，而并不存储与图中所示的语句相关的数据。
在食品材料名称的字段中，存储由抽出单元102抽出的食品材料名称。而有关特征量模板T4的制作处理将在以后叙述。
图5是烤苹果和西红柿的烹调菜谱的菜谱特征量模板T5，以及沙拉和煮萝卜的烹调菜谱的菜谱特征量模板T6的数据结构的示意图。菜谱特征量模板T5包括食品材料名称、切、削、烤及煮的字段。切、削、烤及煮是特征量模板T4中所包含的烹调操作，是烤苹果和西红柿的烹调菜谱中所包含的烹调操作。
菜谱特征量模板T6包括食品材料名称、切、削、烤及煮的字段。切、削、烤及煮是特征量模板T4中所包含的烹调操作，是沙拉和煮萝卜的烹调操作。
下面，用图6所示的流程图及图7所示的表格的变化图，就特征量模板的制作处理予以说明。首先，在步骤S1中，抽出单元102，抽出存储于菜谱数据库101中的全部烹调菜谱所包含的全部烹调操作及全部食品材料。
在步骤S2中，特征量模板制作单元106，制作特征量模板的框架，即包括在步骤S1抽出的作为项目的食品材料和烹调操作的表格。图7的特征量模板T4的场合，由于在菜谱数据库101中，作为烹调操作数据而包含有切碎、切圆片、4分切、切丝、削、烤及煮，所以，这些烹调操作被作为各列的项目，而作为食品材料包含有苹果、西红柿、萝卜，故这些食品材料名称被作为各行的项目。
在步骤S3中，特征量模板制作单元106，依据食品材料表T1、烹调物表T2及烹调操作表T3的各字段中存储的模板确信度，将模板确信度写入特征量模板T4的各字段中。
具体而言，以如下方式写入模板确信度。以图7所示的特征量模板T4中对应苹果的切圆片字段FI1为例进行说明。由于对应字段FI1的食品材料名称是苹果，因而从食品材料表T1中抽出存储有苹果的食品材料记录R1。另外，由于对应字段FI1的烹调操作是切圆片，因而从烹调物表T2及烹调操作表T3中抽出存储有切圆片的烹调物记录R2及烹调操作记录R3。
构成食品材料记录R1的各字段所存储的模板确信度中最大的模板确信度为“△”。而且，构成烹调物记录R2的各字段所存放的模板确信度中最大的模板确信度为“○”。而构成烹调操作记录R3的各字段所存放的模板确信度中最大的模板确信度为“△”。因此，食品材料记录R1、烹调物记录R2及烹调操作记录R3的各字段所存储的模板确信度中最大的模板确信度则为“○”。由此，将“○”的模板确信度写入特征量模板T4的字段FI1中。
这样，模板确信度被写入特征量模板T4的各字段中从而制作成特征量模板T4。制作成的特征模板T4，被存储在特征量模板存储单元107中。另外，也同样地制作菜谱特征量模板。
下面，依据图8所示的流程图，就本食品材料烹调操作识别系统的操作进行说明。首先，在步骤S11中，感应单元200取得观测数据，并向数据处理单元100发送。在步骤S12中，识别处理单元110，对热感摄像机20所拍摄的温度图像、光学摄像机10所拍摄的光学图像及麦克风30所取得的环境音进行食品材料·烹调操作决定处理，既决定目前烹调者正在烹调的食品材料及对该食品材料的烹调操作，又计算对所决定的食品材料的确信度和对所决定的烹调操作的确信度，即观测确信度。另外，有关食品材料·烹调操作决定处理的详细内容，将在后面用图13所示的流程图进行叙述。
在步骤S13中，识别处理单元110，用由步骤S12决定的食品材料及烹调操作，制作表示从烹调开始到现在为止烹调者所进行的烹调过程的烹调流程。
此时，制作如图11(a)所示的烹调流程。可知，在该烹调流程中，作为食品材料使用的是马铃薯、洋葱及牛肉，对这些食品材料进行“切”、“炒”、“煮”等烹调操作的烹调流程被制作而成。
在图8所示的步骤S14中，识别处理单元110，将在步骤S12得到的烹调操作及食品材料的观测确信度，与存储在特征量模板T4中的相对应的字段中所存储的模板确信度相乘，计算构成烹调流程的各对象的确信度，即初次确信度(primary certainty factor)(＝模板确信度×观测确信度)。
作为具体的例子，在图11(a)所示的烹调流程中，表示有计算对象O1的初次确信度C1、对象O2的初次确信度C2的情况。
此处，为了便于说明，在图11(a)所示的烹调流程中，将对象O1设为苹果来代替马铃薯，而将对象O2设为切圆片来代替切。此外，还将图4所示的特征量模板T4中的对苹果切圆片的模板确信度设为A1。
然后，假定通过步骤S12计算出对苹果的观测确信度为B1，对切圆片的观测确信度为B2。于是，对象O1的初次确信度C1，可通过C1＝B1×A1来计算，而对象O2的初次确信度C2则可通过C2＝B2×A2来计算。
在步骤S15中，识别处理单元110，对存储在由步骤S13制作的烹调流程和烹调流程数据库108中的各烹调流程进行流程匹配，计算表示烹调者目前正在烹调的菜肴接近存储于烹调流程数据库108的各烹调流程中的哪个烹调流程的匹配度。另外，关于流程匹配的匹配度计算，已被公开在上述公众所知的文献1中。
图11是流程匹配(flow matching)的说明图，(a)表示所制作的烹调流程，(b)表示预先存储在烹调流程数据库108中的烹调流程。在图11(b)的例子中，假定烹调流程数据库108中预先存储了马铃薯炖肉的烹调流程F1、咖喱的烹调流程F2、炒蔬菜的烹调流程F3和煎鸡蛋卷的烹调流程F4。
图11(a)所示的烹调流程，随着图8所示的流程图被反复执行，而从下至上逐渐完成对象。另外，最下层的烹调操作、即对马铃薯、洋葱、牛肉进行“切”的烹调操作，虽不是同时进行的，但由于是对各食品材料最初进行的烹调操作，故该表示“切”的对象显示在同一层。
然后，识别处理单元110，分别计算图11(a)所示的烹调流程相对图11(b)所示的马铃薯炖肉～煎鸡蛋卷的烹调流程F1～F4的匹配度。在图11(b)的例子中，分别计算出相对马铃薯炖肉、咖喱、炒蔬菜、煎鸡蛋卷的烹调流程F1至F4的匹配度为0.8、0.7、0.4、0.2。然后，识别处理单元110，将匹配度未达到规定值(例如0.5)的炒蔬菜和煎鸡蛋卷的烹调流程F3和F4，从下次流程匹配的匹配对象中删除。亦即，在下次的流程匹配中，不计算相对炒蔬菜和煎鸡蛋卷的烹调流程F3和F4的匹配度。这样，可以谋求实现流程匹配处理的高速化。
在步骤S16中，特征量模板制作单元106，对在步骤S14计算出的各初次确信度，从由步骤S15计算出的相对各烹调流程的匹配度中求出匹配度的代表值(例如平均值)，用代表值乘以各初次确信度，来计算最终确信度，以计算出的最终确信度作为新的模板确信度而写入特征量模板T4的对应字段中，从而更新特征量模板T4。
若用在步骤S14所示的具体例子对步骤S16进行说明，则可对初次确信度C1和C2，乘以图11(b)所示的马铃薯炖肉的代表值，求出最终确信度D1和D2。然后，将求得的最终确信度D1和D2写入特征量模板T4中对应马铃薯炖肉的切圆片的字段，从而更新特征量模板T4。
在步骤S17中，特征量模板制作单元106，对在步骤S14计算出的各初次确信度，分别乘以在步骤S15计算出的对各烹调流程的匹配度，计算按烹调菜谱的最终确信度，将计算出的按烹调菜谱的最终确信度，作为模板确信度而写入相应的烹调菜谱模板的对应字段中，更新烹调菜谱模板。
作为具体的例子，若用图11的马铃薯炖肉为例来进行说明，则可计算出马铃薯炖肉的匹配度为0.8。然后，将该0.8乘以图11(a)所示的烹调流程的各对象所具有的初次确信度，来计算最终确信度。然后，将计算出的最终确信度写入马铃薯炖肉的菜谱特征量模板中的对应马铃薯的切圆片的字段中，更新马铃薯炖肉的菜谱特征量模板。
在图8所示的步骤S18中，如果识别处理单元110，参照更新后的特征量模板T4和菜谱模板，既可对烹调菜谱进行推定，又可识别对于感应单元20取得的观测数据的食品材料和烹调操作(S18为YES)，则结束处理。
另一方面，在步骤S18中，如果既无法推定烹调菜谱，又不能识别食品材料和烹调操作(S18为NO)，则处理返回步骤S11，继续进行步骤S12之后的处理。
此处，识别处理单元110，当菜谱特征量模板或特征量模板的某一字段存储的模板确信度，大于其他字段存储的模板确信度一定值或一定值以上时，则将对应该字段的食品材料和烹调操作，识别为对应感应单元20取得的观测数据的食品材料和烹调操作。此外，还将步骤S15计算出的匹配度在一定值或一定值以上的烹调流程所对应的烹调菜谱，识别为目前烹调者正在烹调的菜肴的烹调菜谱。
如上所述，图11(a)所示的烹调流程，是随着反复执行图8所示的流程图而逐渐完成的。因此，当烹调者按烹调流程数据库108中存储的烹调菜谱中任一的烹调菜谱，来烹调菜肴时，图11(a)所示的烹调流程会逐渐接近烹调流程数据库108中存储的烹调流程中任一的烹调流程。亦即，烹调流程数据库108中存储的指定的烹调流程的匹配度，相对其他烹调流程的匹配度逐渐增大。而且，，匹配度增大的烹调流程所对应的菜谱特征量模板的指定字段中的模板确信度也随此逐渐增大。由此，识别食品材料及烹调操作成为可能。
图12是表示观测流程的节点数和编辑距离(edit distance)的关系的图表，纵轴表示编辑距离，横轴表示观测流程的节点数。在此，观测流程表示根据感应单元200所取得的观测数据制作成的烹调流程，观测流程的节点数表示图11(a)所示的对象数，编辑距离则是表示观测流程与烹调流程的近似程度的数值。例如，当目前烹调者正在烹调马铃薯炖肉时，由感应单元200取得的观测数据制作成的烹调流程，与存储于烹调流程数据库108中的马铃薯炖肉的烹调流程的匹配度越高，编辑距离的值就越小。
图12所示的是马铃薯炖肉、咖喱牛肉、咖喱牛肉2、炒蔬菜及牛肉饼的图表。由图可知，在除牛肉饼以外的任一图形中，随着节点数的增大，编辑距离减小。因此，随着图8所示的流程图的反复执行，对烹调流程数据库中存储的烹调流程中指定的烹调流程的匹配度增大的结果是，能够指定烹调者目前正在烹调的菜肴所对应的烹调菜谱。
下面，按照图13所示的流程图，对图8的步骤S12所示的食品材料·烹调操作决定处理的详细内容进行说明。以下的处理由识别处理单元110来执行。首先，在步骤S21，从光学摄像机10所拍摄的光学图像和热感摄像机20所拍摄的热感图像的两幅图像中除去背景区域。
在此，对于光学图像，可通过公众所知的背景差分处理来去除背景区域。另外，对于温度图像，对第i帧的温度图像应用中值滤波器，抽出某温度低于规定值的象素以一定的大小或其以上而连续存在的区域REGIONi，并以该区域为食品材料区域。而且，对第i+1帧的温度图像，亦可同样抽出区域REGIONi+1，通过追踪所抽出的区域来抽出食品材料区域，并将食品材料区域以外的区域作为背景区域除去。另外，REGIONi+1相对REGIONi的移动距离在规定值或规定值以上时，由于移动距离过大，所以判断追踪食品材料区域不适当，因而不进行食品材料区域的抽出。
在此，通过在温度图像和光学图像中，设定被抽出的背景区域的各象素值为指定的低色层值(例如0)，从而除去背景区域。而且，对构成食品材料区域的象素值加算指定的偏移值。
此时可知，图14(a)所示的光学图像中所包含的手及洋葱以外的区域，如图14(b)所示用黑色来表示，背景区域则从光学图像中被除去。而且可知，图14(c)所示的温度图像中所包含的洋葱以外的区域，如图14(d)所示，作为背景区域而用黑色来表示，背景区域则从温度图像中被除去。
在步骤S22中，对步骤S21所抽出的两幅背景图像，施以膨胀处理后，再施以压缩处理，从而除去背景图像中所包含的小孔或孤岛等噪音。
在步骤S23中，执行为将温度图像和光学图像的坐标系进行合并的坐标变换，在步骤S24中，被除去了背景区域的温度图像和光学图像相乘，而将大于规定值的象素数据连续存在一定个数(面积)或一定个数(面积)以上的区域作为食品材料区域抽出。
此时，如图14(e)所示的食品材料区域被抽出。另外，可知图14(d)所示的背景区域，比图14(b)所示的背景区域包含更多的噪音。另一方面，可知在图14(d)中只抽出洋葱，而在图14(b)中除洋葱外还抽出手。
因此，通过将两幅图像相乘，可以使表示只出现在温度图像和光学图像中的其中任何之一的图像中的噪音的象素值变小，去除的结果可以更加准确的抽出食品材料区域。
在步骤S25中，将由步骤S24相乘算得的图像按各食品材料区域加以分割。在此，当由步骤S24抽出的食品材料区域存在多个时，面积多少大于各食品材料区域面积的矩形上的框架被应用于各食品材料区域，上述相乘算得的图像被分割为食品材料图像。
在步骤S26中，执行各食品材料图像与后述颜色特征模板的模板匹配，指定各食品材料图像所表示的食品材料。该颜色特征模板，每种食品材料都存在，它们被预先存储在未图示的存储器中。
具体而言，对于从食品材料最初出现在光学摄像机10和热感照相机20中的帧开始，到从指定帧数(FRAMEstartafterCook)的帧中、手的区域从与食品材料区域相接触的状态变成离开状态为止的各帧(frame)，求出食品材料区域的色调的直方图(hue histograms)的平均值作为HbeforeCook，求出其饱和度直方图的平均值作为SbeforeCook。
而且，当手的区域与食品材料区域不相接触的状态为指定帧数(FRAMEendafterCook)或其以上时，则判定烹调操作结束。由于是这样来判定烹调操作的结束的，因而可以防止误将烹调操作的临时的操作中断判定为烹调操作的结束。
而且，在烹调操作结束后，可求出FRAMEstartAfterCook的帧中剩下的各帧的色调直方图的平均值作为HafterCook，以及求出其饱和度的直方图的平均值SafterCook。
在此，称HbeforeCook为烹调操作前的色调的颜色特征，称SbeforeCook为烹调操作前的饱和度的颜色特征，称HafterCook为烹调操作后的色调的颜色特征，称SafterCook为烹调操作后的色调的颜色特征。另外，将HbeforeCook、SbeforeCook、HafterCook、SafterCook统称为颜色特征。
下面，设对各食品材料预先规定的烹调操作前的色调的颜色特征模板为Hbefore(food)，烹调操作后的色调的颜色特征模板为Hafter(food)，烹调操作前的饱和度的颜色特征模板为Sbefore(food)，烹调操作后的饱和度的颜色特征模板为Safter(food)，并用公式(1)求出烹调操作前的色调的颜色特征模板和烹调操作前的色调的颜色特征的距离DbeforeHue(food)。另外，括号内显示的food为表示食品材料的参数。而且，将Hbefore(food)、Hafter(food)、Sbefore(food)、Safter(food)统称为颜色特征模板。
DbeforeHue(food)＝root((HbeforeCook-Hbefore(food))t(HbeforeCook-Hbefore(food))         (1)
此外，用公式(2)求出烹调操作前的饱和度的颜色特征模板和烹调操作前的饱和度的颜色特征的距离Dbefore(food)。此处，root((A-B)t(A-B))表示向量A和向量B的欧几里德距离。
DbeforeSat(food)＝root((SbeforeCook-Sbefore(food))t(SbeforeCook-Sbefore(food))            (2)
然后，将烹调操作前的色调距离和烹调操作前的饱和度距离加权后进行相加，求出对于烹调操作前的各食品材料的颜色特征和颜色特征模板的距离Dbefore(food)。该计算式由公式(3)来表示。
Dbefore(food)＝wDbeforeHue(food)+(1-w)DbeforeSat(food)  (3)
同样，对于烹调操作后的颜色特征和颜色特征模板的距离，计算Dafter(food)，将Dbefore(food)和Dafter(food)相加，求出颜色特征变化距离McolorConstraint(food)。w为加权系数。
McolorConstraint(food)＝Dbefore(food)+Dafter(food)      (4)
然后，将颜色特征变化距离最小的食品材料定为食品材料图像所表示的食品材料。
若概括步骤S26的处理，则是例如，通过感应单元200取得了洋葱、马铃薯、胡萝卜的食品材料数据。而且，在某食品材料图像中，当对洋葱的颜色特征模板、马铃薯的颜色特征模板及胡萝卜的颜色特征模板的颜色特征变化距离按此顺序增大时，该食品材料图像中所包含的食品材料区域，被判定为表示胡萝卜。
图15及图16是青椒及南瓜的色调、饱和度及区域尺寸随时间变化的图表。在图15及图16中，(a)表示色调，(b)表示饱和度，(c)表示区域尺寸。Second表示从食品材料在观测区域中出现后所经过的时间(秒)。色调·饱和度分别计算出12阶段的直方图，将在绘其成图时的等高线，仅提出显示有显著值的部分(色调为0至5，饱和度为0至10)加以绘制。
首先，来看色调·饱和度，可知，起初青椒和南瓜显示了相似的直方图，但一旦通过切开而开始显现出食品材料内部的颜色后，特别是南瓜的颜色会发生较大的变化，两者之间产生明显的差异。而且可知，青椒由于被切成细丝，因而被拍到画面上的面增大，尺寸有较大地增加，而南瓜则由于切成大块，面并没怎么增大，尺寸不变。
图17是表示烹调操作前后的苹果和西红柿的色调及饱和度的直方图的图表，(a)表示烹调操作前的色调直方图，(b)表示烹调操作前的饱和度直方图，(c)表示烹调操作后的色调直方图，(d)表示烹调操作后的饱和度直方图。在图17中，实线表示苹果，虚线表示西红柿。
由于苹果和西红柿表面都是红色的，所以可知，如(a)和(b)所示，烹调操作前的苹果和西红柿的图形近似。另一方面，又由于苹果削皮后变成白色，西红柿切后仍保持红色不变，所以可知，如(c)和(d)所示，苹果和西红柿的图形存在较大的差异。换言之，也可以说，在烹调操作后红色物体变为白色时，该红色物体比起西红柿更接近苹果。
此外，烹调操作前的西红柿和红椒都是红色的，其特征类似，但只要可以从烹调菜谱中得到西红柿只可能被切成圆片而不会被切碎的信息，则在得到红色物体被切碎的结果时，可以推定该食品材料为红椒的可能性较大。
下面，对作为上述颜色特征不采用RGB表色系而采用HSV表色系的理由加以说明。RGB表色系是用光的三原色再现各种颜色的方法。另一方面，HSV表色系，虽然难以和光的物理量建立关系，但被称为是再现人类感觉的表色系。因此，在图像识别中经常采用HSV表色系。另外，作为上述颜色特征，采用了色调和饱和度，而没有使用亮度。这是由于即使不采用主要表现物体映影的亮度，也可从色调和饱和度中取出物体本身的颜色(亦即，扩散反射光的颜色)。
下面，对不采用形状特征的模板匹配，而采用颜色特征的模板匹配的优点加以说明。一般而言，模板匹配多采用弧度等形状特征及纹理特征。但是，在烹调食品材料时，由于用手接触的情况较多，因而无法使用形状特征的模板匹配。
此外，纹理特征是用边缘、频率等来评价物体表面的粗糙度、纹路等。因此，(1)要得到纹理特征必须要有某种程度的高分辨率和观测范围，而确保这些并不容易。(2)此外，为了使粗糙度在图像中作为映影出现而有赖于光照，而实际环境中通常难以确保均匀的照明环境。(3)并且，即使是同一名称的食品材料也未必具有相同的表面特性，由于各食品材料之间纹路和质感不同，因此特征量的再现性较差。根据上述理由，比起用形状特征或纹理特征，采用颜色特征的模板匹配较为理想。
在图13所示的步骤S27中，由感应单元200取得的环境音来推定烹调操作。具体而言，从环境音中统计在砧板上切食品材料时而产生的敲击声的产生次数，用公式(5)至(7)求出表示敲击次数cut相对削的接近程度的距离Dcook(peel，cut)、表示敲击次数cut相对切碎的接近程度的距离Dcook(rect，cut)及表示敲击次数cut相对包含4分切、切园片、切丝在内的剁切的接近程度的距离Dcook(chop，cut)，将距离为最小的烹调操作决定为目前烹调者正在进行的烹调操作。
Dcook(peel，cut)＝|cut-AVERAGEpeel|/σpeel    (5)
Dcook(chop，cut)＝|cut-AVERAGEchop|/σchop    (6)
Dcook(rect，cut)＝|cut-AVERAGErect|/σrect    (7)
其中，AVERAGEpeel、AVERAGEchop、AVERAGErect是由预先进行的实验所得到的实验数据的平均值，σpeel、σchop、σrect是由预先进行的实验所得到的实验数据的标准偏差。
在步骤S28中，抽出存在于菜谱数据库101所存储的烹调菜谱中的食品材料和烹调操作的组合，用公式(8)求出各food(食物)和图像中食品材料的烹调操作距离McookConstraint(food)。
McookConstraint(food)＝min{Dcook(act，cut)|COOK(act，food)＝1}  (8)
此处，COOK(act，food)，当在菜谱数据库101中存储的烹调菜谱中，存在食品材料和烹调操作的组合时为1，而不存在食品材料和烹调操作的组合时则为0。McookConstraint(food)，在公式(8)中min{A}表示A的最小值。因此，Dcook(act，food)的最小值就为McookConstraint(food)。而且，将该McookConstraint(food)所示的food定为烹调者正在烹调的食品材料。
另外，McookConstraint(food)其值越小，越能对实际的食品材料food施以可能的烹调操作，而能正确识别食品材料的可能性就越高。
在步骤S29中，对McookConstraint(food)和用公式(4)求得的McolorConstraint(food)进行相加(公式(9))，计算出Mconstraint(food)，并计算出1-Mconstraint(food)作为在步骤S28中决定的食品材料的确信度。
Mconstraint(food)＝McolorConstraint(food)+McookConstraint(food) (9)
在步骤S30中，执行公式(10)至公式(12)的计算，将在这些公式中计算出的计算结果为最小的公式所示的烹调操作决定为烹调者正在进行的烹调操作。
Mcook(peel，cut)＝Dcook(peel，cut)×MINpeel    (10)
Mcook(chop，cut)＝Dcook(peel，cut)×MINchop    (11)
Mcook(peel，rect)＝Dcook(peel，cut)×MINrect   (12)
其中，
MINpeel＝min{Mconstraint(food)|COOK(peel，food)＝1}
MINchop＝min{Mconstraint(food)|COOK(chop，food)＝1}
MINrect＝min{Mconstraint(food)|COOK(rect，food)＝1}
在步骤S31中，从1中减去公式(10)至公式(12)中的计算结果最小的公式的计算值，计算相对由步骤S30计算出的烹调操作的确信度。
如上所述，根据本食品材料烹调操作识别系统，特征量模板T4本身存储有模板确信度，对摄像机在各瞬间确认的食品材料和烹调结果，在多大程度上可信赖的识别结果做出了定义。初次确信度，进一步经过流程匹配的步骤而逐渐成为确实可靠的最终确信度，从而可获得更高的识别结果。
此外，本食品材料烹调操作识别系统也可获得指定烹调菜谱的副效果，但本食品材料烹调操作识别系统的最大效果还是在于，可以判别各瞬间的作为摄像机和麦克风等的对象的食品材料和烹调操作在多大程度上是可靠的。
其结果，可以实时地进行以往有所不足的高度的交互作用。亦即，在以用现有的各种传感器来识别人物操作为目的的系统中，所存在的问题是，各种传感器的识别自有其局限性，而且，还由于成本的关系，可能使用的传感器也是有限的，其能力亦有限度。
在这样的制约下，当所要识别的对象的确信度较低时，以声音为中心并利用图像等与用户的交互作用的支持就变得很重要。促使用户对菜单、烹调菜谱、食品材料及烹调操作进行确认，在覆盖了上述传感器性能的基础上，对于强化/建立和本系统用户的信赖关系上是非常重要的。
具体而言，在图11(b)中，即使有匹配度不同的“马铃薯炖肉”和“咖喱”的菜谱，图11(a)的对象O1是不是对应匹配度最高的“马铃薯炖肉”还是不明确，但通过用匹配度乘以初次确信度来求出确信度，则可以判别哪一方、或双方的可能性是否较高。
通过基于该判别结果的交互，改变例如“现在正在烹调的是什么种类的？”或“现在在做的菜谱(不是咖喱)是马铃薯炖肉吧”等语调则成为可能。当然，在有最终确信度的值非常高的食品材料和烹调操作时，作为交互也可相反地向用户积极地做出建议“马铃薯炖肉和咖喱不同，注意不要炖过头才会比较美味哦”。此外，当两者的最终确信度较低时，由于双方都无法确定，因而就暂不交互，或者进行直截了当地向用户询问菜谱的交互。以上的结果，与以往相比，基于体现全面情况的确信度的食品材料和烹调操作的识别，可以在各瞬间以较高的精确度予以进行。
本发明可采用以下形态。
(1)图1所示的显示装置40，亦可为内装于投影仪、IH烹调器及烹调台中的显示装置。
(2)在上述实施例中采用了热感摄像机20，但亦可用单眼红外线传感器取而代之。此时，通过与光学摄像机10联合起来推定温度范围，用面积比来识别高温区域和低温区域的差即可。但是，在这种情况下，虽然难以区别人手，但对于人手是否在摄像机图像内则能够充分地予以识别，人手在摄像机图像内的图像帧也可忽略。
(3)图7所示的食品材料表、烹调物表及烹调操作表所存储的模板确信度的值，亦可采用本系统的制造商等预先计算的图像处理确信度。此外，特征量模板亦可继续使用在本系统使用期间已获得的特征量模板。由此，也可考虑提供一种用户固有的信赖性较高的系统。
(4)在图11(b)所示的匹配度较低(例如0.5或0.5以下)或不明时，亦可假定最终确信度等于初次确信度。
(本发明的总结)
(1)本发明的食品材料烹调操作识别系统包括，取得至少包含进行烹调操作的烹调者手边的图像和由该烹调操作产生的环境音的其中任何之一方的观测数据的感应单元、将对各种食品材料预先设想的各种烹调操作，连同模板确信度即对各食品材料的每种烹调操作预先规定的确信度一起，以表格的形式加以存储的特征量模板、根据上述感应单元所取得的观测数据，计算表示烹调者正在烹调的食品材料及对该食品材料的烹调操作的至少其中任何之一的确信度的观测确信度，根据计算出的观测确信度，制作烹调者烹调菜肴的烹调流程的烹调流程制作单元、根据上述模板确信度和上述观测确信度，计算初次确信度，即对于构成上述烹调流程制作单元所制作成的烹调流程的各对象的确信度的初次确信度计算单元、根据上述初次确信度计算单元计算出的初次确信度，计算最终确信度，以计算出的最终确信度作为新的模板确信度，更新上述特征量模板，并根据更新后的特征模板，来识别对应上述感应单元所取得的观测数据的食品材料及烹调操作的烹调操作识别单元。
根据该结构，根据感应单元所取得的进行烹调操作的烹调者的手部图像和该烹调操作产生的环境音，计算烹调者正在烹调的食品材料及对该食品材料的烹调操作的观测确信度，根据该观测确信度，制作烹调流程。然后，根据模板确信度和观测确信度，计算对于构成烹调流程的各对象的初次确信度，根据该匹配度和初次确信度，计算最终确信度，对由感应单元取得的图像中的食品材料及对该食品材料的烹调操作予以识别。亦即，由于是根据存储有模板确信度的特征量模板来识别烹调操作及食品材料，因而可以较高的精确度对食品材料及烹调操作进行推定。
(2)而且，上述的食品材料烹调操作识别系统还以包括，用来存储为各种菜肴预先制作的烹调流程的烹调流程数据库、用流程匹配来计算表示由上述烹调流程制作单元制作的烹调流程，与存储在上述菜谱流程数据库中的各烹调流程中的哪个烹调流程相近的匹配度的匹配度计算单元，其中，上述烹调操作识别单元，根据由上述匹配度计算单元计算出的匹配度和上述初次确信度，对食品材料及烹调操作予以识别为宜。
根据该结构，由于计算预先为各菜肴制作的烹调流程和基于观测数据制作的烹调流程的匹配度，并根据该匹配度和初次确信度，对食品材料及烹调操作进行识别，因而可进一步提高识别的精确度。
(3)而且，上述的食品材料烹调操作识别系统最好是，还包括由包含存储表示食品材料的数据的字段，及将与该食品材料有关的各种数据连同对该数据预先规定的模板确信度一起进行存储的字段的食品材料记录所构成的食品材料表、由包含存储表示烹调操作的数据的字段，及将与该烹调操作引起的食品材料变化有关的各种数据连同对该数据预先规定的模板确信度一起进行存储的字段的烹调物记录所构成的烹调物表、由包含存储表示烹调操作的数据的字段，及将与该烹调操作产生的环境音有关的各种数据连同对该数据预先规定的模板确信度一起进行存储的字段的烹调操作记录所构成的烹调操作表、存储表示各种烹调菜谱所使用的食品材料的数据和表示对该食品材料进行的烹调操作的数据的烹调菜谱数据库、存储抽出上述烹调菜谱数据库中存储的全部种类的食品材料和全部种类的烹调操作的抽出单元、至少存储其中任意一个表的表存储单元，以及制作包括由上述抽出单元抽出的各食品材料和由上述抽出单元抽出的各烹调操作作为项目的表格来作为特征量模板的特征量模板制作单元，其中，上述特征量模板制作单元，从以下记录中的至少其中之一的记录中的各字段中所存储的模板确信度中，将最大的确信度作为模板确信度向构成上述特征量模板的字段中的任意字段中写入，其中所述记录是指，存储有表示对应该任意字段的食品材料的数据的上述食品材料表的食品材料记录、存储有表示对应该任意字段的烹调操作的数据的上述烹调物表的烹调物记录以及存储有表示对应该任意字段的烹调操作的数据的上述烹调操作表的烹调操作记录。
根据该结构，可获得附带模板确信度的特征量模板。
(4)而且，上述的食品材料烹调操作识别系统，还以上述感应单元包括热感摄像机和光学摄像机，上述感应单元所取得的图像包含热感摄像机拍摄的温度图像和光学摄像机拍摄的光学图像为宜。
根据该结构，由于使用光学图像和温度图像来对食品材料及烹调操作进行识别，因而可以提高食品材料及烹调操作的识别精确度。
(5)而且，上述的食品材料烹调操作识别系统，还以上述烹调流程制作单元，既对上述光学图像进行背景差分处理，从该光学图像中除去背景区域，又对上述温度图像，将温度在规定值或规定值以上的区域作为背景区域除去，并将除去了背景区域的温度图像和除去了背景区域的光学图像相乘，求出表示食品材料的食品材料区域，根据求得的食品材料区域来计算观测确信度为宜。
根据该结构，由于光学图像通过背景差分处理而去除了背景区域，因此可以较好的精确度从光学图像中除去背景区域。此外，由于温度图像是将温度在规定值或规定值以上的区域作为背景区域除去，所以是考虑了食品材料的温度低于周围温度来去除背景区域。然后，将除去了背景区域的光学图像和温度图像相乘，根据所得到的图像抽出食品材料区域。因此，将光学图像和温度图像均作为食品材料区域抽出的区域作为食品材料区域抽出，结果可以精确地抽出食品材料区域。
(6)而且，上述的食品材料烹调操作识别系统，还以上述烹调流程制作单元，从上述感应单元取得的图像中，求出色调的直方图及饱和度的直方图，通过求出已被求得的直方图和预先为各食品材料规定的颜色特征模板的相关，对食品材料进行推定为宜。
根据该结构，由于是根据色调的直方图来推定食品材料，因此可以较好的精确度抽出食品材料。亦即，食品材料被烹调者的手握住的情况较多，由于该手的影响，若对食品材料区域采用形状特征的模板匹配，则难以对食品材料进行推定，而如果像本发明这样采用色调直方图则可以较好的精确度对食品材料进行推定。
(7)而且，上述的食品材料烹调操作识别系统，还以上述匹配度计算单元，根据匹配度推定烹调菜谱，还包括对烹调者进行与上述匹配度计算单元所推定的烹调菜谱有关的引导的引导单元为宜。
根据该结构，由于是根据烹调者目前正在烹调的菜肴的烹调菜谱来进行引导，所以，烹调者可按照烹调菜谱而通过适当的烹调工序来做菜肴。
(8)本发明的食品材料烹调操作识别程序，可使计算机作为以下单元而发挥其作用，取得至少包含进行烹调操作的烹调者手部的图像和由该烹调操作产生的环境音的其中任何之一方的观测数据的感应单元、将对各种食品材料预先设想的各种烹调操作，连同模板确信度即对各食品材料的每种烹调操作预先规定的确信度一起，以表格的形式加以存储的特征量模板、根据上述感应单元所取得的观测数据，计算表示烹调者正在烹调的食品材料及对该食品材料的烹调操作的至少其中任何之一的确信度的观测确信度，根据计算出的观测确信度，制作烹调者烹调菜肴的烹调流程的烹调流程制作单元、根据上述模板确信度和上述观测确信度，计算初次确信度，即对于构成上述烹调流程制作单元所制作成的烹调流程的各对象的确信度的初次确信度计算单元、根据由上述初次确信度计算单元计算出的初次确信度，计算最终确信度，以计算出的最终确信度作为新的模板确信度，更新上述特征量模板，根据更新后的特征模板，来识别对应由上述感应单元取得的观测数据的食品材料及烹调操作的烹调操作识别单元。
产业上的利用可能性
根据本发明的食品材料烹调操作识别系统，由于可对烹调者目前正在烹调的烹调菜谱进行推定，并适当地向烹调者提示烹调菜谱，因此，作为家用烹调设备很有实用价值。

Claims (8)

1.一种烹调操作识别系统，其特征在于包括：
取得包含进行烹调操作的烹调者手边的图像和由该烹调操作产生的环境音的至少其中之一的观测数据的感应单元；
将对各种食品材料预先设想的各种烹调操作，连同作为对各食品材料的每种烹调操作预先规定的确信度的模板确信度一起，以表格的形式加以存储的特征量模板；
根据上述感应单元所取得的观测数据，计算表示烹调者正在烹调的食品材料及对该食品材料的烹调操作的至少其中之一的确信度的观测确信度，根据计算出的观测确信度，制作烹调者烹调菜肴的烹调流程的烹调流程制作单元；
根据上述模板确信度和上述观测确信度，计算作为构成上述烹调流程制作单元所制作成的烹调流程的各对象的确信度的初次确信度的初次确信度计算单元；
根据由上述初次确信度计算单元计算出的初次确信度，计算最终确信度，以计算出的最终确信度作为新的模板确信度，更新上述特征量模板，根据更新后的特征量模板，来识别对应由上述感应单元取得的观测数据的食品材料及烹调操作的烹调操作识别单元。
2.根据权利要求1所述的烹调操作识别系统，其特征在于还包括：
用来存储为各种菜肴预先制作的烹调流程的烹调流程数据库；和
利用流程匹配，计算表示由上述烹调流程制作单元制作的烹调流程，与存储在上述菜谱流程数据库中的各烹调流程中的哪个烹调流程更接近的匹配度的匹配度计算单元；其中，
上述烹调操作识别单元，根据由上述匹配度计算单元计算出的匹配度和上述初次确信度，对食品材料及烹调操作予以识别。
3.根据权利要求1所述的食品材料烹调操作识别系统，其特征在于还包括：
由包含存储表示食品材料的数据的字段，及将与该食品材料有关的各种数据连同对该数据预先规定的模板确信度一起进行存储的字段的食品材料记录所构成的食品材料表；
由包含存储表示烹调操作的数据的字段，及将与该烹调操作引起的食品材料变化有关的各种数据连同对该数据预先规定的模板确信度一起进行存储的字段的烹调物记录所构成的烹调物表；
由包含存储表示烹调操作的数据的字段，及将与该烹调操作所产生的环境音有关的各种数据连同对该数据预先规定的模板确信度一起进行存储的字段的烹调操作记录所构成的烹调操作表；
存储表示各种烹调菜谱所使用的食品材料的数据和表示对该食品材料进行的烹调操作的数据的烹调菜谱数据库；
抽出上述烹调菜谱数据库中存储的全部种类的食品材料和全部种类的烹调操作的抽出单元；至少存储其中任意一个表的表存储单元；以及
制作包括由上述抽出单元抽出的各食品材料和由上述抽出单元抽出的各烹调操作作为项目的表来作为特征量模板的特征量模板制作单元；其中，
上述特征量模板制作单元，从以下记录中的至少其中之一的记录中的各字段中所存储的模板确信度中，将最大的确信度作为模板确信度向构成上述特征量模板的字段中的任意字段中写入，其中所述记录是指，存储有表示对应该任意字段的食品材料的数据的上述食品材料表的食品材料记录、存储有表示对应该任意字段的烹调操作的数据的上述烹调物表的烹调物记录以及存储有表示对应该任意字段的烹调操作的数据的上述烹调操作表的烹调操作记录。
4.根据权利要求1至3中的任一项所述的食品材料烹调操作识别系统，其特征在于：
上述感应单元包含热感摄像机和光学摄像机；
由上述感应单元所取得的图像包含由热感摄像机拍摄的温度图像和由光学摄像机拍摄的光学图像。
5.根据权利要求4所述的食品材料烹调操作识别系统，其特征在于：
上述烹调流程制作单元，既对上述光学图像进行背景差分处理，从该光学图像中除去背景区域，又对上述温度图像，将温度在规定值或规定值以上的区域作为背景区域除去，将除去了背景区域的温度图像和除去了背景区域的光学图像相乘，求出表示食品材料的食品材料区域，根据求得的食品材料区域来计算观测确信度。
6.根据权利要求1至5中的任一项所述的食品材料烹调操作识别系统，其特征在于：
上述烹调流程制作单元，从上述感应单元取得的图像中，求出色调的直方图及饱和度的直方图，通过求出已被求得的直方图和预先给各食品材料规定的颜色特征模板的相关，对食品材料进行推定。
7.根据权利要求1至6中的任一项所述的食品材料烹调操作识别系统还包括引导单元，其特征在于：
上述匹配度计算单元，根据匹配度推定烹调菜谱；
上述引导单元，向烹调者进行与上述匹配度计算单元所推定的烹调菜谱有关的引导。
8.一种食品材料烹调操作识别程序，其特征在于使计算机作为以下单元而发挥其作用：
取得至少包含进行烹调操作的烹调者手边的图像和由该烹调操作产生的环境音的其中任何之一的观测数据的感应单元；
将对各种食品材料预先设想的各种烹调操作，连同模板确信度即对各食品材料的每种烹调操作预先规定的确信度一起，以表格的形式加以存储的特征量模板；
根据上述感应单元所取得的观测数据，计算表示烹调者正在烹调的食品材料及对该食品材料的烹调操作的至少其中任何之一的确信度的观测确信度，根据计算出的观测确信度，制作烹调者烹调菜肴的烹调流程的烹调流程制作单元；
根据上述模板确信度和上述观测确信度，计算初次确信度即对于构成上述烹调流程制作单元所制作成的烹调流程的各对象的确信度的初次确信度计算单元；
根据由上述初次确信度计算单元计算出的初次确信度，计算最终确信度，以计算出的最终确信度作为新的模板确信度，更新上述特征量模板，根据更新后的特征模板，来识别对应由上述感应单元取得的观测数据的食品材料及烹调操作的烹调操作识别单元。
CNB2005800010854A 2004-03-17 2005-03-17 食品材料烹调操作识别系统及食品材料烹调操作识别方法 Expired - Fee Related CN100538742C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004076472 2004-03-17
JP076472/2004 2004-03-17

Publications (2)

Publication Number Publication Date
CN1860502A true CN1860502A (zh) 2006-11-08
CN100538742C CN100538742C (zh) 2009-09-09

Family

ID=34975789

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005800010854A Expired - Fee Related CN100538742C (zh) 2004-03-17 2005-03-17 食品材料烹调操作识别系统及食品材料烹调操作识别方法

Country Status (4)

Country Link
US (1) US7454390B2 (zh)
JP (1) JPWO2005088542A1 (zh)
CN (1) CN100538742C (zh)
WO (1) WO2005088542A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877983A (zh) * 2007-11-27 2010-11-03 Seb公司 装备有料包识别装置的饮料制备设备
CN103502919A (zh) * 2012-02-21 2014-01-08 松下电器产业株式会社 菜谱提示装置以及菜谱提示方法
CN104508383A (zh) * 2012-05-09 2015-04-08 康威瑟姆家电公司 光学质量控制系统
CN106537490A (zh) * 2014-05-21 2017-03-22 德国福维克控股公司 具有语音识别装置的电气运行的家用设备
CN107991939A (zh) * 2017-12-27 2018-05-04 广东美的厨房电器制造有限公司 烹饪控制方法及烹饪控制装置、存储介质和烹饪设备
CN108536274A (zh) * 2017-03-03 2018-09-14 台湾樱花股份有限公司 智能型料理装置及智能型料理方法
CN108668120A (zh) * 2017-03-28 2018-10-16 松下电器（美国）知识产权公司 显示装置、显示方法以及程序
CN109073232A (zh) * 2016-04-11 2018-12-21 松下知识产权经营株式会社 加热烹调器、加热烹调器的控制方法以及加热烹调系统
CN110753505A (zh) * 2017-06-13 2020-02-04 雀巢产品有限公司 具有胶囊识别的饮料制备机器
CN112099372A (zh) * 2020-09-30 2020-12-18 广东美的厨房电器制造有限公司 菜谱生成方法、装置和烹饪设备、移动终端及存储介质

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070030270A1 (en) * 2005-06-28 2007-02-08 Rosenberg Harold L System and method of instruction for cooking a meal
US7849024B2 (en) * 2006-08-16 2010-12-07 Drvision Technologies Llc Imaging system for producing recipes using an integrated human-computer interface (HCI) for image recognition, and learning algorithms
CA2729951A1 (en) * 2008-07-08 2010-01-14 Aktiebolaget Electrolux Cooking support device
US9930297B2 (en) 2010-04-30 2018-03-27 Becton, Dickinson And Company System and method for acquiring images of medication preparations
JP5658720B2 (ja) * 2012-09-06 2015-01-28 東芝テック株式会社 情報処理装置及びプログラム
JP2014089564A (ja) * 2012-10-30 2014-05-15 Sony Corp 情報処理装置および情報処理方法
US9531771B2 (en) * 2013-11-15 2016-12-27 Panasonic Intellectual Property Corporation Of America Cooking information providing method, control method, program, and terminal device
JP6586274B2 (ja) * 2014-01-24 2019-10-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 調理装置、調理方法、調理制御プログラム、および、調理情報提供方法
US10635921B2 (en) 2014-08-14 2020-04-28 Kenwood Limited Food container system and method
JP6173281B2 (ja) * 2014-08-29 2017-08-02 本田技研工業株式会社 環境理解装置および環境理解方法
WO2016084142A1 (ja) * 2014-11-26 2016-06-02 株式会社日立製作所 作業支援システム、及び、作業支援方法
JP6576821B2 (ja) * 2015-03-27 2019-09-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示制御方法、表示制御プログラム、および表示装置
US10545632B2 (en) * 2015-03-27 2020-01-28 Panasonic Intellectual Property Corporation Of America Cooking support display system
DE102015211425A1 (de) * 2015-06-22 2016-12-22 BSH Hausgeräte GmbH Steuereinheit und Verfahren zur Ermittlung eines Rezeptes
KR102362654B1 (ko) 2015-07-03 2022-02-15 삼성전자주식회사 오븐
CN110431353A (zh) * 2017-03-23 2019-11-08 松下知识产权经营株式会社 加热烹调器
EP3379475A1 (en) * 2017-03-23 2018-09-26 Panasonic Intellectual Property Management Co., Ltd. Information presentation apparatus and information presentation method
WO2019075610A1 (en) * 2017-10-16 2019-04-25 Midea Group Co., Ltd. CONTROL BY AUTOMATIC LEARNING OF COOKING APPARATUS
CN110021299B (zh) * 2018-01-08 2021-07-20 佛山市顺德区美的电热电器制造有限公司 语音交互方法、装置、系统及存储介质
JP2019082982A (ja) * 2018-04-12 2019-05-30 クックパッド株式会社 調理支援装置、調理情報生成装置、調理支援システム、調理支援方法、及びプログラム
US10575061B1 (en) 2018-08-23 2020-02-25 International Business Machines Corporation Providing textual instructions from a video capture
CN111345699B (zh) * 2018-12-20 2022-06-28 九阳股份有限公司 一种烹饪设备的控制方法和烹饪设备
JP7013403B2 (ja) * 2019-02-20 2022-01-31 Kddi株式会社 食材又は調味料の使用量を推定する情報装置、プログラム及び方法
CN110428829A (zh) * 2019-07-12 2019-11-08 深圳技术大学 云语音控制炒菜机器人的方法及装置
KR20210046170A (ko) * 2019-10-18 2021-04-28 엘지전자 주식회사 레시피 정보를 생성하는 인공 지능 장치 및 그 방법
JP7482683B2 (ja) * 2020-05-20 2024-05-14 リンナイ株式会社 加熱調理システムおよび加熱調理方法、学習装置および学習方法
US11544925B1 (en) 2021-09-01 2023-01-03 GOPIZZA Inc. Kitchen system with food preparation station
GB202202984D0 (en) * 2022-03-03 2022-04-20 Afe Group Ltd Apparatus and method for determining food characteristics
WO2024048741A1 (ja) * 2022-09-01 2024-03-07 味の素株式会社 調理動作推定装置、調理動作推定方法、および、調理動作推定プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2695067B2 (ja) 1991-05-23 1997-12-24 富士写真フイルム株式会社 人物の顔のデータの抽出方法及び露光量決定方法
DE69221665T2 (de) 1991-05-23 1997-12-11 Fuji Photo Film Co Ltd Verfahren zur Ermittlung einer Belichtung
US5832446A (en) * 1993-03-31 1998-11-03 Cornell Research Foundation, Inc. Interactive database method and system for food and beverage preparation
JP2000293685A (ja) * 1999-04-06 2000-10-20 Toyota Motor Corp シーン認識装置
JP4624577B2 (ja) 2001-02-23 2011-02-02 富士通株式会社 複数のセンサによるヒューマンインタフェースシステム
US20040099144A1 (en) * 2001-03-22 2004-05-27 Takahiro Kudo Cooking-related information providing system, cooking-related information providing apparatus, cooking apparatus, cooking-related information providing method, cooking-related information fetch method, cooking-related information providing program, and cooking-related information fetch program
US20020171674A1 (en) * 2001-05-15 2002-11-21 Paris Harry G. Kitchen internet appliance
JP2003006642A (ja) * 2001-06-22 2003-01-10 Toshihiko Shimizu 熱画像を利用した画像処理装置
JP2003281297A (ja) * 2002-03-22 2003-10-03 National Institute Of Advanced Industrial & Technology 情報提示装置および情報提示方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877983A (zh) * 2007-11-27 2010-11-03 Seb公司 装备有料包识别装置的饮料制备设备
CN101877983B (zh) * 2007-11-27 2013-06-12 Seb公司 装备有料包识别装置的饮料制备设备
CN103502919A (zh) * 2012-02-21 2014-01-08 松下电器产业株式会社 菜谱提示装置以及菜谱提示方法
CN104508383A (zh) * 2012-05-09 2015-04-08 康威瑟姆家电公司 光学质量控制系统
CN106537490A (zh) * 2014-05-21 2017-03-22 德国福维克控股公司 具有语音识别装置的电气运行的家用设备
CN109073232B (zh) * 2016-04-11 2019-09-17 松下知识产权经营株式会社 加热烹调器、加热烹调器的控制方法以及加热烹调系统
CN109073232A (zh) * 2016-04-11 2018-12-21 松下知识产权经营株式会社 加热烹调器、加热烹调器的控制方法以及加热烹调系统
CN108536274A (zh) * 2017-03-03 2018-09-14 台湾樱花股份有限公司 智能型料理装置及智能型料理方法
CN108668120A (zh) * 2017-03-28 2018-10-16 松下电器（美国）知识产权公司 显示装置、显示方法以及程序
CN108668120B (zh) * 2017-03-28 2022-03-08 松下电器（美国）知识产权公司 显示装置、显示方法以及记录介质
CN110753505A (zh) * 2017-06-13 2020-02-04 雀巢产品有限公司 具有胶囊识别的饮料制备机器
CN107991939A (zh) * 2017-12-27 2018-05-04 广东美的厨房电器制造有限公司 烹饪控制方法及烹饪控制装置、存储介质和烹饪设备
CN112099372A (zh) * 2020-09-30 2020-12-18 广东美的厨房电器制造有限公司 菜谱生成方法、装置和烹饪设备、移动终端及存储介质

Also Published As

Publication number Publication date
JPWO2005088542A1 (ja) 2008-01-31
WO2005088542A1 (ja) 2005-09-22
US20070114224A1 (en) 2007-05-24
CN100538742C (zh) 2009-09-09
US7454390B2 (en) 2008-11-18

Similar Documents

Publication Publication Date Title
CN1860502A (zh) 食品材料烹调操作识别系统及食品材料烹调操作识别程序
US11229311B2 (en) Food preparation system
CN1284107C (zh) 用于搜索一组信息项的信息检索设备和方法
US8606733B2 (en) System and method for classification and selection of color palettes
CN113329545B (zh) 一种智能照明方法、装置、智能控制装置及存储介质
US20130108175A1 (en) Image Recomposition From Face Detection And Facial Features
US20210326956A1 (en) Method, device, and computer program for providing image search information
US9008436B2 (en) Image recomposition from face detection and facial features
CN106326960A (zh) 烹饪设备的控制方法和烹饪设备
CN1925609A (zh) 影像处理装置
CN1956500A (zh) 焦点状态显示设备和焦点状态显示方法
JP6279837B2 (ja) 画像処理装置及びプログラム
CN106462646A (zh) 控制设备、控制方法和计算机程序
US20130108166A1 (en) Image Recomposition From Face Detection And Facial Features
US20170004380A1 (en) Object analyzing method and object analyzing system
CN114005077B (zh) 观众评价数据驱动的无声产品视频创作辅助方法及装置
CN110298380A (zh) 图像处理方法、装置及电子设备
CN105704383A (zh) 趣味图像拍摄方法
CN108742125A (zh) 一种可以进行烹饪分享的蒸烤设备及方法
JP2011221605A (ja) 情報処理装置、情報処理方法及びプログラム
JP2010061381A (ja) 自動レシピ作成装置およびプログラム
CN1685365A (zh) 图像检索程序
JP2019082982A (ja) 調理支援装置、調理情報生成装置、調理支援システム、調理支援方法、及びプログラム
CN1407509A (zh) 图像处理装置、图像处理方法以及图像处理程序
CN106156732A (zh) 对象识别方法和对象识别装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090909

Termination date: 20130317