CN108416703A - 厨房支援系统 - Google Patents

厨房支援系统 Download PDF

Info

Publication number
CN108416703A
CN108416703A CN201810086610.6A CN201810086610A CN108416703A CN 108416703 A CN108416703 A CN 108416703A CN 201810086610 A CN201810086610 A CN 201810086610A CN 108416703 A CN108416703 A CN 108416703A
Authority
CN
China
Prior art keywords
cooking
image
dish
support system
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810086610.6A
Other languages
English (en)
Inventor
田川润
田川润一
岛冈优策
毛利贵之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN108416703A publication Critical patent/CN108416703A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0092—Nutrition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Nutrition Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种厨房支援系统，具有投影装置、语音识别装置以及控制装置。投影装置朝向进行烹调的烹调空间投影影像。语音识别装置识别所输入的语音的内容。控制装置控制投影装置，使得投影装置对包含表示菜肴的订单内容的订单显示影像的菜肴关联影像进行投影，并且根据语音识别装置的识别结果使投影装置投影的菜肴关联影像变化。

Description

厨房支援系统
技术领域
本公开涉及厨房支援系统，特别涉及进行菜肴的订单内容的显示的厨房支援系统。
背景技术
在专利文献1公开了在餐厅等中利用的厨房视频系统。专利文献1的厨房视频系统具备：具有将登记的对象发送到显示控制器的功能的电子式收银机；以及具有显示从电子式收银机发送的对象的功能的显示控制器。显示控制器使多个监视器显示订单内容，多个监视器设置在进行菜肴的烹调的烹调场所、进行已烹调的菜肴等的分拣的分拣场所等。
在先技术文献
专利文献
专利文献1：日本国特开2002-342440号公报
发明内容
厨房支援系统具有投影装置、语音识别装置以及控制装置。
投影装置朝向进行烹调的烹调空间投影影像。
语音识别装置识别所输入的语音的内容。
控制装置控制投影装置，使得投影装置对包含表示菜肴的订单内容的订单显示影像的菜肴关联影像进行投影，并根据语音识别装置的识别结果使投影装置投影的菜肴关联影像变化。
附图说明
图1是实施方式涉及的厨房支援系统的框图。
图2是实施方式涉及的厨房支援系统的立体图。
图3是实施方式涉及的厨房支援系统的侧视图。
图4A是在实施方式涉及的厨房支援系统中显示订单内容的动作的说明图。
图4B是在实施方式涉及的厨房支援系统中显示订单内容的动作的说明图。
图5A是在实施方式涉及的厨房支援系统中显示订单内容的动作的说明图。
图5B是在实施方式涉及的厨房支援系统中显示订单内容的动作的说明图。
图6A是在实施方式涉及的厨房支援系统中显示订单内容的动作的说明图。
图6B是在实施方式涉及的厨房支援系统中显示订单内容的动作的说明图。
图7A是在实施方式涉及的厨房支援系统中显示烹调顺序的动作的说明图。
图7B是在实施方式涉及的厨房支援系统中显示烹调顺序的动作的说明图。
图8A是在实施方式涉及的厨房支援系统中显示烹调顺序的动作的说明图。
图8B是在实施方式涉及的厨房支援系统中显示烹调顺序的动作的说明图。
图9A是在实施方式涉及的厨房支援系统中显示烹调顺序的动作的说明图。
图9B是在实施方式涉及的厨房支援系统中显示烹调顺序的动作的说明图。
图10A是在实施方式涉及的厨房支援系统中显示烹调顺序的动作的说明图。
图10B是在实施方式涉及的厨房支援系统中显示烹调顺序的动作的说明图。
图11是在实施方式涉及的厨房支援系统中显示烹调顺序的动作的说明图。
图12是在实施方式涉及的厨房支援系统中对烹调过程进行了摄像的记录影像的说明图。
图13A是在实施方式涉及的厨房支援系统中投影了用于支援切割作业的辅助线的状态的说明图。
图13B是在实施方式涉及的厨房支援系统中投影了用于判定食材的大小的辅助线的状态的说明图。
图14A是在实施方式涉及的厨房支援系统中投影了用于支援甜品的摆放作业的影像的状态的说明图。
图14B是在实施方式涉及的厨房支援系统中投影了用于支援拿铁的制作的影像的状态的说明图。
附图标记说明
1 厨房支援系统
2 投影装置
3 控制装置
4 第一摄像装置(摄像装置)
5 第二摄像装置
8 存储装置
32 影像控制部
33 物体检测部
34 动作检测部
100 烹调台
101 上表面
312 语音识别模块(语音识别装置)
S1 烹调空间
F1 食材(物体)
F20～F30 食材
H1 烹调负责人。
具体实施方式
在专利文献1的厨房视频系统中，烹调负责人确认显示在设置于烹调场所的监视器的订单内容并进行烹调。监视器设置在墙面等，使得不会防碍烹调作业。因此，在烹调作业中确认订单内容的情况下，烹调负责人不得不在进行烹调的手头和墙面的监视器之间移动视线，作业效率有可能下降。
以下说明的实施方式仅是本发明的各种实施方式之一。本发明的实施方式并不限定于下述实施方式，还可以包括该实施方式以外的实施方式。此外，只要是不脱离本发明涉及的技术思想的范围，下述的实施方式还能够根据设计等而进行各种变更。
(1)概要
本实施方式的厨房支援系统1例如在快餐店的烹调间使用。
如图1所示，厨房支援系统1具有投影装置2、语音识别模块(语音识别装置)312、以及控制装置3。投影装置2朝向进行烹调的烹调空间投影影像。语音识别模块312识别所输入的语音的内容。控制装置3使投影装置2对包含表示菜肴的订单内容的订单显示影像的与菜肴相关联的菜肴关联影像进行投影。控制装置3根据语音识别模块312的识别结果使投影装置2投影的菜肴关联影像变化。
在厨房支援系统1中，投影装置2将包含表示菜肴的订单内容的订单显示影像的菜肴关联影像朝向烹调负责人进行烹调的烹调空间进行投影。烹调负责人通过观察投影到烹调空间的菜肴关联影像，从而能够掌握菜肴的订单内容，因此在烹调中确认订单内容的情况下的视线的移动量减少，能够提高作业效率。此外，控制装置3根据语音识别模块312的识别结果使投影装置2投影的菜肴关联影像变化，因此烹调负责人能够通过语音使菜肴关联影像变化。因此，烹调负责人在使菜肴关联影像变化时也可使用双手，因此作业效率提高。
(2)详细情况
以下，参照图1～图14对本实施方式的厨房支援系统1进行详细说明。
(2.1)结构
如图1所示，厨房支援系统1具有投影装置2、语音对话部31、控制装置3、第一摄像装置4、第二摄像装置5、麦克风6、扬声器7、以及存储装置8。
如图2以及图3所示，该厨房支援系统1设置在烹调负责人H1进行客人订单的菜肴的烹调的烹调台100。以下，在图2等中，像用“上”、“下”、“左”、“右”、“前”、“后”的箭示出的那样规定方向。即，基于进行烹调的烹调负责人H1观察烹调空间S1(烹调台100的上表面101及其上方的空间)时的方向来定义上下、左右、前后的方向，但是这些方向并非旨在规定厨房支援系统1的使用时的方向。附图中的示出方向的箭头只不过是为了进行说明而标记的，并不伴随着实体。
投影装置2例如被配置在烹调台100的前侧的支柱10所支承，并配置在烹调台100的上方。投影装置2朝向烹调空间S1，即，朝向烹调台100的上表面101投影影像。虽然在本实施方式中，投影装置2通过用反射镜21使投影的影像反射，从而将影像投影到烹调台100的上表面，但是也可以将影像直接投影到烹调台100的上表面。此外，投影装置2也可以与烹调台100一体设置。
第一摄像装置4装配在支柱10的上侧，使得能够从上方对烹调台100的上表面101(烹调空间S1)进行摄像。第一摄像装置4例如具有CCD(Charge Coupled Device，电荷耦合器件)图像传感器、CMOS(Complementary MOS，互补金属氧化物半导体)图像传感器等摄像元件。第一摄像装置4对烹调台100的上表面101的彩色影像进行摄像，但是也可以是对单色影像进行摄像的摄像装置。
第二摄像装置5配置在烹调台100的上表面101的前端附近，使得能够对烹调台100的上表面101进行摄像。第二摄像装置5对包含烹调台100的上表面101及其上侧的空间的区域进行摄像。在第二摄像装置5的外壳50的前表面配置有红外线照射部51、红外线照相机52、以及RGB照相机53(参照图2)。
RGB照相机53以给定的帧频(例如，1秒钟10～80帧)对烹调空间S1的二维的彩色图像进行摄像。由红外线照射部51和红外线照相机52构成例如通过TOF(Time of Flight，飞行时间)方式进行距离测量的距离图像传感器。红外线照射部51对烹调空间S1照射红外线。红外线照相机52例如具有CCD图像传感器、CMOS图像传感器等受光元件，接收红外光。红外线照相机52配置为与RGB照相机53朝向相同的方向。红外线照相机52接收来自红外线照射部51的照射光被处于烹调空间S1的物体(食材、烹调器具、烹调负责人H1的手等)反射的反射光。能够基于直到从红外线照射部51照射的红外光被红外线照相机52接收为止的时间来测量到物体的距离。因此，通过组合由RGB照相机53所摄像的二维的彩色图像和由红外线照射部51和红外线照相机52求出的到物体的距离，从而能够求出处于烹调空间S1的物体与红外线照相机52的距离。第二摄像装置5将拍摄了烹调空间S1的二维的彩色图像和包含到处于烹调空间S1的物体的距离的信息的纵深图像(距离图像)输出到控制装置3。在此，所谓纵深图像，是指用浓淡表示了到物体的距离的浓淡图像。
麦克风6将烹调负责人H1发出的语音等声音变换为电信号并输出到控制装置3。
扬声器7将从控制装置3输入的电信号变换为声音并输出。
麦克风6以及扬声器7可以装配在投影装置2的主体、支柱10、第二摄像装置5的外壳50、或烹调台100等。此外，也可以由烹调负责人H1佩戴设置了麦克风6和扬声器7的头戴式耳机，在该情况下，麦克风6以及扬声器7可以与控制装置3通过Bluetooth(蓝牙，注册商标)等近距离无线方式进行无线通信。
存储装置8是硬盘、存储卡等外部存储装置。存储装置8对在多个菜肴各自中使用的使用食材、烹调顺序的信息进行存储。此外，存储装置8对投影装置2投影的订单显示影像、烹调指示影像等菜肴关联影像、对烹调负责人H1进行的烹调的过程进行了摄像的记录影像等进行存储。例如，在菜肴的烹调内容被变更或者追加了新的菜肴的情况下，只要对存储在存储装置8的菜肴的信息、后述的控制装置3的计算机系统执行的程序等进行更新即可，能够容易地应对菜肴内容的变更、菜肴的追加。
控制装置3具有计算机系统，计算机系统具有处理器以及存储器。通过由计算机系统的处理器执行记录在计算机系统的存储器的程序，从而实现语音对话部31、影像控制部32、物体检测部33、动作检测部34等的功能。程序可以预先记录在存储器，也可以通过互联网等电气通信线路来提供，还可以记录在存储卡等记录介质来提供。此外，控制装置3具备通信部35。
语音对话部31具有语音合成模块311和语音识别模块312。语音合成模块311使用波形连接型语音合成、共振峰合成等合成方法对语音进行合成，并从扬声器7输出。语音识别模块312例如利用隐式马尔可夫模型(Hidden Markov Model)来识别输入到麦克风6的语音的内容。语音对话部31使用语音合成模块311和语音识别模块312进行语音对话。
影像控制部32对投影装置2朝向烹调空间S1投影影像的动作进行控制。影像控制部32使投影装置2投影与菜肴相关联的菜肴关联影像。
菜肴关联影像包含表示菜肴的订单内容的订单显示影像。影像控制部32可以控制投影装置2将订单显示影像投影到烹调空间S1中未放置物体的区域。在订单了多个菜肴的情况下，影像控制部32可以控制投影装置2将表示多个菜肴的订单内容的订单显示影像投影到烹调空间S1。此外，也可以在订单显示影像中显示订单的菜肴的详细的内容。例如，在客人订单的菜肴中，有由店铺侧决定了菜肴内容的菜肴(以下，称为基本菜单)和根据客人的单独订单而将基本菜单的内容变更了一部分的菜肴(以下，称为自定义菜单)。自定义菜单例如是在基本菜单中加入了追加的食材的菜肴、或者将加入到基本菜单的食材(包括调料)的一部分进行减量或加量或者取消的菜肴。
此外，菜肴关联影像可以包含指示菜肴的烹调方法的烹调指示影像。在后述的物体检测部33探测到放置在烹调空间S1的食材时，影像控制部32可以控制投影装置2而将烹调指示影像投影到食材上。
物体检测部33使用由RGB照相机53进行摄像的影像和由红外线照相机52进行摄像的影像来检测处于烹调空间S1的物体(食材、烹调器具、烹调负责人H1的手等)。物体检测部33例如通过进行由RGB照相机53进行摄像的影像与背景图像的背景差分，从而检测背景图像中未拍摄到的物体。此外，物体检测部33能够基于由红外线照相机52进行摄像的距离图像求出到物体的距离。因此，物体检测部33能够使用由RGB照相机53摄像的影像和由红外线照相机52摄像的影像求出处于烹调空间S1的物体与红外线照相机52之间的距离。
动作检测部34检测烹调负责人H1的动作，例如，检测烹调负责人H1使用手进行的动作。在物体检测部33检测到烹调负责人H1的手的情况下，动作检测部34通过跟踪烹调负责人H1的手的运动，从而检测烹调负责人H1进行的动作(手势)。
通信部35例如在设置于快餐店的柜台等的收银机90之间进行通信。通信部35例如具备基于以太网(注册商标)的通信标准的通信模块。当操作收银机90的负责人从客人接受菜肴的订单并将菜肴的订单输入到收银机90时，收银机90进行所输入的菜肴的精算处理。此外，收银机90将店员输入的表示菜肴的订单内容的订单信息发送到厨房支援系统1，该订单信息被通信部35接收。
(2.2)动作
参照附图对本实施方式的厨房支援系统1的动作进行说明。
(2.2.1)订单内容的显示动作
参照图4A～图6B对本实施方式的厨房支援系统1将菜肴的订单内容投影到烹调空间S1的显示动作进行说明。
在利用厨房支援系统1进行烹调的情况下，烹调负责人朝向麦克风6发出表示烹调负责人的识别信息(例如，姓名或ID(identity)编号等)的话语。烹调负责人发出的话语被麦克风6变换为电信号并输入到控制装置3，在语音识别模块312中进行语音识别。控制装置3基于烹调负责人输入的识别信息，按每个烹调负责人对累积的作业时间进行计时，并将累积的作业时间利用于例如烹调作业的熟练度的推定。
此外，当控制装置3的通信部35从收银机90接收到订单信息时，影像控制部32基于订单信息制作表示菜肴的订单内容的订单显示影像，并控制投影装置2朝向烹调空间S1投影订单显示影像。图4A示出投影到作为烹调空间S1的烹调台100的上表面101的订单显示影像P11～P14。在烹调台100的上表面101，在左侧的区域A11显示订单显示影像P11～P14，在左右方向上的中央部中，在前侧的区域A1显示当前时刻。另外，也可以在区域A1显示从开始进行烹调的时间点起所经过的时间。在图4A～图6B中，虽然用虚线示出了投影影像的区域A1、A11、A12，但是表示区域的虚线以及符号不被投影。此外，在图4A等示出的订单显示影像P11～P14是一个例子，订单显示影像P11～P14的内容能够根据厨房支援系统1的用户的需求等而适当地进行变更。
订单显示影像P11～P14分别表示订单的菜肴，在长方形的框内的前侧显示订单编号(#1、#2、#3、#4)，在订单编号的后侧(跟前侧)显示菜肴的名称(例如，汉堡包、奶酪汉堡、S汉堡)等。影像控制部32制作以越接近区域A11的前侧则订单编号变得越小的那样的顺序排列了多个订单显示影像P11～P14的影像，使投影装置2投影该影像。在订单的菜肴为自定义菜单的情况下，在菜肴名的下侧显示从基本菜单的变更内容(例如，追加的食材、除去的食材等)。
像这样，在烹调台100的上表面101显示表示接受订单且烹调未结束的菜肴的订单内容的订单显示影像P11～P14，因此烹调负责人H1能够基于订单显示影像P11～P14来确认烹调未结束的菜肴。而且，因为在烹调台100的上表面101显示订单显示影像P11～P14，所以视线在进行烹调的手头与订单显示影像P11～P14之间移动的量减少，能够提高作业效率。
在此，控制装置3的物体检测部33检测处于烹调空间S1的物体，例如，检测放置在烹调台100的上表面101的物体、存在于烹调台100的上表面101的上侧的物体(烹调负责人的手H11等)。然后，影像控制部32基于物体检测部33的检测结果来控制投影装置2，将订单显示影像P11～P14投影到烹调台100的上表面101中不存在物体的区域(在图4A中，不存在食材F1、烹调负责人的手H11等的区域)。如图4B所示，当烹调负责人在烹调台100的上表面101将食材F1移动到左侧的区域时，影像控制部32基于物体检测部33的检测结果来控制投影装置2，将订单显示影像P11～P14投影到上表面101的右侧的区域A12。像这样，订单显示影像P11～P14不会投影到物体上，因此容易观察订单显示影像P11～P14的显示内容。
当烹调负责人H1完成了订单编号为1号的菜肴的烹调时，发出例如像“1号完成”那样表示完成了1号菜肴的烹调的话语。烹调负责人H1发出的话语被麦克风6变换为电信号并输入到控制装置3，在语音识别模块312中进行语音识别。当基于语音识别模块312的识别结果判断为完成了1号菜肴的烹调时，如图5A所示，影像控制部32从区域A11消去与1号菜肴对应的订单显示影像P11。因为烹调负责人H1通过语音来输入指示，所以无需为了输入指示而用手对按钮等进行操作，无需触碰按钮，因此卫生。此外，因为烹调负责人H1通过语音来输入指示，所以在此期间也能够使用双手进行作业，作业效率提高。另外，烹调负责人H1用于通过语音来进行指示的话语是一个例子，能够适当地进行变更。
而且，影像控制部32将与烹调未结束的2号到5号菜肴对应的订单显示影像P12～P15从投影装置2投影到区域A11。另外，能够显示在烹调台100的上表面101的菜肴的数量是有限的，在图4A中，订单编号为5号的菜肴的订单显示影像未被投影。当完成了订单编号为1号的菜肴的烹调时，如图5A所示，影像控制部32将2号到5号菜肴的订单显示影像P12～P15从投影装置2投影到区域A11。
当烹调负责人H1完成了订单编号为3号的菜肴的烹调时，发出例如像“3号完成”那样表示完成了3号菜肴的烹调的话语。烹调负责人H1发出的话语被麦克风6变换为电信号并输入到控制装置3，在语音识别模块312中进行语音识别。当基于语音识别模块312的识别结果判断为完成了3号菜肴的烹调时，如图5B所示，影像控制部32从区域A11消去与3号菜肴对应的订单显示影像P13。然后，影像控制部32将与烹调未结束的2号、4号以及5号菜肴对应的订单显示影像P12、P14、P15从投影装置2投影到区域A11。
当烹调负责人H1完成了订单编号为4号的菜肴的烹调时，发出例如像“4号完成”那样表示完成了4号菜肴的烹调的话语。烹调负责人H1发出的话语被麦克风6变换为电信号并输入到控制装置3，在语音识别模块312中进行语音识别。当基于语音识别模块312的识别结果判断为完成了4号菜肴的烹调时，如图6A所示，影像控制部32从区域A11消去与4号菜肴对应的订单显示影像P14。然后，影像控制部32将与烹调未结束的2号和5号菜肴对应的订单显示影像P12、P15从投影装置2投影到区域A11。
可是，烹调负责人H1将烹调的完成输入到控制装置3的方法不限定于语音。烹调负责人H1也可以通过预先决定的动作将烹调的完成输入到控制装置3。控制装置3的物体检测部33基于由红外线照相机52以及RGB照相机53进行摄像的影像检测烹调空间S1中的物体。在由物体检测部33检测的物体为人(在此，为烹调负责人)的手H11的情况下，动作检测部34通过跟踪手H11的运动，从而检测烹调负责人进行的动作。然后，在动作检测部34检测的烹调负责人的动作为预先设定的动作的情况下，控制装置3根据该动作使投影装置2投影的影像变化。例如，在控制装置3中，作为输入烹调完成的动作，设定有如下动作，即，在烹调台100的上表面101从订单显示影像的投影位置向横方向(朝向烹调空间S1的外侧的方向)滑动手H11。如图6A所示，在烹调台100的上表面101的左侧投影有订单显示影像P12、P15的状态下，在完成了5号菜肴的烹调的情况下，烹调负责人进行以下的动作来输入5号菜肴的烹调完成。烹调负责人在使手H11移动到订单显示影像P15的投影位置之后，使手H11向左侧(是从订单显示影像P15的投影位置接近上表面101的左右端中的近的一方的方向，是箭头D1的方向)滑动。当烹调负责人进行这样的动作时，控制装置3基于动作检测部34的检测结果判断为完成了5号菜肴的烹调，并如图6B所示，从区域A11消去5号菜肴的订单显示影像P15。然后，影像控制部32将与烹调未结束的2号菜肴对应的订单显示影像P12从投影装置2投影到区域A11。另外，用于输入烹调的完成的动作并不限定于上述的动作，也可以是烹调负责人在烹调台100的上表面101用手触碰完成了烹调的菜肴的订单显示影像的投影位置的动作。
此后，当烹调负责人H1完成了订单编号为2号的菜肴的烹调时，发出例如像“2号完成”那样表示完成了2号菜肴的烹调的话语。烹调负责人H1发出的话语被麦克风6变换为电信号并输入到控制装置3，在语音识别模块312中进行语音识别。当基于语音识别模块312的识别结果判断为完成了2号菜肴的烹调时，影像控制部32消去与2号菜肴对应的订单显示影像P12。在此，如果将接受了订单的菜肴全部烹调完毕，则控制装置3的影像控制部32不使投影装置2进行订单显示影像的投影，在烹调台100的上表面101不显示订单显示影像，因此烹调负责人能够确认没有等待烹调的菜肴。
(2.2.2)烹调顺序的显示动作
参照图7A～图11对本实施方式的厨房支援系统1将菜肴的烹调顺序投影到烹调空间S1的显示动作进行说明。
在从客人接受的菜肴的订单中有基本菜单以及自定义菜单，在自定义菜单的情况下，菜肴内容按每一样都不同，因此烹调负责人有时会对烹调的顺序不知所措。此外，在不熟练的烹调负责人的情况下，即使是基本菜单，有时也会对烹调的顺序不知所措。
因此，在本实施方式的厨房支援系统1中，能够将菜肴(基本菜单、自定义菜单等)的烹调顺序从投影装置2投影到烹调空间S1。
当控制装置3的通信部35从收银机90接收到菜肴的订单信息时，控制装置3基于订单信息从存储装置8读入订单的菜肴的使用食材和烹调顺序。在订单的菜肴为自定义菜单的情况下，控制装置3从存储装置8读出成为自定义菜单的基础的基本菜单的使用食材和烹调顺序，并在其中反应客人的单独订单，由此制作自定义菜单的使用食材和烹调顺序。
如图7A所示，控制装置3的影像控制部32将示出菜肴的订单内容的订单显示影像P16投影到烹调台100的上表面101的左侧的区域A13。在订单显示影像P16中，在长方形的框内的前侧显示订单编号(#6)，在订单编号的后侧(跟前侧)显示菜肴的名称(食谱)和该菜肴的使用食材(包括调料)的一览。在使用食材的一览中，按所使用的顺序显示有使用食材。在图7A的例子中，作为使用于菜肴的食材，从上起依次记载了圆面包、生菜、牛肉酱、切达奶酪、西红柿、蛋黄酱、圆面包。
在烹调负责人要求烹调顺序的显示的情况下，例如像“食谱帮助”那样在菜肴的名称(食谱)之后继续发声“帮助”。烹调负责人发出的话语被麦克风6变换为电信号并输入到控制装置3，在语音识别模块312中进行语音识别。在基于语音识别模块312的识别结果判断为请求了烹调顺序的显示时，影像控制部32开始进行将显示顺序投影到烹调空间S1(烹调台100的上表面101)的动作。也可以是，当接受烹调负责人用话语发出的指示时，控制装置3例如从扬声器7输出“哔”声等声音，告知烹调负责人接受了烹调负责人的指示。
影像控制部32使投影装置2将指示烹调顺序的烹调指示影像P21(参照图7B)投影到烹调台100的上表面101中显示时刻的区域A1的跟前侧的区域A21。在图7B的例子中，在烹调指示影像P21中显示有用文字指示烹调内容的消息(例如，“最先放上生菜”)和在该菜肴中使用的食材的影像。此外，在烹调指示影像P21中，用圆圈标记包围作业对象的食材而进行显示，在后述的其它烹调指示影像P22～P25中也是同样的。
当烹调负责人如图7B所示地在烹调台100的上表面101放置圆面包F11时，物体检测部33检测放置在烹调台100的上表面101的圆面包F11及其位置。当物体检测部33检测到圆面包F11时，影像控制部32控制投影装置2，将下一个放上的生菜的影像P31投影到圆面包F11上(参照图8A)。此外，在控制装置3中，也可以使语音合成模块311合成“最先放上生菜”这样的语音，并从扬声器7输出。因为投影装置2在实际放置的食材上投影下一个应放置的食材的影像，所以烹调负责人容易理解下一个作业，作业效率会提高。
另外，也可以是，当基于语音识别模块312的识别结果判断为请求了烹调顺序的显示时，在烹调负责人放置最先放置的食材(在此为圆面包F11)之前，影像控制部32将圆面包的影像投影到烹调台100的上表面101的给定位置。看到该影像的烹调负责人会在圆面包的影像上放置圆面包F11，因此具有可以不进行圆面包F11的位置检测这样的优点。
在图8A～图11中，实际放置在烹调台100的上表面101的食材(F11～F17)用实线进行图示，投影到食材上的影像(P31～P35)用虚线进行图示。影像控制部32优选变更订单显示影像P16、烹调指示影像P21、时刻影像的大小、显示位置，使得不与圆面包F11重叠。因为影像控制部32变更订单显示影像P16、烹调指示影像P21、时刻影像的显示位置，使得不与食材等重叠，所以能够尽可能增大订单显示影像P16、烹调指示影像P21、时刻影像的大小，显示内容变得容易观察。
如图8B所示，烹调负责人将生菜F12放置在投影到圆面包F11上的生菜的影像P31的位置(即，圆面包F11上)，并发出例如像“下一个是？”那样要求下一个顺序的显示的话语。烹调负责人发出的话语被麦克风6变换为电信号并输入到控制装置3，在语音识别模块312中进行语音识别。此外，物体检测部33检测放置在圆面包F11上的生菜F12及其位置。当基于语音识别模块312的识别结果判断为请求了下一个烹调顺序的显示时，影像控制部32从投影装置2将指示下一个烹调顺序的烹调指示影像P22投影到区域A21。在烹调指示影像P22中显示用文字指示烹调内容的消息(例如，“接下来放上牛肉酱”)。控制装置3的影像控制部32使投影装置2将接下来放上的牛肉酱的影像P32投影到生菜F12上。此外，也可以是，在控制装置3中，使语音合成模块311合成“接下来放上牛肉酱”这样的语音，并从扬声器7输出。
如图9A所示，烹调负责人将牛肉酱F13放置在投影到生菜F12上的牛肉酱的影像P32的位置(即，生菜F12上)，并发出例如像“下一个是？”那样要求下一个顺序的显示的话语。烹调负责人发出的话语被麦克风6变换为电信号并输入到控制装置3，在语音识别模块312中进行语音识别。此外，物体检测部33检测放置在生菜F12上的牛肉酱F13及其位置。当基于语音识别模块312的识别结果判断为请求了下一个烹调顺序的显示时，影像控制部32从投影装置2将指示下一个烹调顺序的烹调指示影像P23投影到区域A21。在烹调指示影像P23中显示用文字指示烹调内容的消息(例如，“放上奶酪”)。控制装置3的影像控制部32使投影装置2将下一个放上的奶酪的影像P33投影到牛肉酱F13上。此外，也可以是，在控制装置3中，使语音合成模块311合成“放上奶酪”这样的语音，并从扬声器7输出。
如图9B所示，烹调负责人将奶酪F14放置在投影到牛肉酱F13上的奶酪的影像P33的位置(即，牛肉酱F13的上)，发出例如像“下一个是？”那样要求下一个顺序的显示的话语。此外，物体检测部33检测放置在牛肉酱F13上的奶酪F14及其位置。烹调负责人发出的话语被麦克风6变换为电信号并输入到控制装置3，在语音识别模块312中进行语音识别。当基于语音识别模块312的识别结果判断为请求了下一个烹调顺序的显示时，影像控制部32从投影装置2将指示下一个烹调顺序的烹调指示影像P24投影到区域A21。在烹调指示影像P24中，显示用文字指示烹调内容的消息(例如，“层叠西红柿”)。控制装置3的影像控制部32使投影装置2将下一个放上的西红柿的影像P34投影到奶酪F14上。此外，也可以是，在控制装置3中，使语音合成模块311合成“层叠西红柿”这样的语音，并从扬声器7输出。
如图10A所示，烹调负责人将西红柿F15放置在投影到奶酪F14上的西红柿的影像P34的位置(即，奶酪F14的上)，发出例如像“下一个是？”那样要求下一个顺序的显示的话语。此外，物体检测部33检测放置在奶酪F14上的西红柿F15及其位置。烹调负责人发出的话语被麦克风6变换为电信号并输入到控制装置3，在语音识别模块312中进行语音识别。当基于语音识别模块312的识别结果判断为请求了下一个烹调顺序的显示时，影像控制部32从投影装置2将指示下一个烹调顺序的烹调指示影像P25投影到区域A21。在烹调指示影像P25中，显示用文字指示烹调内容的消息(例如，“抹上蛋黄酱”)。也可以是，控制装置3的影像控制部32使投影装置2将抹到西红柿F15上的蛋黄酱的影像投影到西红柿F15上。此外，在控制装置3中，使语音合成模块311合成“抹上蛋黄酱”这样的语音，并从扬声器7输出。
如图10B所示，烹调负责人移动瓶子B1，使得描绘投影到西红柿F15上的蛋黄酱的影像P35，从而在西红柿F15上抹上蛋黄酱F16。像这样，烹调负责人一边看着抹了蛋黄酱的影像P34一边实际抹蛋黄酱F16，因此蛋黄酱F16的量不易产生偏差，此外，能够在西红柿F15上整体地抹上蛋黄酱F16，因此能够降低品质的偏差。
如图11所示，烹调负责人最后放上圆面包F17，发出例如像“6号完成”那样表示完成了6号菜肴的烹调的话语。烹调负责人H1发出的话语被麦克风6变换为电信号并输入到控制装置3，在语音识别模块312中进行语音识别。当基于语音识别模块312的识别结果判断为完成了6号菜肴的烹调时，如图11所示，影像控制部32消去与6号菜肴对应的订单显示影像P16以及烹调指示影像P25，控制装置3结束烹调顺序的显示动作。
像这样，厨房支援系统1将用文字显示烹调顺序的影像从投影装置2投影到烹调空间S1，因此即使是烹调不熟练的烹调负责人，也能够容易地进行烹调，能够降低由烹调负责人造成的品质的偏差。此外，厨房支援系统1将示出下一个烹调顺序的烹调指示影像(P21～P25、P31～P35)投影到烹调空间S1(烹调台100的上表面101或食材上)，因此烹调负责人只要按照烹调指示影像进行烹调即可。因此，烹调负责人能够容易地理解下一个烹调作业，能够谋求烹调负责人的技能提高、作业效率的提高。
(2.2.3)烹调顺序的记录动作
本实施方式的厨房支援系统1具备从上侧对烹调空间S1进行摄像的第一摄像装置4，能够将第一摄像装置4进行摄像的记录影像记录到存储装置8。
虽然本实施方式的厨房支援系统1具备语音对话部31，但是只要至少具备语音识别模块312即可。语音合成模块311并不是厨房支援系统1所必需的结构，能够适当地进行省略。厨房支援系统1可以代替从扬声器7输出由语音合成模块311进行了语音合成的语音消息而将用文字表示语音消息的内容的影像投影到投影装置2。此外，也可以是，当来自烹调负责人的指示通过语音或动作等输入时，厨房支援系统1从扬声器7输出表示接受了指示的“哔”声等告知音。
在烹调一样菜肴的情况下，控制装置3在从烹调的开始起直到结束为止的期间的多个阶段使第一摄像装置4从上侧对烹调空间S1进行摄像。例如，在是层叠多个食材而制作的汉堡包的情况下，可以在每当层叠放置新的食材时使第一摄像装置4对烹调空间S1进行摄像。控制装置3将第一摄像装置4所摄像的记录影像与记录影像的时间信息以及烹调负责人的识别信息相关联地存储到存储装置8。在此，所谓记录影像的时间信息，可以包含对该记录影像进行摄像的拍摄日(即，烹调日)、拍摄时刻(即，烹调时刻)、以及从开始进行烹调的时间点起所经过的时间中的至少一个信息。另外，存储装置8也可以在按每个烹调负责人制作的文件夹存储该烹调负责人负责的烹调的记录影像。
而且，当厨房支援系统1的使用者(烹调负责人等)用语音等指定烹调负责人和显示对象的菜肴以及烹调日期和时间等并指示记录影像的输出时，控制装置3从存储装置8提取与指定的条件对应的记录影像。然后，控制装置3使投影装置2将从存储装置8提取的记录影像投影到烹调台100的上表面101。
图12是记录了使用11种食材F20～F30制作的汉堡包的烹调过程的记录影像L1～L11。每当烹调负责人层叠放置新的食材时，控制装置3使第一摄像装置4对烹调空间进行摄像，并将第一摄像装置4所摄像的记录影像与时间信息以及烹调负责人的识别信息相关联地存储到存储装置8。当请求记录了该汉堡包的烹调过程的记录影像L1～L11的显示时，控制装置3从存储装置8读出记录影像L1～L11，并使投影装置2将记录影像L1～L11投影到烹调台100的上表面101。
在此，影像控制部32控制投影装置2，将记录影像L1～L11的摄像时刻(烹调时刻)与记录影像L1～L11重叠地进行投影，因此能够容易地确认对记录影像L1～L11进行摄像的摄像时刻。另外，虽然在图12中，与记录影像L1～L11重叠地投影了记录影像L1～L11的摄像时刻(烹调时刻)，但是也可以与记录影像L1～L11重叠地投影从烹调开始起所经过的时间。此外，电可以与记录影像L1～L11重叠地投影烹调日、烹调时刻、从烹调开始起所经过的时间中的两个以上。
因为能够基于这些记录影像L1～L11来掌握烹调过程，所以跟踪性会提高。基于这些记录影像L1～L11，例如，能够在事后确认在烹调过程中是否混入了异物、烹调顺序是否错误。此外，能够将这些记录影像L1～L11利用于烹调作业的品质的确认、作业内容的改善等。
另外，虽然在图12的例子中将记录影像L1～L11的摄像时刻与记录影像L1～L11重叠地进行投影，但是也可以将记录影像L1～L11的摄像日期和时间与记录影像L1～L11重叠地进行投影。
此外，控制装置3也可以对能够与控制装置3进行通信的计算机终端输出存储在存储装置8的记录影像，并能够使用计算机终端来确认记录影像。
(2.2.4)烹调指南的显示动作
本实施方式的厨房支援系统1还能够利用于菜肴的前期准备，例如，使用于菜肴的食材的切割作业的支援。
如图13A所示，在烹调台100的上表面101放置有黄瓜F31的情况下，控制装置3的影像控制部32使投影装置2将辅助线P41投影到黄瓜F31上，辅助线P41示出将黄瓜F31进行切片时的切割位置。
当烹调负责人发出语音，使得指示进行黄瓜F31的切割作业的烹调指南时，烹调负责人发出的话语被麦克风6变换为电信号并输入到控制装置3，在语音识别模块312中进行语音识别。控制装置3按照烹调负责人通过语音输入的指示开始进行烹调指南的显示。当控制装置3的物体检测部33检测到放置在烹调台100的上表面101的黄瓜F31的位置时，影像控制部32控制投影装置2，以固定的间隔(例如，5mm间隔)将辅助线P41投影到黄瓜F31上。烹调负责人只要沿着辅助线P41用菜刀等对黄瓜F31进行切割即可，因此能够以固定的间隔将黄瓜F31进行切片。此外，控制装置3能够基于物体检测部33的检测结果来识别黄瓜F31的大小，因此能够根据黄瓜F31的长度、粗细来调整投影到黄瓜F31上的辅助线P41的开始位置、间隔等。
此外，本实施方式的厨房支援系统1还能够利用于在菜肴中使用的食材的大小的管理。例如，如图13B所示，在作为菜肴的食材而使用卷心菜F32的情况下，影像控制部32控制投影装置2，将示出卷心菜F32的大小的最小限度的辅助线P42和示出最大限度的辅助线P43投影到卷心菜F32上。在使用于烹调的卷心菜F32小于辅助线P42或者大于辅助线P43的情况下，烹调负责人将该卷心菜F32判断为标准外而进行更换。由此，能够使用大小在给定范围的食材，因此能够降低使用于菜肴的食材的大小的偏差。
如上所述，在由物体检测部33检测的物体为食材时，控制装置3控制投影装置2，使得将辅助菜肴的烹调的辅助线投影到食材上。
此外，本实施方式的厨房支援系统1还能够应用于甜品的摆放作业、拿铁的制作作业的烹调支援。
图14A示出在支援甜品的摆放作业的情况下投影的影像。控制装置3当接受支援甜品的摆放作业的指示时，影像控制部32控制投影装置2，将摆放在甜品碟子D10的蛋糕的影像P51和描绘在甜品碟子D10的图案的影像P52投影到甜品碟子D10。烹调负责人只要按照投影到甜品碟子D10的影像P51、P52摆放蛋糕或用巧克力等调味汁描绘图案即可，即使是作业不熟练的烹调负责人，也能够容易地进行甜品的摆放作业。
此外，图14B示出在支援拿铁的制作作业的情况下投影的影像。在杯子C1中，例如在浓咖啡上放入蒸汽牛奶。控制装置3当接受了支援拿铁的制作作业的指示时，影像控制部32控制投影装置2，将用拿铁制作的图案的影像P53投影到放入到杯子C1的牛奶上。烹调负责人只要按照影像P53使用叉子等器具描绘图案即可，即使是作业不熟练的烹调负责人，也能够容易地进行拿铁的制作作业。
如上所述，在由物体检测部33检测的物体为食材时，控制装置3控制投影装置2，使得在食材上或周边投影菜肴的摆放。
(3)变形例
以下，列举上述实施方式的变形例涉及的厨房支援系统。另外，以下说明的变形例的各结构能够与在上述实施方式中说明的各结构适当地进行组合而应用。
虽然在上述实施方式的厨房支援系统1中，烹调负责人在烹调空间S1中烹调一个菜肴，但是也可以并行多个菜肴(同一种类的多个菜肴、或两种以上的种类的多个菜肴)的烹调。在该情况下，影像控制部32可以控制投影装置2将与多个菜肴对应的多个烹调指示影像投影到烹调空间S1。
投影装置2投影的影像中的话语的语言并不限定于日语，能够从英语、中文、法语、德语、西班牙语、韩国语等多种语言中进行选择，能够根据烹调负责人而适当地进行变更。此外，语音对话部31进行语音对话的语言也不限定于日语，能够从英语、中文、法语、德语、西班牙语、韩国语等多种语言中进行选择。
影像控制部32也可以控制投影装置2将用于计时器显示的影像投影到烹调台100的上表面101。例如，影像控制部32可以将对油炸食物、煮的食物等的时间进行倒计时的影像从投影装置2投影到烹调台100的上表面101，能够观察显示在上表面101的倒计时的影像而进行油炸食物、煮的食物等的烹调。
影像控制部32也可以按每个烹调负责人使烹调指示影像等菜肴关联信息变化。影像控制部32例如可以根据烹调负责人的熟练度使烹调指示影像等菜肴关联信息变化，烹调负责人的熟练度越低，投影越详细的内容的烹调指示影像。
虽然第二摄像装置5的红外线照射部51对测距区域的整体照射红外光，红外线照相机52以面来接收由物体反射的反射光，但是也可以使红外线照射部51照射红外光的方向在测距区域内扫过，红外线照相机52在一点来接收由物体反射的反射光。
虽然第二摄像装置5的红外线照射部51和红外线照相机52通过TOF方式测量到物体的距离，但是也可以通过图案照射方式(Light Coding方式，光编码方式)测量距离，还可以用立体照相机测量距离。
虽然物体检测部33使用由RGB照相机53进行摄像的影像和由红外线照相机52进行摄像的影像来检测处于烹调空间S1的物体，但是也可以基于由第一摄像装置4进行摄像的影像来检测处于烹调空间S1的物体。物体检测部33例如通过进行由第一摄像装置4进行摄像的影像与背景图像的背景差分，从而能够检测处于烹调空间S1的物体。此外，物体检测部33也可以基于由第一摄像装置4进行摄像的影像和由RGB照相机53进行摄像的影像这两者来检测处于烹调空间S1的物体。进而，物体检测部33也可以使用由RGB照相机53进行摄像的影像、由红外线照相机52进行摄像的影像、以及由第一摄像装置4进行摄像的影像中的至少一个来检测处于烹调空间S1的物体。
虽然在上述实施方式的厨房支援系统1中，控制装置3和语音识别装置(语音识别模块312)具有独立的壳体，但是控制装置3也可以具有语音识别装置的功能。控制装置3、语音识别装置(语音识别模块312)、以及投影装置2可以是具有独立的壳体的结构，也可以分散设置一部分的构成要素。即，厨房支援系统1的构成要素可以分散设置在多个壳体。进而，例如，关于第二摄像装置5等每个构成要素，汇总到一个壳体内并非厨房支援系统1所必需的结构，每个构成要素也可以分散设置在多个壳体。
虽然上述实施方式的厨房支援系统1在快餐店的烹调间使用，但是也可以在餐厅、酒店等的烹调间使用。此外，实施方式的厨房支援系统1也可以在设置于超市的后院的副食的烹调间等使用，在该情况下，可以使用计算机终端等的输入装置将菜肴的订单内容输入到控制装置3。
此外，上述实施方式的厨房支援系统1并不限定于在从客人等接受菜肴的订单、订购并进行烹调的店铺等中利用，也可以在一般家庭中利用。在该情况下，当厨房支援系统1的利用者决定烹调的菜肴的菜肴内容，并输入到控制装置3时，控制装置3按照输入的菜肴内容将用于进行烹调支援的影像投影到烹调空间。
此外，虽然在上述实施方式的厨房支援系统1中，投影装置2将订单显示影像等菜肴关联影像投影到烹调空间S1，但是也可以将菜肴关联影像的一部分投影到其它显示装置。其它显示装置是设置在烹调空间S1的周围的液晶显示器装置、平板电脑终端等。如果影像控制部32使其它显示装置显示订单显示影像、烹调指南等，则除了投影到食材、放上食材的碟子、放入食材的容器等上的影像以外，能够减少投影到烹调台100的上表面101的影像，能够有效地利用烹调台100的上表面101。
(4)总结
像以上说明的那样，厨房支援系统(1)具有投影装置(2)、语音识别装置(312)、以及控制装置(3)。投影装置(2)朝向进行烹调的烹调空间投影影像。语音识别装置(312)识别所输入的语音的内容。控制装置(3)使投影装置(2)对包含表示菜肴的订单内容的订单显示影像的与菜肴相关联的菜肴关联影像进行投影。控制装置(3)根据语音识别装置(312)的识别结果使投影装置(2)投影的菜肴关联影像变化。
根据本公开，因为投影装置(2)朝向烹调空间投影菜肴关联影像，所以烹调负责人在烹调中看菜肴关联影像时，从进行烹调的手头移动视线的量减少，能够提高作业效率。为了使菜肴关联影像变化，烹调负责人可以通过语音进行指示，在通过语音发出指示的期间也能够使用双手进行烹调，因此能够提高作业效率。
此外，在本公开的厨房支援系统(1)中，在表示菜肴的烹调已完成的语音输入到语音识别装置(312)时，控制装置(3)使订单显示影像变化，使得从使投影装置(2)投影的菜肴关联影像中删除完成了烹调的菜肴的订单内容。
根据该结构，烹调负责人可以通过语音指示将完成了烹调的菜肴的订单内容删除，在用语音发出指示的期间也能够使用双手进行烹调，因此能够提高作业效率。
此外，本公开的厨房支援系统(1)还具备检测菜肴的烹调负责人的动作的动作检测部(34)。在由动作检测部(34)检测到表示菜肴的烹调已完成的动作时，控制装置(3)使订单显示影像变化，使得从使投影装置(2)投影的菜肴关联影像删除完成了烹调的菜肴的订单内容。
根据该结构，烹调负责人可以通过动作指示将完成了烹调的菜肴的订单内容删除，无需用手对操作按钮等进行操作，因此卫生。
此外，本公开的厨房支援系统(1)还具备检测处于烹调空间的物体的物体检测部(33)。
根据该结构，能够通过物体检测部(33)检测处于投影装置投影的烹调空间的物体。
此外，在本公开的厨房支援系统(1)中，控制装置(3)控制投影装置(2)，使得将订单显示影像投影到烹调空间中与由物体检测部(33)检测的物体不重叠的区域。
根据该结构，订单显示影像被投影到不与物体重叠的区域，因此容易观察订单显示影像。
此外，在本公开的厨房支援系统(1)中，在由物体检测部(33)检测的物体为食材时，控制装置(3)控制投影装置(2)，使得在食材上投影指示菜肴的烹调方法的烹调指示影像。
根据该结构，烹调负责人按照投影到食材上的烹调指示影像来进行烹调，因此即使是烹调不熟练的烹调负责人也能够容易地进行烹调。
此外，在本公开的厨房支援系统(1)中，还具备摄像装置(6)和存储装置(8)。摄像装置(6)对烹调空间进行摄像。存储装置(8)将摄像装置(6)所摄像的记录影像与记录影像的时间信息和菜肴的烹调负责人的识别信息中的至少一方相关联地进行存储。
根据该结构，基于存储在存储装置(8)的记录影像，对烹调负责人进行的烹调作业的跟踪性提高。
根据本公开，能够提供一种能够提高作业效率的厨房支援系统。

Claims (11)

1.一种厨房支援系统，具备：
投影装置，其朝向进行烹调的烹调空间投影影像；
语音识别装置，其识别所输入的语音的内容；以及
控制装置，其控制所述投影装置，使得所述投影装置对包含表示菜肴的订单内容的订单显示影像的菜肴关联影像进行投影，并且根据所述语音识别装置的识别结果使所述投影装置投影的所述菜肴关联影像变化。
2.根据权利要求1所述的厨房支援系统，在表示已完成了所述菜肴的烹调的语音输入到所述语音识别装置时，所述控制装置使所述订单显示影像变化，使得从所述投影装置投影的所述菜肴关联影像中删除完成了烹调的所述菜肴的订单内容。
3.根据权利要求1所述的厨房支援系统，还具备：动作检测部，其检测所述菜肴的烹调负责人的动作，
在由所述动作检测部检测到表示已完成了所述菜肴的烹调的动作时，所述控制装置使所述订单显示影像变化，使得从所述投影装置投影的所述菜肴关联影像中删除完成了烹调的所述菜肴的订单内容。
4.根据权利要求1所述的厨房支援系统，所述控制装置控制所述投影装置，使得所述投影装置对指示烹调顺序的烹调指示影像进行投影。
5.根据权利要求4所述的厨房支援系统，在要求所述烹调顺序的显示的语音输入到所述语音识别装置时，所述控制装置控制所述投影装置，使得所述投影装置对指示所述烹调顺序的所述烹调指示影像进行投影。
6.根据权利要求1所述的厨房支援系统，还具备：物体检测部，其检测处于所述烹调空间的物体。
7.根据权利要求6所述的厨房支援系统，所述控制装置控制所述投影装置，使得将所述订单显示影像投影在所述烹调空间中与由所述物体检测部检测出的所述物体不重叠的区域。
8.根据权利要求6所述的厨房支援系统，在由所述物体检测部检测出的物体为食材时，所述控制装置控制所述投影装置，使得在所述食材上投影指示所述菜肴的烹调方法的影像。
9.根据权利要求6所述的厨房支援系统，在由所述物体检测部检测出的物体为食材时，所述控制装置控制所述投影装置，使得在所述食材上投影辅助所述菜肴的烹调的辅助线。
10.根据权利要求6所述的厨房支援系统，在由所述物体检测部检测出的物体为食材时，所述控制装置控制所述投影装置，使得在所述食材上或周边投影所述菜肴的摆放。
11.根据权利要求1～10中的任一项所述的厨房支援系统，还具备：
摄像装置，其对所述烹调空间进行摄像；以及
存储装置，其将所述摄像装置所摄像的记录影像与所述记录影像的时间信息和所述菜肴的烹调负责人的识别信息中的至少一方相关联地进行存储。
CN201810086610.6A 2017-02-10 2018-01-29 厨房支援系统 Pending CN108416703A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-023325 2017-02-10
JP2017023325A JP2018128979A (ja) 2017-02-10 2017-02-10 厨房支援システム

Publications (1)

Publication Number Publication Date
CN108416703A true CN108416703A (zh) 2018-08-17

Family

ID=63105193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810086610.6A Pending CN108416703A (zh) 2017-02-10 2018-01-29 厨房支援系统

Country Status (3)

Country Link
US (1) US20180232202A1 (zh)
JP (1) JP2018128979A (zh)
CN (1) CN108416703A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109597601A (zh) * 2018-12-03 2019-04-09 苏州提点信息科技有限公司 一种支持语音操作的厨房显示系统
CN112534805A (zh) * 2018-09-13 2021-03-19 韦斯特尔电子工业和贸易有限责任公司 用于将图像投影到表面上的方法和高架支承结构
CN112888901A (zh) * 2019-10-01 2021-06-01 松下知识产权经营株式会社 加热烹调器
US11922690B2 (en) 2019-06-25 2024-03-05 Semiconductor Energy Laboratory Co., Ltd. Data processing system and data processing method

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410638B1 (en) * 2017-08-30 2022-08-09 Amazon Technologies, Inc. Voice user interface for nested content
CN110956960A (zh) * 2018-09-27 2020-04-03 中强光电股份有限公司 智能语音系统及利用智能语音系统控制投影机的方法
US11100926B2 (en) 2018-09-27 2021-08-24 Coretronic Corporation Intelligent voice system and method for controlling projector by using the intelligent voice system
US11087754B2 (en) * 2018-09-27 2021-08-10 Coretronic Corporation Intelligent voice system and method for controlling projector by using the intelligent voice system
KR20200080389A (ko) 2018-12-18 2020-07-07 삼성전자주식회사 전자 장치 및 그 제어 방법
CN110428829A (zh) * 2019-07-12 2019-11-08 深圳技术大学 云语音控制炒菜机器人的方法及装置
JP6814496B1 (ja) * 2020-06-26 2021-01-20 一般社団法人西日本ハンバーガー協会 ハンバーガー提供システム
CN112493522B (zh) * 2020-12-15 2023-11-10 广州富港生活智能科技有限公司 食品制作互动方法、计算机可读存储介质及食品制作设备
US11544925B1 (en) * 2021-09-01 2023-01-03 GOPIZZA Inc. Kitchen system with food preparation station

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100231506A1 (en) * 2004-09-07 2010-09-16 Timothy Pryor Control of appliances, kitchen and home
JP4563863B2 (ja) * 2005-05-12 2010-10-13 クリナップ株式会社 システムキッチン
JP2010191745A (ja) * 2009-02-19 2010-09-02 Seiko Epson Corp 調理支援装置、および調理支援方法
JP2011118684A (ja) * 2009-12-03 2011-06-16 Toshiba Tec Corp 調理補助端末及びプログラム
US10114609B2 (en) * 2012-05-31 2018-10-30 Opportunity Partners Inc. Computing interface for users with disabilities
WO2014033979A1 (ja) * 2012-08-27 2014-03-06 日本電気株式会社 情報提供装置、情報提供方法、及び、プログラム
US8977555B2 (en) * 2012-12-20 2015-03-10 Amazon Technologies, Inc. Identification of utterance subjects
RU2016124466A (ru) * 2013-12-27 2017-12-25 Сони Корпорейшн Устройство управления, способ управления и компьютерная программа
JP6711284B2 (ja) * 2015-02-03 2020-06-17 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6109455B2 (ja) * 2015-04-22 2017-04-05 栄司 田中 生産管理装置
AU2017225662A1 (en) * 2016-02-29 2018-10-25 Smart Lamp, Inc. D/B/A Lampix Method and apparatus for providing user interfaces with computerized systems and interacting with a virtual environment

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112534805A (zh) * 2018-09-13 2021-03-19 韦斯特尔电子工业和贸易有限责任公司 用于将图像投影到表面上的方法和高架支承结构
CN109597601A (zh) * 2018-12-03 2019-04-09 苏州提点信息科技有限公司 一种支持语音操作的厨房显示系统
US11922690B2 (en) 2019-06-25 2024-03-05 Semiconductor Energy Laboratory Co., Ltd. Data processing system and data processing method
CN112888901A (zh) * 2019-10-01 2021-06-01 松下知识产权经营株式会社 加热烹调器

Also Published As

Publication number Publication date
JP2018128979A (ja) 2018-08-16
US20180232202A1 (en) 2018-08-16

Similar Documents

Publication Publication Date Title
CN108416703A (zh) 厨房支援系统
JP2022101582A (ja) ロボット調理キッチン内の食品調製のための方法及びシステム
CN107873101B (zh) 用于对象辨识和评估的成像系统
US20170332841A1 (en) Thermal Imaging Cooking System
US20130171304A1 (en) System and method for culinary interaction
US20190114941A1 (en) Work assistance system, kitchen assistance system, work assisting method, and non-transitive computer-readable medium recording program
KR20190057201A (ko) 조리시스템용 보조버튼
US20180144821A1 (en) System and method for providing a food recommendation based on food sensitivity testing
US20180242772A1 (en) Cooking system with error detection
US20150206259A1 (en) Dish remaining amount detection apparatus and dish remaining amount detection method
US11763437B2 (en) Analyzing apparatus and method, and image capturing system
JP2012527847A (ja) 台所及び家庭用器具のコントロール
JP7001991B2 (ja) 情報処理装置および情報処理方法
CN109727161A (zh) 餐饮店、订单信息处理方法及装置
CN108363329A (zh) 信息处理装置以及信息处理方法
JP6369319B2 (ja) 売上処理装置、および客層別商品人気分析方法
JP6439415B2 (ja) 売上処理装置、および売上処理方法
US20220058388A1 (en) Food Waste Detection Method and System
EP3882830A1 (en) System and method for the quality control of cooked dishes
WO2019234997A1 (ja) 食品管理システム
JP6081105B2 (ja) 展示装置
KR20190092646A (ko) 무인매장의 고객 유인 시스템
WO2020261028A1 (ja) 情報処理システム、および情報処理方法
JP2017080516A (ja) 展示装置
WO2022065074A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180817