JP2018128979A - 厨房支援システム - Google Patents

Abstract

【課題】作業効率を向上させることができる厨房支援システムを提供する。
【解決手段】厨房支援システム１は、投影装置２と、音声認識モジュール３１２と、制御装置３とを備える。投影装置２は、調理を行う調理スペースに向かって映像を投影する。音声認識モジュール３１２は、入力された音声の内容を認識する。制御装置３は、料理の注文内容を表す注文表示映像を含む料理に関連する料理関連映像を投影装置２に投影させる。制御装置３は、音声認識モジュール３１２の認識結果に応じて投影装置２が投影する料理関連映像を変化させる。
【選択図】図１

Description

本発明は、厨房支援システムに関し、特に、料理の注文内容の表示を行う厨房支援システムに関する。

特許文献１には、レストランなどで利用されているキッチンビデオシステムが開示されている。特許文献１のキッチンビデオシステムは、登録した対象を表示コントローラに送信する機能を備える電子式キャッシュレジスタと、電子式キャッシュレジスタから送信された対象を表示する機能を有する表示コントローラとを備える。表示コントローラは、複数のモニタに注文内容を表示させており、複数のモニタは、料理の調理を行う調理場所、調理済みの料理などの取りそろえを行う取りそろえ場所などに設置されている。

特開２００２−３４２４４０号公報

特許文献１のキッチンビデオシステムでは、調理担当者は、調理場所に設置されたモニタに表示される注文内容を確認して、調理を行っている。モニタは調理作業の邪魔にならないように壁面などに設置される。そのため、調理担当者は、調理作業中に注文内容を確認する場合、調理を行っている手元と壁面のモニタとの間で視線を移動させねばならず、作業効率が低下する可能性があった。

本発明の目的は、作業効率を向上させることができる厨房支援システムを提供することにある。

第１の態様の厨房支援システムは、投影装置と、音声認識装置と、制御装置とを備える。前記投影装置は、調理を行う調理スペースに向かって映像を投影する。前記音声認識装置音は、入力された音声の内容を認識する。前記制御装置は、料理の注文内容を表す注文表示映像を含む前記料理に関連する料理関連映像を前記投影装置に投影させ、前記音声認識装置の認識結果に応じて前記投影装置が投影する前記料理関連映像を変化させる。

第２の態様の厨房支援システムでは、第１の態様において、前記制御装置は、前記料理の調理が完了したことを表す音声が前記音声認識装置に入力されたとき、前記投影装置に投影させる前記料理関連映像から調理が完了した前記料理の注文内容を削除するように前記注文表示映像を変化させる。

第３の態様の厨房支援システムは、第１又は第２の態様において、前記料理の調理担当者の動作を検出する動作検出部を、更に備える。前記制御装置は、前記動作検出部によって前記料理の調理が完了したことを表す動作が検出されたとき、前記投影装置に投影させる前記料理関連映像から調理が完了した前記料理の注文内容を削除するように前記注文表示映像を変化させる。

第４の態様の厨房支援システムは、第１〜第３のいずれかの態様において、前記調理スペースにある物体を検出する物体検出部を、更に備える。

第５の態様の厨房支援システムでは、第４の態様において、前記制御装置は、前記調理スペースにおいて前記物体検出部によって検出された前記物体と重ならない領域に、前記注文表示映像を投影するように前記投影装置を制御する。

第６の態様の厨房支援システムでは、第４又は第５の態様において、前記制御装置は、前記物体検出部によって検出された物体が食材であるときに、前記食材の上に、前記料理の調理方法を指示する調理指示映像を投影するように前記投影装置を制御する。

第７の態様の厨房支援システムでは、第１〜第６のいずれかの態様において、撮像装置と、記憶装置と、を更に備える。前記撮像装置は前記調理スペースを撮像する。前記記憶装置は、前記撮像装置が撮像した記録映像を、前記記録映像の時間情報と前記料理の調理担当者の識別情報との少なくとも一方と対応付けて記憶する。

本発明によれば、作業効率を向上させることができる厨房支援システムを提供できる。

図１は、本発明の一実施形態に係る厨房支援システムのブロック図である。 図２は、同上の厨房支援システムの斜視図である。 図３は、同上の厨房支援システムの側面図である。 図４Ａ、図４Ｂは、同上の厨房支援システムにおいて注文内容を表示する動作の説明図である。 図５Ａ、図５Ｂは、同上の厨房支援システムにおいて注文内容を表示する動作の説明図である。 図６Ａ、図６Ｂは、同上の厨房支援システムにおいて注文内容を表示する動作の説明図である。 図７Ａ、図７Ｂは、同上の厨房支援システムにおいて調理手順を表示する動作の説明図である。 図８Ａ、図８Ｂは、同上の厨房支援システムにおいて調理手順を表示する動作の説明図である。 図９Ａ、図９Ｂは、同上の厨房支援システムにおいて調理手順を表示する動作の説明図である。 図１０Ａ、図１０Ｂは、同上の厨房支援システムにおいて調理手順を表示する動作の説明図である。 図１１は、同上の厨房支援システムにおいて調理手順を表示する動作の説明図である。 図１２は、同上の厨房支援システムにおいて調理過程を撮像した記録映像の説明図である。 図１３Ａは、同上の厨房支援システムにおいてカット作業を支援するための補助線を投影した状態の説明図である。図１３Ｂは、同上の厨房支援システムにおいて食材の大きさを判定するための補助線を投影した状態の説明図である。 図１４Ａは、同上の厨房支援システムにおいてデザートの盛り付け作業を支援するための映像を投影した状態の説明図である。図１４Ｂは、同上の厨房支援システムにおいてラテアートの作成を支援するための映像を投影した状態の説明図である。

以下に説明する実施形態は、本発明の種々の実施形態の一つに過ぎない。本発明の実施形態は、下記実施形態に限定されることはなく、この実施形態以外も含み得る。また、下記の実施形態は、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。

（１）概要
本実施形態の厨房支援システム１は、例えば、ファーストフード店の調理場で用いられる。

厨房支援システム１は、図１に示すように、投影装置２と、音声認識モジュール（音声認識装置）３１２と、制御装置３とを備える。投影装置２は、調理を行う調理スペースに向かって映像を投影する。音声認識モジュール３１２は、入力された音声の内容を認識する。制御装置３は、料理の注文内容を表す注文表示映像を含む料理に関連する料理関連映像を投影装置２に投影させる。制御装置３は、音声認識モジュール３１２の認識結果に応じて投影装置２が投影する料理関連映像を変化させる。

厨房支援システム１では、投影装置２が、料理の注文内容を表す注文表示映像を含む料理関連映像を、調理担当者が調理を行う調理スペースに向かって投影している。調理担当者は、調理スペースに投影された料理関連映像を見ることで、料理の注文内容を把握できるので、調理中に注文内容を確認する場合の視線の移動量が少なくなり、作業効率を向上させることができる。また、制御装置３は、音声認識モジュール３１２の認識結果に応じて投影装置２が投影する料理関連映像を変化させるので、調理担当者は、音声で料理関連映像を変化させることができる。したがって、調理担当者は、料理関連映像を変化させるときも両手を使えるので、作業効率が向上する。

（２）詳細
以下、本実施形態の厨房支援システム１について図１〜図１４を参照して詳しく説明する。

（２．１）構成
厨房支援システム１は、図１に示すように、投影装置２と、音声対話部３１と、制御装置３と、第１撮像装置４と、第２撮像装置５と、マイク６と、スピーカ７と、記憶装置８とを備えている。

この、厨房支援システム１は、図２及び図３に示すように、客から注文された料理の調理を調理担当者Ｈ１が行う調理台１００に設けられている。以下では、図２などにおいて「上」、「下」、「左」、「右」、「前」、「後」の矢印で示す通りに各方向を規定する。つまり、調理を行う調理担当者Ｈ１が調理スペースＳ１（調理台１００の上面１０１及びその上方の空間）を見たときの方向に基づいて、上下、左右、前後の各方向を定義するが、これらの方向は厨房支援システム１の使用時の方向を規定する趣旨ではない。図面中の各方向を示す矢印は説明のために表記しているに過ぎず、実体を伴わない。

投影装置２は、例えば調理台１００の前側に配置される支柱１０に支持されており、調理台１００の上方に配置されている。投影装置２は、調理スペースＳ１に向かって、つまり調理台１００の上面１０１に向かって映像を投影する。本実施形態では、投影装置２は、投影した映像をミラー２１で反射させることで、調理台１００の上面に映像を投影しているが、調理台１００の上面に映像を直接投影してもよい。また、投影装置２は、調理台１００と一体に設けられてもよい。

第１撮像装置４は、調理台１００の上面１０１（調理スペースＳ１）を上方から撮像可能なように、支柱１０の上側に取り付けられている。第１撮像装置４は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary MOS）イメージセンサなどの撮像素子を備えている。第１撮像装置４は、調理台１００の上面１０１のカラー映像を撮像するが、モノクロ映像を撮像するものでもよい。

第２撮像装置５は、調理台１００の上面１０１の前端付近に、調理台１００の上面１０１を撮像可能なように、配置されている。第２撮像装置５は、調理台１００の上面１０と、その上側の空間とを含む領域を撮像する。第２撮像装置５のケース５０の前面には、赤外線照射部５１と、赤外線カメラ５２と、ＲＧＢカメラ５３とが配置されている（図３参照）。

ＲＧＢカメラ５３は、所定のフレームレート（例えば１秒間に１０〜８０フレーム）で、調理スペースＳ１の二次元のカラー画像を撮像する。赤外線照射部５１と赤外線カメラ５２とで、例えばＴＯＦ（Time of Flight）方式により距離計測を行う距離画像センサが構成される。赤外線照射部５１は調理スペースＳ１に赤外線を照射する。赤外線カメラ５２は、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの受光素子を有しており、赤外光を受光する。赤外線カメラ５２は、ＲＧＢカメラ５３と同じ方向を向くように配置されている。赤外線カメラ５２は、赤外線照射部５１からの照射光を調理スペースＳ１にある物体（食材、調理器具、調理担当者Ｈ１の手など）が反射した反射光を受光する。赤外線照射部５１から照射された赤外光が赤外線カメラ５２で受光されるまでの時間をもとに物体までの距離を計測できる。したがって、ＲＧＢカメラ５３で撮像された二次元のカラー画像と、赤外線照射部５１と赤外線カメラ５２とで求めた物体までの距離とを組み合わせることで、調理スペースＳ１にある物体と赤外線カメラ５２との距離を求めることができる。第２撮像装置５は、調理スペースＳ１を映した二次元のカラー画像と、調理スペースＳ１にある物体までの距離の情報を含む奥行き画像（距離画像）とを制御装置３に出力する。ここにおいて、奥行き画像とは、物体までの距離を濃淡で表した濃淡画像である。

マイク６は、調理担当者Ｈ１が発する音声などの音を電気信号に変換して制御装置３に出力する。

スピーカ７は、制御装置３から入力される電気信号を音に変換して出力する。

マイク６及びスピーカ７は、投影装置２の本体、支柱１０、第２撮像装置５のケース５０、又は調理台１００などに取り付けられていればよい。また、マイク６とスピーカ７とが設けられたヘッドセットを調理担当者Ｈ１が装着してもよく、この場合はマイク６及びスピーカ７と制御装置３とがBluetooth（登録商標）などの近距離無線方式で無縁通信を行えばよい。

記憶装置８はハードディスク、メモリカードなどの外部記憶装置である。記憶装置８は、複数の料理の各々で使用する使用食材、調理手順の情報を記憶する。また、記憶装置８は、投影装置２が投影する注文表示映像、調理指示映像などの料理関連映像、調理担当者Ｈ１が行う調理の過程を撮像した記録映像などを記憶する。例えば、料理の調理内容が変更されたり、新たな料理が追加された場合には、記憶装置８に記憶された料理の情報、後述する制御装置３のコンピュータシステムが実行するプログラムなどを更新すればよく、料理内容の変更や料理の追加に容易に対応できる。

制御装置３は、プロセッサ及びメモリを有するコンピュータシステムを備えている。コンピュータシステムのメモリに記録されたプログラムを、コンピュータシステムのプロセッサが実行することにより、音声対話部３１、映像制御部３２、物体検出部３３、動作検出部３４などの機能が実現される。プログラムは、メモリに予め記録されていてもよいし、インターネット等の電気通信回線を通して提供されてもよく、メモリカード等の記録媒体に記録されて提供されてもよい。また、制御装置３は通信部３５を備えている。

音声対話部３１は、音声合成モジュール３１１と音声認識モジュール３１２とを有している。音声合成モジュール３１１は、波形接続型音声合成、フォルマント合成などの合成方法を用いて音声を合成し、スピーカ７から出力する。音声認識モジュール３１２は、例えば隠れマルコフモデルを利用して、マイク６に入力された音声の内容を認識する。音声対話部３１は、音声合成モジュール３１１と音声認識モジュール３１２とを用いて音声対話を行う。

映像制御部３２は、投影装置２が調理スペースＳ１に向かって映像を投影する動作を制御する。映像制御部３２は、料理に関連する料理関連映像を投影装置２に投影させる。

料理関連映像は、料理の注文内容を表す注文表示映像を含む。映像制御部３２は、投影装置２を制御して、調理スペースＳ１において物体が置かれていない領域に注文表示映像を投影すればよい。映像制御部３２は、複数の料理が注文されている場合、投影装置２を制御して、複数の料理の注文内容を表す注文表示映像を注文スペースＳ１に投影すればよい。また、注文表示映像には、注文された料理の詳細な内容を表示してもよい。例えば、客が注文する料理には、店側で料理内容を決めている料理（以下、基本メニューという）と、基本メニューの内容を客の個別注文に応じて一部変更した料理（以下、カスタムメニューという）とがある。カスタムメニューは、例えば基本メニューに追加の食材を入れた料理、又は、基本メニューに入っている食材（調味料を含む）の一部を減量又は増量したり、無くしたりした料理である。

また、料理関連映像は、料理の調理方法を指示する調理指示映像を含んでもよい。映像制御部３２は、後述の物体検出部３３が調理スペースＳ１に置かれた食材を検知しているときに、投影装置２を制御して、食材の上に調理指示映像を投影してもよい。

物体検出部３３は、ＲＧＢカメラ５３で撮像された映像と、赤外線カメラ５２で撮像された映像とを用いて、調理スペースＳ１にある物体（食材、調理器具、調理担当者Ｈ１の手など）を検出する。物体検出部３３は、例えば、ＲＧＢカメラ５３で撮像された映像と背景画像との背景差分を行うことによって、背景画像には写っていない物体を検出する。また、物体検出部３３は、赤外線カメラ５２で撮像された距離画像をもとに、物体までの距離を求めることができる。したがって、物体検出部３３は、ＲＧＢカメラ５３で撮像された映像と、赤外線カメラ５２で撮像された映像とを用いて、調理スペースＳ１にある物体と、この物体と赤外線カメラ５２との間の距離とを求めることができる。

動作検出部３４は、調理担当者Ｈ１の動作、例えば調理担当者Ｈ１が手を使って行う動作を検出する。動作検出部３４は、物体検出部３３が調理担当者Ｈ１の手を検出した場合に、調理担当者Ｈ１の手の動きをトレースすることで、調理担当者Ｈ１が行った動作（ジェスチャー）を検出する。

通信部３５は、例えばファーストフード店のカウンタなどに設置されているキャッシュレジスタ９０との間で通信を行う。通信部３５は、例えばイーサネット（登録商標）の通信規格に準拠した通信モジュールを備える。キャッシュレジスタ９０を操作する担当者が、客から料理の注文を受けて、キャッシュレジスタ９０に料理の注文を入力すると、キャッシュレジスタ９０は入力された料理の精算処理を行う。また、キャッシュレジスタ９０は、店員が入力した、料理の注文内容を示す注文情報を厨房支援システム１に送信しており、この注文情報は通信部３５によって受信される。

（２．２）動作
本実施形態の厨房支援システム１の動作について図面を参照しながら説明する。

（２．２．１）注文内容の表示動作
本実施形態の厨房支援システム１が、料理の注文内容を調理スペースＳ１に投影する表示動作について、図４Ａ〜図６Ｂを参照して説明を行う。

調理担当者は、厨房支援システム１を利用して調理を行う場合、調理担当者の識別情報（例えば名前又はＩＤ（identity）番号など）を表す言葉をマイク６に向かって発する。調理担当者が発した言葉はマイク６によって電気信号に変換されて制御装置３に入力され、音声認識モジュール３１２で音声認識が行われる。制御装置３は、調理担当者が入力した識別情報をもとに、調理担当者ごとに累積の作業時間をカウントしており、累積の作業時間を、例えば調理作業の熟練度の推定に利用する。

また、制御装置３の通信部３５がキャッシュレジスタ９０から注文情報を受信すると、映像制御部３２は、注文情報をもとに料理の注文内容を表す注文表示映像を作成し、投影装置２を制御して注文表示映像を調理スペースＳ１に向かって投影する。図４Ａは、調理スペースＳ１である調理台１００の上面１０１に投影された注文表示映像Ｐ１１〜Ｐ１４を示している。調理台１００の上面１０１において、左側の領域Ａ１１には注文表示映像Ｐ１１〜Ｐ１４が表示され、左右方向の中央部において前側の領域Ａ１には現在時刻が表示される。なお、領域Ａ１には、調理を開始した時点からの経過時間が表示されてもよい。図４Ａ〜図６Ｂでは、映像を投影する領域Ａ１，Ａ１１，Ａ１２を点線で示しているが、領域を示す点線及び符号は投影されない。また、図４Ａなどに示した注文表示映像Ｐ１１〜Ｐ１４は一例であり、注文表示映像Ｐ１１〜Ｐ１４の内容は、厨房支援システム１のユーザの要望などに応じて適宜変更が可能である。

注文表示映像Ｐ１１〜Ｐ１４はそれぞれ注文された料理を示し、長方形の枠内の前側には注文番号（＃１，＃２，＃３，＃４）が表示され、注文番号の後側（手前側）には料理の名称（例えばハンバーガー，チーズバーガー，Ｓバーガー）などが表示されている。映像制御部３２は、領域Ａ１１の前側にいくほど注文番号が小さくなるような順番で複数の注文表示映像Ｐ１１〜Ｐ１４が並んだ映像を作成し、この映像を投影装置２に投影させている。注文された料理がカスタムメニューの場合には、料理名の下側に基本メニューからの変更内容（例えば、追加する食材、取り除く食材など）が表示されている。

このように、調理台１００の上面１０１に、注文を受けて調理が終わっていない料理の注文内容を表す注文表示映像Ｐ１１〜Ｐ１４が表示されるので、調理担当者Ｈ１は、注文表示映像Ｐ１１〜Ｐ１４をもとに、調理が終わっていない料理を確認できる。しかも、調理台１００の上面１０１に注文表示映像Ｐ１１〜Ｐ１４が表示されるので、調理を行っている手元と注文表示映像Ｐ１１〜Ｐ１４との間で視線を動かす量が少なくて済み、作業効率を向上させることができる。

ここで、制御装置３の物体検出部３３は、調理スペースＳ１にある物体、例えば調理台１００の上面１０１に置かれている物体や調理台１００の上面１０１の上側に存在する物体（調理担当者の手Ｈ１１など）を検出している。そして、映像制御部３２は、物体検出部３３の検出結果をもとに、投影装置２を制御して、調理台１００の上面１０１において物体が存在しない領域（図４Ａでは食材Ｆ１、調理担当者の手Ｈ１１などが存在しない領域）に注文表示映像Ｐ１１〜Ｐ１４を投影する。図４Ｂに示すように、調理担当者が食材Ｆ１を調理台１００の上面１０１において左側の領域に移動させると、映像制御部３２は、物体検出部３３の検出結果をもとに、投影装置２を制御して、上面１０１の右側の領域Ａ１２に注文表示映像Ｐ１１〜Ｐ１４を投影する。このように、注文表示映像Ｐ１１〜Ｐ１４が物体の上に投影されることがないので、注文表示映像Ｐ１１〜Ｐ１４の表示内容が見やすくなる。

調理担当者Ｈ１が、注文番号が１番の料理の調理を完了すると、例えば「１番完了」のように、１番の料理の調理が完了したことを表す言葉を発する。調理担当者Ｈ１が発した言葉はマイク６によって電気信号に変換されて制御装置３に入力され、音声認識モジュール３１２で音声認識が行われる。映像制御部３２は、音声認識モジュール３１２の認識結果をもとに、１番の料理の調理が完了したと判断すると、図５Ａに示すように、領域Ａ１１から１番の料理に対応した注文表示映像Ｐ１１を消す。調理担当者Ｈ１は音声で指示を入力しているので、指示を入力するために釦などを手で操作する必要が無く、釦に触れなくて済むから衛生的である。また、調理担当者Ｈ１は音声で指示を入力できるので、その間も両手を使って作業を行うことができ、作業効率が向上する。なお、調理担当者Ｈ１が音声で指示するための言葉は一例であり、適宜変更が可能である。

そして、映像制御部３２は、調理が終わっていない２番から５番の料理に対応した注文表示映像Ｐ１２〜Ｐ１５を投影装置２から領域Ａ１１に投影させる。なお、調理台１００の上面１０１に表示可能な料理の数は限られており、図４Ａでは、注文番号が５番の料理の注文表示映像は投影されていない。注文番号が１番の料理の調理が完了すると、図５Ａに示すように、映像制御部３２は、２番から５番の料理の注文表示映像Ｐ１２〜Ｐ１５を投影装置２から領域Ａ１１に投影させている。

調理担当者Ｈ１が、注文番号が３番の料理の調理を完了すると、例えば「３番完了」のように、３番の料理の調理が完了したことを表す言葉を発する。調理担当者Ｈ１が発した言葉はマイク６によって電気信号に変換されて制御装置３に入力され、音声認識モジュール３１２で音声認識が行われる。映像制御部３２は、音声認識モジュール３１２の認識結果をもとに、３番の料理の調理が完了したと判断すると、図５Ｂに示すように、領域Ａ１１から３番の料理に対応した注文表示映像Ｐ１３を消す。そして、映像制御部３２は、調理が終わっていない２番と４番と５番の料理に対応した注文表示映像Ｐ１２，Ｐ１４，Ｐ１５を投影装置２から領域Ａ１１に投影させる。

調理担当者Ｈ１が、注文番号が４番の料理の調理を完了すると、例えば「４番完了」のように、４番の料理の調理が完了したことを表す言葉を発する。調理担当者Ｈ１が発した言葉はマイク６によって電気信号に変換されて制御装置３に入力され、音声認識モジュール３１２で音声認識が行われる。映像制御部３２は、音声認識モジュール３１２の認識結果をもとに、４番の料理の調理が完了したと判断すると、図６Ａに示すように、領域Ａ１１から４番の料理に対応した注文表示映像Ｐ１４を消す。そして、映像制御部３２は、調理が終わっていない２番と５番の料理に対応した注文表示映像Ｐ１２，Ｐ１５を投影装置２から領域Ａ１１に投影させる。

ところで、調理担当者Ｈ１が、調理の完了を制御装置３に入力する方法は音声に限定されない。調理担当者Ｈ１は、予め決められた動作で調理の完了を制御装置３に入力してもよい。制御装置３の物体検出部３３は、赤外線カメラ５２及びＲＧＢカメラ５３で撮像された映像をもとに調理スペースＳ１における物体を検出している。動作検出部３４は、物体検出部３３で検出された物体が人（ここでは、調理担当者）の手Ｈ１１である場合に、手Ｈ１１の動きをトレースすることで調理担当者が行った動作を検出する。そして、制御装置３は、動作検出部３４が検出した調理担当者の動作が予め設定された動作である場合、その動作に応じて投影装置２が投影する映像を変化させる。例えば制御装置３には、調理完了を入力する動作として、調理台１００の上面１０１において注文表示映像の投影位置から横方向（調理スペースＳ１の外側に向かう方向）に手Ｈ１１をスライドさせる動作が設定されている。図６Ａに示すように、調理台１００の上面１０１の左側に注文表示映像Ｐ１２，Ｐ１５が投影されている状態で、５番の料理の調理が完了した場合、調理担当者は、以下の動作を行って５番の料理の調理完了を入力する。調理担当者は、注文表示映像Ｐ１５の投影位置に手Ｈ１１を移動させた後、手Ｈ１１を左側（注文表示映像Ｐ１５の投影位置から上面１０１の左右の端のうち近い方に近付く方向であって、矢印Ｄ１の方向）にスライドさせる。調理担当者がこのような動作を行うと、制御装置３は、動作検出部３４の検出結果をもとに、５番の料理の調理が完了したと判断し、図６Ｂに示すように、領域Ａ１１から５番の料理の注文表示映像Ｐ１５を消す。そして、映像制御部３２は、調理が終わっていない２番の料理に対応した注文表示映像Ｐ１２を投影装置２から領域Ａ１１に投影させる。なお、調理の完了を入力するための動作は上記の動作に限定されず、調理台１００の上面１０１において調理が完了した料理の注文表示映像の投影位置を、調理担当者が手で触れる動作でもよい。

その後、調理担当者Ｈ１が、注文番号が２番の料理の調理を完了すると、例えば「２番完了」のように、２番の料理の調理が完了したことを表す言葉を発する。調理担当者Ｈ１が発した言葉はマイク６によって電気信号に変換されて制御装置３に入力され、音声認識モジュール３１２で音声認識が行われる。映像制御部３２は、音声認識モジュール３１２の認識結果をもとに、２番の料理の調理が完了したと判断すると、２番の料理に対応した注文表示映像Ｐ１２を消す。ここで、注文を受けている料理を全て調理すれば、制御装置３の映像制御部３２は、投影装置２に注文表示映像の投影を行わせず、調理台１００の上面１０１には注文表示映像が表示されないから、調理担当者は調理待ちの料理がないことを確認できる。

（２．２．２）調理手順の表示動作
本実施形態の厨房支援システム１が、料理の調理手順を調理スペースＳ１に投影する表示動作について、図７Ａ〜図１１を参照して説明を行う。

客から受ける料理の注文には基本メニュー及びカスタムメニューがあり、カスタムメニューの場合には料理内容が一品ごとに異なるので、調理担当者は、調理の手順に戸惑う場合がある。また、熟練していない調理担当者の場合には、基本メニューであっても、調理の手順に戸惑う場合がある。

そこで、本実施形態の厨房支援システム１では、料理（基本メニュー、カスタムメニューなど）の調理手順を投影装置２から調理スペースＳ１に投影することができる。

制御装置３の通信部３５がキャッシュレジスタ９０から料理の注文情報を受信すると、制御装置３は、注文情報をもとに、注文された料理の使用食材と調理手順を記憶装置８から読み込む。制御装置３は、注文された料理がカスタムメニューの場合、カスタムメニューの元になる基本メニューの使用食材と調理手順を記憶装置８から読み出し、これらに客の個別注文を反映させることによって、カスタムメニューの使用食材と調理手順を作成する。

制御装置３の映像制御部３２は、図７Ａに示すように、料理の注文内容を示す注文表示映像Ｐ１６を、調理台１００の上面１０１の左側の領域Ａ１３に投影する。注文表示映像Ｐ１６では、長方形の枠内の前側には注文番号（＃６）が表示され、注文番号の後側（手前側）には料理の名称（アラカルト）と、この料理の使用食材（調味料を含む）の一覧が表示されている。使用食材の一覧には、使用食材が使う順番に表示されている。図７Ａの例では、料理に使用する食材として、上から順番に、バンズ、レタス、ビーフパテ、チェダーチーズ、トマト、マヨネーズ、バンズが記載されている。

調理担当者が、調理手順の表示を求める場合、例えば「アラカルトヘルプ」のように、料理の名称（アラカルト）に続けて「ヘルプ」と発話する。調理担当者が発した言葉はマイク６によって電気信号に変換されて制御装置３に入力され、音声認識モジュール３１２で音声認識が行われる。映像制御部３２は、音声認識モジュール３１２の認識結果をもとに、調理手順の表示が要求されたと判断すると、表示手順を調理スペースＳ１（調理台１００の上面１０１）に投影する動作を開始する。制御装置３は、調理担当者が言葉で発した指示を受け付けると、例えばビープ音などの音をスピーカ７から出力させ、調理担当者の指示を受け付けたことを調理担当者に報知してもよい。

映像制御部３２は、調理台１００の上面１０１において時刻表示の領域Ａ１の手前側の領域Ａ２１に、調理手順を指示する調理指示映像Ｐ２１（図７Ｂ参照）を投影装置２に投影させる。図７Ｂの例では、調理指示映像Ｐ２１には、調理内容を文字で指示するメッセージ（例えば「最初にレタスをのせます」）と、この料理で使用する食材の映像とが表示されている。また、調理指示映像Ｐ２１では、作業対象の食材を丸印で囲んで表示されており、後述する他の調理指示映像Ｐ２２〜Ｐ２５でも同様である。

調理担当者が、図７Ｂに示すように、調理台１００の上面１０１にバンズＦ１１を置くと、物体検出部３３は、調理台１００の上面１０１に置かれたバンズＦ１１とその位置を検出する。物体検出部３３がバンズＦ１１を検出すると、映像制御部３２は、投影装置２を制御して、次にのせるレタスの映像Ｐ３１をバンズＦ１１の上に投影する（図８Ａ参照）。また、制御装置３では、音声合成モジュール３１１に「最初にレタスをのせます」との音声を合成させて、スピーカ７から出力させてもよい。投影装置２が、実際に置かれている食材の上に、次に置くべき食材の映像を投影しているので、調理担当者は次の作業を理解しやすく、作業効率が向上する。

なお、映像制御部３２は、音声認識モジュール３１２の認識結果をもとに、調理手順の表示が要求されたと判断すると、調理担当者が最初におく食材、ここではバンズＦ１１を置く前に、バンズの映像を調理台１００の上面１０１の所定位置に投影させてもよい。この映像を見た調理担当者は、バンズの映像の上に、バンズＦ１１を置くので、バンズＦ１１の位置検出を行わなくてもよい、という利点がある。

図８Ａ〜図１１において、調理台１００の上面１０１に実際に置かれている食材（Ｆ１１〜Ｆ１７）は実線で図示し、食材の上に投影された映像（Ｐ３１〜Ｐ３５）は点線で図示している。映像制御部３２は、バンズＦ１１と重ならないように、注文表示映像Ｐ１６、調理指示映像Ｐ２１、時刻映像の大きさや表示位置を変更するのが好ましい。映像制御部３２は、食材などと重ならないように、注文表示映像Ｐ１６、調理指示映像Ｐ２１、時刻映像の表示位置を変更するので、注文表示映像Ｐ１６、調理指示映像Ｐ２１、時刻映像の大きさをできるだけ大きくでき、表示内容が見やすくなる。

調理担当者は、図８Ｂに示すように、バンズＦ１１の上に投影されたレタスの映像Ｐ３１の位置（つまりバンズＦ１１の上）にレタスＦ１２を置き、例えば「その次は」のように、次の手順の表示を求める言葉を発する。調理担当者が発した言葉はマイク６によって電気信号に変換されて制御装置３に入力され、音声認識モジュール３１２で音声認識が行われる。また、物体検出部３３が、バンズＦ１１の上に置かれたレタスＦ１２とその位置を検出する。映像制御部３２は、音声認識モジュール３１２の認識結果をもとに、次の調理手順の表示が要求されたと判断すると、投影装置２から領域Ａ２１に次の調理手順を指示する調理指示映像Ｐ２２を投影させる。調理指示映像Ｐ２２には、調理内容を文字で指示するメッセージ（例えば「次にビーフパテをのせます」）が表示される。制御装置３の映像制御部３２は、投影装置２に、次にのせるビーフパテの映像Ｐ３２をレタスＦ１２の上に投影させる。また、制御装置３では、音声合成モジュール３１１に「次にビーフパテをのせます」との音声を合成させて、スピーカ７から出力させてもよい。

調理担当者が、図９Ａに示すように、レタスＦ１２の上に投影されたビーフパテの映像Ｐ３２の位置（つまり、レタスＦ１２の上）にビーフパテＦ１３を置き、例えば「その次は」のように、次の手順の表示を求める言葉を発する。調理担当者が発した言葉はマイク６によって電気信号に変換されて制御装置３に入力され、音声認識モジュール３１２で音声認識が行われる。また、物体検出部３３が、レタスＦ１２の上に置かれたビーフパテＦ１３とその位置を検出する。映像制御部３２は、音声認識モジュール３１２の認識結果をもとに、次の調理手順の表示が要求されたと判断すると、投影装置２から領域Ａ２１に次の調理手順を指示する調理指示映像Ｐ２３を投影させる。調理指示映像Ｐ２３には、調理内容を文字で指示するメッセージ（例えば「チーズをのせます」）が表示される。制御装置３の映像制御部３２は、投影装置２に、次にのせるチーズの映像Ｐ３３をビーフパテＦ１３の上に投影させる。また、制御装置３では、音声合成モジュール３１１に「チーズをのせます」との音声を合成させて、スピーカ７から出力させてもよい。

調理担当者が、図９Ｂに示すように、ビーフパテＦ１３の上に投影されたチーズの映像Ｐ３３の位置（つまり、ビーフパテＦ１３の上）にチーズＦ１４を置き、例えば「その次は」のように、次の手順の表示を求める言葉を発する。また、物体検出部３３が、ビーフパテＦ１３の上に置かれたチーズＦ１４とその位置を検出する。調理担当者が発した言葉はマイク６によって電気信号に変換されて制御装置３に入力され、音声認識モジュール３１２で音声認識が行われる。映像制御部３２は、音声認識モジュール３１２の認識結果をもとに、次の調理手順の表示が要求されたと判断すると、投影装置２から領域Ａ２１に次の調理手順を指示する調理指示映像Ｐ２４を投影させる。調理指示映像Ｐ２４には、調理内容を文字で指示するメッセージ（例えば「トマトを重ねます」）が表示される。制御装置３の映像制御部３２は、投影装置２に、次にのせるトマトの映像Ｐ３４をチーズＦ１４の上に投影させる。また、制御装置３では、音声合成モジュール３１１に「トマトを重ねます」との音声を合成させて、スピーカ７から出力させてもよい。

調理担当者が、図１０Ａに示すように、チーズＦ１４の上に投影されたトマトの映像Ｐ３４の位置（つまり、チーズＦ１４の上）に、トマトＦ１５を置き、例えば「その次は」のように、次の手順の表示を求める言葉を発する。また、物体検出部３３が、チーズＦ１４の上に置かれたトマトＦ１５とその位置を検出する。調理担当者が発した言葉はマイク６によって電気信号に変換されて制御装置３に入力され、音声認識モジュール３１２で音声認識が行われる。映像制御部３２は、音声認識モジュール３１２の認識結果をもとに、次の調理手順の表示が要求されたと判断すると、投影装置２から領域Ａ２１に次の調理手順を指示する調理指示映像Ｐ２５を投影させる。調理指示映像Ｐ２５には、調理内容を文字で指示するメッセージ（例えば「マヨネーズをかけます」）が表示される。制御装置３の映像制御部３２は、投影装置２に、トマトＦ１５の上にかけられたマヨネーズの映像をトマトＦ１５の上に投影させる。また、制御装置３では、音声合成モジュール３１１に「マヨネーズをかけます」との音声を合成させて、スピーカ７から出力させてもよい。

調理担当者は、図１０Ｂに示すように、トマトＦ１５の上に投影されたマヨネーズの映像Ｐ３４をなぞるように、ボトルＢ１を動かして、トマトＦ１５の上にマヨネーズＦ１６をかける。このように、調理担当者は、マヨネーズがかけられた映像Ｐ３４を見ながら、実際にマヨネーズＦ１６をかけているので、マヨネーズＦ１６の量がばらつきにくくなり、またトマトＦ１５の上に全体的にマヨネーズＦ１６をかけることができるので、品質のばらつきを低減できる。

調理担当者が、図１１に示すように、最後にバンズＦ１７をのせ、例えば「６番完了」のように、６番の料理の調理が完了したことを表す言葉を発する。調理担当者Ｈ１が発した言葉はマイク６によって電気信号に変換されて制御装置３に入力され、音声認識モジュール３１２で音声認識が行われる。映像制御部３２は、音声認識モジュール３１２の認識結果をもとに、６番の料理の調理が完了したと判断すると、図１１に示すように、６番の料理に対応した注文表示映像Ｐ１６及び調理指示映像Ｐ２５を消し、制御装置３は、調理手順の表示動作を終了する。

このように、厨房支援システム１は、調理手順を文字で表示する映像を、投影装置２から調理スペースＳ１に投影させているので、調理に熟練していない調理担当者でも容易に調理を行うことができ、調理担当者による品質のばらつきを低減できる。また、厨房支援システム１は、次の調理手順を示す調理指示映像（Ｐ２１〜Ｐ２５，Ｐ３１〜Ｐ３５）を調理スペースＳ１（調理台１００の上面１０１又は食材の上）に投影しているので、調理担当者は、調理指示映像にしたがって調理を行えばよい。したがって、調理担当者は、次の調理作業を容易に理解でき、調理担当者の技量向上や作業効率の向上を図ることができる。

（２．２．３）調理手順の記録動作
本実施形態の厨房支援システム１は、調理スペースＳ１を上側から撮像する第１撮像装置４を備えており、第１撮像装置４が撮像した記録映像を、記憶装置８に記録しておくことができる。

本実施形態の厨房支援システム１は、音声対話部３１を備えているが、少なくとも音声認識モジュール３１２を備えていればよい。音声合成モジュール３１１は厨房支援システム１に必須の構成ではなく、適宜省略が可能である。厨房支援システム１は、音声合成モジュール３１１が音声合成した音声メッセージをスピーカ７から出力させる代わりに、音声メッセージの内容を文字で表す映像を投影装置２に投影させればよい。また、厨房支援システム１は、調理担当者からの指示が音声又は動作などで入力されると、指示を受け付けたことを示すビープ音などの報知音をスピーカ７から出力させてもよい。

制御装置３は、１品の料理を調理する場合に、調理の始めから終わりまでの間の複数の段階で、第１撮像装置４に調理スペースＳ１を上側から撮像させている。例えば複数の食材を重ねて作られるハンバーガーの場合、新たな食材を重ねて置くたびに第１撮像装置４に調理スペースＳ１を撮像させればよい。制御装置３は、第１撮像装置４が撮像した記録映像を、記録映像の時間情報及び調理担当者の識別情報と対応付けて記憶装置８に記憶させる。ここで、記録映像の時間情報とは、この記録映像が撮像された撮影日（つまり調理日）、撮影時刻（つまり調理時刻）、及び調理を開始した時点からの経過時間のうちの少なくとも１つの情報を含んでいればよい。なお、記憶装置８は、調理担当者ごとに作成したフォルダに、この調理担当者が担当した調理の記録映像を記憶してもよい。

そして、厨房支援システム１の使用者（調理担当者など）が、調理担当者と表示対象の料理及び調理日時などを指定して記録映像の出力を音声などで指示すると、制御装置３は、記憶装置８から、指定された条件に対応する記録映像を抽出する。そして、制御装置３は、投影装置２に、記憶装置８から抽出した記録映像を調理台１００の上面１０１へ投影させる。

図１２は、１１種類の食材Ｆ２０〜Ｆ３０を使って作られるハンバーガーの調理過程を記録した記録映像Ｌ１〜Ｌ１１である。調理担当者が新たな食材を重ねて置くたびに、制御装置３は、第１撮像装置４に調理スペースを撮像させ、第１撮像装置４が撮像した記録映像を、時間情報及び調理担当者の識別情報と対応付けて記憶装置８に記憶させる。制御装置３は、このハンバーガーの調理過程を記録した記録映像Ｌ１〜Ｌ１１の表示を要求されると、記憶装置８から記録映像Ｌ１〜Ｌ１１を読み出し、投影装置２に記録映像Ｌ１〜Ｌ１１を調理台１００の上面１０１へ投影させる。

ここで、映像制御部３２は、投影装置２を制御して、記録映像Ｌ１〜Ｌ１１の撮像時刻（調理時刻）を、記録映像Ｌ１〜Ｌ１１と重ねて投影しているので、記録映像Ｌ１〜Ｌ１１が撮像された撮像時刻を容易に確認できる。なお、図１２では、記録映像Ｌ１〜Ｌ１１の撮像時刻（調理時刻）が、記録映像Ｌ１〜Ｌ１１と重ねて投影されているが、調理開始からの経過時間が記録映像Ｌ１〜Ｌ１１と重ねて投影されてもよい。また、調理日、調理時刻、調理開始からの経過時間のうちの２つ以上が記録映像Ｌ１〜Ｌ１１と重ねて投影されてもよい。

これらの記録映像Ｌ１〜Ｌ１１をもとに調理過程を把握できるから、トレーサビリティが向上する。これらの記録映像Ｌ１〜Ｌ１１をもとに、例えば調理過程で異物が混入しているか否か、調理手順が間違っていないかを後から確認できる。また、これらの記録映像Ｌ１〜Ｌ１１を、調理作業の品質の確認や作業内容の改善などにも利用できる。

なお、図１２の例では記録映像Ｌ１〜Ｌ１１の撮像時刻を、記録映像Ｌ１〜Ｌ１１と重ねて投影しているが、記録映像Ｌ１〜Ｌ１１の撮像日時を、記録映像Ｌ１〜Ｌ１１と重ねて投影してもよい。

また、制御装置３は、制御装置３と通信可能なコンピュータ端末に、記憶装置８に記憶された記録映像を出力してもよく、コンピュータ端末を用いて記録映像を確認することができる。

（２．２．４）調理ガイドの表示動作
本実施形態の厨房支援システム１は、料理の下ごしらえ、例えば料理に使用する食材のカット作業の支援にも利用できる。

図１３Ａに示すように、調理台１００の上面１０１にキュウリＦ３１が置かれている場合に、制御装置３の映像制御部３２は、投影装置２に、キュウリＦ３１を輪切りにするときのカット位置を示す補助線Ｐ４１をキュウリＦ４１の上に投影させてもよい。

調理担当者が、キュウリＦ３１のカット作業の調理ガイドを行うように指示する音声を発すると、調理担当者が発した言葉はマイク６によって電気信号に変換されて制御装置３に入力され、音声認識モジュール３１２で音声認識が行われる。制御装置３は、調理担当者が音声で入力した指示に従って調理ガイドの表示を開始する。制御装置３の物体検出部３３が調理台１００の上面１０１に置かれたキュウリＦ３１の位置を検出すると、映像制御部３２は、投影装置２を制御して、キュウリＦ３１の上に補助線Ｐ４１を一定の間隔（例えば５ｍｍ間隔）で投影する。調理担当者は、補助線Ｐ４１に沿ってキュウリＦ３１を包丁などでカットすればよいので、キュウリＦ３１を一定の間隔で輪切りすることができる。また、制御装置３は、物体検出部３３の検出結果に基づいてキュウリＦ３１の大きさを認識できるので、キュウリＦ３１の長さや太さに応じて、キュウリＦ１の上に投影する補助線Ｐ４１の開始位置や間隔などを調整することができる。

また、本実施形態の厨房支援システム１は、料理に使用する食材の大きさの管理にも利用できる。例えば、料理の食材としてキャベツＦ３２を使用する場合に、映像制御部３２は、投影装置２を制御して、キャベツＦ３２の大きさの最小限度を示す補助線Ｐ４２と、最大限度を示す補助線Ｐ４３とをキャベツＦ３２の上に投影する。調理担当者は、調理に使用するキャベツＦ３２が補助線Ｐ４２よりも小さかったり、補助線Ｐ４３よりも大きかったりする場合は、このキャベツＦ３２を規格外と判断して取り替える。これにより、大きさが所定範囲に収まる食材を使用できるので、料理に使用する食材の大きさのばらつきを低減できる。

また、本実施形態の厨房支援システム１は、デザートの盛り付け作業や、ラテアートの作成作業の調理支援にも適用できる。

図１４Ａは、デザートの盛り付け作業を支援する場合に投影する映像を示している。制御装置３は、デザートの盛り付け作業を支援する指示を受け付けると、映像制御部３２が、投影装置２を制御して、デザート皿Ｄ１０に盛り付けられたケーキの映像Ｐ５１と、デザート皿Ｄ１０に描かれた模様の映像Ｐ５２とをデザート皿Ｄ１０に投影する。調理担当者は、デザート皿Ｄ１０に投影された映像Ｐ５１，Ｐ５２にしたがって、ケーキを盛り付けたり、チョコレートなどのソースで模様を描いたりすればよく、作業に熟練していない調理担当者でもデザートの盛り付け作業を容易に行うことができる。

また、図１４Ｂは、ラテアートの作成作業を支援する場合に投影する映像を示している。カップＣ１には、例えばエスプレッソの上にスチームしたミルクが入っている。制御装置３は、ラテアートの作成作業を支援する指示を受け付けると、映像制御部３２が、投影装置２を制御して、カップＣ１に入ったミルクの上にラテアートで作成する模様の映像Ｐ５３を投影する。調理担当者は、映像Ｐ５３にしたがって、ピックなどの器具を使って模様を描けばよく、作業に熟練していない調理担当者でもラテアートの作成作業を容易に行うことができる。

（３）変形例
以下に、上記実施形態の変形例に係る厨房支援システムを列記する。なお、以下に説明する変形例の各構成は、上記実施形態で説明した各構成と適宜組み合わせて適用可能である。

上記実施形態の厨房支援システム１では、調理担当者が、調理スペースＳ１において、１つの料理を調理しているが、複数の料理（同一種類の複数の料理、又は２以上の種類の複数の料理）の調理を並行して行ってもよい。この場合、映像制御部３２は、投影装置２を制御して、複数の料理に対応する複数の調理指示映像を調理スペースＳ１に投影すればよい。

投影装置２が投影する映像中の言葉の言語は日本語に限定されず、英語、中国語、フランス語、ドイツ語、スペイン語、韓国語などの多種の言語から選択可能であり、調理担当者に応じて適宜変更が可能である。また、音声対話部３１が音声対話を行う言語も日本語に限定されず、英語、中国語、フランス語、ドイツ語、スペイン語、韓国語などの多種の言語から選択可能である。

映像制御部３２は、投影装置２を制御して、調理台１００の上面１０１に、タイマー表示のための映像を投影してもよい。例えば、映像制御部３２は、揚げ物、煮物などの時間をカウントダウンする映像を投影装置２から調理台１００の上面１０１に投影させてもよく、上面１０１に表示されたカウントダウンの映像を見て、揚げ物、煮物などの調理を行うことができる。

映像制御部３２は、調理指示映像などの料理関連情報は調理担当者ごとに変化させてもよい。映像制御部３２は、例えば、調理担当者の熟練度に応じて調理指示映像などの料理関連情報を変化させてもよく、調理担当者の熟練度が低いほど詳細な内容の調理指示映像を投影すればよい。

第２撮像装置５の赤外線照射部５１は測距領域の全体に赤外光を照射させ、赤外線カメラ５２は物体による反射光を面で受光しているが、赤外線照射部５１が赤外光を照射する方向を測距領域内でスイープさせ、赤外線カメラ５２が物体による反射光を１点で受光してもよい。

第２撮像装置５の赤外線照射部５１と赤外線カメラ５２とはＴＯＦ方式で物体までの距離を計測しているが、パターン照射方式（Light Coding方式）で距離を計測してもよいし、ステレオカメラで距離を計測してもよい。

物体検出部３３は、ＲＧＢカメラ５３で撮像された映像と、赤外線カメラ５２で撮像された映像とを用いて、調理スペースＳ１にある物体を検出しているが、第１撮像装置４で撮像された映像をもとに、調理スペースＳ１にある物体を検出してもよい。物体検出部３３は、例えば、第１撮像装置４で撮像された映像と背景画像との背景差分を行うことで、調理スペースＳ１にある物体を検出することができる。また、物体検出部３３は、第１撮像装置４で撮像された映像とＲＧＢカメラ５３で撮像された映像との両方に基づいて、調理スペースＳ１にある物体を検出してもよい。さらに、物体検出部３３は、ＲＧＢカメラ５３で撮像された映像と、赤外線カメラ５２で撮像された映像と、第１撮像装置４で撮像された映像との少なくとも１つを用いて、調理スペースＳ１にある物体を検出してもよい。

上記実施形態の厨房支援システム１では、制御装置３が音声認識装置（音声認識モジュール３１２）の機能を備えているが、制御装置３と音声認識装置とが別々の筐体を有していてもよい。また、制御装置３と投影装置２とが別々の筐体を有しているが、制御装置３と、音声認識装置（音声認識モジュール３１２）と、投影装置２とが別々の筐体を有する構成でもよいし、一部の構成要素が分散して設けられていてもよい。つまり、厨房支援システム１の構成要素は、複数の筐体に分散して設けられていてもよい。さらに、例えば、第２撮像装置５などの個々の構成要素についても、１つの筐体内に集約されていることは厨房支援システム１に必須の構成ではなく、個々の構成要素が複数の筐体に分散して設けられていてもよい。

上記実施形態の厨房支援システム１は、ファーストフード店の調理場で用いられているが、レストラン、ホテルなどの調理場で用いられてもよい。また、実施形態の厨房支援システム１は、スーパーマーケットのバックヤードに設けられた総菜の調理場などで用いられてもよく、この場合はコンピュータ端末などの入力装置を用いて、料理の注文内容を制御装置３に入力すればよい。

また、上記実施形態の厨房支援システム１は、客などから料理の注文、発注を受けて調理を行う店などで利用されるものに限定されず、一般家庭において利用されてもよい。この場合、厨房支援システム１の利用者が、調理する料理の料理内容を決めて、制御装置３に入力すると、制御装置３が入力された料理内容にしたがって、調理支援を行うための映像を調理スペースに投影する。

また、上記実施形態の厨房支援システム１では、投影装置２が注文表示映像などの料理関連映像を調理スペースＳ１に投影しているが、料理関連映像の一部を別の表示装置に表示させてもよい。別の表示装置は、調理スペースＳ１の周囲に設置された液晶ディスプレイ装置、タブレット端末などである。映像制御部３２が、注文表示映像や調理マニュアルなどを別の表示装置に表示させれば、食材、食材をのせる皿、食材を入れる容器などの上に投影する映像以外で、調理台１００の上面１０１に投影される映像を少なくでき、調理台１００の上面１０１を有効に利用できる。

（４）まとめ
以上説明したように、第１の態様の厨房支援システム（１）は、投影装置（２）と、音声認識装置（３１２）と、制御装置（３）とを備える。投影装置（２）は、調理を行う調理スペースに向かって映像を投影する。音声認識装置（３１２）は、入力された音声の内容を認識する。制御装置（３）は、料理の注文内容を表す注文表示映像を含む料理に関連する料理関連映像を投影装置（２）に投影させる。制御装置（３）は、音声認識装置（３１２）の認識結果に応じて投影装置（２）が投影する料理関連映像を変化させる。

第１の態様によれば、投影装置（２）が調理スペースに向かって料理関連映像を投影するので、調理担当者は、調理中に料理関連映像を見る際に、調理を行っている手元から視線を動かす量が少なくなり、作業効率を向上させることができる。調理担当者は、料理関連映像を変化させるために音声で指示すればよく、音声で指示を出す間も両手を使って調理を行えるので、作業効率を向上させることができる。

第２の態様の厨房支援システム（１）では、第１の態様において、制御装置（３）は、料理の調理が完了したことを表す音声が音声認識装置（３１２）に入力されたとき、投影装置（２）に投影させる料理関連映像から調理が完了した料理の注文内容を削除するように注文表示映像を変化させる。

第２の態様によれば、調理担当者は、調理が完了した料理の注文内容を削除することを音声で指示すればよく、音声で指示を出す間も両手を使って調理を行えるので、作業効率を向上させることができる。

第３の態様の厨房支援システム（１）は、第１又は第２の態様において、料理の調理担当者の動作を検出する動作検出部（３４）を、更に備える。制御装置（３）は、動作検出部（３４）によって料理の調理が完了したことを表す動作が検出されたとき、投影装置（２）に投影させる料理関連映像から調理が完了した料理の注文内容を削除するように注文表示映像を変化させる。

第３の態様によれば、調理担当者は、調理が完了した料理の注文内容を削除することを動作で指示すればよく、操作釦などを手で操作しなくてもよいので、衛生的である。

第４の態様の厨房支援システム（１）は、第１〜第３のいずれかの態様において、調理スペースにある物体を検出する物体検出部（３３）を、更に備える。

第４の態様によれば、投影装置が投影する調理スペースにある物体を、物体検出部（３３）で検出することができる。

第５の態様の厨房支援システム（１）では、第４の態様において、制御装置（３）は、調理スペースにおいて物体検出部（３３）によって検出された物体と重ならない領域に、注文表示映像を投影するように投影装置（２）を制御する。

第５の態様によれば、物体と重ならない領域に注文表示映像が投影されるので、注文表示映像を見やすくなる。

第６の態様の厨房支援システム（１）では、第４又は第５の態様において、制御装置（３）は、物体検出部（３３）によって検出された物体が食材であるときに、食材の上に、料理の調理方法を指示する調理指示映像を投影するように投影装置（２）を制御する。

第６の態様によれば、調理担当者は、食材の上に投影された調理指示映像にしたがって調理を行えるので、調理に熟練していない調理担当者でも容易に調理を行うことができる。

第７の態様の厨房支援システム（１）では、第１〜第６のいずれかの態様において、撮像装置（６）と、記憶装置（７）と、を更に備える。撮像装置（６）は調理スペースを撮像する。記憶装置（７）は、撮像装置（６）が撮像した記録映像を、記録映像の時間情報と料理の調理担当者の識別情報との少なくとも一方と対応付けて記憶する。

第７の態様によれば、記憶装置（７）に記憶された記録映像をもとに、調理担当者が行った調理作業についてトレーサビリティが向上する。

１ 厨房支援システム
２ 投影装置
３ 制御装置
４ 第１撮像装置（撮像装置）
５ 第２撮像装置
８ 記憶装置
３１２ 音声認識モジュール（音声認識装置）
３２ 映像制御部
３３ 物体検出部
３４ 動作検出部
１００ 調理台
１０１ 上面
Ｓ１ 調理スペース
Ｆ１ 食材（物体）
Ｈ１ 調理担当者

Claims (7)

1. 調理を行う調理スペースに向かって映像を投影する投影装置と、
   入力された音声の内容を認識する音声認識装置と、
   料理の注文内容を表す注文表示映像を含む前記料理に関連する料理関連映像を前記投影装置に投影させ、前記音声認識装置の認識結果に応じて前記投影装置が投影する前記料理関連映像を変化させる制御装置と、を備える
   厨房支援システム。
2. 前記制御装置は、前記料理の調理が完了したことを表す音声が前記音声認識装置に入力されたとき、前記投影装置に投影させる前記料理関連映像から調理が完了した前記料理の注文内容を削除するように前記注文表示映像を変化させる
   請求項１に記載の厨房支援システム。
3. 前記料理の調理担当者の動作を検出する動作検出部を、更に備え、
   前記制御装置は、前記動作検出部によって前記料理の調理が完了したことを表す動作が検出されたとき、前記投影装置に投影させる前記料理関連映像から調理が完了した前記料理の注文内容を削除するように前記注文表示映像を変化させる
   請求項１又は２に記載の厨房支援システム。
4. 前記調理スペースにある物体を検出する物体検出部を、更に備える、
   請求項１〜３のいずれか１項に記載の厨房支援システム。
5. 前記制御装置は、前記調理スペースにおいて前記物体検出部によって検出された前記物体と重ならない領域に、前記注文表示映像を投影するように前記投影装置を制御する
   請求項４に記載の厨房支援システム。
6. 前記制御装置は、前記物体検出部によって検出された物体が食材であるときに、前記食材の上に、前記料理の調理方法を指示する調理指示映像を投影するように前記投影装置を制御する
   請求項４又は５に記載の厨房支援システム。
7. 前記調理スペースを撮像する撮像装置と、
   前記撮像装置が撮像した記録映像を、前記記録映像の時間情報と前記料理の調理担当者の識別情報との少なくとも一方と対応付けて記憶する記憶装置と、を更に備える
   請求項１〜６のいずれか１項に記載の厨房支援システム。

Images