JP2005284408A - キッチン作業支援システム - Google Patents

Abstract

【課題】ユーザごとのキッチン作業状況に応じて、調理設備機能に十分対応した作業支援を自動的に行うことができるキッチン作業支援システムを提供する。
【解決手段】カメラ１２でキッチン付近の画像を撮影する。ユーザ認識部２で顔画像の特徴などからユーザ認識を行う。このデータは支援決定部４に送信される。カメラ１２で撮影された画像から作業推測部３でユーザ作業行動を推測し、その結果を支援決定部４に送信する。支援決定部４はユーザ認識結果、作業推測結果、キッチン使用状況、センサ信号、時刻を基に、参照すべき支援ＤＢを決定し、その支援内容を出力する。
【選択図】 図１

Description

本発明は、キッチンで作業を行うユーザを認識し、個々のユーザの作業行動に応じて自動的に支援内容を変更することができるキッチン作業支援システムに関する。

キッチンでユーザが調理を行う場合、ユーザが望む料理の料理レシピを表示装置に提示したり、料理方法を音声出力するシステム等がある。また、各料理毎に調理対象物とその数量とをその処理方法および処理の程度とともに案内し、この際にユーザが現在置かれている状態を判断して次の処理を決定し実行する料理ナビゲーションシステム等も提案されている。

上記システムでは、ある料理が選択されて、料理ナビゲーションにしたがって調理をお行う場合、キッチンに設置されたセンサからの信号を検知し、現在の調理状況を把握して、次の調理アドバイスを行うような構成となっている。

特開平１０−１３３７０９号公報 特開昭６３−２０１６８６号公報

しかし、上記従来の技術では、キッチン作業に対する支援が固定的であり、ユーザに合わせて動的に変更されるものではない。また、キッチン作業に必要な火力の調整等の調理設備に関する調整は、ユーザがナビゲーションにしたがって手動で行うものであり、自動的に調整が行われるものではないため、きめの細かい支援を行うことができない。

特に、最近では、システムキッチンを据え付ける家庭も多く、これらのシステムキッチンではガスコンロの火力調整、水道の水量調整などの他に作業台が調理時に引き出すようになっている機構のものがあり、従来技術では調理設備機能に十分対応した作業支援をすることができない。

本発明は、上述した課題を解決するために創案されたものであり、ユーザごとのキッチン作業状況に応じて、調理設備機能に十分対応した作業支援を自動的に行うことができるキッチン作業支援システムを提供することを目的としている。

上記目的を達成するために、請求項１記載の発明は、キッチンに配置された撮影装置と、前記撮影装置で撮影された画像からユーザを認識するユーザ認識部と、前記撮影装置で撮影された画像からキッチンでの作業行動を推測する作業推測部と、前記ユーザ認識部による認識結果と前記作業推測部による推測結果とに基づいてユーザに対する支援内容を決定する支援決定部と、前記支援決定部での決定内容を出力する音声出力装置とを備えたことを特徴とするキッチン作業支援システムである。

また、請求項２記載の発明は、前記ユーザ認識部で複数のユーザが認識された場合には、前記支援決定部でユーザの人数と構成に応じて支援内容を決定することを特徴とする請求項１記載のキッチン作業支援システムである。

また、請求項３記載の発明は、前記支援決定部ではキッチンの使用時間帯に応じて支援内容を決定することを特徴とする請求項１記載のキッチン作業支援システムである。

また、請求項４記載の発明は、前記撮影装置で撮影された画像からキッチンの使用状況を認識する使用状況認識部を備え、前記使用状況認識部での認識結果に応じて前記支援決定部で支援内容が決定することを特徴とする請求項１記載のキッチン作業支援システムである。

また、請求項５記載の発明は、キッチン周りの環境を計測するセンサ部を備え、前記センサ部の信号に基づきキッチンの周囲環境支援を前記支援決定部で決定することを特徴とする請求項１記載のキッチン作業支援システムである。

また、請求項６記載の発明は、キッチンの使用状況を検出するセンサ部を備え、前記センサ部の信号と前記作業推測部からの推測結果により複数の作業状況を認識し、この複数作業状況に応じて前記支援決定部で支援内容を決定する請求項１記載のキッチン作業支援システムである。

本発明によれば、ユーザ毎のキッチン作業行動を推測するとともに、作業環境をも把握し、これらの条件に最適な支援内容に自動的に変更することにより、ユーザ適応型のキッチンを提供することができる。また、個々のユーザやキッチンの調理設備機能に十分対応したきめの細かい作業支援を行うことができる。

以下、図面を参照して本発明の一実施形態を説明する。図１は本発明によるキッチン作業支援システムの基本構成を示す図である。

撮影装置としてカメラ１２、音声出力装置としてスピーカ１３がキッチンに設置されており、コンピュータシステム１と接続されている。コンピュータシステム１はユーザ認識部２、作業推測部３、支援決定部４、音声合成部５、基本支援ＤＢ（データベース）６、複数人数用支援ＤＢ７、時間帯別支援ＤＢ８、使用状況別支援ＤＢ９、環境別支援ＤＢ１０、作業状況別支援ＤＢ１１、使用状況認識部２４で構成されている。

また、ユーザ認識部２は顔画像認識処理部２１、ユーザ判断部２２、顔画像ＤＢ２３で構成されており、顔画像認識処理部２１は顔画像ＤＢ２３と接続されている。

作業推測部３は、現在位置認識部３１、身体方向認識部３２、視線方向認識部３３キッチン作業位置推定部３４、キッチン構造ＤＢ３５、作業推定部３６、作業類型ＤＢ３７とで構成されている。

支援決定部４は、ユーザ認識部２、使用状況認識部２４、作業推測部３、基本支援ＤＢ（データベース）６、複数人数用支援ＤＢ７、時間帯別支援ＤＢ８、使用状況別支援ＤＢ９、環境別支援ＤＢ１０、作業状況別支援ＤＢ１１に接続されているとともに、各センサ部２０、スピーカ１３に音声を出力するための音声信号を合成する音声合成部５に接続されている。各センサ部２０は温湿度計、照度計、調理器具用温度計、水量計などからなっている。

また、キッチンの調理設備機能を制御するための制御部として、作業台駆動部１４、コンロ安全機構部１５、足元灯制御部１６、作業用照明制御部１７、電動ガス弁制御部１８、電動バルブ制御部１９がキッチンに設けられており、これらの制御部も支援決定部４と接続されている。

上記構成のシステムキッチンにおける配置例を示す外観図が、図２であり、その平面図が図３である。図２、図３に示すように、ユーザの左手にはシンクが、そのさらに左側にはコンロが設けられており、コンロには調理器具用温度計４２などが設けられている。一方、ユーザの左側には作業場があり、そのさらに左側にコンピュータシステム１、スピーカ１３、温湿度計４３、照度計４４が配備されている。また、ユーザの顔や作業行動を撮影するために２台のカメラ１２がキッチン中央上部あたりに設置されている。

図１でも示されている作業台駆動部１４は作業台４９を制御・駆動するもので、図３に示すように作業台４９は通常時コンロの下方足元の部分に収納されているが、必要時に作業台駆動部１４によって作業台４９が外側に押し出されるようになっている。また、作業台駆動部１４によって作業台４９はコンロ下方の収納位置まで引き戻されるようになっている。

コンロ安全機構部１５はコンロの安全ロック４５をオン、オフにでき、足元灯制御部１６は足元灯４８を点灯、消灯、輝度調節することができ、作業用照明制御部はキッチン用照明４７を点灯、消灯、輝度調節することができ、電動ガス弁制御部１８は電動ガス弁４６を調節してコンロの火力を調整でき、電動バルブ制御部１９は電動バルブ４５を制御して温冷水の混合割合や水量を調節できるようになっている。

なお、図２、図３ではコンロの足元に作業台４９が押し出される構造としているが、これは一例であり、作業台駆動部１４及び作業台４９を図３に示すシンクまたは作業場の下方足元に収納配備して、必要時に各々の足元に作業台が押し出されるようにすることもできる。

また、水量計４１、調理器具用温度計４２、温湿度計４３、照度計４４は各センサ部２０に相当するものである。

本発明の動作を図５に示す。
まず、２台のカメラ１２でキッチン付近の画像を撮影する。顔画像認識処理部２１ではカメラ撮像画像中より顔状物体を抽出し（Ｓ１）、顔状物体の輪郭を抽出しその大きさが一定になったら、ユーザ認識を行う（Ｓ２）。また、顔状物体の輪郭が複数抽出された場合はその個数により人数を把握し（Ｓ３）、各輪郭についてユーザ認識を行う。

顔画像認識処理部２１は抽出した輪郭（特徴量）を顔画像ＤＢ２３に照合してユーザの候補を抽出する。ユーザ判断部２２は抽出されたユーザ候補を基にファジー理論などを用いてユーザ候補を組み合わせることによりユーザを決定する。この決定したユーザデータは支援決定部４に送信される。

顔画像認識処理部２１では、上記顔状物体の輪郭が一定以上の大きさの間そのユーザとして追跡する（Ｓ４）。顔状物体の輪郭が一定の大きさ未満になれば、そのユーザはキッチンを離れたとして、当該ユーザに関する作業推測は行わない。

ユーザが認識されている間は、作業推測部３でユーザ作業行動を推測する（Ｓ５）。作業行動の推測は以下のように行われる。まず、撮影されたキッチン付近の画像から現在位置認識部３１でユーザ及びキッチン周辺画像からユーザの現在位置を認識する。身体方向認識部３２ではユーザの身体画像に基づいてユーザの両肩を結ぶ線の角度などからユーザの身体の向き方向を確認する。

視線方向認識部３３でユーザの顔画像及び眼球画像からユーザの視線位置（方向）を認識する。図４にこの視線位置の検出についての概略を示す。

２台のカメラで眼球の左右の端位置Ｐ１、Ｐ３、Ｐ４、Ｐ６と黒目の中心位置Ｐ２、Ｐ５のｘｙｚ座標を求める。２台のカメラを用いていることにより３次元座標は求められる。次に、一方の眼球の中心位置座標Ｑ１を上記Ｐ１、Ｐ２、Ｐ３の３点から算出し、他方の眼球の中心位置座標Ｑ２を上記Ｐ４、Ｐ５、Ｐ６の３点の座標から各々算出する。眼球の中心Ｑ１と黒目の中心Ｐ２とを結び、もう一方の眼球の中心Ｑ２と黒目の中心Ｐ５とを結ぶ。この２直線（左右の視線）の交点が、認識位置（視線位置）となる。このようにして視線方向が認識される。

次に、現在位置認識部３１からのユーザの現在位置情報、身体方向認識部３２からの身体の向き情報、視線方向認識部３３からの視線方向情報を基に、キッチン作業位置推定部３４では、キッチンのどの位置にどのような機能部（コンロ、シンクなど）があるかを記憶しているキッチン構造ＤＢ３５を参照しながら、ユーザはキッチンのどの場所を用いて作業を行おうとしているかを推定する。

例えば、図３に示すようなキッチン構造の平面図がキッチン構造ＤＢ３５に記憶されており、この平面図上にユーザの現在位置、身体の向き、視線方向をマッピングし、図形的にユーザが使用しようとしているキッチン作業位置を推定する。

次に、作業推定部３６で、キッチン作業位置推定部３４からの作業位置推定結果を基に作業類型ＤＢ３７を参照しながら、ユーザの作業行動を推定する。作業類型ＤＢ３７には、例えば、推定作業位置が「シンク部」なら推定ユーザ作業として、「シンクを使おうとしている」という内容が、推定作業位置が「キッチン右端部」なら推定ユーザ作業として「作業場を使おうとしている」といった内容などが格納されている。推定されたユーザの作業行動は支援決定部４に送られる。

一方、カメラで撮影したキッチン風景画像から、火や水等の調理設備の使用状況を使用状況認識部２４で認識し（Ｓ６）、認識結果を支援決定部４に送信する。また、支援決定部４は、各センサ部２０からのセンサ信号を検出する（Ｓ７）。支援決定部４はユーザ認識結果、作業推測結果、キッチン使用状況、センサ信号、時刻を基に、基本支援ＤＢ（データベース）６、複数人数用支援ＤＢ７、時間帯別支援ＤＢ８、使用状況別支援ＤＢ９、環境別支援ＤＢ１０、作業状況別支援ＤＢ１１の各支援データベースから適切なデータベースを選んで参照し、支援内容を決定する（Ｓ８）。支援決定部４は支援内容に応じたデータを出力する（Ｓ９）。

以上のように動作していくが、具体的に各支援データベースによって、どのような支援が行われるのかを説明する。

図６は、基本支援ＤＢ６のデータ構造例を示す。基本支援ＤＢ６は、ユーザ認識部２で単人数と認識されて、時間帯別支援ＤＢ８に保存されている時間帯に含まれず、使用状況認識結果やセンサ部２０からの信号も検出されていないときなどに用いられるもので、基本的な支援内容が記録されている。

例えば、日常使う人に対しては自動支援はオフとされているが、保護されるべき子供がユーザ認識部２で認識され、その作業行動がシンクを使おうとしていると作業推測部３で推測された場合には、図６に示すように「作業台をだします」といったアナウンスの後、作業台を出す制御を行う。

アナウンスは、基本支援ＤＢ６を参照して発話テキストを取得し、支援決定部４がそのデータを音声合成部５に送信し、音声合成部５で音声を合成してスピーカ１３により出力することで行われる。作業台の駆動は、支援決定部４が作業台駆動部１４に制御信号を送信し、作業台駆動部１４が作業台を駆動することにより行われる。

図７は複数人数用支援ＤＢ８のデータ構造例を示す。複数人数用支援ＤＢ８は、ユーザ認識部２で複数のユーザが認識されたときに、支援決定部４がその認識結果を基に参照するデータベースを複数人数用支援ＤＢ８に切り替える。作業推測部３は、複数の各ユーザの作業を個々に推測する。この推測結果が支援決定部４に送信される。例えば、ユーザが２人認識され、いずれも子供であった場合で、作業推測の結果がコンロを使おうとしているということであれば、安全のために一次ロックをかけるという支援内容が決定する。支援決定部４は、コンロ安全機構１５に制御信号を送信して、安全ロック４５をオンにする。

図８は時間帯別支援ＤＢ８のデータ構造例を示す。コンピュータシステム１は時刻情報を有しているので、これを用いてユーザがキッチンを使用しようとしている時刻が、昼間の時間帯または深夜間であれば、支援決定部４は参照するデータベースを複数人数用支援ＤＢ８に切り替える。時刻が深夜間で、ユーザ認識部２でユーザが主婦と認識され、作業推測部３で作業場を使おうとしていると推測されれば、支援決定部４は作業場照明制御部１７に制御信号を送信して、キッチン用照明４７を点灯させる。

その他に、図８に示されるように、足元灯を点灯させる場合には、支援決定部４は足元灯制御部１６に制御信号を送信して、足元灯４８を点灯させる。 このように、深夜間では安全面を優先させた支援内容となっており、特に子供について安全に配慮した支援内容とすることができる。

図９は使用状況別支援ＤＢ９のデータ構造例を示す。使用状況認識部２４からキッチンの使用状況が認識されて送信されてきた場合は、支援決定部４は参照するデータベースを使用状況別支援ＤＢ８に切り替える。

カメラ１２で撮影された画像により、使用状況認識部２４でコンロの火力が過剰であると判断され、ユーザ認識部２で子供であると認識された場合は、支援決定部４は「危ない」との注意をアナウンスし、火力を自動調整するように制御する。「危ない」とのアナウンスは上述したように使用状況別支援ＤＢ９から発話テキストを取得して音声合成部５で合成し、合成された音声をスピーカ１３から出力する。一方、支援決定部４が電動ガス弁制御部１８に制御信号を送信し、電動ガス弁４６の開閉度を変化させることでコンロ火力の自動調整を行う。

また水量調節の場合は、支援決定部４が電動バルブ制御部１９に制御信号を送信し、電動バルブ４５の開閉度を変化させる。

図１０は環境別支援ＤＢ１０のデータ構造例を示す。各センサ部２０の中のキッチン周囲環境を計測するセンサから検出信号が支援決定部４に送信され、その検出信号により周囲環境に問題があると判断した場合は、支援決定部４は参照するデータベースを環境別支援ＤＢ１０に切り替える。

例えば、キッチン周囲環境を計測するセンサとして、温湿度計４３と照度計４４が取り付けられている。照度計４４からの検出信号で周囲の照度が低いと判断され、作業推測部３で作業場を使おうとしていると推測され、ユーザが主婦と認識された場合は、作業場照明を点灯するために、支援決定部４は作業用照明制御部１７に制御信号を送信し、キッチン用照明４７を点灯させる。

また、温湿度計４３により検出された信号により周囲の気温が低いと判断された場合で、作業推測部３で洗いものをしようとしていると推測され、ユーザが主婦と認識された場合は、お湯を出すために、支援決定部４は電動バルブ制御部１９に制御信号を送信し、電動バルブ４５を動作させ、水と湯の混合比率を変えるなどしてお湯を出す。

図１１は作業状況別支援ＤＢ１１のデータ構造例を示す。各センサ部２０の中のキッチン使用状況を表すセンサからの検出信号や作業推測部３の推測結果などから、ユーザが複数の作業を同時に行おうとしている場合に、支援決定部４は参照するデータベースを作業状況別支援ＤＢ１１に切り替える。

例えば、水量計４１からの検出信号により水を出しっぱなしにしていることが判別され、作業推測部３の作業推測結果から作業場を使おうとしていると推測され、ユーザが主婦と認識された場合何も支援しないことになる。

また、調理器具用温度計４２で検出した信号から鍋底の温度が上昇しているかどうか判断でき、水量計４１の検出信号から水を勢い良く出しているかどうか判断することができる。このように、センサ部からの信号から複数の作業状態を判断しても良いし、使用状況認識部２４により使用状況を推定するようにしても良い。

複数の作業を認識した場合には、作業状況別支援ＤＢ１１を参照して支援内容を決定する。図１１中の支援内容で、水圧の自動調整は電動バルブ４５を用いて行われ、コンロオフは電動ガス弁４６を用いて行われる。

本発明のキッチン作業支援システムの基本構成例を示す図である。 システムキッチンにおける配置外観例を示す図である。 図２の平面図である。 視線位置検出方法についての概略を示す図である。 図１の構成の動作を示すフローチャート図である。 基本支援ＤＢ６のデータ構造例を示す図である。 複数人数用支援ＤＢ８のデータ構造例を示す図である。 時間帯別支援ＤＢ８のデータ構造例を示す図である。 使用状況別支援ＤＢ９のデータ構造例を示す図である。 環境別支援ＤＢ１０のデータ構造例を示す図である。 作業状況別支援ＤＢ１１のデータ構造例を示す図である。

Claims (6)

1. キッチンに配置された撮影装置と、
   前記撮影装置で撮影された画像からユーザを認識するユーザ認識部と、
   前記撮影装置で撮影された画像からキッチンでの作業行動を推測する作業推測部と、
   前記ユーザ認識部による認識結果と前記作業推測部による推測結果とに基づいてユーザに対する支援内容を決定する支援決定部と、
   前記支援決定部での決定内容を出力する音声出力装置とを備えたことを特徴とするキッチン作業支援システム。
2. 前記ユーザ認識部で複数のユーザが認識された場合には、前記支援決定部でユーザの人数と構成に応じて支援内容を決定することを特徴とする請求項１記載のキッチン作業支援システム。
3. 前記支援決定部ではキッチンの使用時間帯に応じて支援内容を決定することを特徴とする請求項１記載のキッチン作業支援システム。
4. 前記撮影装置で撮影された画像からキッチンの使用状況を認識する使用状況認識部を備え、前記使用状況認識部での認識結果に応じて前記支援決定部で支援内容が決定することを特徴とする請求項１記載のキッチン作業支援システム。
5. キッチン周りの環境を計測するセンサ部を備え、前記センサ部の信号に基づきキッチンの周囲環境支援を前記支援決定部で決定することを特徴とする請求項１記載のキッチン作業支援システム。
6. キッチンの使用状況を検出するセンサ部を備え、前記センサ部の信号と前記作業推測部からの推測結果により複数の作業状況を認識し、この複数作業状況に応じて前記支援決定部で支援内容を決定する請求項１記載のキッチン作業支援システム。
   

Images