JP2019159524A - 情報処理装置、料理の提供タイミングの決定方法、及びプログラム - Google Patents

Abstract

【課題】会食者に適切なタイミングで料理を提供する。【解決手段】情報処理装置は、飲食物の提供場所で会食する会食者の撮像画像を取得する取得部と、撮像画像を用いて会食者の状態を判定する判定部と、会食者に時間を空けて提供される複数の料理のうち、２番目以降に提供する料理の提供タイミングを会食者の状態に基づいて決定する決定部とを含む。【選択図】図４

Description

本発明は、情報処理装置、料理の提供タイミングの決定方法、及びプログラムに関する。

レストランや居酒屋等の飲食店におけるサービス向上に関する従来技術として以下のものがある。例えば、顧客に給仕サービスを行う店員が携帯する端末から受信した顧客のオーダデータに基づいて、コントローラがメニュー−テーブルウェア関連マスタと配膳手順マスタとを参照し、オーダデータに従って調理した料理の配膳手順を示す配膳データを生成し、配膳データを料理の調理の完了時点で端末に送信する技術がある（例えば、特許文献１）。また、食卓に向かう人体から放射される赤外線を検知することで当該人体が動いているか否かを検出し、人体の検出頻度に基づいて人体の動きが食物を摂取する食事行動であるか否かを判別する技術がある（例えば、特許文献２）。

特開２００７−３２８３８５号公報 特開２００４−０８１４７１号公報

飲食店において、顧客に対する料理の提供タイミングが適切でないと、ＣＳ（顧客満足）の低下につながる。しかし、従来技術では、配膳手順を生成するだけで、適切な配膳タイミングを導くことはできない。また、人体の動きが食事行動であるか否かを判別できたとしても、その結果は最適な提供タイミングの決定に繋がらない。

本発明は、上記実情に鑑みなされたものであって、会食者に適切なタイミングで料理を提供することのできる技術を提供することを目的とする。

本発明の第一側面は、飲食物の提供場所で会食する会食者の撮像画像を取得する取得部と、前記撮像画像を用いて前記会食者の状態を判定する判定部と、前記会食者に時間を空けて提供される複数の料理のうち、２番目以降に提供する料理の提供タイミングを前記会食者の状態に基づいて決定する決定部とを含む情報処理装置である。

本発明に係る情報処理装置によれば、撮像画像に基づいて判定される会食者の状態に基づいて、２番目以降に提供する料理の提供タイミングを決定することができる。このため、会食の雰囲気（例えば、場が盛り上がっている、盛り上がっていないなど）に合わせて料理の提供タイミングを遅らせたり早めたりすることができる。例えば、場が盛り上がっている場合には、水を差さないように提供タイミングを遅らせる。或いは、場が盛り上がっていない場合には、場を変える（話題を提供する）ために提供タイミングを早める。このように、会食者に適切なタイミングで料理を提供することができる。

料理の提供場所は、例えば、会食、すなわち複数人が集まって飲食することが可能な店舗（飲食店）や施設（ホールやコートなど）を含む。飲食店は、レストランや居酒屋などであるが、店舗や施設の営業形態、提供される飲食物（料理）の種類や提供可能な種類の数は、店舗や施設が複数の料理（メニュー）が時間を空けて提供される形態を採れる限り
制限されない。会食者の状態は、例えば、会食者の顔の表情やその変化、会食者の人体の所定部分の動きを含む。人体の所定部分は、手、頭、上体などを含む。会食者の撮像画像は、会食者の状態を判定し得る限り、可視光画像であっても非可視光画像であってもよい。非可視光画像は、例えば、赤外線画像を含む。時間を空けて提供される複数の料理は、全て異なる種類の料理であっても、一部が同種の料理であっても、全て同種の料理であってもよい。

本発明に係る情報処理装置は、例えば、以下のような構成を採用してもよい。例えば、前記判定部は、前記撮像画像を用いて、前記会食者の顔の表情を判定し、前記決定部は、前記２番目以降に提供する料理の提供タイミングを、前記表情に基づいて決定してもよい。また、例えば、前記決定部は、前記顔の表情がポジティブな表情と判定される場合や、前記顔の表情がポジティブな表情への変化と判定される場合に、次に提供する料理の提供タイミングを遅くする。或いは、前記決定部は、前記表情がネガティブな表情と判定される場合や、前記顔の表情がネガティブな表情への変化と判定される場合に、次に提供する料理のタイミングを早める。或いは、このように、顔の表情から場の盛り上がり具合を判定し、料理の提供タイミングを決定することで場の雰囲気を壊さないタイミングで料理を提供したり、雰囲気や話題を変えたいタイミングで料理を提供したりすることができる。これにより、顧客満足度の向上を図ることができる。ここに、ポジティブな表情は、例えば、笑顔、喜びや驚きを示す表情を含む。ネガティブな表情は、例えば、非笑顔、無表情、怒り、悲しみを示す表情を含む。ただし、表情の種類の数は適宜選択することができる。

また、本発明に係る情報処理装置は、以下の構成を採用してもよい。例えば、前記判定部は、前記撮像画像を用いて、前記会食者の人体の所定部分の動きを判定し、前記決定部は、前記２番目以降に提供する料理の提供タイミングを、前記人体の所定部分の動きに基づいて決定してもよい。例えば、前記判定部は、所定時間における前記人体の所定部分の移動量を判定し、前記決定部は、前記移動量に基づいて、次に提供する料理の提供タイミングを決定してもよい。或いは、前記判定部は、所定時間における、前記撮像画像中の所定エリア内に前記人体の所定部分が検出される回数を判定し、前記決定部は、前記回数に基づいて、次に提供する料理の提供タイミングを決定してもよい。例えば、移動量や回数が所定値より多い場合に、食事の進み方が速いと判断して、次の料理の提供タイミングを早めることができ、顧客が次の料理が出てこないことに不快感を覚えるような状況を回避することができる。

また、本発明に係る情報処理装置は、以下の構成を採用してもよい。例えば、前記撮像画像から前記会食者の顔が検出される場合に、前記判定部が前記撮像画像を用いて前記会食者の表情の変化を判定するとともに、前記決定部が前記２番目以降に提供する料理の提供タイミングを前記表情に基づいて決定し、前記撮像画像から前記会食者の顔が検出されない場合に、前記判定部が前記撮像画像を用いて前記会食者の人体の所定部分の動きを判定するとともに、前記決定部が前記２番目以降に提供する料理の提供タイミングを前記人体の所定部分の動きに基づいて決定する。このようにすれば、撮像画像から顔が検出できるか否かに応じて、状態の判定手法を使い分けることができる。従って、顔が検出できない場合にまで、顔の表情を用いる判定がなされるのを回避することができる。

また、本発明に係る情報処理装置は、以下の構成を採用してもよい。例えば、複数の会食者のグループが並列に会食を行う場合に、前記判定部は、前記複数の会食者のグループの夫々についての前記会食者の状態を判定し、前記決定部は、複数の会食者のグループの夫々についての前記会食者の状態に基づいて、前記複数の会食者のグループについての料理の調理順を変更する。この場合、例えば、前記決定部は、前記複数の会食者のグループの夫々についての前記会食者の状態に基づいて、前記複数の会食者のグループ中の第１グ
ループへの料理の調理順を、前記第１グループと異なる前記複数の会食者のグループ中の第２グループへの料理の調理順より遅らせる。このようにすれば、第１グループの場が盛り上がっていて料理の提供の多少の遅れを気にしない状態になっている一方で第２グループの場が盛り下がっているような場合に、調理順を変更して第２グループに料理が早期に提供されるようにすることができる。また、例えば、複数の会食者のグループが並列に会食を行う場合に、前記判定部は、前記複数のグループについての前記会食者の状態を判定し、前記決定部は、前記各グループについての前記会食者の状態に基づいて、前記複数のグループ中の所定グループについての料理の提供タイミングの優先順位を所定グループ以外についての料理の提供タイミングより下げてもよい。例えば、複数の会食者のグループが存在し、あるグループの会話が盛り上がっている場合に、そのグループの料理の提供タイミングの優先順位を、そのグループの注文タイミングより遅いタイミングで料理を注文した他のグループより下げる。これによって、当該他のグループに料理が提供されるタイミングを早めることができる。これにより、料理の提供を待たせない、という印象を会食者に与え、顧客満足度を高めることができる。

本発明の第二側面は、飲食物の提供場所で会食する会食者の撮像画像を取得し、前記撮像画像を用いて前記会食者の状態を判定し、前記会食者に提供する複数の料理のうち、２番目以降に提供する料理の提供タイミングを前記会食者の状態に基づいて決定することを含む料理の提供タイミングの決定方法である。

本発明の第三側面は、飲食物の提供場所で会食する会食者の撮像画像を取得するステップと、前記撮像画像を用いて前記会食者の状態を判定するステップと、前記会食者に提供する複数の料理のうち、２番目以降に提供する料理の提供タイミングを前記会食者の状態に基づいて決定するステップとをコンピュータに実行させるプログラムである。

本発明によれば、会食者に適切なタイミングで料理を提供することができる。

図１は、本発明の実施形態に係る制御システムの概要説明図である。 図２は、図１に示した制御システムの構成例を模式的に示す。 図３は、実施形態１に係るサーバにおける処理の例を示すフローチャートである。 図４は、表情の判断手法を説明する表である。 図５は、実施形態２に係るサーバにおける処理の例を示すフローチャートである。 図６は、実施形態３に係るサーバにおける処理の例を示すフローチャートである。 図７は、実施形態４に係る制御システムの概要説明図である。 図８は、実施形態４に係る制御システムの構成を模式的に示す。 図９は、実施形態４に係るサーバの処理例を示すフローチャートである。

＜適用例＞
図１は、本発明の実施形態に係る制御システムの概要説明図である。図１において、制御システムは、ネットワーク１と、ネットワーク１に接続されたカメラ１０１、サーバ１０３、注文用端末１０４、ディスプレイ１０５を含んでいる。サーバ１０３は、本発明に係る情報処理装置の一例であり、料理の提供タイミングの決定方法を実行する。

レストラン（飲食物の提供場所の一例）には、複数の会食者２０１が料理の飲食に使用
する椅子２０２及びテーブル２０３が設置されており、テーブル２０３上には、卓上タイプの注文用端末１０４が置かれている。注文用端末１０４はカメラ１０４Ａを有しており、カメラ１０４Ａは、会食の様子、例えば、複数の会食者２０１が椅子２０２に座ってテーブル２０３上の食器２０４に盛られた料理を食しながら会話する様子を撮像する。カメラ１０４Ａの撮像画像は、ネットワーク１を介してサーバ１０３へ送られる。また、テーブル２０３の上方には、監視用のカメラ１０１が設置されており、カメラ１０１の撮像画像は、ネットワーク１を介してサーバ１０３へ送られる。撮像画像は、会食者２０１の状態を判定し得る解像度で複数の会食者２０１の会食の様子を撮像することができる限り、カメラ１０４Ａで撮像されたものでもカメラ１０１で撮像されたものでもよい。

会食者２０１は、注文用端末１０４を操作して、レストランが提供可能な料理の選択肢（メニュー）から、注文したい複数の料理のメニューを入力し、その注文内容を確定する操作を行う。注文が確定された複数の料理のメニューを示す情報（注文内容情報と称する）は、ネットワーク１を介してサーバ１０３へ送信される。

サーバ１０３は、注文内容情報を受け付け、注文された複数の料理のメニューの夫々についての暫定的な提供タイミングである暫定タイミングを決定する。例えば、提供タイミングは、厨房から飲食場所への料理の搬出開始のタイミングであり、暫定タイミングは、それまでの間に調理及び提供場所への搬出準備が完了することを前提として定められる。カメラ１０１を用いた会食者２０１の撮像は、例えば、最初の料理の提供（配膳）を契機に開始される。但し、最初の料理の提供の前後で撮像が開始されてもよい。カメラ１０１の撮像の開始及び終了は、例えば、サーバ１０３又は他の装置からの指示によって制御される。

サーバ１０３は、撮像画像を用いて会食者２０１の状態を判定する。例えば、状態として、会食者２０１の顔の表情やその変化を判定する。但し、状態は、会食者２０１の人体の所定部分（手、頭、状態など）の動きについて判定してもよい。

一例として、表情やその変化を判定する場合、サーバ１０３は、会食者２０１の顔画像を撮像画像から抽出し、顔の表情を解析する。サーバ１０３は、表情の解析を、間隔を空けて撮像された複数の撮像画像（フレーム）について行う。解析の結果、例えば、表情がポジティブな表情である、又はネガティブな表情へ変化（例えば非笑顔から笑顔へ変化）していると判定する場合には、場が盛り上がっている、或いは会話が弾んでいると考えられる。この場合、サーバ１０３は、次に提供する料理の提供タイミングを暫定タイミングより遅らせる。これにより、会話が盛り上がっている状態を長引かせることができる。

これに対し、例えば、表情がネガティブな表情である、又はネガティブな表情に変化（例えば、笑顔から非笑顔へ変化）していると判定する場合には、場が盛り下がっている、或いは会話が弾んでいないと考えられる。この場合、サーバ１０３は、次に提供する料理の提供タイミングを暫定タイミングより早める。次の料理の提供を以て、場の雰囲気を変えたり、会話のきっかけをつくったりするためである。

サーバ１０３は、暫定タイミングから変更された料理の提供タイミングを、サーバ１０３に接続され、例えば厨房に置かれたディスプレイ１０５に表示して、調理人や配膳人に報知する。調理人や配膳人は、変更後の提供タイミングを参照して、調理や料理の飲食場所への搬出を行う。

このように、制御システムによれば、サーバ１０３が、表情の変化に応じた料理の提供タイミングを決定する（適用例では、暫定タイミングからの変更を行う）。これによって、会食の雰囲気や会話の状況に対して好適に作用するようなタイミングで料理を提供する
ことができる。これによって、顧客満足度の向上を図ることができる。

＜実施形態１＞
＜＜構成＞＞
図１は、本発明の実施形態１に係る制御システムの概要説明図である。また、図２は、図１に示した制御システムの構成例を模式的に示す。図１において、制御システムは、ネットワーク１と、カメラ１０１、サーバ１０３、注文用端末１０４、ディスプレイ１０５を含んでいる。ネットワーク１は、例えば、ＬＡＮやＷＡＮであり、セルラー網や無線網などを含む場合もある。

注文用端末１０４は、例えば、テーブル２０３の上などに置かれる。注文用端末１０４はカメラ１０４Ａを有し、椅子２０２及びテーブル２０３を用いて会食を行う複数の会食者２０１を撮像する。また、監視用のカメラ１０１も、複数の会食者２０１の会食の様子を撮像することができる。カメラ１０１は、単体であっても人感センサ内に備えられていてもよい。カメラ１０４Ａ及びカメラ１０１は、会食者２０１の上方、側方など、会食者２０１の状態を得るに適した撮像画像を撮像できる限り、適宜の位置へ配置可能である。カメラ１０４Ａやカメラ１０１によって撮像された撮像画像は、ネットワーク１を介してサーバ１０３へ送信される。

注文用端末１０４は、例えば、ディスプレイとタッチパネルとを含む。ディスプレイには、注文可能な料理のメニュー（選択肢）が表示され、会食者２０１は、タッチパネルを用いて、注文を所望する複数のメニューの内容（注文内容）と、注文内容の確定とを注文用端末１０４に入力することができる。確定された注文内容は、ネットワーク１を介してサーバ１０３に送信される。なお、注文の受付は、注文用端末１０４の代わりに、店舗の従業員等が携帯する端末を用いて行われてもよい。

複数の会食者２０１は、複数種類の料理を注文し、これらの料理を分け合って食べることが少なくない。また、会食者２０１が同種又は異種の料理を追加注文する場合もある。これらの場合に、個々の料理の調理時間の違いや注文のタイミングの違いによって、会食者２０１に複数の料理が時間を空けて提供される状況が生じる。また、コース料理のような、時間を空けて提供される複数の料理のセットを会食者２０１が注文した場合にも、会食者２０１に複数の料理が時間を空けて提供される状況が生じる。サーバ１０３は、上記の状況において、２番目以降に提供する料理の提供タイミングを、撮像画像における会食者２０１の状態に基づいて決定する。

図２において、サーバ１０３は、制御部１１と、画像取得部１２と、画像処理部１３と、撮像画像データの記憶部１４と、注文受付部１５と、暫定タイミング算出部１６と、注文内容データの記憶部１７と、状態判定部１８と、タイミング変更部１９とを含む。

制御部１１は、提供タイミングの決定処理に係る制御を行う。撮像部２１は会食者２０１を撮像する。カメラ１０４Ａやカメラ１０１は撮像部２１の一例である。画像取得部１２は、本発明に係る取得部の一例であり、撮像部２１によって撮像された撮像画像、例えば、ネットワーク１を介してサーバ１０３がカメラ１０４Ａから受信した撮像画像を取得する。画像処理部１３は、画像取得部１２から撮像画像を受け取り、所定の画像処理を行う。所定の画像処理は、例えば顔画像の抽出である。記憶部１４は、撮像画像や顔画像のデータを含む撮像画像データを記憶する。

注文情報入力部２２は、注文内容の入力やその注文内容の確定の入力に使用される。図１に示した注文用端末１０４は、注文情報入力部２２の一例である。注文受付部１５は、確定された注文内容、例えば、サーバ１０３がネットワーク１を介して注文用端末１０４
から受信した注文内容を示す情報を受け付ける。

暫定タイミング算出部１６は、例えば、注文内容に含まれる各メニュー（料理）と、そのメニューの提供の所要時間（コース料理のメニューであれば、コースに含まれる各料理の提供予定時間）を示す情報を管理している。暫定タイミング算出部１６は、所要時間や提供予定時間を示す情報を用いて、注文されたメニューの料理の夫々を会食者２０１に提供する予定時刻（暫定タイミング）を算出する。暫定タイミング算出部１６は、注文内容と、各メニューに対応する暫定タイミングを示す情報とを記憶部１７に記憶する。

状態判定部１８は、本発明に係る判定部の一例である。状態判定部１８は、例えば、画像処理部１３からの画像処理の終了通知を受けて、記憶部１４に記憶された撮像画像データを用いて、会食者２０１の状態を判定する。状態は、例えば、会食者２０１の顔の表情の変化である。例えば、表情がポジティブな表情に変化していると判定される場合、会食の場が盛り上がっていると推定される。この場合、飲食の進行が遅くなる（会話に夢中など）と考えられる。これに対し、表情がネガティブな表情に変化していると判定される場合、会食の場が盛り下がっていると推定される。この場合、飲食の進行は早い（次の料理の提供を場を変える手段として利用したい）と考えられる。

タイミング変更部１９は、本発明に係る決定部の一例である。タイミング変更部１９は、例えば、状態判定部１８から、会食者２０１の状態の判定結果を受け取って動作する。タイミング変更部１９は、状態の変化を示す判定結果が示された場合に、次に提供タイミングが到来する料理（２番目以降に提供される料理の一例）についての提供タイミング（記憶部１７に記憶されている）を変更する。例えば、ポジティブな表情への変化と判定された場合に、タイミング変更部１９は、次に提供される料理の提供タイミングを遅らせる。逆に、ネガティブな表情への変化と判定された場合に、タイミング変更部１９は、次に提供される料理の提供タイミングを早める。このようにして、タイミング変更部１９が変更した（決定した）提供タイミングによって、記憶部１７に記憶された暫定タイミング（提供タイミング）が更新される。

また、暫定タイミングの変更は、次以降に提供される料理のうちの一部を対象としても全てを対象としてもよい。例えば、次の（現時点から最先の）提供タイミングでの提供が予定される料理の提供タイミングを暫定タイミングとの比較において遅らせたり早めたりしてもよい。また、次以降の料理のうちの一部又は全部の提供タイミングの間隔を広げたり縮めたりすることで、暫定タイミングからの変更を図ってもよい。

会食者２０１の状態の判定は、複数人の会食者２０１の一人の状態の判定結果に着目するのでも、２以上の会食者２０１についての状態の判定結果をスコア化し、スコアの平均値や合計値が閾値を超過するかによって状態を判定するようにしてもよい。

情報出力部２３は、暫定タイミングを示す情報と、暫定タイミングからの変更の有無と、変更がある場合の変更後の提供タイミングを示す情報とを出力する。例えば、図１に示したディスプレイ１０５は、情報出力部２３の一例である。但し、情報の出力は、ディスプレイ１０５（表示装置）による情報表示の他に、スピーカからの音声出力、ランプの点灯、点滅、或いはこれらの組み合わせによって行うことができる。

暫定タイミングや変更後の提供タイミングは、例えば時刻で表現する。もっとも、変更後の提供タイミングは、暫定タイミングを示す時刻からの相対値（例えば、「＋５分」（５分遅くする）や「−５分」（５分早める）など）で示してもよい。或いは、変更後の提供タイミングは、暫定タイミングとの関係を示す情報（例えば、「遅くする」、「早める」など）であってもよい。要は、変更後の提供タイミングの情報の詳細度は適宜設定可能
である。また、暫定タイミングを含む提供タイミングは、料理を厨房から搬出可能となったタイミング（搬出可能タイミング）からの相対値で表現されてもよい。例えば、搬出可能タイミングから２分経過時点が暫定タイミングである場合に、経過時点を３分に変更して提供タイミングを遅めたり、経過時点を１分に変更して提供タイミングを早めたりしてもよい。要は、料理の提供を適切なタイミングで行い得る限りにおいて、暫定タイミングや変更後の提供タイミングの表現形式は問わない。

上述したサーバ１０３は、例えば、ＣＰＵ（プロセッサ）、主記憶装置（メモリ）、補助記憶装置（ハードディスクやソリッドステートドライブなどによる大容量ストレージ）、通信Ｉ／Ｆ、入力装置（キーボードやポインティングデバイスなど）、表示装置などを有するコンピュータに、必要なプログラムを実装することより構成することができる。この場合、上述した画像取得部１２、画像処理部１３、注文受付部１５、暫定タイミング算出部１６、状態判定部１８、タイミング変更部１９は、補助記憶装置に記憶されているプログラムをＣＰＵが主記憶装置に展開し実行することにより実現されることとなる。また、記憶部１４及び記憶部１７は、主記憶装置や補助記憶装置上に作成される。なお、サーバ１０３が制御部１１、画像取得部１２、画像処理部１３、注文受付部１５、暫定タイミング算出部１６、状態判定部１８、タイミング変更部１９として行う動作又は処理のうちの一部又は全部を、ＡＳＩＣやＦＰＧＡなどの回路で実現してもよい。あるいは、これらの機能のうちの一部を他のコンピュータを用いて分散処理したり、クラウドサーバに処理を依頼しその結果を取得したりしても構わない。また、図２に示した撮像部２１、画像取得部１２、画像処理部１３によって行われる、撮像から画像処理（撮像画像からの対象（顔や人体の所定部分）の検出など）までの処理が、一つのデバイス又は機器によって実行される構成が採用されてもよい。この場合、デバイス又は機器が、サーバ１０３に対し、撮像画像から抽出された顔画像などの画像データではなく、顔座標、表情、人体の座標などの、画像処理によって得られた数値データを送信する構成を採用するのが好ましい。数値データのサイズは画像データのサイズより小さくできるため、ネットワーク１のトラフィック量を削減し、ネットワーク１への負荷を軽減することができる。また、画像データは顔画像などの個人情報としての扱いが必要な情報を含むのに対し、数値データは個人を特定できない程度に抽象化できるため、個人情報流出のリスクを低減することができる。

＜＜処理例＞＞
図３は、実施形態１に係るサーバ１０３における処理の例を示すフローチャートである。図３において、Ｓ０１では、注文受付部１５が、注文情報入力部２２からの注文内容を受け付ける。注文受付部１５は、注文内容を暫定タイミング算出部１６に引き渡す。

Ｓ０２では、暫定タイミング算出部１６が、注文内容で示される複数の料理のメニューについての暫定タイミングを算出し、注文内容及び暫定タイミングを示す情報を記憶部１７に記憶する。なお、本実施形態では、一例として、制御部１１が、暫定タイミング算出部１６から暫定タイミングの計算終了を示す通知（タイミング算出の終了通知）を受けて、記憶部１７から注文内容及び暫定タイミングを示す情報を読み出し、情報出力部２３（例えばディスプレイ１０５）に出力する。これによって、調理人及び配膳人が情報出力部２３からの出力（表示）に合わせて作業を行うことが可能となる。注文内容及び暫定タイミングを示す情報は、顧客の管理単位（例えば、テーブル単位や会食者２０１のグループ単位など）で表示される。

制御部１１は、記憶部１７に記憶された暫定タイミング（提供タイミング）を監視し、現時点が提供タイミングになったかを判定する（Ｓ０３）。例えば、現時刻が直近の提供タイミングになると（Ｓ０３のＹＥＳ）、制御部１１は料理の配膳処理を行う（Ｓ０４）。例えば、制御部１１は、提供タイミングに対応する料理の配膳の指示を情報出力部２３に出力させる。配膳人は配膳の指示を受けて、料理を飲食場所（テーブル２０３）へ搬出
（配膳）する。なお、Ｓ０３の時点で暫定タイミングが変更されていなければ、暫定タイミングがそのまま使用され、暫定タイミングが変更されている場合には、変更後の提供タイミングが使用される。本実施形態では、時間を空けて提供される複数の料理のうち、初回に提供される料理については、暫定タイミングにて提供が行われる。

Ｓ０５では、制御部１１が、料理の提供が終了、すなわち、全ての料理の提供タイミングが到来したかを判定する。全ての提供タイミングが到来済みと判定する場合には（Ｓ０５のＹＥＳ）、図３の処理は終了する。これに対し、全ての提供タイミングが到来していないと判定する場合には（Ｓ０５のＮＯ）、制御部１１は、撮像部２１に撮像指示を与える（Ｓ０６）。撮像部２１は、撮像指示に応じて、会食者２０１を撮像した撮像画像を生成し、サーバ１０３へ送る。撮像は、周期的に、繰り返し行われる。

Ｓ０７では、会食者２０１の状態を判定する処理の一例として、表情抽出及び判定処理が行われる。具体的には、画像処理部１３は、画像取得部１２から得られた撮像画像から会食者２０１の顔画像を抽出する処理を行う。顔検出は、既存のあらゆる顔検出方法を適用可能である。例えば、大量の顔と非顔の学習サンプルを使って構築された判別器を使って、画像中の全てのサブウィンドウに対して顔かどうかの判別を行うことで行われる。或いは、顔の輪郭（エッジ）、テクスチャー、色成分、顔のパーツの位置関係などを特徴量として抽出し、経験的に求められたルールやモデルによって顔か否かを判別する手法が用いられてもよい。撮像画像及び顔画像は、記憶部１４に記憶される。画像処理（顔検出）の終了は、状態判定部１８に通知される。通知を受けた状態判定部１８は、会食者２０１の状態の判定を開始する。

図４は、表情の判断手法を説明する表である。状態判定部１８は、例えば、以下の二つの判断手法を用いて、会食者２０１の表情がポジティブであるかネガティブであるかを判定する。
（１）笑顔度に基づく表情の判定（第１の判定方法）
（２）表情の種別に基づく表情の判定（第２の判定方法）

第１の判定方法では、笑顔度に基づいて表情がポジティブであるかネガティブであるかを判定する。サーバ１０３が備える記憶装置（主記憶装置や補助記憶装置）には、顔の目や口の形状等に基づいて顔が笑顔か非笑顔か、或いは笑顔度を算出するルール情報が記憶されている。例えば、状態判定部１８は、会食者２０１の顔画像中の目や口の形状とルール情報とを用いて、笑顔度（例えば０〜１００の値域を持つスコア）を判定する。笑顔度の値が所定の閾値（例えば５０）以上である場合、状態判定部１８は会食者２０１の表情が笑顔（ポジティブな表情）であると判定し、そうでない場合には非笑顔（ネガティブ）と判定する。１つの撮像画像から複数の顔が検出された場合には、例えば、笑顔度のスコアの平均値が採られる。

第２の判定方法では、人の５つの表情（喜び、驚き、怒り、悲しみ、無表情（真顔））に基づいて表情がポジティブであるかネガティブであるかを判定する。サーバ１０３が備える記憶装置（主記憶装置や補助記憶装置）には、顔の目や口などの顔のパーツの形状等に基づいて顔が５表情のいずれに該当するかを算出するルール情報が記憶されている。状態判定部１８は、会食者２０１の顔画像中の顔のパーツの形状とルール情報とを用いて、会食者２０１の表情を判別（推定）する。このとき、喜びや驚きは、ポジティブな表情に位置づけられ、無表情、怒り、悲しみは、ネガティブな表情に位置づけられる。５表情のうち、例えば、喜びと驚きに度合い（例えば０〜１００の値域を持つスコア）が設定され、状態判定部１８は、喜び度のスコアと驚き度のスコアとの合計値を閾値と比較して、顔の表情がポジティブかネガティブかを判定する。１つの撮像画像から複数の顔が検出された場合には、例えば、喜び度と驚き度との合計値の平均値が算出され、閾値と比較される
。

Ｓ０７では、状態判定部１８が、提供タイミングの変更を要する状態か否かを判定する。具体的には、状態判定部１８は、第１又は第２の判定方法の少なくとも一方を用いて得られた表情の判定結果（ポジティブかネガティブか）を記憶部１４に記憶する。また、状態判定部１８は、過去のフレーム（撮像画像）に基づく過去の表情の判定結果と今回の表情の判定結果（表情の履歴）を参照する。この参照において、表情の履歴が例えば以下のパターンを示す場合に、提供タイミングを変更すべき状態と判定する。
（第１パターン）前回ネガティブであった表情が今回ポジティブに変わっている。
（第２パターン）第１パターンの逆（前回ポジティブであった表情が今回ネガティブに変わっている。）
（第３パターン）表情がネガティブからポジティブへ変化し、その後ポジティブの状態が所定回数ｎ以上連続している。
（第４パターン）表情がポジティブからネガティブへ変化し、その後ネガティブの状態が所定回数ｎ以上連続している。
第１及び第３パターンは、ネガティブからポジティブへの変化を示す。第２及び第４パターンは、ポジティブからネガティブへの変化を示す。なお、第３及び第４パターンにおけるｎの値は１以上の適宜の自然数を適用できる。

Ｓ０８において、提供タイミングの変更を要する状態と判定される場合には（Ｓ０８のＹＥＳ）、処理がＳ０９に進む。これに対し、提供タイミングの変更を要しない状態と判定される場合には（Ｓ０８のＮＯ）、処理がＳ０３へ戻る。

Ｓ０９では、タイミング変更部１９が提供タイミングを変更する。具体的には、タイミング変更部１９は、状態判定部１８から状態変化の判定結果（ネガティブからポジティブへの変化、ポジティブからネガティブへの変化）を受け取る。判定結果がネガティブからポジティブへの変化（例えば第１又は第３パターン）である場合には、タイミング変更部１９は提供タイミングを遅らせる。場が盛り上がっていると考えられるからである。これに対し、判定結果がポジティブからネガティブへの変化（例えば第２又は第４パターン）である場合には、タイミング変更部１９は提供タイミングを早める。場が盛り下がっており料理の提供で場を変えたいと考えられるからである。

提供タイミングの変更は、例えば、現在の提供タイミング（暫定タイミングの場合もある）に、所定時間を追加したり、所定時間分を減じたりすることによって行われる。所定時間の長さは、適宜設定可能である。但し、提供タイミングを直近の料理の完成時刻より前に早めることはできない。また、提供タイミングを遅くする（所定時間を追加する）場合、例えば、その次の料理の完成時刻を考慮して所定時間の長さが決定される。Ｓ０９の処理が終了すると、処理がＳ０３に戻る。なお、タイミング変更部１９は、上述した提供タイミングを変更した場合に、記憶部１７に記憶された提供タイミングを示す情報を変更後の提供タイミングを示す情報に書き換える（更新する）。タイミング変更部１９は、提供タイミングを示す情報の更新を示す更新通知を制御部１１に与える。制御部１１は、更新通知を受けて、更新された提供タイミングを示す情報を記憶部１７から読み出し、情報出力部２３に送る。これによって、情報出力部２３が更新後の提供タイミングを示す情報を出力し、提供タイミングの変更が調理人や配膳人に報知される。

なお、図３のフローでは、Ｓ０８にてポジティブの表情が連続して判定される毎に、提供タイミングが遅くされる（ネガティブの表情が連続して判定される場合はその度に提供タイミングが早められる）。但し、提供タイミングを早める方向への変更回数や遅くする方向への変更回数に上限を設けてもよい。

実施形態１によれば、会食者２０１の状態である顔の表情に基づいて、料理の提供タイミングを遅くしたり早めたりすることができる。これによって、盛り上がっている場合には場を壊さないように遅いタイミングに、盛り下がっている場合には話題や場を変えられるように早いタイミングに、料理の提供タイミングを変更することができる。これによって、飲食物を提供する店舗や施設に対する顧客満足度を向上させることができる。

＜実施形態２＞
次に、本発明の実施形態２について説明する。実施形態２は、実施形態１と同様の構成を有するので、主として異なる構成について説明し、同じ構成に係る説明は省略する。カメラ１０４Ａやカメラ１０１の設置位置によっては、会食者２０１の顔を適切に撮像できない場合があり得る。この場合、顔の表情に基づく提供タイミング変更要否を判定できない。実施形態２では、顔の表情の代わりに、会食者２０１の人体の動きに基づいて提供タイミングの変更要否を判定する。人体の所定部分は、例えば手、頭、上体などである。実施形態２では一例として、人体の所定部分が手である場合について説明する。

実施形態２に係る制御システムの構成は、図１及び図２に示したものと同様となるので説明を省略する。但し、実施形態２は、以下の点で実施形態１と異なる。実施形態２では、会食者２０１の上方（例えば天井）に設けられたカメラ１０１を、会食者２０１の撮像に用いる。卓上のカメラ１０４Ａよりも確実に会食者２０１の手を撮像できると考えられるからである。但し、人体（手など）を適切に撮像できる限り、カメラ１０４Ａの使用も考えられる。また、実施形態２では、画像処理部１３及び状態判定部１８に係る処理が実施形態１と異なる。

実施形態２では、画像処理部１３は、撮像画像から手画像を抽出する。手の抽出方法は、例えば顔画像の抽出と同様に、例えば、大量の手と非手の学習サンプルを使って構築された判別器を使って、画像中の全てのサブウィンドウに対して手かどうかの判別を行うことで行われる。記憶部１７には、フレーム毎の撮像画像と、各撮像画像から抽出された手の位置を示す情報とが記憶される。

状態判定部１８は、以下のようにして、手の動きの量を判定する。例１及び例２の処理は、撮像画像中の全ての手を対象に行われる。話の簡単のため、各会食者２０１の手は撮像画像中に含まれていることとする。
（例１）複数の撮像画像（フレーム）に関して、フレームのＸＹ座標系での手の位置を検出し、そのＸＹ座標系での手の移動量を累積していく。状態判定部１８は、所定時間（例えば５分間）の手の累積移動量が閾値以上であれば「手の動きが多い」と判定し、閾値未満であれば「手の動きが少ない」と判定する。
（例２）所定時間（例えば５分間）の間に、撮像画像内の所定の領域（例えば、食器２０４や、食器２０４が配置されるテーブル２０３上面の中央部分内）で手が検出された頻度（回数）を得る。この頻度が閾値以上であれば「手の動きが多い」と判定し、閾値未満であれば「手の動きが少ない」と判定する。
（例３）単純に、所定時間における、テーブル２０３付近の画像のフレーム間差分（単純な画像同士の画素値の引き算）をとり、差分が閾値より大きければ「動きが多い」と判定し、差分が小さければ「動きが少ない」と判定してもよい。但し、この方法はノイズが多く含まれるので、例１や例２に示した方法よりも精度が劣ると考えられる。

図５は、実施形態２に係るサーバ１０３における処理の例を示すフローチャートである。図５において、Ｓ０１〜Ｓ０５の処理は、実施形態１と同様であるので説明を省略する。Ｓ１０では、制御部１１が撮像部２１（カメラ１０１）に対して撮像指示を与えて会食者２０１を撮像する。撮像部２１にて得られた撮像画像は、画像取得部１２を介して画像処理部１３に与えられる。

Ｓ１１では、画像処理部１３が対象（手）を撮像画像から抽出する。Ｓ１２では、状態判定部１８が、撮像画像及び手の画像を用いて、「手の動きの量」を判定する。手の動きの量の判定は、上記した例１〜例３に示した方法のいずれかを適用できる。状態判定部１８は、「（手の）動きが多い」ことを、食事の進み方（食事のスピード）が速いと判定し、「（手の）動きが少ない」ことを食事の進み方が遅いと判定する。状態判定部１８の判定結果はタイミング変更部１９に与えられる。

Ｓ１３では、タイミング変更部１９が、現在の提供タイミングを変更する。すなわち、食事の進み方が遅いと判定される場合、タイミング変更部１９は、現在の提供タイミングの時間に所定時間を加えた時間を新たな提供タイミングとして更新する。これに対し、食事の進み方が速いと判定される場合に、タイミング変更部１９は、現在の提供タイミングの時間から所定時間を減じた時間を新たな提供タイミングとして更新する。Ｓ１３の終了後、処理はＳ０３に戻る。

実施形態２によれば、人体（手）の動きの量に基づいて提供タイミングを変更することができる。

＜実施形態３＞
次に、本発明の実施形態３について説明する。実施形態３は、実施形態１及び実施形態２と同様の構成を有するので、主として異なる構成について説明し、同じ構成に係る説明は省略する。

図６は、実施形態３に係るサーバ１０３における処理の例を示すフローチャートである。図６において、Ｓ２１の処理は、図３や図５に示したＳ０１及びＳ０２の処理の後に行われる。Ｓ２１では、制御部１１が撮像部２１に撮像指示を出し、会食者２０１の撮像画像を得る。Ｓ２２では、画像処理部１３が撮像画像からの顔検出を行う。Ｓ２３〜Ｓ２５の処理は、例えば制御部１１が行う。Ｓ２３では、画像処理部１３は、顔検出ができたか否かを判定する。

顔検出ができたと判定する場合（Ｓ２３のＹＥＳ）、画像処理部１３が顔検出ができた旨を状態判定部１８へ通知し、状態判定部１８が表情をセンシング対象（検出対象）に決定する（Ｓ２４）。その後、図３に示したＳ０３以降の処理が実行される。これに対し、顔検出ができなかったと判定する場合（Ｓ２３のＮＯ）、画像処理部１３が顔検出ができなかった旨を状態判定部１８へ通知し、状態判定部１８が、手などの動きをセンシング対象（検出対象）に決定する（Ｓ２５）。その後、図５に示したＳ０３以降の処理が実行される。

実施形態３では、顔の検出可否に応じて、表情に基づく提供タイミング決定と動きに基づく提供タイミング決定とを使い分ける。実施形態３の構成は、例えば、椅子２０２やテーブル２０３の配置が頻繁に変わる飲食場所である。椅子２０２やテーブル２０３の位置が変わると、カメラ１０１やカメラ１０４Ａとの相対位置も変わる。このため、カメラ１０１やカメラ１０４Ａから表情を捉えられるか否かも変わる。その都度、制御システムのユーザが表情を使うか動きを見るかの設定を切り替えてもよいが、椅子２０２やテーブル２０３の配置を変えるたびに手動で設定するのは煩わしい。それゆえ、実施形態３のように、制御システムが起動時や注文受付時などに表情と動きのいずれを使うかを自動判定すると、ユーザの煩わしさを軽減できる。

もっとも、実施形態３の変形例として、表情に基づく提供タイミングの判定と、動きに基づく提供タイミングの判定との双方を行い、表情に基づく盛り上がり度合いの判定精度
の向上に用いることができる。すなわち、表情の豊かな人とあまり表情を変えない人とでは、表情に基づく判定精度にばらつきがでる。そこで、動きに基づく判定も併用することで、精度向上を図ることができる。

＜実施形態４＞
次に、本発明の実施形態４について説明する。実施形態４は、実施形態１と同様の構成を有するので、主として異なる構成について説明し、同じ構成に係る説明は省略する。

図７は、実施形態４に係る制御システムの概要説明図である。実施形態１（図１）と異なる点は、複数のテーブル２０３（図７には、テーブル２０３ａ、２０３ｂを例示）が設けられており、異なる会食者のグループが、夫々異なるテーブル２０３にて並列に会食を行うことができる点である。以下、複数の会食者のグループの例示として、テーブル２０３ａを用いる会食者グループ（第１グループと称する）とテーブル２０３ｂを用いる、第１グループと異なる会食者グループ（第２グループと称する）とがあり、これらの第１グループ及び第２グループが並列に会食する場合を例に説明する。テーブル２０３ａ、２０３ｂには、カメラ１０４Ａをそれぞれ有する注文用端末１０４ａ、１０４ｂが置かれている。

図８は、実施形態４に係る制御システムの構成を模式的に示す。実施形態１と異なる点は以下である。すなわち、注文受付部１５は、複数の注文情報入力部２２の一例である注文用端末１０４ａ、１０４ｂから第１及び第２グループの夫々の注文を受け付ける。暫定タイミング算出部１６は、複数の会食者グループ全体を対象として、注文された料理メニューの調理順（暫定調理順）と、各会食者グループに対する料理の提供タイミング（暫定タイミング）とを算出する。暫定タイミング算出部１６は、会食者グループ毎の注文内容データ（複数の料理、提供タイミング）と、調理順データとを記憶部１７に記憶させる。

注文用端末１０４ａ、１０４ｂが夫々備えるカメラ１０４Ａを複数の撮像部２１として用い、制御部１１が適宜のタイミングで各撮像部２１に撮像指示を送る。例えば、暫定タイミング算出部１６は、暫定調理順及び暫定タイミングの算出終了時に、その終了を示す終了通知を制御部１１に与え、この終了通知の受信を契機に制御部１１が撮像指示を撮像部２１に与える。また、制御部１１は、注文内容、暫定調理順、暫定タイミングを示す情報を記憶部１７から読み出して情報出力部２３に供給し、これらの情報を情報出力部２３から出力（表示等）させる。画像取得部１２及び画像処理部１３及び状態判定部１８は、実施形態１で説明した顔の表情に基づく提供タイミングの変更の要否判定に係る処理を行う。状態判定部１８は、さらに、テーブル２０３ａ、２０３ｂ間での提供タイミングについての総合的な判断を行う。タイミング変更部１９は、総合判断に基づいて、提供タイミングの変更要とされた提供タイミングについての更新を行う。また、タイミング変更部１９は、提供タイミングの変更に伴い、調理順の変更要否を判定し、変更が要であれば、調理順の変更を行う。

図９は実施形態４に係るサーバ１０３の処理例を示すフローチャートである。Ｓ１０１において、注文受付部１５は、テーブル２０３ａ（第１グループ）及びテーブル２０３ｂ（第２グループ）のいずれかからの注文を受け付ける。例えばテーブル２０３ａからの注文を受け付けたとする。Ｓ１０２では、暫定タイミング算出部１６は、テーブル２０３ａに関する暫定タイミングを決定するとともに、注文された料理全てを対象とする暫定的な調理順（暫定調理順という）を決定する。例えば、サーバ１０３が予め記憶する、料理の種別（前菜・小鉢、スープ、メイン、デザートなど）やその優先順位、料理毎の調理の所要時間、厨房設備のデータ、などに基づいて、効率的（少なくとも暫定タイミングに間に合う）な調理順を決定する。Ｓ１０３で、テーブル２０３ａからの追加注文やテーブル２０３ｂからの注文があれば、処理をＳ１０１に戻し、テーブル２０３ａ及びテーブル２０
３ｂを対象とする暫定調理順が決定される。テーブル２０３ａ及びテーブル２０３ｂからの注文内容、各注文内容に対応する暫定タイミング、及び暫定料理順は、記憶部１７に記憶される。但し、暫定調理順は調理人が作成したものがマニュアルにより（例えば入力装置２４を用いて）記憶部１７に記憶されてもよい。調理人は、変更の無い限り、暫定調理順に従って調理を行う。

Ｓ１０４では、料理が完成したか否かが判定される。この判定は、例えば制御部１１が行う。例えば、制御部１１は、調理人が料理を完成させた場合に、入力装置２４を用いてサーバ１０３に入力する、料理完成を示す情報（信号）の入力の有無を判定することで、料理が完成したかを判定することができる。なお、入力装置２４は、キー、ボタン、タッチパネルなどである。制御部１１は、料理完成の信号を得ると、その料理の提供タイミングになるのをまって（Ｓ１０５）、料理の搬出（配膳）を情報出力部２３への配膳指示出力によって指示する（Ｓ１０６）。その後、制御部１１は、注文された全ての料理が完成したかを判定し（Ｓ１０７）、全ての料理が完成した場合には処理を終了する。全ての料理が完成していない場合には、処理がＳ１０８に進む。

Ｓ１０８では、撮像部２１、画像取得部１２、画像処理部１３、状態判定部１８によって、実施形態１で説明したのと同様の表情に基づく提供タイミングの変更要否の判定処理が行われる。この判定処理は、テーブル２０３ａ、テーブル２０３ｂのそれぞれに関して行われる。

Ｓ１０９では、例えば、タイミング変更部１９（制御部１１でもよい）が、テーブル２０３ａの提供タイミングとテーブル２０３ｂの提供タイミングとについての総合的な判断を行う。例えば、テーブル２０３ａで場が盛り上がっていて次の提供タイミングを遅くすることが決定されている一方、テーブル２０３ｂで場が盛り下がっていて次の提供タイミングを早めることが決定されているとする。ここで、次にテーブル２０３ｂに提供する料理（料理Ｘとする）の調理時間が次にテーブル２０３ａに提供する料理（料理Ｙとする）の調理時間より長く、料理Ｙの調理順が料理Ｘより早く、料理Ｘ及びＹの双方ともまだ調理開始されていないと仮定する。このような場合に、タイミング変更部１９は、料理Ｘと料理Ｙとの調理順を変更する（逆にする）ことを決定する。そのようにすれば、テーブル２０３ｂへの料理Ｘを提供できるタイミングをスケジュール上で早めるだけでなく、料理Ｘの完成時点も早めて早期の提供を実現することができる。料理Ｙについては、場が盛り上がっていることから、提供のタイミングが多少遅れても会食者２０１が遅れを気にすることはない。

Ｓ１０９の判断において、調理順の変更要否が判定され（Ｓ１１０）、調理順の変更を要する場合には、調理順の変更処理が行われる（Ｓ１１１）。例えば、タイミング変更部１９が、変更後の調理順を記憶部１７に書き込むことで暫定調理順を更新し、制御部１１が情報出力部２３を介して調理人に伝達する調理順を変更する。詳細には、タイミング変更部１９は、提供タイミングや調理順を変更した場合に、記憶部１７に記憶された提供タイミングや調理順を示す情報を変更後の提供タイミングや調理順を示す情報に書き換える（更新する）。調理順の変更によって、テーブル２０３ａ（第１グループ）の提供タイミングの優先順位がテーブル２０３ｂ（第２グループ）の提供タイミングよりも下がる。タイミング変更部１９は、提供タイミングや調理順を示す情報の更新を示す更新通知を制御部１１に与える。制御部１１は、更新通知を受けて、更新された提供タイミングや調理順を示す情報を記憶部１７から読み出し、情報出力部２３に送る。これによって、情報出力部２３が更新後の提供タイミングや調理順を出力する。

このように、実施形態４では、全てのテーブルについての調理順（暫定調理順）が決定され、テーブル２０３単位で提供タイミングの変更が行われ、提供タイミングの変更に伴
い、調理順を変更することが好ましい場合には、調理順が変更される。場の雰囲気から料理の提供タイミングを早めることが好ましい状況でも、料理が完成していなければ提供できないため、提供タイミングを早められる余地は、料理の完成タイミングに依存していた。実施形態４では、調理順を変えて料理の完成タイミングを早めることができるため、場が盛り下がっているテーブル２０３ｂに対し、場を変え得る料理を早期に提供することができる。これによって、顧客満足度の向上を図ることができる。

＜変形例＞
上述した実施形態１〜４に関しては、以下のような変形が可能である。提供タイミングの変更要否の判定は、撮像画像を用いて行われている。もっとも、撮像画像だけでなく、さらに音声を以て上記の判定を行い得る。例えば、音声から得られる会話量を判定パラメータに含めることで、盛り上がり具合の精度を上げることができる。

また、実施形態２及び３では、動きに基づく提供タイミングの変更要否の判定を行った。動きに関して、例えば、手が食器２０４（皿やボウルなど）に向かって動いているか、箸やフォーク、スプーンなどを手に持って動かしているか、などを、食事の進み方（食事のスピード）の判断対象とする。これにより、食事と無関係の手の動き（身振り手振り、ジェスチャーなど）が判断から除外される。従って、判定結果の精度を上げることができる。

また、実施形態２及び３で説明した動きに関して、性別や年齢の情報も考慮して、食事のスピードを判定してもよい。例えば、女性は男性に比べて一回の動作で口に入れる食料の量が少ないため、食事のスピードは遅い。このため、手の移動量が多くても、食事のスピードが早いとは限らない。そこで、年齢や性別などの属性を考慮することで、食事のスピードについての判定の精度を向上させることができる。

＜その他＞
上記した実施形態１〜４は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

＜付記＞
（１） 飲食物の提供場所で会食する会食者（２０１）の撮像画像を取得する取得部（１２）と、
前記撮像画像を用いて前記会食者（２０１）の状態を判定する判定部（１８）と、
前記会食者（２０１）に時間を空けて提供される複数の料理のうち、２番目以降に提供される料理の提供タイミングを前記会食者（２０１）の状態に基づいて決定する決定部（１９）と
を含む情報処理装置（１０３）。
（２） 飲食物の提供場所で会食する会食者（２０１）の撮像画像を取得し、
前記撮像画像を用いて前記会食者（２０１）の状態を判定し、
前記会食者（２０１）に時間を空けて提供される複数の料理のうち、２番目以降に提供する料理の提供タイミングを前記会食者（２０１）の状態に基づいて決定する
ことを含む料理の提供タイミングの決定方法。
（３） 飲食物の提供場所で会食する会食者（２０１）の撮像画像を取得するステップと、
前記撮像画像を用いて前記会食者（２０１）の状態を判定するステップと、
前記会食者（２０１）に時間を空けて提供される複数の料理のうち、２番目以降に提供する料理の提供タイミングを前記会食者（２０１）の状態に基づいて決定するステップとをコンピュータに実行させるプログラム。

１・・・ネットワーク
１１・・・制御部
１２・・・画像取得部
１３・・・画像処理部
１４、１７・・・記憶部
１５・・・注文受付部
１６・・・暫定タイミング算出部
１８・・・状態判定部
１９・・・タイミング変更部
２１・・・撮像部
２２・・・注文情報入力部
２３・・・情報出力部
１０１、１０４Ａ・・・カメラ
１０３・・・サーバ
１０４・・・注文用端末
１０５・・・ディスプレイ
２０１・・・会食者
２０２・・・椅子
２０３・・・テーブル
２０４・・・食器

Claims (12)

1. 飲食物の提供場所で会食する会食者の撮像画像を取得する取得部と、
   前記撮像画像を用いて前記会食者の状態を判定する判定部と、
   前記会食者に時間を空けて提供される複数の料理のうち、２番目以降に提供される料理の提供タイミングを前記会食者の状態に基づいて決定する決定部と
   を含む情報処理装置。
2. 前記判定部は、前記撮像画像を用いて、前記会食者の表情を判定し、
   前記決定部は、前記２番目以降に提供する料理の提供タイミングを、前記会食者の表情に基づいて決定する
   請求項１に記載の情報処理装置。
3. 前記決定部は、前記表情がポジティブな表情と判定される場合に、次に提供する料理の提供タイミングを遅くする
   請求項２に記載の情報処理装置。
4. 前記決定部は、前記表情がネガティブな表情と判定される場合に、次に提供する料理のタイミングを早める
   請求項２又は３に記載の情報処理装置。
5. 前記判定部は、前記撮像画像を用いて、前記会食者の人体の所定部分の動きを判定し、
   前記決定部は、前記２番目以降に提供する料理の提供タイミングを、前記人体の所定部分の動きに基づいて決定する
   請求項１に記載の情報処理装置。
6. 前記判定部は、所定時間における前記人体の所定部分の移動量を判定し、
   前記決定部は、前記移動量に基づいて、次に提供する料理の提供タイミングを決定する請求項５に記載の情報処理装置。
7. 前記判定部は、所定時間における、前記撮像画像中の所定の領域内で前記人体の所定部分が検出される頻度を判定し、
   前記決定部は、前記頻度に基づいて、次に提供する料理の提供タイミングを決定する
   請求項５又は６に記載の情報処理装置。
8. 前記撮像画像から前記会食者の顔が検出される場合に、前記判定部が前記撮像画像を用いて前記会食者の表情を判定するとともに、前記決定部が前記２番目以降に提供する料理の提供タイミングを前記表情に基づいて決定し、
   前記撮像画像から前記会食者の顔が検出されない場合に、前記判定部が前記撮像画像を用いて前記会食者の人体の所定部分の動きを判定するとともに、前記決定部が前記２番目以降に提供する料理の提供タイミングを前記会食者の人体の所定部分の動きに基づいて決定する
   請求項１に記載の情報処理装置。
9. 複数の会食者のグループが並列に会食を行う場合に、前記判定部は、前記複数の会食者のグループの夫々についての前記会食者の状態を判定し、前記決定部は、複数の会食者のグループの夫々についての前記会食者の状態に基づいて、前記複数の会食者のグループについての料理の調理順を変更する
   請求項１から８のいずれか１項に記載の情報処理装置。
10. 前記決定部は、前記複数の会食者のグループの夫々についての前記会食者の状態に基づいて、前記複数の会食者のグループ中の第１グループへの料理の調理順を、前記第１グループと異なる前記複数の会食者のグループ中の第２グループへの料理の調理順より遅らせる
    請求項９に記載の情報処理装置。
11. 飲食物の提供場所で会食する会食者の撮像画像を取得し、
    前記撮像画像を用いて前記会食者の状態を判定し、
    前記会食者に時間を空けて提供される複数の料理のうち、２番目以降に提供する料理の提供タイミングを前記会食者の状態に基づいて決定する
    ことを含む料理の提供タイミングの決定方法。
12. 飲食物の提供場所で会食する会食者の撮像画像を取得するステップと、
    前記撮像画像を用いて前記会食者の状態を判定するステップと、
    前記会食者に時間を空けて提供される複数の料理のうち、２番目以降に提供する料理の提供タイミングを前記会食者の状態に基づいて決定するステップと
    をコンピュータに実行させるプログラム。