JP2017162027A - 注文入力装置および注文入力方法 - Google Patents

Abstract

【課題】注文されたメニューの配膳を行うことを容易にすることができる注文入力装置および注文入力方法を提供することを目的とする。【解決手段】注文入力装置は、表示部と、客の注文を受付ける入力部と、客とテーブルを含む映像を撮像する撮像部と、アバター候補を記憶する記憶部と、撮像した映像から客の特徴量を抽出して、抽出した特徴量に基づいて客に対応するアバター候補を記憶部から選択し、選択したアバター候補を客に対応するアバターとして表示部に表示し、入力部が受け付けた注文内容を示す情報を、アバターに対応付けて表示部に表示するとともに、注文データとして記憶する制御部と、を備える。【選択図】図３

Description

本発明は、注文入力装置および注文入力方法に関する。

レストラン、居酒屋、カラオケ店などの店舗では、注文内容をハンディターミナルに入力し、入力された注文をハンディターミナルから注文管理装置に送信するオーダー管理システムが使用されている。オーダー管理システムにおいて、オーダー入力時に、注文内容とは別に、客を識別するために、テーブル番号、人数、客層、オーダーを入力した店員の識別番号などの情報を入力する必要がある。

注文入力装置を客が操作して、メニューとその数量を入力するシステムが提案されている。このようなシステムにおいて、メニューとその数量を入力する際に、客の分身となるキャラクタであるアバターを選択し、選択したアバターにメニューとその数量を対応付けた注文データを生成することが提案されている。ここで、用意されているアバターは、動物のイラスト等である（例えば、特許文献１参照）。

特開２０１４−１６４６０９号公報

しかしながら、特許文献１に記載の技術では、アバターは客が選択しているので、テーブルの椅子に着席している仲間が互いに誰が何を注文し、それぞれが注文した合計金額等が分かっても、店舗の従業員には、実際に注文を行った客を判別することができなかった。

本発明は、上記の問題点に鑑みてなされたものであって、注文されたメニューの配膳を行うことを容易にすることができる注文入力装置および注文入力方法を提供することを目的とする。

（１）上記目的を達成するため、本発明の一態様に係る注文入力装置は、表示部と、客の注文を受付ける入力部と、前記客とテーブルを含む映像を撮像する撮像部と、アバター候補を記憶する記憶部と、撮像された映像から前記客の特徴量を抽出して、抽出した特徴量に基づいて客に対応する前記アバター候補を前記記憶部から選択し、選択した前記アバター候補を前記客に対応するアバターとして前記表示部に表示し、前記入力部が受け付けた注文内容を示す情報を、前記アバターに対応付けて前記表示部に表示するとともに、注文データとして記憶する制御部と、を備える。

（２）また、本発明の一態様に係る注文入力装置において、前記制御部は、複数の前記アバター候補を選択可能に前記表示部に表示し、選択を受けて前記客に対応する前記アバターを決定するようにしてもよい。

（３）また、本発明の一態様に係る注文入力装置において、前記記憶部は、前記アバター候補を、年齢層毎、性別毎に記憶し、前記アバター候補は、顔の部分の画像およびアクセサリーの画像をパーツとして備え、前記制御部は、前記注文入力装置の操作者の操作に応じて、前記アバター候補を前記パーツを用いて変更するようにしてもよい。

（４）また、本発明の一態様に係る注文入力装置は、音響信号を取得する音響信号取得部、を備え、前記制御部は、前記音響信号取得部が取得した音響信号に対して音源定位と音声認識を行い、前記音源定位と前記音声認識した結果に応じて前記客の注文を前記アバターに対応付けて受け付けるようにしてもよい。

（５）また、本発明の一態様に係る注文入力装置において、前記制御部は、前記音源定位と前記音声認識した結果、前記音源定位できなかった注文内容、および前記音声認識できなかった注文内容を、前記アバターに対応付けずに前記表示部に表示するようにしてもよい。

（６）また、本発明の一態様に係る注文入力装置において、前記制御部は、撮像された前記映像から前記テーブルの特徴量を抽出し、抽出した前記特徴量に基づいて前記テーブルを識別するものとし、前記テーブルの客が複数の場合に前記複数の客全体が注文した注文内容を、前記テーブルに対応付けて前記表示部に表示するようにしてもよい。

（７）また、本発明の一態様に係る注文入力装置において、前記制御部は、１つのメニューが複数注文された場合、当該メニューに関する注文内容を複数、前記表示部に選択可能に表示するとともに、選択を受付けた前記注文内容それぞれを対応する客の前記アバターに対応付けて前記表示部に表示し、注文データとして記憶するようにしてもよい。

（８）上記目的を達成するため、本発明の一態様に係る注文入力方法は、表示部と客の注文を受付ける入力部とアバター候補を記憶する記憶部とを有し、注文入力装置における注文入力方法であって、撮像部が、客とテーブルを含む映像を撮像する撮像手順と、制御部が、撮像手順によって撮像された映像から前記客の特徴量を抽出して、抽出した特徴量に基づいて客に対応する前記アバター候補を前記記憶部から選択し、選択した前記アバター候補を前記客に対応するアバターとして前記表示部に表示するアバター表示手順と、前記制御部が、前記入力部が前記客から受け付けた注文内容を示す情報を、前記アバターに対応付けて前記表示部に表示するとともに、注文データとして記憶する注文内容表示手順と、を含む。

（１）または（８）によれば、アバターと注文内容が対応付いているので、注文されたメニューの配膳を行うことを容易にすることができる。また、注文を客から受ける操作者（従業員）は、これにより注文の取り忘れを防ぐことができる。
（２）または（３）によれば、画像認識された結果のアバター候補の中から、操作者が最も似ていると思えるアバターが選択されるため、注文されたメニューの配膳を行うことを容易にすることができる。

（４）によれば、操作者は、複数の客のうち、誰が発話したかを注文入力装置の表示部に表示されるアバターの変化で確認することができ、そのアバターに注文を対応付けて入力または設定することができる。
（５）によれば、操作者は、この表示結果を見て、注文を客に確認したり、再度、注文を取り直すことができる。

（６）によれば、複数の客によって１つのメニューが注文された場合であっても、注文されたメニューの配膳を行うことを容易にすることができる。また、そのメニューが個人の客に対応付けられていないため、複数の人で会計を個別に行う場合であっても等分等の対応ができる。
（７）によれば、同じメニューが複数個、注文された場合であっても、注文した客のアバター毎に注文それぞれを対応付けることができるので、配膳を行うことと個別の会計を行うことを容易にすることができる。

本実施形態に係る店舗内システムの概略構成図である。 本実施形態に係る注文入力装置の外観を示す図である。 本実施形態に係る注文入力装置の概略構成を示すブロック図である。 本実施形態に係るＲＯＭが記憶するプログラム領域の構成例を示す図である。 本実施形態に係るＲＡＭが記憶する情報の構成例を示す図である。 本実施形態に係る記憶装置が記憶する情報の構成例を示す図である。 本実施形態に係る記憶装置が記憶するアバター候補テーブルの例を示す図である。 本実施形態に係る記憶装置が記憶するアバター候補テーブルの例を示す図である。 本実施形態に係るアバターの例を示す図である。 本実施形態に係るアバターのパーツの使用例と表示例を示す図である。 本実施形態に係る注文入力装置の表示部に表示される画像の一例を示す図である。 従業員が客から注文の受付を完了したときに画像表示領域に表示される画像の一例を示す図である。 本実施形態に係る注文入力の処理のフローチャートである。 本実施形態に係るテーブル番号の特定とシルエット表示を示す図である。 本実施形態に係るシルエット画像にアバター候補を重ねて表示した例を示す図である。 本実施形態に係るアバターの選択とメニューの選択の処理の概略フローチャートである。 図１６の処理において表示される画像の一例を示す図である。 本実施形態に係る音声認識を用いた注文の受付処理例のフローチャートである。 図１８の処理において表示される画像の一例を示す図である。 本実施形態に係る客が注文した内容を従業員がアバターに対応付けることで、注文を受け付ける処理例のフローチャートである。 図２０の処理において表示される画像の一例を示す図である。 本実施形態に係る注文入力装置のＣＰＵが、客が発話した注文を音声認識する処理例のフローチャートである。 本実施形態に係る認識結果に基づく注文データの配置例を示す図である。 図２３の処理において表示される画像の一例を示す図である。 本実施形態に係る会計を分ける場合に注文入力装置の表示部に表示される画像の例を示す図である。 本実施形態に係る会計を複数に分割する例を示す図である。

以下、図面を参照しながら本発明の実施形態について説明する。なお、本実施形態では、オーダー管理システムの例として、レストラン、居酒屋、ファーストフード店、コンビニエンスストア等の飲食店で用いられるシステムを例に説明し、商品の例として飲食物を例に説明する。

図１は、本実施形態に係る店舗内システム４の概略構成図である。図１に示すように、店舗内システム４は、インターネット２を介してサーバ装置５と接続している。なお、本実施形態において、オーダー管理システム１は、店舗内システム４、インターネット２、およびサーバ装置５を含む。

インターネット２は、例えばＴＣＰ／ＩＰ通信規格を用いたネットワークである。なお、店舗内システム４とサーバ装置５との接続は、例えば有線ネットワークである。

サーバ装置５は、例えばクラウド上に設置されているサーバ装置である。サーバ装置５は、店舗内システム４が送信した注文データを、インターネット２を介して受け取り、受け取った注文データを記憶する。なお、サーバ装置５は、注文入力装置４６（ハンディターミナル）が記憶するアバター情報、テーブル情報等を記憶するようにしてもよい。この場合、サーバ装置５は、注文入力装置４６からの情報送信指示を、注文管理装置４３を介して受け取り、受け取った情報送信指示に応じて、アバター情報、テーブル情報等を注文入力装置４６へ送信するようにしてもよい。

店舗内システム４は、レストランや居酒屋などの外食店舗等で用いられるシステムである。店舗内システム４は、客の注文データを、インターネット２を介してサーバ装置５へ送信する。また、店舗内システム４は、注文データに応じて各種の処理を行う。

店舗内システム４は、ブロードバンドルータ４１、ＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅ ｓｙｓｔｅｍ；販売時点情報管理）４２、注文管理装置４３、印字装置４５、および注文入力装置４６を備える。ブロードバンドルータ４１、ＰＯＳ４２、注文管理装置４３それぞれは、有線ネットワーク４８を介して互いに接続されている。また、印字装置４５および注文入力装置４６は、無線ネットワーク４９を介して注文管理装置４３に接続されている。

有線ネットワーク４８は、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ；ローカル・エリア・ネットワーク）である。無線ネットワーク４９は、例えばＩＥＥＥ ８０２．１１規格であるＷｉ−Ｆｉ規格のネットワークである。
ブロードバンドルータ４１は、インターネット２と有線ネットワーク４８との異なるネットワーク同士を相互接続するネットワーク機器であり、ＰＯＳ４２、および注文管理装置４３をインターネット２へ接続するルータである。

ＰＯＳ４２は、レジスターであり、注文管理装置４３が送信したＰＯＳデータを取得し、取得したＰＯＳデータを用いて商品の販売額を計算する装置である。注文入力装置４６を操作する従業員（店員、注文入力装置４６の操作者）が注文入力装置４６を操作して客からの注文を受けた場合、ＰＯＳ４２は、注文管理装置４３が送信したＰＯＳデータを取得する。ＰＯＳ４２は、取得したＰＯＳデータに基づいて、会計処理を行う。なお、ＰＯＳデータには、例えば、伝票番号、テーブル番号、料理名称、料理の個数、料理の単価、合計金額等が含まれている。

注文管理装置４３は、注文入力装置４６が送信した注文データを、無線ネットワーク４９を介して取得し、取得した注文データに基づいて伝票番号を生成する。注文管理装置４３は、伝票番号を含む伝票の印字データを生成し、生成した印字データを印字装置４５に送信する。なお、注文データには、テーブル番号、シルエット画像、客毎に対応するアバター、客毎の注文内容（料理名称、個数、料金等）、料理の合計金額、客の人数、客層を示す情報、客の店舗への入店時間、客が最後に注文（オーダー）した時間、店舗内の滞在時間等の情報が含まれている。注文管理装置４３は、注文入力装置４６が送信した注文データに含まれているテーブル番号に、シルエット画像、客毎に対応するアバター、客毎の注文内容を対応付けて記憶する。なお、客層を示す情報とは、年齢、性別、テーブルの椅子に着席している複数の客のタイプ（家族、カップル、夫婦、兄弟、姉妹、親子等）の情報である。なお、アバターとは、客を擬人化またはイラスト化等した画像でありアイコンでもある。
また、注文管理装置４３は、注文入力装置４６からテーブル番号の情報のみを取得したとき、取得したテーブル番号に対応するシルエット画像を、無線ネットワーク４９を介して注文入力装置４６へ送信する。また、注文管理装置４３は、取得した注文データに基づきＰＯＳデータを生成し、生成したＰＯＳデータを、有線ネットワーク４８を介してＰＯＳ４２へ送信する。

印字装置４５は、注文管理装置４３が送信した印字データを、無線ネットワーク４９を介して取得し、取得した印字データを伝票に印刷する。印字装置４５は、例えば、調理場に設置されている。調理場では、印字装置４５が印字した結果に応じて調理を行う。

注文入力装置４６は、従業員（店員）が所持する装置であり、入力部や表示部を備える。注文入力装置４６は、従業員が操作した結果に応じて注文データを生成し、生成した注文データを、無線ネットワーク４９を介して注文管理装置４３に送信する。

次に、注文入力装置４６について、さらに説明する。
まず、注文入力装置４６の外観について説明する。
図２は、本実施形態に係る注文入力装置４６の外観を示す図である。図２に示すように、注文入力装置４６は、開閉可能な構造を有する。
注文入力装置４６が開状態では、符号ｇ１の領域の画像に示すように、例えば内側の左前面の表示部４６５上にタッチパネル部４６３が配置されている。また、注文入力装置４６が開状態では、符号ｇ１の領域の画像に示すように、例えば内側の右全面にダイレクトキー入力部４６４が配置されている。
また、注文入力装置４６が閉状態では、内側の左右の面同士が対面している。符号ｇ２の領域の画像に示すように、注文入力装置４６の外側の例えば裏面には、例えば上部にカメラ４７１（撮像部）とマイク４７２（音響信号取得部）が配置されている。

次に、注文入力装置４６の構成について説明する。
図３は、本実施形態に係る注文入力装置４６の概略構成を示すブロック図である。図３に示すように注文入力装置４６は、通信部４６１、非接触近距離無線通信部４６２、タッチパネル部４６３（入力部）、ダイレクトキー入力部４６４（入力部）、表示部４６５、ＣＰＵ（中央演算装置）４６６（制御部）、ＲＯＭ４６７（記憶部）、ＲＡＭ４６８（記憶部）、記憶装置４６９（記憶部）、音出力部４７０、カメラ４７１（撮像部）、およびマイク４７２（音響信号取得部）を備えている。通信部４６１、非接触近距離無線通信部４６２、タッチパネル部４６３、ダイレクトキー入力部４６４、表示部４６５、ＣＰＵ４６６、ＲＯＭ４６７、ＲＡＭ４６８、記憶装置４６９、音出力部４７０、カメラ４７１、およびマイク４７２は、バス４７３を介して接続されている。

通信部４６１は、ＣＰＵ４６６が出力した注文データを、無線ネットワーク４９を介して注文管理装置４３へ送信する。

非接触近距離無線通信部４６２は、非接触の近接場型の無線通信を行う通信部である。通信方式は、例えばＩＳＯ／ＩＥＣ １４４４３、ＩＳＯ／ＩＥＣ １８０９２等の規格に準じた方式である。非接触近距離無線通信部４６２は、例えばテーブルに取り付けられているＩＣタグからテーブル番号を取得し、取得したテーブル番号をＣＰＵ４６６に出力する。

タッチパネル部４６３は、表示部４６５上に表示された画像に対して、従業員が操作した操作結果を検出し、検出した操作結果を示す情報をＣＰＵ４６６に出力する。なお、タッチパネル部４６３の操作、表示部４６５に表示される画像については、後述する。
ダイレクトキー入力部４６４は、図２に示したように複数のスイッチを備える。複数のスイッチは、料理毎のボタン、テーブル番号や人数や注文数を入力する数字ボタン等を備えている。ダイレクトキー入力部４６４は、従業員が操作したキーを検出し、検出したキーを示す情報をＣＰＵ４６６に出力する。
表示部４６５は、ＣＰＵ４６６の制御に応じて各種情報を表示する。表示部４６５は、例えば液晶パネル、または有機ＥＬパネルである。

ＣＰＵ４６６は、ＲＯＭ４６７が記憶する制御プログラムに応じて、各部を制御する。ＣＰＵ４６６は、カメラ４７１を制御してテーブルと客を含む映像を撮像し、撮像した映像から特徴量を抽出する。ＣＰＵ４６６は、抽出した特徴量を、記憶装置４６９が記憶するテーブル番号の学習データと比較することでテーブル番号を認識する。なお、ＣＰＵ４６６は、非接触近距離無線通信部４６２が出力するテーブル番号に応じてテーブル番号を認識するようにしてもよい。また、ＣＰＵ４６６は、タッチパネル部４６３またはダイレクトキー入力部４６４を従業員が操作してテーブル番号を入力した場合、入力された結果に応じてテーブル番号を決定するようにしてもよい。

また、ＣＰＵ４６６は、抽出した特徴量に基づいて、テーブルの椅子に着席している客の人数を推定する。なお、ＣＰＵ４６６は、記憶装置４６９がテーブル番号に席数を対応付けて記憶している場合、記憶装置４６９が記憶する情報に基づいて、テーブルの椅子に着席可能な人数を推定するようにしてもよい。ＣＰＵ４６６は、推定した人数のシルエット画像を抽出した特徴量を用いて生成、または記憶装置４６９が記憶するシルエット画像を読み出して表示部４６５上に表示する。

また、ＣＰＵ４６６は、抽出した特徴量に基づいて、テーブルの椅子に着席している客の顔の領域を抽出し、抽出した顔の領域の特徴量と、記憶装置４６９が記憶するアバター候補テーブルを参照して、客毎のアバター候補を選択する。ＣＰＵ４６６は、選択したアバター候補を、シルエット画像に重ねて表示部４６５上に表示する。また、アバター候補テーブルについては、後述する。
さらに、ＣＰＵ４６６は、タッチパネル部４６３またはダイレクトキー入力部４６４を従業員が操作した結果に応じて、またはマイク４７２が収音した客の音声信号を音源定位および音声認識した結果に応じて、注文データを生成する。ＣＰＵ４６６は、生成した注文データのうち、料理名とその個数を、その料理を注文した客に対応するアバターに対応付けて表示部４６５上に表示する。なお、ＣＰＵ４６６は、表示部４６５上に表示するシルエット画像、客毎に対応するアバター、客毎の注文内容（料理名、個数、料金等）を、無線ネットワーク４９を介して注文管理装置４３へ送信する。

また、ＣＰＵ４６６は、タッチパネル部４６３またはダイレクトキー入力部４６４を従業員が操作した結果がテーブル番号の場合、テーブル番号を示す情報を、無線ネットワーク４９を介して注文管理装置４３へ送信する。そして、ＣＰＵ４６６は、注文管理装置４３が送信したテーブル番号に対応する注文データを取得し、取得した注文データに基づく画像を表示部４６５上に表示する。これにより、従業員が注文入力装置４６を交換した場合や、料理を配膳する場合や、他の従業員が客から追加注文を受ける場合等であっても、注文済みの注文内容と注文した客を確認することができる。

ＲＯＭ４６７は、ＣＰＵ４６６が用いる制御プログラムを記憶する。
ＲＡＭ４６８は、ＣＰＵ４６６が用いる情報を一時的に記憶する。ＲＡＭ４６８は、注文データを記憶する。また、ＲＡＭ４６８は、テーブル番号を含む領域の映像の特徴量、アバター候補テーブル、人の顔の特徴量、口を含む領域の特徴量等を予め記憶する。なお、ＲＯＭ４６７がアバター候補テーブルを記憶している場合、ＣＰＵ４６６は、ＲＯＭ４６７が記憶するアバター候補テーブルを読み出し、読み出したアバター候補テーブルをＲＡＭ４６８に格納するようにしてもよい。

記憶装置４６９は、例えばフラッシュメモリである。記憶装置４６９は、ＣＰＵ４６６の処理に用いる情報、カメラ４７１が撮像した映像、マイク４７２が集音した音声信号等を記憶する。記憶装置４６９は、テーブル毎に、そのテーブルの椅子に着席可能な人数のシルエット画像をテーブル情報として記憶する。記憶装置４６９は、テーブル番号を含む映像を記憶していてもよい。また、記憶装置４６９は、テーブル番号に人数を対応付けてテーブル情報として記憶するようにしてもよい。記憶装置４６９は、アバター候補テーブルを記憶する。また、記憶装置４６９は、注文入力装置４６の電源が消耗してＲＡＭ４６８の内容を保持できなくなった場合に消失させたくないデータを保持する。消失させたくないデータとは、例えば、注文管理装置４３の端末番号や従業員番号、メニューの情報（料理名称・メニュー番号、単価など）、過去の動作履歴（ログデータ）等である。

音出力部４７０は、例えばスピーカである。音出力部４７０は、ＣＰＵ４６６が出力した音情報を再生する。
カメラ４７１は、タッチパネル部４６３またはダイレクトキー入力部４６４を従業員が操作した結果に応じて画像を撮像し、撮像した画像をＣＰＵ４６６へ出力する。
マイク４７２は、マイクロフォンである。マイク４７２は、タッチパネル部４６３またはダイレクトキー入力部４６４の従業員の操作に応じて音響信号を収音し、収音した音響信号をＣＰＵ４６６へ出力する。なお、発言した客の特定を行う場合、マイク４７２は、複数のマイクロフォンからなるマイクロフォンアレイである。
なお、カメラ４７１およびマイク４７２は、注文入力装置４６の外部に設けられ、有線または無線によって接続されていてもよい。

次に、ＲＯＭ４６７が記憶するプログラム領域の構成例を説明する。
図４は、本実施形態に係るＲＯＭ４６７が記憶するプログラム領域の構成例を示す図である。図４の符号ｇ１０に示すように、ＲＯＭ４６７は、プログラム格納領域ｇ１１を備える。また、プログラム格納領域ｇ１１は、制御プログラムを記憶する領域であり、注文入力プログラムｇ１３、音声入力認識プログラムｇ１４、画像撮像・格納プログラムｇ１５、画像特徴演算プログラムｇ１６、画像特徴比較プログラムｇ１７、および注文・画像リンクプログラムｇ１８の各プログラムを格納する領域を備える。

注文入力プログラムｇ１３は、客の注文を取得し、従業員による確認を促したのちに取得した注文内容に基づいて生成した注文データを注文管理装置４３に送信する一連の注文動作を行うプログラムである。
音声入力認識プログラムｇ１４は、マイク４７２が集音した音声信号に対して周知の手法を用いて音声認識を行い、音声認識した結果を注文データとして記憶装置４６９への格納を行うプログラムである。
画像撮像・格納プログラムｇ１５は、カメラ４７１を操作して撮像を行い、撮像した画像を記憶装置４６９への格納を行うプログラムである。

画像特徴演算プログラムｇ１６は、記憶装置４６９が記憶する画像に対して周知の手法を用いて特徴量の演算を行い、演算した特徴量を記憶装置４６９へ画像に関連付けて格納を行うプログラムである。

画像特徴比較プログラムｇ１７は、画像特徴演算プログラムｇ１６が演算した特徴量と、ＲＯＭ４６７が予め記憶するテーブル番号の画像の特徴量とを比較することで、テーブル番号の認識を行うプログラムである。また、画像特徴比較プログラムｇ１７は、画像特徴演算プログラムｇ１６が演算した特徴量に基づいて、テーブルの椅子に着席している人数を推定するプログラムである。また、画像特徴比較プログラムｇ１７は、画像特徴演算プログラムｇ１６が演算した特徴量と、ＲＡＭ４６８が予め記憶するアバター画像の特徴量とを比較し、テーブルの椅子に着席している客毎に対応するアバターの候補の選択を行うプログラムである。

注文・画像リンクプログラムｇ１８は、画像特徴比較プログラムｇ１７が割り当てたアバターと、音声入力認識プログラムｇ１４が音声認識した注文データを、記憶装置４６９が記憶する画像に紐づける事によって、客と注文データの関係を対応付けるプログラムである。

ここで、本実施形態におけるカメラ４７１が撮像した映像からテーブル番号の推定、客を検出し、客の人数を推定し、テーブルの椅子に着席している客層を推定する手法の一例について説明する。
ＣＰＵ４６６は、カメラ４７１を制御して、オーダー入力時にテーブルに備え付けたプレートに記載されたテーブル番号を含む映像を撮像する。ＣＰＵ４６６は、カメラ４７１が撮像したテーブルの映像データと、ＲＡＭ４６８に予め記憶されているそれぞれのテーブル映像データとを、例えばパターンマッチングの手法で比較することで、テーブル番号を推定する。

また、ＣＰＵ４６６は、カメラ４７１を制御して、オーダー入力時にオーダー入力の対象となるテーブルにおけるすべての客を同時に撮像する。ＣＰＵ４６６は、カメラ４７１が撮像した映像を周知の顔認識の手法を用いて解析して映像内に含まれる顔を特定し、顔の数をカウントすることにより客の人数を推定する。

また、ＣＰＵ４６６は、オーダー入力時にカメラ４７１が撮影した客の顔を含む映像から複数の特徴点（例えば、しわ、髪の長さ、顔における目の位置など）を抽出し、抽出した特徴点を所定のアルゴリズムにより性別と年齢を推定する。なお、ＣＰＵ４６６は、オーダー入力時にマイク４７２が取得した客の音声データを解析し、音声に含まれる声の成分がどのような性質であるかに基づいて性別や年齢を推定するようにしてもよい。また、ＣＰＵ４６６は、推定した客の人数に応じて、推定した性別と年齢の結果に基づいて、それぞれの客の間柄を推定する。ＣＰＵ４６６は、推定した客それぞれの性別と年齢に基づいて、親子、男性ペア、女性ペア、カップル等の何れであるかを推定する。

さらに、ＣＰＵ４６６は、オーダー入力時にカメラ４７１が撮影した客の顔を含む映像から客毎の口を含む領域を抽出し、抽出した口を含む領域の領域から特徴量を算出する。そして、ＣＰＵ４６６は、予め人が発話しているときの口を含む領域の映像から抽出した特徴量を記憶するＲＡＭ４６８の情報と比較することで、発話を行った客を撮像した映像から推定する。そして、ＣＰＵ４６６は、従業員が注文の入力を行ったタイミングの直前に口が動いていたと推定した客を、入力した注文を行った客として推定する。なお、ＣＰＵ４６６は、撮像した映像から口を含む領域の画像を抽出し、ＲＡＭ４６８が予め記憶している口を含む領域の発話時の映像とのパターンマッチングの手法とによる比較によって、発話した客を推定するようにしてもよい。

次に、ＲＡＭ４６８が記憶する情報の構成例を説明する。
図５は、本実施形態に係るＲＡＭ４６８が記憶する情報の構成例を示す図である。図５の符号ｇ６１に示すように、ＲＡＭ４６８の記憶領域は、プログラム動作領域ｇ６２、プログラム動作用データ領域ｇ６３、注文データ格納領域ｇ６４、およびプログラム動作用スタック領域ｇ６５を備える。

プログラム動作領域ｇ６２は、ＲＯＭ４６７が格納している各種プログラムの実行の際にプログラムが配置されて使用される領域である。
プログラム動作用データ領域ｇ６３は、ＲＯＭ４６７が格納している各種プログラムの実行の際にデータが配置されて使用される領域である。

注文データ格納領域ｇ６４は、注文プログラムｇ１３によって取得した注文データを一時保管する領域である。
プログラム動作用スタック領域ｇ６５は、各種プログラムの実行の際に用いられるスタック領域である。

次に、記憶装置４６９が記憶する情報の構成例を説明する。
図６は、本実施形態に係る記憶装置４６９が記憶する情報の構成例を示す図である。図６の符号ｇ６６に示すように、記憶装置４６９は、テーブル情報ｇ６７、およびアバター候補テーブルｇ６８を備える。
テーブル情報ｇ６７は、テーブル毎に、そのテーブルの椅子に着席可能な人数のシルエット画像を対応付けて記憶する。
アバター候補テーブルｇ６８は、複数のアバターについて、アバター毎に特徴量と画像データが対応つけられているテーブルである。

次に、アバター候補テーブルｇ６８の例を、図７と図８を用いて説明する。図７および図８は、本実施形態に係る記憶装置４６９が記憶するアバター候補テーブルｇ６８の例を示す図である。
図７に示すように、アバター候補テーブルｇ６８は、アバター番号に、アバター名、正面画像特徴量、横顔画像特徴量、正面画像データ、強調画像データを対応付けている。
アバター番号は、アバターに付与した番号である。
アバター名は、性別、年代、キャラクタ等を用いてアバターに付与した名称である。アバター名は、例えば「３０代お父さんタイプ」であり、同じタイプに対して複数のアバターが用意されている場合は、図８に示すように、例えば「３０代お父さん タイプＡ」、「３０代お父さん タイプＢ」等の名称を付与する。

正面画像特徴量は、アバターの正面の画像の特徴量である。
横顔画像の特徴量は、アバターの横顔の画像の特徴量である。
正面画像データは、アバターの正面画像データである。
強調画像データは、アバターの強調画像データである。なお、強調画像とは、注文をそのアバターに対応する客が行ったときに、注文していることを注文入力装置４６の表示部４６５上に表示する際に用いられる画像である。なお、各画像の使用例については、後述する。

また、アバターは、図８に示すように、顔の部分の画像やアクセサリーの画像を備えている。ここで、顔の部分の画像とは、例えば、頭髪、眉毛、まつげ、目、鼻、耳、鼻ひげ、顎ひげ、ほほ等の画像である。また、アクセサリーの画像とは、例えば帽子、メガネ、イヤリング、ネックレス、マスク等の画像である。図８に示すように、パーツ番号に、パーツ名、正面特徴量、横顔特徴量、正面画像データ、横顔画像データ、強調画像データに対応付けている。
パーツ番号は、アバターのパーツに付与した番号である。
パーツ名は、アバターのパーツの名称であり、例えば帽子、頭髪、眉毛、まつげ、目、メガネ、鼻、耳、鼻ひげ、顎ひげ、ほほ、イヤリング、ネックレス、マスク等である。

正面特徴量は、パーツ画像の正面の特徴量である。
横顔特徴量は、パーツ画像の横顔の特徴量である。
正面画像データは、パーツ画像の正面から見た画像データである。
横顔画像データは、パーツ画像の横から見た画像データである。
強調画像データは、パーツ画像の強調の画像データである。

次に、アバターの例を説明する。
図９は、本実施形態に係るアバターの例を示す図である。
符号ｇ３５に示す領域の画像は、「３０代サラリーマン タイプＢ」のアバターの例である。また、「３０代サラリーマン タイプＢ」のアバターは、正面画像ｇ３５１、横顔画像ｇ３５２、および強調画像ｇ３５３それぞれのアバターを含んで構成されている。なお、横顔画像ｇ３５２は、左側から見た横顔の画像の例を示したが、横顔画像は、右側から見た横顔の画像であってもよい。また、アバター候補テーブルは、左側から見た横顔の画像と、右側から見た横顔の画像のうち少なくとも１つを横顔画像ｇ３５２として記憶するようにしてもよい。

符号ｇ３６に示す領域の画像は、「４０代お母さん タイプＦ」のアバターの例である。また、「４０代お母さん タイプＦ」のアバターは、正面画像ｇ３６１、横顔画像ｇ３６２、および強調画像ｇ３６３それぞれのアバターを含んで構成されている。
符号ｇ３７に示す領域の画像は、「５０代お父さん タイプＣ」のアバターの例である。また、「５０代お父さん タイプＣ」のアバターは、正面画像ｇ３７１、横顔画像ｇ３７２、および強調画像ｇ３７３それぞれのアバターを含んで構成されている。

符号ｇ３８に示す領域の画像は、「要注意 タイプＸ」のアバターの例である。また、「要注意 タイプＸ」のアバターは、正面画像ｇ３８１、横顔画像ｇ３８２、および強調画像ｇ３８３それぞれのアバターを含んで構成されている。なお、「要注意 タイプＸ」は、例えば従業員が客から注文を受けたとき、注文内容や提供タイミング等を細かく指示され、料理の提供時等に注意を要すると感じた客に対して、従業員がこのアバターを割り当てるようにしてもよい。

次に、パーツの使用例と表示例を説明する。
図１０は、本実施形態に係るアバターのパーツの使用例と表示例を示す図である。符号ｇ３９に示す範囲の画像は、「３０代サラリーマン タイプＣ」であり、正面画像ｇ３９１、横顔画像ｇ３９２、および強調画像ｇ３９３それぞれのアバターを含んでいる。

正面画像ｇ３９４は、正面画像ｇ３９１にメガネの画像パーツを付加したアバターの一例である。また、横顔画像ｇ３９５は、横顔画像ｇ３９２にメガネの画像パーツを付加したアバターの一例である。なお、図１０では省略しているが、強調画像ｇ３９３にもメガネのパーツを付加して使用するようにしてもよい。
正面画像ｇ３９６は、正面画像ｇ３９１の頭髪の画像パーツを交換したアバターの一例である。また、横顔画像ｇ３９７は、横顔画像ｇ３９２の頭髪の画像パーツを交換したアバターの一例である。なお、図１０では省略しているが、強調画像ｇ３９３にも頭髪の画像パーツを交換して使用するようにしてもよい。

なお、従業員が候補として表示されたアバターに対してパーツを、図１０に示したパーツに交換して用いてもよい。または、ＣＰＵ４６６が、画像認識した結果に応じて、記憶装置４６９が記憶しているアバターのパーツを交換して用いるようにしてもよい。

次に、注文入力装置４６の表示部４６５に表示される画像の一例を説明する。
図１１は、本実施形態に係る注文入力装置４６の表示部４６５に表示される画像ｇ１０１の一例を示す図である。
図１１に示すように、表示部４６５は、画像表示領域ｇ１０２と操作画像領域ｇ１０３を備えている。画像表示領域ｇ１０２には、例えば、カメラ４７１が撮像した画像や注文、アバター等が表示される。操作画像領域ｇ１０３には、テンキー等の画像が表示される。なお、表示部４６５に表示される画像は、注文入力装置４６が従業員によって縦長に保持されている状態と、横長に保持されている状態で切り替えて表示するようにしてもよい。この表示切り替えは、従業員がタッチパネル部４６３またはダイレクトキー入力部４６４を操作した結果をＣＰＵ４６６が検出して切り替えるようにしてもよい。または、注文入力装置４６が加速度センサー（不図示）を備えている場合、ＣＰＵ４６６は、この加速度センサーの検出値に基づいて、表示部４６５の表示を切り替えるようにしてもよい。

次に、従業員が客から注文の受付を完了したときに画像表示領域ｇ１０２に表示される画像の一例を説明する。
図１２は、従業員が客から注文の受付を完了したときに画像表示領域ｇ１０２に表示される画像ｇ２０の一例を示す図である。
画像ｇ２０に示す例は、１２卓のテーブルの椅子に４人が着席している画像である。なお、画像ｇ２０は、アバターを客に対応付け、客毎の注文が確定した後の画像である。また、図９と図１０に示した例では、アバターとして上半身の画像の例を示したが、アバターは着席している画像であってもよく、撮像した画像にアバターをＣＰＵ４６６が合成するようにしてもよい。

符号ｇ２１は、例えば撮像した画像にアバターを合成した後の画像である。符号ｇ２２〜ｇ２５は、４人の客それぞれに対応するアバターである。符号ｇ２６は、テーブル番号の画像である。なお、ＣＰＵ４６６は、テーブルにもアバターを割り当てるようにしてもよい。この場合、画像ｇ２０において、例えばテーブル番号を含む画像ｇ２６が、テーブルのアバターである。

また、符号ｇ２７は、符号ｇ２２のアバターに対応する第１の客が注文した注文データ「生ビール １つ」を表している。符号ｇ２８は、符号ｇ２３のアバターに対応する第２の客が注文した注文データ「ラーメン １つ」を表している。符号ｇ２９は、符号ｇ２４のアバターに対応する第３の客が注文した注文データ「八宝菜 １つ」を表している。符号ｇ３０は、符号ｇ２５のアバターに対応する第４の客が注文した注文データ「炒飯 １つ」を表している。
また、符号ｇ３１は、例えば第２の客に対応するアバターの画像である。符号ｇ３２は、１２卓に着席している客の滞在時間を表し、符号ｇ３３は、最終にオーダーしてからの経過時間を表している。すなわち、テーブルの椅子に着席している客の滞在時間等を、アバターに対応付けて表示する。なお、従業員は、最後にオーダーした時間、経過時間等を見て、客に水やお茶を出したり、追加の注文を聞きに行ったりするようにしてもよい。

また、符号ｇ３４は、注文データのうち料理名と料理の数量以外を表している。図１１に示す例の注文データのうち料理名と料理の数量以外には、卓（テーブル）番号、人数、客層、入店時間、新規オーダー時間、最終オーダー時間、および累計金額が含まれている。
なお、図１１に示した例は一例であり、表示部４６５に表示される情報は、これに限られない。例えば、複数の客によって１つのメニュー（例えば、お刺身盛り合わせ）が注文された場合、ＣＰＵ４６６は、カメラ４７１が撮像した映像からテーブルの特徴量を抽出し、抽出した特徴量に基づいてテーブルを識別するようにしてもよい。例えば、ＣＰＵ４６６は、テーブルにアバターを対応付け、テーブルのアバターにこのメニューの注文内容を対応付け、テーブルに吹き出し「お刺身盛り合わせ １つ」を表示するようにしてもよい。

次に、注文入力の処理手順を説明する。
図１３は、本実施形態に係る注文入力の処理のフローチャートである。

（ステップＳ１）まず、従業員は、客が存在している客席（テーブル）へ向かう。続けて、従業員が客席に到着する。
（ステップＳ２）従業員は、注文入力装置４６を操作して、客の注文の入力を開始する。

（ステップＳ３）注文入力装置４６のＣＰＵ４６６は、従業員の操作に応じてカメラ４７１を用いてテーブルとテーブルの椅子に着席している全ての客を含む映像の撮影を開始する。なお、ＣＰＵ４６６は、撮像した映像を記憶装置４６９に記憶する。

（ステップＳ４）ＣＰＵ４６６は、撮像した映像の特徴量を抽出して、テーブル番号を認識することでテーブル番号を特定し、特定したテーブル番号を記憶装置４６９に記憶する。

（ステップＳ５）ＣＰＵ４６６は、撮像した映像の特徴量を抽出して、抽出した特徴量を周知の手法を用いてグループ分けすることでテーブルの座席に着席している人数等のテーブル情報を取得し、取得したテーブル情報を記憶装置４６９に記憶する。

（ステップＳ６）ＣＰＵ４６６は、ステップＳ５で取得したテーブル情報を用いて、撮像した映像において、テーブルと客のシルエット画像を生成し、生成したシルエット画像を表示部４６５に表示する。なお、ＣＰＵ４６６は、撮像した映像から周知の輪郭抽出の手法を用いてシルエット画像を生成する。

（ステップＳ７）ＣＰＵ４６６は、撮像した映像の特徴量を抽出して、抽出したグループ分けした客毎の特徴量と、ＲＡＭ４６８が記憶するアバター候補テーブルとを比較することで、客毎のアバターの候補を表示部４６５に表示する。

（ステップＳ８）従業員は、表示部４６５上に表示されたアバター候補の中から、客毎にアバターを選択する。続けて、ＣＰＵ４６６は、従業員が操作した結果に応じて、客毎に対応するアバターを決定する。

（ステップＳ９）従業員は、客からの注文をタッチパネル部４６３またはダイレクトキー入力部４６４を操作して入力または選択する。続けて、ＣＰＵ４６６は、従業員の操作に応じて、さらに記憶装置４６９が記憶する情報を用いて注文データを生成する。なお、注文の入力方法については、客が発話した音声を音声認識して用いてもよい。

ここで、図１３の処理の一例を、図１３を参照しつつ、図１４と図１５を用いて説明する。
図１４は、本実施形態に係るテーブル番号の特定とシルエット表示を示す図である。図１５は、本実施形態に係るシルエット画像にアバター候補を重ねて表示した例を示す図である。

ＣＰＵ４６６は、撮像した映像の特徴量を抽出して、図１４の符号ｇ４１が示す領域が示す画像のように、テーブル番号を認識することでテーブル番号を特定し、特定したテーブル番号を記憶装置４６９に記憶する（ステップＳ４）。なお、図１４の符号ｇ４１が示す領域が示す画像において、符号ｇ４１１は、テーブルを示す画像であり、符号ｇ４１２は、テーブル番号を示す画像である。

ＣＰＵ４６６は、撮像した映像において、図１４の符号ｇ４２が示す領域が示す画像のように、テーブルと客のシルエット画像を生成し、生成したシルエット画像を表示部４６５に表示する（ステップＳ６）。なお、図１４の符号ｇ４１が示す領域が示す画像において、符号ｇ４２１は、第１の客に対応するシルエット画像であり、符号ｇ４２２は、第２の客に対応するシルエット画像であり、符号ｇ４２３は、第３の客に対応するシルエット画像であり、符号ｇ４２４は、第４の客に対応するシルエット画像である。従業員は、表示部４６５に表示されたシルエット画像を見て、人数が正しい場合にタッチパネル部４６３またはダイレクトキー入力部４６４を操作して「ＯＫ」ボタンや、人数「４」を入力するようにしてもよい。なお、ＣＰＵ４６６は、作成したシルエット画像の人数と、従業員が入力した人数とが一致しない場合、再度、入力された人数に基づいてグループ分けするか、人数に基づくシルエット画像を生成して、表示部４６５に表示させるようにしてもよい。

ＣＰＵ４６６は、撮像した映像の特徴量を抽出して、抽出したグループ分けした客毎の特徴量と、ＲＡＭ４６８が記憶するアバター候補テーブルとを比較することで、図１５の符号ｇ５１が示す領域のように、客毎のアバターの候補を表示部４６５に表示する（ステップＳ７）。図１５の符号ｇ５１が示す領域において、符号ｇ５１１がテーブルのアバターであり、符号ｇ５１２が第１の客に対応するアバター候補であり、符号ｇ５１３が第２の客に対応するアバター候補であり、符号ｇ５１４が第３の客に対応するアバター候補であり、符号ｇ５１５が第４の客に対応するアバター候補である。

ステップＳ８において、従業員は、この画面において、アバター候補が、客と似ていないと感じたとき、アバター候補をスワイプする。続けて、ＣＰＵ４６６は、従業員のスワイプ操作を検出し、検出した結果に応じて、符号ｇ５１５に示すように、他のアバター候補を表示部４６５上に表示するようにしてもよい。従業員は、このように表示された他のアバター候補の中から選択し、選択したアバター候補を客のシルエット画像に重ねることでアバターを決定する。図１５の符号ｇ５２の領域が示す画像は、客毎のアバターが決定した後に、シルエット画像に客毎のアバターを重ねて表示部４６５上に表示した画像の例である。

次に、アバターの選択とメニュー（注文）の選択の処理手順の例を説明する。なお、以下の処理は、テーブルとテーブルの椅子に着席している客を含む映像をカメラ４７１が撮像し、ＣＰＵ４６６がアバターを決定した後に行われる。
図１６は、本実施形態に係るアバターの選択とメニューの選択の処理の概略フローチャートである。なお、以下の処理では、図１２に示したように、客毎のアバターが決定した後に行われる。

（ステップＳ１０１）まず、第１の客（「お父さん」のアバターに対応する客）が、従業員に「生ビール」を１つ注文する。
（ステップＳ１０２）従業員は、注文入力装置４６のタッチパネル部４６３を操作して、第１の客に対応するアバター（符号ｇ２２、「お父さん」のアバター）を、例えばタッチして選択する。

（ステップＳ１０３）ＣＰＵ４６６は、従業員が操作した結果に応じて、選択されたアバターの画像を、正面画像または横顔画像から強調画像に変更することで、強調表示する。
（ステップＳ１０４）従業員は、タッチパネル部４６３またはダイレクトキー入力部４６４を操作して、第１の客の注文「生ビール」と数量１つを選択または入力する。

（ステップＳ１０５）ＣＰＵ４６６は、注文データ（料理名、数量）を吹き出しの中に描いて更新した画像を「お父さん」のアバターに付加して、表示部４６５に表示する。

図１７は、図１６の処理において表示される画像の一例を示す図である。
符号ｇ６１が示す領域の画像は、図１６のステップＳ１０２で表示部４６５に表示されている画像ｇ６１１の一例である。符号ｇ６１が示す領域の画像において、従業員は、符号ｇ６１２が示す領域をタッチすることで、第１の客に対応するアバターを選択する。
符号ｇ６２に示す領域の画像は、図１６のステップＳ１０３において、従業員が「お父さん」のアバターを選択した結果、表示部４６５に表示される強調画像の一例である。
符号ｇ６３に示す領域の画像は、図１６のステップＳ１０５において、「お父さん」のアバターに注文データ「生ビール １」を示す吹き出し画像ｇ６３１を付加した状態の画像の一例である。

このように、本実施形態では、画像認識した結果に基づいて客毎にアバターを設定し、設定したアバターに対応する客の注文を、アバターの吹き出しとして表示させるようにした。この結果、本実施形態によれば、テーブルの椅子に着席している複数の客について、どの客が何をいくつ注文したかが注文入力装置４６の表示部４６５に表示される。注文を客から受ける従業員は、これにより注文の取り忘れを防ぐことができる。また、料理ができあがったのち、この画像を確認することで、従業員は、どの料理を誰に配膳すればよいのかを確認することができる。また、注文を受けた従業員とは異なる人が、できあがった料理を客に配膳する場合であっても、ＣＰＵ４６６は、この注文時の注文データを、無線ネットワーク４９を介して注文管理装置４３へ送信する。注文管理装置４３は、注文を受けた注文入力装置４６以外の注文入力装置４６’から、この１２卓の注文データの送信依頼を取得したとき、注文データを、無線ネットワークを介してリクエストを送信した注文入力装置４６’へ送信する。注文入力装置４６’は、取得した注文データに基づいて、図１２に示したような画像を見るとこで、できあがった料理を注文した客へ配膳することができる。

次に、注文入力装置４６のカメラ４７１が撮像した映像において、口の動きを検出することで、注文を受け付ける例を説明する。なお、以下の例では、図１２に示した「少年」のアバター（符号ｇ２３）に対応する第２の客が音声で注文する例を説明する。なお、以下の処理は、テーブルとテーブルの椅子に着席している客を含む映像をカメラ４７１が撮像し、ＣＰＵ４６６がアバターを決定した後に行われる。
図１８は、本実施形態に係る音声認識を用いた注文の受付処理例のフローチャートである。

（ステップＳ２０１）「少年」のアバター（符号ｇ２３）に対応する第２の客が、「ラーメン」と発話することで、ラーメンを１つ注文する。
（ステップＳ２０２）ＣＰＵ４６６は、カメラ４７１が撮像した画像の特徴量を抽出することで、周知の手法を用いて、第２の客の口が激しく動いた事を検出する。なお、本実施形態において、「口が激しく動いた」とは、例えば、予め複数のしゃべっている時としゃべっていない時の人の映像を撮像し、撮像した映像に基づいて発話している時の特徴量の変化が所定の閾値以上の場合である。この閾値は、例えばＲＯＭ４６７が記憶する。

（ステップＳ２０３）ＣＰＵ４６６は、口が動いた事を検出したとき、検出した該当のアバター（少年）を強調画像に切り替えることで、強調表示する。
（ステップＳ２０４）従業員は、第２の客の注文に応じて、タッチパネル部４６３またはダイレクトキー入力部４６４を操作して、第２の客の注文「ラーメン」と数量１つを選択または入力する。

（ステップＳ２０５）ＣＰＵ４６６は、注文データ（料理名、数量）を吹き出しの中に描いて更新した画像を「少年」のアバターに付加して、表示部４６５に表示する。

図１９は、図１８の処理において表示される画像の一例を示す図である。
符号ｇ７１が示す領域の画像は、表示部４６５に表示されている画像ｇ７１１の一例である。符号ｇ７１が示す領域の画像において、符号ｇ７１２が示す領域のアバターが、第２の客に対応する「少年」である。
符号ｇ７２に示す領域の画像は、図１８のステップＳ２０３において、口の動きが検出された結果、表示部４６５に表示される強調画像の一例である。
符号ｇ７３に示す領域の画像は、図１８のステップＳ２０５において、「少年」のアバターに注文データ「ラーメン １」を示す吹き出し画像ｇ７３１を付加した状態の画像の一例である。

このように、本実施形態では、画像認識した結果に基づいて客の口が動いたことを検出し、検出した結果に応じて、アバターを強調画像に切り替えるようにした。これにより、本実施形態によれば、従業員は、複数の客のうち、誰が発話したかを注文入力装置４６の表示部４６５に表示されるアバターの変化で確認することができ、そのアバターに注文を対応付けて入力または設定することができる。
なお、上述した例では、第２の客が発話したことを認識した結果が正しい例を説明したが、口の動きを誤認識する場合もあり得る。この場合、従業員が、例えば、発話した客に対応するアバターをタッチパネル部４６３上でタッチしたことを検出した結果に応じて、ＣＰＵ４６６は、発話した客の認識結果を修正するようにしてもよい。例えば、ＣＰＵ４６６は、発話した客のアバターが選択されたとき、口が動いたと検出して強調画像を用いて表示したアバターを正面画像または横顔画像に戻し、選択されたアバターを強調画像に切り替えるようにしてもよい。

次に、客が注文した内容を従業員がアバターに対応付けることで、注文を受け付ける例を説明する。なお、以下の例では、１つのテーブルに複数（２人以上）の客が着席し、客それぞれが注文する例を説明する。なお、以下の処理は、テーブルとテーブルの椅子に着席している客を含む映像をカメラ４７１が撮像し、ＣＰＵ４６６がアバターを決定した後に行われる。
図２０は、本実施形態に係る客が注文した内容を従業員がアバターに対応付けることで、注文を受け付ける処理例のフローチャートである。

（ステップＳ３０１）テーブルの椅子に着席しているお客様（客）が口々に注文を発する。
（ステップＳ３０２）従業員は、タッチパネル部４６３またはダイレクトキー入力部４６４を操作して、アバターを選択せずに、客の注文に応じてメニュー（料理名）と料理それぞれの数量を選択または入力する。

（ステップＳ３０３）ＣＰＵ４６６は、入力（または選択）されたメニュー（料理名）を、アバターに対応付けずに、例えば表示部４６５の画面の上にフロートして（浮かして）表示する。
（ステップＳ３０４）従業員は、フローとしている注文のメニューを、各注文を発した客に対応するアバターにドラッグ＆ドロップ等の操作を、タッチパネル部４６３を操作して行う。

（ステップＳ３０５）ＣＰＵ４６６は、アバターにドラッグ＆ドロップされた注文を検出し、検出した注文をアバターに対応付け、注文データ（料理名、数量）を吹き出しの中に描いて更新した画像を各アバターに付加して、表示部４６５に表示する。

図２１は、図２０の処理において表示される画像の一例を示す図である。
符号ｇ８１に示す領域の画像は、表示部４６５に表示されるテーブルと客を含む画像の一例である。なお、以下の例では、４人の客が、「生ビール」、「ラーメン」、「炒飯」、「八宝菜」を注文した例である。また、客が、例えば「ラーメン」と発した場合、従業員は、注文を「ラーメン」が１つと判断する。

符号ｇ８２に示す領域の画像は、図２０のステップＳ３０３において、注文を画面の右横にフローとして表示した例である。符号ｇ８２に示す領域の画像において、符号ｇ８２１〜ｇ８２４それぞれは、客が注文したメニュー（料理名）とそのメニューの数量である。
符号ｇ８３に示す領域の画像は、図２０のステップＳ２０４において従業員がアバターに各注文をドラッグ＆ドロップ操作した後、ステップＳ２０５において、各アバターに注文データを示す吹き出し画像ｇ８３１〜ｇ８３４を付加した状態の画像の一例である。

このように、本実施形態では、従業員は、客が発した注文を、とりあえずタッチパネル部４６３またはダイレクトキー入力部４６４を操作して入力または選択する。これにより、従業員は、客が発した注文を忘れることを防ぐことができる。そして、従業員は、例えば、誰がどのメニューを注文したか客に対して注文を確認しつつ、アバターに注文を対応付けていくことができる。ＣＰＵ４６６は、この従業員の操作を検出し、検出した結果に応じて、図２１の符号ｇ８３に示す領域の画像と注文データを生成することができる。なお、注文データは、例えば第１の客の注文が「生ビール」を１つ、第２の客の注文が「ラーメン」を１つ、第３の客の注文が「八宝菜」を１つ、第４の客の注文が「炒飯」を１つである。また、注文データには、前述したようにテーブル番号、人数、客層、入店時間、新規オーダー時刻、最終オーダー時刻、累計金額等の情報が含まれている。

なお、例えば、第１の客が全員を代表して「ビール ４つ」と注文した場合、従業員は、例えば、アバターを選択せずにタッチパネル部４６３またはダイレクトキー入力部４６４を操作して、「ビール」４つを入力する。ＣＰＵ４６６は、この操作結果に応じて、表示部４６５上に、「ビール １」を４つフロート表示する。従業員は、「ビール １」を各アバターにドラッグ＆ドロップ操作する。ＣＰＵ４６６は、この操作結果に応じて、各アバターに対応する客それぞれに「ビール １」の注文内容を対応付ける。

次に、注文入力装置４６のＣＰＵ４６６が、客が発話した注文を音声認識する例を説明する。なお、以下の処理は、テーブルとテーブル椅子に着席している客を含む映像をカメラ４７１が撮像し、ＣＰＵ４６６がアバターを決定した後に行われる。
図２２は、本実施形態に係る注文入力装置４６のＣＰＵ４６６が、客が発話した注文を音声認識する処理例のフローチャートである。

（ステップＳ４０１）テーブルの椅子に着席しているお客様（客）が口々に注文を発する。
（ステップＳ４０２）ＣＰＵ４６６は、マイク４７２が収音した音声信号に対して、発話内容の音声認識と、発言した客の方位を特定することで客の推定を、周知の手法を用いて同時に行う。なお、ＣＰＵ４６６は、ＭＵＳＩＣ（ＭＵｌｔｉｐｌｅ ＳＩｇｎａｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）法やビームフォーミング法等を用いて音源方向の推定を行い、言語モデルやＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ；隠れマルコフモデル）等を用いて音声認識を行う。または、ＣＰＵ４６６は、注文の音声を収音したとき、映像から客の口元を含む領域を抽出し、口が動いた客を発言者として特定するようにしてもよい。なお、手法は一例であり、これに限られない。

（ステップＳ４０３）ＣＰＵ４６６は、認識結果に基づいて、注文データを配置して表示部４６５上に表示する。なお、注文データの配置については、後述する。
（ステップＳ４０４）従業員は、表示部４６５上の注文データのアバター毎の配置を見て、音声認識や客の特定が誤っていたり、認識できなかった注文に対して、修正を行ったり、再度、注文を聞き直す。

ここで、認識結果に基づく注文データの配置について説明する。
図２３は、本実施形態に係る認識結果に基づく注文データの配置例を示す図である。なお、図２３において、各欄の白丸印は、発言者（客）が特定できたこと、音声認識が出来たことを示す。また、×印は、発言者（客）が特定できなかったこと、音声認識が出来なかったことを示す。

図２３に示すように、発言者を特定でき且つ音声認識ができた場合は、音源方向を推定した客に対応するアバターに吹き出しを配置して表示部４６５上に表示する。この場合の吹き出しの表示は、音声認識した注文データ（料理名、数量）である。
話者を特定でき且つ音声認識ができなかった場合は、音源方向を推定した客に対応するアバターの吹き出しを配置して表示部４６５上に表示する。この場合の吹き出しの表示は、注文データが不明であることを示す「？？？？」である。

発言者を特定できず且つ音声認識ができた場合は、注文データをフロートして表示部４６５上に表示する。この場合注文データの表示は、音声認識した注文データ（料理名、数量）である。
発言者を特定できず且つ音声認識ができなかった場合は、注文データをフロートして表示部４６５上に表示する。この場合の吹き出しの表示は、注文データが不明であることを示す「？？？？」である。
なお、図２３に示した表示例は一例であり、これに限られず、例えば音声認識できなかった場合に吹き出しを空欄のまま表示する等してもよい。

図２４は、図２３の処理において表示される画像の一例を示す図である。
符号ｇ９１に示す領域の画像は、４人の客の注文前に表示部４６５に表示されるテーブルと客を含む画像の一例である。

符号ｇ９２に示す領域の画像は、４人の客が注文を発話した後に表示部４６５に表示されるテーブルと客を含む画像の一例である。符号ｇ９２に示す領域の画像において、符号ｇ９２１〜ｇ９２８は、注文それぞれを音声認識した結果である。符号ｇ９２１は、図１２における第１の客の注文として認識され、認識結果が「生ビール」と「？？？？」である。なお、「生ビール」、「？？？？」とは、「生ビール」まで認識でき、その次の注文が認識できなかったことを表す。符号ｇ９２２は、図１２における第２の客の注文として認識され、認識結果が「炒飯」である。符号ｇ９２３は、図１２における第３の客の注文として認識され、認識結果が「レバニラ」と「？？？？」である。符号ｇ９２４は、図１２における第４の客の注文として認識され、認識結果が「・・・・」である。「・・・・」とは、客が発話していないと認識したことを表している。また、符号ｇ９２５〜ｇ９２８の右端にフロートしている注文データは、音声認識した結果の候補であり、発言者を特定できなかった認識結果である。

図２４の表示を見て、従業員は、例えば各客に注文を確認して、フロートされている認識結果の候補を、注文した客に対応するアバターにドラッグ＆ドロップ操作によって関連づけるようにしてもよい。または、従業員は、「？？？？」や「・・・・」について、各客に注文を再度１人ずつ発話してもらうようにしてもよい。ＣＰＵ４６６は、再度発話された音声信号に対して音声認識を行う。または、従業員は、各客が発話した内容に基づいて、タッチパネル部４６３またはダイレクトキー入力部４６４を操作して入力または選択しなおすことで修正等を行うようにしてもよい。

このように、本実施形態では、注文入力装置４６が客の発話した音声を認識することで、発言者（客）の推定と、注文内容を認識するようにした。これにより、本実施形態によれば、注文入力装置４６が従業員の注文入力等の操作なしで注文を受け付けることができる。また、本実施形態によれば、認識できなかった場合や、認識結果が正しくない場合であっても、従業員の操作に応じて、認識した注文内容を再認識したり修正することができる。

次に、１つのテーブルの客の会計を分ける例を説明する。例えば、１つのテーブルの椅子に４人の客が着席している場合、４人それぞれが会計を行う場合、２人ずつの２つのグループで会計を行う場合などがある。

図２５は、本実施形態に係る会計を分ける場合に注文入力装置４６の表示部４６５に表示される画像ｇ９４０の例を示す図である。
図２５において、画像ｇ９４１は、会計を分ける場合に従業員によってグループ分けされた表示部４６５に表示される画像である。符号９４２は、第１の客の注文データであり、注文データが「生ビール（１つ）、餃子（１つ）」である。符号９４３は、第２の客の注文データであり、注文データが「炒飯（１つ）、ラーメン（１つ）」である。符号９４４は、第３の客の注文データであり、注文データが「レバニラ（１つ）、生ビール（１つ）」である。符号９４５は、第４の客の注文データであり、注文データが「八宝菜（１つ）、卵スープ（１つ）」である。

図２５において、第１の客と第４の客の第１のグループｇ９４６と、第２の客と第３の客の第２のグループｇ９４７との２つのグループそれぞれが会計を行う場合、従業員は、タッチパネル部４６３を操作して、図２５のようにグループ分けを行う。例えば、従業員は、第１の客に対応するアバターｇ２２と第４の客に対応するアバターｇ２５を囲むようにタッチパネル部４６３を操作して選択する。また、従業員は、第２の客に対応するアバターｇ２３と第３に対応する客のアバターｇ２４を囲むようにタッチパネル部４６３を操作して選択する。ＣＰＵ４６６は、操作された結果を検出して、第１のグループｇ９４６と第２のグループｇ９４７との２つのグループに分けた表示画像を、表示部４６５上に表示する。

続けて、ＣＰＵ４６６は、グループ分けした結果に応じて、１つのテーブルの注文を分割する。
図２６は、本実施形態に係る会計を複数に分割する例を示す図である。図２６において、符号ｇ９５１は、４人の客が注文した注文データを示す図である。なお、注文データには、客に対応するアバター名、注文（料理名）、数量、単価、および金額が含まれている。このように、注文データは、アバターに関連づけられている。また、同じ注文（料理名）であっても、客（に対応するアバター）が異なる場合、分離されている。そして、これらの注文データは、注文入力装置４６のＲＡＭ４６８が記憶する。なお、注文入力装置４６は、注文データを、無線ネットワーク４９を介して注文管理装置４３に送信した後に、ＲＡＭ４６８から消去するようにしてもよい。そして、注文入力装置４６は、従業員によってテーブル番号が入力されたとき、注文管理装置４３へ注文データの読み出し指示を送信し、注文管理装置４３が注文入力装置４６からの注文データの読み出し指示に応じて注文データを注文入力装置４６へ送信するようにしてもよい。また、注文管理装置４３は、注文データを、インターネット２を介してサーバ装置５へ送信するようにしてもよい。

ＣＰＵ４６６は、符号ｇ９５２に示すように、１つのテーブルの注文を、第１の客と第３の客の第１のグループの会計（符号ｇ９５３）と、第２の客と第４の客の第２のグループの会計（符号ｇ９５４）とに分ける。そして、ＣＰＵ４６６は、このように２つのグループに分けた注文データを、無線ネットワーク４９を介して注文管理装置４３に送信する。注文管理装置４３は、取得したグループ分けされた注文データに基づきＰＯＳデータを生成し、生成したＰＯＳデータを、有線ネットワーク４８を介してＰＯＳ４２へ送信する。なお、注文入力装置４６は、グループ分けした内容を示す情報のみを注文管理装置４３へ送信するようにしてもよい。

このように、本実施形態では、表示部４６５上に表示されているアバターを従業員が選択した結果に応じて、会計のグループ分けを設定することができる。これにより、１つのテーブルの椅子に複数の客が着席し、個別、またはグループ毎の支払いであっても、客毎の注文を再確認することなく会計金額を算出して提示することができる。

なお、上述した実施例では、注文入力装置４６が、アバター候補、音声認識や画像認識に用いるデータを記憶する例を説明したが、これらのデータを注文管理装置４３またはサーバ装置５が記憶していてもよい。アバター候補、音声認識や画像認識に用いるデータを注文管理装置４３またはサーバ装置５が記憶している場合、画像認識の処理、アバター候補の選択、音声認識、音源方向の推定等の処理を注文管理装置４３またはサーバ装置５が行い、処理結果を注文入力装置４６へ送信するようにしてもよい。

また、上述した例では、注文入力装置４６の操作を従業員が行う例を説明したが、これに限られない。例えば、注文入力装置４６がテーブルに設置または置かれていてもよい。この場合、カメラ４７１がテーブルに取り付けられ、客が着席した後、客が注文入力装置４６を操作開始したときに、客の映像をＣＰＵ４６６は、４６６の制御によって撮像するようにしてもよい。そして、客が注文を入力または選択するようにしてもよい。この場合であっても、客に対応するアバターは、撮像した映像に基づいてＣＰＵ４６６が選択したものである。また、このようにテーブルに注文入力装置４６を客が操作する場合であっても、ＣＰＵ４６６は、入力された注文に基づいて生成した注文データを注文管理装置４３へ送信する。これにより、アバターと対応付けられた注文データを用いて、配膳を行うことができる。

１…オーダー管理システム、２…インターネット、４…店舗内システム、４１…ブロードバンドルータ、４２…ＰＯＳ、４３…注文管理装置、４５…印字装置、４６…注文入力装置、４６１…通信部、４６２…非接触近距離無線通信部、４６３…タッチパネル部、４６４…ダイレクトキー入力部、４６５…表示部、４６６…ＣＰＵ、４６７…ＲＯＭ、４６８…ＲＡＭ、４６９…記憶装置、４７０…音出力部、４７１…カメラ、４７２…マイク

Claims (8)

1. 表示部と、
   客の注文を受付ける入力部と、
   前記客とテーブルを含む映像を撮像する撮像部と、
   アバター候補を記憶する記憶部と、
   撮像された映像から前記客の特徴量を抽出して、抽出した特徴量に基づいて客に対応する前記アバター候補を前記記憶部から選択し、選択した前記アバター候補を前記客に対応するアバターとして前記表示部に表示し、前記入力部が受け付けた注文内容を示す情報を、前記アバターに対応付けて前記表示部に表示するとともに、注文データとして記憶する制御部と、
   を備える注文入力装置。
2. 前記制御部は、
   複数の前記アバター候補を選択可能に前記表示部に表示し、選択を受けて前記客に対応する前記アバターを決定する、請求項１に記載の注文入力装置。
3. 前記記憶部は、
   前記アバター候補を、年齢層毎、性別毎に記憶し、
   前記アバター候補は、
   顔の部分の画像およびアクセサリーの画像をパーツとして備え、
   前記制御部は、
   前記注文入力装置の操作者の操作に応じて、前記アバター候補を前記パーツを用いて変更する、請求項１または請求項２に記載の注文入力装置。
4. 音響信号を取得する音響信号取得部、を備え、
   前記制御部は、
   前記音響信号取得部が取得した音響信号に対して音源定位と音声認識を行い、前記音源定位と前記音声認識した結果に応じて前記客の注文を前記アバターに対応付けて受け付ける、請求項１から請求項３のいずれか１項に記載の注文入力装置。
5. 前記制御部は、
   前記音源定位と前記音声認識した結果、前記音源定位できなかった注文内容、および前記音声認識できなかった注文内容を、前記アバターに対応付けずに前記表示部に表示する、請求項４に記載の注文入力装置。
6. 前記制御部は、
   撮像された前記映像から前記テーブルの特徴量を抽出し、抽出した前記特徴量に基づいて前記テーブルを識別するものとし、前記テーブルの客が複数の場合に前記複数の客全体が注文した注文内容を、前記テーブルに対応付けて前記表示部に表示する、請求項１から請求項５のいずれか１項に記載の注文入力装置。
7. 前記制御部は、
   １つのメニューが複数注文された場合、当該メニューに関する注文内容を複数、前記表示部に選択可能に表示するとともに、選択を受付けた前記注文内容それぞれを対応する客の前記アバターに対応付けて前記表示部に表示し、注文データとして記憶する、請求項６に記載の注文入力装置。
8. 表示部と客の注文を受付ける入力部とアバター候補を記憶する記憶部とを有し、注文入力装置における注文入力方法であって、
   撮像部が、客とテーブルを含む映像を撮像する撮像手順と、
   制御部が、撮像手順によって撮像された映像から前記客の特徴量を抽出して、抽出した特徴量に基づいて客に対応する前記アバター候補を前記記憶部から選択し、選択した前記アバター候補を前記客に対応するアバターとして前記表示部に表示するアバター表示手順と、
   前記制御部が、前記入力部が前記客から受け付けた注文内容を示す情報を、前記アバターに対応付けて前記表示部に表示するとともに、注文データとして記憶する注文内容表示手順と、
   を含む注文入力方法。

Images