JP2018161709A - 対話制御システムおよび対話制御装置 - Google Patents

Abstract

【課題】顧客が希望するペースで対話を行うことが可能な対話制御装置およびロボット制御システムを提供する。【解決手段】対話制御装置は、操作端末と、第１制御部と、滞在状態判断部と、制限部と、を備える。操作端末は、飲食店に来店した顧客と対話するために指示信号に応じた動作を行うロボットと、顧客と前記ロボットとの対話のために操作する。第１制御部は、操作端末の操作によってロボットとの対話の進行を制御する。滞在状態判断部は、顧客の前記飲食店内での滞在状態を判断する。制限部は、滞在状態判断部にて判断された顧客の滞在状態に基づいて、第１制御部による対話の進行制御を制限する。【選択図】図１

Description

本発明は、対話制御システムおよび対話制御装置に関する。

近年、レストランその他公共施設において、来場客の案内役としてヒューマノイド型ロボットを活用する事例が見られる（特許文献１参照）。このようなロボットとのコミュニケーション（対話）を専用の操作端末を用いて行う技術が検討されており、この技術によれば、顧客は、操作端末を介してロボットとの対話を楽しんだり、案内情報を入手したりすることができる。

具体的には、テーブル席に設置されたロボットと、直接的あるいはタブレット等を介して間接的に対話を行うサービスが考えられる。この場合、お薦めメニューを提示したり、雑談をしたりすることにより顧客の満足度を向上させることができる。

特開２０１５−６６６２３号公報

しかしながら、飲食店内では様々な音（会話、食器音、人の歩く音、店員のあいさつ等）が入り混じっており、ロボットの発話内容を聞き取れないことが多々あり、食事を急いでおり対話を早く進めたい（メニュー選択の場面）と思う顧客もいる等、様々な状況に対応する必要がある。そのため、容易に対話を戻したり、進めたりすることが求められている。

そこで、本発明が解決しようとする課題は、顧客が希望するペースで対話を行うことが可能な対話制御システムおよび対話制御装置を提供することである。

一実施形態に係る対話制御システムは、飲食店に来店した顧客と対話するために指示信号に応じた動作を行うロボットと、顧客とロボットとの対話のために操作する操作端末と、操作端末の操作によってロボットとの対話の進行を制御する第１制御部と、顧客の飲食店内での滞在状態を判断する滞在状態判断部と、滞在状態判断部にて判断された顧客の滞在状態に基づいて、第１制御部による対話の進行制御を制限する制限部と、を備える。

滞在状態判断部にて判断される顧客の滞在状態は、顧客が飲食店に入店または着席してから飲食物を注文するまでの状態と、顧客が注文した飲食物が提供されるのを待っている状態と、顧客が飲食物の飲食を完了するまでの状態と、顧客が飲食物の飲食を完了してから退店するまでの状態と、のうち少なくとも１つの状態を含んでもよい。

制限部は、滞在状態判断部にて飲食店に入店または着席してから飲食物を注文するまでの状態であると判断される場合は、第１制御部による対話を進める制御を制限にしてもよい。

制限部は、滞在状態判断部にて顧客が飲食物の飲食を完了するまでの状態であると判断される場合は、第１制御部に対して顧客とロボットとの対話の停止を指示してもよい。

第１制御部は、操作端末における操作によって、対話を進めるか、戻すか、停止するか、又は切り替える制御を行ってもよい。

操作端末は、タッチパネルを有し、
タッチパネル内に対話の進行を制御するための少なくとも一つの指標を表示させる第２制御部を更に備え、
第１制御部は、指標の操作に応じて、対話を進めるか、戻すか、停止するか、又は切り替える制御を行ってもよい。

操作端末は、指標に基づいてタッチパネルをなぞった方向を示す第１検出信号を出力し、第１制御部は、第１検出信号に基づき、対話を進めるか、又は戻すかの制御を行ってもよい。

第１制御部は、ロボットが発話中にタッチパネルをなぞる操作が行われると、なぞる操作後に行われるべき対話をロボットが準備可能になるまでの間に、ロボットに予め定めた発話を行わせてもよい。

タッチパネルをなぞる速度を検出する速度検出部を更に備え、
第１制御部は、速度検出部で検出された速度に応じて、対話を進める又は戻す速度を制御してもよい。

操作端末は、タッチパネル上の指標がタッチされたか否かを示す第２検出信号を出力し、第１制御部は、第２検出信号に基づき、対話を進めるか、戻すか、停止するか、又は切り替える制御を行うようにしてもよい。

操作端末は、音声出力部を有し、指標の操作がされた後に、操作の内容を示す発話を音声出力部から音声出力させる第３制御部を更に備えてもよい。

飲食店に来店した顧客と対話するための対話シナリオ情報を複数の対話シナリオ情報から取得する情報取得部を更に備え、
第１制御部は、情報取得部で取得された対話シナリオ情報に基づいて、ロボットとの対話の進行を制御するようにしてもよい。

一実施形態に係る対話制御装置は、飲食店に来店した顧客と対話するために指示信号に応じた動作をロボットに行わせる対話制御装置であって、顧客とロボットとの対話のための情報入力、情報選択および情報操作の少なくとも一つを行うユーザインタフェース部と、ユーザインタフェース部による情報入力、情報選択および情報操作の少なくとも一つに基づいて、ロボットとの対話の進行を制御する制御部と、顧客の飲食店内での滞在状態を判断する滞在状態判断部と、滞在状態判断部にて判断された顧客の滞在状態に基づいて、制御部による対話の進行制御を制限する制限部と、
を備える。

本発明によれば、顧客が希望するペースで対話の進行を制御することができ、より満足感のある対話を行うことができる。

一実施形態に係るロボット制御システムの一例を示すブロック図。 一実施形態に係る入力部の一例を示すブロック図。 一実施形態に係るシナリオ制御部の一例を示すブロック図。 制限部が行う対話の進行制御に関する動作例を示すフローチャート。 ロボットとユーザとの対話の一例を示す図。 選択肢がユーザにより選択された場合の表示部の表示例を示す図。 注文が終了し、料理が来るのを待っている場面を示す図。 食事中の場面を示す図。 食事が終了し、会計を待っている場面を示す図。 第１変形例に係るロボット制御システムの一例を示すブロック図。 第２変形例に係るロボット制御システムの一例を示すブロック図。

以下、本発明の実施形態に係る対話制御システム及びロボット制御システムの構成及び作用について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。

図１は、本発明の実施形態によるロボット制御システム１を示すブロック図である。図１に示すように、ロボット制御システム１は、ロボット２と、ロボット制御装置の一例である操作端末３と、ハンディ端末４と、ＰＯＳ（Ｐｏｉｎｔ ｏｆ Ｓａｌｅｓ）システムなどの店舗システム５と、を備える。ロボット制御システム１は、例えば、飲食店の顧客（以下、ユーザと呼ぶ）が、ロボット２を操作する操作端末３を介してロボット２と対話をするためのシステムである。

図１におけるロボット２は、人間に似た外観及び対話機能を有する機械、すなわちヒューマノイドである。なお、ロボット２は、動物やキャラクタなどの人間と非類似の外観を有していてもよい。また、ロボット２は、表示部３５に表示された画像による仮想的なロボットであってもよい。

（ロボット２）
図１に示すように、ロボット２は、ロボット駆動部２１と、駆動制御部の一例であるロボット制御部２２とを有する。ロボット２は、商用電源から供給される電力によって駆動するものであってもよいし、電池等のバッテリにより駆動するものであってもよい。

ロボット駆動部２１は、ロボット２の発話音声を出力する音声出力装置を備える。ロボット駆動部２１を必要に応じて駆動させることにより、ユーザとの対話を行うためにロボット２に発話させることができる。ロボット駆動部２１には、ロボット制御部２２から、ロボット駆動部２１の駆動を制御する駆動制御信号が入力される。ロボット駆動部２１は、駆動制御信号に応じて駆動される。なお、ロボット駆動部２１は、他に、自由度を有するロボット２の部位を駆動するアクチュエータや、ロボット２の眼球部を点灯させる点灯装置等を有していてもよい。

ロボット制御部２２は、指令信号の一例であるロボット制御コマンドを操作端末３から受信する。ロボット制御部２２は、受信したロボット制御コマンドに基づいて上述の駆動制御信号を生成し、生成された駆動制御信号をロボット駆動部２１へと出力する。すなわち、ロボット２は、ロボット制御コマンドに応じて動作することができる。なお、ロボット２を発話させるためのコマンドには、発話内容を示すデータ（後述するシナリオデータ）が含まれる。

ロボット制御部２２は、例えば、アプリケーションプログラムやこれを動作させるオペレーティングシステムなどのソフトウェアが記憶された少なくとも１つのメモリと、メモリに記憶されたソフトウェアを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とを有し、メモリに記憶されたソフトウェアをＣＰＵが実行することにより駆動制御信号を生成してもよい。

（操作端末３）
操作端末３は、ユーザが携帯するものであり、例えば、タッチ機能を備えたタブレット端末である。この他、操作端末３は、スマートフォンや卓上のディスプレイ型の端末などでもよい。図１に示すように、操作端末３は、センサの一例である方位センサ３１と、指令信号部及び送信部の一例である動作生成部３２とを有する。操作端末３は、内蔵電池から供給される電力によって駆動される。なお、本実施形態に係る対話制御装置は、操作端末３に対応する。

方位センサ３１は、操作端末３の方位を示す方位検出信号を動作生成部３２へと出力する。方位センサ３１は、検出された操作端末３の方位を示す方位検出信号を動作生成部３２へと出力する。動作生成部３２は、例えば、方位センサ３１からの方位検出信号に基づいて、操作端末３が存在する方向を向くように、ロボット２の姿勢を制御するためのロボット制御コマンドを生成する。

動作生成部３２は、方位センサ３１の出力に基づいてロボット２の動作を制御するロボット制御コマンドを生成する。動作生成部３２は、生成されたロボット制御コマンドを、例えば、Ｗｉ−Ｆｉなどの無線通信を介してロボット制御部２２へと送信する。ロボット制御部２２は、動作生成部３２からのロボット制御コマンドを受信し、受信されたロボット制御コマンドに応じた駆動制御信号をロボット駆動部２１へと出力することにより、ロボット２の動作の制御を行う。

また、動作生成部３２は、対話に用いるシナリオデータに基づいてロボット２を制御するロボット制御コマンドを生成する。これにより、対話データを音声として発生させるロボット制御コマンドをロボット制御部２２へと送信することにより、ロボット２から音声を発生させる。この際、シナリオデータに基づいてロボット２の口の部分を開閉させたり、光らせたりするロボット制御コマンドを併せてロボット制御部２２に送信し、ロボット２の口を開閉させたり、光らせたりさせることもできる。ロボット２から出力される音声は、意味のある言葉を含む発話でもよいし、言葉を含まない擬制音などでもよい。

ロボット２の動作としては、音声を用いてユーザと会話を行う対話動作も含まれる。ユーザとロボット２との間での対話を行うための構成として、操作端末３は、上述の動作生成部３２に加え、さらに、シナリオＤＢ（データベース）３３と、シナリオ制御部３４と、表示部３５と、タッチパネル等の入力部３６と、音声出力部３７とを備える。

図１に示すように、シナリオＤＢ３３には、ユーザとロボット２との間での対話を行うための複数の対話シナリオ情報が蓄積されている。対話シナリオ情報には、複数のシナリオ群（各シナリオ群は複数の対話シナリオを有する）や、複数の対話シナリオが含まれており、一つの対話シナリオは、ロボット２とユーザとの間でやり取りされる対話のストーリである。一つの対話シナリオは、ロボット２が対話、すなわち発話、動作などに用いるロボット側シナリオデータと、ユーザが対話、すなわち、操作端末３での選択に用いるユーザ側シナリオデータとで構成されている。ユーザ側シナリオデータは、ロボット側シナリオデータに対して応答可能な幾つかの対話シナリオデータを含んでおり、これらの中から任意のデータをユーザは入力部３６にて選択することができる。そして、ユーザ側シナリオデータに示される対話シナリオの選択肢のそれぞれに、互いに異なる新たな下位のユーザ側シナリオデータが対応付けられている。すなわち、対話シナリオデータは、ロボット側シナリオデータとユーザ側シナリオデータが交互にノードとして結合されたツリー構造を有する。ツリー構造のうち、最上位から最下位にわたる所定の一連のノード群は、例えば典型的な対話に用いられる基本シナリオとして管理されている。また、他のノード群は、基本シナリオを補正する補正シナリオとして管理されていてもよい。

シナリオ制御部３４は、店舗システム５から出力されたデータに基づいてシナリオを制御する。本実施形態に係る表示部３５は、タッチパネルを構成する例えば液晶パネルである。また、本実施形態に係る入力部３６は、タッチパネルをタッチまたはスワイプする（触る、またはなぞる）ことで、種々の情報を入力する。図２は、入力部３６の一例を示すブロック図である。この図２に示すように入力部３６は、第１信号入力部３６１と、第２信号入力部３６２と、第３信号入力部３６３とを備える。第１信号入力部３６１は、表示部３５に表示される指標に基づいてタッチパネルをなぞった方向を示す第１検出信号を出力する。第２信号入力部３６２は、タッチパネル上の指標がタッチされたか否かを示す第２検出信号を出力する。第３信号入力部３６３は、タッチパネル上をタッチされた座標とその時刻とを示す第３検出信号を出力する。なお、本実施形態に係るユーザインタフェース部は、表示部３５、入力部３６、及び音声出力部３７により構成される。

音声出力部３７は、シナリオ制御部３４の制御に従い、音声を発生する。速度検出部３８は、第３信号入力部３６３が出力する第３信号を用いて、例えば表示部３５及び入力部３６により構成されるタッチパネルをなぞる速度を検出する。なお、本実施形態に係る表示部３５及び入力部３６はタッチパネルを構成するが、これに限定されず、表示部３５と、入力部３６とをそれぞれ別体の装置として構成してもよい。
ここで、図３に基づき、シナリオ制御部３４の具体的な構成を説明する。図３は、シナリオ制御部３４のブロック図を示す図である。この図３に示すように、シナリオ制御部３４は、受信部３４１と、滞在状態判断部３４２と、情報取得部３４３と、対話制御部３４５と、を備える。また、シナリオ制御部３４は、推奨メニュー提供部３４４を備えていてもよい。このように、推奨メニュー提供部３４４は、必須の構成部ではない。

受信部３４１は、店舗システム５から出力されたステータスデータを含む情報を受信する。ステータスデータは、例えば飲食店の店舗スタッフが携帯する注文用のハンディ端末４にて入力可能である。このステータスデータは、ハンディ端末４から店舗システム５に送信され、その後、店舗システム５からシナリオ制御部３４の受信部３４１へと送信される。また、ステータスデータは、店舗システム５を経由せずに、ハンディ端末４から直接受信部３４１を介して操作端末３へと送信されるようにしてもよい。

ステータスデータの例としては、ユーザが入店したことを示す第１状態、ユーザが着席したことを示す第２状態、ユーザが飲食物を注文したことを示す第３状態、注文した飲食物がユーザに提供されたことを示す第４状態、ユーザが提供された飲食物の飲食を完了したことを示す第５状態、ユーザが退店したことを示す第６状態などがある。これには限られず、ステータスデータは、ユーザが離席したことを示す離席状態、ユーザ同士が会話をしている会話状態、又は、ユーザが食後にデザートを注文した状態などを備えていてもよい。このように、ステータスデータは、時間の経過とともに変化するユーザの滞在状態を判断するのに用いられる情報である。

滞在状態判断部３４２は、受信部３４１が受信した情報のうち、ステータスデータに基づいて、例えばユーザの飲食店内での滞在状態を判断する。滞在状態判断部３４２は、例えば受信部３４１を介してユーザが着席したことを示す第２状態の信号を受信すると、飲食店に着席してから飲食物を注文するまでの状態であると判断する。同様に、滞在状態判断部３４２は、例えば受信部３４１を介して第３状態の信号を受信すると、ユーザが注文した飲食物が提供されるのを待っている状態であると判断する。同様に、滞在状態判断部３４２は、例えば受信部３４１を介して第４状態の信号を受信すると、ユーザが飲食物の飲食を完了するまでの状態であると判断する。

同様に、滞在状態判断部３４２は、例えば受信部３４１を介して第５状態の信号を受信すると、ユーザが飲食物の飲食を完了してから退店するまでの状態であると判断する。上述のステータスデータと同様に、滞在状態も、時間の経過とともに変化するユーザの状態を示す情報である。

なお、ステータスデータと滞在状態の関連性は、上述したもの以外の構成であってもよい。例えば、店舗スタッフが、ステータスデータとして滞在状態そのものを入力するようにしてもよい。すなわち、ユーザの行為をトリガとして入力するのではなく、状態そのものを入力するものであってもよい。具体的には、店舗スタッフが、着席した、注文した、といった行為を入力するのではなく、着席している状態、注文して飲食物待機中の状態といった状態を直接入力するようにしてもよい。この場合、滞在状態判断部３４２は、受信したステータスデータそのものを滞在状態であると判断する。このような入力の違いは、基本的には設計事項の問題である。

情報取得部３４３は、飲食店に来店したユーザと対話するための対話シナリオ情報をシナリオＤＢ３３内の複数の対話シナリオ情報の中から取得する。すなわち、この情報取得部３４３は、対話制御部３４５の制御に従い、シナリオＤＢ３３に記憶される複数の対話シナリオ情報の中から、ユーザと対話するための対話シナリオ情報を取得し、対話制御部３４５に出力する。情報取得部３４３は、ユーザの滞在状態に応じて対話するシナリオデータを取得するようにしてもよいし、情報取得部３４３がシナリオ群を取得した上で、当該シナリオ群から対話に用いるシナリオデータを選択して出力するようにしてもよい。

推奨メニュー提供部３４４は、メニュー中にお薦めのメニューがある場合に、お薦めのメニューに関する推奨メニュー情報を情報取得部３４３に送信する。情報取得部３４３は、シナリオＤＢ３３から、当該推奨メニューに関する対話シナリオ情報を取得する。

例えば、ユーザが着席後、注文前の滞在状態である場合に、情報取得部３４３で取得した推奨メニューに関する対話シナリオ情報に基づいて、推奨メニュー提供部３４４が推奨メニューを出力するようにしてもよい。

対話制御部３４５は、対話シナリオ情報に基づいて、対話シナリオを進行させる。すなわち、本実施形態に係る対話制御部３４５は、第１制御部３４５Ａと、第２制御部３４５Ｂと、第３制御部３４５Ｃと、制限部３４５Ｄとを、備えている。

第１制御部３４５Ａは、情報取得部３４３が取得した対話シナリオ情報に基づき対話シナリオの進行を制御する。この第１制御部３４５Ａは、対話シナリオの進行を行いつつ、対話シナリオ情報に含まれるロボット側シナリオデータを動作生成部３２に出力し、ユーザ側のシナリオデータを第２制御部３４５Ｂに出力する。また、第１制御部３４５Ａは、操作端末３の操作によってロボット２との対話シナリオの進行を制御する。具体的には、第１制御部３４５Ａは、表示部３５に表示される指標に対する操作によって、ロボット２との対話を進めるか、戻すか、停止するか、又は切り替える制御を行う。例えば、ユーザは、表示部３５に表示される指標が示す向きに従って、指標をなぞってもよく、指標をタッチしてもよい。例えば第１制御部３４５Ａは、第１信号入力部３６１が生成したタッチパネルをなぞった方向を示す第１検出信号に基づき、対話を進めるか、又は戻すかの制御を行う。例えば第１制御部３４５Ａは、速度検出部３８が検出したタッチパネルをなぞる速度に応じて、対話を進める又は戻す速度を制御する。また、第１制御部３４５Ａは、ロボット２が発話中にタッチパネルをなぞる操作が行われると、なぞる操作後に行われるべき対話をロボット２が準備可能になるまでの間に、ロボット２に予め定めた発話を、第３制御部３４５Ｃを介して行わせる。さらにまた、第１制御部は、第２信号入力部３６２が生成した指標がタッチされたことを示す第２検出信号に基づき、対話を進めるか、戻すか、停止するか、又は切り替える制御を行う。

第２制御部３４５Ｂは、これらの指標を入力部３６のタッチパネルに表示させる表示制御を行う。例えば、第２制御部３４５Ｂは、入力された対話シナリオ情報に基づいてユーザ側の”対話シナリオの選択肢”を示す画像情報を指標として入力部３６に表示させる。また、第２制御部３４５Ｂは、”先送り”、”戻り”、”停止”などの文字表示を指標として入力部３６に表示させる。これらの”先送り”、”戻り”、”停止”、”対話シナリオの選択肢”などの指標は、それぞれが、対話シナリオの進行を”進める”、”戻す”、”停止する”、”切り替える”などの操作に対応している。すなわち、第１制御部３４５Ａは、対話シナリオの進行を”進める”、”戻す”、”停止する”、”切り替える”などに対応する指示信号に基づき、ロボットとの対話の進行を制御する。このように、第１制御部３４５Ａは、ユーザインタフェース部による情報入力、情報選択および情報操作の少なくとも一つに基づいて、ロボット２との対話の進行を制御する。

第３制御部３４５Ｃは、これらタッチパネルに表示される指標に対する操作がされた後に、この操作の内容を示す発話をさせる。例えば、本実施形態に係る第３制御部３４５Ｃは、”先送りが選択されると、”急いでいるの”とロボット２に発話させ、”戻り”が選択されると、”聞き漏らした”とロボット２に発話させ、”対話シナリオの選択肢”が選択されると、”ちょっと待ってね”とロボット２に発話させたりする。これにより、ユーザは、ロボット２との対話により臨場感を感じることができる。なお、指標に対する操作がされた後に、この操作の内容を示す音声を音声出力部３７から出力させてもよい。

また、第３制御部３４５Ｃは、第１制御部３４５Ａの制御に従い、ロボット２が発話中にタッチパネルをなぞる操作が行われると、なぞる操作後に行われるべき対話をロボット２が準備可能になるまでの間に、ロボット２に予め定めた発話を行わせる。例えば、第３制御部３４５Ｃは、指標に対する操作後に行われるべき対話をロボット２が準備可能になるまでの間に、上述のように” 聞き漏らした”、”急いでいるの”、”ちょっと待ってね”などの予め定めた発話をロボット２に行わせる。これにより、ユーザは、ロボット２の発話の遅れを感じることがなく、ロボット２との対話をより自然な感じで行うことができる。

制限部３４５Ｄは、滞在状態判断部３４２にて判断されたユーザの滞在状態に基づいて、第１制御部３４５Ａによる対話の進行制御を制限する。例えば、制限部３４５Ｄは、滞在状態判断部３４２にてユーザが飲食店に入店または着席してから飲食物を注文するまでの状態であると判断される場合には、第１制御部３４５Ａによる対話を進める制御を制限する。これにより、例えばユーザはメニューの内容に関する対話を省略または簡略化することが制限され、店舗側はユーザに対してメニュー内容を確実に伝えることができる。

追加
また、ユーザが注文した飲食物の提供を待っている状態である場合、第１制御部３４５Ａによる対話を進めたり、戻したりする制御を一切制限しない。これにより、ユーザの希望により対話の進行を自由に制御することが可能になり、ユーザにとってより満足感のある対話を実現することができる。

一方で、例えば、制限部３４５Ｄは、滞在状態判断部３４２にてユーザが飲食物の飲食を完了するまでの状態であると判断される場合には、第１制御部３４５Ａに対してユーザとロボット２との対話の停止を指示する。これにより、例えばユーザは、食事に集中することが可能である。これらから分かる様に、ユーザの滞在状態に基づいて、対話の進行制御を制限することで、ユーザに対してロボット２への関与を調整することが可能である。このように、制限部３４５Ｄは、店舗スタッフがハンディ端末４へ入力したユーザの滞在状態に基づいて、第１制御部３４５Ａによる対話の進行制御を制限する。

以上の構成により、対話シナリオデータを用いてユーザとロボット２との間での対話を行うことができる。

次に、滞在状態判断部３４２が判断したユーザの滞在状態に基づき、制限部３４５Ｄが行う対話の進行制御に関する動作例を説明する。図４は、制限部３４５Ｄが行う対話の進行制御に関する動作例を示すフローチャートである。

まず、滞在状態判断部３４２は、受信部３４１を介して店舗システム５からステータスデータを取得する（ステップＳ１０）。滞在状態判断部３４２は、受信した信号が、ユーザが入店したことを示す第１状態を示す信号、又はユーザが着席したことを示す第２状態を示す信号であるか否かを判定する（ステップＳ１１）。

受信した信号が、ユーザが入店したことを示す第１状態を示す信号、又はユーザが着席したことを示す第２状態を示す信号である場合（ステップＳ１１：ＹＥＳ）、滞在状態判断部３４２は、ユーザが飲食店に入店または着席してから飲食物を注文するまでの状態、すなわち注文前であると判断する。この場合、制限部３４５Ｄは、第１制御部３４５Ａによる対話を進める制御を制限する。

一方で、受信した信号が、ユーザが入店したことを示す第１状態を示す信号、及びユーザが着席したことを示す第２状態を示す信号でない場合（ステップＳ１１：ＮＯ）、滞在状態判断部３４２は、ユーザが飲食物を注文したことを示す第３状態を示す信号であるか否かを判定する（ステップＳ１３）。

受信した信号が、ユーザが飲食物を注文したことを示す第３状態を示す信号である場合（ステップＳ１３：ＹＥＳ）、滞在状態判断部３４２は、ユーザが飲食物を注文したことを示す第３状態、すなわち商品の提供前の状態であると判断する。この場合、制限部３４５Ｄは、第１制御部３４５Ａによる制御に関して制限をしない（ステップＳ１４）。

一方で、受信した信号が、ユーザが飲食物を注文したことを示す第３状態を示す信号でない場合（ステップＳ１３：ＮＯ）、滞在状態判断部３４２は、注文した飲食物がユーザに提供されたことを示す第４状態を示す信号であるか否かを判定する（ステップＳ１５）。

受信した信号が、注文した飲食物がユーザに提供されたことを示す第４状態を示す信号である場合（ステップＳ１３：ＹＥＳ）、滞在状態判断部３４２は、注文した飲食物がユーザに提供されたことを示す第４状態、すなわち、ユーザが飲食物の飲食を完了するまでの状態であると判断する。この場合、制限部３４５Ｄは、第１制御部３４５Ａに対してロボット２との対話の進行制御（先送り、戻り、停止）を制限する（ステップＳ１６）。

一方で、受信した信号が、注文した飲食物がユーザに提供されたことを示す第４状態を示す信号でない場合（ステップＳ１３：ＮＯ）、滞在状態判断部３４２は、ユーザが提供された飲食物の飲食を完了したことを示す第５状態であると判断する。この場合、制限部３４５Ｄは、第１制御部３４５Ａによる制御に関して制限をしない（ステップＳ１７）。ただし、ステップＳ１７においては、何らかの制限を設けてもよい。例えば、ユーザの会計を促すために、メニュー選択等の一部の対話を制限してもよい。

そして、滞在状態判断部３４２は、対話が終了した否かを判定し（ステップＳ１８）、対話が終了していない場合（ステップＳ１８：ＹＥＳ）は、ステップＳ１０からの処理を繰り返す。一方で、対話が終了した場合（ステップＳ１８：ＮＯ）は、全体の処理を終了する。このように、滞在状態判断部３４２は、受信部３４１を介して店舗システム５から受信した滞在情報を示す信号に基づいて、第１制御部３４５Ａに対してロボット２との対話に関する制限をかける。

次に、対話シナリオの具体的な適用例について説明する。図５は、ロボット２とユーザとの対話の一例を示す図であり、推奨メニュー提供部３４４が推奨メニュー情報を提供した場合の例を示す図である。この図５に示すように、対話は、ロボット２と、操作端末３を用いて行われる。操作端末３は、例えば、表示部３５と、表示部３５に一体に組み込まれたタッチパネル式の入力部３６と、を備えるタブレット型の携帯端末である。ロボット２からは、情報取得部３４３により選択されたロボット側シナリオデータに基づいて、例えば「なにを注文する？」という発話が実行される。この場面は、注文前であるので、制限部３４５Ｄにより、第１制御部３４５Ａによる対話を進める制御が制限されている。このため、対話制御部３４５の第２制御部３４５Ｂは、”先送り”を示す指標を表示部３５に表示させていない。また、推奨メニューに関するシナリオの最初の画面であるので、”戻り”を示す指標も、表示部３５に表示させていない。

図６は、図５において、「おすすめメニューを教えて！」がユーザにより選択された場合の表示部３５の表示例を示す図である。この図６に示すように、本日のおすすめメニューとして、推奨メニュー提供部３４４が提供した、「イタリア産チーズのハンバーグ」の文字が、画像や動画とともに表示される。それとともに、その他のおすすめメニューを併せて表示してもよい。さらに、ロボット２からイタリア産チーズのハンバーグの説明について、メニューの内容、おすすめの理由等を発話するようにしてもよい。この場面は、引き続き、注文前であるので、制限部３４５Ｄにより、第１制御部３４５Ａによる対話を進める制御が制限されている。このため、第２制御部３４５Ｂは、”先送り”を示す指標を表示部３５に表示させていない。

図７は、注文が終了し、料理が来るのを待っている場面を示す図である。この場合、第２制御部３４５Ｂは、第１制御部３４５Ａに対して制限をかけていないので、第２制御部３４５Ｂは、”戻り”、”先送り”、”停止”を示す指標を表示部３５に表示させている。この場合、例えば、”戻り”を示す指標をタッチするか、左方向に画面をなぞると、対話シーンを戻すことが可能である。一方で、例えば、”先送り”を示す指標をタッチするか、右方向に画面をなぞると、対話シーンを進めることが可能である。また、”停止”を示す指標をタッチすると、対話を終了可能である。なお、”戻り”、”先送り”、”停止”の操作は上記に限らず、音声での指示などあらゆる方法で行うことができる。

図８は、食事中の場面を示す図である。この図８に示すように、第２制御部３４５Ｂは、第１制御部３４５Ａに対して対話の”戻り”、”先送り”、”停止”の操作に制限をかけている。このため、第２制御部３４５Ｂは、”戻り”、”先送り”、”停止”を示す指標を表示部３５に表示させていない。

図９は、食事が終了し、会計を待っている場面を示す図である。この場合、第１制御部３４５Ａに対して制限をかけていないので、第２制御部３４５Ｂは、”戻り”、”先送り”、 ”停止”を示す指標を表示部３５に表示させている。ただし、会計を促すために、対話シーンに制限をかけてもよい。

以上のように、本実施形態によれば、第１制御部３４５Ａが操作端末３の操作によってロボット２との対話の進行を制御し、制限部３４５Ｄが滞在状態判断部３４２にて判断されたユーザの滞在状態に基づいて、第１制御部３４５Ａによる対話の進行制御を制限することとした。これにより、ロボット２との対話を戻したり、進めたりすることが可能である。また、ユーザの滞在状態に応じて対話の進行制御に制限をかけられるので、ユーザの状態、例えば、注文前である状態や、飲食中である状態に適した対話の進行制御を行うことができ、ユーザの満足度を高めることが可能となる。

なお、上記の説明においては、滞在状態は、店舗スタッフがハンディ端末４から入力した際に遷移するものであるとしたが、これには限られない。例えば、ユーザの注文を確定した後に、ユーザの注文した飲食物の平均的な提供までの待ち時間が経過した後に、飲食中の滞在状態へと遷移するようにしてもよい。また、例えば、飲食物の提供が完了した後、３０分や４５分と言った所定の時間後に自動的にユーザの飲食が完了した滞在状態へと遷移するようにしてもよい。

特に、注文を受けた際には、店舗スタッフがハンディ端末４を操作するために滞在状態の更新を忘れることはないが、その他の滞在情報は、店舗スタッフが確認してハンディ端末４を操作しなくてはならないため、ハンディ端末４を介しての滞在情報の更新が為されない場合がある。このような場合に、予め決められた時間が経過すると自動的に滞在状態が遷移するようにしておくことは有効である。

（第１変形例）
図１０は、第１変形例に係るロボット制御システム１の一例を示すブロック図である。上述した実施形態においては、シナリオＤＢ３３は、操作端末３内に設置されているものであったが、これには限られない。例えば、図１０に示すように、シナリオＤＢ３３は、操作端末３の外部にあるものでもよい。そして、シナリオ制御部３４は、ネットワーク６を介してシナリオＤＢ３３と接続される。

シナリオＤＢ３３は、操作端末３の外部の所定のサーバに備えられているものでもよいし、特定のサーバではなく、ネットワーク６により接続される所謂クラウド上に存在するデータベース（分散型データベースを含む）であってもよい。ネットワーク６と、操作端末３又はシナリオＤＢ３３は、有線又は無線の通信を介して接続される。

本変形例によれば、シナリオＤＢ３３を操作端末３内ではなく外部に有することにより、操作端末３にてシナリオＤＢの管理を行う必要がなくなるとともに、シナリオデータの一元管理をすることも可能となる。さらに、シナリオＤＢ３３がクラウド上に存在し、特定多数の編集者がシナリオデータを編集、あるいは、追加することが可能であるように設定することにより、よりバリエーションに富んだ対話内容を選択することも可能となる。

（第２変形例）
図１１は、第２変形例に係るロボット制御システム１の構成を示す図である。この図１１に示すように、動作生成部３２、シナリオ制御部３４、及び、シナリオＤＢ３３は、操作端末３ではなく、ロボット２内に備えられているものとしてもよい。すなわち、主要な制御機能を操作端末３ではなく、ロボット２に備えるようにしてもよい。動作生成部３２、及び、シナリオ制御部３４の動作は、上述した実施形態における動作と大きく異なることはなく、本変形例においても、図４に示すフローチャートにしたがって対話の処理が実行される。

本変形例によれば、操作端末３の構成を簡略化でき、また、操作端末３からロボット２へと送信するデータ量を削減できるため、操作端末３とロボット２との間の通信回線の性能が低い場合でも、支障なくロボット２との対話を行うことができる。なお、動作生成部３２は、操作端末３及びロボット２の外部に設けられていてもよく、例えば、店舗システム５に内蔵されていてもよいし、店舗システム５とは別個の通信機器内に設けてもよい。

なお、上述した全ての実施形態及び変形例においては、対話は、ユーザ、又は、ロボット２が何かしらの情報を出力している状態として説明したが、これには限られない。例えば、食事中であれば、ロボット２との対話の必要性は低くなるので、このような場合においては、無言のシナリオをあらかじめ準備しておき、この無言のシナリオを出力するようにしてもよい。

上述した全ての実施形態及び変形例に係るロボット制御システム１は、既述したように飲食サービスに好適に適用することができるが、飲食サービス以外の種々のサービスに適用されてもよい。

本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

１ ロボット制御システム、２ ロボット、３ 操作端末、３４ シナリオ制御部、３８ 速度検出部、３４２ 滞在状態判断部、３４５Ａ 第１制御部、３４５Ｂ 第２制御部、３４５Ｃ 第３制御部、３４５Ｄ 制限部

Claims (13)

1. 飲食店に来店した顧客と対話するために指示信号に応じた動作を行うロボットと、
   前記顧客と前記ロボットとの対話のために操作する操作端末と、
   前記操作端末の操作によって前記ロボットとの対話の進行を制御する第１制御部と、
   前記顧客の前記飲食店内での滞在状態を判断する滞在状態判断部と、
   前記滞在状態判断部にて判断された前記顧客の滞在状態に基づいて、前記第１制御部による対話の進行制御を制限する制限部と、
   を備える対話制御システム。
2. 前記滞在状態判断部にて判断される前記顧客の滞在状態は、
   前記顧客が前記飲食店に入店または着席してから飲食物を注文するまでの状態と、
   前記顧客が注文した飲食物が提供されるのを待っている状態と、
   前記顧客が飲食物の飲食を完了するまでの状態と、
   前記顧客が飲食物の飲食を完了してから退店するまでの状態と、のうち少なくとも１つの状態を含む請求項１に記載の対話制御システム。
3. 前記制限部は、前記滞在状態判断部にて前記飲食店に入店または着席してから飲食物を注文するまでの状態であると判断される場合は、前記第１制御部による前記対話を進める制御を制限する、請求項２に記載の対話制御システム。
4. 前記制限部は、前記滞在状態判断部にて前記顧客が飲食物の飲食を完了するまでの状態であると判断される場合は、前記第１制御部に対して前記顧客と前記ロボットとの対話の停止を指示する、請求項２に記載の対話制御システム。
5. 前記第１制御部は、前記操作端末における操作によって、前記対話を進めるか、戻すか、停止するか、又は切り替える制御を行う請求項１乃至４のいずれか一項に記載の対話制御システム。
6. 前記操作端末は、タッチパネルを有し、
   前記タッチパネル内に前記対話の進行を制御するための少なくとも一つの指標を表示させる第２制御部を更に備え、
   前記第１制御部は、前記指標の操作に応じて、前記対話を進めるか、戻すか、停止するか、又は切り替える制御を行う請求項５に記載の対話制御システム。
7. 前記操作端末は、前記指標に基づいて前記タッチパネルをなぞった方向を示す第１検出信号を出力し、
   前記第１制御部は、前記第１検出信号に基づき、前記対話を進めるか、又は戻すかの制御を行う請求項６に記載の対話制御システム。
8. 前記第１制御部は、前記ロボットが発話中に前記タッチパネルをなぞる操作が行われると、前記なぞる操作後に行われるべき対話を前記ロボットが準備可能になるまでの間に、前記ロボットに予め定めた発話を行わせる請求項７に記載の対話制御システム。
9. 前記タッチパネルをなぞる速度を検出する速度検出部を更に備え、
   前記第１制御部は、前記速度検出部で検出された速度に応じて、前記対話を進める又は戻す速度を制御する請求項７に記載の対話制御システム。
10. 前記操作端末は、前記タッチパネル上の前記指標がタッチされたか否かを示す第２検出信号を出力し、
    前記第１制御部は、前記第２検出信号に基づき、前記対話を進めるか、戻すか、停止するか、又は切り替える制御を行う請求項６に記載の対話制御システム。
11. 前記操作端末は、音声出力部を有し、
    前記指標の操作がされた後に、前記操作の内容を示す発話を前記音声出力部から音声出力させる第３制御部を更に備える、請求項６乃至１０のいずれか一項に記載の対話制御システム。
12. 飲食店に来店した顧客と対話するための対話シナリオ情報を複数の対話シナリオ情報から取得する情報取得部を更に備え、
    前記第１制御部は、前記情報取得部で取得された対話シナリオ情報に基づいて、前記ロボットとの対話の進行を制御する請求項１乃至１１のいずれか一項に記載の対話制御システム。
13. 飲食店に来店した顧客と対話するために指示信号に応じた動作をロボットに行わせる対話制御装置であって、
    前記顧客と前記ロボットとの対話のための情報入力、情報選択および情報操作の少なくとも一つを行うユーザインタフェース部と、
    前記ユーザインタフェース部による情報入力、情報選択および情報操作の少なくとも一つに基づいて、前記ロボットとの対話の進行を制御する制御部と、
    前記顧客の前記飲食店内での滞在状態を判断する滞在状態判断部と、
    前記滞在状態判断部にて判断された前記顧客の滞在状態に基づいて、前記制御部による対話の進行制御を制限する制限部と、
    を備える対話制御装置。

Images