JP2018161708A - ロボット制御システムおよびロボット制御装置 - Google Patents

Abstract

【課題】飲食店におけるロボットとの対話への満足感を向上させることができるロボット制御システムおよびロボット制御装置を提供する。【解決手段】飲食店に来店した顧客と対話するために指令信号に応じて発話を含む動作を行うロボット２と、ロボット２の発話内容を表示する表示装置３５と、顧客の飲食店内での滞在状態を判断する滞在状態判断部３４２と、ロボット２の発話内容を、滞在状態判断部３４２にて判断された顧客の滞在状態に基づいて、表示装置３５に表示する制御を行う表示制御部３４５２と、を備える。【選択図】図１

Description

本発明は、ロボット制御システムおよびロボット制御装置に関する。

近年、レストランその他公共施設において、来場客の案内役としてヒューマノイド型ロボットを活用する事例がみられる。このようなロボットとのコミュニケーション（対話）を専用の操作端末を用いて行う技術が検討されており、この技術によれば、ユーザは、操作端末を介してロボットとの対話を楽しんだり、案内情報を入手したりすることができる。

具体的には、飲食店に来店した顧客に対して、飲食店のテーブル席に設置されたロボットとの間で直接的あるいはタブレット等を介して間接的に対話することができるサービスを提供することができる。この場合、顧客に対して推奨メニューを提示したり、雑談をしたりすることで、飲食サービスの満足度を向上させることができる。

特開２０１５−６６６２３号公報

飲食店内では、人間同士の会話音、食器が重なる音、食器がテーブルに触れる音、人間が歩く音、店員の挨拶音などの様々な音が同時に生じていることがあるため、ロボットの発話内容を聞き取れないことが多々ある。ロボットの発話内容を聞き取れないことで、顧客の満足度の向上を狙っているにもかかわらず、逆に顧客のフラストレーションがたまってしまう虞がある。

本発明はこのような点を考慮してなされたものであり、飲食店におけるロボットとの対話への満足感を向上させることができるロボット制御システムおよびロボット制御装置を提供することを目的とする。

本発明は、飲食店に来店した顧客と対話するために指令信号に応じて発話を含む動作を行うロボットと、ロボットの発話内容を表示する表示装置と、顧客の飲食店内での滞在状態を判断する滞在状態判断部と、ロボットの発話内容を、滞在状態判断部にて判断された顧客の滞在状態に基づいて、表示装置に表示する制御を行う表示制御部と、を備える、ロボット制御システムである。

本発明によるロボット制御システムにおいて、表示制御部は、滞在状態判断部にて判断された顧客の滞在状態に基づいたタイミングでロボットの発話内容を表示装置に表示する制御を行ってもよい。

本発明によるロボット制御システムにおいて、表示制御部は、ロボットの発話終了前後の予め決められた時間内に表示装置に表示する制御を行ってもよい。

本発明によるロボット制御システムにおいて、ロボットを操作する操作端末を備え、操作端末は、表示装置と、滞在状態判断部と、表示制御部とを有してもよい。

本発明によるロボット制御システムにおいて、表示装置とは別個に設けられ、ロボットを操作する操作端末を備えてもよい。

本発明によるロボット制御システムにおいて、複数の表示装置を備え、複数の表示装置のうち少なくとも１つの表示装置は、ロボットを操作する操作端末であってもよい。

本発明によるロボット制御システムにおいて、ロボットが発話を含む動作を行う際に、ロボットの発話終了時刻を推定する発話終了時刻推定部を備え、表示制御部は、ロボットの発話内容を推定された発話終了時刻の後または当該発話終了時刻よりも予め決められた時間前に表示装置に表示する制御を行ってもよい。

本発明によるロボット制御システムにおいて、発話終了時刻推定部は、ロボットの発話に用いられるデータのデータ量に基づいて発話終了時刻を推定してもよい。

本発明によるロボット制御システムにおいて、発話内容は、飲食物のメニュー選択に関する顧客との対話内容を含んでもよい。

本発明は、飲食店に来店した顧客と対話するために指令信号に応じた動作を行うロボットに対して指令信号を送信するロボット制御装置であって、ロボットの発話内容を表示する表示部と、顧客の飲食店内での滞在状態を判断する滞在状態判断部と、ロボットの発話内容を、滞在状態判断部にて判断された顧客の滞在状態に基づいて表示部に表示する制御を行う表示制御部と、を有するロボット制御装置である。

本発明によれば、飲食店におけるロボットとの対話への満足感を向上させることができる。

第１の実施形態によるロボット制御システムを示すブロック図である。 第１の実施形態によるロボット制御システムにおいて、シナリオ制御部を示すブロック図である。 第１の実施形態によるロボット制御システムにおいて、対話制御部を示すブロック図である。 第１の実施形態によるロボット制御システムの動作例を示すフローチャートである。 第１の実施形態によるロボット制御システムの動作例において、滞在状態に基づいた発話内容表示タイミングの決定処理を示す図である。 第１の実施形態によるロボット制御システムの動作例において、着席から注文までの期間中の発話内容の表示例を示す図である。 第１の実施形態によるロボット制御システムの動作例において、注文から飲食物提供までの期間中の発話内容の表示例を示す図である。 第１の実施形態によるロボット制御システムの動作例において、飲食物提供から飲食終了までの期間中の発話内容の非表示例を示す図である。 第１の実施形態によるロボット制御システムの動作例において、飲食終了から会計までの期間中の発話内容の表示例を示す図である。 第２の実施形態によるロボット制御システムを示すブロック図である。 第３の実施形態によるロボット制御システムを示すブロック図である。 第４の実施形態によるロボット制御システムを示すブロック図である。

以下、本発明の実施形態に係るロボット制御システムおよびロボット制御装置の構成及び作用について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。

（第１の実施形態）
図１は、第１の実施形態によるロボット制御システム１を示すブロック図である。図１に示すように、ロボット制御システム１は、ロボット２と、ロボット制御装置の一例である操作端末３と、ハンディ端末４と、ＰＯＳ(point of sales)システムなどの店舗システム５とを備える。ロボット制御システム１は、飲食店の来店客（以下、ユーザと呼ぶ）が、ロボット２を操作する操作端末３を介してロボット２と対話するためのシステムである。図１の例におけるロボット２は、人間に似た外観および対話機能を有する機械、すなわちヒューマノイドである。なお、ロボット２は、動物やキャラクタなどの人間と非類似の外観を有していてもよい。また、ロボット２は、表示部３５に表示された画像による仮想的なロボットであってもよい。ロボット２は、姿勢や動作等をプログラム可能な汎用のロボットでもよいし、本ロボット制御システム１用に開発されたロボットでもよい。

（ロボット２）
ロボット２は、飲食店に来店した顧客と対話するために指令信号に応じて発話を含む動作を行う。図１に示すように、ロボット２は、ロボット駆動部２１と、駆動制御部の一例であるロボット制御部２２とを有する。ロボット２は、商用電源から供給される電力によって駆動される。なお、ロボット２は、電池等のバッテリ駆動型であってもよい。

ロボット駆動部２１は、例えば、胴体部、腕部、首部、眼球部、瞼部または口部等の自由度を有するロボット２の部位を駆動するアクチュエータと、ロボット２の発話音声を出力する音声出力装置と、ロボット２の眼球部を点灯させる点灯装置とを有する。ロボット駆動部２１を必要に応じて駆動することで、ユーザとの対話を行うために、ロボット２に発話させたり、ロボット２の姿勢を変化させたり、ロボット２の外観を変化（例えば、眼球部を所定の点灯色で点灯）させたりすることができる。ロボット駆動部２１には、ロボット制御部２２から、ロボット駆動部２１の駆動を制御する駆動制御信号が入力される。ロボット駆動部２１は、駆動制御信号に応じて駆動される。

ロボット制御部２２は、指令信号の一例であるロボット制御コマンドを操作端末３から受信する。ロボット制御部２２は、受信されたロボット制御コマンドに基づいて既述した駆動制御信号を生成し、生成された駆動制御信号をロボット駆動部２１に出力する。すなわち、ロボット２は、飲食店に来客した顧客と対話するためロボット制御コマンドに応じて動作することができる。なお、ロボット制御コマンドは、これによって駆動を制御しようとするロボット駆動部２１の種類や制御内容に応じて多種多様である。例えば、ロボット制御コマンドには、ロボット２の姿勢や位置や点灯状態を制御するためのコマンドや、ロボット２を発話させるためのコマンドがある。ロボット２を発話させるためのコマンドには、発話内容を示すデータ（後述するロボット側シナリオデータ）が含まれる。

ロボット制御部２２は、例えば、アプリケーションプログラムやこれを動作させるオペレーティングシステムなどのソフトウェアが記憶された少なくとも１つのメモリと、メモリに記憶されたソフトウェアを実行するＣＰＵ（Central Processing Unit）とを有し、メモリに記憶されたソフトウェアをＣＰＵが実行することで駆動制御信号を生成してもよい。

（操作端末３）
操作端末３は、ユーザが操作するために携帯する（すなわち、把持する）ものであり、例えばタッチ機能を備えたタブレット端末である。この他、操作端末３は、スマートフォンや卓上のディスプレイ型の端末などでもよい。図１に示すように、操作端末３は、方位センサ３１と動作生成部３２とを有する。操作端末３は、内蔵電池から供給される電力によって駆動される。方位センサ３１は、操作端末３の方位を検出する。方位センサ３１は、検出された操作端末３の方位を示す方位検出信号を動作生成部３２に出力する。

動作生成部３２は、方位センサ３１からの方位検出信号に基づいて、操作端末３が存在する方向を向くようにロボット２の姿勢を制御するためのロボット制御コマンドを生成する。動作生成部３２は、生成されたロボット制御コマンドを、例えばＷｉＦｉなどの無線通信によってロボット制御部２２に送信する。ロボット制御部２２は、動作生成部３２からのロボット制御コマンドを受信し、受信されたロボット制御コマンドに応じた駆動制御信号をロボット駆動部２１に出力することで、操作端末３が存在する方向をロボット２が向くようにロボット駆動部２１の駆動を制御する。これにより、ロボット２と向き合う状態でユーザがロボット２と対話することができるので、ユーザは、違和感なく自然にロボット２との対話を行うことができ、対話への満足感を向上させることができる。

図１に示すように、操作端末３は、対話シナリオ情報を用いてユーザとロボット２との間での対話を行うための構成として、既述した動作生成部３２に加えて、更に、シナリオＤＢ（データベース）３３と、シナリオ制御部３４と、ロボット２の発話内容を表示する表示装置の一例である表示部３５と、タッチパネル等の入力部３６と、音声出力部３７とを有する。なお、表示部３５は、例えば、液晶表示パネル等の自身の表示領域に画像を表示する装置であってもよく、または、プロジェクタ等の表示部３５と異なる投影領域に画像を投影する装置であってもよい。

シナリオＤＢ３３には、ユーザとロボット２との間での対話を行うための複数の対話シナリオ情報が蓄積されている。対話シナリオ情報は、複数の対話シナリオを含んでいる。対話シナリオとは、ユーザとロボット２との間でやり取りされる対話のストーリである。飲食店に入店した顧客は、入店してから退店するまでの間に複数の滞在状態を遷移する。そこで、シナリオＤＢには、各遷移状態ごとに別個の対話シナリオが蓄積されている。また、ある滞在状態にて実行された対話シナリオの進行中に、顧客が操作端末３で複数の選択肢の中から特定の選択肢を選択した場合には、別の対話シナリオに切り替わる場合もありうる。各対話シナリオは、ロボット２が対話（すなわち、発話）に用いるロボット側シナリオデータと、ユーザが対話（すなわち、操作端末３での選択）に用いるユーザ側シナリオデータとで構成されている。ユーザ側シナリオデータは、各対話シナリオにおけるロボット２の発話に対するユーザ側の選択肢等を集めたデータである。ユーザ側シナリオデータは、対話シナリオの進行に合わせて、操作端末３の表示部３５に選択肢等を表示するために用いられる。ユーザは、表示された選択肢の中から特定の選択肢を入力部３６にて選択することができる。そして、ユーザ側シナリオデータに示される対話シナリオの選択肢のそれぞれに、互いに異なる新たな（下位の）ロボット側シナリオデータが対応付けられている。すなわち、対話シナリオ情報は、ロボット側シナリオデータとユーザ側シナリオデータが交互にノードとして結合されたツリー構造を有する。ツリー構造のうち、最上位から最下位にわたる所定の一連のノード群は、例えば典型的な対話に用いられる基本シナリオとして管理され、他のノード群は、基本シナリオを補正する補正シナリオとして管理されていてもよい。

また、対話シナリオ情報は、飲食店におけるユーザの滞在状態すなわち動作状態を示すステータスデータに応じて複数のシナリオ群に区分されている。

図１の例におけるステータスデータは、ユーザが着席したことを示す第１状態、ユーザが飲食物の注文をしたことを示す第２状態、注文した飲食物がユーザに提供されたことを示す第３状態、ユーザが提供された飲食物の飲食を完了したことを示す第４状態、およびユーザが会計を完了したことを示す第５状態の各状態を示す。これに限られず、ステータスデータは、ユーザが離席したことを示す離席状態、ユーザ同士が会話をしている会話状態、又は、ユーザが食後にデザートを注文した状態などを備えていてもよい。このように、ステータスデータは、時間の経過とともに変化するユーザの状態を示す情報である。

また、図１の例における対話シナリオ情報は、着席から注文までの期間における対話に用いられる第１シナリオ群と、注文から飲食物提供までの期間における対話に用いられる第２シナリオ群と、飲食物提供から食事終了までの間における対話に用いられる第３のシナリオ群と、食事終了から会計までの間における対話に用いられる第４シナリオ群とに区分されている。各シナリオ群は、ユーザの滞在状態に適したシナリオデータの束であり、滞在状態に合わせた種々のシナリオデータを含む。例えば、ユーザの滞在状態が着席から注文までの滞在状態である場合、シナリオ群には、それぞれの時刻に合わせたメニューを提示するシナリオデータや、大人、小人の人数により対話の内容や、話し方が変化するシナリオデータ、その他様々なシチュエーションに応じたシナリオデータが含まれている。

また、ロボット側シナリオデータには、ロボット２の疑似的な感情や意図等のロボット２の内部状態すなわち心理状態を数値化した内部状態パラメータが対応付けられている。内部状態パラメータは、例えば、喜び等の感情を数値化した正感情値（＋）と、悲しみ等の感情を数値化した負感情値（−）を含む。

シナリオ制御部３４は、店舗システム５から出力されたステータスデータに基づいてシナリオを制御する。図２は、第１の実施形態によるロボット制御システム１において、シナリオ制御部３４を示すブロック図である。図２に示すように、シナリオ制御部３４は、受信部３４１と、滞在状態判断部３４２と、情報取得部３４３と、対話制御部３４５と、を備える。

受信部３４１は、店舗システム５から出力されたステータスデータを受信する。ステータスデータは、例えば飲食店の店舗スタッフが携帯する注文用のハンディ端末４にて入力可能である。このステータスデータは、ハンディ端末４から店舗システム５に送信された上で、店舗システム５からシナリオ制御部３４の受信部３４１へと送信される。また、ステータスデータは、店舗システム５を経由せずに、ハンディ端末４から直接受信部３４１を介して操作端末３へと送信されるようにしてもよい。

滞在状態判断部３４２は、受信部３４１を介して受信されたステータスデータに基づいて、飲食店内でのユーザの滞在状態を判断する。例えば、滞在状態判定部３４２は、受信部３４１を介してユーザが着席したことを示す信号を受信すると、ユーザが着席後、注文前の滞在状態であると判断する。また、滞在状態判定部３４２は、受信部３４１を介してユーザが飲食物を注文したことを示すステータスデータを受信すると、ユーザが注文後、飲食物の提供待ちの滞在状態であると判断する。既述したステータスデータと同様に、滞在状態も、時間の経過とともに変化するユーザの状態を示す情報である。

なお、ステータスデータと滞在状態の関連性は、上述したもの以外の構成であってもよい。例えば、店舗スタッフが、ステータスデータとして滞在状態そのものを入力するようにしてもよい。すなわち、ユーザの行為をトリガとして入力するのではなく、状態そのものを入力するものであってもよい。具体的には、店舗スタッフが、着席した、注文した、といった行為を入力するのではなく、着席している状態、注文して飲食物待機中の状態といった状態を直接入力するようにしてもよい。この場合、滞在状態判断部３４２は、受信したステータスデータそのものを滞在状態であると判断する。

情報取得部３４３は、シナリオＤＢ３３から、滞在状態判断部３４２が判断した滞在状態および後述する対話シナリオ選択信号（図２参照）で選択されたユーザ側の対話の選択肢に応じた対話シナリオ情報を選択して取得する。情報取得部３４３は、シナリオＤＢ３３に格納された滞在状態に応じたシナリオ群の中から、ユーザが選択した選択肢に応答するシナリオデータを選択するようにしてもよいし、滞在状態に応じたシナリオ群そのものをシナリオＤＢ３３から取得した上で、取得されたシナリオ群の中から、ユーザが選択した選択肢に応答するシナリオデータを選択するようにしてもよい。シナリオ群からシナリオデータを選択するのは、対話制御部３４５であってもよい。

また、情報取得部３４３は、シナリオＤＢ３３から対話シナリオ情報を取得するとき、対話シナリオ情報のうちロボット側シナリオデータに対応付けられた内部状態パラメータも同時にシナリオＤＢ３３から取得する。

また、情報取得部３４３は、メニュー中にお薦めのメニューがある場合に、当該お薦めのメニューを対話シナリオへと挿入してもよい。情報取得部３４３は、シナリオＤＢ３３その他の記憶部からお薦めのメニューを取得してもよい。

対話制御部３４５は、図２に示すように、情報取得部３４３で取得された滞在状態に応じた対話シナリオ情報のうち、ロボット側シナリオデータを動作生成部３２に出力する。このとき、対話制御部３４５は、ロボット側シナリオデータに対応付けられた内部状態パラメータを情報取得部３４３から取得し、取得された内部状態パラメータをロボット側シナリオデータと同時に動作生成部３２に出力する。対話制御部３４５は、自身がシナリオＤＢ３３から取得した滞在状態に応じた対話シナリオ情報を動作生成部３２に出力してもよい。

動作生成部３２は、対話制御部３４５から入力されたロボット側シナリオデータに基づいてロボット２に対話動作を指令するためのロボット制御コマンドを生成し、生成されたロボット制御コマンドをロボット制御部２２に送信する。ロボット制御コマンドを送信することで、ロボット２に対話動作を行わせることができる。

対話動作が発話動作を含む場合、動作生成部３２は、ロボット制御コマンドの少なくとも一部として、ロボット側シナリオデータを音声化した音声データを生成および送信する。ロボット制御コマンドとして音声データを送信する代わりに、ロボット２内に音声データを格納しておき、動作生成部３２が、ロボット制御コマンドとして、ロボット２内の音声データに紐づけられたＩＤを送信してもよい。また、対話動作がロボット２の姿勢および外観の少なくとも一方を変化させる動作を含む場合、動作生成部３２は、ロボット制御コマンドの少なくとも一部として、ロボット２の姿勢および外観の少なくとも一方を変化させる動作を指令する信号を生成および送信する。

ロボット制御コマンドの生成において、動作生成部３２は、ロボット側シナリオデータに対応付けられた内部パラメータを考慮して、対話動作の内容に、発話音声のトーンや、眼球部の点灯状態やロボット２の姿勢等を含ませる。

対話制御部３４５は、図２に示すように、情報取得部３４３で取得された滞在状態に応じた対話シナリオ情報のうち、ユーザ側シナリオデータを画像化し、画像化されたユーザ側シナリオデータを対話の選択肢として表示部３５に表示させる。ユーザは、表示部３５に表示されている対話の選択肢に基づき、図２に示すように、入力部３６を介して選択肢の選択結果を示す対話シナリオ選択信号を対話制御部３４５に入力する。対話制御部３４５は、入力部３６から入力された対話シナリオ選択信号で選択された対話の選択肢に応答するため、既述したように、選択された選択肢に応じて情報取得部３４３で選択されたロボット側シナリオデータを、動作生成部３２に出力する。

図３は、第１の実施形態によるロボット制御システムにおいて、対話制御部３４５を示すブロック図である。ロボット２の発話内容を滞在状態に応じた好適なタイミングで表示部３５に表示するため、図３に示すように、対話制御部３４５は、発話終了時刻推定部３４５１と、表示制御部３４５２とを備える。ロボット２の発話内容は、飲食物のメニュー選択に関するユーザとの対話内容を含む。

発話終了時刻推定部３４５１は、ロボット２が発話を含む動作を行う際に、ロボット２の発話終了時刻を推定する。発話終了時刻推定部３４５１は、ロボット２の発話に用いられるデータのデータ量に基づいて発話終了時刻を推定してもよい。発話に用いられるデータは、音声ファイルであってもよく、音声ファイル以外のデータ（例えば、スクリプトなど）であってもよい。ロボット２の発話に用いられるデータのデータ量に基づいて発話終了時刻を推定することで、簡便かつ正確に発話終了時刻を推定することができる。

表示制御部３４５２は、ロボット２の発話内容を、滞在状態判断部３４２にて判断されたユーザの滞在状態に基づいて、表示部３５に表示する制御を行う。具体的には、表示制御部３４５２は、滞在状態判断部３４２にて判断されたユーザの滞在状態に基づいたタイミングでロボット２の発話内容を表示部３５に表示する制御を行う。より具体的には、表示制御部３４５２は、ロボット２の発話終了前後の予め決められた時間内にロボット２の発話内容を表示部３５に表示する制御を行う。図３の例において、表示制御部３４５２は、ロボットの発話内容を発話終了時刻推定部３４５１で推定された発話終了時刻の後または当該発話終了時刻よりも予め決められた時間前に表示部３５に表示する制御を行う。

表示制御部３４５２を備えることで、対話制御部３４５は、画像化されたロボット側シナリオデータであるロボット２の発話内容を、滞在状態に応じた好適なタイミングで表示部３５に表示させることができる。ロボット２の発話内容を滞在状態に応じた好適なタイミングで表示部３５に表示することで、ロボット２との対話への満足感を向上させることができる。

なお、対話制御部３４５は、ユーザがメニューを選択する際には、飲食物の画像や動画を表示部３５へと出力するようにしてもよい。すなわち、対話に用いる言葉、文字に関する情報だけではなく、適宜、画像、動画等、表示に用いることのできるデータを表示部３５へと出力するようにしてもよい。

また、これには限られず、必要に応じて操作端末３から音声を出力させたり、操作端末３を振動させたりしてもよく、この場合には、これらの音声データ、振動データ等を出力するようにしてもよい。

以上のように、第１の実施形態において、対話制御部３４５は、ステータスデータに基づいて判断された滞在状態に応じて、シナリオＤＢ３３に格納されている各種のシナリオデータから適したものを取得し、動作生成部３２、表示部３５へと出力する。画像化されたロボット側シナリオデータであるロボット２の発話内容を表示部３５に表示するにあたり、対話制御部３４５の表示制御部３４５２は、発話終了時刻推定部３４５１で推定された発話終了時刻を基準とした滞在状態に応じた好適なタイミングで、ロボット２の発話内容を表示させる。さらに、対話制御部３４５は、表示部３５に表示された選択肢に対する入力部３６からの対話シナリオ選択信号に応じて、対話シナリオ選択信号で選択された選択肢に応答する新たなロボット側シナリオデータをシナリオＤＢ３３から選択する。そして、選択された新たなロボット側シナリオデータを、発話のために動作生成部３２へと出力する。この処理を繰り返すことにより、ユーザとロボット２との間の対話が行われる。

すなわち、第１の実施形態によれば、滞在状態に応じた発話内容の表示をともなう対話を進行させることができるので、飲食店内に雑音が多くロボット２の発話内容を聞き取れないことが多いこと、特にロボット２の音声は抑揚がなく、人間の声ほど明瞭でないこと、また、難聴者はロボット２との対話を楽しめないこと、などの問題を有効に解決できる。これにより、飲食店におけるロボット２との対話への満足感を向上させることが可能となる。

また、飲食サービス業においては、着席、注文、飲食物提供、食事終了、会計などのユーザの滞在状態すなわち時間経過に応じて、ユーザとの間で交わすべき対話の内容が大きく変化する。第１の実施形態によれば、ステータスデータに応じて異なるシナリオ群の対話シナリオ情報を用いて対話を行うことができるので、飲食サービスの提供場面におけるロボット２との対話感をより向上させることができる。

また、内部状態パラメータの蓄積状態に応じて対話内容を可変とすることで、ロボット２との対話感をさらに向上させることができる。

さらに、ユーザが選択した対話シナリオを音声出力することで、ユーザの発話を模擬することができるので、ロボット２との対話感をより一層向上させることができる。

また、ロボット側シナリオデータのうち、データ本体の識別情報であるシナリオＩＤのみをシナリオＤＢ３３に蓄積し、データ本体はロボット２側に蓄積させることで、ロボット２に発話をさせる際には、操作端末３側からロボット２側にシナリオＩＤを送信し、ロボット２側でシナリオＩＤに対応するデータ本体を音声出力すれば済む。この場合、操作端末３からロボット２にデータ本体を送信する場合と比較してデータ送信量を削減でき、対話の迅速性を向上させることが可能となる。

（動作例）
次に、図１のロボット制御システム１の主要な動作例について説明する。図４は、第１の実施形態によるロボット制御システム１の動作例を示すフローチャートである。図４のフローチャートは、ロボット２との対話が終了するまで繰り返される。なお、便宜上、図４の初期状態において、表示制御部３４５２は、ロボット２の発話内容を表示するタイミング（以下、発話内容表示タイミングとも呼ぶ）を決定するためのロボット２の発話終了時刻に対するオフセット時間を決定しているものとする。オフセット時間は、滞在状態判断部３４２で判断された滞在状態に応じた時間であり、ロボット２の発話終了時刻よりもオフセット時間だけ前または後の時刻にロボット２の発話内容を表示することを意図して設定された時間である。

そして、初期状態から、図４に示すように、先ず、滞在状態判断部３４２は、受信部３４１および店舗システム５を介してハンディ端末４からステータスデータを取得する（ステップＳ１）。

ここで、図５は、第１の実施形態によるロボット制御システム１の動作例において、滞在状態に基づいた発話内容表示タイミングの決定処理を示す図である。図５には、ステータスデータＡ１〜Ａ５と、ステータスデータＡ１〜Ａ５に基づいて判断される滞在状態Ｂ１〜Ｂ４と、滞在状態Ｂ１〜Ｂ４に基づいて決定される発話内容表示タイミングＣ１〜Ｃ３とが時系列順に示されている。

図５の例において、滞在状態判断部３４２は、ユーザが入店または着席したことを示す第１のステータスデータＡ１、ユーザが飲食物を注文したことを示す第２のステータスデータＡ２、ユーザに飲食物が提供されたことを示す第３のステータスデータＡ３、ユーザが飲食を終了したことを示す第４のステータスデータＡ４、または、ユーザが会計または離席したことを示す第５のステータスデータＡ５を取得する。

ステータスデータの取得後、図４に示すように、滞在状態判断部３４２は、取得されたステータスデータに基づいてユーザの滞在状態を判断する（ステップＳ２）。

図５の例において、滞在状態判断部３４２は、第１のステータスデータＡ１を取得した場合、現在のユーザの滞在状態が、ユーザが飲食店に入店、又は、着席してから注文をするまでの状態である第１の滞在状態Ｂ１であると判断する。第２のステータスデータＡ２を取得した場合、滞在状態判断部３４２は、現在のユーザの滞在状態が、ユーザが注文した飲食物が提供されるのを待っている状態、すなわち、注文をして飲食物の提供を待機している第２の滞在状態Ｂ２であると判断する。第３のステータスデータＡ３を取得した場合、滞在状態判断部３４２は、現在のユーザの滞在状態が、ユーザが飲食物の飲食を完了するまでの状態、すなわち、飲食中である第３の滞在状態Ｂ３であると判断する。第４のステータスデータＡ４を取得した場合、滞在状態判断部３４２は、現在のユーザの滞在状態が、ユーザが飲食を完了してから退店するまでの状態である第４の滞在状態Ｂ４であると判断する。第５のステータスデータＡ５を取得した場合、滞在状態判断部３４２は、滞在状態を入店前の初期状態へと戻すようにしてもよい。

滞在状態の判断後、図４に示すように、表示制御部３４５２は、判断された滞在状態が変更されたか否かを判定する（ステップＳ３）。ここで、滞在状態の変更には、ユーザの入店前の初期状態から第１の滞在状態Ｂ１に変更した場合も含まれる。

滞在状態が変更された場合（ステップＳ３：Ｙｅｓ）、表示制御部３４５２は、変更された滞在状態に基づいて、ロボット２の発話内容を表示するか否かを決定する（ステップＳ４）。図５の例において、表示制御部３４５２は、滞在状態が初期状態から第１の滞在状態Ｂ１に変更された場合、第１の滞在状態Ｂ１から第２の滞在状態Ｂ２に変更された場合、および第３の滞在状態Ｂ３から第４の滞在状態Ｂ４に変更された場合に、ロボット２の発話内容を表示すると決定する。一方、表示制御部３４５２は、滞在状態が第２の滞在状態Ｂ２から第３の滞在状態Ｂ３に変更された場合に、ロボット２の発話内容を表示しないと決定する。

一方、図４に示すように、滞在状態が変更されていない場合（ステップＳ３：Ｎｏ）、表示制御部３４５２は、前回の発話内容の表示の有無の決定（ステップＳ４）によって発話内容を表示すると決定されているか否かを判定する（ステップＳ６）。この判定は、現在の表示制御部３４５２の動作モードが発話内容の表示モードであるか否かの判定であってもよい。発話内容を表示すると決定されている場合（ステップＳ６：Ｙｅｓ）、表示制御部３４５２は、ロボット２の発話が開始されたか否かを判定する（ステップＳ７）。表示制御部３４５２は、例えば、ロボット制御部２２への音声化されたロボット制御コマンドの送信状態に基づいて、ロボット２の発話開始の有無を判定してもよい。一方、発話内容を表示すると決定されていない場合（ステップＳ６：Ｎｏ）、表示制御部３４５２は、発話内容の非表示を継続して処理を終了する。

滞在状態変更後の発話内容の表示の有無の決定において、ロボット２の発話内容を表示すると決定した場合（ステップＳ４：Ｙｅｓ）、表示制御部３４５２は、発話内容表示タイミングを決定するための発話終了時刻に対するオフセット時間を決定する（ステップＳ５）。このとき、表示制御部３４５２は、例えば、ロボット２の発話に用いられるデータのデータ量に基づいてロボット２の発話時間を推定したうえで、推定された発話時間に基づいて、滞在状態に応じたオフセット時間を決定する。このとき、表示制御部３４５２は、推定された発話時間に、滞在状態に応じて予め定められた係数を乗じることで、滞在状態に応じたオフセット時間を決定してもよい。発話時間に係数を乗じてオフセット時間を決定する場合、表示制御部３４５２は、同一の滞在状態すなわちシナリオ群に属する様々な発話時間を有する複数のロボット側シナリオデータのそれぞれについて、同一の係数を用いてオフセット時間を一度にまとめて決定してもよい。

一方、ロボット２の発話内容を表示しないと決定した場合（ステップＳ４：Ｎｏ）、表示制御部３４５２は、ロボット２の発話内容を表示せずに処理を終了する。

オフセット時間の決定後、表示制御部３４５２は、ロボット２の発話が開始されたか否かを判定する（ステップＳ７）。例えば、表示制御部３４５２は、ロボット制御部２２への音声化されたロボット制御コマンドの送信状態に基づいて、ロボット２の発話開始の有無を判定してもよい。

ロボット２の発話が開始された場合（ステップＳ７：Ｙｅｓ）、表示制御部３４５２は、例えば、自身の計時機能や外部のタイマなどを用いて、ロボット２の発話時間の計測を開始する（ステップＳ８）。一方、ロボット２の発話が開始されていない場合（ステップＳ７：Ｎｏ）、表示制御部３４５２は、ロボット２の発話開始の有無の判定を繰り返す（ステップＳ７）。

ロボット２の発話時間の計測を開始した後、発話終了時刻推定部３４５１は、ロボット２の発話に用いられるデータのデータ量に基づいてロボット２の発話終了時刻を推定する（ステップＳ９）。例えば、発話終了時刻推定部３４５１は、ステップＳ６において発話が開始したと判断された時刻である発話開始時刻に、ロボット２の発話に用いられるデータのデータ量に基づいて算出されたロボット２の発話時間を加えることで、発話終了時刻を推定する。

発話終了時刻の推定後、表示制御部３４５２は、推定された発話終了時刻に基づいて、滞在状態に応じた発話内容表示タイミングを決定する（ステップＳ１０）。具体的には、表示制御部３４５２は、ステップＳ９で推定された発話終了時刻に対して、ステップＳ５で決定された滞在状態に応じたオフセット時間を減算または加算することで、発話内容表示タイミングを決定する。

図５の例において、表示制御部３４５２は、滞在状態が初期状態から第１の滞在状態Ｂ１に変更された場合、第１の発話内容表示タイミングＣ１を決定する。滞在状態が第１の滞在状態Ｂ１から第２の滞在状態Ｂ２に変更された場合、表示制御部３４５２は、第２の発話内容表示タイミングＣ２を決定する。滞在状態が第２の滞在状態Ｂ２から第３の滞在状態Ｂ３に変更された場合、表示制御部３４５２は、発話内容を表示しないため、発話内容表示タイミングを決定しない。滞在状態が第３の滞在状態Ｂ３から第４の滞在状態Ｂ４に変更された場合、表示制御部３４５２は、第３の発話内容表示タイミングＣ３を決定する。

発話内容表示タイミングの決定後、表示制御部３４５２は、発話内容表示タイミングになったか否かを判定する（ステップＳ１１）。

発話内容表示タイミングになった場合（ステップＳ１１：Ｙｅｓ）、表示制御部３４５２は、表示部３５にロボット２の発話内容を表示する（ステップＳ１２）。一方、発話内容表示タイミングになっていない場合（ステップＳ１１：Ｎｏ）、表示制御部３４５２は、発話内容表示タイミングになったか否かの判定を繰り返す（ステップＳ１１）。

図６は、第１の実施形態によるロボット制御システム１の動作例において、着席から注文までの期間中の発話内容の表示例を示す図である。図６の例において、ロボット２は、第１の滞在状態Ｂ１における対話動作として、操作端末３によっておすすめメニュー（図示せず）が選択されたことに応答する「おすすめメニューを選んでくれたんだ。うれしいよ！ありがとう！」という発話動作を行う。このとき、表示制御部３４５２は、第１の滞在状態Ｂ１に対応する第１の発話内容表示タイミングＣ１として、ロボット２の発話時間の８０％経過時すなわち「おすすめメニューを選んでくれたんだ。うれしいよ！」までが発話される発話内容表示タイミングＣ１を決定する。この発話内容表示タイミングＣ１は、次式で表すことができる。

Ｃ１＝ｔｓ＋０．８（ｔｅ−ｔｓ）
＝ｔｅ−０．２（ｔｅ−ｔｓ） （１）
但し、数式（１）において、ｔｓは、ロボット２の発話開始時刻であり、ｔｅは、ロボット２の発話終了時刻であり、ｔｅ−ｔｓは、ロボット２の発話時間（秒）である（以下、同様）。また、ロボット２の発話時間に０．２を乗じた０．２（ｔｅ−ｔｓ）は、第１の滞在状態Ｂ１に対応するオフセット時間である。Ｃ１は、発話終了時刻よりも予め決められた時間前の時刻の一例である。

表示制御部３４５２は、発話終了時刻ｔｅから、第１の滞在状態Ｂ１に対応するオフセット時間である０．２（ｔｅ−ｔｓ）を減じることで、滞在状態と発話時間との双方に応じた発話内容表示タイミングＣ１を簡便に算出することができる。また、表示制御部３４５２は、発話開始時刻ｔｓに、第１の滞在状態Ｂ１に対応する０．８（ｔｅ−ｔｓ）を加えることでも、滞在状態と発話時間との双方に応じた選択肢表示タイミングＣ１を簡便に算出することができる。

そして、表示制御部３４５２は、発話時間の８０％経過時に、ロボット２の発話内容「おすすめメニューを選んでくれたんだ。うれしいよ！ありがとう！」を表示部３５に表示する。なお、図６の例において、表示部３５には、ロボット２の発話動作に応答するユーザの選択肢として、「もちろん！」という選択肢と、「やっぱり変える」という選択肢が表示されている。

もし、ロボット２の発話内容を、聴覚を通じて音声のみで理解しようとする場合、飲食店内でロボット２の発話音声と同時に生じている他の音声（例えば、人間同士の会話音や食器の音など）によってロボット２の発話内容を十分に聞き取れない場合がある。例えば、飲食物が注文される前の第１の滞在状態Ｂ１においては、ロボット２が発話したおすすめメニューの内容を十分に聞き取れず、おすすめメニューを注文してよいかどうかの判断を円滑に行うことができない場合がある。ロボット２の発話内容を十分に聞き取れないことで、ユーザにフラストレーションがたまり、ロボット２との対話への満足感が得られない虞がある。

これに対して、図６の例では、ロボット２の発話内容を音声として出力するだけでなく画像としても出力（すなわち、表示）するため、ユーザは、聴覚を通じてロボット２の発話内容を理解できない場合であっても、視覚を通じて発話内容を理解することができる。ロボット２の発話内容を聞き取り難い場合であってもユーザに発話内容を理解させることができるので、着席から注文までの間における飲食店内でのロボット２との対話への満足感を向上させることができる。

また、飲食物が注文される前の第１の滞在状態Ｂ１においては、ユーザが飲食物の選択の判断を早めにできるように対話を進行させることが、所望の注文をすみやかに行わせるうえで好ましい。図６の例によれば、第１の滞在状態Ｂ１に応じた発話内容表示タイミングとして、比較的早めのタイミングＣ１でロボット２の発話内容を表示することで、第１の滞在状態Ｂ１に適合した発話内容表示を行うことができる。これにより、ロボット２との対話への満足感を更に向上させることができる。

図７は、第１の実施形態によるロボット制御システム１の動作例において、注文から飲食物提供までの期間中の発話内容の表示例を示す図である。図７の例において、ロボット２は、第２の滞在状態Ｂ２における対話動作として、「料理が来るまで僕とお話しよう！」という発話動作を行う。このとき、表示制御部３４５２は、第２の滞在状態Ｂ２に対応する第２の発話内容表示タイミングＣ２として、ロボット２の発話終了直後の時刻Ｃ２を決定する。この時刻Ｃ２は、発話終了時刻推定部３４５１で推定されたロボット２の発話終了時刻ｔｅそのものであってもよい。この場合、第２の滞在状態Ｂ２に対応するオフセット時間が０秒であればよい。あるいは、時刻Ｃ２は、推定された発話終了時刻ｔｅに第２の滞在状態Ｂ２に対応する０より大きいオフセット時間を加えた時刻であってもよい。

そして、表示制御部３４５２は、ロボット２の発話終了直後に、ロボット２の発話内容「料理が来るまで僕とお話しよう！」を表示部３５に表示する。なお、図７の例において、表示部３５には、ロボット２の発話動作に応答するユーザの選択肢として、「いいよ」という選択肢と、「やめとく」という選択肢が表示されている。

図６と同様に、図７の例では、ロボット２の発話内容を音声および画像の双方で出力するため、ユーザは、ロボット２の発話内容を聞き取り難い場合であっても、視覚を通じて発話内容を理解することができる。これにより、注文から飲食物提供までの間における飲食店内でのロボット２との対話への満足感を向上させることができる。

また、飲食物の注文から飲食物が提供されるまで第２の滞在状態Ｂ２においては、ユーザは、特にすることがないため、注文前よりもロボット２への関心が高まり易い。このような第２の滞在状態Ｂ２においては、対話感をより向上させたロボット２との対話を進行させることが、対話への満足感をユーザに与えるうえで好ましい。ここで、人間同士の対話は、通常は、表示ではなく会話音を交わすことで行われる。ロボット２との対話でも、会話音を介した人間同士の対話と同様の対話感を得るには、発話内容の表示よりも発話内容の音声出力を時間的に優先させることが好ましい。発話内容の音声出力が完了する前に発話内容を表示すると、ユーザは表示の方に気を取られてロボット２の発話内容を聞き取るという対話感が低減する虞があるからである。

これに対して、図７の例によれば、ユーザがロボット２の発話内容の聞き取りに注力できるように、第２の滞在状態Ｂ２に応じた発話内容表示タイミングとして、ロボット２の発話終了直後のタイミングＣ２で発話内容を表示する。このように、第２の滞在状態Ｂ２に適合した対話感を重視した発話内容表示を行うことで、ロボット２との対話への満足感を更に向上させることができる。

図８は、第１の実施形態によるロボット制御システム１の動作例において、飲食物提供から飲食終了までの期間中の発話内容の非表示例を示す図である。図８の例において、ロボット２は、第３の滞在状態Ｂ３における対話動作として、「今は食事中だから後でお話ししよう！」という発話動作を行う。このとき、表示制御部３４５２は、発話内容を表示しないと決定し、発話内容表示タイミングを決定しない。

そして、表示制御部３４５２は、ロボット２の発話内容「今は食事中だから後でお話ししよう！」を表示部３５に表示せず、発話内容の音声出力のみによって対話を進行させる。

飲食中の第３の滞在状態Ｂ３においては、ユーザがロボット２との対話に気を取られて美味しい料理が冷めてしまわないように飲食を優先してもらうことが、料理への満足感をユーザに与えるうえで好ましい。図８の例によれば、飲食の妨げにならないように発話内容を表示しないことで、第３の滞在状態Ｂ３に適合した発話内容の表示制御を行うことができる。これにより、飲食サービスへの満足感を向上させることができる。

図９は、第１の実施形態によるロボット制御システム１の動作例において、飲食終了から会計までの期間中の発話内容の表示例を示す図である。図９の例において、ロボット２は、第４の滞在状態Ｂ４における対話動作として、「今日は楽しかったね！」という発話動作を行う。このとき、表示制御部３４５２は、第４の滞在状態Ｂ４に対応する第３の発話内容表示タイミングＣ３として、ロボット２の発話終了直後の時刻Ｃ３を決定する。この時刻Ｃ３は、第２の発話内容表示タイミングＣ２と同様でよい。

そして、表示制御部３４５２は、ロボット２の発話終了直後に、ロボット２の発話内容「今日は楽しかったね！」を表示部３５に表示する。なお、図９の例において、表示部３５には、ロボット２の発話動作に応答するユーザの選択肢として、「楽しかった！」という選択肢と、「つまらなかった」という選択肢が表示されている。

図６と同様に、図９の例では、ロボット２の発話内容を音声および画像の双方で出力するため、ユーザは、ロボット２の発話内容を聞き取り難い場合であっても、視覚を通じて発話内容を理解することができる。これにより、飲食終了から会計までの間における飲食店内でのロボット２との対話への満足感を向上させることができる。

また、飲食終了から会計までの第４の滞在状態Ｂ４においては、ユーザは、会計以外に特にすることがないため、注文前よりもロボット２への関心が高まり易い。このような第４の滞在状態Ｂ４においては、対話感をより向上させたロボット２との対話を進行させることが、対話への満足感をユーザに与えるうえで好ましい。図９の例によれば、対話感を重視してロボット２の発話終了直後のタイミングＣ３で発話内容を表示することで、ロボット２との対話への満足感を更に向上させることができる。

以上述べたように、第１の実施形態によれば、滞在状態に応じた発話内容表示タイミングでロボット２の発話内容を表示することで、飲食店内に雑音が多くロボット２の発話内容を聞き取れないことが多いこと、特にロボット２の音声は抑揚がなく、人間の声ほど明瞭でないこと、また、難聴者はロボット２との対話を楽しめないこと、などの問題を有効に解決できる。これにより、飲食店におけるロボット２との対話への満足感を向上させることができる。

（第２の実施形態）
次に、操作端末３の表示部３５と別個の表示装置にロボット２の発話内容を表示する第２の実施形態について説明する。図１０は、第２の実施形態によるロボット制御システム１を示すブロック図である。

第１の実施形態では、ロボット２の発話内容を操作端末３の表示部３５のみに表示していた。これに対して、第２の実施形態のロボット制御システム１は、図１０に示すように、操作端末３と別個に設けられた表示装置７を備えている。表示装置７には、シナリオ制御部３４から、画像化されたロボット側シナリオデータであるロボット２の発話内容が、有線または無線によって送信される。表示装置７は、シナリオ制御部３４から送信されたロボット側シナリオデータを受信して、ロボット２の発話内容を表示する。発話内容の表示の有無を決定する構成および発話内容表示タイミングを決定する構成は、第１の実施形態と同様でよい。

表示部３５と同様に、表示装置７は、例えば、液晶表示パネル等の自身の表示領域に画像を表示する装置であってもよく、または、プロジェクタ等の表示部３５と異なる投影領域に画像を投影する装置であってもよい。表示装置７は、例えば、テーブルの端に設置された表示部３５より大画面の表示装置であってもよい。また、表示装置７は、ロボット２の発話内容を表示する機能に加えて、操作端末３と同様に、対話の選択肢を表示する機能および選択肢を選択操作する機能を備えていてもよい。

飲食店には、例えば家族同士、友人同士、職場の同僚など、複数人の顧客が団体として来店し、ひとつのテーブルを囲むように着席する場合が珍しくない。複数人の顧客が来店する場合、操作端末３は、複数人の顧客のうちのいずれか一人が継続的に又は交替して操作することになる。この場合、操作端末３の表示部３５に表示されるロボット２の発話内容は、操作端末３を操作している一人の顧客が最も視認し易く、同席している他の顧客は視認し難い場合がある。

しかるに、第２の実施形態によれば、操作端末３と別個に設けられた表示装置７にもロボット２の発話内容を表示することにより、操作端末３の操作者以外の同席者にも、ロボット２の発話内容を視覚を通じて理解させ易くすることができる。これにより、同席者にとってもロボット２との対話による満足感を向上させることができる。

（第３の実施形態）
次に、シナリオＤＢ３３がクラウド上に存在する第３の実施形態について説明する。図１１は、第３の実施形態によるロボット制御システム１を示すブロック図である。上述した実施形態においては、シナリオＤＢ３３が操作端末３内に設置されていた。これに対して、第３の実施形態においては、図１１に示すように、シナリオＤＢ３３が操作端末３の外部に存在する。シナリオ制御部３４は、ネットワーク６を介してシナリオＤＢ３３と接続される。

シナリオＤＢ３３は、操作端末３の外部の所定のサーバに備えられているものでもよく、または、特定のサーバではなく、ネットワーク６により接続される所謂クラウド上に存在するデータベースであってもよい。ネットワーク６と、操作端末３又はシナリオＤＢ３３は、有線又は無線の通信を介して接続される。

第３の実施形態によれば、シナリオＤＢ３３を操作端末３内ではなく外部に有することにより、操作端末３の容量を確保することが可能となるとともに、シナリオデータの一元管理をすることも可能となる。さらに、シナリオＤＢ３３がクラウド上に存在し、特定多数の編集者がシナリオデータを編集、あるいは、追加することが可能であるように設定することにより、よりバリエーションに富んだ対話内容を選択することも可能となる。

（第４の実施形態）
次に、ロボット２側に主要な制御機能を備えた第４の実施形態について説明する。図１２は、第４の実施形態によるロボット制御システム１を示すブロック図である。図１２に示すように、動作生成部３２、シナリオ制御部３４、及び、シナリオＤＢ３３は、操作端末３ではなく、ロボット２内に備えられているものとしてもよい。すなわち、主要な制御機能を操作端末３ではなく、ロボット２に備えるようにしてもよい。動作生成部３２、及び、シナリオ制御部３４の動作は、上述した実施形態における動作と大きく異なることはなく、本実施形態においても、図４に示すフローチャートにしたがってロボット２の発話内容の表示処理が実行される。

第４の実施形態によれば、操作端末３の構成を簡略化でき、また、操作端末３からロボット２へと送信する通信料を削減できるため、操作端末３とロボット２との間の通信回線の性能が低い場合でも、支障なくロボット２との対話を行うことができる。なお、動作生成部３２は、操作端末３及びロボット２の外部に設けられていてもよく、例えば、店舗システム５に内蔵されていてもよいし、店舗システム５とは別個の通信機器内に設けてもよい。

本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

１ ロボット制御システム、２ ロボット、３ 操作端末、３４ シナリオ制御部、３４２ 滞在状態判断部、３４５２ 表示制御部、３５ 表示部

Claims (10)

1. 飲食店に来店した顧客と対話するために指令信号に応じて発話を含む動作を行うロボットと、
   前記ロボットの発話内容を表示する表示装置と、
   前記顧客の前記飲食店内での滞在状態を判断する滞在状態判断部と、
   前記ロボットの発話内容を、前記滞在状態判断部にて判断された前記顧客の滞在状態に基づいて、前記表示装置に表示する制御を行う表示制御部と、を備える、ロボット制御システム。
2. 前記表示制御部は、前記滞在状態判断部にて判断された前記顧客の滞在状態に基づいたタイミングで前記ロボットの発話内容を前記表示装置に表示する制御を行う、請求項１に記載のロボット制御システム。
3. 前記表示制御部は、前記ロボットの発話終了前後の予め決められた時間内に前記表示装置に表示する制御を行う、請求項１に記載のロボット制御システム。
4. 前記ロボットを操作する操作端末を備え、
   前記操作端末は、前記表示装置と、前記滞在状態判断部と、前記表示制御部とを有する、請求項１乃至３のいずれか一項に記載のロボット制御システム。
5. 前記表示装置とは別個に設けられ、前記ロボットを操作する操作端末を備える、請求項１乃至３のいずれか一項に記載のロボット制御システム。
6. 複数の前記表示装置を備え、
   前記複数の表示装置のうち少なくとも１つの表示装置は、前記ロボットを操作する操作端末である、請求項１乃至５のいずれか一項に記載のロボット制御システム。
7. 前記ロボットが前記発話を含む動作を行う際に、前記ロボットの発話終了時刻を推定する発話終了時刻推定部を備え、
   前記表示制御部は、前記ロボットの発話内容を前記推定された発話終了時刻の後または当該発話終了時刻よりも前記予め決められた時間前に前記表示装置に表示する制御を行う、請求項１乃至６のいずれか一項に記載のロボット制御システム。
8. 前記発話終了時刻推定部は、前記ロボットの発話に用いられるデータのデータ量に基づいて前記発話終了時刻を推定する、請求項７に記載のロボット制御システム。
9. 前記発話内容は、飲食物のメニュー選択に関する前記顧客との対話内容を含む、請求項１乃至８のいずれか一項に記載のロボット制御システム。
10. 飲食店に来店した顧客と対話するために指令信号に応じた動作を行うロボットに対して前記指令信号を送信するロボット制御装置であって、
    前記ロボットの発話内容を表示する表示部と、
    前記顧客の前記飲食店内での滞在状態を判断する滞在状態判断部と、
    前記ロボットの発話内容を、前記滞在状態判断部にて判断された前記顧客の滞在状態に基づいて前記表示部に表示する制御を行う表示制御部と、を有するロボット制御装置。

Images