JP2017204231A - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

Abstract

【課題】利用者に対して人型ロボットと対話している感覚を与えること。【解決手段】出力部１１１は、自装置がアクセス可能な入力装置１０１によって受け付けた入力文字または選択項目に基づいて、記憶部から取得した発話内容を発話する。制御部１１２は、出力部１１１による発話期間でない場合に、入力装置１０１に対する操作が有効となるように入力装置１０１を制御する。制御部１１２は、出力部１１１による発話期間である場合に、入力装置１０１を入力装置１０１に対する操作が無効となるように入力装置１０１を制御する。【選択図】図１

Description

本発明は、情報処理装置、情報処理方法、および情報処理プログラムに関する。

従来、腕、頭部、足などのように人間の身体のような体を有する人型ロボットが開発される。人型ロボットは、人間と人型ロボットの間でコミュニケーションを行う。

近年、音声対話技術の向上により人型ロボットと人間との間での音声対話によるコミュニケーションが実現されつつある。音声対話では、人型ロボットが利用者に視線を送るなどにより利用者と人型ロボットとの間でアイコンタクトを行うことができる。これにより、利用者に対して人型ロボットが利用者の話を傾聴しているという印象を与えることができる。

また、先行技術としては、ロボットおよびコミュニケーションの相手の動作に関するデータに基づいて検出した相手の状態に応じた行動プログラムに従って、動作を実現する制御データを生成し、該制御データに基づいてロボットのアクチュエータを制御する技術がある（例えば、以下特許文献１参照。）。また、先行技術としては、ウェブページにおいて、キャラクタに人間を模した動作や会話をさせる技術がある（例えば、以下特許文献２参照。）。また、先行技術としては、対話システムにおいて音声入力やうなずき、目配せなどの非言語メッセージの抽出によって利用者からの相槌表現を抽出して利用者との対話を制御する技術がある（例えば、以下特許文献３参照。）。

特開２００６−８８２７６号公報 特開２０１５−２０４００６号公報 特開平９−２１８７７０号公報

しかしながら、利用者が入力装置に対して文字入力を行い、人型ロボットが入力文字に対して音声で応答するという対話形式の場合、利用者は、文字入力に集中するために、人型ロボットと対話しているという感覚が薄れるという問題点がある。例えば、利用者が、文字入力に集中すると、文字入力中以外にも人型ロボットの眼球部でなく入力装置を注視してしまう場合がある。入力装置を注視してしまうと、人型ロボットが利用者の話を傾聴しているという印象を利用者に与えにくい。

１つの側面では、本発明は、利用者に対して人型ロボットと対話している感覚を与えることができる情報処理装置、情報処理方法、および情報処理プログラムを提供することを目的とする。

本発明の一側面によれば、自装置がアクセス可能な入力装置によって受け付けた入力文字または選択項目に基づいて、記憶部から取得した発話内容を発話する出力部と、前記出力部による発話期間でない場合に、前記入力装置に対する操作が有効となるように前記入力装置を制御し、前記出力部による発話期間である場合に、前記入力装置に対する操作が無効となるように前記入力装置を制御する制御部と、を有する情報処理装置、情報処理方法、および情報処理プログラムが提案される。

本発明の一態様によれば、利用者に対して人型ロボットと対話している感覚を与えることができる。

図１は、情報処理装置による一動作例を示す説明図である。 図２は、音声対話例を示す説明図である。 図３は、文字と音声対話例を示す説明図である。 図４は、システムの例１を示す説明図である。 図５は、人型ロボット４０１のハードウェア構成例を示す説明図である。 図６は、携帯端末装置４０２のハードウェア構成例を示す説明図である。 図７は、システム４００の機能的構成例を示すブロック図である。 図８は、相互凝視と共同注視とを示す説明図である。 図９は、インタラクション例を示す説明図である。 図１０は、インタラクションに応じた各制御例を示す説明図である。 図１１は、文字入力例を示す説明図である。 図１２は、項目の選択例を示す説明図である。 図１３は、視線位置および視線誘導例を示す説明図である。 図１４は、対話制御部７０１が行う処理手順例を示すフローチャートである。 図１５は、ロボット発話処理手順例を示すフローチャートである。 図１６は、利用者発話処理手順例を示すフローチャートである。 図１７は、対話処理手順例を示す説明図である。 図１８は、システムの例２を示す説明図である。 図１９は、人型ロボット１８０１のハードウェア構成例を示す説明図である。 図２０は、システム１８００の機能的構成例を示すブロック図である。

以下に添付図面を参照して、本発明にかかる情報処理装置、情報処理方法、および情報処理プログラムの実施の形態を詳細に説明する。

図１は、情報処理装置による一動作例を示す説明図である。情報処理装置１００は、利用者ｕｓによる入力装置１０１に対する文字入力または項目選択に基づいて、発話内容を発話するコンピュータである。情報処理装置１００は、図１に示すように人型ロボットに含まれてもよい。人型ロボットは、人間とコミュニケーションをとりながらつぎの動作が行われるサービスロボットである。

近年、後述する図２に示すように、人型ロボットと人間との間での音声対話によるコミュニケーションが実現されつつある。音声対話では、人型ロボットが利用者ｕｓに視線を送るなどにより利用者ｕｓと人型ロボットとの間でアイコンタクトを行うことにより、利用者ｕｓに対して人型ロボットが利用者ｕｓの話を傾聴しているという印象を与えることができる。このため、利用者ｕｓも人型ロボットに対して信頼感を持って話をすることができる。

しかし、音声対話では、周囲雑音の影響を受けやすく、家の中のような静かな場所でなければ実用的でない。また、利用者ｕｓによっては、会話内容を声に出したくない場合などがある。例えば、公共の場における音声対話では、他人に会話内容が聞かれてしまうというようなプライバシー問題が発生する場合がある。

そこで、後述する図３に示すように利用者ｕｓが入力装置１０１に対して文字入力を行い、人型ロボットが入力文字に対して音声で応答するという対話形式が考えられる。文字入力・音声対話では、利用者ｕｓは、会話内容を声に出すことなく、人型ロボットと対話を行うことができる。

しかしながら、文字入力・音声対話では、利用者ｕｓは、文字入力に集中するために、人型ロボットと対話しているという感覚が薄れるという問題点がある。例えば、利用者ｕｓが、文字入力に集中すると、文字入力中以外にも人型ロボットの眼球部でなく入力装置１０１を注視してしまう場合がある。利用者ｕｓが入力装置１０１を注視してしまうと、人型ロボットが利用者ｕｓの話を傾聴しているという印象を利用者ｕｓに与えにくい。

そこで、本実施の形態では、情報処理装置１００は、利用者ｕｓとロボットで文字入力・発話対話を行う際、話者がロボットの場合に、文字入力を無効にし、話者が利用者の場合に、文字入力を有効にする。これにより、利用者ｕｓに対してロボットと対話している感覚を与えることができる。

情報処理装置１００は、出力部１１１と、制御部１１２と、を有する。出力部１１１は、自装置がアクセス可能な入力装置１０１によって受け付けた入力文字または選択項目に基づいて、記憶部から取得した発話内容を発話する。入力装置１０１としては、タッチパネルディスプレイ、キーボード、マウス、ボタンなどが挙げられる。図１の例では、入力装置１０１は、タッチパネルディスプレイである。また、図１の例では、情報処理装置１００は入力装置１０１とネットワークを介してアクセス可能であるが、これに限らず、情報処理装置１００が入力装置１０１を有していてもよい。

制御部１１２は、出力部１１１による発話期間でない場合に、入力装置１０１に対する操作が有効となるように入力装置１０１を制御する。入力装置１０１が、図１の例のようにタッチパネルディスプレイの場合、制御部１１２は、出力部１１１による発話期間でない場合に、入力装置１０１に対する操作および画面表示が有効となるように入力装置１０１を制御する。

また、制御部１１２は、出力部１１１による発話期間である場合に、入力装置１０１を入力装置１０１に対する操作が無効となるように入力装置１０１を制御する。入力装置１０１が、図１の例のようにタッチパネルディスプレイの場合、制御部１１２は、出力部１１１による発話期間である場合に、入力装置１０１に対する操作および画面表示が無効となるように入力装置１０１を制御する。

これにより、ロボットが発話中に利用者ｕｓが文字入力に集中して入力装置１０１を注視することを抑制できる。したがって、利用者ｕｓに対してロボットと対話している感覚を与えることができる。

図２は、音声対話例を示す説明図である。図２の例では、人型ロボットと利用者とが音声で対話する。音声で対話することにより、利用者と人型ロボットとの間でアイコンタクトなどを行うことができる。このため、利用者が発話中に人型ロボットが利用者とアイコンタクトを行うことにより利用者に対してロボットが傾聴していることを示すことができる。このため、利用者に人型ロボットへ信頼感を持たせることが可能となる。

音声対話では、周囲の雑音などの影響を受けやすいため、家の中のような静かな場所以外での利用が難しい。また、音声対話では、利用者は他人に聞かれたくない内容などであっても人型ロボットに対して口頭で回答しなければならない。このように、プライバシーの問題なども発生する恐れがある。

図３は、文字と音声対話例を示す説明図である。そこで、図３に示すように、利用者が文字入力を行うのに対して、人型ロボットが音声で応答する文字入力・音声発話による文字・音声対話がある。

図３の例のように、利用者は、タッチパネルを有する携帯端末装置などに対する文字入力によって人型ロボットからの発話での質問に対する回答を行う。そして、人型ロボットは、文字入力に対して発話を行う。

（システムの例１）
図４は、システムの例１を示す説明図である。システム４００は、例えば、人型ロボット４０１と、携帯端末装置４０２と、を有する。人型ロボット４０１と携帯端末装置４０２とは、ネットワーク４０３を介して接続される。利用者ｕｓと人型ロボット４０１との対話は、人型ロボット４０１による発話と携帯端末装置４０２に対する文字入力とによって行われる。

人型ロボット４０１は、利用者ｕｓによる入力装置に対する文字入力または項目選択に基づいて、発話内容を発話するコンピュータである情報処理装置である。携帯端末装置４０２は、利用者ｕｓが操作可能な入力装置である。携帯端末装置４０２としては、例えばスマートフォンやタブレット型の携帯端末などが挙げられる。

人型ロボット４０１は、例えば、人間とコミュニケーションをとりながらつぎの動作が行われるサービスロボットである。人型ロボット４０１は、人間のような体を有する。人型ロボット４０１は、例えば、ボディ４１１と、アーム部４１３と、頭部４１２と、を有する。ボディ４１１の両肩には、アーム部４１３が取り付けられる。人型ロボット４０１は、右側のアーム部４１３−ｒと、左側のアーム部４１３−ｌと、を有する。アーム部４１３は、複数の関節を有する。そして、アーム部４１３は、関節ごとに複数の軸の自由度を有する。関節の数については、人型ロボット４０１の用途に応じて異なる。これにより、アーム部４１３は、関節で部分的に曲げたり、上下方向に可動できる。ボディ４１１の前面の中央部分には、スピーカ４１５が設けられる。人型ロボット４０１は、スピーカ４１５によって発話を行う。

また、ボディ４１１の前面の中央部分やボディ４１１の前面の中央下方などには、距離センサ４１７，４１８，４１９を有する。距離センサ４１７，４１８，４１９は、それぞれ赤外線通信によって利用者ｕｓと人型ロボット４０１との距離を計測する。

また、ボディ４１１の中央上方には、頭部４１２が取り付けられる。頭部４１２は、例えば、首関節としてモータを有する。頭部４１２は、例えば、モータによって複数の軸の自由度を有する。これにより、頭部４１２は、例えば、左右方向や上下方向に可動することができる。したがって、頭部４１２が左右方向に動作したり、上下方向に動作することにより首をかしげたり、視線を制御することができる。

また、頭部４１２には、人間の目に相当する位置に眼球部４１６が設けられる。眼球部４１６は、例えば、カメラ４２１と、赤外線通信回路４２２と、を有する。人型ロボット４０１は、人間の目と同様に右側の眼球部４１６−ｒと、左側の眼球部４１６−ｌと、を有する。ここで、眼球部４１６は、カメラ４２１のモータによって複数の軸の自由度を有する。これにより、眼球部４１６は、例えば、左右方向や上下方向に可動することができる。したがって、眼球部４１６が左右方向に動作したり、上下方向に動作することにより眼球部４１６の視線を制御することができる。

また、眼球部４１６と頭部４１２とは、カメラ４２１と赤外線通信回路４２２とによって得られる利用者ｕｓの顔の位置情報などに基づいて利用者ｕｓの顔を追従するように可動させることができる。これにより、人型ロボット４０１が、携帯端末装置４０２を注視しているように見せることができる。また、眼球部４１６と頭部４１２とは、カメラ４２１と、赤外線通信回路４２２とによって得られる携帯端末装置４０２の位置情報に基づいて携帯端末装置４０２を追従するように可動させることができる。これにより、人型ロボット４０１が、携帯端末装置４０２を注視しているように見せることができる。

また、図４に示す人型ロボット４０１は、位置が固定されているが、これに限らず、車輪移動型や二足歩行型のように移動可能であってもよい。

携帯端末装置４０２は、例えば、タッチパネル４３１と、カメラ４３２と、赤外線通信回路４３３と、を有する。カメラ４３２と赤外線通信回路４３３は、例えば、タッチパネル４３１の表示面側に設けられる。携帯端末装置４０２は、カメラ４３２と、赤外線通信回路４３３と、によって利用者ｕｓの顔や利用者ｕｓの視線を認識することにより、利用者ｕｓが携帯端末装置４０２を注視しているか否かを判定することができる。

（人型ロボット４０１のハードウェア構成例）
図５は、人型ロボット４０１のハードウェア構成例を示す説明図である。人型ロボット４０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３と、不揮発メモリ５０４と、を有する。人型ロボット４０１は、無線通信回路５０６と、カメラ４２１と、赤外線通信回路４２２と、スピーカ４１５と、ロボットＩ／Ｆ５０７と、距離センサ４１７，４１８，４１９と、を有する。また、各構成部は、バス５００によってそれぞれ接続される。

ここで、ＣＰＵ５０１は、人型ロボット４０１の全体の制御を司る。ＲＯＭ５０２は、ブートプログラムなどのプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。不揮発メモリ５０４は、書き込み可能なメモリであって、所定のデータを保持する。例えば、書き込み可能な不揮発メモリ５０４としては、フラッシュメモリが挙げられる。不揮発メモリ５０４は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）フラッシュメモリなどの取り外し可能な外部ストレージであってもよい。

無線通信回路５０６は、受信した無線電波を受信信号として出力する。また、無線通信回路５０６は、送信信号を無線電波として送信する。無線通信回路５０６は、無線通信によってネットワーク４０３などに接続され、ネットワーク４０３を介して携帯端末装置４０２などに接続される。

また、カメラ４２１は、画像や動画を撮影可能な入力装置である。カメラ４２１は、例えば、眼球部４１６に含まれる。眼球部４１６の視線方向に利用者ｕｓの顔があれば、カメラ４２１は、利用者ｕｓの顔を撮影可能である。利用者ｕｓと人型ロボット４０１との間でアイコンタクトが行われていることはカメラ４２１を用いて検知することができる。カメラ４２１が、例えば、利用者ｕｓの両目の位置を検出する。そして、ＣＰＵ５０１が、検出された利用者ｕｓの目の位置と利用者ｕｓの目の視線方向とに基づいて、アイコンタクトを検知する。

また、利用者ｕｓと人型ロボット４０１との間の距離は、カメラ４２１を用いて測定することが可能である。これにより、人型ロボット４０１は、測定された距離に基づいて利用者ｕｓの位置を表す位置情報が得られる。カメラ４２１は、例えば、利用者ｕｓの顔を撮影する。そして、ＣＰＵ５０１が、撮影された画像内の顔のサイズに基づいて利用者ｕｓと人型ロボット４０１との間の距離を測定する。例えば、人型ロボット４０１に、顔を近づけると、顔のサイズが大きく写り、顔を遠ざけると、顔のサイズが小さく写る。このため、例えば予め基準となる距離における顔のサイズなどを登録しておき、ＣＰＵ５０１は、基準となる顔のサイズと、カメラ４２１が撮影した画像内の顔のサイズとに基づいて利用者ｕｓと人型ロボット４０１との間の距離を測定する。

また、カメラ４２１が、例えば、利用者ｕｓの両目の位置を検出する。そして、ＣＰＵ５０１が、検出された目の位置から得られる目と目の間の距離に基づいて利用者と人型ロボット４０１との間の距離を測定する。例えば、人型ロボット４０１に、顔を近づけると、右目と左目との間の距離が大きくなり、顔を遠ざけると右目と左目との間の距離が小さくなる。このため、例えば、予め基準となる距離における顔のサイズなどを登録しておく。そして、基準となる目と目の間の距離と、カメラ４２１が測定した両目の位置に基づく目と目の間の距離に基づいて、利用者ｕｓと人型ロボット４０１との間の距離を測定する。

また、赤外線通信回路４２２は、赤外線の送受信部である。赤外線通信回路４２２は、カメラ４２１と同様に、眼球部４１６に含まれる。赤外線通信回路４２２は、例えば、虹彩の認証によりアイコンタクトの検知を行うことができる。赤外線通信回路４２２は、利用者ｕｓの目に向けて赤外線を照射し、虹彩のパターンを読み取る。ＣＰＵ５０１は、赤外線通信回路４２２によって虹彩のパターンが読み取れた場合、利用者ｕｓとアイコンタクトできていると判断する。一方、ＣＰＵ５０１は、赤外線通信回路４２２によって虹彩のパターンが読み取れない場合、利用者ｕｓとアイコンタクトできていないと判断する。また、赤外線通信回路４２２は、例えば、利用者ｕｓに向けて赤外線を照射し、反射して戻ってくる赤外線を受信することにより、照射開始から受信までの時間差から利用者ｕｓと人型ロボット４０１との間の距離を測定する。

また、スピーカ４１５は、電気信号を物理振動に変えて、音楽や音声などの音を生み出す機能を有する。スピーカ４１５は、図４に示したように、ボディ４１１の前面の中央部分に設けられる。スピーカ４１５は、ＣＰＵ５０１などによって生成された音声内容などに基づいて音声を出力する。

ロボットＩ／Ｆ５０７は、例えば、頭部４１２と、アーム部４１３と、ボディ４１１と、の各々についてＣＰＵ５０１からの指示に応じて制御を行う。ロボットＩ／Ｆ５０７は、ＣＰＵ５０１からの指示に応じて頭部４１２のモータを制御する。これにより、頭部４１２を上下方向や左右方向に動かすことができる。また、ロボットＩ／Ｆ５０７は、ＣＰＵ５０１からの指示に応じて眼球部４１６のモータを制御する。

距離センサ４１７，４１８，４１９は、図４で示したように、ボディ４１１の中央部分やボディ４１１の中央下方に設けられる。距離センサ４１７，４１８，４１９は、赤外線通信回路４２２と同様に、利用者ｕｓに向けて赤外線を照射し、反射して戻ってくる赤外線を受信することにより、照射開始から受信までの時間差から利用者ｕｓと人型ロボット４０１との間の距離を測定する。

また、図示を省略するが、人型ロボット４０１には、赤外線によって人体を検出するなどに用いる焦電センサが設けられていてもよい。図示を省略するが、人型ロボット４０１には、マイクから音声を取り込む入力装置が設けられていてもよい。また、図示を省略するが、人型ロボット４０１には、プリンタなどの出力装置が設けられていてもよい。人型ロボット４０１は、上述した構成部のほか、例えば、ディスクおよびディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、半導体メモリ、キーボード、マウスなどを有することにしてもよい。

（携帯端末装置４０２のハードウェア構成例）
図６は、携帯端末装置４０２のハードウェア構成例を示す説明図である。図６において、携帯端末装置４０２は、ＣＰＵ６０１と、ＲＯＭ６０２と、ＲＡＭ６０３と、不揮発メモリ６０４と、タッチパネル４３１と、無線通信回路６０５と、カメラ４３２と、赤外線通信回路４３３と、を有する。また、各部はバス６００によってそれぞれ接続されている。

ここで、ＣＰＵ６０１は、携帯端末装置４０２の全体の制御を司る。ＲＯＭ６０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ６０３は、ＣＰＵ６０１のワークエリアとして使用される。不揮発メモリ６０４は、書き込み可能なメモリであって、所定のデータを保持する。例えば、書き込み可能な不揮発メモリ６０４としては、フラッシュメモリが挙げられる。不揮発メモリ６０４は、例えば、ＵＳＢフラッシュメモリなどの取り外し可能な外部ストレージであってもよい。

タッチパネル４３１は、表示の機能と操作入力を受け付ける機能との２つの機能を有するタッチパネル型のディスプレイである。タッチパネル４３１は、コンピュータなどの外部から受けた画像情報をディスプレイなどで表示する。ディスプレイとしては、例えば、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）液晶ディスプレイなどを採用することができる。

タッチパネル４３１は、ディスプレイなどの画面に表示された絵やピクトグラムなどの点または領域に使用者ｕｓが手や指で触れることによって、触れられた画面位置の情報を感知してＣＰＵ６０１などへ情報信号として出力する。タッチパネル４３１は、タッチパネル４３１の画面を複数に区切った領域ごとに接触を検出し、検出結果として接触情報を出力する。

無線通信回路６０５は、受信した無線電波を受信信号として出力する。また、無線通信回路６０５は、送信信号を無線電波として送信する。無線通信回路６０５は、無線通信によってネットワーク４０３などに接続され、ネットワーク４０３を介して人型ロボット４０１などに接続される。

また、カメラ４３２は、画像や動画を撮影可能な入力装置であり、照度を検出可能である。例えば、カメラ４３２は、例えば、タッチパネル４３１の表示方向に設けられる。タッチパネル４３１の表示方向に利用者ｕｓの顔があれば、カメラ４３２は、利用者ｕｓの顔を撮影可能である。利用者ｕｓが携帯端末装置４０２を注視していることはカメラ４３２を用いて検知することができる。カメラ４３２が、例えば、利用者ｕｓの顔を撮影することにより両目の位置を検出する。そして、ＣＰＵ６０１が、検出された目の位置と目の視線方向とに基づいて、利用者ｕｓが携帯端末装置４０２を注視しているか否かを判断する。

また、利用者ｕｓと携帯端末装置４０２との間の距離は、カメラ４３２を用いて測定することが可能である。カメラ４３２が、例えば、利用者ｕｓの顔を撮影する。そして、ＣＰＵ６０１が、撮影された画像内の顔のサイズに基づいて利用者ｕｓと携帯端末装置４０２との間の距離を測定する。例えば、携帯端末装置４０２に、顔を近づけると、顔のサイズが大きく写り、顔を遠ざけると、顔のサイズが小さく写る。このため、例えば予め基準となる距離における顔のサイズなどを登録しておき、ＣＰＵ６０１は、基準となる顔のサイズと、カメラ４３２が撮影した画像内の顔のサイズとに基づいて利用者ｕｓと携帯端末装置４０２との間の距離を測定する。

また、カメラ４３２が、例えば、利用者ｕｓの両目の位置を検出する。そして、ＣＰＵ６０１が、検出された目の位置から得られる目と目の間の距離に基づいて利用者と人型ロボット４０１との間の距離を測定する。例えば、携帯端末装置４０２に、顔を近づけると、右目と左目との間の距離が大きくなり、顔を遠ざけると右目と左目との間の距離が小さくなる。このため、例えば、予め基準となる距離における顔のサイズなどを登録しておく。そして、基準となる目と目の間の距離と、カメラ４３２が測定した両目の位置に基づく目と目の間の距離に基づいて、利用者ｕｓと携帯端末装置４０２との間の距離を測定する。

また、赤外線通信回路４３３は、赤外線の送受信部である。赤外線通信回路４３３は、カメラ４３２と同様に、タッチパネル４３１の表示方向に設けられる。赤外線通信回路４３３は、例えば、虹彩の認証により利用者ｕｓが携帯端末装置４０２を注視しているか否かを検知することができる。赤外線通信回路４３３は、利用者ｕｓの目に向けて赤外線を照射し、虹彩のパターンを読み取る。ＣＰＵ６０１は、赤外線通信回路４３３によって虹彩のパターンが読み取れた場合、利用者ｕｓが携帯端末装置４０２を注視していると判断する。一方、ＣＰＵ６０１は、赤外線通信回路４３３によって虹彩のパターンが読み取れない場合、利用者ｕｓが携帯端末装置４０２を注視していないと判断する。また、赤外線通信回路４３３は、例えば、利用者ｕｓに向けて赤外線を照射し、反射して戻ってくる赤外線を受信することにより、照射開始から受信までの時間差から利用者ｕｓと携帯端末装置４０２との間の距離を測定する。

（システム４００例１における各装置の機能的構成例）
図７は、システム４００の機能的構成例を示すブロック図である。システム４００は、人型ロボット４０１と、携帯端末装置４０２と、を有する。人型ロボット４０１は、対話制御部７０１と、アイコンタクト検知部７０５と、発話制御部７０２と、視線制御部７０３と、バックチャネル制御部７０４と、出力部７０６と、可動部７０７と、記憶部７０８と、を有する。

可動部７０７は、眼球部４１６のカメラ４２１のモータや頭部４１２に含まれるモータによって実現される。記憶部７０８は、例えば、図５に示すＲＯＭ５０２、ＲＡＭ５０３、不揮発メモリ５０４などによって実現される。出力部７０６は、スピーカ４１５によって実現される。

アイコンタクト検知部７０５から対話制御部７０１までの処理は、例えば、図５に示すＣＰＵ５０１がアクセス可能な記憶部７０８に記憶されたプログラムにコーディングされている。そして、ＣＰＵ５０１が記憶装置から該プログラムを読み出して、プログラムにコーディングされている処理を実行する。これにより、制御部の処理が実現される。また、制御部の処理結果は、例えば、記憶部７０８に記憶される。

そして、ＣＰＵ５０１が記憶部７０８から該プログラムを読み出して、プログラムにコーディングされている処理を実行する。これにより、制御部の処理が実現される。また、制御部の処理結果は、例えば、記憶部７０８に記憶される。

また、携帯端末装置４０２は、表示制御部７１１と、入力検知部７１２と、注視検知部７１３と、を有する。表示制御部７１１と入力検知部７１２との処理は、例えば、タッチパネル４３１によって実現される。

記憶部７０８は、発話内容を記憶する。発話内容は、例えば、広告、ニュース、天気予報、緊急速報、メール、チャット、スケジュールなどに関する内容である。また、記憶部７０８は、例えば、「えぇっと」や「う〜んと」などのフィラーと呼ばれる所定の発話内容を記憶する。記憶部７０８は、利用者の入力内容や選択項目を記憶してもよい。

対話制御部７０１は、利用者ｕｓと人型ロボット４０１とから話者を決定して利用者ｕｓと人型ロボット４０１との対話を制御する。対話制御部７０１は、話者が利用者ｕｓであるか人型ロボット４０１であるかに応じて、表示制御部７１１と入力検知部７１２と発話制御部７０２と視線制御部７０３とバックチャネル制御部７０４とを制御する。

アイコンタクト検知部７０５は、利用者の視線が人型ロボット４０１に向けられていることを検知する検知部である。特に、アイコンタクト検知部７０５は、利用者の視線が眼球部４１６に向けられていることを検知する。アイコンタクト検知部７０５は、例えば、人型ロボット４０１が発話中に、カメラ４２１や赤外線通信回路４２２によって利用者ｕｓの視線が人型ロボット４０１の眼球部４１６に向いていることを検知する。利用者ｕｓの視線が人型ロボット４０１の眼球部４１６に向いているとは、カメラ４２１や赤外線通信回路４２２によって利用者ｕｓの目を認識可能である状態である。

アイコンタクト検知部７０５は、例えば、利用者の視線が人型ロボット４０１に向けられていることを検知したと判断した場合に「Ｔｒｕｅ」を対話制御部７０１へ出力する。アイコンタクト検知部７０５は、利用者の視線が人型ロボット４０１に向けられていることを検知していないと判断した場合に「Ｆａｌｓｅ」を対話制御部７０１へ出力する。

発話制御部７０２は、対話制御部７０１に応じて発話内容を発話するように出力部７０６へ発話内容を出力させる。

出力部７０６は、タッチパネル４３１によって受け付けた入力文字または選択項目に基づいて、記憶部７０８から取得した発話内容を発話する。

対話制御部７０１は、出力部７０６による発話期間でない場合に、タッチパネル４３１に対する操作が有効となるように表示制御部７１１を制御する。また、対話制御部７０１は、出力部７０６による発話期間でない場合に、タッチパネル４３１による画面表示が有効となり、かつタッチパネル４３１に対するタッチ操作に応じた処理が有効となるように表示制御部７１１を制御する。

対話制御部７０１は、出力部７０６による発話期間である場合に、タッチパネル４３１に対する操作が有効となるように表示制御部７１１を制御する。また、対話制御部７０１は、出力部７０６による発話期間である場合に、タッチパネル４３１による画面表示が無効となり、かつタッチパネル４３１に対するタッチ操作に応じた処理が無効となるように表示制御部７１１を制御する。

また、対話制御部７０１は、出力部７０６による発話期間でない場合に、眼球部４１６の視線をタッチパネル４３１に向けるように視線制御部７０３によって可動部７０７を制御する。対話制御部７０１は、出力部７０６による発話期間である場合に、タッチパネル４３１を操作可能な利用者ｕｓに眼球部４１６の視線を向けるように可動部７０７を制御する。視線制御部７０３による制御例については、図８を用いて後述する。

また、対話制御部７０１は、操作が無効な状態から有効な状態に切り替わってから所定時間経過までの間に、入力検知部７１２によって入力文字および選択項目を受け付けなかった場合に、出力部７０６に特定の発話内容を発話させる制御を行う。特定の発話内容とは、タッチパネル４３１による操作が有効な状態に切り替わる前に、出力部７０６によって発話された発話内容である。特定の発話内容とは、直前の発話内容である。

対話制御部７０１は、話者が人型ロボット４０１でない場合において、操作が無効な状態から有効な状態に切り替わってから、所定時間経過までの間に入力文字および選択項目を受け付けなかった場合に、眼球部４１６の視線を利用者ｕｓに向けるように制御する。ここでは、対話制御部７０１は、可動部７０７を制御して眼球部４１６の視線を利用者ｕｓに向ける。対話制御部７０１は、出力部７０６に特定の発話内容を発話させるように制御した後に、眼球部４１６の視線をタッチパネル４３１に向けるように可動部７０７を制御する。

また、対話制御部７０１は、出力部７０６による発話期間中に、アイコンタクト検知部７０５によって利用者ｕｓの視線を検知できなかった場合に、出力部７０６に所定の発話内容を発話させた後に、出力部７０６に発話内容を発話させる制御を行う。また、対話制御部７０１は、話者が人型ロボット４０１の場合において、アイコンタクト検知部７０５および注視検知部７１３により利用者ｕｓの視線が検出されなかった場合に、所定の発話内容を発話させた後に、発話内容を発話させる制御を行う。所定の発話内容は、例えば、フィラーである。

視線制御部７０３は、相互凝視と共同注視とを切り替えるように可動部７０７を制御する。視線制御部７０３は、ロボットＩ／Ｆ５０７を介して、頭部４１２のモータや眼球部４１６のカメラ４２１のモータを制御する。

対話制御部７０１は、話者を切り替える制御を行う。対話制御部７０１は、話者が利用者ｕｓである場合に、入力検知部７１２による入力を受け付けるように制御する。

また、対話制御部７０１は、話者が利用者ｕｓである場合に、表示制御部７１１によって画面表示が有効となるように制御する。入力検知部７１２は、文字入力を検知して対話制御部７０１へ出力する。ここでは、ネットワーク４０３を介して文字入力内容が送信される。ここで、文字入力を検知するとは、例えば、利用者ｕｓの入力においてエンタキーによって入力が確定したことを検知する。

また、対話制御部７０１は、話者が利用者ｕｓである場合に、文字入力を検知すると、入力文字を解釈する。対話制御部７０１は、有効な文字である場合、バックチャネル制御部７０４によってあいづちやおうむ返しを行う。

以上を踏まえて、視線の制御例や対話の詳細例について説明する。

図８は、相互凝視と共同注視とを示す説明図である。図８＜相互凝視＞に示すように、視線制御部７０３は、話者が人型ロボット４０１である場合に、眼球部４１６の視線を利用者ｕｓの顔または利用者の目に向ける制御を行う。眼球部４１６の視線が利用者ｕｓの顔や利用者ｕｓの目を追従するように眼球部４１６のカメラ４２１のモータや頭部４１２のモータを制御する方法については、特に限定しないため、簡単な例で説明する。

ここで、利用者ｕｓの顔や利用者ｕｓの目の位置については、カメラ４２１や赤外線通信回路４２２によって検出可能である。視線制御部７０３は、利用者ｕｓの顔の位置や利用者ｕｓの目の位置と、人型ロボット４０１との位置関係に基づいて、眼球部４１６の視線が利用者ｕｓの顔または利用者の目に向くことができる頭部４１２の傾きと眼球部４１６の傾きとを算出する。そして、視線制御部７０３は、算出した頭部４１２の傾きと眼球部４１６の傾きになるように、頭部４１２のモータやカメラ４２１のモータを上下方向または／および左右方向に可動させる制御を行う。

また、利用者ｕｓの身長などによる利用者ｕｓの顔の位置は誤差範囲とし、利用者ｕｓの顔の位置や目の位置を予め所定の位置としてもよい。このため、眼球部４１６が所定の位置を向くような頭部４１２のモータの各方向の自由度の度合いや眼球部４１６のカメラ４２１のモータの各方向の自由度の度合いを予め定めていてもよい。そして、視線制御部７０３は、話者が利用者ｕｓから人型ロボット４０１に切り替わった際に、予め定められたカメラ４２１のモータの各方向の自由度の度合い、頭部４１２のモータの各方向の自由度の度合いにする。これにより、相互凝視させるように頭部４１２を制御できる。

人型ロボット４０１が利用者ｕｓを向きながら話すため、利用者ｕｓに対して人型ロボット４０１と対話している感覚を与えることができる。また、表示制御部７１１は、話者が人型ロボット４０１の場合に、タッチパネル４３１の画面点灯を無効にし、タッチパネル４３１に対するタッチ操作を無効にする。

また、図８＜共同注視＞に示すように、視線制御部７０３は、話者が利用者ｕｓである場合に、ロボットＩ／Ｆ５０７を介して、携帯端末装置４０２に視線を向ける制御を行う。これにより、利用者ｕｓと人型ロボット４０１とで携帯端末装置４０２に対して共同で注視するように誘導できる。表示制御部７１１は、話者が利用者ｕｓである場合に、タッチパネル４３１の画面点灯を有効にし、タッチパネル４３１のタッチ操作を有効にする。これにより、話者が切り替わると、タッチ操作が有効となり、タッチパネル４３１の画面が点灯するため、利用者ｕｓが携帯端末装置４０２を注視するように誘導できる。

図９は、インタラクション例を示す説明図である。Ｒが人型ロボット４０１の発話内容を示す。図９の（１）〜（６）がＲの発話内容である。Ｕが利用者ｕｓの入力文字または選択項目を示す。図９の（ａ）〜（ｃ）がＵの入力内容または選択項目である。

図１０は、インタラクションに応じた各制御例を示す説明図である。まず、対話制御部７０１は、人型ロボット４０１が発話する番とする。発話制御部７０２は、出力部７０６に図９（１）「こんにちは。」を発話させる。

また、視線制御部７０３は、利用者ｕｓとアイコンタクトを行うために頭部４１２のモータや眼球部４１６のカメラ４２１のモータを制御して眼球部４１６の視線を利用者ｕｓに向けるように制御する。また、表示制御部７１１は、タッチパネル４３１を消灯してタッチパネル４３１に対するタッチ操作を無効とする。そして、アイコンタクト検知部７０５は、アイコンタクトを検知して「Ｔｒｕｅ」を対話制御部７０１へ出力する。

つぎに、発話制御部７０２は、スピーカ４１５に図９（２）「今日はどちらへお出かけでしたか？」を発話させる。

対話制御部７０１は、図９（２）の発話後に、図９（２）の発話内容に基づいて、話者を人型ロボット４０１から利用者ｕｓに切り替える。

つぎに、表示制御部７１１は、話者が利用者ｕｓに切り替わったため、タッチパネル４３１のタッチ操作を有効にし、タッチパネル４３１の画面表示を有効にする。視線制御部７０３は、話者が利用者ｕｓに切り替わったため、共同注視となるように頭部４１２のモータや眼球部４１６のカメラ４２１のモータを制御して眼球部４１６が携帯端末装置４０２に向くように制御する。

そして、入力検知部７１２は、タッチパネル４３１のタッチ操作が有効となったため、タッチ操作を受け付ける。

図１１は、文字入力例を示す説明図である。タッチパネル４３１には、図９（２）の発話内容と、入力内容と、キーボードと、を含む画面が表示される。利用者ｕｓは、タッチパネル４３１に表示されたキーボードへのタッチ操作によって図９（ａ）「アメリカ」を入力する。そして、入力検知部７１２は、タッチパネル４３１へのタッチ操作による図９（ａ）「アメリカ」の入力を受け付ける。

図１０の説明に戻って、バックチャネル制御部７０４は、入力検知部７１２によって受け付けた入力内容に基づいて、非言語動作を行う。図１０の「ＮＶ（Ｎｏｎ Ｖｅｒｖａｌ）」は非言語動作を表す。対話制御部７０１は、文字入力を検知すると、入力文字を解釈する。対話制御部７０１は、入力内容が入力検知部７１２によって受け付けた入力内容が有効な文字ならば、あいづち、うなずき、おうむ返しを行うようにバックチャネル制御部７０４に指示する。例えば、うなずきの場合、バックチャネル制御部７０４は、例えば、入力内容「アメリカ」に対して、頭部４１２のモータを上下方向に動くように制御する。

つぎに、入力検知部７１２は、入力が終了してから所定時間経過した場合、発話制御部７０２にタイムアウトしたことを通知する。対話制御部７０１は、タイムアウトしたことの通知を受け付けると、対話内容を解釈する。そして、対話制御部７０１は、文脈を解釈する。対話制御部７０１は、文脈解釈結果に基づいて、話者交代の有無を決定する。ここでは、対話制御部７０１は、話者を利用者ｕｓから人型ロボット４０１に切り替える。

そして、対話制御部７０１は、話者が人型ロボット４０１に切り替わったため、文脈を制御して発話内容を生成して記憶部７０８に格納する。ここでは、図９（３）「え〜と、」と、図９（４）「何日間行かれるんですか？」とが生成される。

発話制御部７０２は、話者が人型ロボット４０１に切り替わったため、記憶部７０８に格納された図９（３）の発話内容を出力部７０６によって発話させる。つづけて、発話制御部７０２は、記憶部７０８に格納された図９（４）の発話内容を出力部７０６によって発話させる。

また、視線制御部７０３は、話者が人型ロボット４０１に切り替わったため、利用者ｕｓとアイコンタクトを行うために頭部４１２のモータや眼球部４１６のカメラ４２１のモータを制御して眼球部４１６の視線を利用者ｕｓに向けるように制御する。また、表示制御部７１１は、話者が人型ロボット４０１に切り替わったため、タッチパネル４３１を消灯してタッチパネル４３１に対するタッチ操作を無効とする。そして、アイコンタクト検知部７０５は、人型ロボット４０１が発話中に、アイコンタクトを検知して「Ｔｒｕｅ」を対話制御部７０１へ出力する。

つぎに、対話制御部７０１は、音声発話後に、話者を人型ロボット４０１から利用者ｕｓに切り替える。視線制御部７０３は、話者が利用者ｕｓに切り替わったため、共同注視となるように頭部４１２のモータや眼球部４１６のカメラ４２１のモータを制御して眼球部４１６が携帯端末装置４０２に向くように制御する。表示制御部７１１は、タッチパネル４３１を点灯してタッチパネル４３１に対するタッチ操作を有効とする。例えば、対話制御部７０１は、図９（４）に対する回答の候補として複数の項目をタッチパネル４３１に表示させる。そして、利用者ｕｓに複数の項目から回答を選択してもらうようにしてもよい。

図１２は、項目の選択例を示す説明図である。タッチパネル４３１に表示される画面は、図９（４）の発話内容と、図９（４）の発話内容に対する回答の候補となる複数の項目と、を含む。例えば、画面には、項目「１か月」、項目「２週間」、項目「１週間」、項目「６日間」、項目「５日間」、項目「４日間」、項目「３日間」、項目「２日間」、項目「１日間」がタッチ操作によって選択可能な項目として含まれる。

入力検知部７１２は、タッチパネル４３１に対するタッチ操作によって複数の項目からいずれかの項目が選択されたことを受け付ける。図１２の例では、項目「１週間」の選択を受け付ける。

図１０の説明に戻って、バックチャネル制御部７０４は、入力検知部７１２によって受け付けた入力内容に基づいて、非言語動作を行う。例えば、対話制御部７０１は、文字入力を検知すると、入力文字を解釈する。対話制御部７０１は、入力検知部７１２によって受け付けた入力内容が有効な文字ならば、あいづち、うなずき、おうむ返しを行うようにバックチャネル制御部７０４に指示する。例えば、おうむ返しの場合、バックチャネル制御部７０４は、例えば、選択項目「１週間」に対して、おうむ返しを行うために、図９（５）の発話内容「１週間もですか？」を生成する。そして、バックチャネル制御部７０４は、出力部７０６によって、図９（５）の発話内容を発話させる。

入力検知部７１２は、上述したように、入力が終了してから所定時間経過した場合、発話制御部７０２にタイムアウトしたことを通知する。対話制御部７０１は、上述したように、話者交代の有無を決定する。対話制御部７０１は、話者を利用者ｕｓから人型ロボット４０１に切り替える。

対話制御部７０１は、話者が人型ロボット４０１に切り替わったため、文脈を制御して発話内容を生成して記憶部７０８に格納する。ここでは、図９（６）「お仕事だけですか？」が生成される。

発話制御部７０２は、話者が人型ロボット４０１に切り替わったため、記憶部７０８に格納された図９（６）の発話内容を出力部７０６によって発話させる。

また、視線制御部７０３は、話者が人型ロボット４０１に切り替わったため、眼球部４１６の視線を利用者ｕｓに向けるように制御する。また、表示制御部７１１は、話者が人型ロボット４０１に切り替わったため、タッチパネル４３１を消灯してタッチパネル４３１に対するタッチ操作を無効とする。そして、アイコンタクト検知部７０５は、人型ロボット４０１が発話中に、アイコンタクトを検知して「Ｔｒｕｅ」を対話制御部７０１へ出力する。

つぎに、対話制御部７０１は、音声発話後に、話者を人型ロボット４０１から利用者ｕｓに切り替える。視線制御部７０３は、話者が利用者ｕｓに切り替わったため、共同注視となるように、眼球部４１６が携帯端末装置４０２に向くように制御する。表示制御部７１１は、タッチパネル４３１を点灯してタッチパネル４３１に対するタッチ操作を有効とする。例えば、対話制御部７０１は、図９（６）に対する回答の候補として複数の項目をタッチパネル４３１に表示させる。そして、利用者ｕｓに複数の項目から回答を選択してもらうようにしてもよい。

対話制御部７０１は、例えば、項目「はい」と項目「いいえ」を含む画面がタッチパネル４３１に表示される。入力検知部７１２は、複数の項目からいずれかの項目が選択されたことを受け付ける。図９（ｃ）のように項目「はい」が選択される。

図１０の説明に戻って、バックチャネル制御部７０４は、入力検知部７１２によって受け付けた入力内容に基づいて、非言語動作を行う。

ここで、図１０の例では、話者が利用者ｕｓとなった場合には、利用者ｕｓが、タッチ操作によって、文字入力や項目の選択を行う。しかし、利用者ｕｓによっては、話者の切り替えに応じてすぐに文字入力や項目の選択を行うとは限らない。

注視検知部７１３は、例えば、携帯端末装置４０２の赤外線通信回路４３３や携帯端末装置４０２のカメラ４３２によって、利用者ｕｓの目を検出することにより利用者ｕｓがタッチパネル４３１を注視しているか否かを検知する。

話者が利用者ｕｓの場合に、対話制御部７０１は、入力検知部７１２によって利用者ｕｓによるタッチ操作が検知されず、かつ注視検知部７１３によって利用者ｕｓがタッチパネル４３１を注視していることが検知されないかを判断する。対話制御部７０１は、タッチ操作が検知されず、かつタッチパネル４３１を注視していない場合に、入力を促進させる処理を行う。入力を促進させる処理としては、視線制御部７０３が、共同注視中であるが、眼球部４１６の視線を利用者ｕｓに向けるように制御する。そして、発話制御部７０２は、記憶部７０８に記憶された前回の発話内容を出力部７０６に発話させる。視線制御部７０３は、入力促進指示が終了すると、眼球部４１６の視線を携帯端末装置４０２に向けるように制御する。

また、対話制御部７０１は、タッチ操作が検知されず、かつタッチパネル４３１を注視していると判断された場合、所定時間待機する。そして、対話制御部７０１は、所定時間待機してもタッチ操作が行われない場合には、入力促進させる処理を行う。ここでの入力促進させる処理は上述の処理と同様である。

また、図１０の例では、話者が人型ロボット４０１となった場合には、アイコンタクト検知部７０５によって「Ｔｒｕｅ」が検知される。しかし、利用者ｕｓが、話者の切り替えに応じて都合よく人型ロボット４０１の眼球部４１６を見るとは限らない。

そこで、話者が人型ロボット４０１に切り替わることによりタッチパネル４３１に対するタッチ操作が無効となった後に、対話制御部７０１は、アイコンタクト検知部７０５が「Ｆａｌｓｅ」を出力する場合、眼球部４１６への注視を誘導させる処理を行う。注視を誘導させる処理としては、発話制御部７０２は、記憶部７０８に記憶されたフィラーを発話させる。ここでフィラーとは、例えば、「ええと」、「あの」、「まあ」など、発話の合間にはさみこむような言葉である。

図１３は、視線位置および視線誘導例を示す説明図である。ここでは、以上の内容を踏まえて、各話者状態において利用者ｕｓに期待する視線位置および利用者ｕｓへの視線誘導について簡単に説明する。

図１３（１）に示すように、話者が人型ロボット４０１の場合、利用者ｕｓには文字入力を行わないことが期待される。また、図１３（１）に示すように、画面説明がありの場合、利用者ｕｓに期待する視線位置は、画面またはロボットである。例えば、画面説明がありの場合、利用者ｕｓには、人型ロボット４０１が話していても携帯端末装置４０２を見ることが記載される。または、例えば、画面説明がありの場合に、利用者ｕｓには、人型ロボット４０１が話しているときだけ、人型ロボット４０１を見ることが期待される。このように、画面説明がありの場合、利用者の視線については、人型ロボット４０１の利用用途に依存して期待される位置が異なる。

つぎに、話者が人型ロボット４０１であり、画面説明がない場合、利用者ｕｓには、人型ロボット４０１を見てほしい。また、話者が利用者ｕｓである場合、利用者ｕｓから人型ロボット４０１へは文字入力によって対話するため、利用者ｕｓには、画面説明の有無に関係なく、携帯端末装置４０２のタッチパネル４３１を見ることが期待される。

図１３（２）に示すように、利用者ｕｓに期待する視線位置が、画面または人型ロボット４０１の場合に、人型ロボット４０１は、頭部４１２を左右のいずれかに傾けたり、腕を曲げるなどの非言語動作を行う。これにより、利用者ｕｓの視線を人型ロボット４０１に向けさせることができる。

また、利用者ｕｓに期待する利用者ｕｓの視線が画面またはロボットである場合に、人型ロボット４０１は、ヘッドを傾けたり、腕を曲げるなどの非言語動作を行うことにより、利用者ｕｓの視線を人型ロボット４０１に向けさせることができる。

また、利用者ｕｓに期待する利用者ｕｓの視線がロボットである場合に、人型ロボット４０１は、画面表示を変更したり、言語または非言語によって利用者ｕｓの視線を人型ロボット４０１の眼球部４１６に誘導する。人型ロボット４０１が話者である場合に、利用者ｕｓには視線を人型ロボット４０１の眼球部４１６に向けてほしいため、例えば、対話制御部７０１は、表示制御部７１１によって画面表示および文字入力を無効となるように制御する。これにより、携帯端末装置４０２を見ないようにさせることができ、利用者ｕｓが人型ロボット４０１を見るように誘導できる。また、視線制御部７０３は、話者が利用者ｕｓから人型ロボット４０１に切り替わった場合に、人型ロボット４０１の視線を利用者ｕｓに向ける。これにより、利用者ｕｓが人型ロボット４０１を見るように人型ロボット４０１が誘導することができる。

また、利用者ｕｓに期待する利用者ｕｓの視線が画面である場合に、人型ロボット４０１は、画面表示を変更したり、言語または非言語によって利用者ｕｓの視線を携帯端末装置４０２のタッチパネル４３１に誘導する。利用者ｕｓが話者となる場合に、利用者ｕｓには視線を携帯端末装置４０２のタッチパネル４３１に向けてほしいため、例えば、対話制御部７０１は、表示制御部７１１によって画面点灯および文字入力を有効となるように制御する。これにより、画面点灯および文字入力が有効となることにより携帯端末装置４０２を見るようにさせることができ、利用者ｕｓが携帯端末装置４０２のタッチパネル４３１を見るように誘導できる。また、視線制御部７０３は、話者が人型ロボット４０１から利用者ｕｓに切り替わった場合に、人型ロボット４０１の視線を携帯端末装置４０２に向ける。これにより、利用者ｕｓが人型ロボット４０１を見るように人型ロボット４０１が誘導することができる。

（対話制御部７０１が行う処理手順例）
図１４は、対話制御部７０１が行う処理手順例を示すフローチャートである。対話制御部７０１は、対話管理を行う（ステップＳ１４０１）。つぎに、対話制御部７０１は、ロボット発話と利用者発話のうちのいずれの発話ターンか否かを判断する（ステップＳ１４０２）。

ロボット発話であると判断された場合（ステップＳ１４０２：ロボット発話）、対話制御部７０１は、ロボット発話処理を行い（ステップＳ１４０３）、ステップＳ１４０１へ戻る。利用者発話であると判断された場合（ステップＳ１４０２：利用者ｕｓ発話）、対話制御部７０１は、利用者発話処理を行い（ステップＳ１４０４）、ステップＳ１４０１へ戻る。

図１５は、ロボット発話処理手順例を示すフローチャートである。対話制御部７０１は、相互凝視するように視線制御する（ステップＳ１５０１）。つぎに、対話制御部７０１は、入力不可となるように携帯端末装置４０２へ表示制御指示を行う（ステップＳ１５０２）。

対話制御部７０１は、画面説明ありか否かを判断する（ステップＳ１５０３）。画面説明ありと判断された場合（ステップＳ１５０３：Ｙｅｓ）、対話制御部７０１は、画面点灯状態となるように携帯端末装置４０２へ表示制御指示を行い（ステップＳ１５０４）、ステップＳ１５０６へ移行する。画面説明なしと判断された場合（ステップＳ１５０３：Ｎｏ）、対話制御部７０１は、画面消灯状態となるように携帯端末装置４０２へ表示制御指示を行い（ステップＳ１５０５）、ステップＳ１５０６へ移行する。

対話制御部７０１は、アイコンタクト検知部７０５によってアイコンタクトを検知したか否かを判断する（ステップＳ１５０６）。アイコンタクトを検知していないと判断された場合（ステップＳ１５０６：Ｎｏ）、対話制御部７０１は、画面説明あり、かつ画面注視か否かを判断する（ステップＳ１５０７）。画面説明あり、かつ画面注視であると判断された場合（ステップＳ１５０７：Ｙｅｓ）、対話制御部７０１は、ステップＳ１５０８へ移行する。画面説明でない、または画面注視でないと判断された場合（ステップＳ１５０７：Ｎｏ）、対話制御部７０１は、注視誘導発話を指示し（ステップＳ１５０９）、ステップＳ１５０１へ戻る。

ステップＳ１５０６において、アイコンタクトを検知したと判断された場合（ステップＳ１５０６：Ｙｅｓ）、対話制御部７０１は、発話制御部７０２へ発話を指示する（ステップＳ１５０８）。対話制御部７０１は、発話を終了し（ステップＳ１５１０）、一連の処理を終了する。

図１６は、利用者発話処理手順例を示すフローチャートである。対話制御部７０１は、視線制御部７０３によって共同注視するように視線制御する（ステップＳ１６０１）。対話制御部７０１は、画面点灯かつ入力可能となるように表示制御を携帯端末装置４０２へ指示する（ステップＳ１６０２）。

対話制御部７０１は、利用者ｕｓの入力中か否かを判断する（ステップＳ１６０３）。入力ありと判断された場合（ステップＳ１６０３：入力あり）、対話制御部７０１は、ステップＳ１６０３へ戻る。未入力と判断された場合（ステップＳ１６０３：未入力）、対話制御部７０１は、入力済みの情報ありか否かを判断する（ステップＳ１６０４）。

入力済みの情報なしと判断された場合（ステップＳ１６０４：Ｎｏ）、対話制御部７０１は、画面注視ありか否かを判断する（ステップＳ１６０５）。画面注視ありと判断された場合（ステップＳ１６０５：Ｙｅｓ）、対話制御部７０１は、タイマ計測を行う（ステップＳ１６０６）。対話制御部７０１は、所定時間経過したか否かを判断する（ステップＳ１６０７）。所定時間経過していないと判断された場合（ステップＳ１６０７：Ｎｏ）、対話制御部７０１は、利用者ｕｓの入力中か否かを判断する（ステップＳ１６０８）。入力ありと判断された場合（ステップＳ１６０８：入力あり）、対話制御部７０１は、ステップＳ１６０３へ戻る。未入力と判断された場合（ステップＳ１６０８：未入力）、対話制御部７０１は、ステップＳ１６０７へ戻る。

ステップＳ１６０７において、所定時間経過していると判断された場合（ステップＳ１６０７：Ｙｅｓ）、対話制御部７０１は、視線制御部７０３によって相互凝視するように視線を制御する（ステップＳ１６０９）。そして、対話制御部７０１は、発話制御部７０２によって入力促進指示の発話制御を行い（ステップＳ１６１０）、ステップＳ１６０１へ戻る。

また、ステップＳ１６０５において、画面注視なしと判断された場合（ステップＳ１６０５：Ｎｏ）、対話制御部７０１は、ステップＳ１６０９へ移行する。

また、ステップＳ１６０４において、入力済みの情報ありと判断された場合（ステップＳ１６０４：Ｙｅｓ）、対話制御部７０１は、バックチャネル制御部７０４によってバックチャネル制御を行い（ステップＳ１６１１）、一連の処理を終了する。

図１７は、対話処理手順例を示す説明図である。対話制御部７０１は、文字入力を待つ（ステップＳ１７０１）。そして、対話制御部７０１は、文字入力を検知する（ステップＳ１７０２）。対話制御部７０１は、入力文字を解釈する（ステップＳ１７０３）。そして、対話制御部７０１は、あいづち応答を行う（ステップＳ１７０４）。

対話制御部７０１は、文字入力が終了したか否かを判断する（ステップＳ１７０５）。文字入力が終了していないと判断された場合（ステップＳ１７０５：Ｎｏ）、対話制御部７０１は、ステップＳ１７０２へ戻る。文字入力が終了したと判断された場合（ステップＳ１７０５：Ｙｅｓ）、対話制御部７０１は、対話内容を解釈する（ステップＳ１７０６）。

そして、対話制御部７０１は、文脈を解釈する（ステップＳ１７０７）。つぎに、対話制御部７０１は、話者交替ありか否かを判断する（ステップＳ１７０８）。話者交替ありと判断された場合（ステップＳ１７０８：Ｙｅｓ）、対話制御部７０１は、話者を人型ロボット４０１に切り替える（ステップＳ１７０９）。

つぎに、対話制御部７０１は、文脈を制御する（ステップＳ１７１０）。対話制御部７０１は、発話内容を生成する（ステップＳ１７１１）。対話制御部７０１は、発話制御部７０２によって音声発話を行う（ステップＳ１７１２）。そして、対話制御部７０１は、話者を利用者ｕｓに切り替え（ステップＳ１７１３）、ステップＳ１７０１へ戻る。

話者交替なしと判断された場合（ステップＳ１７０８：Ｎｏ）、対話制御部７０１は、応答内容を生成する（ステップＳ１７１４）。対話制御部７０１は、発話制御部７０２によって音声発話を行い（ステップＳ１７１５）、ステップＳ１７０１へ戻る。

ここで、文脈解釈を行うためには、予め人型ロボット４０１が利用者に対して対話したい内容を設定する。例えば、スロット対話型であれば、人型ロボット４０１が利用者ｕｓに対して質問する（例えば、「“Ｄｅｓｉｇｎｉｎｇ ａ Ｍｏｔｉｖａｔｉｏｎａｌ Ａｇｅｎｔ ｆоｒ Ｂｅｈａｖｉｏｒ Ｃｈａｎｇｅ ｉｎ Ｐｈｙｓｉｃａｌ Ａｃｔｉｖｉｔｙ”，ＣＨＩ ２０１５ ｐｒоｃｅｅｄｉｎｇｓ，Ａｐｒ．１８−２３，２０１５」参照。）。そして、人型ロボット４０１が質問に対する利用者ｕｓからの回答の有無を判断して、対話を進める。対話内容解釈では、利用者の回答文章を解析し、質問に対する回答となる場所を特定する。

例えば、人型ロボット４０１が「これからどちらへ行く予定ですか？」と質問し、利用者が「家に帰る」と答える。このような対話では、対話制御部７０１は、目的地＝“家”、動作＝“帰る”と意味解釈される。対話制御部７０１は、文脈解釈において期待する回答「目的地と動作」を得たため、つぎの質問に移る。また、対話制御部７０１は、文脈解釈において期待する回答が得られない場合、違う質問やつぎの質問に移る。つぎの質問内容を発話後、対話制御部７０１は、話者交替を行う。また、対話制御部７０１は、質問と関係ないような回答の場合、利用者に入力を促す。質問と関係ないような回答とは、例えば、「あの〜」などというような回答である。

（システム例２）
図１８は、システムの例２を示す説明図である。システム１８００は、例えば、人型ロボット１８０１を有する。人型ロボット１８０１は、入力装置であるタッチパネル１８０２を有する。このため、システム１８００では、システム４００の例１と異なり、入力装置を含む携帯端末装置を有さない。利用者ｕｓと人型ロボット１８０１との対話は、人型ロボット１８０１による発話と人型ロボット１８０１のタッチパネル１８０２に対する文字入力とによって行われる。

人型ロボット１８０１は、上述した人型ロボット４０１と同様に、ボディ４１１と、頭部４１２と、アーム部４１３と、を有する。ボディ４１１の前面の中央部分には、タッチパネル１８０２が設けられる。

また、その他、人型ロボット１８０１の各構成については、システム４００の例１と同様であるため、詳細な説明を省略する。

（システム１８００の例２における人型ロボット１８０１のハードウェア構成例）
図１９は、人型ロボット１８０１のハードウェア構成例を示す説明図である。人型ロボット１８０１は、ＣＰＵ５０１と、ＲＯＭ５０２と、ＲＡＭ５０３と、不揮発メモリ５０４と、を有する。人型ロボット１８０１は、タッチパネル１８０２と、無線通信回路５０６と、カメラ４２１と、赤外線通信回路４２２と、スピーカ４１５と、ロボットＩ／Ｆ５０７と、距離センサ４１７，４１８，４１９と、を有する。

また、タッチパネル１８０２は、表示の機能と操作入力を受け付ける機能との２つの機能を有するタッチパネル型のディスプレイである。タッチパネル１８０２は、コンピュータなどの外部から受けた画像情報をディスプレイなどで表示する。ディスプレイとしては、例えば、ＴＦＴ液晶ディスプレイなどを採用することができる。

タッチパネル１８０２は、ディスプレイなどの画面に表示された絵やピクトグラムなどの点または領域に利用者ｕｓが手や指で触れることによって、触れられた画面位置の情報を感知してＣＰＵ５０１などへ情報信号として出力する。

また、タッチパネル１８０２以外の各ハードウェアは、図５の例と同様であるため、詳細な説明を省略する。

（システム１８００の機能的構成例）
図２０は、システム１８００の機能的構成例を示すブロック図である。システム１８００は、人型ロボット１８０１を有する。人型ロボット１８０１は、対話制御部７０１と、発話制御部７０２と、視線制御部７０３と、バックチャネル制御部７０４と、アイコンタクト検知部７０５と、を有する。人型ロボット１８０１は、可動部７０７と、記憶部７０８と、表示制御部２００１と、入力検知部２００２と、を有する。

表示制御部２００１と入力検知部２００２とは、タッチパネル１８０２によって実現される。表示制御部２００１と入力検知部２００２との各処理は、それぞれ表示制御部２００１と入力検知部２００２の処理と同様であるため、詳細な説明を省略する。

また、視線制御部７０３は、共同注視の際に、タッチパネル１８０２を見るように可動部７０７を制御する。

また、情報処理装置１００は、例えば、人型ロボットと異なり、人型ロボットを制御可能なコンピュータであってもよい。人型ロボットと情報処理装置１００とが異なる場合、情報処理装置１００は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やサーバである。そして、情報処理装置１００は、無線通信などによるネットワークを介して、人型ロボットと接続可能であってもよい。

以上説明したように、情報処理装置１００は、利用者と人型ロボットで文字入力・発話対話を行う際、話者がロボットの場合に、文字入力を無効にし、話者が利用者の場合に、文字入力を有効にする。これにより、利用者に対して人型ロボットと対話している感覚を与えられる。これにより、人型ロボットが発話中に利用者が文字入力に集中して入力装置を注視することを抑制できる。したがって、利用者に対して人型ロボットと対話している感覚を与えることができる。

また、情報処理装置１００は、話者が人型ロボットの場合に、入力装置による画面表示が有効となり、かつ入力装置に対するタッチ操作に応じた処理が有効となるように入力装置を制御する。情報処理装置１００は、話者が人型ロボットの場合に、入力装置による画面表示が無効となり、かつ入力装置に対するタッチ操作に応じた処理が無効となるように入力装置を制御する。これにより、人型ロボットが発話中に利用者がタッチパネルの表示に集中してタッチパネルを注視することを抑制できる。したがって、利用者に対して人型ロボットと対話している感覚を与えることができる。

また、情報処理装置１００は、話者が利用者の場合に、人型ロボットの眼球部の視線を入力装置に向けるようにし、話者がロボットの場合に、人型ロボットの眼球部の視線を利用者に向けるようにする。これにより、利用者が文字入力中に共同で画面を注視することにより、人型ロボットが利用者の会話内容に傾聴しているように見せることができる。また、人型ロボットが発話中に利用者を見ることにより人型ロボットと利用者との間でアイコンタクトをとることができ、発話内容が利用者に向けた内容であることをより印象づけることができる。したがって、利用者に対してロボットと対話している感覚を与えることができる。

また、情報処理装置１００は、入力装置による操作が無効な状態から有効な状態に切り替わってから、所定時間経過までの間に入力装置に対する操作を受け付けなかった場合に、直前の質問内容などを繰り返して発話する。これにより、話者が利用者であること提示でき、利用者に入力を促進させることができる。

また、情報処理装置１００は、操作が無効な状態から有効な状態に切り替わってから、所定時間経過までの間に操作を受け付けなかった場合に、利用者を見て、直前の質問内容などを発話後に、再度入力装置に視線を向けるように制御する。これにより、話者が利用者であること提示でき、利用者に入力を促進させることができる。また、利用者が入力装置に対して操作していないことを人型ロボットが理解していることを提示でき、人型ロボットが利用者の会話を傾聴しているように見せることができる。

また、情報処理装置１００は、話者が人型ロボットの場合において、利用者の視線を検知できなかった場合に、フィラーなどを発話させた後に、通常の発話内容を発話させる。これにより、利用者の視線を人型ロボットに誘導することができる。

また、情報処理装置１００は、発話期間中に、利用者の視線を検知できず、かつ入力装置を有する他の装置によって利用者の視線が検出されなかった場合に、フィラーなどを発話させた後に、発話内容を発話させる。これにより、利用者の視線を人型ロボットに誘導することができる。

情報処理装置１００が入力装置を有することにより、利用者、利用者の顔および利用者の目などの位置を容易に検出することができる。これにより、例えば、人型ロボットの視線を利用者に追従させる場合などに、利用者、利用者の顔および利用者の目などの位置を高速に検出でき、人型ロボットの視線を利用者に追従させる処理の高速化を図ることができる。

なお、本実施の形態で説明した情報処理方法は、予め用意された情報処理プログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本情報処理プログラムは、磁気ディスク、光ディスク、ＵＳＢフラッシュメモリなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、情報処理プログラムは、インターネット等のネットワークを介して配布してもよい。

また、本実施の形態で説明した対話制御部７０１から記憶部７０８などの各部は、スタンダードセルやストラクチャードＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの特定用途向けＩＣ（以下、単に「ＡＳＩＣ」と称す。）やＦＰＧＡなどのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）によっても実現することができる。例えば、上述した各部の機能をＨＤＬ記述によって機能定義し、そのＨＤＬ記述を論理合成してＡＳＩＣやＰＬＤに与えることにより、情報処理装置１００を製造することができる。

上述した実施の形態に関し、さらに以下の付記を開示する。

（付記１）自装置がアクセス可能な入力装置によって受け付けた入力文字または選択項目に基づいて、記憶部から取得した発話内容を発話する出力部と、
前記出力部による発話期間でない場合に、前記入力装置に対する操作が有効となるように前記入力装置を制御し、前記出力部による発話期間である場合に、前記入力装置に対する操作が無効となるように前記入力装置を制御する制御部と、
を有することを特徴とする情報処理装置。

（付記２）前記入力装置が、タッチパネル型のディスプレイである場合、
前記制御部は、
前記出力部による発話期間でない場合に、前記入力装置による画面表示が有効となり、かつ前記入力装置に対するタッチ操作に応じた処理が有効となるように前記入力装置を制御し、前記出力部による発話期間である場合に、前記入力装置による画面表示が無効となり、かつ前記入力装置に対するタッチ操作に応じた処理が無効となるように前記入力装置を制御する、
ことを特徴とする付記１に記載の情報処理装置。

（付記３）自装置は、人型のロボットであり、
前記ロボットの頭部の眼球部を各方向に可動させる可動部を有し、
前記制御部は、
前記出力部による発話期間でない場合に、前記眼球部の視線を前記入力装置に向けるように前記可動部を制御し、前記出力部による発話期間である場合に、前記入力装置を操作可能な利用者に前記眼球部の視線を向けるように前記可動部を制御する、
ことを特徴とする付記１または２に記載の情報処理装置。

（付記４）前記制御部は、
前記入力装置による操作が無効な状態から有効な状態に切り替わってから、所定時間経過までの間に前記入力装置が前記入力文字および前記選択項目を受け付けなかった場合に、前記入力装置に向けられた前記眼球部の視線を前記利用者に向けるように前記可動部を制御し、前記出力部に特定の発話内容を発話させる制御をした後に、前記眼球部の視線を前記入力装置に向けるように前記可動部を制御する、
ことを特徴とする付記３に記載の情報処理装置。

（付記５）前記特定の発話内容は、前記入力装置による操作が有効な状態に切り替わる前に、前記出力部によって発話された発話内容であることを特徴とする付記４に記載の情報処理装置。

（付記６）前記入力装置を操作可能な利用者の視線が自装置に向けられていることを検知する検知部を有し、
前記制御部は、
前記出力部による発話期間中に、前記検知部によって前記利用者の視線を検知できなかった場合に、前記出力部に所定の発話内容を発話させた後に、前記出力部に取得した前記発話内容を発話させる制御を行う、
ことを特徴とする付記１〜５のいずれか一つに記載の情報処理装置。

（付記７）前記制御部は、
前記出力部による発話期間中に、前記検知部によって前記利用者の視線を検知できず、かつ前記情報処理装置と異なる前記入力装置を有する他の装置によって前記利用者の視線が検出されなかった場合に、前記出力部に所定の発話内容を発話させた後に、前記出力部に取得した前記発話内容を発話させる制御を行う、
ことを特徴とする付記６に記載の情報処理装置。

（付記８）自装置が前記入力装置を有することを特徴とする付記１〜６のいずれか一つに記載の情報処理装置。

（付記９）自装置がアクセス可能な入力装置によって受け付けた入力文字または選択項目に基づく発話内容を発話する人型ロボットと、前記入力装置を操作可能な利用者と、のうち、いずれが話者であるかを判断し、
前記人型ロボットが話者であると判断した場合に、前記入力装置に対する操作が無効となるように前記入力装置を制御し、
前記利用者が話者であると判断した場合に、前記入力装置に対する操作が有効となるように前記入力装置を制御する、
制御部を有することを特徴とする情報処理装置。

（付記１０）入力装置によって受け付けた入力文字または選択項目に基づいて、記憶部から取得した発話内容を発話し、
発話期間でない場合に、前記入力装置に対する操作が有効となるように前記入力装置を制御し、発話期間である場合に、前記入力装置に対する操作が無効となるように前記入力装置を制御する、
処理をコンピュータが実行する情報処理方法。

（付記１１）入力装置によって受け付けた入力文字または選択項目に基づいて、記憶部から取得した発話内容を発話し、
発話期間でない場合に、前記入力装置に対する操作が有効となるように前記入力装置を制御し、発話期間である場合に、前記入力装置に対する操作が無効となるように前記入力装置を制御する、
処理をコンピュータに実行させる情報処理プログラム。

１００ 情報処理装置
１０１ 入力装置
１１１，７０６ 出力部
１１２ 制御部
４００，１８００ システム
４０１，１８０１ 人型ロボット
４０２ 携帯端末装置
４０３ ネットワーク
４１１ ボディ
４１２ 頭部
４１３ アーム部
４１５ スピーカ
４１６ 眼球部
４１７，４１８，４１９ 距離センサ
４２１，４３２ カメラ
４２２，４３３ 赤外線通信回路
４３１，１８０２ タッチパネル
５００，６００ バス
５０１，６０１ ＣＰＵ
５０２，６０２ ＲＯＭ
５０３，６０３ ＲＡＭ
５０４，６０４ 不揮発メモリ
５０６，６０５ 無線通信回路
５０７ ロボットＩ／Ｆ
７０１ 対話制御部
７０２ 発話制御部
７０３ 視線制御部
７０４ バックチャネル制御部
７０５ アイコンタクト検知部
７０７ 可動部
７０８ 記憶部
７１１，２００１ 表示制御部
７１２，２００２ 入力検知部
７１３ 注視検知部

Claims (7)

1. 自装置がアクセス可能な入力装置によって受け付けた入力文字または選択項目に基づいて、記憶部から取得した発話内容を発話する出力部と、
   前記出力部による発話期間でない場合に、前記入力装置に対する操作が有効となるように前記入力装置を制御し、前記出力部による発話期間である場合に、前記入力装置に対する操作が無効となるように前記入力装置を制御する制御部と、
   を有することを特徴とする情報処理装置。
2. 前記入力装置が、タッチパネル型のディスプレイである場合、
   前記制御部は、
   前記出力部による発話期間でない場合に、前記入力装置による画面表示が有効となり、かつ前記入力装置に対するタッチ操作に応じた処理が有効となるように前記入力装置を制御し、前記出力部による発話期間である場合に、前記入力装置による画面表示が無効となり、かつ前記入力装置に対するタッチ操作に応じた処理が無効となるように前記入力装置を制御する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 自装置が、人型のロボットであり、
   前記ロボットの頭部の眼球部を各方向に可動させる可動部を有し、
   前記制御部は、
   前記出力部による発話期間でない場合に、前記眼球部の視線を前記入力装置に向けるように前記可動部を制御し、前記出力部による発話期間である場合に、前記入力装置を操作可能な利用者に前記眼球部の視線を向けるように前記可動部を制御する、
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記制御部は、
   前記入力装置による操作が無効な状態から有効な状態に切り替わってから、所定時間経過までの間に前記入力装置が前記入力文字および前記選択項目を受け付けなかった場合に、前記入力装置に向けられた前記眼球部の視線を前記利用者に向けるように前記可動部を制御し、前記出力部に特定の発話内容を発話させる制御をした後に、前記眼球部の視線を前記入力装置に向けるように前記可動部を制御する、
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記入力装置を操作可能な利用者の視線が自装置に向けられていることを検知する検知部を有し、
   前記制御部は、
   前記出力部による発話期間中に、前記検知部によって前記利用者の視線を検知できなかった場合に、前記出力部に所定の発話内容を発話させた後に、前記出力部に取得した前記発話内容を発話させる制御を行う、
   ことを特徴とする請求項１〜４のいずれか一つに記載の情報処理装置。
6. 入力装置によって受け付けた入力文字または選択項目に基づいて、記憶部から取得した発話内容を発話し、
   発話期間でない場合に、前記入力装置に対する操作が有効となるように前記入力装置を制御し、発話期間である場合に、前記入力装置に対する操作が無効となるように前記入力装置を制御する、
   処理をコンピュータが実行する情報処理方法。
7. 入力装置によって受け付けた入力文字または選択項目に基づいて、記憶部から取得した発話内容を発話し、
   発話期間でない場合に、前記入力装置に対する操作が有効となるように前記入力装置を制御し、発話期間である場合に、前記入力装置に対する操作が無効となるように前記入力装置を制御する、
   処理をコンピュータに実行させる情報処理プログラム。

Images