JP2020067799A - コミュニケーションロボットおよびコミュニケーションロボットの制御プログラム - Google Patents

Abstract

【課題】自律的な動作によるコミュニケーション機能と、遠隔地にいる人からの操作指示に基づく動作によるコミュニケーション機能とを一つのロボットで実現しつつも、利用者が、自律的に動作するロボットに対して愛着を抱くことができる技術を提供する。【解決手段】コミュニケーションロボットは、動作部と、第１の動作基準を適用して動作部を自律的に動作させるロボットモードと第２の動作基準を適用して動作部を遠隔操作者からの操作指示に基づいて動作させるアバターモードとを表出させて、ロボットモード、アバターモードおよびサービス利用者の三者間のコミュニケーションを調停するコミュニケーション調停部とを備える。【選択図】図５

Description

本発明は、コミュニケーションロボットおよびコミュニケーションロボットの制御プログラムに関する。

離れた場所にいる人同士がコミュニケーションを図れるようにするコミュニケーションロボットが知られている（例えば、特許文献１を参照）。また、人の話し相手になったり、人から指示を聞いて作業をしたりする、自律的な動作が可能なコミュニケーションロボットも知られている（例えば、特許文献２を参照）。

特開２００４−２６１９４１号公報 特開２０１１−６８１号公報

例えば、人が生活する屋内環境で、このようなコミュニケーションロボットを別々に準備することは、占有する空間等の問題から難しい。そこで、遠隔地にいる人からの操作指示に基づいて動作するコミュニケーション機能と、自律的に動作するコミュニケーション機能とを、一つのロボットで実現したいというニーズが生まれつつある。しかし、利用者は、自律的に動作するコミュニケーションロボットに対しては愛着を持てても、遠隔地にいる人に操作されているコミュニケーションロボットに対しては愛着を持ちにくい。特に、ハードウェアとしての一つのロボットがこれら２つの機能を併せ持つと、利用者は、一方が機能しているときでも他方が機能しているかのような感覚を覚え、結果的に、自律的に動作している時のロボットに対しても愛着を感じなくなってしまうことがある。

本発明は、このような問題を解決するためになされたものであり、自律的な動作によるコミュニケーション機能と、遠隔地にいる人からの操作指示に基づく動作によるコミュニケーション機能とを一つのロボットで実現しつつも、自律的に動作するロボットに対して利用者が愛着を抱くことができる技術を提供するものである。

本発明の第１の態様におけるコミュニケーションロボットは、動作部と、第１の動作基準を適用して動作部を自律的に動作させるロボットモードと第２の動作基準を適用して動作部を遠隔操作者からの操作指示に基づいて動作させるアバターモードとを表出させて、ロボットモード、アバターモードおよびサービス利用者の三者間のコミュニケーションを調停するコミュニケーション調停部とを備える。

コミュニケーションロボットは、自律的に動作するロボットモードでは第１の動作基準で動作し、遠隔操作者の操作指示に基づいて動作するアバターモードでは第２の動作基準で動作するので、利用者は、それぞれがあたかも異なる人格を有しているように感じる。そして、一続きのコミュニケーションにおいて、ロボットモードとアバターモードが互いに他方の先のコミュニケーションの状況を引き継いで入れ替わり立ち替わり表出するので、ハードウェアとしては一つでありながら、利用者は、自身を含めあたかも三者でコミュニケーションを取っていると知覚するに至る。このような三者間のコミュニケーションが実現できれば、利用者は、ロボットモードにおけるロボットとアバターモードにおけるロボットとは別物であると捉えることができ、ロボットモードにおけるロボットに対して愛着を抱くことができる。

上記のコミュニケーションロボットにおいてロボットモードは、アバターモードで実行された動作に対して反応すると良い。アバターモードで実行された動作にロボットモードが反応すれば、ロボットモードにおけるロボットとアバターモードにおけるロボットとが別物であると感じる利用者の感覚を補強することができる。また、コミュニケーションの厚みが増すことも期待できる。

上記のコミュニケーションロボットにおいて第１の動作基準は、コミュニケーションの履歴に基づいて更新されても良い。コミュニケーションを重ねることによりロボットモードの動作に変化を生じれば、利用者は、ロボットモードで動作するコミュニケーションロボットにより深い愛着を抱くことができる。

また、上記のコミュニケーションロボットは、ロボットモードとアバターモードのいずれが表出しているかを告知する告知部を備えると良い。見た目にもロボットモードで動作している時とアバターモードで動作している時の区別がつけば、利用者は、２つの仮想的な人格をより明確に区別することができる。

また、上記のコミュニケーションロボットにおいてコミュニケーション調停部は、コミュニケーションの実行中においてロボットモードとアバターモードのいずれを表出させるかを、予め定められた切替え基準に基づいて決定すると良い。切替え基準を予め定めておけば、三者間のコミュニケーションの衝突を円滑に回避することができる。

また、上記のコミュニケーションロボットにおいて第２の動作基準は、遠隔操作者が複数の場合には、それぞれの遠隔操作者に対して策定されると良い。遠隔操作者ごとに動作が異なるようにすれば、遠隔操作者とコミュニケーションロボットとの関係性を仮想的な人格として表現することができるので、利用者にとっては、コミュニケーションロボットを通して遠隔操作者を想像しやすくなる。

本発明の第２の態様におけるコミュニケーションロボットの制御プログラムは、第１の動作基準を適用して動作部を自律的に動作させるロボットモードと第２の動作基準を適用して動作部を遠隔操作者からの操作指示に基づいて動作させるアバターモードとを表出させて、ロボットモード、アバターモードおよびサービス利用者の三者間のコミュニケーションを調停するコミュニケーション調停ステップをコンピュータに実行させる。このようなプログラムがコンピュータによって実行されるコミュニケーションロボットであれば、第１の態様と同様に、利用者は、ロボットモードで動作するコミュニケーションロボットに愛着を抱くことができる。

本発明により、自律的な動作によるコミュニケーション機能と、遠隔地にいる人からの操作指示に基づく動作によるコミュニケーション機能とを一つのロボットで実現しつつも、自律的に動作するロボットに対して利用者が愛着を抱くことができる。

本実施形態に係るコミュニケーションロボットが利用される全体環境を説明するための概念図である。 移動ロボットの外観を示す斜視図である。 移動ロボットの制御ブロック図である。 動作基準を記述したルックアップテーブルの一例である。 三者間のコミュニケーションの一例と、そのときの移動ロボットの変遷を示す図である。 コミュニケーションの処理フロー図である。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

図１は、本実施形態に係るコミュニケーションロボットである移動ロボット１００が利用される全体環境を説明するための概念図である。サービス利用者は、移動ロボット１００が動作する環境に共存しており、移動ロボット１００とコミュニケーションを取ったり、特定の作業を移動ロボット１００に実行させたりする。

移動ロボット１００は、ロボットモードとアバターモードのいずれかが表出させて、サービス利用者に相対する。すなわち、ロボットモードとアバターモードは、サービス利用者が観察する限り、時間的な経過に対して排他的に現れる。ただし、アバターモードが表出している期間に、その後にロボットモードでコミュニケーションを引き継ぐために、当該アバターモードの動作をバックグランドで解析することがある。同様に、ロボットモードが表出している期間に、その後にアバターモードでコミュニケーションを引き継ぐために、ロボットモードの動作に関する情報をバックグランドで遠隔端末３００へ送信することもある。具体的には後述する。

移動ロボット１００は、ロボットモードであるときには、自律的に動作する。例えば、サービス利用者が、ロボタと名付けられた移動ロボット１００に「ロボタ君げんき？」と話しかけると、話しかけられた音声を解析する。そして、それに相応しい応答として、例えば「げんきだよ！おはなしできて嬉しいなあ。」などと合成音で応答する。ロボットモードにおいては、サービス利用者の働きかけに対する応答を、移動ロボット１００が自ら立案して実行する。

移動ロボット１００は、アバターモードであるときには、遠隔操作者の操作指示に基づいて動作する。遠隔操作者は、第１環境から離れた第２環境で、遠隔端末３００を操作することにより操作指示を移動ロボット１００へ送信する。例えば、遠隔操作者が、サービス利用者であるあおいちゃんに話しかけるつもりで遠隔端末３００へ向かって「あおいちゃん、今忙しい？」と話しかけると、移動ロボット１００は、スピーカから「あおいちゃん、今忙しい？」と発話する。アバターモードにおいては、遠隔操作者の操作指示に基づいて動作するが、移動ロボット１００の動作部における動作の全てを遠隔操作者が指示するのではなく、移動ロボット１００は、操作指示を解析して動作部の具体的な動作に変換したり、付随する動作を発生させたりする。

移動ロボット１００は、第１環境において、無線ルータ７００を介してインターネット６００と接続されている。また、遠隔端末３００は、第２環境において、無線ルータ７００を介してインターネット６００と接続されている。システムサーバ５００は、インターネット６００に接続されている。システムサーバ５００は、移動ロボット１００と遠隔端末３００の間に介在し、遠隔端末３００から操作要求や操作指示を移動ロボット１００へ引き渡し、移動ロボット１００から撮像データや音声データを遠隔端末３００へ引き渡す。

なお、本実施形態においては、接続するネットワークとしてインターネットを利用するが、イントラネット等他のネットワークであっても構わない。また、ネットワークを介さず、移動ロボット１００と遠隔端末３００を、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの近接通信で直接的に接続しても良い。

遠隔端末３００は、例えばタブレット端末であり、入力部と表示部を有する。入力部は、例えばタッチパネルであり、表示部に表示されたメニュー項目を選択することができる。遠隔端末３００は、選択されたメニュー項目に応じて操作要求や操作指示を生成し、これらを移動ロボット１００へ送信する。また、入力部は、マイクを含み、遠隔操作者の音声を取り込んで音声信号に変換し、操作指示の一部として移動ロボット１００へ送信する。表示部には、移動ロボット１００から受信した画像データの画像が表示され、遠隔操作者は、移動ロボット１００の周辺環境やサービス利用者を間接的に視認することができる。また、遠隔端末３００は、スピーカを備え、移動ロボット１００から送られてくる音声信号を再生する。これにより、遠隔端末３００は、サービス利用者の声を間接的に聞くことができる。

図２は、移動ロボット１００の外観斜視図である。移動ロボット１００は、大きく分けて台車部１１０と本体部１２０によって構成される。台車部１１０は、円筒形状の筐体内に、それぞれが走行面に接地する２つの駆動輪１１１と１つのキャスター１１２とを支持している。２つの駆動輪１１１は、互いに回転軸芯が一致するように配設されている。それぞれの駆動輪１１１は、不図示のモータによって独立して回転駆動される。キャスター１１２は、従動輪であり、台車部１１０から鉛直方向に延びる旋回軸が車輪の回転軸から離れて車輪を軸支するように設けられており、台車部１１０の移動方向に倣うように追従する。

台車部１１０は、上面の周縁部にレーザスキャナ１３３を備える。レーザスキャナ１３３は、水平面内の一定の範囲をステップ角ごとにスキャンして、それぞれの方向に障害物が存在するか否かを出力する。さらに、障害物が存在する場合には、その障害物までの距離を出力する。

本体部１２０は、主に、台車部１１０の上面に搭載された胴部１２１、胴部１２１の上面に載置された頭部１２２、胴部１２１の側面に支持されたアーム１２３、アーム１２３の先端部に設置されたハンド１２４、およびＬＥＤバー１４３を備える。アーム１２３とハンド１２４は、不図示のモータを介して駆動され、様々な物体を制御された姿勢で把持したり、感情を表現するジェスチャーを行ったりする。胴部１２１は、不図示のモータの駆動力により、台車部１１０に対して鉛直軸周りに回転することができる。したがって、移動ロボット１００は、胴部１２１の動作を交えて大げさにジャスチャーを行うこともできる。

ＬＥＤバー１４３は、複数のＬＥＤおよび導光材を有する発光装置であり、ＬＥＤのそれぞれが鉛直軸に対して放射方向へ発光するように、胴部１２１の上部の円環状の外周部に設置されている。ＬＥＤバー１４３は、発光色や点滅周期を変化させることができる。例えば、その発光色を予め定めておくことにより、現時点における移動ロボット１００がロボットモードであるのかアバターモードであるのかをサービス利用者に知らせることができる。

頭部１２２は、主に、ステレオカメラ１３１、マイク１３２、スピーカ１４２および表示パネル１４１を備える。ステレオカメラ１３１は、同じ画角を有する２つのカメラユニットが互いに離間して配置された構成を有し、それぞれのカメラユニットで撮像された画像を画像データとして出力する。

マイク１３２は、周辺環境で発生する音やサービス利用者の声を音声信号に変換する。スピーカ１４２は、移動ロボット１００が生成した音声や、遠隔端末３００から受け取った音声を発する。

表示パネル１４１は、例えば液晶パネルであり、ロボットモードに対応して設定されたキャラクターの顔をアニメーションで表示したり、アバターモードに対応して設定された遠隔操作者の顔を動画像で表示したりする。また、移動ロボット１００に関する情報をテキストやアイコンで表示して、サービス利用者に知らせることもできる。表示パネル１４１にキャラクターの顔を表示すれば、表示パネル１４１が擬似的な顔部であるかの印象をサービス利用者に与えることができる。また、表示パネル１４１は、表示面にタッチパネルを設けて、サービス利用者からの指示入力を受け付けるように構成しても良い。

頭部１２２は、不図示のモータの駆動力により、胴部１２１に対して鉛直軸周りに回転することができる。したがって、ステレオカメラ１３１は、任意の方向の対象物を撮像することができ、また、表示パネル１４１は、任意の方向へ向けて表示内容を呈示することができる。移動ロボット１００は、感情を表現するジェスチャーとして頭部１２２を揺動させることもできる。

図３は、移動ロボット１００の制御ブロック図である。ここでは、サービス利用者とのコミュニケーションに関係する主な要素について説明するが、移動ロボット１００の構成としては他の要素も備え、またコミュニケーションに寄与する他の要素が加えられることもあり得る。

制御部１５０は、例えばＣＰＵであり、例えば胴部１２１に備えられたコントロールユニットに格納されている。台車駆動ユニット１４５、上体駆動ユニット１４６、表示パネル１４１、スピーカ１４２およびＬＥＤバー１４３は、制御部１５０の制御によって動作する動作部１４０の要素である。

台車駆動ユニット１４５は、駆動輪１１１と駆動輪１１１を駆動するための駆動回路やモータを含む。制御部１５０は、台車駆動ユニット１４５へ駆動信号を送ることにより、駆動輪の回転制御を実行する。また、制御部１５０は、台車駆動ユニット１４５からエンコーダ等のフィードバック信号を受け取って、台車部１１０の移動方向や移動速度を把握する。

上体駆動ユニット１４６は、アーム１２３およびハンド１２４を含む把持部、胴部１２１および頭部１２２と、これらを駆動するための駆動回路やモータを含む。制御部１５０は、上体駆動ユニット１４６へ駆動信号を送ることにより、把持動作やジェスチャーを実現する。また、制御部１５０は、上体駆動ユニット１４６からエンコーダ等のフィードバック信号を受け取って、アーム１２３およびハンド１２４の位置や移動速度、胴部１２１および頭部１２２の向きや回転速度を把握する。

表示パネル１４１は、制御部１５０が生成した画像信号を受信して表示する。また、制御部１５０は、上述のように、キャラクターの顔や遠隔操作者の顔の画像信号を生成して、表示パネル１４１へ表示させる。表示パネル１４１がタッチパネルを備える場合には、表示パネル１４１は、タッチ信号を制御部１５０へ送信する。

スピーカ１４２は、制御部１５０が生成した音声信号や遠隔端末３００から受け取った音声信号を可聴音波に変換する。ＬＥＤバー１４３は、制御部１５０から発光信号を受信してＬＥＤを発光させる。本実施形態においては、可動部の物理的な運動に限らず、サービス利用者に対して作用し得る画像の表示、発音／発話、発光についても、移動ロボット１００による動作とする。

ステレオカメラ１３１、マイク１３２およびレーザスキャナ１３３は、移動ロボット１００が外部環境の状態や移動ロボット１００への働きかけを取得する取得部１３０の要素である。ステレオカメラ１３１は、制御部１５０からの要求に従って周辺環境を撮像し、撮像信号を制御部１５０へ引き渡す。制御部１５０は、撮像信号を用いて画像処理を実行したり、遠隔端末３００へ送信するために予め定められたフォーマットに従って撮像データに変換したりする。マイク１３２は、周辺環境で発生する音やサービス利用者の声を音声信号に変換して制御部１５０へ引き渡す。レーザスキャナ１３３は、制御部１５０からの要求に従って移動方向に障害物が存在するか否かを検出し、その結果である検出信号を制御部１５０へ引き渡す。

メモリ１８０は、不揮発性の記憶媒体であり、例えばソリッドステートドライブが用いられる。メモリ１８０は、移動ロボット１００を制御するための制御プログラムの他にも、制御に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。特に、第１テーブル１８１と、第２テーブル１８２を記憶している。第１テーブル１８１は、ロボットモードを表出させた場合に動作部１４０を動作させる基準となる第１の動作基準を記述したルックアップテーブルである。第２テーブル１８２は、アバターモードを表出させた場合に動作部１４０を動作させる基準となる第２の動作基準を記述したルックアップテーブルである。第１テーブル１８１および第２テーブル１８２は、予め定められた特定パラメータの入力に対して動作基準に合致するように対象となる動作部１４０の動作を決定する、調整された学習済みモデルをそれぞれ含んでいても良い。

応答音声ＤＢ１６１は、応答音声のデータベースであり、例えばハードディスクドライブの記録媒体によって構成されている。応答音声ＤＢ１６１は、例えばコーパスとして体系化されており、個々の用語は、様々な声音ごとに、再生可能な発話データを伴って格納されている。

応答表情ＤＢ３２０は、応答表情のデータベースであり、例えばハードディスクドライブの記録媒体によって構成されている。応答表情ＤＢ３２０は、例えばラッセルの円環図に対応して体系化されており、具体的な顔の表情の動画像データと、その表情が意味する感情とが、様々なキャラクターごとに、互いに対応付けられて格納されている。

通信ユニット１９０は、例えば無線ＬＡＮユニットであり、無線ルータ７００との間で無線通信を行う。通信ユニット１９０は、遠隔端末３００から送られてくる操作要求や操作指示を受信して制御部１５０へ引き渡す。また、通信ユニット１９０は、制御部１５０の制御に従って、ステレオカメラ１３１で取得された撮像データや、スピーカ１４２から発せられる音声の音声データ等を遠隔端末３００へ送信する。なお、この場合の撮像データは、マイク１３２で取得された音声データも含む。

制御部１５０は、制御や処理に関わる様々な演算を実行する機能演算部としての役割も担う。表情生成部１５１、音声生成部１５２、運動制御部１５３、指示解析部１５４、調停部１５５および学習部１５６は、機能演算部の例である。

表情生成部１５１は、ロボットモードにおいて表示パネル１４１に表示するキャラクターの顔の表情を決定し出力する。例えばサービス利用者が示す感情に共感する表情でキャラクターを表示する場合には、まず、表情生成部１５１は、ステレオカメラ１３１から受け取った画像信号を解析してサービス利用者の顔を認識し、その感情を推定する。例えば瞳孔の大きさ、目尻の下がり具合、口角の上がり具合、発汗の有無、皺の寄り具合などを抽出して、サービス利用者の感情を推定する。例えば、これらの特徴とその時の感情を対とする教師データを用いて機械学習によって学習された学習済みモデルを利用して、サービス利用者の感情を推定することができる。次に、表情生成部１５１は、推定したサービス利用者の感情に対応して移動ロボット１００が表出すべき共感感情を判断する。そして、当該共感感情に対応する動画像データを応答表情ＤＢ１６２から取得し、表示信号に変換して表示パネル１４１へ送信する。

本実施形態においては、アバターモードでは、遠隔端末３００が撮像した遠隔操作者の顔画像の画像データを受信して表示パネル１４１に動画像として表示することを想定しているが、遠隔操作者を設定されたキャラクターに置き換えて表示しても良い。キャラクターに置き換えて表示する場合は、表情生成部１５１は、遠隔端末３００から送られてくる画像データや音声データを解析して遠隔操作者の感情を推定し、これに対応する動画像データを応答表情ＤＢ１６２から取得して表示パネル１４１に表示しても良い。

音声生成部１５２は、ロボットモードにおいてスピーカ１４２から発する音声を決定し出力する。例えばサービス利用者の声に応答する場合には、まず、音声生成部１５２は、マイク１３２から受け取った音声信号を一般的な音声認識技術を用いて解析し、サービス利用者の発話を認識する。そして、認識されたサービス利用者の発話内容に対して会話として相応しいセンテンスを選択し、選択したセンテンスに応じた発話データを応答音声ＤＢ１６１から収集する。音声生成部１５２は、収集した発話データを組み合わせ、音声信号に変換してスピーカ１４２へ送信する。

本実施形態においては、アバターモードでは、遠隔端末３００が取得した音声データを受信して音声信号に変換し再生することを想定している。しかし、音声生成部１５２が、遠隔操作者の声を特定の声音の音声信号に変換したり、音声データの代わりに遠隔端末から受信したテキストデータを合成音の音声信号に変換したりして、スピーカ１４２から発声させても良い。

アバターモードにおいて、表情生成部１５１が遠隔操作者の顔をキャラクターに置き換え、音声生成部１５２が遠隔操作者の声を合成音等に変換すれば、サービス利用者は、遠隔操作者の個性を強く認識させられることから解放される。また、遠隔操作者にとっては、個人情報を晒すことがないので、安心して遠隔操作を行うことができる。このような変換処理は、例えば遠隔操作者が介護サービス会社の従業員である場合などにおいて有効である。

運動制御部１５３は、台車駆動ユニット１４５および上体駆動ユニット１４６の可動部をどのように動作させるかを計画し、実行する。例えば、特定のジェスチャーを実行する場合に可動部を動かすそれぞれのモータへ送信する制御信号を生成したり、特定の搬送物を取ってくる指示を受けた場合に環境地図を参照して経路プランを生成し移動を実行したりする。

指示解析部１５４は、通信ユニット１９０を介して取得する遠隔端末３００からの操作要求や操作指示を解析したり、さらには、解析結果に応じて移動ロボット１００が実行し得る動作に変換したりする。例えば、操作指示に同期して実行するジェスチャーを選定する。また、指示解析部１５４は、操作要求や操作指示が遠隔操作者の音声に依る場合には、送られてくる音声信号を解析して、解析結果に対応する動作を開始させたり、次にロボットモードで発話する応答内容に反映させたりする。

調停部１５５は、コミュニケーションの状況を分析してロボットモードとアバターモードのいずれを表出させるかを決定し、ロボットモード、アバターモードおよびサービス利用者の三者間のコミュニケーションを調停する。具体的には後述するが、調停部１５５は、例えば、マイク１３２から取得される音声信号を監視することにより誰も発話していない会話の節目を検知してロボットモードを表出させ、ロボットモードによる発話を開始させる。また、サービス利用者の発話を検知した場合には、ロボットモードであれアバターモードであれ、移動ロボット１００側からの動作を中断して、サービス利用者の発話内容を解析する。また、遠隔操作者から操作要求があった場合であっても、ロボットモードによる予め定められた一纏まりの動作が完了するまでは、アバターモードを表出させずにロボットモードの表出を維持する。

学習部１５６は、コミュニケーションの履歴を記録し、当該履歴を利用してロボットモードに対する第１の動作基準を記述した第１テーブル１８１の内容を更新する。コミュニケーションの履歴を記録した記録ファイルはメモリ１８０で保管され、適宜読み出される。学習部１５６は、例えば、コミュニケーションのある時点でロボットモードが示した表情をサービス利用者が褒めた場合に、その表情を現わす頻度が上がるように第１テーブル１８１の内容を更新する。また、指示された作業の実行中に、「速い」や「危ない」などとサービス利用者から指摘された場合に、可動部を動作させる速度が遅くなるように第１テーブル１８１の内容を更新する。

次に、第１テーブルと第２テーブルについて説明する。図４は、ロボットモードに対する第１の動作基準を記述した第１テーブル１８１と、アバターモードに対する第２の動作基準を記述した第２テーブル１８２の一例である。

本実施形態においては、サービス利用者が移動ロボット１００にあたかも人格があるかのように感じるように、動作に対して一定の性格付けを与える動作基準を、ロボットモードとアバターモードのそれぞれに定める。ロボットモードに対して定められているのが第１の動作基準であり、アバターモードに対して定められているのが第２の動作基準である。ロボットモードとアバターモードで動作の内容や動作によって醸し出される雰囲気が異なれば、ハードウェアとしての移動ロボット１００は一つでありながら、サービス利用者は、入れ替わり表出するロボットモードとアバターモードのそれぞれがあたかも異なる人格を有しているように感じる。

本実施形態においては、動作基準の項目として、表示キャラクター、声音、表示色、台車移動速度、アーム移動速度、会話速度、選択用語レベル、気性変化頻度、会話中ジェスチャーを定めている。表示キャラクターは、様々な顔のイラストで表現され、男性の顔、女性の顔に限らず、擬人化した動物や物も含めることができる。図においては、ロボットモードにおいてはＮｏ．３が選択され、アバターモードにおいては遠隔端末３００から受信した画像データから遠隔操作者の顔画像を展開して直接的に表示する「転送」が選択されている。なお、アバターモードにおいては、上述のように遠隔操作者の顔画像を用いるのではなく、キャラクターを選択することもできる。

声音は、男性や女性の様々なトーンとして予め用意されている。図においては、ロボットモードにおいてはＮｏ．５が選択され、アバターモードにおいては遠隔操作者が発した声をそのまま再生する「転送」が選択されている。なお、応答音声ＤＢ１６１に格納される発話データは、上述のように声音ごとに準備されていても良いが、一つの声音のみを準備しておくようにすることもできる。一つの声音のみを準備する場合には、制御部１５０が再生時に、設定された声音に合わせて発話データの周波数等を変換する。

また、ロボットモードの設定については、例えばタッチパネルを介してサービス利用者が選択できるようにしても良い。また、アバターモードの設定については、遠隔操作者が遠隔端末３００から指定できるようにしても良い。

表示色は、ＬＥＤバー１４３の発光色であり、ロボットモードにおいては緑が選択され、アバターモードにおいては青が選択されている。ＬＥＤバー１４３は、移動ロボット１００の動作部としての機能と共に、ロボットモードとアバターモードのいずれが表出しているかを告知する告知部としての機能も担う。サービス利用者は、ＬＥＤバー１４３が緑色に光っていればロボットモードであり、青色に光っていればアバターモードであると認識できる。サービス利用者は、表示パネル１４１の表示によってもＬＥＤバー１４３の発光色によってもロボットモードであるかアバターモードであるかを認識できれば、２つの仮想的な人格をより明確に区別することができる。

台車移動速度およびアーム移動速度は、ロボットモードであればサービス利用者が指定した作業を自律的に実行する場合の台車やアームの移動速度であり、アバターモードであれば遠隔操作者が指定した作業を実行する場合の台車やアームの移動速度である。図においては、ロボットモードにおいては台車移動速度として「低」アーム移動速度として「低」が選択され、アバターモードにおいては台車移動速度として「高」アーム移動速度として「中」が選択されている。このように選択されていると、同じような内容の作業を実行する場合でも、サービス利用者は、ロボットモードであればゆったりとした印象を、アバターモードであればきびきびとした印象を受けることになる。

会話速度は、音声生成部１５２が生成した音声信号をどれくらいの速度によりスピーカ１４２で再生するかを表す。図においては、ロボットモードにおいては「低」が選択され、アバターモードにおいては、遠隔操作者が発した声をそのまま再生するので、選択不可となっている。会話速度の設定により、サービス利用者は、ロボットモードであればのんびりとした印象を受けることになる。

選択用語レベルは、音声生成部１５２が会話として相応しいセンテンスを選択する場合に、丁寧な言い回しを選択するか形式張らない言い回しを選択するかを表す。例えば、丁寧な言い回しを「Ａ」とし、形式張らない言い回しを「Ｃ」とし、その中間を「Ｂ」とする。図においては、ロボットモードにおいては「Ｃ」が選択され、アバターモードにおいては、遠隔操作者が発した声をそのまま再生するので、選択不可となっている。選択用語レベルの設定により、サービス利用者は、ロボットモードであればよりフレンドリーな印象を受けることになる。

気性変化頻度は、表示キャラクターが示す表情や会話中に示すジェスチャーによって表現される喜怒哀楽を、どれくらい頻繁に変化させるかを表す。例えば、サービス利用者が少しからかうような言葉を発したときに、すぐに怒った感情を示すようにするのであれば「高」が選択され、冷静を保つようにするのであれば「低」が選択される。図においては、ロボットモードにおいては「中」が選択され、アバターモードにおいては「低」が選択されている。気性変化頻度の設定により、サービス利用者は、ロボットモードであれば幼い印象を受け、アバターモードであれば冷静な印象を受けることになる。

会話中ジェスチャーは、会話中の内容に合わせて実行するジェスチャーの大きさの度合いを表す。例えば疑問を表現するときに、ハンド１２４をどれ程大きく持ち上げるかを定める。図においては、ロボットモードにおいては「中」が選択され、アバターモードにおいては「小」が選択されている。なお、実行するジェスチャーは、アーム１２３やハンド１２４の動きに限らず、頭部１２２や台車部１１０の揺動を利用しても良い。会話中ジェスチャーの設定により、サービス利用者は、ロボットモードであれば大げさな印象を受け、アバターモードであれば淡々とした印象を受けることになる。

このように、ロボットモードとアバターモードに対して動作基準をそれぞれ定めると、サービス利用者が受ける印象が、ロボットモードによる動作時とアバターモードによる動作時とで大きく異なることになる。そして、ひとつのコミュニケーションにおいて、ロボットモードとアバターモードが状況に応じて入れ替わり立ち替わり表出するので、サービス利用者は、自身を含めあたかも三者でコミュニケーションを行っていると知覚するに至ることが予想される。

図５は、三者間のコミュニケーションの一例と、そのときの移動ロボット１００のモード変遷を示す図である。図は、上から下へ時間の経過を表し、左右方向に会話の内容、その時に調停部１５５が表出させていたモード、その時の表示パネル１４１の様子を表す。会話内容がサービス利用者である女性の発話である場合は、その左隣に女性のイラストを示している。

女性が「ロボタ君、げんき？」と移動ロボット１００へ話しかけると、調停部１５５は、サービス利用者である女性からの話し掛けを認識してロボットモードを表出させ、女性が話している間は待機する。このとき、表示パネル１４１は第１テーブルで設定されているキャラクターを表示し、ＬＥＤバー１４３は第１テーブルで設定されている表示色で発光する。

調停部１５５は、女性の話し掛けが途切れたことを検知すると、ロボットモードによる動作を制御部１５０に開始させる。ここでは、音声生成部１５２が、その話し掛け内容に相応しい返事として「げんきだよ！おはなしできて嬉しいなあ。」と返事する。なお、制御部１５０は、第１テーブル１８１を参照して、嬉しさを表現するジェスチャーを行っても良い。

続いて女性が「今日の天気を教えて。」と発話する間は、調停部１５５は、再びロボットモードのまま待機する。調停部１５５は、女性の話し掛けが途切れたことを検知すると、再びロボットモードによる動作を制御部１５０に開始させる。ここでは、システムサーバ５００を介してインターネット６００から今日の天気情報を取得し、例えば「夕方まで晴れだよ。」と応答する。ここまでは、「会話ができて嬉しい」の状態が続いているので、表示パネル１４１には、設定されたキャラクターのうち喜びを示す表情が表示されている。

ここで、調停部１５５は、「夕方まで晴れだよ。」と応答している間に、遠隔端末３００から操作要求を受け付けたとする。調停部１５５は、応答している間は操作要求を拒否するが、応答後すぐに女性からの発話がなければ、操作要求を受け入れ、アバターモードを表出させる。

アバターモードが表出すると、表示パネル１４１は第２テーブルの設定に従って遠隔操作者の顔画像を表示し、ＬＥＤバー１４３は第２テーブルで設定されている表示色で発光する。そして、「あおいちゃん、いま忙しい？」のように、遠隔端末３００から受信する音声信号を再生する。

調停部１５５は、音声信号の再生が途切れたことを検知し、この時に女性からの発話がなければ、一旦ロボットモードを表出させる。そして、音声生成部１５２に応答センテンスを選択させ、例えば「僕とおはなし中だぞ！」と発話させる。このとき、選択された応答センテンスに対応する表情として、表示パネル１４１には、設定されたキャラクターのうち怒りを示す表情が表示される。なお、どのような応答センテンスが選択されるかは、第１テーブル１８１で設定された気性変化頻度が参照される。

これに対して女性が「ロボタ君はちょっと待っててね。」と割り込んだ場合は、調停部１５５は、ロボットモードを表出させたまま制御部１５０にその発話内容を解析させる。そして、この場合はアバターモードに切り替えることを決定する。このように、サービス利用者がアバターモードを指定した場合には、図示するように、表示パネル１４１に悲しみを示す表情を暫時表示してからロボットモードを退出させても良い。

調停部１５５は、再びアバターモードを表出させ、遠隔端末３００から受信する音声信号を再生する。このように、調停部１５５がコミュニケーションの状況を分析してロボットモードとアバターモードを切り替えつつ、サービス利用者との間で三者間のコミュニケーションを成立させる。

特に、「僕とおはなし中だぞ！」のように、アバターモードで実行された動作（この場合は「あおいちゃん、いま忙しい？」との発話）に対してロボットモードが反応すると、三者間のコミュニケーションにリアリティが生まれる。すなわち、より自然なコミュニケーションが成立する。音声生成部１５２は、アバターモードで遠隔操作者が話している最中にその内容を解析し、調停部１５５がロボットモードを表出させたタイミングで、遠隔操作者が話した内容に相応しいセンテンスを発話させることもできる。また、遠隔操作者は、このようなロボットモードの発話に対してロボットモードに話しかけても良い。すると、サービス利用者とロボットモード、サービス利用者とアバターモード、ロボットモードとアバターモードのそれぞれの間にコミュニケーションが成立するので、さらに円滑なコミュニケーションを実現することができる。

このような三者間のコミュニケーションが実現でき、ロボットモードとアバターモードが明確に区別されると、サービス利用者は、移動ロボット１００が自律的に動作するロボットモードに対して愛着を持ちやすくなる。特に、ロボットモードが第１の動作基準に従って独特な動作を実行したり雰囲気を醸し出したりすると、サービス利用者は、ロボットモードに仮想的な人格を感じることになるので、ロボットモードが表出している移動ロボット１００に対してより人的な繋がりを感じるようになる。

次に、コミュニケーションが行われるときの制御部１５０の処理について説明する。図６は、コミュニケーションの処理フロー図である。フローは、制御部１５０がサービス利用者の働きかけを検知するか、遠隔操作者からの操作要求を検知するかにより開始される。

調停部１５５は、ステップＳ１０１で、コミュニケーションの状況を分析し、次に動作すべき主体がサービス利用者であるか、ロボットモードであるか、アバターモードであるかを、予め定められた切替え基準を適用して決定する。

切替え基準は、コミュニケーションの具体的な状況に応じて規定されている。具体的には、例えば、会話の節目を検知してから予め定められた期間（例えば２秒）の間に、サービス利用者が発話すればサービス利用者を主体と定める旨が規定されている。この間にサービス利用者の発話がなく、直前に遠隔操作者から操作要求を受けていた場合には、アバターモードを主体と定める旨が規定されている。また、直前の発話内容や、ロボットモードで実行する指示された作業の完了、アバターモードで実行する遠隔操作による動作の節目など、一連のコミュニケーションにおける前回の主体とその動作内容を考慮して、今回の主体を決定する旨が規定されている。

調停部１５５は、今回の主体を利用者と決定したら（ステップＳ１０２でＹＥＳ）、すでに表出しているロボットモードまたはアバターモードを継続する。そして、制御部１５０は、ステップＳ１０３で、サービス利用者からの働きかけを解析する。特に、話し掛けられている場合には、制御部１５０は、音声生成部１５２を用いて話し掛けられている内容を解析する。このとき、解析した内容に応じて、表情生成部１５１は、キャラクターの表情を変化させても良い。また、運動制御部１５３は、ジェスチャーを実行しても良い。サービス利用者からの働きかけに対して節目を検知したら、ステップＳ１０４へ進む。

調停部１５５は、今回の主体をロボットモードと決定したら（ステップＳ１０２でＮＯ、ステップＳ１０５でＹＥＳ）、ステップＳ１０６へ進み、ロボットモードを表出させる。すでにロボットモードであった場合には、ロボットモードの表出を継続する。そして、ステップＳ１０７へ進み、制御部１５０は、サービス利用者からの働きかけに対して、または遠隔操作者からの働きかけに対して、相応しい動作を実行する。例えば、音声生成部１５２は、直前の主体の発話内容、またはこれまでの会話の流れを解析し、相応しいセンテンスを応答音声ＤＢ１６１から収集して発話する。また、発話内容に合わせて、表示パネル１４１に表示するキャラクターを変化させたり、ジェスチャーを実行したりしても良い。このときの動作は、いずれも第１テーブル１８１の動作基準に従って実行される。ロボットモードにより一纏まりの動作を実行したら、ステップＳ１０４へ進む。

調停部１５５は、今回の主体をアバターモードと決定したら（ステップＳ１０２でＮＯ、ステップＳ１０５でＮＯ）、ステップＳ１０８へ進み、アバターモードを表出させる。すでにアバターモードであった場合には、アバターモードの表出を継続する。そして、ステップＳ１０９へ進み、指示解析部１５４は遠隔操作者からの操作指示を解析し、制御部１５０は、その解析結果に従って移動ロボット１００の各所を動作させる。例えば、近くのテーブルに置かれたマグカップをサービス利用者へ手渡せとの操作指示であれば、制御部１５０は、運動制御部１５３に当該動作を実行させる。また、遠隔端末３００から音声信号が送られてくる場合には、当該音声信号を再生する。このときの動作は、いずれも第２テーブル１８２の動作基準に従って実行される。アバターモードにより一纏まりの動作を実行したら、ステップＳ１０４へ進む。

制御部１５０は、ステップＳ１０４で、一連のコミュニケーションが終了したか否かを判断する。例えば、ステップＳ１０７で、ロボットモードにより「バイバイ」と発話した場合には、コミュニケーションが終了したと判断する。また、ステップＳ１０９で、操作指示の終了を遠隔端末３００から受信した場合には、コミュニケーションが終了したと判断する。コミュニケーションが終了していないと判断したらステップＳ１０１へ戻ってコミュニケーションを継続し、終了したと判断したら、一連の処理を終える。

以上、三者間のコミュニケーションについて本実施形態を説明したが、遠隔操作者からの操作要求がない場合には、サービス利用者とロボットモードが表出した移動ロボット１００間でコミュニケーションが実行される。また、アバターモードを実行する場合には、サービス利用者による設定または遠隔端末３００からの設定により、ロボットモードが表出しないように構成しても良い。

また、上記の実施形態においては遠隔操作者を一人と想定したが、遠隔操作者は複数のうちのいずれかであっても構わない。その場合、誰が遠隔操作者であるかをサービス利用者が認識できるように、予定された遠隔操作者に応じて第２の動作基準である第２テーブル１８２を複数策定しておくと良い。例えば、遠隔端末３００を操作する遠隔操作者は、まずＩＤを入力する。指示解析部１５４はそのＩＤを認識し、制御部１５０は、当該ＩＤに対応する第２テーブル１８２をアバターモード時に適用する。

また、上記の実施形態においては、調停部１５５は、予め定められた切替え基準を適用してサービス利用者、ロボットモード、アバターモードのいずれを主体とするか、さらには、移動ロボット１００にロボットモードとアバターモードの何れを表出させるかを決定した。しかし、予め定められた切替え基準を適用するのではなく、例えば様々なコミュニケーション事例を用い機械学習によって学習された学習済みモデルを利用しても良い。例えば、コミュニケーションにおける直前の主体およびその動作を入力とし、次の主体を出力する学習済みモデルを利用することができる。この場合、サービス利用者の反応に応じて、学習済みモデルを更に更新しても良い。

また、応答音声ＤＢ１６１および応答表情ＤＢ１６２は、移動ロボット１００が備えず、インターネット６００に接続された記憶装置であっても良い。この場合、表情生成部１５１および音声生成部１５２は、通信ユニット１９０を介して応答音声ＤＢ１６１および応答表情ＤＢ１６２にアクセスする。また、制御部１５０の機能演算部として説明したいくつかの要素を、システムサーバ５００が担っても良い。例えば、音声生成部１５２や学習部１５６が実行する処理は、システムサーバ５００でも処理することができる。この場合も、制御部１５０は、通信ユニット１９０を介して処理の要求と結果の取得を行う。

また、上記の実施形態においては、移動も可能な移動ロボット１００をコミュニケーションロボットの例として説明したが、コミュニケーションロボットとしては、移動ができないロボットであっても構わない。例えば、動物を模した筐体を有するロボットであっても良い。

１００ 移動ロボット、１１０ 台車部、１１１ 駆動輪、１１２ キャスター、１２０ 本体部、１２１ 胴部、１２２ 頭部、１２３ アーム、１２４ ハンド、１３０ 取得部、１３１ ステレオカメラ、１３２ マイク、１３３ レーザスキャナ、１４０ 動作部、１４１ 表示パネル、１４２ スピーカ、１４３ ＬＥＤバー、１４５ 台車駆動ユニット、１４６ 上体駆動ユニット、１５０ 制御部、１５１ 表情生成部、１５２ 音声生成部、１５３ 運動制御部、１５４ 指示解析部、１５５ 調停部、１５６ 学習部、１６１ 音声応答ＤＢ、１６２ 応答表情ＤＢ、１８０ メモリ、１８１ 第１テーブル、１８２ 第２テーブル、１９０ 通信ユニット、３００ 遠隔端末、５００ システムサーバ、６００ インターネット、７００ 無線ルータ

Claims (7)

1. 動作部と、
   第１の動作基準を適用して前記動作部を自律的に動作させるロボットモードと第２の動作基準を適用して前記動作部を遠隔操作者からの操作指示に基づいて動作させるアバターモードとを表出させて、前記ロボットモード、前記アバターモードおよびサービス利用者の三者間のコミュニケーションを調停するコミュニケーション調停部と
   を備えるコミュニケーションロボット。
2. 前記コミュニケーションにおいて前記ロボットモードは、前記アバターモードで実行された動作に対して反応する請求項１に記載のコミュニケーションロボット。
3. 前記第１の動作基準は、前記コミュニケーションの履歴に基づいて更新される請求項１または２に記載のコミュニケーションロボット。
4. 前記ロボットモードと前記アバターモードのいずれが表出しているかを告知する告知部を備える請求項１から３のいずれか１項に記載のコミュニケーションロボット。
5. 前記コミュニケーション調停部は、前記コミュニケーションの実行中において前記ロボットモードと前記アバターモードのいずれを表出させるかを、予め定められた切替え基準に基づいて決定する請求項１から４のいずれか１項に記載のコミュニケーションロボット。
6. 前記第２の動作基準は、前記遠隔操作者が複数の場合には、それぞれの遠隔操作者に対して策定される請求項１から５のいずれか１項に記載のコミュニケーションロボット。
7. 第１の動作基準を適用して動作部を自律的に動作させるロボットモードと第２の動作基準を適用して前記動作部を遠隔操作者からの操作指示に基づいて動作させるアバターモードとを表出させて、前記ロボットモード、前記アバターモードおよびサービス利用者の三者間のコミュニケーションを調停するコミュニケーション調停ステップをコンピュータに実行させるコミュニケーションロボットの制御プログラム。

Images