JP2021129814A - コミュニケーションロボット、制御プログラムおよび制御方法 - Google Patents

Abstract

【課題】触覚刺激を通じてロボットが感情を自然に表出することができる。【解決手段】システムは、ロボットおよびコンテンツ提示装置を含み、ロボットは、手部、コンピュータおよびアクチュエータを含み、近くに存在する人に手部によって触れる接触動作を行う。コンピュータは、コンテンツ提示装置から所定の感情を表出するイベントの発生タイミングおよび表出用の感情を取得し（ステップＳ３）、表出用の感情に対応する表出用の算出条件を設定し（ステップＳ７）、発生タイミングを基準として、表出用の算出条件を用いて、接触動作の開始タイミングを算出し（ステップＳ９）、開始タイミングに到達したときに、手部を変位させて、接触動作を行う（ステップＳ１３）。【選択図】図１１

Description

この発明はコミュニケーションロボット、制御プログラムおよび制御方法に関し、特にたとえば、人に触れる接触動作を含むコミュニケーション行動を取る、コミュニケーションロボット、制御プログラムおよび制御方法に関する。

本件発明者等は、非特許文献１に記載されるように、ロボットの抱擁中の音声刺激と視覚刺激が、人の知覚印象とストレス緩衝効果をどのように変化させるかについての実験を行い、この実験結果によって、人とロボットとの抱擁の相互作用によりストレス軽減効効果を人にもたらすことが分かった。

Masahiro Shiomi, Norihiro Hagita, "Audio-Visual Stimuli Change not Only Robot’s Hug Impressions but Also Its Stress-Buffering Effects" International Journal of Social Robotics, 2019.

背景技術では、ロボットが人に触れることによる触覚刺激でロボット自身の印象を変化させること、および、触覚刺激によってストレス軽減効効果を人にもたらすことが期待できることがわかったが、触覚刺激を通じてロボットがどのように感情を自然に表出するかについては考慮されていなかった。

それゆえに、この発明の主たる目的は、新規な、コミュニケーションロボット、制御プログラムおよび制御方法を提供することである。

この発明の他の目的は、コミュニケーション対象者に対して、接触動作を通じてロボットが感情を自然に表出することができる、コミュニケーションロボット、制御プログラムおよび制御方法を提供することである。

第１の発明は、少なくとも頭部、胴体部、腕部および手部を含み、近くに存在する人に手部によって触れる接触動作を行う人型のコミュニケーションロボットであって、コミュニケーションロボットが表出可能な複数の感情に含まれる所定の感情を表出するイベントが発生する発生タイミングを取得する第１取得手段、イベントにおいて表出する表出用の感情を取得する第２取得手段、複数の感情のそれぞれに対応して予め設定される、接触動作の開始タイミングを算出するための複数の算出条件の中から、第２取得手段で取得された表出用の感情に対応する表出用の算出条件を設定する第１設定手段、第１取得手段で取得された発生タイミングを基準として、第１設定手段で設定された表出用の算出条件に応じて、開始タイミングを算出する算出手段、および算出手段で算出された開始タイミングに到達したときに、手部を変位させて、接触動作を行う動作制御手段を備える。

第１の発明では、ロボット（１２）は、少なくとも頭部（２４）、胴体部（２０）、腕部（３０）および手部（３８）を含み、近くに存在する人に手部によって触れる接触動作を行う。第１取得手段（５０、３０２ｄ、Ｓ３）は、コミュニケーションロボットが表出可能な複数の感情に含まれる所定の感情を表出するイベントが発生する発生タイミングを取得する。第２取得手段（５０、３０２ｄ、Ｓ３）は、イベントにおいて表出する表出用の感情を取得する。第１設定手段（５０、３０２ｅ、Ｓ７）は、複数の感情のそれぞれに対応して、人が感情を表出する際の動きを測定する実験結果に基づいて予め設定される、接触動作の開始タイミングを算出するための複数の算出条件の中から、第２取得手段で取得された表出用の感情に対応する表出用の算出条件を設定する。算出手段（５０、３０２ｆ、Ｓ９）は、第１取得手段で取得された発生タイミングを基準として、第１設定手段で設定された表出用の算出条件を用いて、開始タイミングを算出する。動作制御手段（５０、３０２ｃ、Ｓ１３）は、算出手段で算出された開始タイミングに到達したときに、手部を変位させて、接触動作を行う。

第１の発明では、複数の感情のそれぞれに対応して、人が感情を表出する際の動きを測定する実験結果に基づいて予め設定される複数の算出条件を用意しておき、所定の感情を表出するイベントが発生する際に、表出用の感情に対応する表出用の算出条件を用いて、接触動作の開始タイミングを算出し、算出された開始タイミングに到達したときに、接触動作を行う。このため、接触動作を通じてロボットが感情を自然に表出することができる。

第２の発明は、第１の発明に従属し、複数の算出条件のそれぞれは、複数の感情のそれぞれに応じて、人が感情を表出する際の動きを測定する実験結果に基づいて予め設定される平均および分散を含み、算出手段は、表出用の算出条件に含まれる平均および分散をパラメータとする確率密度関数に従う乱数に応じて開始タイミングを算出する、コミュニケーションロボットである。

第２の発明によれば、人が感情を表出する際の動きを測定する実験結果に基づいて予め設定される平均および分散をパラメータとする確率密度関数に従う乱数に応じて開始タイミングが算出されるので、接触動作を通じてロボットが感情をより自然に表出することができる。

第３の発明は、第１または第２の発明に従属し、コミュニケーションロボットは、視覚的および／または聴覚的に認識可能なコンテンツを近くに存在する人と並んで視聴する際に接触動作を行い、イベントは、コンテンツのクライマックスを含む、コミュニケーションロボットである。

第３の発明によれば、接触動作を通じてロボットが感情を自然に表出することができる。

第４の発明は、第１から第３までのいずれかの発明に従属し、接触動作は、複数の感情のそれぞれに対応して、人が感情を表出する際の動きを測定する実験結果に基づいた複数の動作パターンを含み、複数の動作パターンの中から、第２取得手段で取得された表出用の感情に対応する表出用の動作パターンを設定する第２設定手段をさらに備え、動作制御手段は、開始タイミングに到達したときに、表出用の動作パターンに従って接触動作を行う、コミュニケーションロボットである。

第４の発明によれば、人が感情を表出する際の動きを測定する実験結果に基づいた複数の動作パターンを用意しておき、表出用の感情に対応する表出用の動作パターンに従って接触動作を行うので、接触動作を通じてロボットが感情をより自然に表出することができる。

第５の発明は、少なくとも頭部、胴体部、腕部および手部を含み、近くに存在する人に手部によって触れる接触動作を行う人型のコミュニケーションロボットのコンピュータによって実行される制御プログラムであって、コンピュータを、コミュニケーションロボットが表出可能な複数の感情に含まれる所定の感情を表出するイベントが発生する発生タイミングを取得する第１取得手段、イベントにおいて表出する表出用の感情を取得する第２取得手段、複数の感情のそれぞれに対応して予め設定される、接触動作の開始タイミングを算出するための複数の算出条件の中から、第２取得手段で取得された表出用の感情に対応する表出用の算出条件を設定する第１設定手段、第１取得手段で取得された発生タイミングを基準として、第１設定手段で設定された表出用の算出条件を用いて、開始タイミングを算出する算出手段、および算出手段で算出された開始タイミングに到達したときに、手部を変位させて、接触動作を行う動作制御手段として機能させる制御プログラムである。

第６の発明は、少なくとも頭部、胴体部、腕部および手部を含み、近くに存在する人に手部によって触れる接触動作を行う人型のコミュニケーションロボットの制御方法であって、コミュニケーションロボットが表出可能な複数の感情に含まれる所定の感情を表出するイベントが発生する発生タイミングを取得する第１取得ステップ、イベントにおいて表出する表出用の感情を取得する第２取得ステップ、複数の感情のそれぞれに対応して予め設定される、接触動作の開始タイミングを算出するための複数の算出条件の中から、第２取得ステップで取得された表出用の感情に対応する表出用の算出条件を設定する第１設定ステップ、第１取得ステップで取得された発生タイミングを基準として、第１設定ステップで設定された表出用の算出条件を用いて、開始タイミングを算出する算出ステップ、および算出ステップで算出された開始タイミングに到達したときに、手部を変位させて、接触動作を行う動作制御ステップを含む制御方法である。

第５および第６の発明によれば、第１の発明と同様の効果が期待できる。

この発明によれば、コミュニケーション対象者に対して、接触動作を通じてロボットが感情を自然に表出することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例のシステムを示す図である。 図２は図１に示すアンドロイドロボットの外観構成を示す図である。 図３（Ａ）は図１に示すアンドロイドロボットの瞼および眼球を動かすアクチュエータを説明するための図である。 図３（Ｂ）は図１に示すアンドロイドロボットの額、眉間および口角を動かすアクチュエータを説明するための図である。 図３（Ｃ）は図１に示すアンドロイドロボットの唇を動かすアクチュエータを説明するための図である。 図４は図１に示すアンドロイドロボットの頭部、肩部、腰部、腕部、手部を動かすアクチュエータを説明するための図である。 図５は図１に示すアンドロイドロボットの電気的な構成を示すブロック図である。 図６は一実施例における接触動作のために人とアンドロイドロボットとが並んでいる状態を示す図である。 図７（Ａ）は感情を表出していない状態のアンドロイドロボットの手の状態を示す図である。 図７（Ｂ）は手部で対象者に接触することによって感情を表出している状態のアンドロイドロボットの手の状態を示す図である。 図７（Ｃ）は指部で対象者に接触することによって感情を表出している状態のアンドロイドロボットの手の状態を示す図である。 図８は或るコンテンツにおけるクライマックスの時間と感情のカテゴリの対応の一例を示す表である。 図９は感情のカテゴリに対応する、接触動作の種類および算出条件の一例を示す表である。 図１０はアンドロイドロボットのＲＡＭのメモリマップの一例を示す図である。 図１１はアンドロイドロボットのＣＰＵのロボット制御処理の一部を示すフロー図である。

図１を参照して、この発明の一実施例のアンドロイドロボット制御システム（以下、単に「システム」ということがある。）１０は、アンドロイドロボット（以下、単に「ロボット」という）１２を含む。ロボット１２は、人間に酷似した姿形（外観など）を有する人型ロボットであり（図２〜図４参照）、人間に酷似した人間らしい動作（振り、振る舞い、発話）を行う。また、詳細は後述するが、本実施例のロボット１２は、ロボット１２と対話（コミュニケーション）するコミュニケーション対象となる人（対象者）に触れる接触動作を含むコミュニケーション行動（または動作）を行う。

ロボット１２は、ＬＡＮ（Local Area Network）、インターネットおよび電話通信回線のようなネットワーク１４を介してコンテンツ提示装置１６および位置検出装置１８に接続される。ロボット１２は、ネットワーク１４を介さずに、有線または無線（たとえば赤外線方式、ＷｉＦｉ（登録商標）方式またはブルートゥース（Bluetooth；登録商標）方式）で、コンテンツ提示装置１６、位置検出装置１８および他のコンピュータ等と直接通信することもできる。

コンテンツ提示装置１６は、人が視覚的および／または聴覚的に認識可能なコンテンツを再生する。この実施例では、コンテンツは、映像または音（音声）或いはその両方（以下、簡単に「映像・音」ということがある。）を含む。

コンテンツ提示装置１６は、再生装置、ディスプレイおよびスピーカを含む。ディスプレイおよびスピーカの各々は、再生装置に接続される。再生装置は、コンテンツを再生して映像データまたは音データ或いはその両方のデータ（映像・音データ）を出力する装置である。

再生装置としては、記憶媒体または自装置内の記憶部に記憶されたコンテンツを再生する装置を用いることができる。この種の装置としては、光ディスクプレイヤ、ビデオデッキ、カセットデッキ、携帯型音楽プレイヤ、スマートフォン、フィーチャーフォン、デスクトップＰＣ、ノート（ラップトップ）ＰＣおよびタブレットＰＣ等がある。また、再生装置としては、ネットワーク１４等を介して外部から転送されるコンテンツを再生（ストリーミング再生）する装置（たとえばスマートフォンまたはＰＣ等）、テレビジョン信号またはラジオ信号を受信してコンテンツを再生する装置（たとえばテレビジョン受信機またはラジオ受信機）等を用いることもできる。

ディスプレイとしては、たとえばＬＣＤ（Liquid Crystal Display）またはＥＬ（Electro-Luminescence）ディスプレイなどの汎用のディスプレイを用いることができ、スピーカとしては、汎用のスピーカを用いることができる。また、ディスプレイとスピーカとは、別々に設けられていてもよく、スピーカを内蔵したスピーカ内蔵型ディスプレイのように一体的に構成されていてもよい。さらに、再生装置、ディスプレイおよびスピーカが一体的に構成されていてもよい。

再生装置でコンテンツが再生されると、再生装置からディスプレイに映像データが入力され、ディスプレイは、入力された映像データに対応する映像を出力（表示）し、再生装置からスピーカに音データが入力され、スピーカは、入力された音データに対応する音を出力する。なお、映像のみのコンテンツの場合には、再生装置からは映像データのみが出力され、音のみのコンテンツの場合には、再生装置からは音データのみが出力される。

以上のように、コンテンツ提示装置１６によって、映像・音のコンテンツが視聴者に提示される。また、コンテンツ提示装置１６は、コンテンツに関するデータ（以下、「イベントデータ」という）をロボット１２に送信する。なお、映像・音のコンテンツの内容に連動して、たとえば緊張や興奮が高まる場面（クライマックス）に到達したときに、ディスプレイの明るさ（明度）が変動するようにしても良い。この場合、ディスプレイの明るさが変動することもコンテンツの一部となる。また、コンテンツ提示装置１６に加えて、またはこれに代えて、人間（コンテンツ提示者）が視覚的および／または聴覚的に認識可能なコンテンツ（紙芝居、読み聞かせまたは朗読劇等）を視聴者に提示してもよい。

位置検出装置１８は、対象者の体の位置、特に対象者の手の位置を検出する。この実施例では、位置検出装置１８は、コンピュータ（位置検出用コンピュータ）および複数の距離画像センサを含む。距離画像センサは、赤外光またはレーザなどの光を照射し、対象物から反射した光（反射光）をＣＣＤ（Charge Coupled Device）センサなどの光学センサによって捉える。距離画像センサは、光が戻るまでの時間を画素毎に計測することで、対象物までの実際の距離を測定する。また、距離画像センサは、対象物の形状（たとえば、頭部および手などの人間の所定部位）を測定することが可能である。したがって、距離画像センサの出力に基づいて、人間の位置および人間の所定部位（頭部および手）の位置を検出することができる。

距離画像センサとしては、ASUS（登録商標）製のXtion（登録商標）と言われる製品が採用されている。なお、他の例では、距離画像センサは、Microsoft（登録商標）製のKinect（登録商標）センサ、パナソニック（登録商標）製の３次元距離画像センサD-IMager（登録商標）などを使用することも可能である。この種のセンサは、３次元距離計測センサ、３Ｄスキャナなどと言われる場合もある。なお、距離画像センサとしては、たとえばＬｉＤＡＲ（たとえば、Ｖｅｌｏｄｉｎｅ社製のイメージングユニットＬｉＤＡＲ（ＨＤＬ−３２ｅ）（商品名））のような全方位レーザ距離計や、ステレオカメラなども利用可能である。

距離画像センサの各々からの距離画像信号は、位置検出用コンピュータに入力され、位置検出用コンピュータでは、その距離画像信号をディジタルデータとして、メモリ（たとえばＨＤＤまたはＲＡＭなど）に記憶する。位置検出用コンピュータは、このメモリに記憶した距離画像データを処理して得られた、１または複数の人間の所定部位の位置（この第１実施例では、対象者の手の３次元位置）についてのデータ（以下、「人位置データ」という）をロボット１２に送信する。

なお、図１に示すシステム１０の構成は一例であり、ロボット１２と、コンテンツ提示装置１６および位置検出装置１８との間に、サーバ等の他のコンピュータが介在してもよい。

また、図１では省略するが、ロボット１２と通信可能な外部制御端末が設けられてもよい。外部制御端末は、ロボット１２を遠隔操作するためのコンピュータである。たとえば、ロボット１２が人間とコミュニケーションを行う場合において、ロボット１２で対応できない事象が発生したときに、管理者等が外部制御端末を用いてロボット１２を制御し、ロボット１２が対応できない事象について対応する。管理者等は、ロボット１２を通して人間と会話したり、ロボット１２にコマンドを送信してコミュニケーション行動を実行させたりする。

図２〜図４は図１のロボット１２の外観および構成の一例を示す。なお、図２〜図４に示すロボット１２は一例であり、他の外観、構成を持つ任意のアンドロイドロボットが利用可能である。また、ロボット１２は、アンドロイドロボットに限定される必要は無く、人間に似た外観を有し、接触動作が可能なロボットであれば他のロボットを使用することもできる。一例として、身体動作または／および音声で、コミュニケーション対象である人間または他のロボットとコミュニケーションを取ることができるコミュニケーションロボットを使用することができる。以下、図２〜図４を用いて、本実施例のロボット１２の外観および構成について簡単に説明する。

図２および図４に示すように、ロボット１２は、胴体部２０およびその胴体部２０の上に、首部２２を介して設けられた頭部２４を含む。

胴体部２０の上端（頭部の下方）が肩部２６であり、胴体部２０の中ほどが腰部２８である。左右の肩部２６のそれぞれから上肢部（腕部）３０が設けられ、胴体部２０の下端からは下肢部３２が設けられる。

また、図４に示すように、上肢部３０の中ほどが肘部３４であり、上肢部３０の先端には、上肢部３０の基端（肩部２６に近い側）から順に手首部３６および手部３８が設けられ、手部３８は、先端に設けられる５本の指部４０を含む。

このようなロボット１２は、たとえば金属のような構造材で全体を組み立て、その構造材の上にたとえばシリコーン樹脂のようなソフトな樹脂で皮膚を形成し、必要な部分でその皮膚を衣服から露出させている。

この実施例のシステム１０では、ロボット１２は、椅子４２に座った状態でセットされていて、人間らしい動作を実現するように、空気圧アクチュエータで各部分を動かす。ロボット１２の上述の各部分（対象部位）を動かすための以下に説明するアクチュエータは、この第１実施例では、いずれもパルス電力によって駆動されるステッピングモータであり、ステッピングモータの回転量はパルス数で決まる。パルス数が指令値として与えられる。なお、各対象部位は、平常状態において、アクチュエータに初期値が与えられ、変位させる場合に、その方向と大きさに応じたパルス数の指令値が該当するアクチュエータに与えられる。この第１実施例では、各アクチュエータは、「０−２５５」の指令値で動作され、「０−２５５」のいずれかの値が初期値として与えられる。以下、図面を参照してロボット１２の各部分を動かすための構成を説明する。

図３（Ａ）を参照して、アクチュエータＡ１は、上瞼４４ａの上下動を制御するためのアクチュエータである。アクチュエータＡ２、Ａ３およびＡ４は眼球を左右上下に動かすためのアクチュエータである。アクチュエータＡ５は、下瞼４４ｂの上下動を制御するアクチュエータである。したがって、アクチュエータＡ１およびＡ５によって、目（瞼）が開閉される。

図３（Ｂ）を参照して、アクチュエータＡ６は額を動かすためのアクチュエータであり、アクチュエータＡ７は眉間を動かすためのアクチュエータである。また、アクチュエータＡ８は、口角４６を上げるためのアクチュエータである。アクチュエータＡ９は舌を上下方に動かすためのアクチュエータである。

図３（Ｃ）を参照して、アクチュエータＡ１０は口唇を左右に広げるアクチュエータであり、アクチュエータＡ１１は口唇を前に突き出すためのアクチュエータである。アクチュエータＡ１３は顎を突き出したり引いたりするためのアクチュエータである。このアクチュエータ１３によって、口が開閉される。

図４を参照して、アクチュエータＡ１４は頭部２４を左右に傾動させるためのアクチュエータであり、アクチュエータＡ１５は頭部２４を俯仰させるためのアクチュエータであり、そして、アクチュエータＡ１６は頭部を左右に回動させるためのアクチュエータである。アクチュエータＡ１７は腰部２８を前屈させまたは後傾させるためのアクチュエータであり、アクチュエータＡ１８は腰部２８を左右に回動（ひねる）させるためのアクチュエータである。

また、アクチュエータＡ１９は肩部２６を上下動させる（胴体部２０に対する上肢部３０の角度を制御する）ためのアクチュエータである。アクチュエータＡ２０は肘部３４を中心に上肢部３０を屈伸（肘部３４を中心に手首部３６および手部３８を回動）させるためのアクチュエータである。アクチュエータＡ２１は手首部３６を中心に手部３８を回動させるためのアクチュエータである。アクチュエータＡ２２は指部４０を屈伸または回動させるためのアクチュエータである。図示は省略するが、アクチュエータＡ２２は５本の指部４０のそれぞれに対応して設けられる。アクチュエータＡ１９〜Ａ２２の各々が駆動されることによって、ロボット１２は、上肢部３０（肘部３４、手首部３６、手部３８および指部４０等）を用いて、人の腕、手および指の動きに酷似した動作を行うことができる。たとえば、近くに存在する人に手部３８または指部４０で触れる接触動作（タッチ動作）を行うことができる。

なお、図示は省略するが、下肢部３２には、下肢部３２の各部分を動かすためのアクチュエータが適宜設けられる。

ロボット１２は、図５に示すように、ロボット１２の全体制御を司るプロセッサ（この第１実施例では、ＣＰＵ）５０を備える。ＣＰＵ５０は、バス５２を通して、ＲＡＭ５４、通信モジュール５６、アクチュエータ制御回路５８、センサＩ／Ｆ（インタフェース）６０および入出力Ｉ／Ｆ６２等に接続される。

ＣＰＵ５０は通信モジュール５６を介して、ネットワーク１４すなわちコンテンツ提示装置１６および位置検出装置１８等の外部コンピュータと、有線または無線で、通信可能に接続される。

ＲＡＭ５４は、ＣＰＵ５０のバッファ領域およびワーク領域として用いられる。ただし、ＲＡＭ５４に代えて、ＨＤＤを用いることもできる。ＣＰＵ５０は、バス５２を通してＲＡＭ５４にアクセスし、ＲＡＭ５４に記憶されているプログラムやデータ（図１０参照）に従って、バス５２を通してアクチュエータ制御回路５８に指令値を与え、各アクチュエータＡ１−Ａｎの動作を制御する。

アクチュエータ制御回路５８は、ＣＰＵ５０から与えられる指令値に応じた数のパルス電力を生成し、それを該当するステッピングモータに与えることによって、各アクチュエータＡ１−Ａｎを駆動する。ただし、アクチュエータとしてはステッピングモータを用いるものの他、サーボモータを用いるアクチュエータ、流体アクチュエータなど任意のアクチュエータが利用可能である。

センサＩ／Ｆ６０は、触覚センサ６４および眼カメラ６６からのそれぞれの出力を受ける。

触覚センサ６４ないし皮膚センサは、たとえばタッチセンサであり、ロボット１２の触覚の一部を構成する。つまり、触覚センサ６４は、人間や他の物体等がロボット１２に触れたか否かを検出するために用いられる。触覚センサ６４からの出力（検出データ）は、センサＩ／Ｆ６０を介してＣＰＵ５０に与えられる。したがって、ＣＰＵ５０は、人間や他の物体等がロボット１２に触れたこと（およびその強弱）を検出することができる。

眼カメラ６６は、イメージセンサであり、ロボット１２の視覚の一部を構成する。つまり、眼カメラ６６は、ロボット１２の眼から見た映像ないし画像を検出するために用いられる。この第１実施例では、眼カメラ６６の撮影映像（動画ないし静止画）に対応するデータ（画像データ）は、センサＩ／Ｆ６０を介してＣＰＵ５０に与えられる。ＣＰＵ５０は、その画像データを、ＲＡＭ５４に記憶したり、通信モジュール５６およびネットワーク１４（図１）を介して外部のコンピュータ（たとえば、外部制御端末）に送信したりする。

また、スピーカ６８およびマイク７０は、入出力Ｉ／Ｆ６２に接続される。スピーカ６８は、ロボット１２が発話を行う際に音声を出力する。マイク７０は、音センサであり、ロボット１２の聴覚の一部を構成する。このマイク７０は、指向性を有し、主として、ロボット１２と対話（コミュニケーション）する人間の音声を検出するために用いられる。

このような構成のシステム１０は、ロボット１２の接触動作を通じて、ユーザに対して物理的または身体的な刺激（触覚刺激）を提示するためのシステムであり、ロボット１２は、接触動作を通じて対象者に触覚刺激を与えることによって色々な感情を表出するコミュニケーション行動を行う。ただし、本実施例のロボット１２が表出可能な感情には、感動、楽しみ、悲しみ、怒り、恐怖などがある。

図６に示すように、本実施例のロボット１２は、対象者と同じ方向を向いて横に並んで座った状態で、コンテンツ提示装置１６によって再生される視覚的および／または聴覚的に認識可能な映像・音を含むコンテンツ（たとえば映画等）を対象者と共に視聴しながら、コミュニケーション行動を行う。本実施例では、ロボット１２は、手部３８を動作させて、手部３８（左の手部（左手部）３８または左の指部４０）で対象者の手（右手）の甲に触れる接触動作を行うことによって感情を表出する。

図７（Ａ）に示すように、接触動作を行わない場合には、ロボット１２は、手部３８が対象者の手に触れないように、手部３８を対象者の手から少し離れた位置に位置させ（対象者から手部３８を離間させ）、図７（Ｂ）および図７（Ｃ）に示すように、接触動作を行う場合には、ロボット１２は、手部３８を対象者の手に重ねるように、すなわち手部３８が対象者の手に触れるように、手部３８を位置させる。なお、図７（Ｂ）に示すように手部３８の全体で対象者の手に触れるようにしてもよいし、図７（Ｃ）に示すように指部４０のみで対象者の手に触れるようにしてもよい。

ただし、ロボット１２の接触動作は、感情を表出すべきイベントが発生した場合に行われる。本実施例では、感情を表出すべきイベントは、視聴中のコンテンツにおいて、重要な場面、内容が大きく変化する場面または緊張や興奮が高まる場面等、すなわちクライマックスのことである。コンテンツ提示装置１６によって再生されるコンテンツには、少なくとも１つのイベントが含まれ、ロボット１２の接触動作は、視聴中のコンテンツのイベントに応じて行われる。

コンテンツ提示装置１６は、イベントに関するデータ（以下、「イベントデータ」という）をロボット１２に送信する。イベントデータは、イベント（クライマックス）が発生するタイミング（以下、「発生タイミング」という）のデータと、イベントにおいて表出すべき感情（以下、「表出用の感情」という）のデータとを含む。本実施例では、イベントは、視聴中のコンテンツのクライマックスであるので、ロボット１２は、視聴中のコンテンツのクライマックスについてのデータをイベントデータとしてコンテンツ提示装置１６から取得する。

なお、コンテンツにおけるどの部分（場面）をクライマックスとして設定するかについては、コンテンツを解析して重要な場面をクライマックスとして自動的に抽出するようにしてもよいし、人間がコンテンツを視聴した上で、人間が典型的に考える場面をクライマックスとして設定してもよい。なお、コンテンツから重要な場面を抽出する技術は、特開２００４−３４２２７２号公報などに詳細に開示されるので参照されたい。

図８は、イベントデータの内容の一例を示す図である。図８に示すように、イベントデータには、コンテンツに含まれる各イベントを識別（特定）するための識別情報であるイベントＩＤが含まれ、各イベントＩＤに対応して、当該イベントの発生タイミングと、当該イベントの表出用の感情の種類（カテゴリ）とが含まれる。なお、ロボット１２が発生タイミングと表出用の感情の種類との対応関係が認識できるのであれば、イベントＩＤは省略されてもよい。

図８に示す例では、発生タイミングは、コンテンツの開始時点（０分０秒）からの経過時間として表現されている。たとえば、コンテンツの開始時点から６分５４秒後に“感動”を表出するイベント（イベントＩＤ“１”のイベント）が発生し、コンテンツの開始時点から８分４８秒後に“悲しみ”を表出するイベント（イベントＩＤ“２”のイベント）が発生し、コンテンツの開始時点から１５分１８秒後に“怒り”を表出するイベント（イベントＩＤ“３”のイベント）が発生し、コンテンツの開始時点から２４分１８秒後に“恐怖”を表出するイベント（イベントＩＤ“４”のイベント）が発生し、コンテンツの開始時点から２７分１２秒後に“楽しみ”を表出するイベント（イベントＩＤ“５”のイベント）が発生する。

また、システム１０では、イベントの発生タイミングに基づいて接触動作を開始するタイミング（以下、「開始タイミング」という）を算出するための算出条件が感情の種類毎に予め設定されている。たとえば、平均および分散をパラメータ（母数）とする確率密度関数に従う乱数に応じて開始タイミングが算出される。確率密度関数としては、正規分布、二項分布および逆ガウス分布等の確率密度関数を用いることができる。

図９は、感情の種類毎の算出条件のパラメータとしての平均および分散と、感情の種類毎の動作パターンとを示す図である。ただし、平均の値（平均値）は、感情の種類毎に予め設定される平均的なタイミング（平均タイミング）とイベントの発生タイミングとの時間差（秒）を示す値であり、正の数で表される平均値は、平均タイミングが発生タイミングに対し遅れる（繰り下げる）期間（時間）を示し、負の数で表される平均値は、平均タイミングが発生タイミングに対し早まる（繰り上げる）期間を示す。また、分散の値（分散値）は、乱数のとる値のばらつきを示す値であり、分散値が小さいほど乱数の取りうる値が平均値の近くに集まるようになり、分散値が大きいほど乱数の取りうる値がばらつくようになる。

また、ロボット１２の接触動作は、感情の種類毎に複数の動作パターン（動作種類）を含む。ロボット１２は、イベントに割り当てられる感情に対応する動作パターン（表出用の動作パターン）に従って接触動作を行う。動作パターンは、ロボット１２が表出可能な感情のそれぞれに対応して複数用意されており、複数の動作パターンのそれぞれは、互いに異なる動きの特徴を含む。たとえば、動きの特徴は、接触動作の強さ（圧力）、接触動作の連続性、接触動作の長さ等である。

なお、発明者等は、感情を表出すべきイベントが含まれるコンテンツを複数の被験者に視聴させ、人が感情を表出する際（イベントが発生する際）に、近くに存在する他人に接触する接触動作の開始タイミングを測定する実験を行った。また、アンドロイドロボットが特定の感情を表現するときに、複数種類の動作パターンに従って被験者に対し接触動作を行い、感情の種類に応じて被験者が好ましいと認識する動作パターンを測定する実験を行った。これらの実験は、“感動”、“楽しみ”、“悲しみ”、“怒り”および“恐怖”のそれぞれについて行われ、図９に示す感情の種類毎に設定される平均値、分散値および動作パターンは、この実験結果に基づいて決定されている。

図９に示す感情の種類毎の平均値からわかるように、“感動”、“楽しみ”、“悲しみ”および“怒り”を表出する場合の人の接触動作の平均タイミングは、発生タイミングよりも後に設定され、“恐怖”を表出する場合の人の接触動作の平均タイミングは、発生タイミングよりも前に設定される。すなわち、“感動”、“楽しみ”、“悲しみ”および“怒り”を表出する場合の人の接触動作は、イベントの発生タイミングよりも少し後に行われることが多く、“恐怖”を表出する場合の人の接触動作は、イベントの発生タイミングよりも少し前に行われることが多い傾向にある。

また、“楽しみ”、“怒り”および“恐怖”を表出する場合の人の接触動作の平均タイミングは、発生タイミングに対する時間差が小さい傾向にあり、“感動”および“悲しみ”を表出する場合の人の接触動作の平均タイミングは、発生タイミングに対する時間差が大きい傾向にある。

さらに、図９に示す感情の種類毎の分散値からわかるように、“悲しみ”を表出する場合の人の接触動作の開始タイミングは、個人差が大きい傾向にあり、“怒り”および“恐怖”を表出する場合の個人差が小さい傾向にある。

図９からわかるように、動作パターンの一要素としての接触動作の強さ（圧力）の観点で言えば、“感動”、“楽しみ”および“悲しみ”を表出する場合の動作パターンでは、接触動作の強さが所定の強さ（普通の強さ）に設定され、“怒り”および“恐怖”を表出する場合の動作パターンでは、“感動”、“楽しみ”および“悲しみ”を表出する場合よりも強い強さに設定される。

また、接触動作の連続性の観点で言えば、“感動”、“楽しみ”および“怒り”を表出する場合の動作パターンは、手部３８で対象者の手を「とんとん」と数回叩くような断続的な動きに設定される。一方、“悲しみ”および“恐怖”を表出する場合の動作パターンは、手部３８を所定時間継続して対象者の手に添えるような連続的な動きに設定される。

さらに、接触動作の長さの観点で言えば、“楽しみ”および“怒り”を表出する場合の動作パターンでは、接触動作の長さが所定の長さ（“短い”に相当）に設定され、“感動”、“悲しみ”および“恐怖”を表出する場合の動作パターンでは、“楽しみ”および“怒り”を表出する場合よりも接触動作の長さが長く設定される。なお、接触動作の長さとは、断続的な動きをする動作パターンの場合には、接触動作において最初に対象者の手を叩いたときから最後に対象者の手を叩いたときまでの時間の長さのことをいう。

システム１０では、イベントにおいて表出する表出用の感情が設定（取得）されると、表出用の感情に設定される平均および分散を算出用パラメータとする表出用の算出条件が設定され、表出用の算出条件を用いて、イベントの発生タイミングを基準として、接触動作の開始タイミングが算出される。また、表出用の感情に応じて接触動作の動作パターン（表出用の動作パターン）が設定される。そして、ロボット１２は、開始タイミングに到達すると、表出用の動作パターンに従って接触動作を行う。

本実施例では、人が感情を表出する際の動きを測定する実験結果に基づいて、接触動作の開始タイミングを設定（算出）し、接触動作の動作パターンを設定するので、人が行う接触動作に似た、自然な接触動作を再現することができると考えられる。

また、ロボット１２は、接触動作の他にも所定の振り、振る舞いのような身体動作または／および発話動作を行う。この第１実施例では、ロボット１２が接触動作等の各種動作を実行するための制御情報は、アクチュエータ（Ａ１〜Ａ２２）を駆動制御するための制御データまたは／および発話内容についての合成音声の音声データを含み、各コミュニケーション行動に付された名称（コマンド名）に対応して記憶される。ただし、身体動作には、自然の動作（無意識動作）も含まれる。無意識動作の代表的な例としては、瞬きや呼吸が該当する。また、このような生理的な動作のみならず、人間の癖による動作も無意識動作に含まれる。たとえば、癖による動作としては、たとえば、髪の毛を触る動作、顔を触る動作や爪を噛む動作などが該当する。また、制御情報は、身体動作とは別に、口の動きおよび顔の表情を表現するための制御データも含む。

図４では省略したが、コミュニケーション行動についての制御情報は、ＨＤＤのような不揮発性のメモリに記憶され、必要に応じて、ＨＤＤから読み出され、ＲＡＭ５４に書き込まれる。

図１０は図４に示したＲＡＭ５４のメモリマップ３００の一例を示す図である。図１０に示すように、ＲＡＭ５４は、プログラム記憶領域３０２およびデータ記憶領域３０４を含む。

プログラム記憶領域３０２には、通信プログラム３０２ａ、人位置検出プログラム３０２ｂ、動作制御プログラム３０２ｃ、イベントデータ取得プログラム３０２ｄ、算出条件設定プログラム３０２ｅ、タイミング算出プログラム３０２ｆおよび動作パターン設定プログラム３０２ｇ等が記憶される。

通信プログラム３０２ａは、コンテンツ提示装置１６、位置検出装置１８、他のロボットまたは外部コンピュータ等と通信するためのプログラムである。人位置検出プログラム３０２ｂは、位置検出装置１８から送信される人位置データに基づいて、接触動作を行う目標となる対象者の所定部位（目標部位）の３次元位置（本実施例では対象者の右手の３次元位置）を検出または取得するためのプログラムである。

動作制御プログラム３０２ｃは、ロボット１２の動作を制御するためのプログラムであって、上半身（肩）制御プログラム３０２０、上肢（肘）制御プログラム３０２２、手首制御プログラム３０２４および指制御プログラム３０２６を含む。

上半身（肩）制御プログラム３０２０は、接触動作等の身体動作に合わせてロボット１２の上半身（肩）２６の動作を行うように（上肢部３０の角度を変位させるように）、図４に示すアクチュエータＡ１９を制御するためのプログラムである。

上肢（肘）制御プログラム３０２２は、接触動作等の身体動作に合わせてロボット１２の上肢部３０（肘部３４）の動作を行うように、図４に示すアクチュエータＡ２０を制御するためのプログラムである。

手首制御プログラム３０２４は、接触動作等の身体動作に合わせてロボット１２の手首部３６の動作を行うように、図４に示すアクチュエータＡ２１を制御するためのプログラムである。

指制御プログラム３０２６は、接触動作等の身体動作に合わせてロボット１２の指部４０の動作を行うように、図４に示すアクチュエータＡ２２を制御するためのプログラムである。

なお、詳しい説明は省略するが、動作制御プログラム３０２ｃには、図３に示すアクチュエータＡ１−Ａ１８のそれぞれを適宜制御して、ロボット１２の目または／および口の表情を表現する表情制御プログラム、ロボット１２の口唇形状を表現する口唇動作制御プログラム、ロボット１２の頭部２４の動作を行う頭部制御プログラムおよびロボット１２の下半身（腰）３２の動作を行う下半身（腰）制御プログラム等も含まれる。

イベントデータ取得プログラム３０２ｄは、コンテンツ提示装置１６から送信されるイベントデータを取得するためのプログラムである。算出条件設定プログラム３０２ｅは、イベントの表出用の感情の種類に応じて、平均および分散を算出用パラメータとする表出用の算出条件を設定するためのプログラムである。タイミング算出プログラム３０２ｆは、イベントの発生タイミングを基準として、表出用の算出条件を用いて、接触動作の開始タイミングを算出するためのプログラムである。動作パターン設定プログラム３０２ｇは、表出用の感情の種類に応じて、表出用の動作パターンを設定するためのプログラムである。

図示は省略するが、プログラム記憶領域３０２には、人間がロボット１２に対して発話した内容をＣＰＵ５０が認識するための音声認識プログラム、音声合成データに従って合成した音声をスピーカ６８に出力するための音声合成プログラム、ロボット１２を制御するための他のプログラム等が記憶される。

ＲＡＭ５４のデータ記憶領域３０４には、種々のデータが記憶される。人位置データ３０４ａは、人位置検出プログラム３０２ｂに従って検出または取得される接触動作の目標となる対象者の所定部位の３次元位置のデータである。イベントデータ３０４ｂは、イベントデータ取得プログラム３０２ｄによって取得されるデータであって、イベントの発生タイミングのデータおよびイベントにおいて表出すべき表出用の感情のデータを含む。算出条件データ３０４ｃは、ロボット１２が表出可能な感情毎に予め設定され、イベントの発生タイミングに基づいて開始タイミングを算出するための算出条件のデータである。動作パターンデータ３０４ｄは、ロボット１２が表出可能な感情のそれぞれに対応して用意されている動作パターンのデータである。

図示は省略するが、データ記憶領域３０４には、マイク７０から入力される音声データ、音声認識のために必要な辞書などのデータなども記憶される。また、データ記憶領域３０４には、ロボット１２の制御に必要なコミュニケーション行動を実行するための制御情報などの他のデータが記憶され、さらに、ＣＰＵ５０の動作に必要な、タイマ、レジスタ、フラグなどが設けられる。

図１１は図５に示すＣＰＵ５０のロボット制御処理の一例を示すフロー図である。このロボット制御処理は、コンテンツ提示装置１６によってコンテンツの再生されたことに合わせて開始される。図１１に示すように、ＣＰＵ５０は、ロボット制御処理を開始すると、ステップＳ１で、イベントデータ取得プログラム３０２ｄに従って、コンテンツ提示装置１６から送信されたイベントデータを取得（受信）して、ステップＳ３で、ステップＳ１で取得したイベントデータに含まれる次（直後）のイベントの発生タイミングおよび表出用の感情を取得する。

続いて、ステップＳ５で、動作パターン設定プログラム３０２ｇに従って、ＲＡＭ５４のデータ記憶領域３０４に記憶された動作パターンデータ３０４ｄを読み出して、ロボット１２が表出可能な感情のそれぞれに対応して用意されている動作パターンの中から、表出用の感情に応じた表出用の動作パターンを設定する。

続いて、ステップＳ７で、算出条件設定プログラム３０２ｅに従って、ＲＡＭ５４のデータ記憶領域３０４に記憶された算出条件データ３０４ｃを読み出して、ロボット１２が表出可能な感情毎に予め設定された算出条件の中から、表出用の感情に応じた表出用の算出条件を設定する。

続いて、ステップＳ９で、タイミング算出プログラム３０２ｆに従って、イベントの発生タイミングを基準として、表出用の算出条件を用いて開始タイミングを算出し、ステップＳ１１で、ステップＳ９で算出された開始タイミングに到達したかどうかを判断する。

ステップＳ１１で“ＮＯ”であれば、つまり、開始タイミングに到達していないと判断した場合は、同じステップＳ１１に戻る。一方、ステップＳ１１で“ＹＥＳ”であれば、つまり、開始タイミングに到達したと判断した場合は、ステップＳ１３で、表出用の動作パターンに従って接触動作（対象者にタッチする動作）を実行する。ここでは、アクチュエータ制御回路５８に指令値を与え、各アクチュエータＡ１−Ａｎの動作を制御して、接触動作を行う目標となる対象者の所定部位に手部３８が触れるように、手部３８を変位させる。

続いて、ステップＳ１５で、接触動作を終了するかどうかを判断する。ステップＳ１５で“ＮＯ”であれば、つまり、接触動作を終了しないと判断した場合は、ステップＳ１３に戻る。一方、ステップＳ１５で“ＹＥＳ”であれば、つまり、接触動作を終了すると判断した場合は、ステップＳ１７で、ステップＳ１で取得したイベントデータに基づいて、次のイベントが存在するかどうかを判断する。

ステップＳ１７で“ＹＥＳ”であれば、つまり、次のイベントが存在すると判断した場合は、ステップＳ３に戻る。一方、ステップＳ１７で“ＮＯ”であれば、つまり、次のイベントが存在しないと判断した場合は、ロボット制御処理を終了する。

この第１実施例では、複数の感情のそれぞれに対応して、人が感情を表出する際の動きを測定する実験結果に基づいて予め設定される複数の算出条件を用意しておき、所定の感情を表出するイベントが発生する際に、表出用の感情に対応する表出用の算出条件を用いて、接触動作の開始タイミングを算出し、算出された開始タイミングに到達したときに、接触動作を行う。このため、接触動作を通じてロボットが感情を自然に表出することができる。

なお、上述の各実施例で示した具体的な数値は単なる例示であり、限定される必要は無く、実際の製品および製品が適用される環境などに応じて適宜変更可能である。

また、上述の実施例で示したロボット制御処理は、同じ結果が得られるのであれば、各ステップが処理される順番を変更してもよい。

さらに、ロボット１２および位置検出装置１８が一体的に構成されていてもよい。この場合、ロボット１２の眼カメラ６６が位置検出装置１８の距離画像センサとして機能する。

さらにまた、ロボット１２は、対象者と対面で座った状態で、コンテンツを対象者と共に視聴しながら、コミュニケーション行動を行うようにしても良い。

また、上述の実施例では、ロボット１２は対象者の手（右手）に触れる接触動作を行うことによって感情を表出するようにしたが、対象者の手以外の部位、たとえば、腕、胴体等に触れる接触動作を行うことによって感情を表出するようにしてもよい。

１０ …システム
１２ …アンドロイドロボット
１４ …ネットワーク
１６ …コンテンツ提示装置
１８ …位置検出装置
２６ …肩部
３０ …上肢部
３６ …手首部
３８ …手部
４０ …指部
５０ …ＣＰＵ
５４ …ＲＡＭ
５６ …通信モジュール
５８ …アクチュエータ制御回路

Claims (6)

1. 少なくとも頭部、胴体部、腕部および手部を含み、近くに存在する人に前記手部によって触れる接触動作を行う人型のコミュニケーションロボットであって、
   前記コミュニケーションロボットが表出可能な複数の感情に含まれる所定の感情を表出するイベントが発生する発生タイミングを取得する第１取得手段、
   前記イベントにおいて表出する表出用の感情を取得する第２取得手段、
   前記複数の感情のそれぞれに対応して予め設定される、前記接触動作の開始タイミングを算出するための複数の算出条件の中から、前記第２取得手段で取得された前記表出用の感情に対応する表出用の算出条件を設定する第１設定手段、
   前記第１取得手段で取得された前記発生タイミングを基準として、前記第１設定手段で設定された前記表出用の算出条件を用いて、前記開始タイミングを算出する算出手段、および
   前記算出手段で算出された前記開始タイミングに到達したときに、前記手部を変位させて、前記接触動作を行う動作制御手段を備える、コミュニケーションロボット。
2. 前記複数の算出条件のそれぞれは、前記複数の感情のそれぞれに応じて予め設定される平均および分散を含み、
   前記算出手段は、前記表出用の算出条件に含まれる平均および分散をパラメータとする確率密度関数に従う乱数に応じて前記開始タイミングを算出する、請求項１記載のコミュニケーションロボット。
3. 前記コミュニケーションロボットは、視覚的および／または聴覚的に認識可能なコンテンツを近くに存在する人と並んで視聴する際に前記接触動作を行い、
   前記イベントは、前記コンテンツのクライマックスを含む、請求項１または２記載のコミュニケーションロボット。
4. 前記接触動作は、前記複数の感情のそれぞれに対応する複数の動作パターンを含み、
   前記複数の動作パターンの中から、前記第２取得手段で取得された前記表出用の感情に対応する表出用の動作パターンを設定する第２設定手段をさらに備え、
   前記動作制御手段は、前記開始タイミングに到達したときに、前記表出用の動作パターンに従って前記接触動作を行う、請求項１から３までのいずれかに記載のコミュニケーションロボット。
5. 少なくとも頭部、胴体部、腕部および手部を含み、近くに存在する人に前記手部によって触れる接触動作を行う人型のコミュニケーションロボットのコンピュータによって実行される制御プログラムであって、前記コンピュータを、
   前記コミュニケーションロボットが表出可能な複数の感情に含まれる所定の感情を表出するイベントが発生する発生タイミングを取得する第１取得手段、
   前記イベントにおいて表出する表出用の感情を取得する第２取得手段、
   前記複数の感情のそれぞれに対応して予め設定される、前記接触動作の開始タイミングを算出するための複数の算出条件の中から、前記第２取得手段で取得された前記表出用の感情に対応する表出用の算出条件を設定する第１設定手段、
   前記第１取得手段で取得された前記発生タイミングを基準として、前記第１設定手段で設定された前記表出用の算出条件を用いて、前記開始タイミングを算出する算出手段、および
   前記算出手段で算出された前記開始タイミングに到達したときに、前記手部を変位させて、前記接触動作を行う動作制御手段として機能させる、制御プログラム。
6. 少なくとも頭部、胴体部、腕部および手部を含み、近くに存在する人に前記手部によって触れる接触動作を行う人型のコミュニケーションロボットの制御方法であって、
   前記コミュニケーションロボットが表出可能な複数の感情に含まれる所定の感情を表出するイベントが発生する発生タイミングを取得する第１取得ステップ、
   前記イベントにおいて表出する表出用の感情を取得する第２取得ステップ、
   前記複数の感情のそれぞれに対応して予め設定される、前記接触動作の開始タイミングを算出するための複数の算出条件の中から、前記第２取得ステップで取得された前記表出用の感情に対応する表出用の算出条件を設定する第１設定ステップ、
   前記第１取得ステップで取得された前記発生タイミングを基準として、前記第１設定ステップで設定された前記表出用の算出条件を用いて、前記開始タイミングを算出する算出ステップ、および
   前記算出ステップで算出された前記開始タイミングに到達したときに、前記手部を変位させて、前記接触動作を行う動作制御ステップを含む、制御方法。

Images