JP2004227276A

JP2004227276A - 人間のコミュニケーション行動記録システムおよび方法

Info

Publication number: JP2004227276A
Application number: JP2003014158A
Authority: JP
Inventors: Takayuki Kanda; 崇行神田; Hiroshi Ishiguro; 浩石黒; Tomohiro Imai; 倫太今井; Tetsuo Ono; 哲雄小野; Kiyoshi Kogure; 潔小暮
Original assignee: ATR Advanced Telecommunications Research Institute International
Current assignee: ATR Advanced Telecommunications Research Institute International
Priority date: 2003-01-23
Filing date: 2003-01-23
Publication date: 2004-08-12

Abstract

【構成】コミュニケーション行動記録システム１０は、コミュニケーションロボット１２を含む。ロボット１２は、人間に対して、身振りおよび音声の少なくとも一方を含む行動を提示する。そして、このロボット１２による提示行動に対しての人間の反応が記録される。人間の身体動作は複数のカメラ１６を含むモーションキャプチャシステムによって取得され、人間の発話はマイク１８から音声データとして取得される。取得した人間の行動データは、ロボット１２の提示した行動に対応付けて人間行動ＤＢ２４に格納される。ロボット１２は、常に完全に同一の行動を提示することができる。したがって、ロボット１２によって一定の状況を作り出すことができる。
【効果】一定の状況における人間のコミュニケーション行動を記録することができる。
【選択図】図２

Description

【０００１】
【産業上の利用分野】
この発明は人間のコミュニケーション行動記録システムおよび方法に関し、特にたとえばコミュニケーションにおける人間の身振り（身体動作）および発話等を含む行動を記録する、人間のコミュニケーション行動記録システムおよび方法に関する。
【０００２】
【従来の技術】
従来、たとえばモニタに表示される３次元アニメーションでのキャラクタの動きをリアルに表現するために、あるいは人間工学の研究等において、人間の実際の身振りを３次元データとして取得するモーションキャプチャシステムはよく知られている（たとえば特許文献１および２参照）。
【０００３】
【特許文献１】
特開平７−１８５１３１号公報
【特許文献２】
特開２００１−１３４７６７号公報
【０００４】
【発明が解決しようとする課題】
従来のモーションキャプチャにおいては、人間が基本的に単独で行っているたとえば舞踊や格闘等の身体動作をキャプチャするようにしている。ところで、人間のコミュニケーション動作を記録することを考えると、その被験者（キャプチャされる人間）に対して人間に相手をさせることが考えられる。しかしながら、その対話相手たる人間は（たとえプロフェッショナルの俳優を雇ったとしても）常に一定の動作を行うことは不可能であり、どうしても動作にばらつきが生じてしまう。したがって、その対話相手によって被験者の身体動作に微妙な違いを生じさせてしまうという問題がある。つまり、対話相手が人間の場合、常に一定の状況を作り出すことができないので、正確なコミュニケーション行動を記録することが困難である。
【０００５】
それゆえに、この発明の主たる目的は、一定状況下で人間のコミュニケーション行動を記録することができる、人間のコミュニケーション行動記録システムおよび方法を提供することである。
【０００６】
【課題を解決するための手段】
第１の発明は、人間のコミュニケーション行動を記録するためのコミュニケーション行動記録システムであって、身振りおよび音声の少なくとも一方を含む行動を人間に対して提示するコミュニケーションロボット、およびコミュニケーションロボットの提示した行動に反応する人間の行動情報を取得する取得手段を備える、コミュニケーション行動記録システムである。
【０００７】
第２の発明は、人間のコミュニケーション行動を記録するための方法であって、（ａ）コミュニケーションロボットによって、身振りおよび音声の少なくとも一方を含む行動を人間に対して提示し、そして、（ｂ）コミュニケーションロボットによって提示された行動に反応する人間の行動に関する行動情報を取得する、コミュニケーション行動記録方法である。
【０００８】
【作用】
コミュニケーション行動記録システムは、コミュニケーションロボット（以下、単に「ロボット」ともいう。）を含む。ロボットは、人間に対して、身振りおよび音声の少なくとも一方を含む行動を提示する。人間は、このロボットによる提示行動に対して何らかの反応を示すはずであり、取得手段によって、この人間による反応すなわちコミュニケーション行動に関する行動情報が取得される。ロボットは、人間とは異なり、どのような対話相手や時間等であっても、常に完全に同一の行動を提示することができる。したがって、ロボットによって一定の状況を作り出すことができるので、一定の状況における人間のコミュニケーション行動を記録することができる。
【０００９】
また、取得手段によって取得した行動情報は、記憶手段によって、ロボットの提示した行動に対応付けて格納するようにしてよい。これによって、ロボットの特定行動と対応付けられた人間のコミュニケーション行動データベースを得ることができる。
【００１０】
また、人間は身体動作を用いてコミュニケーション行動をするので、取得手段は動作取得手段を含んで構成されてよい。この動作取得手段によって、人間の行動情報として人間の身体の動作に関する身体動作情報が取得される。
【００１１】
さらに、動作取得手段は、複数のカメラ、位置検出手段、および算出手段を含んで構成されてよい。複数のカメラはコミュニケーションロボットおよび人間に対して互いに異なる方向となるように設けられる。位置検出手段は、複数のカメラから得られた画像に基づいて、人間の身体の特徴点の位置情報を検出する。この特徴点は、身体の動作を特定可能な部分に相当し、たとえば頭頂，首，肩，肘等であり得る。そして、算出手段によって、位置情報に基づいて人間の身体の特定部位の動作に関する部位動作情報が算出される。この部位動作情報は、たとえば首関節，肩関節，肘関節等の特定部位の回転角度情報であり得る。これによって、人間の身体動作を把握することができる。
【００１２】
また、人間は発話を用いてコミュニケーション行動をするので、取得手段は発話取得手段を含んで構成されてよい。この発話取得手段によって、人間の行動情報としての発話情報が取得される。
【００１３】
さらにまた、ロボットに対して提示情報を送信する送信手段を備えるようにしてもよい。この場合には、ロボットは、送信手段によって送信された提示情報を受信する受信手段を含んで構成される。そして、ロボットは、受信手段によって受信した提示情報に従った行動を提示する。
【００１４】
【発明の効果】
この発明によれば、コミュニケーションロボットが、人間とは異なり、一定の状況を作り出すことができるので、一定状況下での人間のコミュニケーション行動を記録することができる。記録されたデータは、たとえば人間同士のコミュニケーションのメカニズムの解明やコミュニケーションロボットの開発など幅広い応用が可能である。
【００１５】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【００１６】
【実施例】
図１を参照して、この実施例のコミュニケーション行動記録システム（以下、単に「システム」ともいう。）１０は、コミュニケーションにおける人間の行動を記録するためのものであり、コミュニケーションロボット（以下、単に「ロボット」ともいう。）１２を含む。
【００１７】
ロボット１２は、人間１４に対して身振り（ジェスチャ）および音声の少なくとも一方を含んだ行動を提示して、その意図を伝達し、人間１４とコミュニケーションを図ろうとする。したがって、人間１４は、このロボット１２の行動に対して身体動作および発話の少なくとも一方を含んだ何らかの反応を示すこととなる。つまり、このシステム１０では、ロボット１２によって先に人間１４に対して行動が提示され、そして、このロボット１２の提示行動に起因して誘発された人間１４の反応すなわちコミュニケーション行動が記録される。
【００１８】
人間１４のコミュニケーション行動のうち身体動作は、この実施例では公知のモーションキャプチャシステムを適用することによって取得される。具体的には、複数のカメラ１６がロボット１２および人間１４に対して互いに異なる方向となる所定位置に配置される。たとえば、１２台のカメラ１６が、ロボット１２および人間１４の頭頂部よりも高い位置でこれらを取り囲むように部屋の天井付近の壁等に設置される。なお、原理的にはカメラ１６は３台あればよい。これにより、互いに異なる複数の方向からロボット１２および人間１４を俯瞰するような映像（動画像）が撮像され、その所定周期毎の画像データ（時系列）が取得される。
【００１９】
また、人間１４のコミュニケーション行動のうち発話は、部屋内の適宜な位置に設けられたマイク１８から所定周期毎の音声データ（時系列）として取得される。複数のカメラ１６およびマイク１８は互いに同期している。なお、マイク１８は人間１４の口の近辺たとえば胸等に取り付けられてもよい。
【００２０】
図２には、このシステム１０の全体的な構成を示すブロック図が示される。図２に示すように、システム１０は行動記録処理コンピュータ２０を含む。この行動記録処理コンピュータ２０は、たとえば、ＰＣやワークステーションのようなコンピュータからなり、図示しないＣＰＵ，ＲＡＭ，ＨＤＤ，表示装置，入力装置および通信装置等を備えている。この行動記録処理を実行するための各種プログラムおよびデータはたとえば主記憶装置としてのＨＤＤに格納されていて、ＣＰＵはこのプログラムに従って処理を実行する。通信装置によってこの行動記録処理コンピュータ２０はロボット１２との間でデータ通信可能にされる。たとえば、これら行動記録処理コンピュータ２０およびロボット１２は無線ＬＡＮを介して接続される。
【００２１】
行動記録処理コンピュータ２０には、複数のカメラ１６，１６，１６が図示しないそれぞれのＡ／Ｄ変換器を介して接続されるとともに、マイク１８も図示しないＡ／Ｄ変換器を介して接続される。なお、この図２ではカメラ１６を３台のみ示している。
【００２２】
また、行動記録処理コンピュータ２０には、ロボット１２に所定の行動を実行させるための情報が格納されているロボット行動データベース（ＤＢ）２２、および取得した人間のコミュニケーション行動を格納するための人間行動ＤＢ２４がそれぞれ接続される。
【００２３】
行動記録処理コンピュータ２０は、ロボット行動ＤＢ２２から所望の行動データを読み出してロボット１２に送信する。ロボット１２は、行動データを受信するとその行動データに従った行動を実行することによって、人間にコミュニケーション行動を提示することができる。
【００２４】
ここで、この実施例で適用されるロボット１２について説明する。図３を参照して、ロボット１２は、台車２８を含み、この台車２８の下面には、このロボット１２を自律移動させる車輪３０が設けられる。この車輪３０は、車輪モータ（図４において参照番号「８６」で示す。）によって駆動され、台車２８すなわちロボット１２を前後左右任意の方向に動かすことができる。なお、図示しないが、この台車２８の前面には、衝突センサ（ロボット１２の内部構成を示す図４において、参照番号「９４」で示す。）が取り付けられ、この衝突センサは、台車２８への人や他の障害物の接触を検知する。そして、ロボット１２の移動中に障害物との接触を検知すると、直ちに車輪３０の駆動を停止してロボット１２の移動を急停止させて衝突を未然に防ぐ。
【００２５】
なお、ロボット１２の背の高さは、この実施例では、人、特に子供に威圧感をあたえることがないように、１００ｃｍ程度とされている。ただし、この背の高さは任意に変更可能である。
【００２６】
台車２８の上には、多角形柱のセンサ取付パネル３２が設けられ、このセンサ取付パネル３２の各面には、超音波距離センサ３４が取り付けられる。この超音波距離センサ３４は、取付パネル３２すなわちロボット１２の周囲の主として人との間の距離を計測するものである。
【００２７】
台車２８の上には、さらに、下部が上述の取付パネル３２に囲まれて、ロボット１２の胴体が直立するように取り付けられる。この胴体は下部胴体３６と上部胴体３８とから構成され、これら下部胴体３６および上部胴体３８は、連結部４０によって、連結される。連結部４０には、図示しないが、昇降機構が内蔵されていて、この昇降機構を用いることによって、上部胴体３８の高さすなわちロボット１２の高さを変化させることができる。昇降機構は、後述のように、腰モータ（図４において参照番号「８４」で示す。）によって駆動される。上で述べたロボット１２の身長１００ｃｍは、上部胴体３８をそれの最下位置にしたときの値である。したがって、ロボット１２の身長は１００ｃｍ以上にすることができる。
【００２８】
上部胴体３８のほぼ中央には、１つの全方位カメラ４２と、１つのマイク４４とが設けられる。全方位カメラ４２は、ロボット１２の周囲を撮影するもので、後述の眼カメラ６４と区別される。マイク４４は、周囲の音、とりわけ人の声を取り込む。
【００２９】
上部胴体３８の両肩には、それぞれ、肩関節４６Ｒおよび４６Ｌによって、上腕４８Ｒおよび４８Ｌが取り付けられる。肩関節４６Ｒおよび４６Ｌは、それぞれ３軸の自由度を有する。すなわち、肩関節４６Ｒは、Ｘ軸，Ｙ軸およびＺ軸のそれぞれの軸廻りにおいて上腕４８Ｒの角度を制御できる。Ｙ軸は、上腕４８Ｒの長手方向（または軸）に平行な軸であり、Ｘ軸およびＺ軸は、そのＹ軸に、それぞれ異なる方向から直交する軸である。肩関節４６Ｌは、Ａ軸，Ｂ軸およびＣ軸のそれぞれの軸廻りにおいて上腕４８Ｌの角度を制御できる。Ｂ軸は、上腕４８Ｌの長手方向（または軸）に平行な軸であり、Ａ軸およびＣ軸は、そのＢ軸に、それぞれ異なる方向から直交する軸である。
【００３０】
上腕４８Ｒおよび４８Ｌのそれぞれの先端には、肘関節５０Ｒおよび５０Ｌを介して、前腕５２Ｒおよび５２Ｌが取り付けられる。肘関節５０Ｒおよび５０Ｌは、それぞれ、Ｗ軸およびＤ軸の軸廻りにおいて、前腕５２Ｒおよび５２Ｌの角度を制御できる。
【００３１】
なお、上腕４８Ｒおよび４８Ｌならびに前腕５２Ｒおよび５２Ｌ（いずれも図３）の変位を制御するＸ，Ｙ，Ｚ，Ｗ軸およびＡ，Ｂ，Ｃ，Ｄ軸では、「０度」がホームポジションであり、このホームポジションでは、上腕４８Ｒおよび４８Ｌならびに前腕５２Ｒおよび５２Ｌは下方向に向けられる。
【００３２】
また、図示しないが、上部胴体３８の肩関節４６Ｒおよび４６Ｌを含む肩の部分や上述の上腕４８Ｒおよび４８Ｌならびに前腕５２Ｒおよび５２Ｌには、それぞれ、タッチセンサが設けられていて、これらのタッチセンサは、人がロボット１２のこれらの部位に接触したかどうかを検知する。これらのタッチセンサも図４において参照番号９２で包括的に示す。
【００３３】
前腕５２Ｒおよび５２Ｌのそれぞれの先端には、手に相当する球体５４Ｒおよび５４Ｌがそれぞれ固定的に取り付けられる。なお、この球体５４Ｒおよび５４Ｌに代えて、この実施例のロボット１２と異なり指の機能が必要な場合には、人の手の形をした「手」を用いることも可能である。
【００３４】
なお、ロボット１２の形状・寸法等は適宜に設定されるが、他の実施例では、たとえば、上部胴体３８は、前面，背面，右側面，左側面，上面および底面を含み、右側面および左側面は表面が斜め前方に向くように形成してもよい。つまり、前面の横幅が背面の横幅よりも短く、上部胴体３８を上から見た形状が台形になるように形成されてもよい。このような場合、肩関節４６Ｒおよび４６Ｌは、右側面および左側面に、その表面が左右両側面とそれぞれ平行である左右の支持部を介して取り付けられる。そして、上腕４８Ｒおよび上腕４８Ｌの回動範囲は、これら左右側面または支持部の表面（取り付け面）によって規制され、上腕４８Ｒおよび４８Ｌは取り付け面を超えて回動することはない。しかし、左右側面の傾斜角，Ｂ軸とＹ軸との間隔，上腕４８Ｒおよび４８Ｌの長さ，ならびに前腕５２Ｒおよび５２Ｌの長さ等を適宜に設定すれば、上腕４８Ｒおよび４８Ｌは前方を越えてより内側まで回動できるので、たとえＷ軸およびＤ軸による腕の自由度がなくてもロボット１２の腕は前方で交差できる。したがって、腕の自由度が少ない場合でも正面に位置する人と抱き合うなどの密接なコミュニケーションを図ることができる。
【００３５】
上部胴体３８の中央上方には、首関節５６を介して、頭部５８が取り付けられる。この首関節５６は、３つの自由度を有し、Ｓ軸，Ｔ軸およびＵ軸の各軸廻りに角度制御可能である。Ｓ軸は首から真上に向かう軸であり、Ｔ軸およびＵ軸は、それぞれ、このＳ軸に対して異なる方向で直交する軸である。頭部５８には、人の口に相当する位置に、スピーカ６０が設けられる。スピーカ６０は、ロボット１２が、それの周囲の人に対して音声または声によってコミュニケーションを図るために用いられる。ただし、スピーカ６０は、ロボット１２の他の部位たとえば胴体に設けられてもよい。
【００３６】
また、頭部５８には、目に相当する位置に眼球部６２Ｒおよび６２Ｌが設けられる。眼球部６２Ｒおよび６２Ｌは、それぞれ眼カメラ６４Ｒおよび６４Ｌを含む。なお、右の眼球部６２Ｒおよび左の眼球部６２Ｌをまとめて眼球部６２といい、右の眼カメラ６４Ｒおよび左の眼カメラ６４Ｌをまとめて眼カメラ６４ということもある。眼カメラ６４は、ロボット１２に接近した人の顔や他の部分ないし物体等を撮影してその映像信号を取り込む。
【００３７】
なお、上述の全方位カメラ４２および眼カメラ６４のいずれも、たとえばＣＣＤやＣＭＯＳのように固体撮像素子を用いるカメラであってよい。
【００３８】
たとえば、眼カメラ６４は眼球部６２内に固定され、眼球部６２は眼球支持部（図示せず）を介して頭部５８内の所定位置に取り付けられる。眼球支持部は、２軸の自由度を有し、α軸およびβ軸の各軸廻りに角度制御可能である。α軸およびβ軸は頭部５８に対して設定される軸であり、α軸は頭部５８の上へ向かう方向の軸であり、β軸はα軸に直交しかつ頭部５８の正面側（顔）が向く方向に直交する方向の軸である。この実施例では、頭部５８がホームポジションにあるとき、α軸はＳ軸に平行し、β軸はＵ軸に平行するように設定されている。このような頭部５８において、眼球支持部がα軸およびβ軸の各軸廻りに回転されることによって、眼球部６２ないし眼カメラ６４の先端（正面）側が変位され、カメラ軸すなわち視線方向が移動される。
【００３９】
なお、眼カメラ６４の変位を制御するα軸およびβ軸では、「０度」がホームポジションであり、このホームポジションでは、図３に示すように、眼カメラ６４のカメラ軸は頭部５８の正面側（顔）が向く方向に向けられ、視線は正視状態となる。
【００４０】
図４には、ロボット１２の内部構成を示すブロック図が示される。図４に示すように、このロボット１２は、全体の制御のためにマイクロコンピュータまたはＣＰＵ６６を含み、このＣＰＵ６６には、バス６８を通して、メモリ７０，モータ制御ボード７２，センサ入力／出力ボード７４および音声入力／出力ボード７６が接続される。
【００４１】
メモリ７０は、図示しないが、ＲＯＭやＲＡＭを含み、ＲＯＭにはこのロボット１２の制御プログラムおよびデータ等が予め書き込まれている。ＲＡＭは、一時記憶メモリとして用いられるとともに、ワーキングメモリとして利用され得る。
【００４２】
モータ制御ボード７２は、たとえばＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）で構成され、各腕や頭部および眼球部等の各軸モータを制御する。すなわち、モータ制御ボード７２は、ＣＰＵ６６からの制御データを受け、右肩関節４６ＲのＸ，ＹおよびＺ軸のそれぞれの角度を制御する３つのモータと右肘関節５０Ｒの軸Ｗの角度を制御する１つのモータとの計４つのモータ（図４ではまとめて、「右腕モータ」として示す。）７８の回転角度を調節する。また、モータ制御ボード７２は、左肩関節４６ＬのＡ，ＢおよびＣ軸のそれぞれの角度を制御する３つのモータと左肘関節５０ＬのＤ軸の角度を制御する１つのモータとの計４つのモータ（図４ではまとめて、「左腕モータ」として示す。）８０の回転角度を調節する。モータ制御ボード７２は、また、頭部５８のＳ，ＴおよびＵ軸のそれぞれの角度を制御する３つのモータ（図４ではまとめて、「頭部モータ」として示す。）８２の回転角度を調節する。モータ制御ボード７２は、また、腰モータ８４、および車輪３０を駆動する２つのモータ（図４ではまとめて、「車輪モータ」として示す。）８６を制御する。さらに、モータ制御ボード７２は、右眼球部６２Ｒのα軸およびβ軸のそれぞれの角度を制御する２つのモータ（図４ではまとめて、「右眼球モータ」として示す。）８８の回転角度を調節し、また、左眼球部６２Ｌのα軸およびβ軸のそれぞれの角度を制御する２つのモータ（図４ではまとめて、「左眼球モータ」として示す。）９０の回転角度を調節する。
【００４３】
なお、この実施例の上述のモータは、車輪モータ８６を除いて、制御を簡単化するためにそれぞれステッピングモータまたはパルスモータであるが、車輪モータ８６と同様に、直流モータであってよい。
【００４４】
センサ入力／出力ボード７４も、同様に、ＤＳＰで構成され、各センサやカメラからの信号を取り込んでＣＰＵ６６に与える。すなわち、超音波距離センサ３４の各々からの反射時間に関するデータがこのセンサ入力／出力ボード７４を通して、ＣＰＵ６６に入力される。また、全方位カメラ４２からの映像信号が、必要に応じてこのセンサ入力／出力ボード７４で所定の処理が施された後、ＣＰＵ６６に入力される。眼カメラ６４からの映像信号も、同様にして、ＣＰＵ６６に与えられる。なお、この図４では、図３で説明したタッチセンサは、まとめて「タッチセンサ９２」として表され、それらのタッチセンサ９２からの信号がセンサ入力／出力ボード７４を介して、ＣＰＵ６６に与えられる。
【００４５】
スピーカ６０には音声入力／出力ボード７６を介して、ＣＰＵ６６から、合成音声データが与えられ、それに応じて、スピーカ６０からはそのデータに従った音声または声が出力される。そして、マイク４４からの音声入力が、音声入力／出力ボード７６を介して、ＣＰＵ６６に取り込まれる。
【００４６】
通信ＬＡＮボード９６も、同様に、ＤＳＰで構成され、ＣＰＵ６６から送られた送信データを無線装置９８に与え、無線装置９８から送信データを送信させる。また、通信ＬＡＮボード９６は無線装置９８を介してデータを受信し、受信データをＣＰＵ６６に与える。
【００４７】
このシステム１０では、オペレータは被験者１４に対して提示したい行動をロボット行動ＤＢ２２から検索して選択でき、ロボット１２に提示情報としての行動データを送信することができる。ロボット１２に送信される行動データは、たとえば、その各関節部分に設定された軸周りの角度データおよび音声データである。たとえば、ロボット１２に“頭部５８を下に向けて、「おはよう」と発話する”という行動（この行動を「朝の挨拶」というものとする。）を提示させる場合には、Ｓ軸＝０度、Ｔ軸＝０度、Ｕ軸＝−４５度、Ｘ軸＝０度、Ｙ軸＝０度、Ｚ軸＝０度、Ｗ軸＝０度、Ａ軸＝０度、Ｂ軸＝０度、Ｃ軸＝０度、Ｄ軸＝０度、α軸＝０度、β軸＝０度というような角度データと、「おはよう」という音声データとが、ロボット行動ＤＢ２２から読み出されて、ロボット１２に送信される。
【００４８】
ロボット１２は、行動データを受信すると、その角度データに従って各モータを制御するとともに、その音声データに従った音声をスピーカ６０から出力する。つまり、この「朝の挨拶」行動が人間１４に提示される。
【００４９】
なお、他の実施例では、行動記録処理コンピュータ２０からは行動データに対応付けられたインデックスないしＩＤのみを送信するようにしてもよい。つまり、ロボット１２のメモリ７０に、ロボット行動ＤＢ２２に格納されているデータに相当する複数の行動データ（角度データおよび音声データ）を予め格納しておくとともに、ロボット１２には、インデックスを受信したとき、そのインデックスに対応する行動データをメモリ７０から読み出させることによって、その行動データを実行させるようにしてもよい。
【００５０】
人間１４は、提示されたロボット１２の行動に対して、何らかの反応を示すはずである。上述のロボット１２による「朝の挨拶」に対しては、たとえば右手を上げて「おはよう」と発話するかもしれない。
【００５１】
そして、このようなロボット１２によって提示された行動に対する人間１４の身体動作は、上述のように、モーションキャプチャシステムによって取得され、人間１４の発話はマイク１８から取得される。これらの取得は、所定タイミングで（たとえば行動データの送信後直ちに）開始され、ロボット１２の行動ごとに予め定めておいた所定時間にわたって行われる。
【００５２】
この実施例では、光学式のモーションキャプチャシステムが適用される。図５に示すように、人間１４には、複数のマーカ２６（図５では「●」で示される）が、たとえば頭頂，眼の上，首，肩，肘，手先（手首）等のような人間１４の動作を特徴付ける特徴点すなわち人間１４の動作を特定可能な部分に取り付けられる。なお、このように頭頂と共に両目の上にマーカ２６をそれぞれ設定することによって顔の向きを特定できる。
【００５３】
なお、この実施例では、ロボット１２にも、同様に、その動作を特定可能な特徴点（頭頂，眼の上，首，肩，肘，手先等）にマーカ２６が取り付けられていて、したがって、ロボット１２の提示した実際の動作も検出される。
【００５４】
マーカ２６は、カラーパッド、可視光ＬＥＤ，赤外線ＬＥＤ，電球等の発光部材や赤外線反射シール等の反射部材などが適用され得る。したがって、カメラ１６は、マーカ２６の種類に応じてカラービデオカメラまたは赤外線カメラ等の適宜なものが使用される。
【００５５】
なお、マーカ２６の取付方法は任意であり、身体に直接取り付けてもよいし、予め特定箇所にマーカ２６が取り付けられたウェア（服，帽子等）やバンド等を装着するようにしてもよい。
【００５６】
このようなマーカ２６の装着された人間１４およびロボット１２によって行われるコミュニケーション行動が複数のカメラ１６によって撮像され、それぞれのカメラ１６からの時系列の画像データが取得される。取得した画像データの画像処理によって、その画像データにおけるマーカ２６の取付点の２次元座標データが抽出される。そして、その２次元座標データからマーカ取付点（特徴点）の３次元座標データ（時系列）が三角測量の原理によって算出される。
【００５７】
特徴点の位置情報としての３次元座標データは、サンプリング時点ｔにおいて、たとえば部屋の床面をｘｙ平面としたｘｙｚ直交座標系における位置座標として検出される。図６には、検出された３次元座標データに基づいて、人間１４およびロボット１２をワイヤーフレームモデルで描画した場合の図が示される。この図６では「○」が特徴点に相当する。
【００５８】
さらに、特徴点の３次元座標データに基づいて、たとえば首関節，肩関節および肘関節等の特定部位に設定されたローカルな座標系における回転角度データ（時系列）が算出される。この角度データは、人間の身体の特定部位の動作に関する部位動作情報に相当する。特定部位の座標系は、人間１４に対して、たとえば上述したロボット１２において設定されたＳ，Ｔ，Ｕ軸、Ｘ，Ｙ，Ｚ軸、Ｗ軸，Ａ，Ｂ，Ｃ軸、Ｄ軸（図３）と同様に設定される。つまり、図７に示すように、首関節においてＳ軸Ｔ軸Ｕ軸が設定され、右肩関節においてＸ軸Ｙ軸Ｚ軸が設定され、右肘関節においてＷ軸が設定され、左肩関節においてＡ軸Ｂ軸Ｃ軸が設定され、左肘関節においてＤ軸が設定される。したがって、この角度データ（Ｓ（ｔ），Ｔ（ｔ），…）によって、頭部，上腕および前腕等のような部位の動きが把握される。
【００５９】
また、マイク１８から得られた音声データには、ロボット１２および人間１４の両方の発話が含まれるが、ロボット１２の発話のタイミングおよび時間等は予め把握できる。したがって、たとえば取得開始から所定時間経過までの発話をロボット１２の発話と見なし、かつ、所定時間経過後の発話を人間１４のものと見なすことができる。したがって、たとえばロボット１２による発話部分と分離することによって、人間１４の発話データ（時系列）が得られる。
【００６０】
そして、取得された人間１４の身体動作データ（角度データ）および発話データを含むコミュニケーション行動データは、ロボット１２によって提示された行動データに対応付けられて、人間行動ＤＢ２４に格納される。
【００６１】
なお、ここで格納されるロボットの行動データは、ロボット行動ＤＢ２２から取得した行動データそのままでもよいが、この実施例では人間１４の行動とともに、ロボット１２の実際の行動も取得するようにしているので、この取得したロボット１２の実際の身体動作および発話に基づくデータを格納するようにしてよい。このように、ロボット１２の実際の行動に基づく行動データを格納する場合には、ロボット１２と人間１４とのコミュニケーション行動をより正確に記録することができる。
【００６２】
上述のような動作を、行動記録処理コンピュータ２０のＣＰＵは図８に示すフロー図に従って実行する。まずステップＳ１で、たとえばオペレータによる入力装置の操作またはプログラムに基づいて、ロボット１２に起動命令を送信する。ロボット１２では、この起動命令に応じて所定のプログラムが起動されて、たとえば行動記録処理コンピュータ２０からの行動指示を待つ状態にされる。
【００６３】
次に、ステップＳ３で、人間（被験者）１４に提示したいロボット１２の行動データをロボット行動ＤＢ２２から取得してＲＡＭに書き込む。このステップＳ３では、オペレータは、図示しない表示装置に表示された画面上で所望の行動データを検索して、選択することができる。なお、提示したい行動は予めプログラミングによって設定されてもよい。
【００６４】
ステップＳ５で、提示情報としての行動データをロボット１２に送信する。これに応じて、ロボット１２は、受信した行動データに従った行動を実行する。したがって、人間１４に対して、提示すべき行動が提示される。
【００６５】
そして、ステップＳ７で、ロボット１２の行動に対する人間１４の反応データを取得する。具体的には、複数のカメラ１６からの映像を時系列の画像データとしてＲＡＭに書き込むとともに、マイク１８からの発話を時系列の音声データとしてＲＡＭに書き込む。この反応データの取得は、所定のタイミングで開始されて、提示された行動データごとに設定されている所定時間にわたって行われる。また、この実施例では、ロボット１２にもマーカ２６が取り付けられているので、このステップＳ７でロボット１２の身体動作も含んだ画像データが取得されることとなる。
【００６６】
ステップＳ９で、取得した画像データの画像処理等によって、たとえば頭頂，目の上，首，肩，肘，手首等の特徴点（マーカ２６取付点）の位置情報としての３次元座標データ（時系列）を検出する。
【００６７】
続いて、ステップＳ１１で、３次元座標データに基づいて、たとえば首関節，肩関節および肘関節等の特定部位の動作に関する部位動作情報としての回転角度データ（時系列）を算出する。なお、この実施例のステップＳ１１では、人間１４の角度データだけでなく、ロボット１２の角度データも算出される。
【００６８】
そして、ステップＳ１３で、提示したロボット１２の行動データと人間１４の行動データとを対応付けて人間行動ＤＢ２４に格納する。この人間１４の行動データは、ステップＳ７で取得した音声データおよびステップＳ１１で算出した角度データを含む。格納されるロボット１２の行動データは、取得したロボット１２の実際の身体動作に基づいて算出されたデータであってよい。
【００６９】
ステップＳ１５では、人間に提示したい行動が有るか否かを判断する。このステップＳ１５で“ＹＥＳ”であれば、つまり、たとえばオペレータによってさらに提示すべき行動が選択された場合等には、ステップＳ３へ戻って処理を繰返す。これによって、人間１４に対して、再びロボット１２によって他の行動（あるいは同じ行動）が提示され、これに対する人間１４の反応が記録される。
【００７０】
一方、ステップＳ１５で“ＮＯ”であれば、つまり、たとえばオペレータによって終了メニューが選択された場合等には、終了のための処理を実行して、この行動記録処理を終了する。
【００７１】
このようにして、提示される様々な行動に対する人間の行動が記録された人間のコミュニケーション行動データベースを得ることができる。ロボット１２は、人間とは異なり、どの被験者に対しても、あるいは時間や状態等に因らず、常に完全に同一の行動を提示することができる。したがって、このシステム１０によれば、ロボット１２によって一定の状況を作り出すことができるので、一定の状況における人間のコミュニケーション行動を記録することができる。
【００７２】
なお、モーションキャプチャシステムは上述のような光学式のものに限られず、種々の公知のものが適用され得る。たとえば、本願出願人による特許文献２に記載された技術（被験者にマーカを取り付けずに画像解析によって特徴点を抽出する）が適用されてもよいし、あるいは、電磁誘導，曲げセンサによる関節角の計測，加速度および姿勢センサによるものなどが適用されてもよい。
【００７３】
また、上述の実施例では、行動記録処理コンピュータ２０がモーションキャプチャシステムの機能を備えたが、行動記録処理コンピュータ２０は複数のコンピュータで構成されてもよい。たとえば、モーションキャプチャシステムとしての機能は別のコンピュータで実現して、行動記録処理コンピュータ２０はその別のコンピュータからの結果（３次元座標データまたは角度データ）を取得するようにしてもよい。
【００７４】
また、上述の各実施例では、人間１４の特徴点はロボット１２と同様に設定されたが、これらは適宜変更され得る。たとえば、他の実施例では、さらに腰，膝，足首，足先等にも設定されてもよいし、あるいは、顔の表情や視線等を把握可能なマーキングや抽出等を行ってもよい。
【００７５】
また、人間行動ＤＢ２４には、ロボットの行動データとそれに対する人間の行動データとを対応付けて格納しているが、さらに、その行動を起こした人間（被験者）の属性（たとえば大人・子どもの分類，年齢層，性別等）に関する情報も付加して格納するようにしてもよい。この場合には、より詳細な人間のコミュニケーション行動に関するデータベースを作成することができる。
【００７６】
このシステム１０によって記録された人間のコミュニケーション行動データベースは、たとえば人間同士のコミュニケーションのメカニズムの解明やコミュニケーションロボットの開発など幅広い応用が可能である。
【００７７】
具体的には、人間に特定の動作を起こさせるには、その人間とコミュニケートするコミュニケーション相手（コミュニケーションロボット１２）がどのような動作をその人間に示すのがいいのか。たとえば、握手をするという動作をその人間に起こさせたいときは、
（１）握手ができる距離まで近づき、
（２）相手の眼を見ながら右手を相手の右手に向かって差し出し、
（３）「はじめまして」と発声する、
ことなどを試してみる。また、久しぶりに会った友人に対してするときのような、手を高々と挙げて振る動作をさせたいときは、
（１）こちらから手を高々と挙げて手を振る、
（２）「久しぶり、元気にしてた？」と発声する、
ことなどを試みる。
【００７８】
このように一般的なコミュニケーション分野においてロボットに要求されるのは、自然で円滑な情報伝達のためのインタフェースとしての機能であって、介護や教育等の分野での利用が考えられる。上記のような握手をしたり、手を振ったりする反応動作を誘発する行動をロボットが採ることによって、ロボット主導の円滑なコミュニケーションが可能となる。さらに大人・子どもや性別などの人間の属性を絞り込んでその対話相手に適応した行動を提示することによって、より適切な（期待する）反応行動を誘発せしめることができる。
【００７９】
このような人間に特定の動作を起こさせるロボットシステム１００の一例が図９に示されている。この図９に示すように、ロボットシステム１００は、上述したコミュニケーション行動記録システム１０によって作成された人間行動ＤＢ２４と、システム全体の動作を制御する処理コンピュータ１０２と、この処理コンピュータ１０２に無線ＬＡＮ等を介してデータ通信可能に設定されたコミュニケーションロボット１２とから構成されている。
【００８０】
図１０にはこの処理コンピュータ１０２の動作が示される。処理コンピュータ１０２のＣＰＵは、まずステップＳ２１で、たとえばオペレータによる入力装置の操作またはプログラムに基づいて、ロボット１２に起動命令を送信する。ロボット１２では、この起動命令に応じて所定のプログラムが起動されて、たとえば処理コンピュータ１０２からの行動指示を待つ状態にされる。
【００８１】
次に、ステップＳ２３で、人間に取らせたい行動に対応するロボット１２の行動データを人間行動ＤＢ２４から検索する。このステップＳ２３では、オペレータは、図示しない表示装置に表示された画面上で人間にとらせたい行動を指定することができる。たとえば、“右手を上げる”という身体動作は、“Ｘ（０秒）＜１０度”かつ“Ｘ（１０秒）＞１５０度”に適合するデータを検索することによって取得され得る。なお、この角度データＸ（ｔ）は、図７に示したように、人間の右肩関節に設定したローカルな座標系のＸ軸まわりの回転角度である。また、たとえば“「おはよう」と言う”という発話を検索する場合は、たとえば公知の音声認識の手法によって、適合するデータが取得される。この検索の際には、さらに人間の属性情報を指定して絞込みを行うことによって、その人間に適応したロボット行動データを取得することができる。なお、人間に取らせたい行動を予め設定しておいたり、あるいはプログラミングしておいたりしてもよい。
【００８２】
続いて、ステップＳ２５では、検索結果のうち最も頻度の高かったロボットの行動データを選択する。つまり、人間に取らせたい行動を最も多く誘発させた（したがって、誘発させる可能性が最も高い）ロボットの行動データが選択される。
【００８３】
たとえば、図１０では、人間に取らせたい行動として“「おはよう」の発話”を検索した場合に、対応するロボット１２の行動として“「はじめまして」の発話”、“「いらっしゃい」の発話”、および“「おはよう」の発話”が２回という検索結果が得られている。したがって、この場合には、“「おはよう」の発話”が提示すべきロボット１２の行動データとして選択される。
【００８４】
そして、ステップＳ２７で、選択したロボットの行動データをロボット１２に送信する。これに応じて、ロボット１２は、受信した行動データに従った行動を実行する。つまり、ロボット１２によって、人間に取らせたい行動を誘発させることの可能な行動が、人間に対して提示される。上述の例の場合には、ロボット１２は「おはよう」と発話する。したがって、人間は、おそらくオペレータ等が取らせたかった行動（たとえば「おはよう」の発話）を行うであろう。
【００８５】
ステップＳ２９では、他に人間に取らせたい行動が有るか否かを判断する。このステップＳ２９で“ＹＥＳ”であれば、つまり、たとえばオペレータによって次に取らせたい行動が選択された場合等には、ステップＳ２３へ戻って、処理を繰返す。一方、ステップＳ２９で“ＮＯ”であれば、この処理を終了する。
【００８６】
このように、ロボットシステム１００によれば、人間行動ＤＢ２４を利用することによって人間に特定の行動を行わせることが可能であり、したがって、たとえば、上述のような一般的なコミュニケーション分野やエンターテイメント分野等における役割を果たすことができる。
【図面の簡単な説明】
【図１】この発明の一実施例のコミュニケーション行動記録システムの概要を示す図解図である。
【図２】図１実施例のコミュニケーション行動記録システムの構成を示すブロック図である。
【図３】図１実施例のコミュニケーションロボットの外観を示す図解図（正面図）である。
【図４】図１実施例のコミュニケーションロボットの内部構成を示すブロック図である。
【図５】図１実施例において、被験者である人間とロボットとに装着されるマーカの取付位置を示す図解図である。
【図６】図１実施例において算出される特徴点の３次元座標データを説明するための図解図である。
【図７】図１実施例において、人間の特定部位に設定される座標系を示す図解図である。
【図８】図２に示す行動記録処理コンピュータの動作を示すフロー図である。
【図９】図１実施例のコミュニケーション行動記録システムによって取得された人間のコミュニケーション行動データベースを利用するロボットシステムの一例を示すブロック図である。
【図１０】図９のロボットシステムにおける処理コンピュータの動作を示すフロー図である。
【符号の説明】
１０ …コミュニケーション行動記録システム
１２ …コミュニケーションロボット
１６ …カメラ
１８ …マイク
２０ …行動記録処理コンピュータ
２４ …人間行動ＤＢ

Claims

人間のコミュニケーション行動を記録するためのコミュニケーション行動記録システムであって、
身振りおよび音声の少なくとも一方を含む行動を人間に対して提示するコミュニケーションロボット、および
前記コミュニケーションロボットの提示した前記行動に反応する前記人間の行動情報を取得する取得手段を備える、コミュニケーション行動記録システム。
前記取得手段によって取得した前記行動情報を前記コミュニケーションロボットの提示した前記行動に対応付けて格納する記憶手段をさらに備える、請求項１記載のコミュニケーション行動記録システム。
前記取得手段は、前記人間の行動情報として前記人間の身体の動作に関する身体動作情報を取得する動作取得手段を含む、請求項１または２記載のコミュニケーション行動記録システム。
前記動作取得手段は、前記コミュニケーションロボットおよび前記人間に対して互いに異なる方向に設けられる複数のカメラと、前記複数のカメラから得られた画像に基づいて前記人間の身体の特徴点の位置情報を検出する位置検出手段と、前記位置情報に基づいて前記人間の身体の特定部位の動作に関する部位動作情報を算出する算出手段とを含む、請求項３記載のコミュニケーション行動記録システム。
前記取得手段は、前記人間の行動情報として前記人間の発話情報を取得する発話取得手段を含む、請求項１ないし４のいずれかに記載のコミュニケーション行動記録システム。
前記コミュニケーションロボットに提示情報を送信する送信手段をさらに備え、
前記コミュニケーションロボットは、前記提示情報を受信する受信手段を備え、前記受信手段によって受信した前記提示情報に従った行動を提示する、請求項１ないし５のいずれかに記載のコミュニケーション行動記録システム。
人間のコミュニケーション行動を記録するための方法であって、
（ａ）コミュニケーションロボットによって、身振りおよび音声の少なくとも一方を含む行動を人間に対して提示し、そして、
（ｂ）前記コミュニケーションロボットによって提示された前記行動に反応する前記人間の行動に関する行動情報を取得する、コミュニケーション行動記録方法。