JP3843741B2 - Robot audio-visual system - Google Patents

Description

により分離した音と各仮説間の距離ｄ（θ）を計算する。ここで、ｎ_f ＜１．５ｋＨｚは、周波数が１．５ｋＨｚ以下である倍音である。これは、左右のマイク１５のベースラインからＩＰＤが１．２乃至１．５ｋＨｚ以下の周波数に対して有効であるので、今回の実験では１．５ｋＨｚ以下としたものである。
【００３３】
ＩＩＤについては、ＩＰＤと同様に、分離した音の各倍音の左右チャンネル間のパワー差から求められる。ただし、ＩＩＤについては、仮説推論ではなく、
【数２】

による判別関数を用いて、音源が左右何れかを判定するものとする。即ち、周波数ｆの各倍音のＩＩＤをＩ_s （ｆ）としたとき、音源は、Ｉが正であればロボットの左方向に、Ｉが負であれば右方向に、そしてほぼ０であれば正面方向に存在することになる。
ここで、ＩＩＤの仮説生成には、ロボット１０の頭部形状を考慮した膨大な計算が必要となることから、リアルタイム処理を考慮して、ＩＰＤと同様の仮説推論は行なわない。
このようにして、符号Ｘ８で示すように、ＩＰＤとＩＩＤのマッチングを行なう。
【００３４】
そして、聴覚モジュール２０の音源定位部２２は、符号Ｘ９で示すように、前記距離ｄ（θ）から、確立密度関数
【数３】

を利用して、ＩＰＤの確信度ＢＦ_IPD （θ）を計算する。ここで、ｍ，ｓは、それぞれｄ（θ）の平均と分散であり、ｎはｄの個数である。
また、ＩＩＤの確信度ＢＦ_IID （θ）は、３０度＜θ≦９０度で、前記Ｉが＋のとき０．３５，−のとき０．６５、−３０度＜θ≦３０度で、前記Ｉが＋のとき０．５，−のとき０．５、−９０度＜θ≦−３０度で、前記Ｉが＋のとき０．６５，−のとき０．３５となる。
【００３５】
そして、このようにして得られたＩＰＤの確信度ＢＦ_IPD （θ）及びＩＩＤの確信度ＢＦ_IID （θ）を、符号Ｘ１０で示すように、
【数４】

で示されるＤｅｍｐｓｔｅｒ−Ｓｈａｆｅｒ理論により統合して、確信度ＢＦ_IPD+IID （θ）を生成する。
また、前記話者特定部２３ａは、マイク１６からの音響信号から、例えばＭＦＣＣ（メル周波数ケプストラム係数）を求めて、前もって登録してある話者のＭＦＣＣと照合することにより、当該話者本人を同定する。
これにより、聴覚モジュール２０は、聴覚イベント生成部２６により、音源方向として尤度の高い順に上位２０個の確信度ＢＦ_IPD+IID （θ）と方向（θ）のリスト，ピッチと、話者同定により聴覚イベント２８を生成する。
【００３６】
このようにして、聴覚モジュール２０は、マイク１６からの音響信号に基づいて、ピッチ抽出，音源の分離及び定位そしてＭＦＣＣから、少なくとも一人の話者を特定（話者同定）してその聴覚イベントを抽出し、ネットワーク７０を介してアソシエーションモジュール６０に対して送信するようになっている。
尚、聴覚モジュール２０における上述した処理は、４０ｍ秒毎に行なわれる。
【００３７】
ビューア２７は、このようにして生成された聴覚イベント２８をクライアントの画面上に表示するものであり、具体的には左側のウインドウに、聴覚イベント２８のパワースペクトルと抽出したピークを、右側のウインドウに、縦軸を相対的な方位角，横軸をピッチ（周波数）とする聴覚イベントを表示する。ここで、聴覚イベントは、音源定位の確信度を円の直径とする円により表現されている。
【００３８】
図６に示すように、前記視覚モジュール３０は、デバイス層としてのカメラ１５と、プロセス層としての顔発見部３１，顔識別部３２，顔定位部３３と、特徴層（データ）としての顔ＩＤ３４，顔方向３５と、イベント層としての視覚イベント生成部３６及びビューア３７と、から構成されている。
【００３９】
これにより、視覚モジュール３０は、カメラからの画像信号に基づいて、顔発見部３１により例えば肌色抽出により各話者の顔を検出し、顔識別部３２にて前もって登録されている顔データベース３８により検索して、一致した顔があった場合、その顔ＩＤ３４を決定して当該顔を識別すると共に、顔定位部３３により当該顔方向３５を決定（定位）する。
ここで、視覚モジュール３０は、顔発見部３１が画像信号から複数の顔を見つけた場合、各顔について前記処理、即ち識別及び定位そして追跡を行なう。
その際、顔発見部３１により検出された顔の大きさ，方向及び明るさがしばしば変化するので、顔発見部３１は、顔領域検出を行なって、肌色抽出と相関演算に基づくパターンマッチングの組合せによって、２００ｍ秒以内に複数の顔を正確に検出できるようになっている。
【００４０】
また、顔識別部３２は、顔発見部３１により検出された各顔領域画像を、判別空間に射影し、顔データベース３８に前もって登録された顔データとの距離ｄを計算する。この距離ｄは、登録顔数（Ｌ）に依存するので、
【数５】

により、パラメータの依存しない確信度Ｐｖに変換される。
ここで、判別空間の基底となる判別行列は、公知のオンラインＬＤＡにより、通常のＬＤＡと比較して少ない計算により更新され得るので、リアルタイムに顔データを登録することが可能である。
【００４１】
顔定位部３３は、二次元の画像平面における顔位置を三次元空間に変換し、顔が画像平面にて（ｘ，ｙ）に位置する幅と高さがそれぞれＸ及びＹであるｗ×ｗピクセルであるとすると、三次元空間における顔位置は、以下の各式で与えられる方位角θ，高さφ及び距離ｒのセットとして得られる。
【数６】

【数７】

【数８】

ここで、Ｃ₁ 及びＣ₂ は、探索画像サイズ（Ｘ，Ｙ）とカメラの画角そして実際の顔の大きさにより定義される定数である。
【００４２】
そして、視覚モジュール３０は、各顔毎に、顔ＩＤ（名前）３４及び顔方向３５から、視覚イベント生成部３６により視覚イベント３９を生成する。
詳細には、視覚イベント３９は、各顔毎に、上位５つの確信度付きの顔ＩＤ（名前）３４と位置（距離ｒ，水平角度θ及び垂直角度φ）から構成されている。
【００４３】
ビューア３７は、視覚イベントをクライアントの画面上に表示するものであり、具体的には、カメラ１５による画像と、顔識別の確信度付きで抽出した顔の顔ＩＤと、定位の結果である位置のリストを表示する。ここで、カメラ１５による画像には、発見し同定された顔が長方形の枠で囲まれて表示されている。複数の顔が発見された場合には、各顔について、それぞれ同定を示す長方形の枠と、定位の結果としてのリストが表示される。
【００４４】
図７に示すように、前記モータ制御モジュール４０は、デバイス層としてのモータ４１及びポテンショメータ４２と、プロセス層としてのＰＷＭ制御回路４３，ＡＤ変換回路４４及びモータ制御部４５と、特徴層としてのロボット方向４６と、イベント層としてのモータイベント生成部４７と、ビューア４８と、から構成されている。
【００４５】
これにより、モータ制御モジュール４０は、アテンション制御モジュール６４（後述）からの指令に基づいてモータ制御部４５によりＰＷＭ制御回路４３を介してモータ４１を駆動制御すると共に、モータ４１の回転位置をポテンショメータ４２により検出して、ＡＤ変換回路４４を介してモータ制御部４５によりロボット方向４６を抽出し、モータイベント生成部４７によりモータ方向情報から成るモータイベント４９を生成する。
【００４６】
ビューア４８は、モータイベントをクライアントの画面上に三次元的に表示するものであって、具体的にはモータイベント４９によるロボットの向きと動作速度を、例えばＯｐｅｎＧＬにより実装されている三次元ビューアを利用して、リアルタイムに三次元表示するようになっている。
【００４７】
図８に示すように、前記対話モジュール５０は、デバイス層としてのスピーカ５１及びマイク１６と、プロセス層としての音声合成回路５２，対話制御回路５３及び自声抑制回路５４，音声認識回路５５と、から構成されている。
【００４８】
これにより、対話モジュール５０は、後述するアソシエーションモジュール６０により対話制御回路５３を制御し、音声合成回路５２によりスピーカ５１を駆動することによって、対象とする話者に対して所定の音声を発すると共に、マイク１６からの音響信号から自声抑制回路５４によりスピーカ５１からの音を除去した後、音声認識回路５５により対象とする話者の音声を認識する。
なお、前記対話モジュール５０は、階層としての特徴層及びイベント層を備えていない。
【００４９】
ここで、対話制御回路５３は、例えばパーティ受付ロボットの場合には、現在のアテンションを継続することが最優先となるが、パーティロボットの場合には、最も最近に関連付けられたストリームに対して、アテンション制御される。
【００５０】
図９に示すように、前記アソシエーションモジュール６０は、上述した聴覚モジュール２０，視覚モジュール３０，モータ制御モジュール４０，対話モジュール５０に対して、階層的に上位に位置付けられており、各モジュール２０，３０，４０，５０のイベント層の上位であるストリーム層を構成している。
具体的には、前記アソシエーションモジュール６０は、聴覚モジュール２０，視覚モジュール３０及びモータ制御モジュール４０からの非同期イベント６１ａ即ち聴覚イベント２８，視覚イベント３９及びモータイベント４９を同期させて同期イベント６１ｂにする同期回路６２と、これらの同期イベント６１ｂを相互に関連付けて、聴覚ストリーム６５，視覚ストリーム６６及びアソシエーションストリーム６７を生成するストリーム生成部６３と、さらにアテンション制御モジュール６４と、ビューア６８を備えている。
【００５１】
前記同期回路６２は、聴覚モジュール２０からの聴覚イベント２８，視覚モジュール３０からの視覚イベント３８及びモータ制御モジュール４０からのモータイベント４９を同期させて、同期聴覚イベント，同期視覚イベント及び同期モータイベントを生成する。
その際、聴覚イベント２８及び視覚イベント３９は、同期モータイベントによって、その座標系が絶対座標系に変換されることになる。
【００５２】
ここで、各イベントの実際に観測されてからネットワーク７０を介してアソシエーションモジュール６０に到着するまでの遅延時間は、例えば聴覚イベント２８では４０ｍ秒、視覚イベント３９では２００ｍ秒、モータイベント４９では１００ｍであり、ネットワーク７０における遅延が１０乃至２００ｍ秒であり、さらに到着周期も異なることによるものである。
従って、各イベントの同期を取るために、聴覚モジュール２０，視覚モジュール３０及びモータ制御モジュール４０からの聴覚イベント２８，視覚イベント３９及びモータイベント４９は、それぞれ実際の観測時間を示すタイムスタンプ情報を備えており、図示しない短期記憶回路にて、例えば２秒間の間だけ一旦記憶される。
【００５３】
そして、同期回路６２は、短期記憶回路に記憶された各イベントを、上述した遅延時間を考慮して、実際の観測時間と比較して５００ｍ秒の遅延時間を備えるように、同期プロセスにより取り出す。これにより、同期回路６２の応答時間は５００ｍ秒となる。また、このような同期プロセスは例えば１００ｍ秒周期で動作するようになっている。
尚、各イベントは、それぞれ互いに非同期でアソシエーションモジュール６０に到着するので、同期を取るための観測時刻と同時刻のイベントが存在するとは限らない。従って、同期プロセスは、同期を取るための観測時刻前後に発生したイベントに対して、線形補間による補間を行なうようになっている。
【００５４】
また、ストリーム生成部６３は、図１１に示すように、短期記憶回路Ｍから聴覚イベントＳ及び視覚イベントＶを読み出して、以下の点に基づいてストリーム６５，６６，６７の生成を行なう。
１． 聴覚イベント２８は、符号Ｙ１で示すように、同等または倍音関係にあるピッチを備え、方向が±１０度以内で最も近い聴覚ストリーム６５に接続される。尚、±１０度以内の値は、聴覚エピポーラ幾何の精度を考慮して選定されたものであ。
２． 視覚イベント３９は、符号Ｙ２で示すように、共通の顔ＩＤ３４を有し且つ４０ｃｍの範囲内で最も近い視覚ストリーム６６に接続される。尚、４０ｃｍの範囲内の値は、秒速４ｍ以上で人間が移動することがないということを前提として選定されたものである。
３． すべてのストリームに対して探索を行なった結果、接続可能なストリーム６５，６６が存在しないイベントがある場合には、符号Ｙ３で示すように当該イベント２８，３９は新たなストリーム６５，６６を構成することになる。
４． 既に存在しているストリーム６５，６６は、これらに接続されるイベント２８，３９がない場合には、符号Ｙ４ａで示すように、最大で５００ｍ秒間は存続するが、その後もイベントが接続されない状態が継続すると、符号Ｙ４ｂで示すように消滅する。
５． 聴覚ストリーム６５と視覚ストリーム６６が±１０度以内に近接する状態が１秒間のうち５００ｍ秒以上継続する場合、これの聴覚ストリーム６５と視覚ストリーム６６は、同一話者に由来するものであるとみなされ、符号Ｙ５で示すように、互いに関係付けられて、アソシエーションストリーム６７が生成される。
６． アソシエーションストリーム６７は、聴覚イベント２８または視覚イベント３９が３秒間以上接続されない場合には、関係付けが解除され、既存の聴覚ストリーム６５または視覚ストリーム６６のみが存続する。
７． アソシエーションストリーム６７は、聴覚ストリーム６５及び視覚ストリーム６６の方向差が３秒間、±３０度以上になった場合には、関係付けが解除され、個々の聴覚ストリーム６５及び視覚ストリーム６６に戻る。
【００５５】
これにより、ストリーム生成部６３は、同期回路６２からの同期聴覚イベント及び同期視覚イベントに基づいて、これらの時間的つながりを考慮してイベントを接続することにより、同期聴覚イベント及び同期視覚イベントを、同一話者の聴覚ストリーム６５及び視覚ストリーム６６に接続することによって、聴覚ストリーム６５及び視覚ストリーム６６を生成すると共に、相互の結び付きの強い聴覚ストリーム６５及び視覚ストリーム６６を関係付けて、アソシエーションストリーム６７を生成するようになっており、逆にアソシエーションストリーム６７を構成する聴覚ストリーム６５及び視覚ストリーム６６の結び付きが弱くなれば、関係付けを解除するようになっている。
これにより、対象となる話者が移動している場合であっても、当該話者の移動を予測して、その移動範囲となる角度範囲内であれば、上述したストリーム６５，６６，６７の生成を行なうことによって、当該話者の移動を予測して追跡できることになる。
【００５６】
また、アテンション制御モジュール６４は、モータ制御モジュール４０の駆動モータ制御のプランニングのためのアテンション制御を行なうものであり、その際アソシエーションストリーム６７，聴覚ストリーム６５そして視覚ストリーム６６の順に優先的に参照して、アテンション制御を行なう。
そして、アテンション制御モジュール６４は、聴覚ストリーム６５及び視覚ストリーム６６の状態とアソシエーションストリーム６７の存否に基づいて、ロボット１０の動作プランニングを行ない、駆動モータ４１の動作の必要があれば、モータ制御モジュール４０に対して動作指令としてのモータイベントをネットワーク７０を介して送信する。
【００５７】
ここで、アテンション制御モジュール６４におけるアテンション制御は、連続性とトリガに基づいており、連続性により同じ状態を保持しようとし、トリガにより最も興味のある対象を追跡しようとする。
従って、アテンション制御は、
１． アソシエーションストリームの存在は、ロボット１０に対して正対して話している人が現在も存在している、あるいは近い過去に存在していたことを示しているので、このようなロボット１０に対して話している人に対して、高い優先度でアテンションを向けて、トラッキングを行なう必要がある。
２． マイク１６は無指向性であるので、カメラの視野角のような検出範囲が存在せず、広範囲の聴覚情報を得ることができるので、視覚ストリームより聴覚ストリームの優先度を高くすべきである。
という二つの点を考慮して、以下の原則に従ってアテンションを向けるストリームを選択して、トラッキングを行なう。
１． アソシエーションストリームのトラッキングを最優先する。
２． アソシエーションストリームが存在しない場合、聴覚ストリームのトラッキングを優先する。
３． アソシエーションストリーム及び聴覚ストリームが存在しない場合、視覚ストリームのトラッキングを優先する。
このようにして、アテンション制御モジュール６４は、アテンション制御を行なって、モータ制御モジュール４０の駆動モータ４１の制御のプランニングを行ない、このプランニングに基づいて、モータコマンド６６を生成し、ネットワーク７０を介してモータ制御モジュール４０に伝送する。これにより、モータ制御モジュール４０では、このモータコマンド６６に基づいて、モータ制御部４５がＰＷＭ制御を行なって、駆動モータ４１を回転駆動させて、ロボット１０を所定方向に向けるようになっている。
【００５８】
ビューア６８は、このようにして生成された各ストリームをサーバの画面上に表示するものであり、具体的にはレーダチャート及びストリームチャートにより表示する。
ここで、レーダチャートは、その瞬間におけるストリームの状態、より詳細にはカメラの視野角と音源方向を示し、ストリームチャートは、アソシエーションストリーム（太線図示）と聴覚ストリーム及び視覚ストリーム（細線図示）を示している。
【００５９】
本発明実施形態による人型ロボット１０は以上のように構成されており、パーティ受付ロボットとして対象とする話者に対して、図１２を参照して、以下のように動作する。
先ず、図１２（Ａ）に示すように、ロボット１０は、パーティ会場の入口前に配置されている。
そして、図１２（Ｂ）に示すように、パーティ参加者Ｐがロボット１０に接近してくるが、ロボット１０は、まだ当該参加者Ｐを認識していない。ここで、参加者Ｐがロボット１０に対して例えば「こんにちは」と話し掛けると、ロボット１０は、マイク１６が当該参加者Ｐの音声を拾って、聴覚モジュール２０が音源方向を伴う聴覚イベント２８を生成して、ネットワーク７０を介してアソシエーションモジュール６０に伝送する。
【００６０】
これにより、アソシエーションモジュール６０は、この聴覚イベント２８に基づいて聴覚ストリーム２９を生成する。このとき、視覚モジュール３０は参加者Ｐがカメラ１５の視野内に入っていないので、視覚イベント３９を生成しない。従って、アソシエーションモジュール６０は、聴覚イベント２８のみに基づいて聴覚ストリーム２９を生成し、アテンション制御モジュール６４は、この聴覚ストリーム２９をトリガーとして、ロボット１０を参加者Ｐの方向に向けるようなアテンション制御を行なう。
【００６１】
このようにして、図１２（Ｃ）に示すように、ロボット１０が参加者Ｐの方向を向き、所謂声によるトラッキングが行なわれる。そして、視覚モジュール３０がカメラ１５による参加者Ｐの顔の画像を取り込んで、視覚イベント３９を生成して、当該参加者Ｐの顔を顔データベース３８により検索し、顔識別を行なうと共に、その結果である顔ＩＤ２４及び画像をネットワーク７０を介してアソシエーションモジュール６０に伝送する。尚、当該参加者Ｐの顔が顔データベース３８に登録されていない場合には、視覚モジュール３０は、その旨をネットワーク７０を介してアソシエーションモジュール６０に伝送する。
【００６２】
このとき、ロボット１０は、聴覚イベント２８及び視覚イベント３９によりアソシエーションストリーム６５を生成しており、このアソシエーションストリーム６５によりアテンション制御モジュール６４は、そのアテンション制御を変更しないので、ロボット１０は、参加者Ｐの方向を向き続ける。従って、参加者Ｐが移動したとしても、ロボット１０は、アソシエーションストリーム６５によりモータ制御モジュール４０を制御することにより、参加者Ｐを追跡して、視覚モジュール３０のカメラ１５が参加者Ｐを継続して撮像し得るようになっている。
【００６３】
そして、アソシエーションモジュール６０は、聴覚モジュール２０の音声認識回路５５に入力を与えて、音声認識回路５５はその音声認識結果を対話制御回路５３に与える。これにより、対話制御回路５３は音声合成を行なってスピーカ５１から発声する。このとき、音声認識回路５５がマイク１６からの音響信号からスピーカ５１からの音を自声抑制回路５４により低減することにより、ロボット１０は自身の発声を無視して、相手の声をより正確に認識することができる。
【００６４】
ここで、音声合成による発声は、参加者Ｐの顔が前記顔データベース３８に登録されているか否かで異なる。
参加者Ｐの顔が顔データベース３８に登録されている場合には、アソシエーションモジュール６０は、視覚モジュール３０からの顔ＩＤ２４に基づいて、対話モジュール５０を制御して、音声合成により「こんにちは。ＸＸＸさんですか？」と参加者Ｐに対して質問する。
これに対して、参加者Ｐが「はい。」と答えると、対話モジュール５０がマイク１６からの音響信号に基づいて、音声認識回路５５により「はい」を認識して対話制御回路５３により音声合成を行ない、スピーカ５１から「ようこそＸＸＸさん、どうぞ部屋にお入り下さい。」と発声する。
【００６５】
また、参加者Ｐの顔が顔データベース３８に登録されていない場合には、アソシエーションモジュール６０は、対話モジュール５０を制御して、音声合成により「こんにちは。あなたのお名前を教えていただけますか？」と参加者Ｐに対して質問する。
これに対して、参加者Ｐが「ＸＸＸです。」と自分の名前を答えると、対話モジュール５０がマイク１６からの音響信号に基づいて、音声認識回路５５により「ＸＸＸ」を認識して、対話制御回路５３により音声合成を行ない、スピーカ５１から「ようこそＸＸＸさん、どうぞ部屋にお入り下さい。」と発声する。
このようにして、ロボット１０は、参加者Ｐの認識を行なってパーティ会場への入場を誘導すると共に、視覚モジュール３０にて、当該参加者Ｐの顔の画像と名前「ＸＸＸ」を顔データベース３８に登録させる。
【００６６】
また、人型ロボット１０は、コンパニオン用ロボットとして、以下のように動作する。
この場合、人型ロボット１０は、聴覚モジュール２０による聴覚イベント２８及び視覚モジュール３０による視覚イベント３９と、アソシエーションモジュール６０によるアソシエーションストリーム６５に基づいて、複数の話者を聴覚及び視覚により認識していると共に、複数の話者のうちの一人の話者を追跡したり、あるいは途中で他の話者に切り換えて追跡することができる。
なお、コンパニオン用ロボットの場合には、ロボット１０は受動的な役割を果たす、即ちパーティ参加者の「話を聴き」あるいは「話者を見る」のみであり、対話モジュール５０により発声することはない。
【００６７】
また、コンパニオン用ロボットとしての人型ロボット１０は、パーティ受付ロボットと顔データベース３８を共用し、あるいはパーティ受付ロボットの顔データベース３８が転送または複写されるようにしてもよい。この場合、コンパニオン用ロボットとしての人型ロボット１０は、パーティ参加者全員を常に顔識別によって認識することができる。
【００６８】
このようにして、本発明実施形態による人型ロボット１０によれば、アソシエーションモジュール６０が、聴覚モジュール２０及び視覚モジュール３０からの聴覚イベント及び視覚イベントに基づいて、これらの方向情報そして個々の話者同定から、これらの時間的流れを考慮して、聴覚ストリーム，視覚ストリームそしてアソシエーションストリームを生成することによって、複数の対象である話者を認識しているので、何れかのイベントが欠落したり明確に認識できなくなった場合、例えば話者が移動して「見えなく」なった場合でも聴覚により、また話者が話をせず「聞こえなく」なった場合でも視覚により、リアルタイムに複数の話者を聴覚的及び／又は視覚的にトラッキングすることができる。
【００６９】
上述した実施形態において、人型ロボット１０は４ＤＯＦ（自由度）を有するように構成されているが、これに限らず、任意の動作を行なうように構成されたロボットに本発明によるロボット聴覚システムを組み込むことも可能である。また、上述した実施形態においては、本発明によるロボット視聴覚システムを人型ロボット１０に組み込んだ場合について説明したが、これに限らず、犬型等の各種動物型ロボットや、その他の形式のロボットに組み込むことも可能であることは明らかである。
【００７０】
【発明の効果】
以上述べたように、この発明によれば、聴覚モジュールが、マイクが集音した外部の対象からの音から、調波構造を利用してピッチ抽出を行なうことにより音源毎の方向を得て個々の話者の音源を同定し、その聴覚イベントを抽出する。
また、視覚モジュールが、カメラにより撮像された画像から、パターン認識による各話者の顔識別と定位から各話者を同定して個々の話者の視覚イベントを抽出する。
さらに、モータ制御モジュールが、ロボットを水平方向に回動させる駆動モータの回転位置に基づいて、ロボットの方向を検出することによってモータイベントを抽出する。
【００７１】
ここで、アソシエーションモジュールは、このようにしてそれぞれ抽出された聴覚イベント，視覚イベント及びモータイベントに基づいて、その方向情報、そして話者同定を参照して各話者の聴覚ストリーム及び視覚ストリームを生成し、さらにこれらのストリームを関連付けてアソシエーションストリームを生成して、アテンション制御モジュールは、これらのストリームに基づいてアテンション制御を行なうことにより、モータ制御モジュールの駆動モータ制御のプランニングを行なう。
この際、アソシエーションモジュールは、聴覚イベントの音源定位及び視覚イベントの顔定位、即ち聴覚及び視覚の方向情報に基づいて、各話者の方向を決定して、聴覚ストリーム，視覚ストリーム及びアソシエーションストリームを生成することになる。
【００７２】
そして、アテンション制御モジュールは、このプランニングに基づいて、モータ制御モジュールの駆動モータを制御することにより、ロボットの方向を対象である話者に向ける。これにより、ロボットが対象である話者に対して正対することにより、聴覚モジュールが当該話者の声を、感度の高い正面方向にてマイクにより正確に集音，定位することができる共に、視覚モジュールが当該話者の画像をカメラにより良好に撮像することができるようになる。
【００７３】
従って、このような聴覚モジュール，視覚モジュール及びモータ制御モジュールと、アソシエーションモジュール及びアテンション制御モジュールとの連携によって、聴覚イベント及び視覚イベントの方向情報、話者同定そして時間的流れを参照して、話者の追跡を行なうことにより、ロボットの聴覚及び視覚がそれぞれ有する曖昧性が互いに補完されることになり、所謂ロバスト性が向上し、複数の話者であっても、各話者をそれぞれ確実に知覚することができる。
また、例えば聴覚イベントまたは視覚イベントの何れか一方が欠落したときであっても、残りの視覚イベントまたは聴覚イベントのみに基づいて、対象である話者をアソシエーションモジュールが知覚することができるので、正確に対象の方向を把握して、モータ制御モジュールの制御を行なうことができる。
これにより、本発明によれば、対象に対する視覚及び聴覚の情報を統合して、対象の追跡を確実に行なうようにした、極めて優れたロボット視聴覚システムが提供される。
【図面の簡単な説明】
【図１】この発明によるロボット聴覚装置の第一の実施形態を組み込んだ人型ロボットの外観を示す正面図である。
【図２】図１の人型ロボットの側面図である。
【図３】図１の人型ロボットにおける頭部の構成を示す概略拡大図である。
【図４】図１の人型ロボットにおけるロボット視聴覚システムの電気的構成を示すブロック図である。
【図５】図４におけるブロック１の聴覚モジュールを拡大して示す電気的構成のブロック図である。
【図６】図４におけるブロック２の視覚モジュールを拡大して示す電気的構成のブロック図である。
【図７】図４におけるブロック３のモータ制御モジュールを拡大して示す電気的構成のブロック図である。
【図８】図４におけるブロック４の対話モジュールを拡大して示す電気的構成のブロック図である。
【図９】図４におけるブロック５のアソシエーションモジュールを拡大して示す電気的構成のブロック図である。
【図１０】図４のロボット視聴覚システムにおける聴覚モジュールによるピーク抽出，音源定位及び音源分離を示す図である。
【図１１】図４のロボット視聴覚システムにおけるアソシエーションモジュールによるストリーム生成を示す図である。
【図１２】図４のロボット視聴覚システムにおけるパーティ受付ロボットとしての動作例を示す図である。
【符号の説明】
１０ 人型ロボット
１１ ベース
１２ 胴体部
１３ 頭部
１３ａ 連結部材
１４ 外装
１５ カメラ（ロボット視覚）
１６，１６ａ，１６ｂ マイク（ロボット聴覚）
１７ ロボット視聴覚システム
２０ 聴覚モジュール
３０ 視覚モジュール
４０ モータ制御モジュール
５０ 対話モジュール
６０ アソシエーションモジュール
６４ アテンション制御モジュール
７０ ネットワーク[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an audiovisual system in a robot, particularly a humanoid or animal type robot.
[0002]
[Prior art]
In recent years, in such humanoid or animal type robots, active visual and auditory perception has attracted attention.
Active perception is to control the posture of a perceptive device in charge of perception, such as robot vision or robot hearing, using a drive mechanism, such as the head, that supports these perceptual devices so as to follow the object to be perceived. .
[0003]
Here, with regard to active vision, at least the camera, which is a sensory device, holds its optical axis direction toward the target by posture control by the driving mechanism, and focusing, zooming in, zooming out, etc. are automatically performed on the target. As a result, the subject is imaged by a camera, and various studies have been conducted.
[0004]
On the other hand, with regard to active hearing, at least a microphone, which is a perceptual device, holds its directivity toward a target by posture control by a drive mechanism, and sounds from the target are collected by the microphone.
Such active hearing is disclosed in, for example, Japanese Patent Application No. 2000-22777 (robot hearing system) by the present applicant, and directs sound sources with reference to visual information.
[0005]
[Problems to be solved by the invention]
By the way, these active vision and active hearing are closely related to the motor control module for changing the orientation (horizontal direction) of the robot, and in order to make active vision and active hearing work for a specific target, It is necessary to direct the robot to a specific object, that is, to perform attention control.
However, in order for the robot to accurately identify each target speaker based on the surrounding situation, it is necessary to integrate visual and auditory information. For example, a plurality of humans seem to talk to each other. In such a situation, active hearing is not performed by identifying each person by real-time processing.
[0006]
In view of the above points, an object of the present invention is to provide a robot audio-visual system that integrates visual and auditory information on a target and reliably tracks the target.
[0007]
[Means for Solving the Problems]
According to the present invention, the object is to provide an auditory module including at least a pair of microphones for collecting external sounds, a vision module including a camera for imaging the front of the robot, and a drive motor for rotating the robot horizontally. A motor control module including: an association module that integrates events from the auditory module, visual module, and motor control module to generate a stream; an attention control module that performs attention control based on the stream generated by the association module; The audiovisual system includes a hearing module that determines the direction of at least one speaker from pitch extraction, sound source separation, and localization based on an acoustic signal from a microphone and extracts the auditory event. Visual module , Based on the image captured by the camera, to identify the respective speaker from localization and face recognition for each speaker speaker And the motor control module extracts the motor event based on the rotational position of the driving motor, so that the association module can detect the sound source localization and visual of the auditory event from the auditory event, the visual event, and the motor event. Generating auditory and visual streams by determining the direction of each speaker based on the orientation information of the face orientation of the event, and Auditory and visual streams To generate an association stream and the attention control module Auditory stream, visual stream, association stream The robot audio-visual system is characterized by performing attention control for driving motor control planning of the motor control module based on the above.
[0008]
According to the present invention, the object is to provide an auditory module including at least a pair of microphones for collecting external sounds, a visual module including a camera for imaging the front of the robot, and rotating the robot in a horizontal direction. A motor control module including a drive motor, an association module that integrates events from the auditory module, vision module, and motor control module to generate a stream, and an attention control module that performs attention control based on the stream generated by the association module And an audio-visual system for a humanoid or animal-type robot, wherein the auditory module determines the direction of at least one speaker from pitch extraction, sound source separation and localization based on acoustic signals from a microphone. Decide that auditory event Extract the visual module, based on the image captured by the camera, to identify the respective speaker from localization and face recognition for each speaker speaker And the motor control module extracts the motor event based on the rotational position of the drive motor, so that the association module can detect the sound source localization and the visual event of the auditory event from the auditory event, the visual event, and the motor event. Generating auditory and visual streams by determining the direction of each speaker based on face orientation information; Auditory and visual streams To generate an association stream and the attention control module Auditory stream, visual stream, association stream The robot audio-visual system is characterized by performing attention control for driving motor control planning of the motor control module based on the above.
[0009]
In the robot audio-visual system according to the present invention, preferably, when the association module generates the auditory stream and the visual stream, the auditory event, the visual event, and the motor event generated asynchronously are mutually synchronized.
[0010]
In the robot audio-visual system according to the present invention, preferably, the auditory module detects a speech MFCC from an acoustic signal to identify each speaker, and the association module detects a speaker of an auditory event and a speaker of a visual event. By identifying the speaker based on the identification, an audio stream and a visual stream to which the audio event and the visual event are to be connected are selected.
[0011]
The robot audiovisual system according to the present invention is preferably configured such that when the plurality of streams approach each other, the association module refers to a temporal flow of the auditory event and the visual event to connect the auditory event and the visual event. Select auditory and visual streams.
[0012]
In the robot audiovisual system according to the present invention, preferably, the association module generates an association stream by associating a strong auditory stream and a visual stream that are strongly associated with each other, and the association between the auditory stream and the visual stream constituting the association stream is weak. When it becomes, the association is canceled and the association stream is extinguished.
[0013]
According to the above configuration, the auditory module obtains the direction of each sound source by performing pitch extraction using the harmonic structure from the sound from the external target collected by the microphone, and the direction of each speaker And the auditory event is extracted.
Further, the visual module identifies each speaker from the face identification and localization of each speaker by pattern recognition from the image captured by the camera, and extracts the visual event of each speaker.
Further, the motor control module extracts the motor event by detecting the direction of the robot based on the rotational position of the drive motor that rotates the robot in the horizontal direction.
The event indicates a state in which a sound or face is detected at each time point, features such as pitch and direction are extracted, speaker identification or face identification is performed, or a drive motor is rotated. The stream indicates events that are continuous in time.
[0014]
Here, the association module determines the direction of each speaker based on the direction information of the sound source localization of the auditory event and the face localization of the visual event based on the auditory event, the visual event, and the motor event extracted as described above. Thus, an auditory stream and a visual stream of each speaker are generated, and further, an association stream is generated by associating these streams.
At this time, the association module determines the direction of each speaker based on the sound source localization of the auditory event and the face localization of the visual event, that is, the auditory and visual direction information, and refers to the determined speaker direction. An association stream will be generated.
The attention control module performs attention control based on these streams, thereby planning the drive motor control of the motor control module.
Attention is to “attention” the speaker who is the target of the robot auditorially and / or visually. Attention control is to change the direction by the motor control module, so that the robot Is to pay attention to.
[0015]
Then, the attention control module controls the drive motor of the motor control module based on this planning to direct the direction of the robot toward the target speaker. As a result, when the robot faces the target speaker, the auditory module can accurately collect and localize the speaker's voice with a microphone in the front direction with high sensitivity. The module can better capture the image of the speaker by the camera.
[0016]
Therefore, by the cooperation of the auditory module, the visual module, and the motor control module, the association module, and the attention control module, based on the direction information of the sound source localization of the auditory event and the speaker localization of the visual event, each speaker's By determining the direction, the ambiguities of the robot's auditory and visual senses are complemented with each other, improving the so-called robustness and ensuring that each speaker can be perceived reliably, even for multiple speakers. can do.
Also, even when either an auditory event or a visual event is missing, the attention control module can track the target speaker based only on the remaining visual event or auditory event, The motor control module can be controlled by accurately grasping the direction of the object.
[0017]
When the association module synchronizes the asynchronously generated auditory event, visual event, and motor event with each other when generating the auditory stream and visual stream, the asynchronously generated auditory event, visual event, and When the motor events are synchronized with each other, different generation periods and delay times of these events in the association module are absorbed, and each story based on the direction information of the sound source localization of the auditory event and the speaker localization of the visual event. The direction of the person is determined more accurately. Therefore, when an auditory stream composed of an auditory event and a visual stream composed of a visual event exist at a distance close to each other, a higher-order association stream can be generated in association with each other.
[0018]
The association module detects the MFCC of the speech from the acoustic signal by the auditory module to identify each speaker, and the association module detects the speaker based on speaker identification of the auditory event and speaker identification of the visual event. When the auditory stream and the visual stream to which the auditory event and the visual event are to be connected are selected, speaker identification can be performed from the auditory event by the audio MFCC. Individual speakers will be identified. Therefore, by connecting each auditory event and visual event respectively to the auditory stream and visual stream of the same speaker, for example, even when there are multiple speakers, each speaker can be more accurately identified. The auditory stream and the visual stream can be generated, and even if one of the auditory event or the visual event is interrupted, the speaker identification can be continued by the other event.
As a result, even when multiple speakers' voices are detected from the same direction, each speaker can be identified, and each speaker can be tracked more accurately by performing higher-order integration of hearing and vision. Is possible.
[0019]
When the association module selects an audio stream and a visual stream to which the audio event and the visual event are to be connected with reference to a temporal flow of the audio event and the visual event when a plurality of streams approach each other Even when a plurality of speakers are close to each other and the auditory stream and visual stream of these speakers are close to each other, the range of movement of the speaker is predicted, and this If it is within the range, the audio stream and the visual stream can be generated more accurately by holding the audio stream or the visual stream. Therefore, the ambiguities of the auditory stream and the visual stream are complemented with each other, so-called robustness is improved, and a plurality of speakers can be reliably tracked.
[0020]
The association module associates a strong auditory stream and a visual stream that are strongly associated with each other to generate an association stream. When the association between the auditory stream and the visual stream that constitutes the association stream becomes weak, the association module releases the association and associates the association. When the stream is extinguished, an association stream can be generated accurately for each speaker, so that the ambiguity of the auditory stream and visual stream is eliminated as much as possible to accurately identify the speaker. Can do.
Further, in this case, even if the speaker is moving by appropriately selecting a predetermined angle, the speaker's movement is reliably captured, so to speak, the speaker's movement can be predicted. Can be specified.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
The present invention will be described in detail below based on the embodiments shown in the drawings.
1 to 4 show the overall configuration of an experimental humanoid robot equipped with an embodiment of a robot audiovisual system according to the present invention.
In FIG. 1, a humanoid robot 10 is configured as a 4 DOF (degree of freedom) robot, and includes a base 11 and a body portion 12 supported on the base 11 so as to be rotatable about one axis (vertical axis). The head portion 13 is supported on the body portion 12 so as to be swingable around three axis directions (vertical axis, horizontal axis in the left-right direction and horizontal axis in the front-rear direction).
[0022]
The base 11 may be fixedly arranged and operable as a leg portion. The base 11 may be placed on a movable carriage or the like.
The body 12 is supported so as to be rotatable around a vertical axis with respect to the base 11 as shown by an arrow A in FIG. 1, and is rotated by a driving means (not shown). Covered by a soundproof exterior.
[0023]
The head 13 is supported on the body 12 via a connecting member 13a, and swings about a horizontal axis in the front-rear direction with respect to the connecting member 13a as shown by an arrow B in FIG. 2 and is supported so as to be swingable around a horizontal axis in the left-right direction as indicated by an arrow C in FIG. The shaft is supported so as to be swingable as indicated by an arrow D in FIG. 1, and is driven to rotate in the directions of arrows A, B, C, and D by driving means (not shown).
[0024]
Here, as shown in FIG. 3, the head 13 is entirely covered with a soundproof exterior 14 and has a camera 15 as a visual device in charge of robot vision on the front side and robot hearing on both sides. A pair of microphones 16 (16a, 16b) are provided as hearing devices in charge.
[0025]
The exterior 14 is made of, for example, a sound-absorbing synthetic resin such as urethane resin, and is configured to perform sound insulation inside the head 13 by sealing the inside of the head 13 almost completely. .
In addition, the exterior of the body portion 12 is similarly made of a sound-absorbing synthetic resin.
The camera 15 has a known configuration, and for example, a commercially available camera having 3 DOF (degree of freedom) of so-called pan, tilt and zoom can be applied.
[0026]
The microphones 16 are respectively attached to the side surfaces of the head 13 so as to have directivity toward the front.
Here, the left and right microphones 16a and 16b of the microphone 16 are attached to the inside by step portions 14a and 14b facing forward on both sides of the exterior 14, respectively, as shown in FIGS. Sounds from the front are collected through the through holes provided in the portions 14a and 14b, and the sound is insulated by appropriate means so as not to pick up the sound inside the exterior 14. Thus, the microphones 16a and 16b are configured as so-called binaural microphones. In addition, the exterior 14 may be formed in a human outer ear shape in the vicinity of the attachment positions of the microphones 16a and 16b.
[0027]
FIG. 4 shows an electrical configuration of a robot audiovisual system including the microphone 16 and the camera 15.
In FIG. 4, the audiovisual system 17 is configured as a party reception and companion robot, and includes an auditory module 20, a visual module 30, a motor control module 40, a dialogue module 50, and an association module 60.
Hereinafter, further description will be given with reference to FIGS. For convenience of explanation, the auditory module 20 is shown as an enlarged view in FIG. 5 as a block 1, the visual module 30 is shown as an enlarged view in FIG. 6 as a block 2, and the motor control module 40 is shown as an enlarged view in FIG. The dialogue module 50 is shown as an enlarged block 4 in FIG. 8, and the association module 60 is shown as an enlarged block 5 in FIG.
Here, the association module 60 (block 5, FIG. 9) is composed of a server, and other modules, that is, the auditory module 20 (block 1, FIG. 5), the vision module 30 (block 2, FIG. 6), and the motor. The control module 40 (block 3 and FIG. 7) and the interaction module 50 (block 4 and FIG. 8) are each composed of clients and operate asynchronously with each other.
[0028]
The server and each client are constituted by, for example, a personal computer, and are connected to each other via a network 70 such as 100Base-T, for example, by the TCP / IP protocol.
Each of the modules 20, 30, 40, 50, and 60 is hierarchically distributed, and specifically includes a device layer, a process layer, a feature layer, and an event layer in order from the bottom.
[0029]
As shown in FIG. 5, the auditory module 20 includes a microphone 16 as a device layer, a peak extraction unit 21, a sound source localization unit 22, a sound source separation unit 23, a speaker identification unit 23a as a process layer, and a feature layer ( Data), a pitch 24 and a horizontal direction 25, and an auditory event generation unit 26 and a viewer 27 as event layers.
[0030]
Here, the auditory module 20 operates as shown in FIG.
That is, in FIG. 10, the auditory module 20 performs frequency analysis on the acoustic signal from the microphone 16 sampled at 48 kHz, 16 bits, for example, as indicated by reference numeral X1, by FFT (Fast Fourier Transform) as indicated by reference numeral X2. Then, as indicated by the symbol X3, a spectrum is generated for each of the left and right channels. Then, the auditory module 20 extracts a series of peaks for each of the left and right channels by the peak extraction unit 21, and pairs the same or similar peaks in the left and right channels.
Here, in the peak extraction, only data on the condition that the power is equal to or higher than a threshold and is a local peak, and is a frequency between 90 Hz and 3 kHz, for example, in order to cut a low frequency noise and a high frequency band with a small power. This is done by using a bandpass filter that allows transmission. This threshold value is defined as a value obtained by measuring ambient background noise and adding a sensitivity parameter, for example, 10 dB.
[0031]
Then, the auditory module 20 uses the fact that each peak has a harmonic structure, extracts local peaks having a harmonic structure in order from the lowest frequency, and collects a set of extracted peaks. As a single sound, the sound source separation unit 23 applies inverse FFT (Fast Fourier Transform) as indicated by reference symbol X4 to separate the acoustic signal for each sound source from the mixed sound from each sound source as indicated by reference symbol X5. .
[0032]
As a result, the auditory module 20 selects an acoustic signal having the same frequency from the left and right channels as indicated by reference numeral X6 by the sound source localization unit 22 for the acoustic signal for each sound source, and performs IPD (both Interaural phase difference) and IID (interaural intensity difference) are obtained.
Then, the sound source localization unit 22 of the auditory module 20 generates the IPD Ph hypothesis based on the hypothetical reasoning indicated by the symbol X7 in a range of ± 90 degrees with the front of the robot 10 being 0 degrees using so-called auditory epipolar geometry. And
[Expression 1]

The distance d (θ) between the sound separated by the above and each hypothesis is calculated. Where n _f <1.5 kHz is a harmonic that has a frequency of 1.5 kHz or less. This is effective for frequencies with an IPD of 1.2 to 1.5 kHz or less from the baseline of the left and right microphones 15, and is 1.5 kHz or less in this experiment.
[0033]
As with the IPD, the IID is obtained from the power difference between the left and right channels of each overtone of the separated sound. However, IID is not hypothetical reasoning,
[Expression 2]

It is assumed that the sound source is determined to be left or right using the discriminant function. That is, the IID of each harmonic overtone with frequency f _s When (f) is assumed, the sound source exists in the left direction of the robot if I is positive, in the right direction if I is negative, and in the front direction if I is almost zero.
Here, the generation of an IID hypothesis requires enormous calculation in consideration of the head shape of the robot 10, and therefore hypothetical reasoning similar to IPD is not performed in consideration of real-time processing.
In this way, IPD and IID are matched as indicated by reference numeral X8.
[0034]
Then, the sound source localization unit 22 of the auditory module 20 calculates the probability density function from the distance d (θ), as indicated by reference numeral X9.
[Equation 3]

IPD certainty factor BF _IPD (Θ) is calculated. Here, m and s are the average and variance of d (θ), respectively, and n is the number of d.
Also, IID certainty factor BF _IID (Θ) is 30 ° <θ ≦ 90 °, 0.35 when I is +, 0.65 when −, −30 ° <θ ≦ 30 °, and 0.5 when I is + , − Is 0.5, −90 degrees <θ ≦ −30 degrees, 0.6 when I is +, and 0.35 when −.
[0035]
Then, the certainty factor BF of the IPD obtained in this way _IPD (Θ) and IID certainty factor BF _IID As (θ) is represented by reference numeral X10
[Expression 4]

Integrating by the Demster-Shafer theory shown by _{IPD + IID} (Θ) is generated.
Further, the speaker specifying unit 23a obtains, for example, an MFCC (Mel Frequency Cepstrum Coefficient) from the acoustic signal from the microphone 16 and compares it with the MFCC of the speaker registered in advance. Identify.
As a result, the auditory module 20 causes the auditory event generator 26 to select the top 20 certainty factors BF in descending order of likelihood as the sound source direction. _{IPD + IID} The auditory event 28 is generated by the list, pitch, and speaker identification of (θ) and direction (θ).
[0036]
In this manner, the auditory module 20 identifies (speaker identification) at least one speaker from the pitch extraction, sound source separation and localization, and MFCC based on the acoustic signal from the microphone 16 and identifies the auditory event. The data is extracted and transmitted to the association module 60 via the network 70.
In addition, the process mentioned above in the auditory module 20 is performed every 40 milliseconds.
[0037]
The viewer 27 displays the auditory event 28 generated in this manner on the client screen. Specifically, the viewer 27 displays the power spectrum of the auditory event 28 and the extracted peak in the right window. The auditory event is displayed with the vertical axis representing the relative azimuth and the horizontal axis representing the pitch (frequency). Here, the auditory event is represented by a circle whose sound source localization certainty is the diameter of the circle.
[0038]
As shown in FIG. 6, the visual module 30 includes a camera 15 as a device layer, a face finding unit 31 as a process layer, a face identification unit 32, a face localization unit 33, and a face ID 34 as a feature layer (data). , A face direction 35, a visual event generation unit 36 as an event layer, and a viewer 37.
[0039]
Thereby, the visual module 30 detects the face of each speaker by, for example, skin color extraction by the face finding unit 31 based on the image signal from the camera, and uses the face database 38 registered in advance by the face identifying unit 32. If a matching face is found by searching, the face ID 34 is determined to identify the face, and the face orientation unit 33 determines (orientates) the face direction 35.
Here, when the face finding unit 31 finds a plurality of faces from the image signal, the vision module 30 performs the above-described processing, that is, identification, localization, and tracking for each face.
At that time, since the size, direction, and brightness of the face detected by the face finding unit 31 often change, the face finding unit 31 performs face region detection and combines pattern matching based on skin color extraction and correlation calculation. Thus, a plurality of faces can be accurately detected within 200 milliseconds.
[0040]
In addition, the face identification unit 32 projects each face area image detected by the face finding unit 31 onto the discrimination space, and calculates a distance d from the face data registered in the face database 38 in advance. Since this distance d depends on the number of registered faces (L),
[Equation 5]

Thus, the parameter P is converted into a certainty factor Pv that does not depend on the parameter.
Here, since the discriminant matrix that is the basis of the discriminant space can be updated by a known online LDA with fewer calculations than a normal LDA, face data can be registered in real time.
[0041]
The face localization unit 33 converts the face position on the two-dimensional image plane to a three-dimensional space, and the width and height at which the face is located at (x, y) on the image plane are X and Y respectively. If it is a pixel, the face position in the three-dimensional space is obtained as a set of azimuth angle θ, height φ, and distance r given by the following equations.
[Formula 6]

[Expression 7]

[Equation 8]

Where C ₁ And C ₂ Is a constant defined by the search image size (X, Y), the angle of view of the camera, and the actual face size.
[0042]
Then, the visual module 30 generates a visual event 39 from the face ID (name) 34 and the face direction 35 by the visual event generator 36 for each face.
Specifically, the visual event 39 is composed of a face ID (name) 34 with the top five certainty factors and a position (distance r, horizontal angle θ and vertical angle φ) for each face.
[0043]
The viewer 37 displays a visual event on the client's screen. Specifically, the image by the camera 15, the face ID of the face extracted with the certainty of face identification, and the position that is the localization result Display a list of Here, in the image by the camera 15, the face that has been found and identified is displayed surrounded by a rectangular frame. When a plurality of faces are found, a rectangular frame indicating identification and a list as a result of localization are displayed for each face.
[0044]
As shown in FIG. 7, the motor control module 40 includes a motor 41 and a potentiometer 42 as device layers, a PWM control circuit 43, an AD conversion circuit 44 and a motor control unit 45 as process layers, and a robot as a feature layer. A direction 46, a motor event generation unit 47 as an event layer, and a viewer 48 are included.
[0045]
As a result, the motor control module 40 controls driving of the motor 41 via the PWM control circuit 43 by the motor control unit 45 based on a command from the attention control module 64 (described later), and also sets the rotational position of the motor 41 to the potentiometer 42. , The robot direction 46 is extracted by the motor control unit 45 via the AD conversion circuit 44, and the motor event 49 including the motor direction information is generated by the motor event generation unit 47.
[0046]
The viewer 48 three-dimensionally displays the motor event on the client screen. Specifically, the viewer 48 displays the direction and the operation speed of the robot according to the motor event 49, for example, a three-dimensional viewer implemented by OpenGL. It is used for 3D display in real time.
[0047]
As shown in FIG. 8, the dialogue module 50 includes a speaker 51 and a microphone 16 as device layers, a speech synthesis circuit 52 as a process layer, a dialogue control circuit 53 and a voice suppression circuit 54, a speech recognition circuit 55, It is composed of
[0048]
As a result, the dialogue module 50 controls the dialogue control circuit 53 by the association module 60 described later, and drives the speaker 51 by the voice synthesis circuit 52 to emit a predetermined voice to the target speaker. After the sound from the speaker 51 is removed from the acoustic signal from the microphone 16 by the voice suppression circuit 54, the voice of the target speaker is recognized by the voice recognition circuit 55.
The dialogue module 50 does not include a feature layer and an event layer as a hierarchy.
[0049]
Here, for example, in the case of a party reception robot, the dialog control circuit 53 has the highest priority to continue the current attention, but in the case of a party robot, for the most recently associated stream, Attention controlled.
[0050]
As shown in FIG. 9, the association module 60 is hierarchically positioned above the auditory module 20, the visual module 30, the motor control module 40, and the dialogue module 50 described above. , 40 and 50, the stream layer which is the upper layer of the event layer is configured.
Specifically, the association module 60 synchronizes the asynchronous event 61a from the auditory module 20, the visual module 30, and the motor control module 40, that is, the auditory event 28, the visual event 39, and the motor event 49 into a synchronous event 61b. A circuit 62, a stream generation unit 63 that generates an auditory stream 65, a visual stream 66, and an association stream 67 by associating these synchronization events 61b with each other, an attention control module 64, and a viewer 68 are provided.
[0051]
The synchronization circuit 62 synchronizes the auditory event 28 from the auditory module 20, the visual event 38 from the visual module 30, and the motor event 49 from the motor control module 40 to synchronize the auditory event, the synchronous visual event, and the synchronous motor event. Generate.
At that time, the coordinate system of the auditory event 28 and the visual event 39 is converted into an absolute coordinate system by the synchronous motor event.
[0052]
Here, the delay time from the actual observation of each event to the arrival of the association module 60 via the network 70 is, for example, 40 msec for the auditory event 28, 200 msec for the visual event 39, and 100 m for the motor event 49. This is because the delay in the network 70 is 10 to 200 milliseconds and the arrival period is different.
Therefore, in order to synchronize the events, the auditory event 28, the visual event 39, and the motor event 49 from the auditory module 20, the visual module 30, and the motor control module 40 each have time stamp information indicating the actual observation time. In a short-term memory circuit (not shown), for example, it is temporarily stored for 2 seconds.
[0053]
Then, the synchronization circuit 62 takes out each event stored in the short-term storage circuit by a synchronization process so as to have a delay time of 500 milliseconds compared with the actual observation time in consideration of the delay time described above. As a result, the response time of the synchronization circuit 62 is 500 milliseconds. Further, such a synchronization process is operated at a period of, for example, 100 milliseconds.
Since each event arrives at the association module 60 asynchronously with each other, an event having the same time as the observation time for synchronization is not always present. Therefore, the synchronization process performs linear interpolation for events that occur before and after the observation time for synchronization.
[0054]
Further, as shown in FIG. 11, the stream generation unit 63 reads the auditory event S and the visual event V from the short-term memory circuit M, and generates streams 65, 66, and 67 based on the following points.
1. The auditory event 28 is connected to the nearest auditory stream 65 having a pitch that is equivalent or overtone-related and having a direction within ± 10 degrees, as indicated by the reference symbol Y1. The value within ± 10 degrees is selected in consideration of the accuracy of auditory epipolar geometry.
2. The visual event 39 is connected to the closest visual stream 66 having a common face ID 34 and within the range of 40 cm, as indicated by the symbol Y2. Note that the value within the range of 40 cm is selected on the assumption that a human will not move at a speed of 4 m / s or more.
3. As a result of searching for all the streams, if there is an event for which there is no connectable stream 65, 66, the event 28, 39 constitutes a new stream 65, 66 as indicated by reference numeral Y3. It will be.
4). If there are no events 28 and 39 connected to these streams 65 and 66, the existing streams 65 and 66 continue for a maximum of 500 msec as indicated by reference numeral Y4a. If it continues, it will disappear as indicated by the symbol Y4b.
5). When the state in which the auditory stream 65 and the visual stream 66 are close to each other within ± 10 degrees continues for 500 milliseconds or more in one second, the auditory stream 65 and the visual stream 66 are regarded as originating from the same speaker. Then, as shown by reference numeral Y5, the association stream 67 is generated in association with each other.
6). The association stream 67 is dissociated when the auditory event 28 or visual event 39 is not connected for more than 3 seconds, and only the existing auditory stream 65 or visual stream 66 continues.
7). When the direction difference between the audio stream 65 and the visual stream 66 becomes ± 30 degrees or more for 3 seconds, the association stream 67 is released from the association stream 67 and returns to the individual audio stream 65 and the visual stream 66.
[0055]
Accordingly, the stream generation unit 63 connects the events in consideration of the temporal connection based on the synchronized auditory event and the synchronized visual event from the synchronization circuit 62, thereby obtaining the synchronized auditory event and the synchronized visual event. By connecting the auditory stream 65 and the visual stream 66 of the same speaker, the auditory stream 65 and the visual stream 66 are generated, and the strongly connected auditory stream 65 and the visual stream 66 are related to each other. If the connection between the auditory stream 65 and the visual stream 66 constituting the association stream 67 is weakened, the association is canceled.
As a result, even when the target speaker is moving, if the movement of the speaker is predicted and the angle is within the moving range, the above-described streams 65, 66, and 67 By performing the generation, the movement of the speaker can be predicted and tracked.
[0056]
The attention control module 64 performs attention control for planning the drive motor control of the motor control module 40. At that time, the association stream 67, the auditory stream 65, and the visual stream 66 are referred to with priority. Attention control.
Then, the attention control module 64 plans the operation of the robot 10 based on the state of the auditory stream 65 and the visual stream 66 and the presence or absence of the association stream 67, and if the operation of the drive motor 41 is necessary, the motor control module 40 A motor event as an operation command is transmitted via the network 70.
[0057]
Here, the attention control in the attention control module 64 is based on continuity and trigger, and tries to keep the same state by continuity and to track the most interesting object by trigger.
Therefore, attention control is
1. The presence of the association stream indicates that a person who is directly speaking to the robot 10 still exists or has existed in the near past. It is necessary to track attention with high priority and attention.
2. Since the microphone 16 is non-directional, there is no detection range such as the viewing angle of the camera, and a wide range of auditory information can be obtained. Therefore, the priority of the auditory stream should be higher than the visual stream.
Considering these two points, tracking is performed by selecting a stream to which attention is directed according to the following principle.
1. Give priority to tracking association streams.
2. If there is no association stream, priority is given to tracking the auditory stream.
3. If there is no association stream or auditory stream, priority is given to tracking the visual stream.
In this way, the attention control module 64 performs attention control and plans control of the drive motor 41 of the motor control module 40, generates a motor command 66 based on this planning, and transmits it via the network 70. Transmit to the motor control module 40. As a result, in the motor control module 40, the motor control unit 45 performs PWM control based on the motor command 66, and rotates the drive motor 41 to point the robot 10 in a predetermined direction.
[0058]
The viewer 68 displays each stream generated in this way on the screen of the server, and specifically displays it with a radar chart and a stream chart.
Here, the radar chart shows the state of the stream at that moment, more specifically the viewing angle of the camera and the sound source direction, and the stream chart shows the association stream (thick line shown), auditory stream and visual stream (thin line shown). ing.
[0059]
The humanoid robot 10 according to the embodiment of the present invention is configured as described above, and operates as follows with respect to a target speaker as a party reception robot with reference to FIG.
First, as shown in FIG. 12A, the robot 10 is disposed in front of the entrance of the party venue.
Then, as shown in FIG. 12B, the party participant P approaches the robot 10, but the robot 10 has not yet recognized the participant P. Here, the participant P has talks with the robot 10, for example, "Hello", the robot 10 includes a microphone 16 picking up the sound of the participant P, generate an auditory event 28 hearing module 20 involves a sound source direction Then, the data is transmitted to the association module 60 via the network 70.
[0060]
As a result, the association module 60 generates an auditory stream 29 based on the auditory event 28. At this time, the visual module 30 does not generate the visual event 39 because the participant P is not within the field of view of the camera 15. Therefore, the association module 60 generates the auditory stream 29 based only on the auditory event 28, and the attention control module 64 performs attention control such that the robot 10 is directed toward the participant P using the auditory stream 29 as a trigger. Do.
[0061]
In this way, as shown in FIG. 12C, the robot 10 faces the participant P, and so-called voice tracking is performed. Then, the visual module 30 captures an image of the face of the participant P by the camera 15, generates a visual event 39, searches the face database 38 for the face of the participant P, performs face identification, and results thereof. Are transmitted to the association module 60 via the network 70. If the face of the participant P is not registered in the face database 38, the vision module 30 transmits the fact to the association module 60 via the network 70.
[0062]
At this time, the robot 10 generates the association stream 65 by the auditory event 28 and the visual event 39, and the attention control module 64 does not change the attention control by the association stream 65. Continue to face the direction. Therefore, even if the participant P moves, the robot 10 tracks the participant P by controlling the motor control module 40 by the association stream 65, and the camera 15 of the vision module 30 continues the participant P. Can be taken.
[0063]
Then, the association module 60 gives an input to the voice recognition circuit 55 of the auditory module 20, and the voice recognition circuit 55 gives the voice recognition result to the dialogue control circuit 53. Thereby, the dialogue control circuit 53 performs voice synthesis and utters from the speaker 51. At this time, the voice recognition circuit 55 reduces the sound from the speaker 51 from the acoustic signal from the microphone 16 by the own voice suppression circuit 54, so that the robot 10 ignores its own utterance and more accurately the other party's voice Can be recognized.
[0064]
Here, utterance by voice synthesis differs depending on whether or not the face of the participant P is registered in the face database 38.
If the face of the participant P has been registered in the face database 38, the association module 60, on the basis of the face ID24 from the vision module 30, to control the interaction module 50, "Hello .XXX's by speech synthesis "Are you?"
On the other hand, when the participant P answers “Yes”, the dialogue module 50 recognizes “Yes” by the voice recognition circuit 55 based on the acoustic signal from the microphone 16, and synthesizes the voice by the dialogue control circuit 53. And say "Welcome XXX, please enter the room" from the speaker 51.
[0065]
In addition, when the face of the participant P has not been registered in the face database 38, the association module 60 controls the interaction module 50, can you tell us, "Hello. Your Name by speech synthesis? To the participant P.
On the other hand, when the participant P answers his / her name “XXX”, the dialogue module 50 recognizes “XXX” by the voice recognition circuit 55 based on the acoustic signal from the microphone 16, and interacts. Speech is synthesized by the control circuit 53, and the speaker 51 says "Welcome XXX, please enter the room."
In this way, the robot 10 recognizes the participant P to guide the entrance to the party venue, and uses the face database 38 to input the face image and the name “XXX” of the participant P in the vision module 30. To register.
[0066]
The humanoid robot 10 operates as a companion robot as follows.
In this case, the humanoid robot 10 recognizes a plurality of speakers by hearing and vision based on the auditory event 28 by the auditory module 20, the visual event 39 by the visual module 30, and the association stream 65 by the association module 60. At the same time, one of a plurality of speakers can be tracked, or can be switched to another speaker on the way.
In the case of a companion robot, the robot 10 plays a passive role, that is, only “listens” or “sees the speaker” of the party participant, and does not speak by the dialogue module 50. .
[0067]
The humanoid robot 10 as a companion robot may share the party reception robot and the face database 38, or the party reception robot face database 38 may be transferred or copied. In this case, the humanoid robot 10 as a companion robot can always recognize all party participants by face identification.
[0068]
In this manner, according to the humanoid robot 10 according to the embodiment of the present invention, the association module 60 is based on the auditory event and the visual event from the auditory module 20 and the visual module 30, and the direction information and the individual speakers. From the identification, these events are taken into account and the auditory stream, visual stream, and association stream are generated to recognize multiple target speakers. Multiple speakers in real time, for example, even if the speaker moves and becomes “invisible”, and even if the speaker does not speak and becomes “inaudible” Can be tracked audibly and / or visually.
[0069]
In the embodiment described above, the humanoid robot 10 is configured to have 4 DOF (degree of freedom). However, the present invention is not limited to this, and the robot audition system according to the present invention is applied to a robot configured to perform an arbitrary operation. It can also be incorporated. In the above-described embodiment, the case where the robot audio-visual system according to the present invention is incorporated in the humanoid robot 10 has been described. Obviously, it can also be incorporated.
[0070]
【The invention's effect】
As described above, according to the present invention, the auditory module obtains the direction of each sound source by performing pitch extraction using the harmonic structure from the sound from the external object collected by the microphone. The sound source of the speaker is identified, and the auditory event is extracted.
In addition, the visual module identifies each speaker from the face identification and localization of each speaker by pattern recognition from the image captured by the camera, and extracts a visual event of each speaker.
Further, the motor control module extracts the motor event by detecting the direction of the robot based on the rotational position of the drive motor that rotates the robot in the horizontal direction.
[0071]
Here, the association module generates an auditory stream and a visual stream of each speaker with reference to the direction information and speaker identification based on the auditory event, the visual event, and the motor event extracted in this manner. Further, an association stream is generated by associating these streams, and the attention control module performs attention control based on these streams, thereby planning driving motor control of the motor control module.
In this case, the association module determines the direction of each speaker based on the sound source localization of the auditory event and the face localization of the visual event, that is, the auditory and visual direction information, and generates an auditory stream, a visual stream, and an association stream. Will do.
[0072]
Then, the attention control module controls the drive motor of the motor control module based on this planning to direct the direction of the robot toward the target speaker. As a result, when the robot faces the target speaker, the auditory module can accurately collect and localize the speaker's voice with a microphone in the front direction with high sensitivity. The module can better capture the image of the speaker by the camera.
[0073]
Therefore, by connecting the auditory module, the visual module, and the motor control module with the association module and the attention control module, the direction information, speaker identification, and temporal flow of the auditory event and the visual event are referred to. Tracking, the ambiguities of the robot's auditory and visual senses complement each other, improving the so-called robustness and ensuring that each speaker is perceived reliably, even for multiple speakers. can do.
Also, even when either an auditory event or a visual event is missing, for example, the association module can perceive the target speaker based only on the remaining visual event or auditory event, so that it is accurate. The motor control module can be controlled by grasping the direction of the target.
As a result, according to the present invention, an extremely excellent robot audio-visual system that integrates visual and auditory information on a target to reliably track the target is provided.
[Brief description of the drawings]
FIG. 1 is a front view showing the appearance of a humanoid robot incorporating a first embodiment of a robot hearing apparatus according to the present invention.
FIG. 2 is a side view of the humanoid robot of FIG.
3 is a schematic enlarged view showing a configuration of a head in the humanoid robot of FIG. 1. FIG.
4 is a block diagram showing an electrical configuration of a robot audiovisual system in the humanoid robot of FIG. 1. FIG.
5 is a block diagram of an electrical configuration showing an enlarged view of the auditory module of block 1 in FIG. 4; FIG.
6 is a block diagram of an electrical configuration showing an enlarged view of the visual module of block 2 in FIG. 4. FIG.
7 is a block diagram of an electrical configuration showing an enlarged motor control module of block 3 in FIG. 4;
FIG. 8 is a block diagram of an electrical configuration showing an enlargement of the dialogue module of block 4 in FIG. 4;
9 is a block diagram of an electrical configuration showing an enlarged view of the association module of block 5 in FIG. 4. FIG.
10 is a diagram showing peak extraction, sound source localization, and sound source separation by the auditory module in the robot audio-visual system of FIG. 4. FIG.
11 is a diagram showing stream generation by the association module in the robot audiovisual system of FIG. 4; FIG.
12 is a diagram showing an operation example as a party reception robot in the robot audiovisual system of FIG. 4;
[Explanation of symbols]
10 Humanoid robot
11 base
12 Torso
13 head
13a Connecting member
14 Exterior
15 Camera (Robot vision)
16, 16a, 16b Microphone (robot hearing)
17 Robot audio-visual system
20 Hearing module
30 Vision Module
40 Motor control module
50 Dialogue module
60 Association Module
64 Attention control module
70 network

Claims (5)

An auditory module including at least a pair of microphones for collecting external sounds;
A vision module including a camera that images the front of the robot;
A motor control module including a drive motor for rotating the robot in a horizontal direction;
An association module that integrates events from the auditory module, vision module and motor control module to generate a stream;
An attention control module that performs attention control based on the stream generated by the association module;
The auditory module determines the direction of at least one speaker from pitch extraction, sound source separation and localization based on an acoustic signal from a microphone, and extracts the auditory event;
The visual module identifies each speaker's sound source from each speaker's face identification and localization based on the image captured by the camera, and extracts the speaker 's visual event;
The motor control module extracts a motor event based on the rotational position of the drive motor,
The association module determines the direction of each speaker based on the direction information of the sound source localization of the auditory event and the face localization of the visual event from the auditory event, the visual event, and the motor event. Generate an association stream by associating the auditory stream with the visual stream ,
The robot audio-visual system, wherein the attention control module performs attention control for planning driving motor control of the motor control module based on an auditory stream, a visual stream, and an association stream . An auditory module including at least a pair of microphones for collecting external sounds;
A vision module including a camera that images the front of the robot;
A motor control module including a drive motor for rotating the robot in a horizontal direction;
An association module that integrates events from the auditory module, vision module and motor control module to generate a stream;
An attention control module for performing attention control based on the stream generated by the association module;
A human-type or animal-type audio-visual system comprising:
The auditory module determines the direction of at least one speaker from pitch extraction, sound source separation and localization based on an acoustic signal from a microphone, and extracts the auditory event;
The visual module identifies each speaker based on each speaker's face identification and localization based on the image captured by the camera, and extracts the speaker 's visual event;
The motor control module extracts a motor event based on the rotational position of the drive motor,
The association module determines the direction of each speaker based on the direction information of the sound source localization of the auditory event and the face localization of the visual event from the auditory event, the visual event, and the motor event. Generate an association stream by associating the auditory stream with the visual stream ,
The robot audio-visual system, wherein the attention control module performs attention control for planning driving motor control of the motor control module based on an auditory stream, a visual stream, and an association stream .   3. The robot audiovisual system according to claim 1, wherein when the association module generates an auditory stream and a visual stream, the auditory event, the visual event, and the motor event generated asynchronously are mutually synchronized. system. The auditory module detects speech MFCC from the acoustic signal to identify each speaker;
The association module selects an audio stream and a visual stream to which the audio event and the visual event should be connected by identifying the speaker based on the speaker identification of the audio event and the speaker identification of the visual event. The robot audio-visual system according to any one of claims 1 to 3.   The association module selects an audio stream and a visual stream to which the audio event and the visual event are connected with reference to a temporal flow of the audio event and the visual event when a plurality of streams approach each other. The robot audio-visual system according to any one of claims 1 to 4.

Images