JP2003251583A - ロボット視聴覚システム - Google Patents

Abstract

(57)【要約】 【課題】 目標に対する視覚及び聴覚の情報を統合し
て、目標の音源定位を正確に行なうようにした、ロボッ
ト視聴覚システムを提供する。 【解決手段】 聴覚モジュール２０，顔モジュール３
０，ステレオモジュール３７，モータ制御モジュール４
０と、各モジュールを制御するアソシエーションモジュ
ール５０とを備え、アソシエーションモジュールが、聴
覚モジュールからの聴覚イベント２８，顔モジュールか
らの顔イベント３９，ステレオモジュール３７からのス
テレオイベント３９ａ，モータ制御モジュールからのモ
ータイベント４８から聴覚ストリーム５５及び視覚スト
リーム５６と、これらを関連付けたアソシエーションス
トリーム５７を生成すると共に、聴覚モジュールが、ア
ソシエーションモジュールからの正確な音源方向情報に
基づいて、アクティブ方向通過型フィルタ２３ａによる
音源分離を行なうようにロボット視聴覚システム１７を
構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はロボット、特に人型
または動物型ロボットにおける視聴覚システムに関する
ものである。

【０００２】

【従来の技術】近年、このような人型または動物型ロボ
ットにおいては、視覚，聴覚の能動知覚が注目されてき
ている。能動知覚とは、ロボット視覚やロボット聴覚等
の知覚を担当する知覚装置を、知覚すべき目標に追従す
るように、これらの知覚装置を支持する例えば頭部を駆
動機構により姿勢制御するものである。

【０００３】ここで、能動視覚に関しては、少なくとも
知覚装置であるカメラが、駆動機構による姿勢制御によ
ってその光軸方向が目標に向かって保持され、目標に対
して自動的にフォーカシングやズームイン，ズームアウ
ト等が行なわれることにより、目標がカメラによって撮
像されるようになっており、種々の研究が行なわれてい
る。

【０００４】これに対して、能動聴覚に関しては、少な
くとも知覚装置であるマイクが、駆動機構による姿勢制
御によって、その指向性が目標に向かって保持され、目
標からの音がマイクによって集音される。このとき、能
動聴覚の不利な点として、駆動機構が作用している間
は、マイクが駆動機構の作動音を拾ってしまうため、目
標からの音に比較的大きなノイズが混入してしまい、目
標からの音を認識できなくなってしまうことがある。こ
のような能動聴覚の不利な点を排除するために、例えば
視覚情報を参照して音源の方向付けを行なうことによ
り、目標からの音を正確に認識する方法が採用されてい
る。

【０００５】

【発明が解決しようとする課題】ところで、このような
能動聴覚においては、一般に、音源定位の際に、ＨＲＴ
Ｆ（頭部伝達関数）から求められる両耳間位相差（ＩＰ
Ｄ）や両耳間強度差（ＩＩＤ）を利用して、音源定位を
行なうようにしている。しかしながら、上記ＨＲＴＦを
利用した音源定位では、部屋の音響環境まで考慮する必
要があり、部屋の環境の変化が音源定位結果に大きく依
存してしまう。また、測定関数であるため測定点間の値
の補完が必要であるという問題もある。従って、実環境
アプリケーションには不向きである。

【０００６】また、ＨＲＴＦに依らず、視覚における所
謂エピポーラ幾何を応用した音源定位も考えられるが、
従来のエピポーラ幾何を応用した音源定位においては、
両耳と目標とを結ぶ三角形に基づいて音源定位を行なっ
ている。しかしながら、このようなエピポーラ幾何にお
ける三角形においては、頭部付近では、上記三角形の辺
が頭部を貫通することになるが、実際の目標からの音は
頭部を貫通せず、頭部表面に沿って伝達するため、正確
な音源定位を行なうことができなかった。

【０００７】さらに、音源分離の際には、所謂方向通過
型フィルタを用いて、特定の方向のＩＰＤと同じＩＰＤ
を有するサブバンドを選択する方法がある。しかしなが
ら、このような方向通過型フィルタにおいては、方向に
よる感度の違い及びアクティブな動作を考慮していない
ため、感度の良好な正面以外の音源定位の精度が低くな
ってしまうと共に、従来では測定関数であるＨＲＴＦを
利用している。従って、実環境及び環境の動的な変化に
対応することが困難であり、さらにアクティブな動作に
対してはＨＲＴＦの補間が必要になるという問題があっ
た。

【０００８】この発明は、以上の点にかんがみて、目標
に対する視覚及び聴覚の情報を統合して、目標の音源分
離を正確に行なうロボット視聴覚システムを提供するこ
とを目的としている。

【０００９】

【課題を解決するための手段】上記目的は、この発明に
よれば、外部の音を集音する少なくとも一対のマイクを
含む聴覚モジュールと、ロボットの前方を撮像するカメ
ラを含む顔モジュールと、ステレオカメラにより物体を
抽出するステレオモジュールと、ロボットを水平方向に
回動させる駆動モータを含むモータ制御モジュールと、
上記聴覚モジュール，顔モジュール，ステレオモジュー
ル及びモータ制御モジュールからのイベントを統合して
ストリームを生成するアソシエーションモジュールと、
アソシエーションモジュールにより生成されたストリー
ムに基づいてアテンション制御を行なうアテンション制
御モジュールと、を備えていて、上記聴覚モジュール
が、マイクからの音響信号に基づいて、ピッチ抽出，調
波構造に基づいたグルーピングによる音源の分離及び定
位から少なくとも一人の話者の方向を決定してその聴覚
イベントを抽出し、上記顔モジュールが、カメラにより
撮像された画像に基づいて、各話者の顔識別と定位から
各話者を同定してその顔イベントを抽出し、上記ステレ
オモジュールが、ステレオカメラにより撮像された画像
から抽出された視差に基づいて縦に長い物体を抽出定位
してステレオイベントを抽出し、上記モータ制御モジュ
ールが、駆動モータの回転位置に基づいてモータイベン
トを抽出し、これにより、上記アソシエーションモジュ
ールが、聴覚イベント，顔イベント，ステレオイベント
及びモータイベントから、聴覚イベントの音源定位及び
顔イベントの顔定位並びにステレオイベントの物体定位
の方向情報に基づいて各話者の方向を決定し、カルマン
フィルタを用いてイベントを時間方向に接続することに
より聴覚ストリーム，顔ストリーム及びステレオストリ
ームを生成し、さらにこれらを関連付けてアソシエーシ
ョンストリームを生成して、上記アテンション制御モジ
ュールが、これらのストリームに基づいてアテンション
制御と、それに伴う行動のプランニング結果に基づいて
モータの駆動制御を行なう、ロボット視聴覚システムで
あって、上記聴覚モジュールが、アソシエーションモジ
ュールからの正確な音源方向情報に基づいて、聴覚特性
に従って正面方向で最小となり且つ左右に角度が大きく
なるにつれて大きくなるパスレンジを有するアクティブ
方向通過型フィルタにより、所定幅の範囲内の両耳間位
相差（ＩＰＤ）または両耳間強度差（ＩＩＤ）をもった
サブバンドを集めて音源の波形を再構築することにより
音源分離を行なうことを特徴とするロボット視聴覚シス
テムにより、達成される。

【００１０】本発明によるロボット視聴覚システムは、
好ましくは、上記聴覚モジュールが、拡張聴覚エピポー
ラ幾何による音源定位に基づいて音源分離を行なう。

【００１１】本発明によるロボット視聴覚システムは、
好ましくは、上記聴覚モジュールが、ロボット固有の所
定周波数を基準として、当該所定周波数未満で拡張聴覚
エピポーラ幾何により、または全周波数帯域で頭部伝達
関数（ＨＲＴＦ）により、または全周波数帯域で拡張聴
覚エピポーラ幾何により、あるいは所定周波数未満で拡
張聴覚エピポーラ幾何により且つ所定周波数以上で頭部
伝達関数により、それぞれ得られる音源定位に基づいて
音源分離を行なう。

【００１２】本発明によるロボット視聴覚システムは、
好ましくは、上記アソシエーションモジュールが、各話
者の方向を決定した後、カルマンフィルタを用いてイベ
ントを時間方向に接続することにより聴覚ストリーム，
顔ストリーム及びステレオストリームを生成し、さらに
これらを関連付けてアソシエーションストリームを生成
する。

【００１３】本発明によるロボット視聴覚システムは、
好ましくは、上記聴覚モジュール，顔モジュール，ステ
レオモジュール，モータ制御モジュール，アソシエーシ
ョンモジュール及びアテンション制御モジュールが、ネ
ットワークを介して互いに接続されており、特にデータ
量の大きいイベントやストリームの通信のために、比較
的高速のネットワークが使用されている。

【００１４】上記構成によれば、聴覚モジュールが、マ
イクが集音した外部の目標からの音から、調波構造を利
用してピッチ抽出を行なうことにより音源毎の方向を得
て、個々の話者の方向を決定してその聴覚イベントを抽
出する。また、顔モジュールが、カメラにより撮像され
た画像から、パターン認識による各話者の顔識別と定位
から各話者を同定して、個々の話者の顔イベントを抽出
する。そして、ステレオモジュールが、ステレオカメラ
により撮像された画像から抽出された視差に基づいて縦
に長い物体を抽出定位してステレオイベントを抽出す
る。さらに、モータ制御モジュールが、ロボットを水平
方向に回動させる駆動モータの回転位置に基づいて、ロ
ボットの方向を検出することによってモータイベントを
抽出する。なお、上記イベントとは、各時点において検
出される音または顔が在ること、あるいは駆動モータが
回転される状態を示しており、ストリームとは、エラー
訂正処理を行ないながら、例えばカルマンフィルタ等に
より時間的に連続するように接続したイベントを示して
いる。また、本明細書で用いることがある「視覚モジュ
ール」「視覚ストリーム」の語は、顔モジュール，顔ス
トリーム及びステレオモジュール，ステレオストリーム
を包含する概念である。

【００１５】ここで、アソシエーションモジュールは、
このようにしてそれぞれ抽出された聴覚イベント，顔イ
ベント，ステレオイベント及びモータイベントに基づい
て、聴覚イベントの音源定位及び顔イベントの顔定位並
びにステレオイベントの物体定位の方向情報によって各
話者の方向を決定することにより、各話者の聴覚ストリ
ーム，顔ストリーム及びステレオストリーム（視覚スト
リーム）を生成し、さらにこれらのストリームを関連付
けてアソシエーションストリームを生成する。この際、
アソシエーションモジュールは、聴覚イベントの音源定
位及び顔イベントの顔定位並びにステレオイベントの物
体定位、即ち聴覚及び視覚の方向情報に基づいて各話者
の方向を決定し、決定された各話者の方向を参考にして
アソシエーションストリームを生成することになる。そ
して、アテンション制御モジュールが、これらのストリ
ームに基づいてアテンション制御と、それに伴う行動の
プランニング結果に基づいてモータの駆動制御を行な
う。アテンションとは、ロボットが目標である話者を、
聴覚的及び／又は視覚的に「注目」することであり、ア
ンテンション制御とは、モータ制御モジュールによりそ
の向きを変えることにより、ロボットが上記話者に注目
するようにすることである。

【００１６】そして、アテンション制御モジュールは、
このプランニングに基づいて、モータ制御モジュールの
駆動モータを制御することにより、ロボットの方向を目
標である話者に向ける。これにより、ロボットが目標で
ある話者に対して正対することにより、聴覚モジュール
が当該話者の声を、感度の高い正面方向にてマイクによ
り正確に集音，定位することができると共に、顔モジュ
ールが当該話者の画像をカメラにより良好に撮像するこ
とができるようになる。

【００１７】従って、このような聴覚モジュール，視覚
モジュール（顔モジュール及びステレオモジュール）及
びモータ制御モジュールと、アソシエーションモジュー
ル及びアテンション制御モジュールとの連携によって、
聴覚ストリームの音源定位及び視覚ストリーム（顔スト
リーム及びステレオストリーム）の話者定位という方向
情報に基づいて各話者の方向を決定することにより、ロ
ボットの聴覚及び視覚がそれぞれ有する曖昧性が互いに
補完されることになり、所謂ロバスト性が向上し、複数
の話者であっても、各話者をそれぞれ確実に知覚するこ
とができる。また、例えば聴覚ストリームまたは視覚ス
トリーム（顔ストリームとステレオストリーム）の何れ
か一方が欠落したときであっても、残りの視覚ストリー
ム（顔又はステレオストリーム）または聴覚ストリーム
のみに基づいて、目標である話者をアテンション制御モ
ジュールが追跡することができるので、正確に目標の方
向を把握して、モータ制御モジュールの制御を行なうこ
とができる。

【００１８】ここで、聴覚モジュールが、アソシエーシ
ョンモジュールからのアソシエーションストリームを参
照することにより、顔モジュール及びステレオモジュー
ルからの顔ストリーム及びステレオストリームをも考慮
して音源定位を行なうことによって、より一層正確な音
源定位を行なうことができる。そして、上記聴覚モジュ
ールが、アソシエーションモジュールからの正確な音源
方向情報に基づいて、聴覚特性に従って正面方向で最小
となり且つ左右に角度が大きくなるにつれて大きくなる
パスレンジを有するアクティブ方向通過型フィルタによ
り、所定幅の範囲内の両耳間位相差（ＩＰＤ）または両
耳間強度差（ＩＩＤ）をもったサブバンドを集めて、音
源の波形を再構築することにより音源分離を行なうの
で、上述した聴覚特性に応じてパスレンジ即ち感度を調
整することにより、方向による感度の違いを考慮してよ
り正確に音源分離を行なうことができる。

【００１９】上記聴覚モジュールが、拡張聴覚エピポー
ラ幾何による音源定位に基づいて音源分離を行なう場合
には、アソシエーションモジュールからのアソシエーシ
ョンストリームを参照して、頭部表面に沿った拡張聴覚
エピポーラ幾何により音源定位を行なうので、音源から
ロボットの両耳部に設けられた左右のマイクへの実際の
距離に基づいて、聴覚エピポーラ幾何を応用することに
より、ロボットの外装形状を考慮して、より正確に聴覚
エピポーラ幾何による音源分離を行なうことができる。

【００２０】上記聴覚モジュールが、ロボット固有の所
定周波数を基準として、当該所定周波数未満で拡張聴覚
エピポーラ幾何により、または全周波数帯域で頭部伝達
関数（ＨＲＴＦ）により、または全周波数帯域で拡張聴
覚エピポーラ幾何により、あるいは所定周波数未満で拡
張聴覚エピポーラ幾何により且つ所定周波数以上で頭部
伝達関数により、それぞれ得られる音源定位に基づいて
音源分離を行なう場合には、そのときの実環境に応じ
て、正確な音源分離を行なうことができる。

【００２１】上記アソシエーションモジュールが、各話
者の方向を決定した後、カルマンフィルタを用いてイベ
ントを時間方向に接続することにより聴覚ストリーム及
び視覚ストリーム、即ち、顔ストリーム及びステレオス
トリームを生成し、さらにこれらを関連付けてアソシエ
ーションストリームを生成する場合には、カルマンフィ
ルタを使用することにより、より一層正確なストリーム
を生成することができる。

【００２２】上記聴覚モジュール，顔モジュール，ステ
レオモジュール，モータ制御モジュール，アソシエーシ
ョンモジュール及びアテンション制御モジュールが、ネ
ットワークを介して互いに接続されており、特にデータ
量の大きいイベントやストリームの通信のために、比較
的高速のネットワークが使用されている場合には、大容
量のデータを比較的高速のネットワークで伝送すること
により、リアルタイム性及びスケーラビリティを向上さ
せることができる。

【００２３】

【発明の実施の形態】以下、図面に示した実施形態に基
づいて、この発明を詳細に説明する。図１乃至図２はこ
の発明によるロボット視聴覚システムの一実施形態を備
えた実験用の人型ロボットの全体構成を示している。図
１において、人型ロボット１０は４ＤＯＦ（自由度）の
ロボットとして構成されており、ベース１１と、ベース
１１上にて一軸（垂直軸）周りに回動可能に支持された
胴体部１２と、胴体部１２上にて三軸方向（垂直軸，左
右方向の水平軸及び前後方向の水平軸）の周りに揺動可
能に支持された頭部１３と、を含んでいる。

【００２４】上記ベース１１は固定配置されていてもよ
く、脚部として動作可能としてもよい。また、ベース１
１は、移動可能な台車等の上に載置されていてもよい。
上記胴体部１２は、ベース１１に対して垂直軸の周り
に、図１にて矢印Ａで示すように回動可能に支持されて
おり、図示しない駆動手段によって回転駆動されると共
に、図示の場合、防音性の外装によって覆われている。

【００２５】上記頭部１３は胴体部１２に対して連結部
材１３ａを介して支持されており、この連結部材１３ａ
に対して前後方向の水平軸の周りに、図１にて矢印Ｂで
示すように揺動可能に、また左右方向の水平軸の周り
に、図２にて矢印Ｃで示すように揺動可能に支持されて
いると共に、上記連結部材１３ａが、胴体部１２に対し
てさらに前後方向の水平軸の周りに、図１にて矢印Ｄで
示すように揺動可能に支持されており、それぞれ図示し
ない駆動手段によって、各矢印Ａ，Ｂ，Ｃ，Ｄ方向に回
転駆動される。

【００２６】ここで、上記頭部１３は、図３に示すよう
に全体が防音性の外装１４で覆われていると共に、前側
にロボット視覚を担当する視覚装置としてのカメラ１５
を、また両側にロボット聴覚を担当する聴覚装置として
の一対のマイク１６（１６ａ，１６ｂ）を備えている。
なお、マイク１６は、頭部１３の両側に限定されること
なく、頭部１３の他の位置あるいは胴体部１２等に設け
られていてもよい。

【００２７】上記外装１４は、例えばウレタン樹脂等の
吸音性の合成樹脂から構成されており、頭部１３の内部
をほぼ完全に密閉することにより、頭部１３の内部の遮
音を行なうように構成されている。なお、胴体部１２の
外装も、同様にして吸音性の合成樹脂から構成されてい
る。上記カメラ１５は公知の構成であって、例えば所謂
パン，チルト，ズームの３ＤＯＦ（自由度）を有する市
販のカメラが適用され得る。なお、上記カメラ１５は、
同期をとってステレオ画像を送ることができるように設
計されている。

【００２８】上記マイク１６は、それぞれ頭部１３の側
面において、前方に向かって指向性を有するように取り
付けられている。ここで、マイク１６の左右の各マイク
１６ａ，１６ｂは、それぞれ図１及び図２に示すよう
に、外装１４の両側にて前方に向いた段部１４ａ，１４
ｂにて内側に取り付けられ、段部１４ａ，１４ｂに設け
られた貫通穴を通して前方の音を集音すると共に、外装
１４の内部の音を拾わないように適宜の手段により遮音
されている。これにより、各マイク１６ａ，１６ｂは、
所謂バイノーラルマイクとして構成されている。なお、
マイク１６ａ，１６ｂの取付位置の近傍において、外装
１４は人間の外耳形状に形成されていてもよい。

【００２９】図４は、上記カメラ１５及びマイク１６を
含むロボット視聴覚の電気的構成を示している。図４に
おいて、ロボット視聴覚システム１７は、聴覚モジュー
ル２０，視覚モジュール、即ち、顔モジュール３０とス
テレオモジュール３７，モータ制御モジュール４０及び
アソシエーションモジュール５０から構成されている。
ここで、アソシエーションモジュール５０はサーバから
構成されていると共に、他のモジュール、即ち聴覚モジ
ュール２０，顔モジュール３０，ステレオモジュール３
７，モータ制御モジュール４０は、それぞれクライアン
トから構成されており、互いに非同期で動作する。

【００３０】なお、上記サーバ及び各クライアントは、
例えばパーソナルコンピュータにより構成されており、
例えば１００Ｂａｓｅ−Ｔ等のネットワーク（図示せ
ず）を介して、例えばＴＣＰ／ＩＰプロトコルにより、
相互にＬＡＮ接続されている。この場合、好ましくは、
データ量の大きいイベントやストリームの通信のために
は、高速ネットワークが、また時刻の同期等の制御用通
信のためには、中速ネットワークが、それぞれ区別して
使用される。これにより、ロボット全体のリアルタイム
性及びスケーラビリティを向上させるようにしている。
また、各モジュール２０，３０，３７，４０，５０は、
それぞれ階層的に分散して、具体的には下位から順次に
デバイス層，プロセス層，特徴層，イベント層から構成
されている。

【００３１】上記聴覚モジュール２０は、デバイス層と
してのマイク１６と、プロセス層としてのピーク抽出部
２１，音源定位部２２，音源分離部２３及びアクティブ
方向通過型フィルタ２３ａと、特徴層（データ）として
のピッチ２４，音源水平方向２５と、イベント層として
の聴覚イベント生成部２６と、から構成されている。

【００３２】ここで、聴覚モジュール２０は、図５に示
すように作用する。即ち、図５において、聴覚モジュー
ル２０は、例えば４８ｋＨｚ，１６ビットでサンプリン
グされたマイク１６からの音響信号を、符号Ｘ１で示す
ようにＤＦＴにより周波数解析して、符号Ｘ２で示すよ
うに左右のチャンネル毎にスペクトルを生成する。そし
て、聴覚モジュール２０は、ピーク抽出部２１により左
右のチャンネル毎に一連のピークを抽出して、左右のチ
ャンネルで同じか類似のピークをペアとする。ここで、
ピーク抽出は、パワーがしきい値以上で且つローカルピ
ークであって、低周波ノイズとパワーの小さい高周波帯
域をカットするため例えば９０Ｈｚ乃至３ｋＨｚの間の
周波数であるという条件のデータのみを透過させる帯域
フィルタを使用することにより行なわれる。このしきい
値は、周囲の暗騒音を計測して、さらに感度パラメー
タ、例えば１０ｄＢを加えた値として定義される。

【００３３】そして、聴覚モジュール２０は、各ピーク
が調波構造を有していることを利用して、周波数が低い
方から順に、調波構造を有するローカルピークを抽出し
て、抽出されたピークの集合を一つの音として、音源分
離部２３により各音源からの混合音から音源毎の音響信
号を分離する。

【００３４】その際、聴覚モジュール２０の音源定位部
２２は、符号Ｘ３で示すように、各音源毎の音響信号に
ついて、左右のチャンネルから同じ周波数の音響信号を
選択して、例えば５度毎にＩＰＤ（両耳間位相差）及び
ＩＩＤ（両耳間強度差）を計算し、アクティブ方向通過
型フィルタ２３ａに出力する。

【００３５】これに対して、アクティブ方向通過型フィ
ルタ２３ａは、アソシエーションモジュール５０におけ
る顔定位及びステレオ視覚そして音源定位に基づくリア
ルタイムトラッキング（後述）によるアソシエーション
ストリーム５９の方向に基づいて、以下に詳細に説明す
る拡張聴覚エピポーラ幾何を利用して、ロボット１０の
正面を０度として±９０度の範囲で、符号Ｘ４で示すよ
うに、ＩＰＤの理論値ＩＰＤ（＝Δφ_E （θ））を生成
すると共に、ＩＩＤの理論値ＩＩＤ（＝Δρ_E（θ））
を計算する。

【００３６】ここで、上記拡張聴覚エピポーラ幾何につ
いて説明する。聴覚エピポーラ幾何は、ＨＲＴＦを使用
せずに音源の方向情報を得るために必要である。ステレ
オ視覚研究においては、エピポーラ幾何が、最も一般的
な定位法の一つであり、聴覚エピポーラ幾何は、視覚に
おけるエピポーラ幾何の聴覚への応用である。そして、
聴覚エピポーラ幾何が幾何学的関係を利用して方向情報
を得るので、ＨＲＴＦを不要にすることができるのであ
る。

【００３７】しかしながら、従来の聴覚エピポーラ幾何
においては、外装１４の影響や、ロボット１０と部屋の
反響のような実世界の環境の影響がある。外装１４の影
響に関しては、実際のロボットの頭部の両側にマイク１
６ａ，１６ｂを設けた場合、図６（Ａ）に示すように、
例えば音源が右手前方に在ると、左側のマイク１６ａと
音源Ｐとを結ぶ線分Ｑは、頭部１３内を貫通することに
なるが、実際には音源からの音は頭部１３の外装１４の
表面に沿って進んで左側のマイク１６ａに達する。従っ
て、このような場合には、上記聴覚エピポーラ幾何は適
用できない。

【００３８】そこで、本実施形態においては、より正確
な方向情報を得るために、本発明による拡張聴覚エピポ
ーラ幾何を利用している。拡張聴覚エピポーラ幾何は、
以下のように作用する。即ち、先ず、ＦＦＴ（高速フー
リエ変換）により得られた一対のスペクトルから、各サ
ブバンドに対するＩＰＤを計算する。そして、頭部１３
の形状を考慮して、図６（Ａ）に示すように、頭部１３
中心から音源Ｐまでの距離をｌ、頭部の半径をｒとす
る。そして、音源Ｐから左右のマイク１６ａ，１６ｂま
での距離差をＤ、ＩＰＤをΔψ、音の周波数をｆ、音速
をｖ（以下、音速ｖは、計算を簡略化するために、例え
ば３４０ｍ／秒に固定し、温度や湿度で変化しないもの
とする）とすると、以下の方程式

【数１】 が得られる。

【００３９】ここで、Ｄの定義にて、ロボットの外装１
４の影響が考慮されるべきである。外装１４のために、
音は、一方の耳には直接に到達し得る。例えば図６
（Ａ）において、音源Ｐから左のマイク１６ａへの音の
通路が真っ直ではないので、音は外装１４の表面に沿っ
て進行しなければならない。従って、外装１４の形状を
考慮することにより、聴覚エピポーラ幾何の方程式を調
整すればよい。これにより、聴覚エピポーラ幾何の方程
式は、

【数２】

【数３】

【数４】 となる。

【００４０】このようにして、Ｄは、θ及びｌの関数と
して定義される。図６（Ｂ）のグラフは、シミュレーシ
ョンによって得られたＤ，θ及びｌの関係を示してい
る。これにより、θが大きくなるにつれて、ｌの影響が
大きくなることが分かる。しかしながら、ｌが５０ｃｍ
以上になると、ｌの影響は無視できる。このような場
合、Ｄは、ｌが無限であるとして、θのみの関数とし
て、以下の式、

【数５】 により定義される。

【００４１】ここで、音源が視覚エピポーラ幾何により
定位されるときには、視覚及び聴覚におけるベースライ
ンは平行であるので、Ｄは容易にθに変換され得る。こ
れは、方向の表現が視覚及び聴覚情報を統合するための
糸口として使用されることを意味している。

【００４２】また、アクティブ方向通過型フィルタ２３
ａは、前述した実世界の環境の影響によって、以下の三
つの大きな因子に依存することになる。 １． 音源から左右の耳部への距離の差 ２． ロボット本体と頭部の反響 ３． 部屋の反響 ここで、これらの因子による実世界での影響を調べるた
めに、無響室にて正中面から左右に±９０度の範囲で１
０度毎にパルス応答を測定し、拡張エピポーラ幾何によ
るシミュレーションとの比較を行なったところ、図７に
示す結果が得られた。即ち、図７（ａ）は、カバーのな
いステレオマイクを使用した音響測定結果であり、カバ
ーの影響を考慮する必要はない。ここで、ＡＥＧで示す
細線は、従来の聴覚エピポーラ幾何により推測されたＩ
ＰＤを示し、測定結果と良好に合っていることが分か
る。これにより、聴覚エピポーラ幾何の原理が正しいこ
とが分かる。

【００４３】これに対して、図７（ｂ）は、無響室にお
けるロボットのＩＰＤ測定値と聴覚エピポーラ幾何によ
り推測されたＩＰＤを示している。この場合、聴覚エピ
ポーラ幾何による推測は、３００Ｈｚ以上の周波数では
対応するデータと合っていない。この不一致は、ロボッ
ト本体と頭部の反響により引き起こされている。また、
図７（ｃ）は、無響室におけるロボットのＩＰＤ測定値
と拡張聴覚エピポーラ幾何により推測されたＩＰＤを示
している。この場合、推測されたＩＰＤは、図７（ｂ）
の場合よりも良好に推測されている。これは、カバーの
影響による不一致の問題が拡張聴覚エピポーラ幾何によ
り克服されたことを示している。さらに、図７（ｄ）
は、非無響室における測定結果を示している。この部屋
は、１０ｍ² で、音吸収材が壁面，天井及び床面に取り
付けられている。この場合、測定されたＩＰＤは、部屋
の音響効果により歪められており、ＩＰＤの範囲がベー
スラインに対して±πを越えていることから、１２００
Ｈｚ以上の周波数にて拡張聴覚エピポーラ幾何が良好に
作用していないことが分かる。

【００４４】次に、ＳＹＳＮＯＩＳＥ（ＬＭＳ Ｉｎｔ
ｅｒｎａｔｉｏｎａｌ社のソフトウェア）を利用したＢ
ＥＭ（Ｂｏｕｎｄａｒｙ Ｅｌｅｍｅｎｔ Ｍｅｔｈｏ
ｄ）により部屋の反響の影響を解析する。図８は、３０
度におけるＩＰＤ及びＩＩＤを示している。ここで、Ｓ
ＹＳＮＯＩＳＥ（床なし）で示すＩＰＤ及びＩＩＤは、
ロボット頭部の三次元メッシュデータを使用して計算さ
れており、３００及び４００Ｈｚの間にピークを有して
いる。これらのピークは、ロボット頭部により引き起こ
されている。ロボットにより測定されたＩＰＤ及びＩＩ
Ｄもカバーにより３００及び４００Ｈｚの間にピークを
有している。また、ＳＹＳＮＯＩＳＥ（床あり）で示す
ＩＰＤ及びＩＩＤは、ロボットの下方１ｍの距離に床面
がある条件のもとで計算されており、より多くのピーク
を有している。従って、単純な床面でさえ、ＩＰＤ及び
ＩＩＤのうねりを引き起こすので、音源定位のためには
音響的環境の考慮が必要である。

【００４５】また、アクティブ方向通過型フィルタ２３
ａは、同様にして上記ストリーム方向に基づいて、頭部
伝達関数（ＨＲＴＦ）を利用して、ロボット１０の正面
を０度として±９０度の範囲で、符号Ｘ５で示すよう
に、ＩＰＤ及びＩＩＤの理論値ＩＰＤ（＝Δφ
_H （θ））及びＩＩＤ（＝Δρ_H （θ））を生成する。

【００４６】さらに、アクティブ方向通過型フィルタ２
３ａは、符号Ｘ７で示すように、前記ストリーム方向か
ら、パスレンジ関数を利用して、パスレンジδ（θ）を
計算する。ここで、パスレンジ関数は、図５に示すよう
に、ロボットの正面方向（θ＝０度）で、感度が最大と
なり、側方で感度が低下することから、θ＝０度で最小
値をとり、側方でより大きくなるような関数である。こ
れは、正面方向で定位の感度が最大になり、左右に角度
が大きくなるにつれて感度が低下するという聴覚特性を
再現するためのものである。なお、正面方向で定位の感
度が最大になることは、哺乳類の目の構造に見られる中
心窩にならって聴覚中心窩と呼ぶ。この聴覚中心窩に関
して、人間の場合には、正面の定位の感度が±２度程度
であり、左右９０度付近にて±８度程度とされている。

【００４７】このため、アクティブ方向通過型フィルタ
２３ａは、拡張聴覚エピポーラ幾何による各サブバンド
毎に計算されたＩＰＤ（＝Δφ_E （θ））及びＩＩＤ
（＝Δρ_E （θ））と、ＨＲＴＦにより得られたＩＰＤ
（＝Δφ_H （θ））及びＩＩＤ（＝Δρ_H （θ））に基
づいて、前述したパスレンジδ（θ）により決定される
角度θ−δ（θ）（以下、θ_L という）からθ＋δ
（θ）（以下、θ_H という）の角度範囲で、抽出された
ＩＰＤ（＝Δφ’）及びＩＩＤ（＝Δρ’）が以下の条
件のうち何れかを満たすようなサブバンドを集める。こ
こで、所定周波数ｆ_thは、ＩＰＤによる定位が有効であ
る周波数の上限であり、ロボット１０の頭部１４のベー
スラインに依存し、例えば１２００乃至１５００Ｈｚ程
度である。

【００４８】即ち、 条件Ａ． ｆ＜ｆ_th： Δφ_E （θ_L ）≦Δφ’≦Δ
φ_E （θ_H ） これは、所定周波数ｆ_th未満の周波数で、拡張聴覚エピ
ポーラ幾何によるＩＰＤのパスレンジδ（θ）の範囲内
にＩＰＤ（＝Δφ’）が在る場合に、サブバンドを集め
ることを意味している。 条件Ｂ． ｆ＜ｆ_th： Δφ_H （θ_L ）≦Δφ’≦Δ
φ_H （θ_H ） 且つ ｆ≧ｆ_th： Δρ_H （θ_L ）≦ρφ’≦Δρ
_H （θ_H ） これは、所定周波数ｆ_th未満の周波数で、ＨＲＴＦによ
るＩＰＤのパスレンジδ（θ）の範囲内にＩＰＤ（＝Δ
φ’）が在る場合、そして所定周波数ｆ_th以上の周波数
で、ＨＲＴＦによるＩＩＤのパスレンジδ（θ）の範囲
内にＩＩＤ（＝Δρ’）が在る場合に、サブバンドを集
めることを意味している。 条件Ｃ． 全周波数ｆ： Δφ_E （θ_L ）≦Δφ’≦
Δφ_E （θ_H ） これは、すべての周波数で、拡張聴覚エピポーラ幾何に
よるＩＰＤのパスレンジδ（θ）の範囲内にＩＰＤ（＝
Δφ’）が在る場合に、サブバンドを集めることを意味
している。 条件Ｄ． ｆ＜ｆ_th： Δφ_E （θ_L ）≦Δφ’≦Δ
φ_E （θ_H ） 且つ ｆ≧ｆ_th： Δρ_E （θ_L ）≦ρφ’≦Δρ
_H （θ_H ） これは、所定周波数ｆ_th未満の周波数で、拡張聴覚エピ
ポーラ幾何によるＩＰＤのパスレンジδ（θ）の範囲内
にＩＰＤ（＝Δφ’）が在る場合、そして、所定周波数
ｆ_th以上の周波数で、ＨＲＴＦによるＩＩＤのパスレン
ジδ（θ）の範囲内にＩＩＤ（＝Δρ’）が在る場合
に、サブバンドを集めることを意味している。

【００４９】そして、アクティブ方向通過型フィルタ２
３ａは、このようにして集めたサブバンドから波形を構
築することにより、符号Ｘ８で示すように、パス−サブ
バンド方向を生成し、符号Ｘ９で示すように、各サブバ
ンド毎に、フィルタリングを行なって、逆周波数変換Ｉ
ＤＦＴにより、符号Ｘ１０で示すように、各音源からの
聴覚イベントを抽出する。

【００５０】このようにして、聴覚モジュール２０は、
マイク１６からの音響信号に基づいて、ピッチ抽出，音
源の分離及び定位から、少なくとも一人の話者を特定
（話者同定）して、その聴覚イベントを抽出し、ネット
ワークを介してアソシエーションモジュール５０に対し
て送信するようになっている。

【００５１】上記顔モジュール３０は、デバイス層とし
てのカメラ１５と、プロセス層としての顔発見部３１，
顔識別部３２，顔定位部３３と、特徴層（データ）とし
ての顔ＩＤ３４，顔方向３５と、イベント層としての顔
イベント生成部３６と、から構成されている。

【００５２】これにより、顔モジュール３０は、カメラ
１５からの画像信号に基づいて、顔発見部３１により例
えば肌色抽出により各話者の顔を検出し、顔識別部３２
にて前もって登録されている顔データベース３８により
検索して、一致した顔があった場合、その顔ＩＤ３４を
決定して当該顔を識別すると共に、顔定位部３３により
当該顔方向３５を決定（定位）する。ここで、顔モジュ
ール３０は、顔発見部３１が画像信号から複数の顔を見
つけた場合、各顔について上記処理、即ち識別及び定位
そして追跡を行なう。その際、顔発見部３１により検出
された顔の大きさ，方向及び明るさがしばしば変化する
ので、顔発見部３１は、顔領域検出を行なって、肌色抽
出と相関演算に基づくパターンマッチングの組合せによ
って、２００ｍ秒以内に複数の顔を正確に検出できるよ
うになっている。

【００５３】顔定位部３３は、二次元の画像平面におけ
る顔位置を三次元空間に変換し、三次元空間における顔
位置を、方位角θ，高さφ及び距離ｒのセットとして得
る。

【００５４】そして、顔モジュール３０は、各顔毎に、
顔ＩＤ（名前）３４及び顔方向３５から、顔イベント生
成部３６により顔イベント３９を生成して、ネットワー
クを介してアソシエーションモジュール５０に対して送
信するようになっている。

【００５５】上記ステレオモジュール３７は、デバイス
層としてのカメラ１５と、プロセス層としての視差画像
生成部３７ａ，目標抽出部３７ｂと、特徴層（データ）
としての目標方向３７ｃと、イベント層としてのステレ
オイベント生成部３７ｄと、から構成されている。これ
により、ステレオモジュール３７は、カメラ１５からの
画像信号に基づいて、視差画像生成部３７ａにより双方
のカメラ１５の画像信号から視差画像を生成し、視差画
像を領域分割した結果、縦に長い物体が発見されれば、
人物候補として抽出し、その方向を同定し、ステレオイ
ベントを生成し、ネットワークを介してアソシエーショ
ンモジュール５０に対して送信するようになっている。

【００５６】上記モータ制御モジュール４０は、デバイ
ス層としてのモータ４１及びポテンショメータ４２と、
プロセス層としてのＰＷＭ制御回路４３，ＡＤ変換回路
４４及びモータ制御部４５と、特徴層としてのロボット
方向４６と、イベント層としてのモータイベント生成部
４７と、から構成されている。

【００５７】これにより、モータ制御モジュール４０
は、アテンション制御モジュール５７（後述）からの指
令に基づいてモータ制御部４５によりＰＷＭ制御回路４
３を介してモータ４１を駆動制御すると共に、モータ４
１の回転位置をポテンショメータ４２により検出して、
ＡＤ変換回路４４を介してモータ制御部４５によりロボ
ット方向４６を抽出し、モータイベント生成部４７によ
りモータ方向情報から成るモータイベント４８を生成し
て、ネットワークを介してアソシエーションモジュール
５０に対して送信するようになっている。

【００５８】上記アソシエーションモジュール５０は、
上述した聴覚モジュール２０，顔モジュール３０，ステ
レオモジュール３７，モータ制御モジュール４０に対し
て、階層的に上位に位置付けられており、各モジュール
２０，３０，３７，４０のイベント層の上位であるスト
リーム層を構成している。具体的には、上記アソシエー
ションモジュール５０は、聴覚モジュール２０，顔モジ
ュール３０，ステレオモジュール３７及びモータ制御モ
ジュール４０からの非同期イベント５１、即ち聴覚イベ
ント２８，顔イベント３９，ステレオイベント３９ａ及
びモータイベント４８を同期させて聴覚ストリーム５
３，顔ストリーム５４，ステレオ視覚ストリーム５５を
生成する絶対座標変換部５２と、各ストリーム５３，５
４，５５を関連付けてアソシエーションストリームを生
成し、あるいはこれらの関連付けを解除する関連付け部
５６と、さらにアテンション制御モジュール５７と、ビ
ューア５８を備えている。

【００５９】上記絶対座標変換部５２は、聴覚モジュー
ル２０からの聴覚イベント２８，顔モジュール３０から
の顔イベント３９，ステレオモジュール３７からのステ
レオイベント３９ａに、モータ制御モジュール４０から
のモータイベント４８を同期させると共に、聴覚イベン
ト２８，顔イベント３９及びステレオイベント３９ａに
関して、同期させたモータイベントによって、の座標系
を絶対座標系に変換することにより、聴覚ストリーム５
３，顔ストリーム５４及びステレオ視覚ストリーム５５
を生成する。その際、上記絶対座標変換部５２は、同一
話者の聴覚ストリーム，顔ストリーム及びステレオ視覚
ストリームに接続することによって、聴覚ストリーム５
３，顔ストリーム５４及びステレオ視覚ストリーム５５
を生成する。

【００６０】また、関連付け部５６は、聴覚ストリーム
５３，顔ストリーム５４，ステレオ視覚ストリーム５５
に基づいて、これらのストリーム５３，５４，５５の時
間的つながりを考慮してストリームを関連付け、あるい
は関連付けを解除して、アソシエーションストリーム５
９を生成すると共に、逆にアソシエーションストリーム
５９を構成する聴覚ストリーム５３，顔ストリーム５４
及びステレオ視覚ストリーム５５の結び付きが弱くなれ
ば、関係付けを解除するようになっている。これによ
り、目標となる話者が移動している場合であっても、当
該話者の移動を予測してその移動範囲となる角度範囲内
であれば、上述したストリーム５３，５４，５５の生成
を行なうことによって、当該話者の移動を予測して追跡
できることになる。

【００６１】ここで、上記ストリームの形成及び関連付
けは、具体的には以下のようにして行なわれる。前述し
たように座標変換された各イベントは、カルマンフィル
タに基づくアルゴリズムを使用してストリームに接続さ
れる。ここで、カルマンフィルタは、特により大きな曖
昧さを有する聴覚プロセスにおける定位でのプロセス及
び測定ノイズの影響を低減するために有効である。

【００６２】カルマンフィルタに基づくストリーム生成
において、大きさＮの位置ベクトルｐは、ｌを平均速度
のパラメータとして、以下の式

【数６】 により定義される再帰方程式によって、近似される。ｘ
_k 及びｙ_k が（ｐ_k ，ｐ_k-1 ，・・・，ｐ_k-l ）として
表わされる状態ベクトルであって、それぞれ位置ベクト
ルとして表わされた測定値であるとき、プロセスの状態
及び測定値を予測する関数は、以下の式

【数７】 により定義される。ここで、ｗ_k 及びｖ_k がそれぞれプ
ロセス及び測定ノイズを表わすとき、ＩN がＮ×Ｎの大
きさの単位行列であるとすると、Ｆ，Ｇ及びＨは以下の
ように定義される。

【数８】

【００６３】従って、カルマンフィルタは、それぞれ

【数９】 をｘの予測値、Ｋ_k をカルマンゲイン、Ｐを誤差共分散
行列、σ_w ² 及びσ_v ²をｗ_k 及びｖ_k の変動共分散行
列とすると、以下の式

【数１０】

【数１１】

【数１２】 によって定義される。現在位置ベクトルは、

【数１３】 により予測される。

【００６４】聴覚ストリーム５３の生成において、聴覚
ストリーム５３及び聴覚イベント２８が調和関係を有
し、当該ストリーム５３及び聴覚イベント２８のｙ_k の
間の方位角の差が±１０度以内であるとき、これらは接
続される。また、顔ストリーム５４及びステレオストリ
ーム５５の生成において、ストリームとイベントのｙ_k
の間の距離差が４０ｃｍ以内であって、それらが同じイ
ベントＩＤを有するとき、顔イベントまたはステレオイ
ベントが顔ストリームまたはステレオストリームに接続
される。尚、イベントＩＤとは、顔モジュール３０で生
成される顔ＩＤ３４または目標ＩＤである。そして、同
一人物からの複数のストリームと判断されたとき、これ
らの複数のストリームは、一つのアソシエーションスト
リームに関連付けられる。アソシエーションストリーム
を構成するストリームの一つが終了すると、終了したス
トリームはアソシエーションストリームから取り除か
れ、アソシエーションモジュールは、一つまたはいくつ
かの分離されたストリームに関連付けを解除される。

【００６５】また、アテンション制御モジュール５７
は、モータ制御モジュール４０の駆動モータ制御のプラ
ンニングのためのアテンション制御を行なうものであ
り、その際アソシエーションストリーム５９，聴覚スト
リーム５３，顔ストリーム５４そしてステレオストリー
ム５５の順に優先的に参照して、アテンション制御を行
なう。そして、アテンション制御モジュール５７は、聴
覚ストリーム５３，顔ストリーム５４及びステレオスト
リーム５５の状態とアソシエーションストリーム５９の
存否に基づいて、ロボット１０の動作プランニングを行
ない、駆動モータ４１の動作の必要があれば、モータ制
御モジュール４０に対して動作指令としてのモータイベ
ントをネットワークを介して送信する。

【００６６】ここで、アテンション制御モジュール５７
におけるアテンション制御は、連続性とトリガに基づい
ており、連続性により同じ状態を保持しようとし、トリ
ガにより最も興味のある対象を追跡しようとして、アテ
ンションを向けるべきストリームを選択して、トラッキ
ングを行なう。このようにして、アテンション制御モジ
ュール５７はアテンション制御を行なって、モータ制御
モジュール４０の駆動モータ４１の制御のプランニング
を行ない、このプランニングに基づいてモータコマンド
６４ａを生成し、ネットワーク７０を介してモータ制御
モジュール４０に伝送する。これにより、モータ制御モ
ジュール４０では、このモータコマンド６４ａに基づい
てモータ制御部４５がＰＷＭ制御を行なって、駆動モー
タ４１を回転駆動させてロボット１０を所定方向に向け
るようになっている。

【００６７】ビューア５８は、このようにして生成され
た各ストリーム５３，５４，５５，５７をサーバの画面
上に表示するものであり、具体的にはレーダチャート５
８ａ及びストリームチャート５８ｂにより表示する。こ
こで、レーダチャート５８ａは、その瞬間におけるスト
リームの状態、より詳細にはカメラの視野角と音源方向
を示し、ストリームチャート５８ｂは、アソシエーショ
ンストリーム（太線図示）と聴覚ストリーム及び視覚ス
トリーム（細線図示）を示している。

【００６８】本発明実施形態による人型ロボット１０は
以上のように構成されており、以下のように動作する。
例えばカメラ１５の視野外に居る話者がロボット１０に
対して話し掛けると、ロボット１０は、マイク１６が当
該話者の音声を拾って、聴覚モジュール２０が音源方向
を伴う聴覚イベント２８を生成して、ネットワークを介
してアソシエーションモジュール６０に伝送する。

【００６９】これにより、アソシエーションモジュール
５０は、この聴覚イベント２８に基づいて、聴覚ストリ
ーム５３を生成する。このとき、顔モジュール３０は、
当該話者がカメラ１５の視野内に入っていないので、顔
イベント３９を生成せず、ステレオモジュール３７もス
テレオイベント３９ａを生成しない。従って、アソシエ
ーションモジュール５０は、聴覚イベント２８のみに基
づいて、聴覚ストリーム５３を生成し、アテンション制
御モジュール５７は、この聴覚ストリーム５３をトリガ
ーとして、ロボット１０を話者の方向に向けるようなア
テンション制御を行なう。

【００７０】このようにして、ロボット１０が話者の方
向を向き、所謂声によるトラッキングが行なわれる。そ
して、顔モジュール３０がカメラ１５による話者の顔の
画像を取り込んで顔イベント３９を生成して、当該話者
の顔を顔データベース３８により検索して顔識別を行な
うと共に、その結果である顔ＩＤ２４及び画像をネット
ワーク７０を介してアソシエーションモジュール６０に
伝送する。尚、当該話者の顔が顔データベース３８に登
録されていない場合には、顔モジュール３０はその旨を
ネットワークを介してアソシエーションモジュール５０
に伝送する。

【００７１】このとき、アソシエーションモジュール５
０は、聴覚イベント２８及び顔イベント３９によりアソ
シエーションストリーム５９を生成しており、このアソ
シエーションストリーム５９によりアテンション制御モ
ジュール５７は、そのアテンション制御を変更しないの
で、ロボット１０は話者の方向を向き続ける。従って、
話者が移動したとしても、ロボット１０は、アソシエー
ションストリーム５９によりモータ制御モジュール４０
を制御することにより、話者を追跡して、顔モジュール
３０のカメラ１５が話者を継続して撮像し得るようにな
っている。

【００７２】このようにして、人型ロボット１０は、聴
覚モジュール２０による聴覚イベント２８及び顔モジュ
ール３０による顔イベント３９と、アソシエーションモ
ジュール５０によるアソシエーションストリーム５９に
基づいて、複数の話者を聴覚及び視覚により認識すると
共に、複数の話者のうちの一人の話者を追跡したり、あ
るいは途中で他の話者に切り換えて追跡することができ
る。

【００７３】ここで、聴覚モジュール２０は、アクティ
ブ方向通過型フィルタ２３ａにより拡張聴覚エピポーラ
幾何によるＩＰＤを利用して音源定位を行なっているの
で、ロボット１０の頭部１４の形状を考慮したより正確
な音源定位を行なうことができる。また、聴覚モジュー
ル２０は、アクティブ方向通過型フィルタ２３ａによ
り、パスレンジδ（θ）により、方向θに応じて感度を
調整しているので、より正確な音源定位が可能な正面付
近においては、サブバンドを集める角度範囲を狭く、ま
た側方では角度範囲を広く設定することにより、より正
確な音源分離を行なうことができる。さらに、聴覚モジ
ュール２０は、アクティブ方向通過型フィルタ２３ａに
より、アソシエーションモジュール５９からのアソシエ
ーションストリーム５９を参照して、ＩＰＤ及びＩＩＤ
を計算することから、ロボット１０が移動しているとき
でも、正確に音源定位・分離を行なうことができる。

【００７４】このようにして、本発明実施形態による人
型ロボット１０によれば、アソシエーションモジュール
５０が、聴覚モジュール２０、顔モジュール３０及びス
テレオモジュール３７からの聴覚イベント、顔イベント
及びステレオイベントに基づいて、これらの方向情報そ
して個々の話者同定から、これらの時間的流れを考慮し
て、聴覚ストリーム，視覚ストリームそしてアソシエー
ションストリームを生成することによって、複数の対象
である話者を認識しているので、何れかのイベントが欠
落したり明確に認識できなくなった場合、例えば話者が
移動して「見えなく」なった場合でも聴覚により、また
話者が話をせず「聞こえなく」なった場合でも視覚によ
り、リアルタイムに複数の話者を聴覚的及び／又は視覚
的にトラッキングすることができる。

【００７５】以下に、アクティブ方向通過型フィルタの
動作を下記に実験により評価する。これらの実験におい
ては、上記人型ロボット１０が、約１０平方ｍの部屋に
て、音源としての一つのスピーカに対向しており、この
スピーカは、ロボット１０の正面方向を０度として、約
１００ｃｍの距離にて同じ高さに位置している。スピー
カから発する音響信号は、ＡＳＪ Ｃｏｎｔｉｎｕｏｕ
ｓ Ｃｏｒｐｕｓにおける毎日新聞記事からの男性及び
女性により読み上げられた２０の文章が使用される。

【００７６】そして、以下の四種の指標、即ち １．入力と分離された話声の間の周波数帯域におけるＳ
Ｎ比の差 ２．入力と分離された話声の間の信号損失 ３．ノイズ抑制の効果 ４．音響信号処理の専門家による評価 を評価のために使用した。

【００７７】一番目のＳＮ比の差は、ｓ_p （ｉ，ｊ），
ｓ_po（ｉ，ｊ）及びｓ_ps（ｉ，ｊ）をそれぞれ原波形信
号，マイク１６で集音された観測波形信号及びアクティ
ブ方向通過型フィルタにより分離された分離波形信号の
スペクトル、ｍ，ｎをサブバンド及びサンプルの数、β
を原波形信号と観測波形信号の間の大きさの減衰比とし
て、

【数１４】 により定義される。

【００７８】二番目の信号損失は、ｓ（ｎ），ｓ
_o （ｎ），ｓ_s （ｎ）をそれぞれ原波形信号，マイク１
６で集音された観測波形信号及びアクティブ方向通過型
フィルタにより分離された分離波形信号、Ｓを信号を有
するサンプルの集合、即ちｓ（ｉ）−βｓ_o （ｉ）≧０
を満足するｉの集合として、

【数１５】 により定義される。

【００７９】また、二番目のノイズ抑制の効果は、ｓ
（ｎ），ｓ_o （ｎ），ｓ_s （ｎ）をそれぞれ原波形信
号，マイク１６で集音された観測波形信号及びアクティ
ブ方向通過型フィルタにより分離された分離波形信号、
Ｎをノイズを有するサンプルの集合、即ちｓ（ｉ）−β
ｓ_o （ｉ）＜０を満足するｉの集合として、

【数１６】 により定義される。

【００８０】そして、以下の四つの実験を行なった。こ
こで、前述のｆ_thは１５００Ｈｚとした。 実験１． 音源方向が０度から９０度まで変化するとき
の聴覚モジュール，顔モジュール及びステレオモジュー
ルの音源定位のエラーを測定する。 実験２． カルマンフィルタの有効性を測定する。この
場合、二つのスピーカが使用され、一方が６０度の方向
に固定され、他方が±３０度以内で繰返し左から右に移
動している。そして、第二のスピーカからの話声がアク
ティブ方向通過型フィルタにより抽出される。カルマン
フィルタの使用または不使用による二種の音ストリーム
がアクティブ方向通過型フィルタへの入力として使用さ
れ、抽出された音がＲ₁ により比較される。 実験３． 前記各フィルタリング条件Ａ，Ｂ，Ｄによる
アクティブ方向通過型フィルタの有効性を、Ｒ₁ ，
Ｒ₂ ，Ｒ₃ の指標を利用して、測定する。二話者同時発
話及び三話者同時発話の場合の音源分離を行なった。第
一のスピーカは、０度に固定される。第二のスピーカ
は、３０度，６０度及び９０度に位置する。三つの同時
の話声の分離において、第二及び第三のスピーカは、±
３０度，±６０度及び±９０度に位置する。これらのス
ピーカは、同時に同じ音量で異なる話声を出す。パスレ
ンジ関数δ（θ）は、０度及び３０度の方向でスピーカ
に対して±２０度であり、６０度及び９０度の方向にて
±３０度である。なお、これらの値は、単一音源に対す
る聴覚中心窩に従って定義される。 実験４． 一つのスピーカを０度方向に、もう一つのス
ピーカを３０度，６０度，９０度と変化させて、同時に
音声が出力されている状態で、前述したアクティブ方向
通過型フィルタ２３ａのサブバンドを集める際の条件Ａ
乃至ＤによってＲ₃ の指標を利用して、正面方向のスピ
ーカからの音声の分離，抽出を試みた。

【００８１】実験１によれば、ステレオモジュールによ
る音源定位は、図９にて符号Ｂで示すように最も正確で
あり、誤差は１度以内である。これに対して、顔モジュ
ール及び聴覚モジュールによる音源定位は、図９にてそ
れぞれ符号Ａ及びＣで示すようになる。一般に視覚によ
る定位は、聴覚による定位より正確であるが、聴覚モジ
ュールは、全方向性センサの利点を有している。即ち、
聴覚モジュールは、方位角±１５度以上からの音の方向
を判断することができる。聴覚モジュールによる定位の
感度は、音源方向に依存し、正面方向が最良であり、０
度から３０度までは誤差±５度以内であって、３０度以
上ではより悪化する。これは、聴覚中心窩の正当性及び
音源に対向するように旋回するような動作の有効性を証
明するものである。

【００８２】図１０は、実験２の結果であって、（Ａ）
カルマンフィルタ無し及び（Ｂ）カルマンフィルタ有り
の場合のＳＮ比を示している。これにより、アクティブ
方向通過型フィルタによるＳＮ比は、カルマンフィルタ
に基づくストリーム形成によって、約１ｄＢ増大するこ
とが分かる。これは、カルマンフィルタがより良好なス
トリーム形成及び正確な音源方向を提供することを示し
ている。図１１は、実験３の結果であって、（Ａ）二話
者同時発話及び（Ｂ）三話者同時発話における音源分離
の結果をそれぞれ示している。すべてのフィルタリング
条件において、同様の傾向が示されている。１５００Ｈ
ｚ以下の周波数を使用するフィルタリング条件Ａと、他
の条件との間の差は小さい。これは、ＩＩＤにより集め
られた１５００Ｈｚ以上の周波数によるサブバンドがよ
り低いパワーを有しているからである。これは、拡張聴
覚エピポーラ幾何が、実環境においてもアクティブ方向
通過型フィルタにより音源を分離するために十分である
ことを証明している。指標Ｒ₁ 及びＲ₃ は正面方向で最
良であり、周辺で悪化する。正面方向にて、ノイズ抑制
の有効性は三話者同時発話において約９ｄＢである。し
かしながら、３０度より接近した二話者同時発話の場合
の話者の分離は、困難である。信号損失は、図１１
（Ａ）においてＲ₂ により２〜４ｄＢである。聴覚信号
処理の二人の専門家によれば、最も明瞭なフィルタリン
グ条件はＤである。分離された音の品質は、１４チャン
ネルの線形マイクロホンアレーまたは１６チャンネルの
円形マイクロホンアレーによる分離と同様に良好であ
る。聴取による評価は、アクティブ方向通過型フィルタ
が音源分離のために良好な性能を有していることを示し
ている。

【００８３】さらに、図１２は、実験４の結果であっ
て、条件Ｄが最良の音源分離の結果を示すことが分かっ
た。これは、二つのスピーカの場合の場合に、アクティ
ブ方向通過型フィルタ２３ａの効率が６乃至１０ｄＢで
あることを示している。ＨＲＴＦに基づく条件Ｂによる
音源定位は、拡張聴覚エピポーラ幾何に基づく条件Ａ，
Ｄによる音源定位より良好ではない。これは、実世界に
おける音源分離での拡張聴覚エピポーラ幾何の有効性を
示している。一般に、ＩＩＤにより集められる例えば１
２００乃至１５００Ｈｚ以上の周波数のサブバンドのパ
ワーが小さいことから、条件Ａ，Ｄにおける音源定位の
差は小さい。しかしながら、自動音声認識がより高い周
波数のサブバンドからの情報を利用するので、自動音声
認識の場合の音声認識率の差は、より大きくなると期待
される。そこで、条件Ｃの場合には、ロボット１０の両
耳部の間のベースラインの制限により、１５００Ｈｚ以
上の最も多くのサブバンドが集められる。従って、音源
定位の改良はそれ程大きくはない。

【００８４】上述した実施形態において、人型ロボット
１０は、４ＤＯＦ（自由度）を有するように構成されて
いるが、これに限らず、任意の動作を行なうように構成
されたロボットに本発明によるロボット聴覚システムを
組み込むことも可能である。また、上述した実施形態に
おいては、本発明によるロボット視聴覚システムを人型
ロボット１０に組み込んだ場合について説明したが、こ
れに限らず、犬型等の各種動物型ロボットや、その他の
形式のロボットに組み込むことも可能であることは明ら
かであり、ここにロボットとは、広く産業用の自動制御
装置等を含む概念である。

【００８５】

【発明の効果】以上述べたように、この発明によれば、
上記聴覚モジュールが、アソシエーションモジュールか
らの正確な音源方向情報に基づいて、聴覚特性に従って
正面方向で最小となり且つ左右に角度が大きくなるにつ
れて大きくなるパスレンジを有するアクティブ方向通過
型フィルタにより、所定幅の範囲内の両耳間位相差（Ｉ
ＰＤ）または両耳間強度差（ＩＩＤ）をもったサブバン
ドを集めて、音源の波形を再構築することにより、音源
分離を行なうので、上述した聴覚特性に応じて、パスレ
ンジ即ち感度を調整することにより、方向による感度の
違いを考慮して、より正確に音源分離を行なうことがで
きる。上記聴覚モジュールが、拡張聴覚エピポーラ幾何
による音源定位に基づいて音源分離を行なう場合には、
アソシエーションモジュールからのアソシエーションス
トリームを参照して、頭部表面に沿った拡張聴覚エピポ
ーラ幾何により音源定位を行なうので、音源からロボッ
トの両耳部に設けられた左右のマイクへの実際の距離に
基づいて、聴覚エピポーラ幾何を応用することにより、
ロボットの外装形状を考慮して、より正確に聴覚エピポ
ーラ幾何による音源分離を行なうことができる。上記聴
覚モジュールが、ロボット固有の所定周波数を基準とし
て、当該所定周波数未満で拡張聴覚エピポーラ幾何によ
り、または全周波数帯域で頭部伝達関数（ＨＲＴＦ）に
より、または全周波数帯域で拡張聴覚エピポーラ幾何に
より、あるいは所定周波数未満で拡張聴覚エピポーラ幾
何により且つ所定周波数以上で頭部伝達関数により、そ
れぞれ得られる音源定位に基づいて音源分離を行なう場
合には、そのときの実環境に応じて、正確な音源分離を
行なうことができる。上記アソシエーションモジュール
が、各話者の方向を決定した後、カルマンフィルタを用
いてイベントを時間方向に接続することにより、聴覚ス
トリーム及び視覚ストリーム（顔ストリーム，ステレオ
ストリーム）を生成し、さらにこれらを関連付けてアソ
シエーションストリームを生成する場合には、カルマン
フィルタを使用することにより、より一層正確なストリ
ームを生成することができる。上記聴覚モジュール，顔
モジュール，ステレオモジュール，モータ制御モジュー
ル，アソシエーションモジュール及びアテンション制御
モジュールが、ネットワークを介して互いに接続されて
おり、特にデータ量の大きいイベントやストリームの通
信のために、比較的高速のネットワークが使用されてい
る場合には、大容量のデータを比較的高速のネットワー
クで伝送することにより、リアルタイム性及びスケーラ
ビリティを向上させることができる。これにより、本発
明によれば、目標に対する視覚及び聴覚の情報を統合し
て、目標の音源定位を正確に行なうようにした、極めて
優れたロボット視聴覚システムが提供される。

【図面の簡単な説明】

【図１】この発明によるロボット聴覚装置の第一の実施
形態を組み込んだ人型ロボットの外観を示す正面図であ
る。

【図２】図１の人型ロボットの側面図である。

【図３】図１の人型ロボットにおける頭部の構成を示す
概略拡大図である。

【図４】図１の人型ロボットにおけるロボット視聴覚シ
ステムの電気的構成を示すブロック図である。

【図５】図４に示すロボット視聴覚システムにおける聴
覚モジュールの作用を示す図である。

【図６】図４のロボット視聴覚システムにおける、
（Ａ）拡張聴覚エピポーラ幾何を示す図及び（Ｂ）ＩＰ
Ｄと音源からの距離との関係を示すグラフである。

【図７】図４に示すロボット視聴覚システムにおけるＩ
ＰＤの計算結果を示すグラフである。

【図８】図４のロボット視聴覚システムにおける角度３
０度での（Ａ）ＩＰＤの測定値・計算値を示すグラフ及
び（Ｂ）ＩＩＤの測定値・計算値を示すグラフである。

【図９】図４のロボット視聴覚システムの実験１による
音源定位精度を示すグラフである。

【図１０】図４のロボット視聴覚システムの実験２によ
るカルマンフィルタの有無によるＳ／Ｎ比を示すグラフ
である。

【図１１】図４のロボット視聴覚システムの実験３にお
ける（Ａ）二つの同時の話声及び（Ｂ）三つの同時の話
声の場合の音源分離の評価を示す図である。

【図１２】図４のロボット視聴覚システムの具体的な実
験例による聴覚モジュールの条件Ａ〜Ｄによる正面話者
抽出のＳ／Ｎ比改善を示すグラフである。

【符号の説明】 １０ 人型ロボット １１ ベース １２ 胴体部 １３ 頭部 １４ 外装 １５ カメラ（ロボット視覚） １６，１６ａ，１６ｂ マイク（ロボット聴覚） １７ ロボット視聴覚システム ２０ 聴覚モジュール ２１ ピーク抽出部 ２２ 音源定位部 ２３ 音源分離部 ２３ａ アクティブ方向通過型フィルタ ２６ 聴覚イベント生成部 ３０ 顔モジュール ３７ ステレオモジュール ４０ モータ制御モジュール ５０ アソシエーションモジュール ５７ アテンション制御モジュール

Claims (5)

【特許請求の範囲】
1. 【請求項１】 外部の音を集音する少なくとも一対のマ
   イクを含む聴覚モジュールと、ロボットの前方を撮像す
   るカメラを含む顔モジュールと、ステレオカメラにより
   物体を抽出するステレオモジュールと、ロボットを水平
   方向に回動させる駆動モータを含むモータ制御モジュー
   ルと、上記聴覚モジュール，顔モジュール，ステレオモ
   ジュール及びモータ制御モジュールからのイベントを統
   合してストリームを生成するアソシエーションモジュー
   ルと、アソシエーションモジュールにより生成されたス
   トリームに基づいてアテンション制御を行なうアテンシ
   ョン制御モジュールと、を備えていて、 上記聴覚モジュールが、マイクからの音響信号に基づい
   て、ピッチ抽出，調波構造に基づいたグルーピングによ
   る音源の分離及び定位から、少なくとも一人の話者の方
   向を決定してその聴覚イベントを抽出し、 上記顔モジュールが、カメラにより撮像された画像に基
   づいて、各話者の顔識別と定位から、各話者を同定して
   その顔イベントを抽出し、 上記ステレオモジュールが、ステレオカメラにより撮像
   された画像から抽出された視差に基づいて縦に長い物体
   を抽出定位してステレオイベントを抽出し、 上記モータ制御モジュールが、駆動モータの回転位置に
   基づいてモータイベントを抽出し、これにより、 上記アソシエーションモジュールが、聴覚イベント，顔
   イベント，ステレオイベント及びモータイベントから、
   聴覚イベントの音源定位及び顔イベントの顔定位並びに
   ステレオイベントの物体定位の方向情報に基づいて各話
   者の方向を決定し、カルマンフィルタを用いてイベント
   を時間方向に接続することにより聴覚ストリーム，顔ス
   トリーム及びステレオストリームを生成し、さらにこれ
   らを関連付けてアソシエーションストリームを生成し
   て、 上記アテンション制御モジュールが、これらのストリー
   ムに基づいてアテンション制御とそれに伴う行動のプラ
   ンニング結果に基づいて、モータの駆動制御を行なうロ
   ボット視聴覚システムであって、 上記聴覚モジュールが、アソシエーションモジュールか
   らの正確な音源方向情報に基づいて、聴覚特性に従って
   正面方向で最小となり且つ左右に角度が大きくなるにつ
   れて大きくなるパスレンジを有するアクティブ方向通過
   型フィルタにより、所定幅の範囲内の両耳間位相差（Ｉ
   ＰＤ）または両耳間強度差（ＩＩＤ）をもったサブバン
   ドを集めて、音源の波形を再構築することにより音源分
   離を行なうことを特徴とする、ロボット視聴覚システ
   ム。
2. 【請求項２】 前記聴覚モジュールが、拡張聴覚エピポ
   ーラ幾何による音源定位に基づいて音源分離を行なうこ
   とを特徴とする、請求項１に記載のロボット視聴覚シス
   テム。
3. 【請求項３】 前記聴覚モジュールが、ロボット固有の
   所定周波数を基準として、当該所定周波数未満で拡張聴
   覚エピポーラ幾何により、または全周波数帯域で頭部伝
   達関数（ＨＲＴＦ）により、または全周波数帯域で拡張
   聴覚エピポーラ幾何により、あるいは所定周波数未満で
   拡張聴覚エピポーラ幾何により且つ所定周波数以上で頭
   部伝達関数により、それぞれ得られる音源定位に基づい
   て音源分離を行なうことを特徴とする、請求項２に記載
   のロボット視聴覚システム。
4. 【請求項４】 前記アソシエーションモジュールが、各
   話者の方向を決定した後、カルマンフィルタを用いてイ
   ベントを時間方向に接続することにより、聴覚ストリー
   ム，顔ストリーム及びステレオストリームを生成し、さ
   らにこれらを関連付けてアソシエーションストリームを
   生成することを特徴とする、請求項１から３の何れかに
   記載のロボット視聴覚システム。
5. 【請求項５】 前記聴覚モジュール，顔モジュール，ス
   テレオモジュール，モータ制御モジュール，アソシエー
   ションモジュール及びアテンション制御モジュールが、
   ネットワークを介して互いに接続されており、特にデー
   タ量の大きいイベントやストリームの通信のために、比
   較的高速のネットワークが使用されていることを特徴と
   する、請求項１から４の何れかに記載のロボット視聴覚
   システム。