JP2001215989A - ロボット聴覚システム - Google Patents

Abstract

(57)【要約】 【課題】 ロボット内部で発生するノイズに影響される
ことなく、外部の目標からの音を集音して能動知覚を行
なうロボット聴覚システムを提供する。 【解決手段】 防音性の外装１３の外側の両耳位置に設
けた一対の外部マイク１６と、外装の内側に設けらたノ
イズ集音用の一対の内部マイク１７と、外部マイクから
の音響信号から内部のノイズ発生源からのノイズ信号を
キャンセルするノイズ除去部２３，２４と、ノイズ除去
部からの左右の音響信号からそれぞれ周波数解析により
時間，周波数及びパワーに関する音響データＤＬ，ＤＲ
を取り出すピッチ抽出部２５，２６と、ピッチ抽出部で
取り出した左右の音響データのピッチを伴う調波構造か
ら音の方向付けを行なう左右チャンネル対応部２７と、
音の方向付け情報に基づいて、音響データから音源毎の
音響データに分離する音源分離部２８とを含むように、
ロボット聴覚システム１０を構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明はロボット、特に人
型または動物型ロボットにおける聴覚装置に関するもの
である。

【０００２】

【従来の技術】近年、このような人型または動物型ロボ
ットにおいては、視覚，聴覚の能動知覚が注目されてき
ている。能動知覚とは、ロボット視覚やロボット聴覚等
の知覚を担当する知覚装置を、知覚すべき目標に追従す
るように、これらの知覚装置を支持する例えば頭部を駆
動機構により姿勢制御するものである。

【０００３】ここで、能動視覚に関しては、少なくとも
知覚装置であるカメラが、駆動機構による姿勢制御によ
ってその光軸方向が目標に向かって保持され、目標に対
して自動的にフォーカシングやズームイン，ズームアウ
ト等が行なわれることにより目標がカメラによって撮像
されるようになっており、種々の研究が行なわれてい
る。

【０００４】これに対して、能動聴覚に関しては、少な
くとも知覚装置であるマイクが、駆動機構による姿勢制
御によって、その指向性が目標に向かって保持され、目
標からの音がマイクによって集音される。このとき、能
動聴覚の不利な点として、駆動機構が作動している間は
マイクが駆動機構の作動音を拾ってしまうため、目標か
らの音に比較的大きなノイズが混入してしまい、目標か
らの音を認識できなくなってしまうことがある。

【０００５】

【発明が解決しようとする課題】しかしながら、このよ
うな駆動機構を停止させた状態での聴覚研究では、特に
目標が移動しているような場合、目標の移動に追従しな
がらの所謂能動聴覚を行なうことが困難であった。

【０００６】さらに、上述した駆動機構だけでなく、ロ
ボット内部で発生する各種動作音及び定常的に発生する
ノイズも聴覚装置としてのマイクが集音してしまうの
で、同様に完全な能動聴覚を得ることが困難であった。

【０００７】この発明は、以上の点にかんがみて、駆動
機構等のロボット内部で発生するノイズに影響されるこ
となく、外部の目標からの音を集音して能動知覚を行な
うことができるようにした、ロボット聴覚システムを提
供することを目的とする。

【０００８】

【課題を解決するための手段】上記目的は、この発明に
よれば、内部にノイズ発生源を備えたロボットにおい
て、少なくともロボットの一部を覆う防音性の外装と、
上記外装の外側に設けられ主として外部の音を集音する
少なくとも一対の外部マイクと、上記外装の内側に設け
られ主として内部のノイズ発生源からのノイズを集音す
る少なくとも一対の内部マイクと、上記外部マイク及び
内部マイクからの左右の信号に基づいてそれぞれ外部マ
イクからの音響信号から内部のノイズ発生源からのノイ
ズ信号をキャンセルするノイズ除去部と、上記ノイズ除
去部からの左右の音響信号からそれぞれ周波数解析を行
なって、時間，周波数及びパワーに関する音響データ及
びピッチ情報を取り出すピッチ抽出部と、上記ピッチ抽
出部で取り出された左右の音響データ及びピッチ情報に
基づいて当該音響データが示すピッチを伴う調波構造か
ら音の方向付けを行なう左右チャンネル対応部と、上記
左右チャンネル対応部で取り出された音の方向付け情報
に基づいて上記音響データから音源毎の音響データに分
離する音源分離部と、を含んでいることを特徴とするロ
ボット聴覚システムにより、達成される。

【０００９】また、上記目的は、この発明によれば、内
部に駆動機構等のノイズ発生源を備えた人型または動物
型のロボットにおいて、少なくともロボットの頭部を覆
う防音性の外装と、上記外装の外側にて両側の耳に対応
する両耳位置に設けられ主として外部の音を集音する少
なくとも一対の外部マイクと、上記外装の内側に設けら
れた主として内部のノイズ発生源からのノイズを集音す
る少なくとも一対の内部マイクと、上記外部マイク及び
内部マイクからの信号に基づいて外部マイクからの音響
信号から内部のノイズ発生源からのノイズ信号をキャン
セルするノイズ除去部と、上記ノイズ除去部からの左右
の音響信号からそれぞれ周波数解析を行なって時間，周
波数及びパワーに関する音響データ及びピッチ情報を取
り出すピッチ抽出部と、上記ピッチ抽出部で取り出され
た左右の音響データピッチ情報に基づいて当該音響デー
タのピッチを伴う調波構造から音の方向付けを行なう左
右チャンネル対応部と、上記左右チャンネル対応部で取
り出された音の方向付け情報に基づいて上記音響データ
から音源毎の音響データに分離する音源分離部と、を含
んでいることを特徴とするロボット聴覚システムによ
り、達成される。

【００１０】この発明によるロボット聴覚装置は、好ま
しくは、さらに、ロボットが視覚，触覚等の知覚システ
ムを備えており、上記左右チャンネル対応部がこれらの
知覚システムからの情報を参照して音の方向付けを行な
う。

【００１１】この発明によるロボット聴覚装置は、好ま
しくは、上記左右チャンネル対応部が上記知覚システム
に対して音の方向付けに関する情報を出力する。

【００１２】上記構成によれば、外部マイクが主として
外部の目標からの音を集音し、内部マイクが主としてロ
ボット内部の駆動機構等のノイズ発生源からのノイズを
集音する。その際、外部マイクが集音した音響信号に
は、ロボット内部のノイズ発生源からのノイズ信号が混
入しているが、この混入したノイズ信号は、ノイズ除去
部における演算処理によって内部マイクが集音したノイ
ズ信号によりキャンセルされることにより著しく低減さ
れる。

【００１３】そして、ノイズがキャンセルされた音響信
号から、ピッチ抽出部により周波数解析によって音響信
号を取り出して、この音響信号から左右チャンネル対応
部により音の方向付けを行なった後、この音の方向付け
に基づいて、音源分離部によって各音源毎の音響データ
に分離する。したがって、外部マイクからの音響信号
は、ノイズ除去部での演算処理によって、ロボット内部
の駆動機構等のノイズ発生源からのノイズが容易に著し
く低減されることにより、そのＳ／Ｎ比が大幅に改善さ
れるので、音源毎の音響データの分離をより一層良好に
行なうことができる。

【００１４】さらに、ロボットが視覚，触覚等の知覚シ
ステムを備えており、上記左右チャンネル対応部が、こ
れらの知覚システムからの情報を参照して音の方向付け
を行なう場合には、例えば視覚装置からの目標に関する
視覚情報に基づいて左右チャンネル対応部がより明確な
方向付けを行なうことができる。

【００１５】上記左右チャンネル対応部が、上記知覚シ
ステムに対して音の方向付けに関する情報を出力する場
合には、例えば視覚装置に対して目標に関する聴覚によ
る方向付けの情報を出力するので、視覚装置がより一層
正確な方向付けを行なうことができる。

【００１６】

【発明の実施の形態】以下、図面に示した実施形態に基
づいてこの発明を詳細に説明する。図１から図４はこの
発明によるロボット聴覚システムの一実施形態を備えた
実験用の人型ロボットの全体構成を示している。図１に
おいて、人型ロボット１０は、４ＤＯＦ（自由度）のロ
ボットとして構成されており、ベース１１と、ベース１
１上にて一軸（垂直軸）周りに回動可能に支持された胴
体部１２と、胴体部１２上にて三軸方向（垂直軸，左右
方向の水平軸及び前後方向の水平軸）の周りに揺動可能
に支持された頭部１３と、を含んでいる。

【００１７】上記ベース１１は固定配置されていてもよ
く、脚部として動作可能としてもよい。また、ベース１
１は移動可能な台車等の上に載置されていてもよい。

【００１８】上記胴体部１２は、ベース１１に対して垂
直軸の周りに、図１にて矢印Ａで示すように回動可能に
支持されており、図示しない駆動手段によって回転駆動
されると共に、図示の場合、防音性の外装によって覆わ
れている。

【００１９】上記頭部１３は胴体部１２に対して連結部
材１３ａを介して支持されており、この連結部材１３ａ
に対して前後方向の水平軸の周りに、図１にて矢印Ｂで
示すように揺動可能に、また左右方向の水平軸の周り
に、図２にて矢印Ｃで示すように揺動可能に支持されて
いると共に、上記連結部材１３ａが、胴体部１２に対し
てさらに前後方向の水平軸の周りに、図１にて矢印Ｄで
示すように揺動可能に支持されており、それぞれ図示し
ない駆動手段によって各矢印Ａ，Ｂ，Ｃ，Ｄ方向に回転
駆動される。

【００２０】ここで、上記頭部１３は、図３に示すよう
に全体が防音性の外装１４により覆われていると共に、
前側にロボット視覚を担当する視覚装置としてのカメラ
１５を、また両側にロボット聴覚を担当する聴覚装置と
しての一対の外部マイク１６（１６ａ，１６ｂ）を備え
ている。さらに、上記頭部１３は、図３に示すように、
外装１４の内側にて左右に離隔して配設された一対の内
部マイク１７（１７ａ，１７ｂ）を備えている。

【００２１】上記外装１４は、例えばウレタン樹脂等の
吸音性の合成樹脂から構成されており、頭部１３の内部
をほぼ完全に密閉することにより、頭部１３の内部の遮
音を行なうように構成されている。なお、胴体部１２の
外装も、同様にして吸音性の合成樹脂から構成されてい
る。

【００２２】上記カメラ１５は公知の構成であって、例
えば所謂パン，チルト，ズームの３ＤＯＦ（自由度）を
有する市販のカメラが適用されることができる。

【００２３】上記外部マイク１６は、それぞれ頭部１３
の側面において、前方に向かって指向性を有するように
取り付けられている。ここで、外部マイク１６の左右の
各外部マイク１６ａ，１６ｂは、それぞれ図１及び図２
に示すように、外装１４の両側にて前方に向いた段部１
４ａ，１４ｂにて内側に取り付けられ、段部１４ａ，１
４ｂに設けられた貫通穴を通して前方の音を集音すると
共に、外装１４の内部の音を拾わないように適宜の手段
により遮音されている。これにより外部マイク１６ａ，
１６ｂは、所謂バイノーラルマイクとして構成されてい
る。なお、外部マイク１６ａ，１６ｂの取付位置の近傍
において、外装１４は人間の外耳形状に形成されていて
もよい。

【００２４】上記内部マイク１７は、それぞれ外装１４
の内側において、上述した各外部マイク１６ａ，１６ｂ
の近傍に、図示の場合には、前記カメラ１５の両端付近
の上方に配設されている。なお、上記内部マイク１７
は、外装１４の内側に任意の位置に備えられていてもよ
い。

【００２５】図４は、上記外部マイク１６及び内部マイ
ク１７を含む音響処理のための聴覚システムの電気的構
成を示している。図４において、聴覚システム２０は、
各外部マイク１６ａ，１６ｂ及び内部マイク１７ａ，１
７ｂからの音響信号をそれぞれ増幅するアンプ２１ａ，
２１ｂ，２１ｃ，２１ｄと、これらの増幅信号をＡＤ変
換によりデジタル音響信号ＳＯＬ，ＳＯＲ，ＳＩＬ，Ｓ
ＩＲに変換するＡＤコンバータ２２ａ，２２ｂ，２２
ｃ，２２ｄと、これらのデジタル音響信号が入力される
左右のノイズ除去回路２３，２４と、ノイズ除去回路２
３，２４からのデジタル音響信号ＳＲ，ＳＬが入力され
るピッチ抽出部２５，２６と、ピッチ抽出部２５，２６
からの音響データが入力される左右チャンネル対応部２
７と、左右チャンネル対応部２７からのデータが入力さ
れる音源分離部２８と、から構成されている。

【００２６】上記ＡＤコンバータ２２ａ乃至２２ｄは、
例えば量子化ビット数１６または２４で、４８ｋＨｚサ
ンプリングした信号を取り出すように構成されている。
そして、左側の外部マイク１６ａからのデジタル音響信
号ＳＯＬ及び左側の内部マイク１７ａからのデジタル音
響信号ＳＩＬは、ノイズ除去回路２３に入力され、また
右側の外部マイク１６ｂからのデジタル音響信号ＳＯＲ
及び左側の内部マイク１７ｂからのデジタル音響信号Ｓ
ＩＲは、ノイズ除去回路２４に入力される。

【００２７】これらのノイズ除去回路２３，２４は同一
の構成であり、それぞれ外部マイク１６からの音響信号
から内部マイク１７のノイズ信号によりノイズキャンセ
ルするように構成されている。

【００２８】即ち、ノイズ除去回路２３は、外部マイク
１６ａからのデジタル音響信号ＳＯＬを、内部マイク１
７ａが集音したロボット内部のノイズ発生源からのノイ
ズ信号ＳＩＬに基づいて、例えば最も簡便には、外部マ
イク１６ａからのデジタル音響信号ＳＯＬから、内部マ
イク１７ａからの音響信号ＳＩＬを減算する等の適宜の
演算処理によるノイズキャンセル処理によって、外部マ
イク１６ａからの音響信号ＳＯＬに混入したロボット内
部の各駆動機構等のノイズ発生源からのノイズを除去し
て、左の音響信号ＳＬを生成する。

【００２９】また、ノイズ除去回路２４は、外部マイク
１６ｂからのデジタル音響信号ＳＯＲを、内部マイク１
７ｂが集音したロボット内部のノイズ発生源からのノイ
ズ信号ＳＩＲに基づいて、例えば最も簡便には、外部マ
イク１６ｂからのデジタル音響信号ＳＯＲから、内部マ
イク１７ｂからの音響信号ＳＩＲを減算する等の適宜の
演算処理によるノイズキャンセル処理によって、外部マ
イク１６ｂからの音響信号ＳＩＲに混入したロボット内
部の各駆動機構等のノイズ発生源からのノイズを除去し
て、右の音響信号ＳＲを生成する。

【００３０】上記ピッチ抽出部２５，２６は同一の構成
であり、ノイズ除去回路２３，２４からの左右の音響信
号ＳＬ，ＳＲをそれぞれ周波数解析して、時間，周波数
及びパワーの三軸から成る音響データ、並びにピッチ情
報を取り出すように構成されている。即ち、ピッチ抽出
部２５は、ノイズ除去回路２３からの左の音響信号ＳＬ
を周波数解析することにより、時間とパワーから成る二
軸の音響信号ＳＬから時間，周波数及びパワーの三軸か
ら成るスペクトログラムと呼ばれる左の音響データＤＬ
を取り出す。

【００３１】また、ピッチ抽出部２６も同様にして、ノ
イズ除去回路２４からの右の音響信号ＳＲを周波数解析
することにより、時間とパワーから成る二軸の音響信号
ＳＲから時間，周波数及びパワーの三軸から成る右の音
響データＤＲ、ピッチ情報を取り出す。

【００３２】ここで、上記周波数解析は、例えば２０ｍ
秒の窓長で、７．５ｍ秒づつずらしながら、ＦＦＴ（高
速フーリエ変換）を行なうことにより行なわれる。な
お、このような周波数解析は、ＦＦＴに限らず一般的な
種々の方法で行なわれるようにしてもよい。このように
して得られた音響データＤＬにおいては、音声や音楽に
おける各音は、スペクトログラム上にてピークの時間方
向への連なりとして示されると共に、一般的に調波構造
を有しており、整数倍の周波数値に規則的にピークを有
するようになっている。

【００３３】上記左右チャンネル対応部２７は、左右の
ピッチ抽出部２５，２６からの音響データＤＬ，ＤＲに
てそれぞれピークにより示される調波構造のピッチ情報
に関してその位相差，時間差等に基づいて、同じ音から
派生するピッチを左右チャンネルで対応付けることによ
り音の方向付けを行なう。

【００３４】図示の場合、左右チャンネル対応部２７
は、聴覚システム２０以外にロボット１０に備えられた
図示しない他の知覚システム３０から目標に関する情
報、具体的には例えば視覚システムによる目標の位置，
方向，形状，移動の有無等に関する情報や、触覚システ
ムによる目標の柔軟度，振動の有無，触感等の情報が入
力されることにより、上述した音源からの音の方向付け
がより一層明確に行なわれるように構成されている。

【００３５】上記音源分離部２８は、公知の構成によ
り、左右チャンネル対応部２７からの方向付けの情報及
び音響データＤＬ，ＤＲが入力されることにより、例え
ばディクションパスフィルタを使用する等の手法によっ
て、方向付けの情報に基づいて音響データＤＬ，ＤＲか
ら音源を同定すると共に、各音源毎に音響データを分離
するように構成されている。

【００３６】本発明実施形態による人型ロボット１０は
以上のように構成されており、外部マイク１６ａ，１６
ｂが集音しようとする目標からの音は、以下のようにし
て集音され、ノイズキャンセルされることにより音源に
知覚される。先ず、外部マイク１６ａ，１６ｂが、主と
して目標からの外部の音を集音してそれぞれアナログ音
響信号を出力する。ここで、外部マイク１６ａ，１６ｂ
はロボット内部からのノイズも集音するが、外装１４自
体が頭部１３の内部を密閉しており、また外部マイク１
６ａ，１６ｂが頭部１３の内部に対して遮音されている
ことにより、混入するノイズが比較的低いレベルに抑え
られている。

【００３７】これに対して、内部マイク１７ａ，１７ｂ
は、主としてロボット内部からのノイズ、例えば前述し
た各駆動機構の作動音や冷却ファンの作動音等のノイズ
発生源からのノイズを集音する。ここで、内部マイク１
７ａ，１７ｂは外部からの音も集音するが、外装１４が
内部を密閉していることから、そのレベルは比較的低く
抑えられている。

【００３８】このようにして集音された外部マイク１６
ａ，１６ｂからのアナログ音響信号及び内部マイク１７
ａ，１７ｂからのアナログ音響信号は、それぞれアンプ
２１ａ乃至２１ｄにより増幅された後、ＡＤコンバータ
２２ａ乃至２２ｄによりデジタル音響信号ＳＯＬ，ＳＯ
Ｒ，ＳＩＬ，ＳＩＲにＡＤ変換されて、ノイズ除去回路
２３及び２４に入力される。

【００３９】ノイズ除去回路２３，２４は、それぞれ外
部マイク１６ａ，１６ｂからの音響信号ＳＯＬ，ＳＯＲ
から内部マイク１７ａ，１７ｂからの音響信号ＳＩＬ，
ＳＩＲを減算する等の演算処理を行なうことにより、外
部マイク１６ａ，１６ｂからの音響信号ＳＯＬ，ＳＯＲ
から、ロボット内部のノイズ発生源からのノイズ信号を
除去することにより、それぞれノイズを除去した真の音
響信号ＳＬ，ＳＲを外部に出力する。

【００４０】そして、ピッチ抽出部２５，２６が、それ
ぞれ音響信号ＳＬ，ＳＲに基づいて周波数解析により音
響データＤＬ，ＤＲを生成する。ここで、音響データ
は、例えば図５に示すようなスペクトログラムとして示
される。図５の音響データにおいて、横軸を時刻ｔ
（秒）、縦軸を周波数（Ｈｚ）とし、濃度をパワーとし
て、例えば時刻ｔ１から時刻ｔ２まで断続的に連なった
周波数成分が示されている。この周波数成分は、図示の
場合、１０００Ｈｚ，２０００Ｈｚ，３０００Ｈｚ，・
・・のピークの連なりを有しており、整数倍であること
から、これらの周波数成分が唯一つの音を表わし、ある
いはそれぞれ一つの音を表わすものと解され得るが、同
時刻に開始し且つ同時刻に終了していることから、唯一
つの音の調波構造を示していると判断される。従って、
ピッチ抽出部２５，２６は、最も低い周波数である基本
周波数１０００Ｈｚをピッチとする。

【００４１】このようにして、ピッチ抽出部２５，２６
は、音響信号ＳＬ，ＳＲに含まれる全ての音に関して当
該音に関するピッチを抽出し、このピッチに対応する当
該音の調波構造，開始時ｔ１，終了時ｔ２と共に、音響
データＤＬ，ＤＲ，ピッチ情報として左右チャンネル対
応部２７に出力する。

【００４２】続いて、左右チャンネル対応部２７が、こ
れらの音響データＤＬ，ＤＲに基づいて音源毎の音の方
向付けを行なう。この場合、左右チャンネル対応部２７
は、例えば各ピッチ抽出部２５，２６で抽出された音響
データＤＬ，ＤＲに基づいて、左右のチャンネルの調波
構造を比較して最も近いピッチを対応付ける。その際、
左右のチャンネルのピッチを一対一で比較するだけでな
く、一方のチャンネルの複数のピッチを他方のチャンネ
ルの一つのピッチと比較する等により、より正確な対応
付けを行なうことが好ましい。そして、左右チャンネル
対応部２７は、対応付けられたピッチの位相を比較する
ことにより音源の方向を容易に演算して方向付けること
ができる。

【００４３】これにより、音源分離部２８が、左右チャ
ンネル対応部２７からの音の方向付け情報に基づいて、
音響データＤＬ，ＤＲから音源毎の音に関する音響デー
タを抽出して、音源毎の音に分離する。かくして、聴覚
システム２０は音源毎の音の分離によって音響認識を行
ない、能動聴覚を行なうことができる。

【００４４】このようにして、本発明実施形態による人
型ロボット１０によれば、ノイズ除去回路２３，２４に
より、外部マイク１６ａ，１６ｂからの音響信号ＳＯ
Ｌ，ＳＯＲから、内部マイク１７ａ，１７ｂからの音響
信号ＳＩＬ，ＳＩＲに基づいてノイズキャンセルを行な
うことにより、各駆動機構によって外部マイク１６ａ，
１６ｂの指向性の方向を目標に向けながら、Ｓ／Ｎ比の
良好な音響信号を得て、各音源からの音を分離してより
正確な音声認識を行なうことができる。

【００４５】従って、例えば目標が移動している場合で
あっても、各駆動機構によって外部マイク１６ａ，１６
ｂの指向性の方向を常に目標に対して追従させながら、
目標の音響認識を行なうことができる。このとき、左右
チャンネル対応部２７が、例えば他の知覚システム３０
として視覚システムからの視覚による目標の方向付け情
報を参照して、音の方向付けを行なうことによりより正
確な音の方向付けを行なうことができる。

【００４６】また、他の知覚システム３０として、視覚
システムが使用される場合、左右チャンネル対応部２７
が視覚システムに対して音の方向付け情報を出力するよ
うにしてもよい。この場合、視覚システムが画像認識に
より目標の方向付けを行なう際に、聴覚システム２０の
音に関する方向付け情報を参照することによって、例え
ば目標が移動して障害物の裏に隠れてしまった場合で
も、目標からの音を参照して、目標の方向付けをより一
層正確に行なうことができる。

【００４７】上述した実施形態において、人型ロボット
１０は、４ＤＯＦ（自由度）を有するように構成されて
いるが、これに限らず、任意の動作を行なうように構成
されたロボットに本発明によるロボット聴覚システムを
組み込むことも可能である。また、上述した実施形態に
おいては、本発明によるロボット聴覚システムを人型ロ
ボット１０に組み込んだ場合について説明したが、これ
に限らず、犬型等の各種動物型ロボットや、その他の形
式のロボットに組み込むことも可能であることは明らか
である。さらに、上述した実施形態において、内部マイ
ク１７は一対のマイク１７ａ，１７ｂから構成されてい
るが、二対以上のマイクから構成されていてもよい。さ
らにまた、上述した実施形態においては、外部マイク１
６は、一対のマイク１６ａ，１６ｂから構成されている
が、二対以上のマイクから構成されていてもよい。

【００４８】

【発明の効果】以上述べたように、この発明によれば、
外部マイクが主として外部の目標からの音を集音し、内
部マイクが主としてロボット内部の駆動機構等のノイズ
発生源からのノイズを集音する。その際、外部マイクが
集音した音響信号には、ロボット内部のノイズ発生源か
らのノイズ信号が混入しているが、この混入したノイズ
信号は、ノイズ除去部における演算処理によって内部マ
イクが集音したノイズ信号にてキャンセルされることに
より著しく低減される。そして、ノイズがキャンセルさ
れた音響信号から、ピッチ抽出部により周波数解析によ
って音響信号を取り出して、この音響信号から左右チャ
ンネル対応部により音の方向付けを行なった後、この音
の方向付けに基づいて、音源分離部によって各音源毎の
音響データに分離する。したがって、外部マイクからの
音響信号は、ノイズ除去部での演算処理によってロボッ
ト内部の駆動機構等のノイズ発生源からのノイズが容易
に著しく低減されて、そのＳ／Ｎ比が大幅に改善される
ので、音源毎の音響データの分離をより一層良好に行な
うことができる。したがって、本発明によれば、駆動機
構等のロボット内部で発生するノイズに影響されること
なく、外部の目標からの音を集音して能動知覚を行なう
ことができるようにした、極めて優れたロボット聴覚シ
ステムが提供される。

【図面の簡単な説明】

【図１】この発明によるロボット聴覚装置の第一の実施
形態を組み込んだ人型ロボットの外観を示す正面図であ
る。

【図２】図１の人型ロボットの側面図である。

【図３】図１の人型ロボットにおける頭部の構成を示す
概略拡大図である。

【図４】図１の人型ロボットにおけるロボット聴覚シス
テムの電気的構成を示すブロック図である。

【図５】図４のロボット聴覚システムにおけるピッチ抽
出部により取り出された音響データ、ピッチ情報の一例
を示すグラフである。

【符号の説明】

１０ 人型ロボット １１ ベース １２ 胴体部 １３ 頭部 １３ａ 連結部材 １４ 外装 １５ カメラ（ロボット視覚） １６，１６ａ，１６ｂ 外部マイク １７，１７ａ，１７ｂ 内部マイク ２０ ロボット聴覚システム ２１ａ，２１ｂ，２１ｃ，２１ｄ アンプ ２２ａ，２２ｂ，２２ｃ，２２ｄ ＡＤコンバータ ２３，２４ ノイズ除去回路 ２５，２６ ピッチ抽出部 ２７ 左右チャンネル対応部 ２８ 音源分離部 ３０ 他の知覚システム

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 11/04 Ｇ１０Ｌ 3/00 Ｃ 15/28 ５１１ 15/00 ５５１Ｈ Ｈ０４Ｒ 3/00 ３２０ 9/00 Ｆ Ｆターム(参考） 3F059 AA00 BB06 DA05 DC00 DD04 DE01 DE08 3F060 AA00 BA07 BA10 CA14 GD11 HA30 5D015 DD00 EE05 KK01 5D020 BB07

Claims (4)

【特許請求の範囲】
1. 【請求項１】 内部にノイズ発生源を備えたロボットに
   おいて、 少なくともロボットの一部を覆う防音性の外装と、 上記外装の外側に設けられ、主として外部の音を集音す
   る少なくとも一対の外部マイクと、 上記外装の内側に設けられ、主として内部のノイズ発生
   源からのノイズを集音する少なくとも一対の内部マイク
   と、 上記外部マイク及び内部マイクからの左右の信号に基づ
   いて、それぞれ外部マイクからの音響信号から内部のノ
   イズ発生源からのノイズ信号をキャンセルするノイズ除
   去部と、 上記ノイズ除去部からの左右の音響信号からそれぞれ周
   波数解析を行なって、時間，周波数及びパワーに関する
   音響データ及びピッチ情報を取り出すピッチ抽出部と、 上記ピッチ抽出部で取り出された左右の音響データ及び
   ピッチ情報に基づいて、当該音響データが示すピッチを
   伴う調波構造から音の方向付けを行なう左右チャンネル
   対応部と、 上記左右チャンネル対応部で取り出された音の方向付け
   情報に基づいて、上記音響データから音源毎の音響デー
   タに分離する音源分離部と、を含んでいることを特徴と
   する、ロボット聴覚システム。
2. 【請求項２】 内部に駆動機構等のノイズ発生源を備え
   た人型または動物型のロボットにおいて、 少なくともロボットの頭部を覆う防音性の外装と、 上記外装の外側にて両側の耳に対応する両耳位置に設け
   られ、主として外部の音を集音する少なくとも一対の外
   部マイクと、 上記外装の内側に設けられた、主として内部のノイズ発
   生源からのノイズを集音する少なくとも一対の内部マイ
   クと、 上記外部マイク及び内部マイクからの信号に基づいて外
   部マイクからの音響信号から内部のノイズ発生源からの
   ノイズ信号をキャンセルするノイズ除去部と、 上記ノイズ除去部からの左右の音響信号からそれぞれ周
   波数解析を行なって、時間，周波数及びパワーに関する
   音響データ及びピッチ情報を取り出すピッチ抽出部と、 上記ピッチ抽出部で取り出された左右の音響データ及び
   ピッチ情報に基づいて、当該音響データのピッチを伴う
   調波構造から音の方向付けを行なう左右チャンネル対応
   部と、 上記左右チャンネル対応部で取り出された音の方向付け
   情報に基づいて、上記音響データから音源毎の音響デー
   タに分離する音源分離部と、を含んでいることを特徴と
   する、ロボット聴覚システム。
3. 【請求項３】 さらに、ロボットが視覚，触覚等の知覚
   システムを備えており、前記左右チャンネル対応部が、
   これらの知覚システムからの情報を参照して音の方向付
   けを行なうことを特徴とする、請求項１または２による
   ロボット聴覚装置。
4. 【請求項４】 前記左右チャンネル対応部が、前記知覚
   システムに対して音の方向付けに関する情報を出力する
   ことを特徴とする、請求項４によるロボット聴覚装置。