JP2014049854A - 人工可動耳装置および音源方向を特定する方法 - Google Patents

Abstract

【課題】聴覚アシスト装置に用いられ、人が装着可能で音源方向を精度よく特定することのできる人工可動耳を提供する。
【解決手段】複数のマイクロホンと、各マイクロホンの方向をそれぞれ変更するアクチュエータと、制御装置６とを備え、制御装置６は、上記各アクチュエータの現在の状態に基づいて、上記マイクロホンの現在位置を算出し、上記マイクロホンにより取得された音の位相差を算出し、上記算出したマイクロホンの現在位置と位相差とに基づいて音源方向を算出し、上記各マイクロホンを当該音源方向へ向くように、上記アクチュエータを制御するよう構成されている。
【選択図】図１

Description

本発明は、人の聴覚機能を支援する聴覚アシスト装置に関し、より具体的には、当該聴覚アシスト装置に用いられ音源方向を特定することのできる、人が装着可能な人工可動耳装置、および当該人工可動耳装置に用いられる音源方向を特定する方法に関する。

従来、聴覚アシスト装置として用いられている補聴器は、入力される音を単に加工・増幅して人に伝える機能のみを有している。しかしながら、このような従来の補聴器では、例えば装着者に音源の方向を認識させたり、装着者が音源の存在を認識しているかどうかを監視者に伝えるなど、より高い機能を実現するための音源方向に関する情報をユーザに提供することはできない。

一方、人が装着して使用することを意図したものではないが、音源方向を特定するための装置として、例えば特許文献１には、短時間だけ音を発する音源に対しても当該音源の３次元方向を推定することのできる安価な装置を構成することを目的として、３つのマイクロホンａ、ｂ、ｃを備え、基準となるマイクロホンａに対し、マイクロホンｂを水平方向へ離れた位置に、マイクロホンｃを垂直方向に離れた位置に、それぞれ配置し、マイクロホンａが取得した音データを記憶装置に記憶しつつ、予め定めた短い周期でマイクロホンｂとマイクロホンｃを切り替え、マイクロホンｂ、ｃが取得した音データを記憶装置に記憶し、記憶装置に記憶されたマイクロホンａとマイクロホンｂの音データから音源の水平面内での方向（方位角）を算出し、記憶装置に記憶されたマイクロホンａとマイクロホンｃの音データから音源の垂直面内での方向（仰角）を算出する、「音声方向推定装置及びその方法」が開示されている。

また、ロボット用の聴覚装置として、例えば特許文献２には、両耳の位置にそれぞれマイクロホンと耳介形構造体とを有し、当該耳介構造体は音を集収する円錐形状の外耳構造部と、ヘッド自身が発生する雑音（例えばヘッドに設けられたファンからの雑音）を遮蔽するための音響遮蔽手段とを備え、上記外耳構造部の音響的中心位置に上記マイクロホンが配される、「人工耳を有するロボットヘッド」が知られている。また、同文献には、ロボットヘッド自身を音源方向へ向けるためのアクチュエータを備えることが開示されている。

しかしながら、特許文献１に記載の装置では、３つのマイクロホンを使用するため、これを聴覚支援装置として人の頭部に配置するのは困難である。また、マイクロホンの方向は固定されているため、音源がマイクロホンの感度方向から外れている場合には音データのＳＮ比が悪くなり、音源方向の特定に誤差を生じやすい。

また、特許文献２に記載のロボットヘッドでは、マイクロホンの感度方向はヘッド表面に対して（例えば法線方向に）固定されるため、２つのマイクロホンの双方を音源方向に向けることはできず、特許文献１の技術と同様に目標音源からの音データのＳＮ比を最小化することは困難であることから、音源方向推定の精度向上に関してなお改善の余地がある。

特開２００５−４９１５３号公報 特開２００８−５４７２号公報

上述した従来技術を背景として、聴覚アシスト装置のより高い機能の実現を目指し、当該聴覚アシスト装置の一部として機能し、かつ、人が装着可能で音源方向を精度よく特定することのできる装置の実現が求められている。

本発明は、複数のマイクロホンと、前記複数のマイクロホンのそれぞれに設けられた、当該マイクロホンの方向を変更するアクチュエータと、処理装置及び記憶装置を有する制御装置と、を備え、前記制御装置は、前記アクチュエータの現在の状態に基づいて前記マイクロホンの現在の位置を算出し、前記マイクロホンにより取得された音源からの音の当該マイクロホン間での位相差を算出し、前記算出された前記マイクロホンの現在の位置における当該マイクロホン間の距離と前記算出された位相差とに基づき前記音源の方向を算出し、前記各マイクロホンの方向が前記算出した音源の方向へ向くように前記アクチュエータを制御するよう構成されている、人工可動耳装置である。
本発明の他の態様は、前記制御装置は、前記各マイクロホンから取得された各音に含まれる最大パワーを持つ周波数が互いに一致することを条件として、当該周波数における前記位相差を算出するよう構成されている、人工可動耳装置である。
本発明の他の態様は、前記制御装置は、前記各マイクロホンからそれぞれ取得された各音から前記最大パワーを持つ周波数を超える周波数を除去するローパスフィルタリングを行い、当該ローパスフィルタリングされた後の各音の波形が極小値となる時刻の差を、前記位相差として算出するよう構成されている、人工可動耳装置である。
本発明の他の態様は、前記ローパスフィルタリングは、前記各マイクロホンからそれぞれ取得された各音を所定の時間間隔で変換して得られるデジタルデータに対し移動平均計算を行うことにより行われる、人工可動耳装置である。
本発明の他の態様は、前記アクチュエータは、前記各マイクロホンを、所定の角度で交差する２軸周りに回転させるモータにより構成される、人工可動耳装置である。
本発明の他の態様は、前記音源の方向は、当該人工可動耳を装着する装着者の矢状面内に投影された音源の方向、又は当該矢状面に直交する水平面内に投影された音源の方向である、人工可動耳装置である。
本発明の他の形態は、複数のマイクロホンと、前記複数のマイクロホンのそれぞれに設けられた、当該マイクロホンの方向を変更するアクチュエータと、制御装置と、を備え、前記制御装置は、前記アクチュエータの現在の状態に基づいて、前記マイクロホンの現在の位置を算出するデバイスと、前記マイクロホンにより取得された音源からの音の、当該マイクロホン間での位相差を算出するデバイスと、前記算出された前記マイクロホンの現在の位置における当該マイクロホン間の距離と、前記算出された位相差とに基づき、前記音源の方向を算出するデバイスと、前記各マイクロホンの方向が前記算出した前記音源の方向へ向くように、前記アクチュエータを制御するデバイスと、を備える、人工可動耳装置である。
本発明の他の形態は、複数のマイクロホンに設けられた当該マイクロホンの方向をそれぞれ変更する各アクチュエータの現在の状態に基づいて、前記複数のマイクロホンの現在の位置をそれぞれ算出するステップと、前記マイクロホンにより取得された音源からの音の、当該マイクロホン間での位相差を算出するステップと、前記算出された前記マイクロホンの現在の位置における当該マイクロホン間の距離と、前記算出された位相差とに基づき、前記音源の方向を算出するステップと、前記各マイクロホンの方向が前記算出した前記音源の方向へ向くように、前記アクチュエータを制御するステップと、を有する、音源方向の特定方法である。

本発明によれば、人が装着可能な装置により、音源方向を精度よく特定することができる。

本発明の一実施形態に係る人工可動耳装置の全体構成を示す図である。 本発明の一実施形態に係る人工可動耳装置の、パラボラ状耳介の構成を示す図である。 本発明の一実施形態に係る人工可動耳装置における、マイクロホンの方向を表わすための、２つのモータの回転平面における角度の定義を示す図である。 本発明の一実施形態に係る人工可動耳装置の、制御装置の構成を示すブロック図である。 本発明の一実施形態に係る人工可動耳装置の、全体動作の手順を示すフロー図である。 本発明の一実施形態に係る人工可動耳装置の、マイクロホンの運動系を示す図である。 本発明の一実施形態に係る人工可動耳装置の、ＭＩＣ位置算出処理の手順を示すフロー図である。 本発明の一実施形態に係る人工可動耳装置の、位相差算出処理の手順を示すフロー図である。 本発明の一実施形態に係る人工可動耳装置における、水平面内の音源方向を特定する方法を説明するための説明図である。 本発明の一実施形態に係る人工可動耳装置の、音源方向算出処理の手順を示すフロー図である。 本発明の一実施形態に係る人工可動耳装置の、ＭＩＣ方向制御処理の手順を示すフロー図である。 本発明の一実施形態に係る人工可動耳装置における、音源方向特定動作の観測結果を示す図である。

以下、図面を参照して、本発明の実施の形態を説明する。
図１は、本発明の一実施形態に係る人工可動耳の全体構成を示す構成図である。
本人工可動耳装置１は、利用者の頭部に装着される略円形の曲線部を持つヘッドバンド２と、ヘッドバンド２に対し、その中心を挟んで左右両側の対称位置に所定の距離を隔てて設けられた、２つのパラボラ状耳介４Ｌ及び４Ｒと、同じくヘッドバンド２に配された制御装置６及び当該制御装置６に電源を供給するバッテリー８とを有している。

図１に示す人工可動耳装置１は、紙面手前に利用者の顔が向く状態で当該利用者に装着される。ここで、図１を人工可動耳装置１の正面図と定義する。また、図１に示すＺ軸はヘッドバンド２の対称軸であり、Ｚ軸に直交し紙面法線方向を裏面から表面へ延びる軸をＸ軸、Ｘ軸及びＺ軸に直交し紙面を右から左へ延びる軸をＹ軸とする。これにより、ヘッドバンド２装着時の利用者の矢状面はＺＸ平面となる。

上述した２つのパラボラ状耳介４Ｌ及び４Ｒは、ヘッドバンド２の略円形の曲線部に配置されており、パラボラ状耳介４Ｌ及び４Ｒの中心線はＺ軸に対してそれぞれ相対する方向へ４５°だけ傾いている。なお、パラボラ状耳介４Ｌ及び４Ｒは同一の構成を有しており、したがって、これらを左右の区別なく総称するときは「パラボラ状耳介４」と呼称するものとする。

図２は、パラボラ状耳介４の構成を示す構成図である。図２Ａ及び図２Ｂは、それぞれ、パラボラ状耳介４の正面図及び側面図である。
パラボラ状耳介４は、パラボラ状に加工された耳介部２０と、耳介部２０に設けられたブラケット２２を介して耳介部２０のパラボラ曲面のほぼ中心線上に配置されたマイクロホン２４と、直交する２軸周りに耳介部２０を回転させるモータ２６及び２８と、を有している。

モータ２６の本体部分はサポート３０を介してヘッドバンド２の対応する位置に固定されている。モータ２８の本体部はホルダ３２を介してモータ２６の回転軸に固定されており、モータ２６の回転軸とモータ２８の回転軸とは直交するように配置されている。また、モータ２８の回転軸は耳介部２０の裏面に設けられたブラケット３４に固定されている。これにより、モータ２６及び２８の回転角度を適宜制御することで、パラボラ状耳介４の方向、したがって、マイクロホン２４の方向を直交する２軸周りに回転させることができる。ここで、「マイクロホン２４の方向」とは、マイクロホン２４自身又はパラボラ状の耳介部２０による音響反射との関係においてマイクロホン２４が有する音響電気変換感度の最も高い方向をいう。

図２に示すｘｙｚ座標系は、マイクロホン２４の位置を原点とし、図１のＸ軸に平行な軸をｘ軸、ｘ軸と直交しヘアバンド２の接線方向に並行な軸をｙ軸、ｘ軸及びｙ軸に直交する軸をｚ軸とする座標系として定義される。ここで、モータ２６の回転軸はｚ軸方向を向くように設定されており、従って、モータ２６によるマイクロホン２４の回転平面はｘｙ平面となる。また、モータ２８の回転軸はｙ軸方向を向くように設定されており、従って、モータ２６によるマイクロホン２４の回転平面はｚｘ平面となる。

本実施形態では、モータ２６及び２８は、ポテンショメータを備えたサーボモータであり、当該ポテンショメータの抵抗値から当該モータの現在の回転角度を計測することができる。なお、サーボモータに代えて、モータ２６及び２８をパルスモータとすることもできる。この場合、当該パルスモータの角度情報は、例えば制御装置６において当該パルスモータに与えた駆動パルスの数を記憶しておくことにより取得することができる。

ここで、マイクロホン２４の方向を表わすための、モータ２６、２８の回転平面における角度θ_ｈ、θ_ｖを図３のように定義する。すなわち、ｘ軸を基準軸とし、ｘ軸からｙ軸方向に向かって測った角度をθ_ｈ、ｘ軸からｚ軸方向に向かって測った角度をθ_ｖと定義する。また、モータ２６、２８の回転角度の基準方向は、マイクロホン２４がｘ軸方向を向く状態に対応するよう設定されているものとし、モータ２６の回転角度がθ_ｈのときは、マイクロホン２４のｘｙ平面内での角度がθ_ｈとなり、モータ２８の回転角度がθ_ｖのときは、マイクロホン２４のｚｘ平面内での角度がθ_ｖとなるものとする。

なお、以下の説明では、左右のパラボラ状耳介４Ｌ及び４Ｒを区別しつつモータ２６等の構造要素を参照するときは、当該構造要素を表わす符号にそれぞれＬ又はＲの符号を付して、「モータ２６Ｌ」「モータ２６Ｒ」等として示し、モータ２６及び２８の回転角度θ_ｈ及びθ_ｖについても、左右のモータ２６Ｌ、２６Ｒ等の回転角度として区別して示すときは、Ｌ又はＲのサフィックスを付して「θ_Ｌｈ」「θ_Ｒｈ」等として記載するものとする。

図４は、制御装置６の構成を示すブロック図である。
制御装置６は、中央処理装置（CPU、Central Processing Unit）４０と、ＲＯＭ４１と、ＲＡＭ４２とを有するコンピュータであり、さらに、ＡＤ変換器（Analog-to-Digital converter）４４と、タイマ４６と、入出力インタフェース４８と、を備えている。この制御装置６は、例えば、ワンチップマイクロコンピュータやデジタルシグナルプロセッサ（Digital Signal Processor、DSP）を用いて構成することができる。

マイクロホン２４Ｌ及び２４Ｒから取得された音響信号は、それぞれＡＤ変換器４４に入力され、タイマ４６が出力するサンプリング信号に基づき所定の時間間隔でサンプリングされデジタル信号（音響データ）に変換されて、ＲＡＭ４２に時系列順に記憶される。なお、ＲＡＭ４２には、直近にサンプリングされた所定数の音響データ、すなわち直近の所定時間内に取得された音響データのみが保持され、新たな音響データが記憶されるときは、最も古いデータが消去される。これにより、ＲＡＭ４２内の音響データシーケンスは、上記サンプリング周期で常に更新される。

制御装置６は、マイクロホン２４並びにモータ２６及び２８についての処理や制御を行うための、マイクロホン（ＭＩＣ）位置算出部４０２と、位相差算出部４０４と、音源方向算出部４０６と、マイクロホン（ＭＩＣ）方向制御部４０８とを有している。本実施形態では、制御装置６が備えるＣＰＵ４０がプログラムを実行することにより、上記各部（符号４０２〜４０８）の機能が実現される。なお、これらの算出部（符号４０２〜４０６）や制御部（符号４０８）は、電気回路等のハードウェアを有する一つまたは複数のデバイスとして構成することもできる。

ＭＩＣ位置算出部４０２は、入出力インタフェース４８を介してモータ２６及び２８の現在の回転角度を取得し、これらの回転角度に基づき、パラボラ状耳介４が構成するマイクロホン２４の運動系についてのキネマティクス計算を行って、左右のマイクロホン２４Ｌ及び２４Ｒの現在の位置座標を算出する。この算出方法の詳細については後述する。

位相差算出部４０４は、マイクロホン２４Ｌ、２４Ｒにより取得された音響波形の位相差を算出する。位相差の算出方法については後述する。
音源方向算出部４０６は、位相差算出部４０４が算出した位相差と、ＭＩＣ位置算出部４０２が算出したマイクロホン２４Ｌ、２４Ｒの現在の位置座標とに基づいて、音源の方向（方位角及び仰角）を算出する。

ＭＩＣ方向制御部４０８は、入出力インタフェース４８を介してモータ２６Ｌ、２８Ｌ、及び、２６Ｒ、２８Ｒを制御することにより、マイクロホン２４Ｌ及び２４Ｒの方向を、音源方向算出部４０６が算出した音源の方向へ向ける。

上記の構成を備える人工可動耳装置１は、音源方向の算出と、当該算出した方向へマイクロホン２４の方向を向ける制御とを繰り返すことにより、音源方向を精度良く特定することができる。

次に、本人工可動耳装置１の動作について説明する。
図５は、本人工可動耳装置１の全体動作の手順を示すフロー図である。本処理は、人工可動耳装置１の電源投入により開始する。

電源が投入されると、制御装置６は、ＭＩＣ位置算出処理（Ｓ１）を実行して、マイクロホン２４Ｌ、２４Ｒの現在の位置座標を算出し、次に、位相差算出処理（Ｓ２）を実行して、２つのマイクロホン２４Ｌ、２４Ｒにより検出される音の位相差を算出する。続いて、制御装置６は、音源方向算出処理（Ｓ３）を実行して、ステップＳ１において算出したマイクロホン２４Ｌ、２４Ｒの現在の位置座標と、ステップＳ２において算出した音の位相差から、音源の方向を算出する。その後、制御装置６は、ＭＩＣ方向制御処理（Ｓ４）を実行し、モータ２６Ｌ、２８Ｌ、及び、２６Ｒ、２８Ｒを制御して、マイクロホン２４Ｌ及び２４Ｒの方向を、ステップＳ３において算出した音源の方向へ向けた後、ステップＳ１に戻って処理を繰り返す。なお、本処理は、人工可動耳装置１の電源が断になったときに終了する。

次に、ステップＳ１〜Ｓ４に示す各処理の内容について順に説明する。
まず、ＭＩＣ位置算出処理（図５のステップＳ１）について説明する。なお、ＭＩＣ位置算出処理の内容はパラボラ状耳介４Ｌ及び４Ｒにおいて同じであるため、これらをパラボラ状耳介４と総称して説明する。実際には、左右のパラボラ状耳介４Ｌ及び４Ｒのそれぞれについて以下のＭＩＣ位置算出処理を行うことにより、マイクロホン２４Ｌ及び２４Ｒの現在の位置座標がそれぞれ算出される。

図６は、マイクロホン２４の運動系を模式的に示した図である。
図６において、マイクロホン２４の位置を示すノード５００からモータ２８の回転軸５０２に下ろした垂線をアーム５０４とし、アーム５０４がモータ２８の回転軸５０２と連結する点を関節５０６とする。また、モータ２８の回転軸５０２とモータ２６の回転軸５０８との交点を関節５１０とし、関節５０６から回転軸５０２に沿って関節５１０までの区間をアーム５１２とする。

また、関節５１０の位置ベクトルをＰ１、関節５０６の位置ベクトルをＰ２、ノード５００の位置ベクトルをＰ３とし、関節５０６の初期位置の位置ベクトルをＰ２０、ノード５００の初期位置の位置ベクトルをＰ３０とする。こで、「関節５０６の初期位置」とは、モータ２６の回転角度θ_ｈが０°であるときの関節５０６の位置をいい、「ノード５００の初期位置」とは、モータ２６、２８の回転角度θ_ｈ、θ_ｖが共に０°であるときの、ノード５００の位置をいうものとする。また、上記の位置ベクトルは、特にことわりのない限り、図１に示すＸＹＺ座標における原点Ｏを起点とする位置ベクトルをいうものとする。

ここで、回転軸５０２周りの回転（モータ２８の回転）によるノード５００の位置変化を表わす回転行列をＲ_１(θ_ｖ)、回転軸５０８周りの回転（モータ２６の回転）による関節５０６とノード５００の位置変化を表わす回転行列をＲ_２(θ_ｈ)とすると、マイクロホン２４の現在の位置ベクトルＰ３は次式で与えられる。
P3＝R1(θ_v)・(P3’−P2)＋P2 （１）
ここで、
P2＝R2(θ_h)・(P20−P1)＋P1 （２）
P3’＝R2(θ_h)・(P30−P1)＋P1 （３）
である。なお、Ｐ１等の位置ベクトルは、３次元の列ベクトルであるものとする。

上式では、式（２）及び式（３）によりそれぞれモータ２６のみが角度θ_ｈだけ回転した場合の関節５０６の位置ベクトルＰ２及びノード５００の位置ベクトルＰ３´を求め、式（１）により、Ｐ３´の位置からさらにモータ２８が角度θ_ｖだけ回転したときの位置として、現在のマイクロホン２４のノード５００の位置ベクトルＰ３を求めている。

図７は、ＭＩＣ位置算出処理の手順を示すフロー図である。
まず、制御装置６のＭＩＣ位置算出部４０２は、パラボラ状耳介４が備えるモータ２６及び２８の現在の回転角度θ_ｈ及びθ_ｖを取得し（Ｓ１０１）、取得した回転角度θ_ｈ及びθ_ｖを用いて回転行列Ｒ_１(θ_ｖ)、Ｒ_２(θ_ｈ)を算出した後（Ｓ１０２）、式（１）によりマイクロホン２４Ｌ及び２４Ｒの現在の位置座標を算出して（Ｓ１０３）、処理を終了する。ここで、回転角度θ_ｈ及びθ_ｖは、上述したとおり、モータ２６及び２８がそれぞれ備えるポテンショメータを用いて取得することができる。

次に、位相差算出処理（図５のステップＳ２）について説明する。
上述したように、ＲＡＭ４２には、マイクロホン２４Ｌ、２４Ｒのそれぞれについて、直近の所定時間内に取得された所定数の音響データが時間順に記憶され、音響データシーケンスとして保持されている。また、この音響データシーケンスは、ＡＤ変換器４４のサンプリング周期に同期して、最も新しい音響データを記憶すると共に最も古い音響データを削除することで常に更新されている。なお、以下では、マイクロホン２４Ｌからの音響信号に基づく音響データを「左の音響データ」、マイクロホン２４Ｒからの音響信号に基づく音響データを「右の音響データ」と称するものとする。

図８は、位相差算出処理の手順を示すフロー図である。
まず、位相差算出部４０４は、ＲＡＭ４２に記憶された左右の音響データシーケンスのそれぞれについて、最新の連続する所定数（Ｎ個）の音響データで構成される音響データのサブセットを用いて離散的フーリエ変換を行う（Ｓ２０１）。例えば左の音響データでは、この離散的フーリエ変換は次式で与えられる。
D_L1＝W・D_L0 （４）

ここで、D_L0は左の音響データdL_n (n=0, 1, … , N-1)で構成される入力ベクトル（Ｎ次元列ベクトル）、D_L1は当該入力データが表す音響信号に含まれる各周波数f_k(k=0, 1, … , N-1)で構成される周波数ベクトル（Ｎ次元列ベクトル）であり、それぞれ、
D_L0＝(dL₀, dL₁, ... , dLn, ... , dL_N-1)^T （５）
D_L1＝(f₀, f₁, ... , f_k, ... , f_N-1)^T （６）
で与えられる。

また、Wは離散的フーリエ変換のＮ×Ｎの係数行列であり、そのｋ行ｎ列の要素w_knは次式で与えられる。

なお、右の音響データの離散的フーリエ変換も、上記と同様の式を用いて行うことができる。また、ステップＳ２０１における離散的フーリエ変換は、所定数Ｎを２のべき乗で表わされる数とすることにより、公知の高速フーリエ変換アルゴリズムを用いて行うことができる。

次に、位相差算出部４０４は、当該フーリエ変換の結果に基づき、左右の音響データシーケンスのそれぞれについて最大パワーを持つ周波数（以下、最大パワー周波数）を特定し（Ｓ０２０２）、それらの最大パワー周波数が互いに一致するか否かを判断する（Ｓ２０３）。

ステップＳ２０３において、左右の音響データシーケンスから算出された最大パワー周波数が互いに異なっているときは（Ｓ２０３、Ｎｏ）、ステップＳ２０１に処理を戻し、最新の音響データシーケンスのサブセットを用いて、処理を繰り返す。

一方、ステップＳ２０３において、左右の音響データシーケンスから算出された最大パワー周波数が互いに一致するときは（Ｓ２０３、Ｙｅｓ）、左右の音響データシーケンスについて、最大パワー周波数の周期に等しい期間内に取得された全て（ｒ個とする）の連続する音響データのサブセットを用いて移動平均値を計算し、算出した左右の音響データの移動平均値をそれぞれ時間順にＲＡＭ４２に記憶する（Ｓ２０４）。これにより、ＲＡＭ４２内には移動平均値のシーケンスが記憶される。

例えば、左の音響データシーケンスについての移動平均値ＡＬ（ｉ）（ＲＡＭ４２内のｉ番目から（ｉ＋ｒ−１）番目までのｒ個の音響データサブセットで算出される移動平均値）は、次式で与えられる（なお、右の音響データの移動平均値ＡＲ（ｉ）も同様の式で与えられる）。

上記のように音響データシーケンスを移動平均値のシーケンスに変換することは、ローパスフィルタリングを行うことと等価であり、式（８）で算出された移動平均値のシーケンスが表す波形は、マイクロホン２４Ｌが取得した音響信号から最大パワー周波数を超える周波数成分を除去した波形となる。

次に、位相差算出部４０４は、左右の音響データシーケンスのそれぞれについて、ステップＳ２０４において算出された移動平均値の時間微分値を算出し、当該時間微分値をその符号（正負）により２値化して、左右の音響データについての２値化微分値を、それぞれ時間順にＲＡＭ４２に記憶する（Ｓ２０５）。この時間微分値は、今回算出された移動平均値から前回算出された移動平均値を差し引いた差分として算出することにより、ステップＳ２０４の処理と並行して行うことができる。また、２値化微分値は、例えば、上記算出した時間微分値が正の値であれば＋１、負の値であれば−１を採るものとすることができる。

例えば、左の音響データの移動平均値の２値化微分値BL(i)は、次式により定義することができる（なお、右の音響データの移動平均値の２値化微分値BR(i)も、同様に定義することができる）。

次に、位相差算出部４０４は、ＲＡＭ４２に記憶された左右の２値化微分値がそれぞれ−１から＋１に変化した立ち上り時刻の差を求め（Ｓ２０６）、直近の所定数の立ち上がり時刻差の平均値Ｔ_ｄを、マイクロホン２４Ｌ及び２４Ｒにおける音響の位相差（到達時間差）として算出して（Ｓ２０７）、処理を終了する。

上述したように、ステップＳ２０４においてＲＡＭ４２に記憶された移動平均値のシーケンスは最大パワー周波数以下の周波数成分のみから成る音響波形を表しており、この波形の変化傾向は最大パワー周波数成分（すなわち最大振幅を持つ周波数成分）の変化でほぼ決定される。したがって、移動平均の時間微分の極値位置は最大パワー周波数成分が大きく変化した時刻をほぼ表わしており、左右の音響データにおける時間微分の極値位置の時間的隔たりは、当該音響波形の大きな変化部分がマイクロホン２４Ｌ及び２４Ｒに到達した時刻の差、すなわち位相差を表わすものとなる。

このため本実施形態では、上述のように、移動平均値によるローパスフィルタリング後の波形に対し二値化微分計算を行うことで当該波形の変化特徴を単純化して抽出し、当該波形の微分値の極値位置を二値化微分値の立ち上り位置として特定して、位相差を算出している。

次に、音源方向算出処理（図２のステップＳ３）について説明する。
図９は、水平面（ＸＹ平面）における音源方向を特定する方法を示すための説明図である。図９には、ＸＹ平面上に投影されたマイクロホン２４Ｌ、２４Ｒの位置を表わす投影点６０Ｌ、６０Ｒと、投影点６０Ｌと６０Ｒとを結ぶ基準線６２とが、人工可動耳装置１を装着した利用者の頭蓋を表わす略図６４と共に示されている。

図９において、水平面内における音源方向（方位角Ψ_ｈ）は、投影点６０Ｌと６０Ｒとの間隔ＭＤ_ｈ、基準線６２とｙ軸との為す角ＭＡ_ｈ、及び、位相差算出処理（図７）において算出された位相差Ｔ_ｄから、音速ｖ_ｓを用いて次式により算出される。なお、算出される方位角は、Ｘ軸からＹ軸の正方向に向かう方向に沿って測った角度である。

一方、矢状面（ＺＸ面）においても同様に、矢状面に投影されたマイクロホン２４Ｌ、２４Ｒの矢状面上における間隔ＭＤ_ｖと、当該投影されたマイクロホン２４Ｌと２４Ｒとを結ぶ矢状面上の基準線がＺ軸となす角ＭＡ_ｖより、矢状面上の音源の方向（仰角Ψ_ｖ）が次式により算出される。なお、算出される仰角は、Ｘ軸からＺ軸の正方向へ向かう方向に沿って測った角度である。

図１０は、音源方向算出処理の手順を示すフロー図である。
まず、音源方向算出部４０６は、ＭＩＣ位置算出処理（図５のステップＳ１、図７）において算出したマイクロホン２４Ｌ、２４Ｒの３次元位置座標に基づき、これら２つのマイクロホン位置を水平面（ＸＹ平面）上に投影し（Ｓ３０１）、水平面上におけるマイクロホン間距離ＭＤ_ｈを算出すると共に（Ｓ３０２）、水平面上において２つのマイクロホン間を結ぶ基準線６２がｙ軸と為す角度ＭＡ_ｈを算出する（Ｓ３０３）。

次に、音源方向算出部４０６は、２つのマイクロホン２４Ｌ、２４Ｒの３次元位置を矢状面（ＺＸ平面）上に投影し（Ｓ３０４）、矢状面上におけるマイクロホン間距離ＭＤ_ｖを算出すると共に（Ｓ３０５）、矢状面上において２つのマイクロホン間を結ぶ基準線がＺ軸と為す角度ＭＡ_ｖを算出する（Ｓ３０６）。

続いて、音源方向算出部４０６は、ステップＳ３０２及びＳ３０３において算出したＭＤ_ｈ及びＭＡ_ｈと、位相差算出処理（図１のステップＳ２、図８）において算出した位相差Ｔ_ｄとに基づき、式（１１）を用いて水平面上における音源方向、すなわち、方位角Ψ_ｈを算出し（Ｓ３０７）、同様に、ステップＳ３０５及びＳ３０６において算出したＭＤ_ｖ及びＭＡ_ｖと、位相差Ｔ_ｄとに基づき、矢状面上における音源方向、すなわち仰角Ψ_ｖを算出して（Ｓ３０８）、処理を終了する。

次に、ＭＩＣ方向制御処理（図５のステップＳ４）について説明する。
マイクロホン２４を音源の方向へ向けるには、音源の方位角Ψ_ｈ及び仰角Ψ_ｖから、モータ２６及び２８に設定すべき回転角度を算出する必要がある。

本実施形態では、パラボラ状耳介４Ｌ及び４Ｒの中心軸（ｚ軸）はヘッドバンド２のＺ軸に対し４５°だけ傾いており（図１）、従って、パラボラ状耳介４Ｌ、４Ｒのそれぞれにおいて、モータ２６及び２８によるマイクロホン２４の回転平面（xy平面及びzx平面）も、それぞれ水平面（ＸＹ平面）及び矢状面（ＺＸ平面）に対し４５°傾いた状態となっている。

したがって、マイクロホン２４を音源方向に向けるためのモータ２６Ｌ及び２６Ｒの回転角度θ’_Ｌｈ及びθ’_Ｒｈ、並びにモータ２８Ｌ及び２８Ｒの回転角度θ’_Ｌｖ及びθ’_Ｒｖは、それぞれが音源の方位角Ψ_ｈ及び仰角Ψ_ｖを用いて表わされることとなり、具体的には次式で与えられる。

図１１は、ＭＩＣ方向制御処理（図５のステップＳ４）の手順を示すフロー図である。
まず、ＭＩＣ方向制御部４０８は、音源方向算出処理（図５のステップＳ３、図１０）により算出した方位角Ψ_ｈと仰角Ψ_ｖとに基づき、モータ２６Ｌの回転角度θ’_Ｌｈ、モータ２８Ｌの回転角度θ’_Ｌｖ、モータ２６Ｒの回転角度θ’_Ｒｈ、及びモータ２８Ｒの回転角度θ’_Ｒｖを、式（１２）により算出する（Ｓ４０１）。

次に、ＭＩＣ方向制御部４０８は、モータ２６Ｌ、２８Ｌ、２６Ｒ、２８Ｒがそれぞれ上記算出した回転角度に所定の時間Ｔ_ｓ（例えば２００ｍｓ）で到達するように、各回転角度を所定の回数ｓに分けて徐々に変化させる。

すなわち、ＭＩＣ方向制御部４０８は、上述したＭＩＣ位置算出処理のステップＳ１０１（図７）において取得したモータ２６及び２８の現在の回転角度と上記ステップＳ４０１において算出した対応する各回転角度の目標値との差分を、それぞれ所定の回数ｓで分割して、モータ制御１回あたりに増加させる各回転角度の増分Δθ_Ｌｈ、Δθ_Ｌｖ、Δθ_Ｒｈ、Δθ_Ｒｖを算出する（Ｓ４０２）。続いて、所定の時間をＴ_ｓを所定の回数ｓで分割して時間間隔ΔＴ_ｓを算出し（Ｓ４０３）、タイマ４６を用いて時間計測をスタートする（Ｓ４０４）。

次に、ＭＩＣ方向制御部４０８は、時間ΔＴ_ｓが経過する毎に、各モータ（２６Ｌ，２８Ｌ、２６Ｒ、２８Ｒ）の回転角度がそれぞれΔθ_Ｌｈ、Δθ_Ｌｖ、Δθ_Ｒｈ、Δθ_Ｒｖだけ増加するように各モータを制御する（Ｓ４０５）。続いて、各モータの回転角度が目標値θ’_Ｌｈ、θ’_Ｌｖ、θ’_Ｒｈ、θ’_Ｒｖに達したか否かを判断し（Ｓ４０６）、達していなければ（Ｓ４０６、Ｎｏ）、ステップＳ４０５に戻って処理を繰り返し、達していれば（Ｓ４０６、Ｙｅｓ）、処理を終了する。

以上の処理により、人工可動耳装置１は、キネマティクス計算により２つのマイクロホン２４Ｌ、２４Ｒの現在の位置を正確に算出すると共に、これら２つのマイクロホンが取得した音響信号の最大パワー周波数における位相差を、移動平均計算によるローパスフィルタリングとその後の２値化微分計算による波形特徴抽出により算出し、上記算出した２つのマイクロホン位置と位相差とにより音源方向を算出して、当該２つのマイクロホンの方向を上記算出した音源方向に向ける。このように、位相差の算出にあたって最大パワー周波数での狭帯域バンドパスフィルタリングを行わないため、本処理は簡易に行うことができる。

そして、人工可動耳装置１は、上記のようにマイクロホンの方向を最大パワー周波数を発する音源（目標音源）の方向へ向けることで当該目標音源からの音を他の音源に比べてさらに明瞭に受信できるようになり、その結果、上記動作を繰り返し行うことにより目標音源の方向を精度よく特定することができる。

図１２は、人工可動耳装置１の、水平面内に存在する音源に対する音源方向特定動作を観測した結果である。図１２ＡはＭＩＣ方向制御処理を行わず、マイクロホン２４Ｌ、２４Ｒを一定の方向に固定した場合の観測結果を示し、図１２ＢはＭＩＣ方向制御処理を行った場合の観測結果を示している。また、図１２Ａ及び図１２Ｂにおいて、縦軸は水平面内に存在する実際の音源の方向（方位角）であり、横軸は人工可動耳装置１が特定した音源方向（方位角）である。斜めの線は、特定した音源方向が実際の音源方向と一致した場合を示す理想直線７０であり、観測点は小さな円で示されている。

ＭＩＣ方向制御処理を行わない場合には（図１２Ａ）、理想直線７０上に乗る観測点は少なく、音源方向の特定誤差が大きいのに対し、ＭＩＣ方向制御処理を行った場合には（図１２Ｂ）、試行間でのばらつきは大きいものの、理想直線７０上に乗る観測点は多く存在し、音源方向の特定誤差が改善されていることが判る。

以上説明したように、本願発明の人工可動耳装置は、簡易な処理で音源方向を算出することができ、当該音源方向の算出と当該算出した音源方向へマイクロホンを向ける動作を繰り返すことにより、目標音源からの音を明瞭に検知して音源方向を精度良く特定することができる。

１・・・人工可動耳装置、２・・・ヘッドバンド、４、４Ｌ、４Ｒ・・・パラボラ状耳介、６・・・制御装置、８・・・バッテリー、２０・・・耳介部、２４・・・マイクロホン、２６、２８・・・モータ、４０・・・ＣＰＵ、４１・・・ＲＯＭ、４２・・・ＲＡＭ、４４・・・ＡＤ変換器、４６・・・タイマ、４８・・・入出力インタフェース、４０２・・・ＭＩＣ位置算出部、４０４・・・位相差算出部、４０６・・・音源方向算出部、４０８・・・ＭＩＣ方向制御部。

Claims (8)

1. 複数のマイクロホンと、
   前記複数のマイクロホンのそれぞれに設けられた、当該マイクロホンの方向を変更するアクチュエータと、
   処理装置及び記憶装置を有する制御装置と、
   を備え、
   前記制御装置は、
   前記アクチュエータの現在の状態に基づいて、前記マイクロホンの現在の位置を算出し、
   前記マイクロホンにより取得された音源からの音の、当該マイクロホン間での位相差を算出し、
   前記算出された前記マイクロホンの現在の位置における当該マイクロホン間の距離と、前記算出された位相差とに基づき、前記音源の方向を算出し、
   前記各マイクロホンの方向が前記算出した前記音源の方向へ向くように、前記アクチュエータを制御するよう構成されている、
   人工可動耳装置。
2. 請求項１に記載された人工可動耳装置において、
   前記制御装置は、
   前記各マイクロホンから取得された各音に含まれる最大パワーを持つ周波数が互いに一致することを条件として、当該周波数における前記位相差を算出するよう構成されている、
   人工可動耳装置。
3. 請求項２に記載された人工可動耳装置において、
   前記制御装置は、
   前記各マイクロホンからそれぞれ取得された各音から前記最大パワーを持つ周波数を超える周波数を除去するローパスフィルタリングを行い、
   当該ローパスフィルタリングされた後の各音の波形が極小値となる時刻の差を、前記位相差として算出するよう構成されている、
   人工可動耳装置。
4. 請求項３に記載された人工可動耳装置において、
   前記ローパスフィルタリングは、前記各マイクロホンからそれぞれ取得された各音を所定の時間間隔で変換して得られるデジタルデータに対し移動平均計算を行うことにより行われる、
   人工可動耳装置。
5. 請求項１ないし４のいずれかに記載された人工可動耳装置において、
   前記アクチュエータは、前記各マイクロホンを、所定の角度で交差する２軸周りに回転させるモータにより構成される、
   人工可動耳装置。
6. 請求項１ないし５のいずれかに記載された人工可動耳装置において、
   前記音源の方向は、当該人工可動耳を装着する装着者の矢状面内に投影された音源の方向、又は当該矢状面に直交する水平面内に投影された音源の方向である、
   人工可動耳装置。
7. 複数のマイクロホンと、
   前記複数のマイクロホンのそれぞれに設けられた、当該マイクロホンの方向を変更するアクチュエータと、
   制御装置と、
   を備え、
   前記制御装置は、
   前記アクチュエータの現在の状態に基づいて、前記マイクロホンの現在の位置を算出するデバイスと、
   前記マイクロホンにより取得された音源からの音の、当該マイクロホン間での位相差を算出するデバイスと、
   前記算出された前記マイクロホンの現在の位置における当該マイクロホン間の距離と、前記算出された位相差とに基づき、前記音源の方向を算出するデバイスと、
   前記各マイクロホンの方向が前記算出した前記音源の方向へ向くように、前記アクチュエータを制御するデバイスと、
   を備える、
   人工可動耳装置。
8. 複数のマイクロホンに設けられた当該マイクロホンの方向をそれぞれ変更する各アクチュエータの現在の状態に基づいて、前記複数のマイクロホンの現在の位置をそれぞれ算出するステップと、
   前記マイクロホンにより取得された音源からの音の、当該マイクロホン間での位相差を算出するステップと、
   前記算出された前記マイクロホンの現在の位置における当該マイクロホン間の距離と、前記算出された位相差とに基づき、前記音源の方向を算出するステップと、
   前記各マイクロホンの方向が前記算出した前記音源の方向へ向くように、前記アクチュエータを制御するステップと、
   を有する、音源方向の特定方法。

Images