JP2010082375A - 音信号処理装置、ヘッドホン装置および音信号処理方法 - Google Patents

Abstract

【課題】脳信号をもとにして、脳に対して何らかの刺激をフィードバックすることで脳機能を補助する。
【解決手段】脳波形測定部１０は、脳波形を測定する。相関計算部１４は、複数の音信号の波形の各々と、測定された脳波形の相関値を求める。注聴音特定部１６は、複数の音信号の内、相関値が最も大きい音信号を注聴音として特定する。重み付け合成部２２は、注聴音として特定された音信号が他の音信号よりも強調されるように重み付けした上で、複数の音信号を合成する。音出力部２６は、重み付け合成部２２により合成された音信号をヘッドホンやスピーカーに出力する。
【選択図】図１

Description

この発明は、音信号処理装置、ヘッドホン装置および音信号処理方法に関する。

脳信号を用いて機械や義足・義手などを操作したり、コンピュータに対して命令を与える技術としてＢＭＩ（Brain Machine Interface）やＢＣＩ（Brain Computer Interface）の研究が行われている。ＢＭＩやＢＣＩは障害者や患者を主たる対象としており、一部実用化が進められているものは、脳への電極装着が必要な侵襲的な手段を用いている。

ＢＭＩやＢＣＩにおいて、より多くのニーズに応えるためには、健常者でも利用できるように、非侵襲的な手段を用いなければならない。侵襲的な手段を用いた方が計測される信号の品質は優れているが、マンマシンインタフェースの用途のためには、信号の精度が落ちても、装着しやすい、小型の計測手段を用いる方が好ましい。また、信号の精度の劣化は信号処理の工夫により、克服すべきである。

ＢＭＩやＢＣＩの研究では脳信号を取り出して、機械を制御することを目的とするものが多いが、脳信号をもとにして、脳に対して何らかの刺激をフィードバックすることで脳機能そのものを補助することは考えられていない。たとえば、人間は、「カクテルパーティー効果」としてよく知られているように、複数の音から自分が注聴する音だけを聞き分ける能力を有している。これは主に脳による情報処理の結果であり、脳機能の一つということができる。

本発明はこうした課題に鑑みてなされたものであり、その目的は、脳信号を利用して音信号を処理する音信号処理装置、ヘッドホン装置および音信号処理方法を提供することにある。

上記課題を解決するために、本発明のある態様の音信号処理装置は、複数の音信号の波形の各々と測定された脳波形の相関値を求める相関計算部と、複数の音信号の内、前記相関値が最も大きい音信号を注聴音として特定する特定部と、注聴音として特定された音信号が他の音信号よりも強調されるように重み付けした上で、前記複数の音信号を合成する重み付け合成部とを含む。

本発明の別の態様は、ヘッドホン装置である。この装置は、脳波形を測定する脳波形測定部と、測定された脳波形と複数の音信号の波形の相関値を求める相関計算部と、前記複数の音信号の内、前記相関値が最も大きい音信号を注聴音として特定する特定部と、注聴音として特定された音信号を他の音信号よりも強調するように重み付けした上で、前記複数の音信号を合成する重み付け合成部と、前記重み付け合成部により合成された音信号を出力する音出力部とを含む。

本発明のさらに別の態様は、音信号処理方法である。この方法は、測定された脳波形と複数の音信号の波形の相関値を求めるステップと、前記複数の音信号の内、前記相関値が最も大きい音信号を注聴音として特定するステップと、注聴音として特定された音信号を他の音信号よりも強調するように重み付けした上で、前記複数の音信号を合成するステップとを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、脳信号を利用することで、人が聴いている音信号を適切に信号処理することができる。

図１は、本実施の形態に係る音信号処理装置１００の構成図である。

脳波形測定部１０は、人の脳波を非侵襲的な方法で測定する。音信号の脳内処理を正確に把握するには、リアルタイム性が要求される。そのため、時間分解能の高い脳神経活動信号を扱う必要がある。時間分解能の高い脳信号を計測できる非侵襲的計測装置として、脳磁図（ＭＥＧ；magnetoencephalogram）計と脳波（ＥＥＧ；electroencephalogram）計がある。

ここでは脳磁図計を利用した実験例を紹介するが、脳磁図計は装置が大がかりで高価であり、人に対する拘束性も高いため、実験には適しても、実用装置には適さない。そこで、実用的には脳波計を用いるのが好適である。一例として、ペーストレスの電極を人の頭部に装着して脳信号を測定するヘルメット型の脳波測定器具を使用するのが利便性の面で好ましい。

リアルタイムデータ処理部３０は、脳波形測定部１０により測定された脳信号と、ユーザがヘッドホンやスピーカーで聴く音楽などの音信号とをリアルタイムで処理する。

脳波形測定部１０により測定された脳信号は、外来ノイズに加え、自発性（背景活動）脳磁場（脳波）やその他の刺激誘発脳磁場（脳波）などの重ね合わせ波形であり、目的の信号を単独波形として取り出すことは困難である。そこで、波形を単独で取り出すことをせずに、音信号との相関性などを指標にして、脳がどの音に注目しているかを判定する。

リアルタイムデータ処理部３０は、Ａ／Ｄ変換部１２と、相関計算部１４と、注聴音特定部１６と、音信号波形データ記憶部１８とを含む。

Ａ／Ｄ変換部１２は、脳波形測定部１０により測定された脳信号をデジタルデータに変換し、相関計算部１４に供給する。音信号波形データ記憶部１８には、ユーザがヘッドホンやスピーカーで聴いている複数の音信号の波形データが音信号処理部４０から供給されて保持される。

相関計算部１４は、音信号波形データ記憶部１８から取得した複数の音信号の各々の波形と、測定された脳波形との間で相関を求める。注聴音特定部１６は、複数の音信号の内、相関が最も大きい音信号を注聴音として特定し、特定された注聴音の識別番号を音信号処理部４０に通知する。

音信号処理部４０は、複数のマイク５０から入力される音信号を重み付け合成してヘッドホンやスピーカーなどに出力する。音信号処理部４０は、音信号入力部２０と、重み付け合成部２２と、重み設定部２４と、音出力部２６とを含む。

音信号入力部２０は、複数のマイク５０から入力される複数の音信号をＡ／Ｄ変換し、重み付け合成部２２に供給する。また、音信号入力部２０は、複数の音信号のデジタルデータをリアルタイムデータ処理部３０の音信号波形データ記憶部１８に供給する。

重み設定部２４は、注聴音特定部１６から注聴音として特定された音信号を他の音信号よりも強調するように、各マイク５０から入力された音信号に対する重み付けを設定する。重み付け合成部２２は、重み設定部２４により設定された重み付けにしたがって、各マイク５０から入力された音信号を重み付けして合成する。

重み付け合成部２２により合成された音信号は音出力部２６に供給される。音出力部２６は合成された音信号をＤ／Ａ変換してヘッドホンやスピーカーなどから出力する。

図２は、人が音楽を聴いているときの脳波形を説明する図である。図２（ａ）は、曲「禁じられた遊び」を聴いているときに脳波形２００ａを示す。図２（ｂ）は、曲「きらきら星」を聴いているときに脳波形２００ｂを示す。この脳波形はＭＥＧ測定装置により実験的に取得したものである。

図３は、脳波形と曲の音信号波形の相関を説明する図である。図３（ｃ）はＭＥＧチャネルの脳内配置図を示す図である。図３（ａ）、図３（ｂ）は、横軸をＭＥＧチャネル番号として、縦軸を相関の評価値としたグラフである。

図３（ａ）は、曲「禁じられた遊び」を聴いているときの脳波形について、二つの曲の音信号波形との間で、チャネル毎にどのような相関があるかを示したものである。実線は曲「禁じられた遊び」の音波形との相関を示し、点線は曲「きらきら星」音波形との相関を示す。図３（ａ）から、ほとんどのチャネルにおいて、曲「禁じられた遊び」を聴いているときの脳波形は、曲「禁じられた遊び」の音波形と相関が、曲「きらきら星」の音波形との相関よりも大きいことがわかる。

図３（ｂ）は、曲「きらきら星」を聴いているときの脳波形について、二つの曲の音信号波形との間で、チャネル毎にどのような相関があるかを示したものである。実線は曲「禁じられた遊び」の音波形との相関を示し、点線は曲「きらきら星」音波形との相関を示す。図３（ｂ）から、ほとんどのチャネルにおいて、曲「きらきら星」を聴いているときの脳波形は、曲「きらきら星」の音波形と相関が、曲「禁じられた遊び」の音波形との相関よりも大きいことがわかる。

図４は、図３（ａ）、図３（ｂ）の各チャネルにおける相関値を全チャネルで合計した結果を示す図である。左側のグラフは、曲「禁じられた遊び」を聴いているときの二つの曲との相関値を示すものであり、曲「禁じられた遊び」の方が相関が高くなっている。右側のグラフは、曲「きらきら星」を聴いているときの二つの曲との相関値を示すものであり、曲「きらきら星」の方が相関が高くなっている。

このことから、二つの曲「禁じられた遊び」と「きらきら星」がミキシングされてヘッドホンやスピーカーから出力されている状況であっても、ユーザが二つの曲「禁じられた遊び」と「きらきら星」のいずれか一方を注聴している場合は、脳波形はその注聴している曲の音波形との相関が大きく現れることが予想される。

図５は、二つの曲がミキシングされた状況で、いずれか一方の曲を注聴した場合の脳波形と音波形の相関を示す図である。被験者は、二つの曲「禁じられた遊び」と「きらきら星」がミキシングされた音をヘッドホンで聴いており、いずれか一方の曲を注聴するように命令が与えられる。１０回の命令の内、３回目と９回目では曲「禁じられた遊び」を注聴するように命令され、それ以外は曲「きらきら星」を注聴するように命令されている。各回において、測定された脳波形と各曲の音波形の相関値がグラフで示されている。黒色のグラフは脳波形と曲「禁じられた遊び」の音波形の相関値、灰色のグラフは脳波形と曲「きらきら星」の音波形の相関値を示す。

曲「禁じられた遊び」を注聴するように命令された３回目と９回目では、脳波形は曲「禁じられた遊び」の音波形との相関の方が大きくなっていることがわかる。曲「きらきら星」を注聴するように命令されたそれ以外の回では、脳波形は、総じて曲「きらきら星」の音波形との相関の方が大きくなっていることがわかるが、４回目、５回目、７回目では曲「きらきら星」との相関の方が大きく出ており、エラーとなっている。

被験者の集中力などの問題もあり、実験結果にはばらつきや誤差があるが、複数の曲を同時に聴いている場合でも、測定された脳波形は、注聴している曲の音波形との相関の方が大きく現れる傾向があることを実験的に確認することができた。

図６〜図９を参照して、相関計算部１４による脳波形と音信号波形の相関の求め方を説明する。

図６は、単発音（クリック音）に対する脳信号波形を説明する図である。図６（ａ）は、図６（ｂ）のようなクリック音の音刺激を右耳に２秒間与えたときの脳信号の脳内分布を示す。図６（ｃ）は、図６（ａ）に示す２箇所の脳信号波形をグラフにしたものであり、クリック音に対する聴覚誘発脳磁場波形の典型例を示す。

図７は、単発音（クリック音）を連続して聴いた場合の脳信号波形を説明する図である。図７（ａ）に示すようにクリック音の音刺激を２５ミリ秒間隔で１秒間連続して右耳に与える。理論的には、図７（ｃ）に示すように、単発のクリック音に対するインパルス応答を合成した波形になる。図７（ｂ）は、単発音に対する図６（ｃ）の応答波形を合成した波形である。一方、図７（ｄ）は、実際に測定された脳信号波形である。図７（ｂ）と図７（ｄ）を比較すると、よく一致していることがわかる。これは脳の応答の線形性を示すものである。

図８は、連続音に対する脳信号波形が生成される原理を説明する図である。連続音に対する脳信号波形は、音圧の強弱すなわち音波形のエンベロープ曲線と単発音に対する脳信号波形のコンボリューションで与えられることが予測される。単発音に対する脳信号波形をフーリエ変換すると高域遮断特性を示すので、音波形のエンベロープ曲線と単発音に対する脳信号波形のコンボリューションは、低域通過処理と同等である。

図９は、相関計算部１４が脳波形と音波形の相関を求める方法を説明する図である。信号の時間波形を評価するためには、位相遅れ（時間遅れ）を考慮する必要があるが、これを正確に推測することは困難である。そこで、位相遅れを考慮しなくても済むように、信号のスペクトルを用いて評価する。具体的には、音信号のエンベロープ曲線のスペクトルと脳信号のスペクトルのクロススペクトルを計算し、その低周波領域での大きさを指標とする。

図９（ａ）は脳信号波形を示す。これをフーリエ変換すると、図９（ｄ）に示す脳信号波形のスペクトルが得られる。

図９（ｂ）は音楽波形を示し、この音楽波形のエンベロープ波形は図９（ｃ）のようになる。図９（ｃ）のエンベロープ波形をフーリエ変換することにより、図９（ｅ）に示すエンベロープの複素共役スペクトルが得られる。

図９（ｄ）の脳信号波形スペクトルと図９（ｅ）のエンベロープ波形スペクトルのクロススペクトルを計算すると、図９（ｆ）のようになる。このようにして求めたクロススペクトルの低周波領域における大きさ（絶対値）を相関の評価量とし、その値が大きいほど相関が大きいと判断する。

次に、重み付け合成部２２が複数の音信号を重み付けして合成する方法について説明する。複数の音源から音信号が出力されており、各音源の近傍に個別にマイク５０が備えられており、各マイク５０に各音源からの音信号が入力される場合、重み設定部２４は、入力された複数の音信号に対して、注聴音特定部１６により注聴音として特定された音信号の重みを他の信号の重みを相対的に大きくするように重み付けを設定すればよい。

複数の音源から音信号が出力されているが、複数のマイク５０が必ずしも各音源の近傍に設けられていない場合は、マイク５０に入力される音を何らかの方法で分離する技術を用いて、注聴音として特定された音信号を取り出して強調する必要がある。

図１０は、音を空間分離する方法を説明する図である。二つの音源Ｓ１、Ｓ２から出力される二つの音信号を左右の耳で聴いている場合を想定する。これは左右の耳にマイクがあるのと同じことである。この場合、左耳に入力される音の大きさは、Ｌｓ＝ａ_１Ｍ１＋ｂ_１Ｍ２であり、右耳に入力される音の大きさは、Ｒｓ＝ａ_２Ｍ１＋ｂ_２Ｍ２である。ここで、Ｍ１、Ｍ２は各音源からの音信号の大きさである。ただし、音源Ｓ１、Ｓ２と左右の耳の間の遠近関係から、ａ_１＞ａ_２、ｂ_１＜ｂ_２である。

Ｍ１について解くと、Ｍ１＝（ｂ_２Ｌｓ−ｂ_１Ｒｓ）／（ａ_１ｂ_２−ａ_２ｂ_１）となる。大きさを無視すれば、Ｍ１はＬｓ−αＲｓで与えられる。ただしα＝ｂ_１／ｂ_２である。ここでαを変えれば、左耳にＭ１だけが聞こえてくる状態を作り出すことができる。より多くのマイクを使用すれば、より多くの音源に対応して、特定の音源からの音信号を分離することができるようになる。

このように複数の音源からの音信号が複数のマイクで集音されるとき、マイクの指向性や感度を調整することで、特定の音源からの音信号を取り出してマイクに集音させることができる。

より高度な音源分離の手法として、ブラインド音源分離（ＢＳＳ；Blind Source Separation）がある。ＢＳＳは、複数のマイクに線形に合成された信号が入力された場合に、音源信号や合成過程の知識を用いずに、観測信号のみから音源信号を推定して分離する技術である。独立成分分析法（ＩＣＡ；Independent Component Analysis）を用いて音源分離する手法もある。

図１１は、音の空間分離技術を用いて複数の音信号を重み付け合成する方法を説明する図である。

複数の音源６０ａ〜６０ｄに対して、複数のマイク５０ａ〜５０ｃが配置されたとする。各マイク５０ａ、５０ｂ、５０ｃに集音される音信号に対する重みＷａ、Ｗｂ、Ｗｃを調整して加算することで、上述の音の空間分離技術により、複数の音源６０ａ〜６０ｄから出力された複数の音信号の内、注聴音として特定された音信号を強調した合成信号を生成することができる。

図１２は、周波数帯域によって音を分離する技術を用いて複数の音信号を重み付け合成する方法を説明する図である。

複数の音源６０ａ〜６０ｅに対して、マイク５０が一つしかない場合、音を空間的に分離することはできない。そこで、マイク５０に入力された音信号を複数の周波数帯域に分離し、各周波数帯域の音信号を重み付けした上で加算する。元の音情報を保持するために、音信号を周波数帯域に分離する際、重なりをもたせて分離させることが好ましい。

音楽により、周波数スペクトル構造が異なるので、各音源から出力される音信号の周波数スペクトルを解析し、周波数スペクトル構造に合った周波数帯域を音源毎に選択すれば、各音源から出力される音信号をかなりの精度で分離することができる。

以上説明した実施の形態の音信号処理装置によれば、人混みの中で注聴している人の声を強調してユーザの聴覚にフィードバックすることができる。たとえば、高次難聴者の補聴器などの医療用具や健聴者用の聴覚補助装置などに応用することができる。

また、本装置によれば、ユーザが注聴している音を第三者が言語手段を介さずに知ることができる。これにより、言語能力が未熟な幼児や言語障害のある人であっても、特定の音に注聴することで第三者に意思を伝えることができるので、コミュニケーションの手助けになる。また、講演やコンサートなどが行われている会場において、聴衆が講演やコンサートに聴き入っているかどうかをモニタする装置に応用することもできる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

本実施の形態に係る音信号処理装置の構成図である。 人が音楽を聴いているときの脳波形を説明する図である。 脳波形と曲の音信号波形の相関を説明する図である。 図３（ａ）、図３（ｂ）の各チャネルにおける相関値を全チャネルで合計した結果を示す図である。 二つの曲がミキシングされた状況で、いずれか一方の曲を注聴した場合の脳波形と音波形の相関を示す図である。 単発音に対する脳信号波形を説明する図である。 単発音を連続して聴いた場合の脳信号波形を説明する図である。 連続音に対する脳信号波形が生成される原理を説明する図である。 図１の相関計算部が脳波形と音波形の相関を求める方法を説明する図である。 音を分離する方法を説明する図である。 音の分離技術を用いて複数の音信号を重み付け合成する方法を説明する図である。 別の音の分離技術を用いて複数の音信号を重み付け合成する方法を説明する図である。

符号の説明

１０ 脳波形測定部、 １２ Ａ／Ｄ変換部、 １４ 相関計算部、 １６ 注聴音特定部、 １８ 音信号波形データ記憶部、 ２０ 音信号入力部、 ２２ 重み付け合成部、 ２４ 重み設定部、 ２６ 音出力部、 ３０ リアルタイムデータ処理部、 ４０ 音信号処理部、 ５０ マイク、 ６０ 音源、 １００ 音信号処理装置。

Claims (8)

1. 複数の音信号の波形の各々と測定された脳波形の相関値を求める相関計算部と、
   複数の音信号の内、前記相関値が最も大きい音信号を注聴音として特定する特定部と、
   注聴音として特定された音信号が他の音信号よりも強調されるように重み付けした上で、前記複数の音信号を合成する重み付け合成部とを含むことを特徴とする音信号処理装置。
2. 前記相関計算部は、複数の音信号の波形の各々のスペクトルと測定された脳波形のスペクトルのクロススペクトルの大きさを前記相関値として求めることを特徴とする請求項１に記載の音信号処理装置。
3. 前記重み付け合成部は、複数の音信号が複数の集音器で集音される場合、注聴音として特定された音信号が他の音信号よりも強調されるように、各集音器で取得された音信号の大きさを重み付けして加算することで、前記複数の音信号を合成することを特徴とする請求項１または２に記載の音信号処理装置。
4. 前記重み付け合成部は、複数の音信号が一つの集音器で集音される場合、その集音器で取得された音信号を複数の周波数帯域に分離し、注聴音として特定された音信号が他の音信号よりも強調されるように、分離された周波数帯域における音信号の大きさを重み付けして加算することで、前記複数の音信号を合成することを特徴とする請求項１または２に記載の音信号処理装置。
5. 脳波形を測定する脳波形測定部と、
   測定された脳波形と複数の音信号の波形の相関値を求める相関計算部と、
   前記複数の音信号の内、前記相関値が最も大きい音信号を注聴音として特定する特定部と、
   注聴音として特定された音信号を他の音信号よりも強調するように重み付けした上で、前記複数の音信号を合成する重み付け合成部と、
   前記重み付け合成部により合成された音信号を出力する音出力部と
   を含むことを特徴とするヘッドホン装置。
6. 前記脳波形測定部は、頭部に装着されるペーストレスの電極により脳波形を測定することを特徴とする請求項５に記載のヘッドホン装置。
7. 測定された脳波形と複数の音信号の波形の相関値を求めるステップと、
   前記複数の音信号の内、前記相関値が最も大きい音信号を注聴音として特定するステップと、
   注聴音として特定された音信号を他の音信号よりも強調するように重み付けした上で、前記複数の音信号を合成するステップとを含むことを特徴とする音信号処理方法。
8. 測定された脳波形と複数の音信号の波形の相関値を求めるステップと、
   前記複数の音信号の内、前記相関値が最も大きい音信号を注聴音として特定するステップと、
   注聴音として特定された音信号を他の音信号よりも強調するように重み付けした上で、前記複数の音信号を合成するステップとをコンピュータに実行させることを特徴とするプログラム。