JP2012098643A - 音評価装置、方法及びプログラム - Google Patents

Abstract

【課題】人間の主観に基づくことなく２つの音の差異を評価する技術を提供する。
【解決手段】音発生部２が、所定の時間長の基準音及び所定の時間長の評価対象音を発生させる。脳波計測部３が、基準音及び評価対象音を聞いた人から生じる脳波を計測する。指標計算部４が、基準音の脳波と評価対象音の脳波との差の大きさを表す指標を計算する。これにより、人間の主観に基づくことなく２つの音の差異を評価することができる。また、非可逆符号化前の原音を基準音とし、その原音を非可逆符号化して復号した後の音を評価対象音とすると、計算された指標によりその非可逆符号化方法の性能を評価することができる。
【選択図】図１

Description

この発明は、２つの音の差異を評価する技術に関する。例えば、原音を非可逆符号化した後に復号した音とその原音との差異を評価する技術に関する。

音信号の非可逆符号化は、信号波形レベルで見ると元の音信号と復号された音信号との差異は大きいものの、人間にはその差異が知覚されにくいように設計されている。したがって、一般的には、機械による客観的な測定に加え、人間が主観的に評点をつけることにより、元の音信号と復号された音信号との差異の評価、すなわち非可逆符号化の良し悪しの評価が行われている。例えば、MUSHRA (MUltiple Stimuli with Hidden Reference and Anchors)、ACR/HR (Absolute category rating with hidden reference)等の人間の主観に基づく方法により、これらの評価が行われている（例えば、非特許文献１参照。）。

G.Stoll, F.Kozamernik, "EBU listening tests on Internet audio codecs", EBU TECHNICAL REVIEW, June 2000

しかしながら、人間の主観に基づく評価は、評価をする人間のやる気等により影響を受け易いという問題があった。

この発明の課題は、人間の主観に基づくことなく２つの音の差異を評価する音評価装置、方法及びプログラムを提供することである。

この発明の１つの観点による音評価装置は、所定の時間長の基準音及び所定の時間長の評価対象音を発生させる音発生部と、基準音及び評価対象音を聞いた人から生じる脳波を計測する脳波計測部と、基準音の脳波と評価対象音の脳波との差の大きさを表す指標を計算する指標計算部と、を含む。

人間の主観に基づくことなく２つの音の差異を評価することができる。

音評価装置の構成を説明するためのブロック図。 指標計算部の構成を説明するためのブロック図。 音評価方法の処理を説明するためのフローチャート。 ステップＳ３の処理を説明するためのフローチャート。 第二実施形態の音評価方法の処理を説明するためのフローチャート。 第二実施形態の音評価方法の処理を説明するためのフローチャート。 第三実施形態の音評価方法の処理を説明するためのフローチャート。 発生させる音の順番を説明するための図。 発生させる音の順番を説明するための図。

以下、図面を参照してこの発明の一実施形態を説明する。

［第一実施形態］
第一実施形態の音評価装置は、図１に示すように、制御部１、記憶部１１、音発生部２、脳波計測部３、指標計算部４を例えば含む。

音発生部２は、所定の時間長の基準音及び所定の時間長の評価対象音を発生させる（ステップＳ１、図３）。音発生部２は、例えばアンプとスピーカ又はアンプとイヤホンにより構成される。発生した基準音及び評価対象音等の音は、被験者５である人に提示される。

基準音は比較の対象となる音であり、評価対象音は評価の対象となる音である。例えば、非可逆符号化前の原音を基準音とし、その原音を非可逆符号化して復号した後の音を評価対象音とする。この例では、基準音及びと評価対象音は、記憶部１１に予め記憶されている。音発生部２は、記憶部１１から基準音及び評価対象音を読み込んで、これらの音を発生させる。

所定の時間長Ｔｅとは、時間Ｔ以下の時間長のことである。時間Ｔは、脳波を記録するために必要な時間よりも長く、ＭＭＮ（MisMatch Negativity）を計測するために１０ｓ以内である。例えば、所定の時間長Ｔｅを５００ｍｓとする。基準音の所定の時間長と評価対象音の所定の時間長とは同じである必要はない。しかし、基準音及び評価対象音の長さを評価に含めない場合には、同じ長さであることが望ましい。

次に音発生部２が基準音及び評価対象音を発生させる順番について説明する。この例では、音発生部２が基準音及び評価対象音を発生させる順番は、制御部１が制御する。例えば図８に示すように、音発生部２は、基準音を時間Ｔごとに繰り返し発生させ、ある定められた頻度で評価対象音を基準音の代わりに発生させる。図８では、基準音をＡと表現し、評価対象音をＢと表現している。

脳波計測部３は、基準音及び評価対象音を聞いた人から生じる脳波を計測する（ステップＳ２）。この例では、脳波計測部３は被験者５から脳波を計測して、計測された脳波信号を制御部１に送信する。制御部１は、脳波信号を記憶部１１に記憶させる。脳波計測部３は、例えばＢｒａｉｎＰｒｏｄｕｃｔｓ社のＢｒａｉｎＡｍｐ等の既存の脳波計測装置により実現することができる。頭皮上の計測場所は、例えば参考文献１に記載された国際式拡張１０−２０法に従う。例えば、ＭＭＮを観測し易いＦｚやＣｚを対象とする。
〔参考文献１〕堀忠雄著，「生理心理学」，培風館，２００８年５月

指標計算部４は、基準音の脳波と評価対象音の脳波との差の大きさを表す指標を計算する（ステップＳ３）。ここで、基準音の脳波とは、その基準音を聞いた被験者５から生じ脳波計測部３により計測された脳波のことである。同様に、評価対象音の脳波とは、その評価対象音を聞いた被験者５から生じ脳波計測部３により計測された脳波のことである。この例では、基準音の脳波と評価対象音の脳波との差の大きさを表す指標として、以下により定義されるＭＭＮ成分を計算する例を挙げて説明する。もちろん、基準音の脳波と評価対象音の脳波との差の大きさを表す指標であれば、このＭＭＮ成分以外の指標を用いることができる。

指標計算部４は、図２に示すように、基準音除去部４１、ノイズ低減部４２、平均値計算部４３及びＭＭＮ計算部４４を例えば含む。

まず、指標計算部４の基準音除去部４１は、最初に発生した基準音の脳波を除去する（ステップＳ３１、図４）。言い換えれば、指標計算部４は、上記指標を計算するために、最初に発生した基準音の脳波を用いない。最初に発生した基準音の脳波には、強い定位反応が現れるためである。最初に発生した基準音とは、図８の例では、楕円で囲まれた基準音のことである。

次に、指標計算部４のノイズ低減部４２は、記憶部１１から読み込んだ脳波に対してノイズ低減処理を行う（ステップＳ３２）。ノイズ低減部４２は、ＥＥＧＬａｂ等のノイズ低減ソフトウェアにより例えば実現される。ノイズが低減された基準音の脳波及び評価対象音の脳波は、平均値計算部４３に送られる。

その後、指標計算部４の平均値計算部４３は、ノイズが低減された後の基準音の脳波の電位の平均値、及び、ノイズが低減された後の評価対象音の脳波の電位の平均値を計算する（ステップＳ３３）。ＭＭＮ成分を計算するために、平均値計算部４３は、例えば各音が発生してから１００ｍｓから４００ｍｓの間の脳波に基づいて、これらの平均値を計算する。

指標計算部４のＭＭＮ計算部４４は、ノイズが低減された後の基準音の脳波の電位の平均値、及び、ノイズが低減された後の評価対象音の脳波の電位の平均値に基づいて、これらの脳波の差の電力を計算する。ここでは、この計算された電力をＭＭＮ成分とする。

なお、基準音の脳波と評価対象音の脳波との差の大きさを表す指標を正しく計算するためには、直前の音が直後の音に与える影響を考慮して、基準音及び評価対象音を発生させる順番を定める必要がある。

例えば、…→評価対象音→評価対象音→…という順番で音を発生させた場合、後者の評価対象音は直前の音が評価対象音であるため、この後者の評価対象音の脳波の中の、基準音からの違いとしてのＭＭＮ成分は減少する。また、…→評価対象音→基準音→評価対象音→…という順番で音を発生させた場合、基準音の直前が評価対象音であるため、この基準音の脳波に評価対象音からの違いとしてのＭＭＮ成分が乗ってしまい、基準となるはずの基準音の脳波がずれる可能性がある。

上記に例示した直前の音が直後の音に与える好ましくない影響をなくすために、音発生部２は、（１）評価対象音を発生させる前に２回以上連続して基準音又は基準音と同じ音を発生させ、（２）評価対象音を発生させた後には必ず基準音を発生させ、（３）評価対象音の直前の音を基準音とするとよい。例えば、図９に示す順番で、基準音、評価対象音及び基準音と同じ音を発生させる。図９では、便宜上基準音をＡ’、基準音と同じ音をＡ、評価対象音をＢと表記している。なお、好ましくない影響を完全には排除する必要がない場合には、音発生部２は、これらの（１）から（３）の少なくとも１つに従って音を発生させればよい。

［第二実施形態］
第二実施形態の音評価装置及び音評価方法は、互いに異なる２以上の評価対象音の脳波を測定すると共に、被験者に次に発生する音を容易には予想させないようにする。被験者が次に発生する音を予想することができる場合には、その予想が脳波に影響を与える可能性を排除することができない。被験者に次に発生する音を容易には予想させないようにすることにより、この予想が脳波に影響を与える可能を排除することができる。

以下では、第一実施形態と異なる部分を中心に説明する。第一実施形態と同様である部分については説明を省略する。

この例では、互いに異なる２つの評価対象音である第一評価対象音及び第二評価対象音のそれぞれの脳波を測定するものとする。第一評価対象音をＢ１と表記し、第二評価対象音をＢ２と表記する。また、基準音をＡ’と表記し、基準音と同じ音をＡと表記する。

第二実施形態の処理の流れを、図５に示す。

制御部１は、０をｎに代入する（ステップＡ１）。

制御部１は、音発生部２に対して、基準音と同じ音ＡをＬ回発生させるように制御し、Ｌをｎに代入する（ステップＡ２）。Ｌは予め定められた正の整数である。

制御部１は、ｎとＮを比較する（ステップＡ３）。ｎ＞ＮであればステップＡ５に進み、ｎ＞ＮでなければステップＡ４に進む。Ｎは予め定められた正の整数であり、Ｌと同じでも異なっていてもよい。

ｎ＞Ｎでない場合には、制御部１は、基準音と同じ音Ａを次に発生させる再生音Ｓとする（ステップＡ４）。

ｎ＞Ｎである場合には、制御部１は、基準音と同じ音を所定の回数発生させた後に、基準音と同じ音Ａ、基準音Ａ’、第一評価対象音Ｂ１及び第二評価対象音Ｂ２の何れかをランダムに選択して、次の再生音Ｓとする（ステップＳ５）。例えば予め定められた確率に従って、基準音と同じ音Ａ、基準音Ａ’、第一評価対象音Ｂ１及び第二評価対象音Ｂ２の何れかを選択する。例えば、基準音と同じ音Ａを選択する確率を１０％とし、基準音を選択する確率を３０％とし、第一評価対象音Ｂ１を選択する確率を３０％とし、第二評価対象音Ｂ２を選択する確率を３０％とする。

音発生部２は、ステップＡ４又はステップＡ５により決められた再生音Ｓを発生させる（ステップＡ６）。

このように、第二実施形態の音発生部２は、基準音と同じ音を所定の回数発生させた後に、基準音と同じ音、基準音及び互いに異なる２つの評価対象音の何れかをランダムに発生させる。

脳波計測部３は、第一実施形態と同様にして、再生音Ｓを聞いた人から生じる脳波を計測して、記憶部１１に記憶する（ステップＡ７）。

制御部１は、再生音Ｓが基準音と同じ音Ａであるか判定する（ステップＡ８）。

再生音Ｓが基準音と同じ音Ａである場合には、制御部１はｎを１インクリメントする（ステップＡ９）。すなわち、ｎ＋１をｎとする。

再生音Ｓが基準音と同じ音Ａでない場合には、制御部１はｎを０とする（ステップＡ１０）。ステップＡ９及びステップＡ１０の後は、ステップＡ３に進む。

ステップＡ３からステップＡ１０を繰り返すことにより基準音Ａ，第一評価対象音Ｂ１及び第二評価対象音Ｂ２の脳波を十分な量だけ測定及び記憶した後に、指標計算部４は、第一実施形態と同様にして、基準音の脳波と各評価対象音の脳波との差の大きさを表す指標を計算する。この例では、指標計算部４は、基準音の脳波と第一評価対象音の脳波との差の大きさを表す指標、及び、基準音の脳波と第二評価対象音の脳波との差の大きさを表す指標を計算する。

なお、図６に示すように、再生音Ｓが基準音と同じ音Ａの場合には、脳波の測定及び記憶を行わなくてもよい。言い換えれば、上記の例だと、再生音Ｓが基準音Ａ’、第一評価対象音Ｂ１、第二評価対象音Ｂ２の何れかである場合のみ、脳波の測定及び記憶を行ってもよい。再生音Ｓが基準音と同じ音Ａである場合には、ステップＡ６でその再生音Ｓを再生した後にステップＡ９に進む。再生音Ｓが基準音Ａ’、第一評価対象音Ｂ１、第二評価対象音Ｂ２の何れかである場合には、ステップＡ６でその再生音Ｓを再生した後に、ステップＡ７で脳波の測定及び記憶を行い、その後ステップＡ１０に進む。

この例では、評価対象音を第一評価対象音及び第二評価対象音の２つとしたが、評価対象音が３以上の場合も同様である。

［第三実施形態］
第三実施形態の音評価装置及び音評価方法は、正規化音の脳波を用いて指標の正規化を行う。これにより、脳波の計測環境及び被験者の差異による影響を小さくした指標を求めることができる。正規化音として、基準音とは明らかに異なる音を用いることができる。例えば、ホワイトノイズを正規化音とする。正規化音のことを、正規化音Ｃとも表記する。

以下では、第一実施形態及び第二実施形態と異なる部分を中心に説明する。第一実施形態及び第二実施形態と同様である部分については説明を省略する。

音発生部２は、基準音及び評価対象音のみならず、所定の時間長の正規化音を更に発生させる。そのために、例えば、図７に示すように、第二実施形態のステップＡ５において、再生音Ｓを、基準音と同じ音Ａ、基準音Ａ’、第一評価対象音Ｂ１及び第二評価対象音Ｂ２、正規化音Ｃの何れかから選択するようにする。

脳波計測部３は、第一実施形態と同様に、正規化音を聞いた人から生じる脳波を更に計測する（ステップＳ２）。

指標計算部４は、第一実施形態と同様に、基準音の脳波と正規化音の脳波との差の大きさを表す正規化指標を更に計算する（ステップＳ３）。

第三実施形態の音評価装置は、図１に破線で示す正規化部６を更に含む。正規化部６は、指標を正規化指標を用いて正規化する（ステップＳ４）。例えば、基準音の脳波と第一評価対象音の脳波との差の大きさを表わす指標をｅＢ１とし、基準音の脳波と第二評価対象音の脳波との差の大きさを表わす指標をｅＢ２とし、基準音の脳波と正規化音の脳波との差の大きさを表わす正規化指標をｅＣとする。この場合、正規化部６は、ｅＢ１／ｅＣを計算して基準音の脳波と第一評価対象音の脳波との差の大きさを表わす正規化後指標とし、ｅＢ２／ｅＣを計算して基準音の脳波と第二評価対象音の脳波との差の大きさを表わす正規化後指標とする。

このように、正規化指標を用いて正規化することで、複数の被験者の間で正規化後指標を比較することができる。また、複数の被験者のそれぞれについて求まった正規化後指標の平均値を、新たな指標として求めることができる。例えば、Ｎ人の被験者の内のｎ（ｎ＝１，２，…，Ｎ）番目の被験者について求まった、基準音の脳波と評価対象音の脳波との差の大きさを表わす正規化後指標をｅｎＢ／Ｃとする。このとき、（１／Ｎ）Σ_ｎ＝１ ^ＮｅｎＢ／Ｃを基準音の脳波と評価対象音の脳波との差の大きさを表わす新たな指標とすることができる。

［変形例等］
脳波として、脳電図を必ずしも用いる必要はなく、ＭＭＮを計算することができればどのような脳から発せられる信号を用いてもよい。例えば、脳磁図を用いてもよい。

基準音の脳波と評価対象音の脳波との差の大きさを表す指標として、各音が発生してから所定の時間区間、例えば１００ｍｓから４００ｍｓの間における、基準音の脳波の電位と評価対象音の脳波の電位との差の最大値を用いてもよい。

音評価装置の各部間のデータのやり取りは直接行われてもよいし、図示していない記憶部を介して行われてもよい。

音評価装置をコンピュータによって実現する場合、音評価装置の各部の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、音評価装置の各部の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

その他、この発明は上述の実施形態に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、上記の変形例を互いに組み合わせてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

１ 制御部
１１ 記憶部
２ 音発生部
３ 脳波計測部
４ 指標計算部
４１ 基準音除去部
４２ ノイズ低減部
４３ 平均値計算部
４４ ＭＭＮ計算部
５ 被験者
６ 正規化部

Claims (9)

1. 所定の時間長の基準音及び所定の時間長の評価対象音を発生させる音発生部と、
   上記基準音及び上記評価対象音を聞いた人から生じる脳波を計測する脳波計測部と、
   上記基準音の脳波と上記評価対象音の脳波との差の大きさを表す指標を計算する指標計算部と、
   を含む音評価装置。
2. 請求項１に記載の音評価装置において、
   上記基準音は、上記評価対象音が発生する直前に発生した音である、
   音評価装置。
3. 請求項１又は２に記載の音評価装置において、
   上記音発生部は、上記基準音と同じ音を所定の回数発生させた後に、上記基準音と同じ音、上記基準音及び互いに異なる２以上の評価対象音の何れかをランダムに発生させ、
   上記指標計算部は、上記基準音の脳波と各上記評価対象音の脳波との差の大きさを表す指標を計算する、
   音評価装置。
4. 請求項１から３の何れかに記載の音評価装置において、
   上記音発生部は、所定の時間長の正規化音を更に発生させ、
   上記脳波計測部は、上記正規化音を聞いた人から生じる脳波を更に計測し、
   上記指標計算部は、上記基準音の脳波と上記正規化音の脳波との差の大きさを表す正規化指標を更に計算し、
   上記指標を上記正規化指標を用いて正規化する正規化部を更に含む、
   音評価装置。
5. 音発生部が、所定の時間長の基準音及び所定の時間長の評価対象音を発生させる音発生ステップと、
   脳波計測部が、上記基準音及び上記評価対象音を聞いた人から生じる脳波を計測する脳波計測ステップと、
   指標計算部が、上記基準音の脳波と上記評価対象音の脳波との差の大きさを表す指標を計算する指標計算ステップと、
   を含む音評価方法。
6. 請求項５に記載の音評価方法において、
   上記基準音は、上記評価対象音が発生する直前に発生した音である、
   音評価方法。
7. 請求項５又は６に記載の音評価装置において、
   上記音発生ステップは、上記基準音と同じ音を所定の回数発生させた後に、上記基準音と同じ音、上記基準音及び互いに異なる２以上の評価対象音の何れかをランダムに発生させるステップであり、
   上記指標計算ステップは、上記基準音の脳波と各上記評価対象音の脳波との差の大きさを表す指標を計算するステップである、
   音評価方法。
8. 請求項５から７の何れかに記載の音評価方法において、
   上記音発生ステップは、所定の時間長の正規化音を更に発生させるステップであり、
   上記脳波計測ステップは、上記正規化音を聞いた人から生じる脳波を更に計測するステップであり、
   上記指標計算ステップは、上記基準音の脳波と上記正規化音の脳波との差の大きさを表す正規化指標を更に計算するステップであり、
   正規化部が、上記指標を上記正規化指標を用いて正規化する正規化ステップを更に含む、
   音評価方法。
9. 請求項１から４の何れかに記載の音評価装置の各部としてコンピュータを機能させるためのプログラム。

Images