JP2013524711A - データベース内の知覚的に最適なhrtfフィルタを形態学的パラメータに従って選択するための方法 - Google Patents

データベース内の知覚的に最適なhrtfフィルタを形態学的パラメータに従って選択するための方法 Download PDF

Info

Publication number
JP2013524711A
JP2013524711A JP2013504317A JP2013504317A JP2013524711A JP 2013524711 A JP2013524711 A JP 2013524711A JP 2013504317 A JP2013504317 A JP 2013504317A JP 2013504317 A JP2013504317 A JP 2013504317A JP 2013524711 A JP2013524711 A JP 2013524711A
Authority
JP
Japan
Prior art keywords
database
hrtf
space
optimized
morphological parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013504317A
Other languages
English (en)
Other versions
JP5702852B2 (ja
Inventor
カッツ,ブリアン・エフジイ
シェーンシュタイン,ダヴィド
Original Assignee
アルカミス
サントル・ナシオナル・デ・ラ・ルシェルシュ・シャンティフィク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルカミス, サントル・ナシオナル・デ・ラ・ルシェルシュ・シャンティフィク filed Critical アルカミス
Publication of JP2013524711A publication Critical patent/JP2013524711A/ja
Application granted granted Critical
Publication of JP5702852B2 publication Critical patent/JP5702852B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stereophonic System (AREA)

Abstract

本発明は、データベース内の知覚的に最適なHRTFを形態学的パラメータに従って選択するための方法に関する。この方法は、複数の被験者MのHRTFを含む第1のデータベース、被験者の形態学的パラメータを含む第2のデータベース、及びHRTFの知覚的分類に対応する第3のデータベースを用いる。本発明によれば、第2及び第3のデータベースを相関させることにより、N個の最も妥当な形態学的パラメータがソートされる。例えば最適化された空間を得るために、第3のデータベースにおける分類に従ってHRTF間の空間的分離を最適化する、多次元空間が生成される。K個の最適な形態学的パラメータを、最適化された空間内でのHRTFフィルタの対応する位置と相関させるのに適した、最適化された射影モデルMPOが計算される。本発明は、このようにして、データベース内にそのHRTFが含まれていない任意のユーザが、このユーザのパラメータK及び最適化された射影モデルMPOに従って、データベースBD1から少なくとも1つのHRTFを選択することを可能にする。
【選択図】 図2

Description

本発明は、データベース内のHRTFフィルタを形態学的パラメータに従って選択するための方法に関する。本発明は、特に、特定のユーザについて選択されたHRTFの信頼性を保証することを目指す。
本発明は、両耳に対する空間化された音の生成を意味する、バイノーラル合成用途の分野で特に有利な用途を有する。従って、本発明は、例えば、遠隔会議、補聴器、視力障害者のための聴覚補助装置、3Dオーディオ/ビデオゲーム、携帯電話、携帯用オーディオプレイヤー、仮想現実オーディオ、及び拡張現実のために用いられる。
人間は、入射音からの方向情報を音響伝達関数によって復調する能力を有する。聴取者の頭部、外耳、及び身体は、いわゆる頭部伝達関数(HRTF)により、空間における音由来のスペクトル情報を変換し、このことにより、音源の位置、距離等に基づいて音響環境を知覚すること、したがって音源の位置を突き止めることが可能になる。
HRTFフィルタは、所与の位置における身体による音源のフィルタリングを表す一対のフィルタ(左右)で構成される。一般に、ある一人の人間が空間内で知覚する方向の全てを表すには、約200の位置の集合が適正であると考えられている。これらのHRTFフィルタは、本質的に、耳の形態(大きさ、内腔の寸法等)及びその人の身体のその他の物理的パラメータに依存する。
明細書の以下の説明においても、「HRTF」という用語は、所与の被験者についての、全てのHRTF形式の位置についてのフィルタを表わす。
オーディオ用途において、聴取者のHRTFフィルタにできる限り近いHRTFを用いることで、高品質の再現(rendering)を達成することができる。文献における幾つかの研究は、特に、ずれの検定における精度の点で、いわゆる個別化HRTFが有利であることを実証している(例えば、非特許文献1参照)。
HRTFフィルタは、聴取者の耳の中でマイクロフォンを用いて測定するか、さらにはデジタルシミュレーションによっても得ることができる。これらの方法の品質にもかかわらず、これらの方法は、依然として非常に時間がかかり、非常に費用がかかり、民生機器には適応できない。
さらに、特許文献1に記載されている公知の方法は、データベース内で、ユーザのHRTFに最も近いHRTFを選択することを規定する。しかしながら、本発明とは異なり、そのような、統計学的観点からは有効な方法は、HRTFの選択の知覚的品質を検証基準として用いないので、最良のHRTFを選択するものではない。
従って、本発明の新規性は、知覚的聴音試験に基づく知覚的評価基準を用いて、最適化されたHRTF多次元空間を生成し、最も妥当な形態学的パラメータを選択するという事実にある。本発明はまた、空間と形態学的パラメータとの間の知覚的に妥当な相関を確立する、予測モデルを開発することも可能にする。
任意のユーザに対して、本発明は、形態学的パラメータの測定値のみを用いて、データベース内に含まれる最も適正なHRTFを選択することを可能にする。
選択されたHRTFフィルタは、空間的知覚(単なる数学的計算ではなく)と強く相関し、これが、際だった快適さ及び音質を与える。
国際公開第01/54453号
Moller他著、「Binaural technique:do we need individual recordings?」Journal of the Audio Engineering Society、第44巻、p.451−469の論文
従って、本発明は、データベース内の知覚的に最適なHRTFを形態学的パラメータに従って選択するための方法であって
・複数の被験者のHRTFを含む第1のデータベース、及び
・第1のデータベースからの被験者の形態学的パラメータを含む第2のデータベースと
を用いる方法を提供し、この方法は、
・第1のデータベースからの異なるHRTFに対応する聴音試験を用いて行った行われた被験者による判定に関しての、第1のデータベースからのHRTFの知覚的分類に対応する、第3のデータベース
をさらに用い、この方法は、
・第2のデータベースと第3のデータベースとを相関させることにより、第2のデータベースからの形態学的パラメータの全ての中から、N個の最も妥当な形態学的パラメータをソートするステップと、
・その次元がHRTF成分の組合せの結果である多次元空間を生成するステップと、
・HRTF間の空間的分離を第3のデータベースにおけるそれらの分類に従って最適化するために、成分の組合せの規則を修正して、最適化された多次元空間を得るステップと、
・第2のデータベースから抽出されたK個のソートされた形態学的パラメータを最適化された空間内でのHRTFの対応する位置と相関させるのに適した、最適化された射影モデルを計算するステップであって、K個の抽出されたパラメータは、射影モデルを最適化するものである、ステップと、
・第1のデータベース内にHRTFを有さない所与のユーザについて、K個の形態学的パラメータを測定するステップと、
・最適化された空間内でのユーザの位置を得るために、前もって計算された最適化された射影モデルを、抽出された形態学的パラメータに適用するステップと、
・最適化された空間内でのユーザの射影位置の近傍にある少なくとも1つのHRTFを選択するステップと
を含む。
実施形態によれば、知覚的分類を行うために、被験者は、HRTFに対応する音についての少なくとも1つの聴音基準に対する被験者の判定において、少なくとも2つの選択肢(良又は不良)を有する。
実施形態によれば、聴音基準は、例えば、規定された音響経路の正確さ、全体としての空間の質、正面再現品質(正面に位置する音オブジェクトについて)、及び、正面/背面の音源の分離(音オブジェクトが聴取者の前方又は後方のどちらに位置するかを識別する能力)の中から選択される。
実施形態によれば、第3のデータベース(BD3)を開発するために、
・第1のデータベースからの各々のHRTF(被験者自身のHRTFを含む)が適用された音響信号が、各被験者に提示され、
・試験に用いられる音響信号は、ハニング・ウィンドウによって得られた、0.23秒のような短い持続時間の広帯域白色雑音であり、
・音響信号は、両軌道に沿った点位置において再現されたものであり、順々に提示され、この軌道は、
・方位角0度及び仰角0度において軌道が開始され、特に増分が30度の、水平面(仰角=0度)内の円であって、
・前記経路が1回繰り返される、円と、
・正面に対して仰角−45度から仰角90度を通って背面に対して仰角−45度までの、特に増分が15度の、正中面(方位角=0度)内の弧であって、
・前記音響経路が、正面に対して仰角−45度において開始し、背面に対して前記仰角まで続き、その後、同じ経路に沿って開始位置まで戻る、弧である。
実施形態によれば、第2のデータベースと第3のデータベースとの間の相関を取って、ソートされた形態学的パラメータを得るために、
・形態学的データは、第2のデータベースからの形態学的値を、第2のデータベースからの各被験者の形態学的値で除することによりサブデータベースを作成することによって、正規化され、
・各々のサブデータベースは、対応する被験者についての第3のデータベースからの分類に関連付けられ、
・最高から最低まで格付けされた形態学的パラメータを得るためにサポートベクターマシン(SVM)法が適用され、格付けは、第3のデータベースにおけるカテゴリ分類に従った各HRTFパラメータの分離品質の関数である。
実施形態によれば、最適化された多次元空間を生成するために、
・第1のステップにおいて、HRTFが、HRTFのうち方向依存性を有する部分のみを含む方向伝達関数(DTF)に変換され、
・第2のステップにおいて、DTFが平滑化され、
・第3のステップにおいて、DTFが前処理され、
・第4のステップにおいて、前のステップの結果である用いられるデータに応じて、次元数を減らすか又は増やすために、データ次元が変換され、
・データ次元を減らす選択肢においては、新たな軸上に射影された元データ(主成分)を表わす新たなデータ行列(スコア)を得るために、処理されたDTFに対して主成分分析(PCA)が行われ、そして
・多次元空間が、その多次元空間の次元を表わすスコア行列の各列から生成され、又は、
・データ次元を増やす選択肢においては、多次元尺度構成法(MDS)を用いて多次元空間が生成され、
・第5のステップにおいて、最適化水準が、第3のデータベースからの分類間の空間的分離の有意水準により評価され、
・前のステップが、異なる前処理パラメータを用いて、及び/又は、生成される多次元空間における次元数を限定することにより、繰り返され、
・最も最適な最適化水準を有する空間が保持される。
実施形態によれば、DTFの臨界帯域の平滑化は、聴覚系の周波数分解能の限度に従って行われる。
実施形態によれば、前処理は、以下の方法、すなわち、周波数フィルタリング、周波数範囲を区切ること、周波数の山及び谷の抽出、又は周波数アラインメント係数の算出、のうちの1つを用いて行われる。
実施形態によれば、最適化水準は、
・第3のデータベースにおける分類間の空間的分離の有意水準、例えばANOVA検定を用いることにより評価される有意水準により評価されるか、又は
・空間EM内で最も近い10個のHRTFの中で最高カテゴリに格付けされたHRTFの比率を計算し、この比率を、例えばスチューデントの検定を用いて、各被験者について第3のデータベースにおいて最高カテゴリに格付けされたHRTFの全体比率と比較することにより評価される。
実施形態によれば、第2のデータベースから抽出されたN個の形態学的パラメータを、最適化された空間内での対応するHRTFの位置と相関させるための射影モデルを計算するために、
・第1のステップにおいて、第2のデータベースからの格付けされた形態学的パラメータから、最適化された多次元空間内での位置を見いだす目的で、最適化された多次元空間と格付けされた形態学的パラメータとの間の多重線形回帰により、射影モデルが計算され、
・第2のステップにおいて、射影モデルの品質水準が評価され、
・第3のステップにおいて、格付けされた形態学的パラメータの数が、最初のK個の格付けされた形態学的パラメータに減らされ、モデルの計算が、K=1からK=Nまで、各々のKの品質の尺度の第1及び第2のステップから繰り返され、この計算は、各被験者について繰り返され、それらのデータは、第1のデータベース及び第2のデータベースから除去され、
・品質水準がそれに対して最高になる、最適なKが保持される。
実施形態によれば、最適化された多次元空間内でのユーザの射影位置の近傍にある少なくとも1つのHRTFを選択するために、最適化された多次元空間内での射影位置に最も近いHRTFが選択される。
本発明は、以下の説明を読み、それに付随する図面を検討することによって、より良く理解されるであろう。これらの図面は、例証のみを目的として提示されるものであり、本発明を限定するものではない。
本発明による方法の機能ブロックのブロック図である。 本発明の1つの実施形態の詳細な実施のブロック図である。 横軸に沿って被験者を示し、縦軸に沿って第3のデータベースにおける格付けされたHRTFを示す図である。 CIPICデータベース上の項目に由来し、そのデータベースにおいて用いられる種々の形態学的パラメータを示す概略図である。 同一の、同様の、又は類似した要素は、図面が変わっても同じ符号を維持する。
データベースの作成
複数の被験者に対して、各被験者についてのHRTFを求めるために、被験者の耳の中にマイクロフォンを配置し、空間内の種々の地点にわたって音源を散在させる。各被験者についての形態学的パラメータも測定される。第1のデータベースBD1は、HRTFを収容し、第2のデータベースBD2は、関連付けられた被験者の形態学的パラメータを収容する。
本例において、第1のデータベースBD1に格納されるHRTFは、LISTENプロジェクトに由来する公的データベースから得たものである。このデータベース内の最初のM人の被験者からのデータが用いられる(一例において、M=45とする)。LISTENのHRTF測定値は、−45度から90度までの範囲で増分を15度刻みとした仰角と、0度から開始して増分を15度刻みとした方位角とに対応する空間内の位置で測定されたものである。方位角の増分は、空間を均等にサンプリングするために45度を超える仰角については徐々に大きくされ、合計で187の位置にわたった。
図4に示されるように、第2のデータベースBD2は、各被験者についての以下の形態学的パラメータを含む。
x1:頭部の幅
x2:頭部の高さ
x3:頭の奥行き
x4:耳介の下方への偏り
x5:耳介の後方への偏り
x6:頸部の幅
x7:頸部の高さ
x8:頸部の奥行き
x9:胴の上部の幅
x10:胴の上部の高さ
x11:胴の上部の奥行き
x12:肩幅
x13:頭囲
x14:肩囲
d1:耳甲介腔の高さ
d2:耳甲介舟の高さ
d3:耳甲介腔の幅
d4:窩の高さ
d5:耳介の高さ
d6:耳介の幅
d7:珠間切痕の幅
d8:耳甲介腔の深さ
θ1:耳介の回転角
θ2:耳介の角度パラメータ
第2のデータベースBD2に格納されるこれらの形態学的パラメータは、被験者のHRTFに対応する。
さらに、ステップE1において、聴音試験から得られた知覚的評価結果を含む第3のデータベースBD3が作成される。各被験者に対して、データベースBD1からのHRTFが適用された試験信号が発せられる。
1つの例において、試験に用いられる音響信号は、ハニング・ウィンドウによって得られる、0.23秒のような短い持続時間の広帯域白色雑音であり、
・この音響信号は、両軌道に沿った点位置で再現されたものであり、順々に提示され、この軌道は、
・方位角0度及び仰角0度において軌道が開始され、特に増分が30度の、水平面(仰角=0度)内の円であって、
・この経路が1回繰り返される、円と、
・正面に対して仰角−45度から仰角90度を通って背面に対して仰角−45度までの、特に増分が15度の、正中面(方位角=0度)内の弧であって、
・この音響経路が、正面に対して仰角−45度において開始し、背面に対して前記仰角まで続き、その後、同じ経路に沿って開始位置まで戻る、弧
である。
各被験者は、HRTFの各々を、以下の3つのカテゴリ、すなわち、優、良、可のうちの1つに分類した。優が、最高の判定カテゴリとみなされる。これらの判定は、HRTFに対応する音の聴音についての少なくとも1つの基準に基づくものである。基準は、以下の例のうちの1つから選択することができる。すなわち、前もって規定された経路の正確さ、全体としての空間の質、正面再現品質(正面に位置する音オブジェクト(sound object)について)、及び、正面/背面の音源の分離(音オブジェクトが聴取者の前方又は後方のどちらに位置するかを識別する能力)である。
図3は、全ての被験者についての、このタイプの聴音試験で得られた結果のタイプを示す(「+」は優、「〇」は良、及び「×」は可)。被験者は横軸上に示され、格付けされたHRTFは縦軸上に示される。
重要な形態学的パラメータの選択
図1及び図2に示されるように、ステップE2において、重要な形態学的パラメータを選択するために、第2のデータベースBD2を第3のデータベースBD3と相関させる。
この目的で、サブステップE2.1において、形態学的データは、第2のデータベースBD2からの形態学的値を第2のデータベース内の各被験者の形態学的値BD2[i]で除することによりサブデータベースBD2i(iは1からMであり、Mはデータベース内の被験者の数である)を作成することによって、正規化される。正規化されると、その値は、ある被験者の形態学的パラメータの別の被験者の形態学的パラメータに対する比率を表わす。
各サブデータベースBD2iは、サブステップE2.2において、対応する被験者の第3のデータベース内での分類BD3[i]に関連付けられる。
次に、サブステップE2.3において、最高から最低まで格付けされた形態学的パラメータPmcを得るために、特徴選択法が適用される。この分類は、第3のデータベースBD3における分類に従ってHRTFを分離する、その能力に基づくものである。
選ばれた方法は、サポートベクターマシン(SVM)法である。この方法は、正規化されたデータを分類するために、高次元空間内に超平面の集合を構築することに基づく。従って、この方法により、パラメータは最高から最低まで格付けされる。
2つの変数が、SVMによる分離を制御する。分析における分類誤差の許容差を制御する複雑さの値Cは、ペナルティ関数を導入する。Cがヌル値であることは、ペナルティ関数が考慮に入れられないことを示し、Cが高い値であること(無限増加するC)はペナルティ関数が支配的であることを示す。イプシロン値εは、不感性(insensitivity)の値であり、分類されるべきデータが超平面からε未満の距離にある場合に、ペナルティ関数をゼロに設定する。形態学的パラメータの分類は、異なる値のC及びεに従って変化する。C=1及びε=1×10-25としてこの方法を用いると、最高から最低まで格付けされたPmcの高い方から10個の要素は、本例においては、x11、x2、x8、d5、x3、d4、x12、d2、d1、及びx6である。
最適化された多次元空間の生成
ステップE3において、その次元がHRTFフィルタからの成分の組合せから得られる、多次元空間EMが生成される。
この目的で、第1のステップE3.1において、HRTFは、HRTFのうち方向依存性を有する部分のみを含む、いわゆる方向伝達関数(DTF)に変換される。
ステップE3.2において、聴覚系の周波数分解能の限度に従って、DTFの臨界帯域の平滑化が行われる。
ステップE3.3において、DTFは、周波数フィルタリング、周波数範囲を区切ること、周波数の山及び谷の抽出、又は周波数アラインメント係数の算出、の中から選択される方法を用いて前処理される。
ステップE3.4において、ステップE3.3の結果である用いられるデータに応じて、次元数を減らすか又は増やすために、データ次元が変換される。
データ次元を減らすためには、新たな軸上に射影された元データ(主成分)を表わす新たなデータ行列(スコア)を得るために、処理されたDTFに対して主成分分析(PCA)が行われ、空間EMが、空間EMの次元を表わすスコア行列の各列から生成される。
データ次元を増やすためには、処理されたDTFに対して多次元尺度構成法(MDS)分析が用いられ、空間EMが得られる。
ステップE3.5において、最適化水準が評価される。第1の例において、最適化水準は、第3のデータベースBD3からの分類間の空間的分離の有意水準により評価される。1つの例において、有意水準は、ANOVA検定を用いて評価され、各々の異なる次元数について、値の分布の平均が統計的に異なるかどうかがチェックされる。
第2の例においては、空間EM内で最も近い10個のHRTFの中で最高カテゴリに格付けされたHRTFの比率を計算し、この比率が、例えばスチューデントの検定を用いて、各被験者について第3のデータベースにおいて高カテゴリに格付けされたHRTFの全体比率と比較される。
前のステップが、異なる前処理パラメータを用いて、及び/又は、生成される空間における次元数を限定することにより、繰り返される。
最も最適な最適化水準を有する空間が保持される。この空間は、我々の例における最高の有意水準を有する空間であるか、又は、第2の例における、最も近い10個のHRTFについて最高カテゴリに格付けされるHRTFの数が最大化される空間である。
このような、保持された空間が、最適化された多次元空間EMOである。
ステップE3.5の目的は、最適化された空間を得るために、HRTF間の空間的分離を、第3のデータベースBD3におけるその分類に従って最適化することである。実際、空間EMO内では、所与の位置にいる被験者にとって、この位置の近くの領域に位置するHRTFはその被験者にとって良好とみなされることになり、一方、この位置から遠いHRTFは不良であるとみなされることになる。
換言すれば、HRTF成分の組合せのための規則は、HRTF間の空間的分離と第3のデータベースBD3におけるHRTFの分類との間の相関を最大化するように変更される。
射影モデルの開発
ステップE4において、第2のデータベースBD2から抽出されたN個の形態学的パラメータを、最適化された空間EMO内での対応するHRTFの位置と相関させるための射影モデルが、計算される。
この目的で、ステップE4.1において、格付けされた形態学的パラメータPmcに基づいて空間EMO内での位置を見いだすために第2のデータベースBD2を用いて、EMOとPmcとの間の多重線形回帰により、射影モデルが計算される。
ステップE4.2において、射影モデルの品質水準が評価される。この品質水準は、E3.5において用いられた方法と同じ方法を用いて計算される。
ステップE4.3において、Pmcは、最初のK個の格付けされた形態学的パラメータに減らされ、K=1からK=Nまでの各々のKについて、モデルの計算がステップE4.1から品質の尺度であるステップE4.2で繰り返される。好ましくは、この計算は、各被験者について、ステップE3においてその被験者のデータを第1のデータベースBD1及び第2のデータベースBD2から除去することにより、繰り返される。
品質水準がそれに対して最高になる、最適なKが保持される。従って、このK個の抽出されたパラメータが、最適化された多次元空間EMOと、射影モデルにより生成される空間との間の相関を最大化する。
これにより、最適化された射影モデルMPOが与えられる。
方法の実施
ステップE5において、データベース内にHRTFを有さない任意のユーザについて、データベースBD1内で少なくとも1つのHRTFが選択される。
この目的で、サブステップE5.1において、ユーザは、前もって識別されたK個の形態学的パラメータを測定する。この目的で、ユーザは、自身の耳の写真を定められた位置で撮影し、K個のパラメータが画像処理法により抽出される。
ステップE5.2において、最適化された空間EMO内でのユーザの位置を得るために、K個のパラメータが、前もって計算された射影モデルMPOからの入力として、抽出された形態学的パラメータへと導入される。
次に、少なくとも1つのHRTF(マーク付けされたHRTF−S)が、最適化された空間内でのユーザの射影位置の近傍で選択される。1つの例において、射影位置に最も近いHRTFが選択される。
BD:データベース
Pmc:格付けされた形態学的パラメータ
EMO:最適化された多次元空間
MPO:最適化された射影モデル

Claims (11)

  1. データベース内の知覚的に最適なHRTFを形態学的パラメータに従って選択するための方法であって、
    ・複数の被験者のHRTFを含む第1のデータベース(BD1)、及び
    ・前記第1のデータベース(BD1)からの前記被験者の前記形態学的パラメータを含む第2のデータベース(BD2)
    を用い、前記方法は、
    ・前記第1のデータベースからの異なる前記HRTFに対応する聴音試験を用いて行われた前記被験者による判定に関しての、前記第1のデータベース(BD1)からの前記HRTFの知覚的分類に対応する、第3のデータベース(BD3)
    をさらに用い、前記方法は、
    ・前記第2のデータベース(BD2)と前記第3のデータベース(BD3)とを相関させることにより、前記第2のデータベース(BD2)からの前記形態学的パラメータの全ての中から、N個の最も妥当な形態学的パラメータをソートするステップと、
    ・その次元がHRTF成分の組合せの結果である多次元空間(EM)を生成するステップと、
    ・前記HRTF間の空間的分離と前記第3のデータベース(BD3)における前記HRTFの前記分類との間の相関を最大化するために、前記成分の組合せの規則を修正して、最適化された多次元空間(EMO)を得るステップと、
    ・前記第2のデータベース(BD2)から抽出されたK個のソートされた前記形態学的パラメータを前記最適化された空間(EMO)内での前記HRTFの対応する位置に相関させるのに適した、最適化された射影モデル(MPO)を計算するステップであって、前記K個の抽出されたパラメータは、前記最適化された多次元空間(EMO)と前記射影モデルにより生成される空間との間の相関を最大化するものである、ステップと、
    ・前記第1のデータベース(BD1)内にHRTFを有さない所与のユーザについて、前記K個の形態学的パラメータを測定するステップと、
    ・前記最適化された空間(EMO)内での前記ユーザの位置を得るために、前もって計算された前記最適化された射影モデル(MPO)を前記抽出された形態学的パラメータに適用するステップと、
    ・前記最適化された空間(EMO)内での前記ユーザの射影位置の近傍にある少なくとも1つのHRTF(HRTF−S)を選択するステップと、
    を含むことを特徴とする方法。
  2. 前記知覚的分類を行うために、前記被験者が、HRTFに対応する音についての少なくとも1つの聴音基準に対する前記被験者の判定において、少なくとも2つの選択肢(良又は不良)を有することを特徴とする請求項1に記載の方法。
  3. 前記聴音基準が、例えば、規定された音響経路の正確さ、全体としての空間の質、正面再現品質(正面に位置する音オブジェクトについて)、及び、正面/背面の音源の分離(音オブジェクトが聴取者の前方又は後方のどちらに位置するかを識別する能力)の中から選択されることを特徴とする請求項2に記載の方法。
  4. 前記第3のデータベース(BD3)を開発するために、
    ・前記第1のデータベースからの各々の前記HRTF(前記被験者自身のHRTFを含む)が適用された音響信号が、各被験者に対して提示され、
    ・前記試験に用いられる前記音響信号は、ハニング・ウィンドウによって得られた、0.23秒のような短い持続時間の広帯域白色雑音であり、
    ・前記音響信号は、両軌道に沿った点位置において再現されたものであり、順々に提示され、前記軌道は、
    ・方位角0度及び仰角0度において軌道が開始され、特に増分が30度の、水平面(仰角=0度)内の円であって、
    ・前記経路が1回繰り返される、円と、
    ・正面に対して仰角−45度から仰角90度を通って背面に対して仰角−45度までの、特に増分が15度の、正中面(方位角=0度)内の弧であって、
    ・前記音響経路が、正面に対して仰角−45度において開始し、背面に対して前記仰角まで続き、その後、同じ経路に沿って開始位置まで戻る、弧
    であることを特徴とする請求項1〜請求項3のいずれかに記載の方法。
  5. 前記第2のデータベース(BD2)と前記第3のデータベース(BD3)との間の相関を取って、前記ソートされた形態学的パラメータを得るために、
    ・前記形態学的データが、前記第2のデータベース(BD2)からの形態学的値を、前記第2のデータベースからの各被験者の形態学的値(BD2[i])で除することによりサブデータベース(BD2i)を作成することによって、正規化され、
    ・各々の前記サブデータベース(BD2i)が、対応する被験者についての前記第3のデータベースからの前記分類(BD3[i])に関連付けられ、
    ・最高から最低まで格付けされた前記形態学的パラメータ(Pmc)を得るためにサポートベクターマシン(SVM)法が適用され、前記格付けは、前記第3のデータベースにおけるカテゴリ分類に従った各HRTFパラメータの分離品質の関数である
    ことを特徴とする請求項1〜請求項4のいずれかに記載の方法。
  6. 前記最適化された多次元空間(EMO)を生成するために、
    ・ステップE3.1において、前記HRTFが、前記HRTFのうち方向依存性を有する部分のみを含む方向伝達関数(DTF)に変換され、
    ・ステップE3.2において、前記DTFが平滑化され、
    ・ステップE3.3において、前記DTFが前処理され、
    ・ステップE3.4において、ステップE3.3の結果である用いられるデータに応じて、次元数を減らすか又は増やすために、前記データ次元が変換され、
    ・前記データ次元を減らす選択肢においては、新たな軸上に射影された元データ(主成分)を表わす新たなデータ行列(スコア)を得るために、前記処理されたDTFに対して主成分分析(PCA)が行われ、そして
    ・空間EMが、前記空間EMの次元を表わす前記スコア行列の各列から生成され、又は、
    ・前記データ次元を増やす選択肢においては、多次元尺度構成法(MDS)を用いて、前記空間EMが生成され、
    ・ステップE3.5において、前記最適化の水準が、前記第3のデータベースBD3からの前記分類間の前記空間的分離の有意水準により評価され、
    ・前のステップが、異なる前処理パラメータを用いて、及び/又は、前記生成される空間EMにおける次元数を限定することにより、繰り返され、
    ・最も最適な前記最適化水準を有する空間が保持される
    ことを特徴とする請求項5に記載の方法。
  7. 前記DTFの臨界帯域の平滑化が、聴覚系の周波数分解能の限度に従って行われることを特徴とする請求項6に記載の方法。
  8. 前記前処理が、以下の方法、すなわち、周波数フィルタリング、周波数範囲を区切ること、周波数の山及び谷の抽出、又は周波数アラインメント係数の算出、のうちの1つを用いて行われることを特徴とする請求項6〜請求項7のいずれかに記載の方法。
  9. 前記最適化水準が、
    ・前記第3のデータベース(BD3)における前記分類間の前記空間的分離の前記有意水準、例えばANOVA検定を用いることにより評価される前記有意水準により評価されるか、又は
    ・前記空間EM内で最も近い10個のHRTFの中で最高カテゴリに格付けされたHRTFの比率を計算し、この比率を、例えばスチューデントの検定を用いて、各被験者について前記第3のデータベース(BD3)において最高カテゴリに格付けされたHRTFの全体比率と比較することにより評価される
    ことを特徴とする請求項6〜請求項8のいずれかに記載の方法。
  10. 前記第2のデータベースから抽出されたN個の形態学的パラメータを、前記最適化された空間内での対応する前記HRTFの位置と相関させるための射影モデルを計算するために、
    ・ステップE4.1において、前記第2のデータベース(BD2)からの前記格付けされた形態学的パラメータPmcに基づいて前記空間EMO内での位置を見いだす目的で、前記EMOと前記Pmcとの間の多重線形回帰により、前記射影モデルが計算され、
    ・ステップE4.2において、前記射影モデルの品質水準が評価され、
    ・ステップE4.3において、前記Pmcが、最初のK個の格付けされた形態学的パラメータに減らされ、前記モデルの計算が、K=1からK=Nまで、前記モデルE4.1から、各々のKの品質の尺度のステップE4.2で繰り返され、この計算は、各被験者について繰り返され、それらのデータは、前記第1のデータベース(BD1)及び前記第2のデータベース(BD2)から除去され、
    ・前記品質水準がそれに対して最高になる、最適なKが保持される
    ことを特徴とする請求項1〜請求項9のいずれかに記載の方法。
  11. 前記最適化された空間(EMO)内での前記ユーザの射影位置の近傍にある少なくとも1つのHRTF(HRTF−S)を選択するために、前記最適化された空間(EMO)内での前記射影位置に最も近いHRTFが選択されることを特徴とする請求項1〜請求項10のいずれかに記載の方法。
JP2013504317A 2010-04-12 2011-04-12 データベース内の知覚的に最適なhrtfフィルタを形態学的パラメータに従って選択するための方法 Active JP5702852B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1052767 2010-04-12
FR1052767A FR2958825B1 (fr) 2010-04-12 2010-04-12 Procede de selection de filtres hrtf perceptivement optimale dans une base de donnees a partir de parametres morphologiques
PCT/FR2011/050840 WO2011128583A1 (fr) 2010-04-12 2011-04-12 Procede de selection de filtres hrtf perceptivement optimale dans une base de donnees a partir de parametres morphologiques

Publications (2)

Publication Number Publication Date
JP2013524711A true JP2013524711A (ja) 2013-06-17
JP5702852B2 JP5702852B2 (ja) 2015-04-15

Family

ID=43736251

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013504317A Active JP5702852B2 (ja) 2010-04-12 2011-04-12 データベース内の知覚的に最適なhrtfフィルタを形態学的パラメータに従って選択するための方法

Country Status (7)

Country Link
US (1) US8768496B2 (ja)
EP (1) EP2559265B1 (ja)
JP (1) JP5702852B2 (ja)
KR (1) KR101903192B1 (ja)
CN (1) CN102939771B (ja)
FR (1) FR2958825B1 (ja)
WO (1) WO2011128583A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017047116A1 (ja) * 2015-09-14 2017-03-23 ヤマハ株式会社 耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法
US10142733B2 (en) 2015-04-13 2018-11-27 JVC Kenwood Corporation Head-related transfer function selection device, head-related transfer function selection method, head-related transfer function selection program, and sound reproduction device

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9030545B2 (en) * 2011-12-30 2015-05-12 GNR Resound A/S Systems and methods for determining head related transfer functions
DK2869599T3 (da) * 2013-11-05 2020-12-14 Oticon As Binauralt høreassistancesystem, der omfatter en database med hovedrelaterede overføringsfunktioner
US9900722B2 (en) * 2014-04-29 2018-02-20 Microsoft Technology Licensing, Llc HRTF personalization based on anthropometric features
WO2016089133A1 (ko) * 2014-12-04 2016-06-09 가우디오디오랩 주식회사 개인 특징을 반영한 바이노럴 오디오 신호 처리 방법 및 장치
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US9747367B2 (en) 2014-12-05 2017-08-29 Stages Llc Communication system for establishing and providing preferred audio
US9654868B2 (en) 2014-12-05 2017-05-16 Stages Llc Multi-channel multi-domain source identification and tracking
US9508335B2 (en) 2014-12-05 2016-11-29 Stages Pcs, Llc Active noise control and customized audio system
CN104484844B (zh) * 2014-12-30 2018-07-13 天津迈沃医药技术股份有限公司 一种基于疾病圈数据信息的自我诊疗网站平台
US9544706B1 (en) 2015-03-23 2017-01-10 Amazon Technologies, Inc. Customized head-related transfer functions
US9609436B2 (en) 2015-05-22 2017-03-28 Microsoft Technology Licensing, Llc Systems and methods for audio creation and delivery
FR3040807B1 (fr) 2015-09-07 2022-10-14 3D Sound Labs Procede et systeme d'elaboration d'une fonction de transfert relative a la tete adaptee a un individu
FR3044459A1 (fr) * 2015-12-01 2017-06-02 Orange Decompositions successives de filtres audio
CN105979441B (zh) * 2016-05-17 2017-12-29 南京大学 一种用于3d音效耳机重放的个性化优化方法
GB201609089D0 (en) * 2016-05-24 2016-07-06 Smyth Stephen M F Improving the sound quality of virtualisation
US10187740B2 (en) 2016-09-23 2019-01-22 Apple Inc. Producing headphone driver signals in a digital audio signal processing binaural rendering environment
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
US9980042B1 (en) 2016-11-18 2018-05-22 Stages Llc Beamformer direction of arrival and orientation analysis system
US9980075B1 (en) 2016-11-18 2018-05-22 Stages Llc Audio source spatialization relative to orientation sensor and output
CN106874592B (zh) * 2017-02-13 2020-05-19 深圳大学 虚拟听觉重放方法及系统
US10278002B2 (en) 2017-03-20 2019-04-30 Microsoft Technology Licensing, Llc Systems and methods for non-parametric processing of head geometry for HRTF personalization
US10306396B2 (en) * 2017-04-19 2019-05-28 United States Of America As Represented By The Secretary Of The Air Force Collaborative personalization of head-related transfer function
CN107734428B (zh) * 2017-11-03 2019-10-01 中广热点云科技有限公司 一种3d音频播放设备
US11080292B2 (en) * 2017-11-13 2021-08-03 Royal Bank Of Canada System, methods, and devices for visual construction of operations for data querying
US10397725B1 (en) 2018-07-17 2019-08-27 Hewlett-Packard Development Company, L.P. Applying directionality to audio
US11399252B2 (en) 2019-01-21 2022-07-26 Outer Echo Inc. Method and system for virtual acoustic rendering by time-varying recursive filter structures
DK3833043T3 (da) 2019-12-03 2022-12-12 Oticon As Høresystem omfattende en personlig stråleformer
US11363402B2 (en) 2019-12-30 2022-06-14 Comhear Inc. Method for providing a spatialized soundfield

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08111899A (ja) * 1994-10-13 1996-04-30 Matsushita Electric Ind Co Ltd 両耳聴装置
US5742689A (en) * 1996-01-04 1998-04-21 Virtual Listening Systems, Inc. Method and device for processing a multichannel signal for use with a headphone
WO2001054453A1 (en) * 2000-01-17 2001-07-26 The University Of Sydney The generation of customised three dimensional sound effects for individuals
WO2005025270A1 (ja) * 2003-09-08 2005-03-17 Matsushita Electric Industrial Co., Ltd. 音像制御装置の設計ツールおよび音像制御装置
US6996244B1 (en) * 1998-08-06 2006-02-07 Vulcan Patents Llc Estimation of head-related transfer functions for spatial sound representative
JP2008527821A (ja) * 2005-01-10 2008-07-24 フランス テレコム モデル化によってhrtfを個別化するための方法および装置
US20080306720A1 (en) * 2005-10-27 2008-12-11 France Telecom Hrtf Individualization by Finite Element Modeling Coupled with a Corrective Model

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE533315T1 (de) * 2004-09-16 2011-11-15 Panasonic Corp Anordnung zur schallbildlocalisierung
CN101360359A (zh) * 2007-08-03 2009-02-04 富准精密工业(深圳)有限公司 产生立体音效的方法及装置
US8489371B2 (en) * 2008-02-29 2013-07-16 France Telecom Method and device for determining transfer functions of the HRTF type

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08111899A (ja) * 1994-10-13 1996-04-30 Matsushita Electric Ind Co Ltd 両耳聴装置
US5742689A (en) * 1996-01-04 1998-04-21 Virtual Listening Systems, Inc. Method and device for processing a multichannel signal for use with a headphone
US6996244B1 (en) * 1998-08-06 2006-02-07 Vulcan Patents Llc Estimation of head-related transfer functions for spatial sound representative
WO2001054453A1 (en) * 2000-01-17 2001-07-26 The University Of Sydney The generation of customised three dimensional sound effects for individuals
WO2005025270A1 (ja) * 2003-09-08 2005-03-17 Matsushita Electric Industrial Co., Ltd. 音像制御装置の設計ツールおよび音像制御装置
JP2008527821A (ja) * 2005-01-10 2008-07-24 フランス テレコム モデル化によってhrtfを個別化するための方法および装置
US20080306720A1 (en) * 2005-10-27 2008-12-11 France Telecom Hrtf Individualization by Finite Element Modeling Coupled with a Corrective Model

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10142733B2 (en) 2015-04-13 2018-11-27 JVC Kenwood Corporation Head-related transfer function selection device, head-related transfer function selection method, head-related transfer function selection program, and sound reproduction device
WO2017047116A1 (ja) * 2015-09-14 2017-03-23 ヤマハ株式会社 耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法
US10390167B2 (en) 2015-09-14 2019-08-20 Yamaha Corporation Ear shape analysis device and ear shape analysis method

Also Published As

Publication number Publication date
JP5702852B2 (ja) 2015-04-15
CN102939771A (zh) 2013-02-20
CN102939771B (zh) 2015-04-22
EP2559265A1 (fr) 2013-02-20
KR20130098149A (ko) 2013-09-04
FR2958825A1 (fr) 2011-10-14
FR2958825B1 (fr) 2016-04-01
KR101903192B1 (ko) 2018-11-22
US20130046790A1 (en) 2013-02-21
US8768496B2 (en) 2014-07-01
WO2011128583A1 (fr) 2011-10-20
EP2559265B1 (fr) 2014-09-17

Similar Documents

Publication Publication Date Title
JP5702852B2 (ja) データベース内の知覚的に最適なhrtfフィルタを形態学的パラメータに従って選択するための方法
KR102642275B1 (ko) 증강 현실 헤드폰 환경 렌더링
JP4718559B2 (ja) モデル化によってhrtfを個別化するための方法および装置
US6996244B1 (en) Estimation of head-related transfer functions for spatial sound representative
US20080306720A1 (en) Hrtf Individualization by Finite Element Modeling Coupled with a Corrective Model
JP6316407B2 (ja) ミキシング制御装置、音声信号生成装置、音声信号供給方法およびコンピュータプログラム
US20110009771A1 (en) Method and device for determining transfer functions of the hrtf type
Geronazzo et al. Do we need individual head-related transfer functions for vertical localization? The case study of a spectral notch distance metric
WO2013144417A1 (en) A method, an apparatus and a computer program for modification of a composite audio signal
US10412530B2 (en) Out-of-head localization processing apparatus and filter selection method
WO2018207645A1 (ja) 頭外定位フィルタ決定システム、頭外定位フィルタ決定装置、頭外定位決定方法、及びプログラム
US20220345813A1 (en) Spatial audio capture and analysis with depth
Stitt et al. Sensitivity analysis of pinna morphology on head-related transfer functions simulated via a parametric pinna model
Shu-Nung et al. Head-related transfer function selection using neural networks
US11962991B2 (en) Non-coincident audio-visual capture system
CN108038291B (zh) 一种基于人体参数适配算法的个性化头相关传递函数生成系统及方法
Durin et al. Acoustic analysis of the directional information captured by five different hearing aid styles
Vennerød Binaural reproduction of higher order ambisonics-a real-time implementation and perceptual improvements
JP2018152834A (ja) 仮想聴覚環境において音声信号出力を制御する方法及び装置
Alonso-Martınez Improving Binaural Audio Techniques for Augmented Reality
CN117437367B (zh) 一种基于耳廓关联函数预警耳机滑动及动态修正方法
CN117135530B (zh) 听音空间感知信息的获取方法、装置、设备及存储介质
EP4346235A1 (en) Apparatus and method employing a perception-based distance metric for spatial audio
WO2021059983A1 (ja) ヘッドホン、頭外定位フィルタ決定装置、頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム
Ko et al. PRTFNet: HRTF Individualization for Accurate Spectral Cues Using a Compact PRTF

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150220

R150 Certificate of patent or registration of utility model

Ref document number: 5702852

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250