JP2022034267A - バイノーラル再生装置およびプログラム - Google Patents

バイノーラル再生装置およびプログラム Download PDF

Info

Publication number
JP2022034267A
JP2022034267A JP2020137979A JP2020137979A JP2022034267A JP 2022034267 A JP2022034267 A JP 2022034267A JP 2020137979 A JP2020137979 A JP 2020137979A JP 2020137979 A JP2020137979 A JP 2020137979A JP 2022034267 A JP2022034267 A JP 2022034267A
Authority
JP
Japan
Prior art keywords
sound source
head
ear
transfer function
listener
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020137979A
Other languages
English (en)
Inventor
岳大 杉本
Takehiro Sugimoto
光太郎 木下
Kotaro Kinoshita
敦郎 伊藤
Atsuro Ito
周 北島
Shu Kitajima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2020137979A priority Critical patent/JP2022034267A/ja
Publication of JP2022034267A publication Critical patent/JP2022034267A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】既存の頭部伝達関数を用いて、音源の放射特性の角度依存性を反映させることのできるバイノーラル再生装置を提供する。【解決手段】伝播経路導出部は、音源の位置と、リスナーの頭部形状と、リスナーの耳の位置とを基に、音源から耳への伝播経路を導出する。音源放射方向決定部は、その伝播経路に基づいて、音源から耳への放射方向を決定する。音源データベースは、決定された放射方向に対応した音響特性を有する音声信号を出力し、頭部伝達関数選択部は、リスナーの頭部中心の位置と音源の位置とによって特定されるリスナーの頭部中心から音源への方向に基づいて、伝達関数を選択する。再生信号生成部は、出力された音声信号と、頭部伝達関数選択部が選択した伝達関数とに基づいて、前記耳用の再生信号を生成する。【選択図】図１

Description

本発明は、バイノーラル再生装置およびプログラムに関する。
近年、音声信号と音響メタデータを組み合わせたオブジェクトベース音響システムやＡＲ／ＶＲ音響の実用化が進められている。オブジェクトベース音響やＡＲ／ＶＲ音響は、多数の音声信号および関連する音響メタデータを提供することで、リアル・バーチャル双方の再生空間におけるリスナーの位置や姿勢に合わせて音声信号をレンダリングし、再生することを特徴とする。イヤホンやヘッドホンを再生デバイスとして用いる場合、前述したレンダリングのプロセス中に頭部伝達関数を用いたバイノーラル化が含まれることが多い。バイノーラル化は、空間での音波の伝播を耳道入口で模擬する手法であり、３次元的な音の方向知覚が可能になるとされている。
非特許文献１および２には、音声信号と音響メタデータについて記載されている。非特許文献３、４、および５には、オブジェクトベース音響システムについて記載されている。非特許文献６には、ＡＲ／ＶＲ音響について記載されている。非特許文献７には、頭部伝達関数を用いたバイノーラル化について記載されている。
Recommendation: ITU-R BS.2076-1，「Audio Definition Model」，2017年6月，International Telecommunication Union. Recommendation: ITU-R BS.2125-0，「A serial representation of the Audio Definition Model」，2019年1月，International Telecommunication Union. ISO/IEC 23008-3:2019，「Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio, Second edition」， 2019年2月，International Organization for Standardization. ETSI TS 103 190-2 V1.2.1，Technical Specification，「Digital Audio Compression (AC-4) Standard; Part 2: Immersive and personalized audio」，2018年2月，European Telecommunications Standards Institute. ATSC Standard: A/342 Part 3，「MPEG-H SYSTEM」，2017年3月，Advanced Television Systems Committee ISO/IEC 23090-4，「MPEG-I Immersive Audio Coding」，The Moving Picture Experts Group，［令和２年（西暦２０２０年）６月６日検索］，インターネット＜URL：https://mpeg.chiariglione.org/standards/mpeg-i＞ 飯田一博，森本政之，「空間音響学」，日本音響学会・編，コロナ社，2010年
頭部伝達関数を用いたバイノーラル化には、音源を点音源とみなした場合の両耳への伝達関数を用いる。従って、頭部伝達関数の測定においては、点音源を仮定できるフルレンジスピーカを用いるのが一般的であり、実際の音源には存在する放射角度に依存した放射特性を反映させることはできない。
一方、ＡＲ／ＶＲコンテンツにおいては、臨場感を一層向上させるために、従来の３次元音響を上回る精度で現象を記述する必要があり、音源に関しては角度に依存した放射特性を反映させることが妥当である。しかしながら前述したように、従来の頭部伝達関数では放射特性の角度依存性を反映させることはできない。さりとて、放射特性の角度依存性を考慮した新たな頭部伝達関数の開発・実装は、開発コストや計算負荷が高く実用的とは言い難い。そこで、オブジェクトベース音響やＡＲ／ＶＲ音響などにおいて、従来の頭部伝達関数を用いて音源の放射特性の角度依存性を再現できるバイノーラル再生装置が求められる。
本発明は、上記の事情を考慮して為されたものであり、従来の頭部伝達関数を用いて、音源の放射特性の角度依存性を反映させることのできるバイノーラル再生装置およびプログラムを提供しようとするものである。
［１］上記の課題を解決するため、本発明の一態様によるバイノーラル再生装置は、リスナーの頭部中心からの方向に応じた伝達関数を保持する頭部伝達関数データベースと、前記音源の位置と、前記リスナーの頭部形状と、前記リスナーの耳の位置とを基に、前記音源から前記耳への音の伝播経路を導出する伝播経路導出部と、導出された前記伝播経路に基づいて、前記音源から前記耳への放射方向を決定する音源放射方向決定部と、決定された前記放射方向に対応した音響特性を有する音声信号を出力する音源データベースと、前記リスナーの頭部中心の位置と前記音源の位置とによって特定されるリスナーの頭部中心から音源への方向に基づいて、前記頭部伝達関数データベースから前記伝達関数を選択する頭部伝達関数選択部と、出力された音声信号と、前記音源放射特性選択部が選択した前記放射特性と、前記頭部伝達関数選択部が選択した前記伝達関数と、に基づいて、前記耳用の再生信号を生成する再生信号生成部と、を具備する。
［２］また、本発明の一態様は、上記のバイノーラル再生装置において、前記耳は、左耳と右耳とのそれぞれであり、前記伝播経路導出部は、前記音源から前記左耳と前記右耳への音のそれぞれの前記伝播経路を導出するものであり、前記頭部伝達関数データベースは、前記左耳と前記右耳とのそれぞれの伝達関数を左耳用頭部伝達関数と右耳用頭部伝達関数として保持し、前記音源放射方向決定部は、前記音源から前記左耳と前記右耳とのそれぞれへの前記放射方向を決定するものであり、前記音源データベースは、前記左耳への放射方向に対応した音響特性を有する音声信号を左耳用音声信号として選択し、前記右耳への放射方向に対応した音響特性を有する音声信号を右耳用音声信号として選択し、前記頭部伝達関数選択部は、前記音源への方向に対応する左耳用頭部伝達関数と右耳用頭部伝達関数を選択するものであり、前記再生信号生成部は、前記左耳用音声信号と前記左耳用頭部伝達関数に基づいて左耳用の前記再生信号を生成し、前記右耳用音声信号と前記右耳用頭部伝達関数に基づいて右耳用の前記再生信号を生成するものである。
［３］また、本発明の一態様は、上記のバイノーラル再生装置において、前記音源は複数であり、前記音源データベースは、各々の前記音源について前記音声信号を出力するものであり、前記伝播経路導出部は、各々の前記音源について前記伝播経路を導出するものであり、前記音源放射方向決定部は、各々の前記音源について前記放射方向を決定するものであり、前記頭部伝達関数選択部は、各々の前記音源について前記頭部伝達関数データベースから前記伝達関数を選択するものであり、前記再生信号生成部は、各々の前記音源について前記再生信号を生成するものである。
［４］また、本発明の一態様は、上記のバイノーラル再生装置において、前記再生信号生成部は、各々の前記音源について生成した前記再生信号を重畳した重畳再生信号を生成するものである。
［５］また、本発明の一態様は、上記のバイノーラル再生装置において、前記リスナーは複数であり、前記伝播経路導出部は、各々の前記リスナーについて前記伝播経路を導出するものであり、前記音源放射方向決定部は、各々の前記リスナーについて前記放射方向を決定するものであり、前記頭部伝達関数選択部は、各々の前記リスナーについて前記伝達関数を選択するものであり、前記再生信号生成部は、各々の前記リスナーについて前記再生信号を生成するものである。
［６］また、本発明の一態様は、上記のバイノーラル再生装置において、前記音源データベースは、前記音源から前記リスナーまでの距離と、前記音源から発せられる人の音声（人声）に含まれるモーラの種類と、前記音源から発せられる人声に含まれる音素の種類と、前記音源から発せられる人声の性別と、前記音源から発生られる人声の年齢別と、前記音源の楽器の種類と、の少なくともいずれかにも対応した前記音響特性を有する音声信号を保持し、前記音源から前記リスナーまでの距離と、前記音源から発せられる人声に含まれるモーラの種類と、前記音源から発せられる人声に含まれる音素の種類と、前記音源から発せられる人声の性別と、前記音源から発せられる人声の年齢別と、前記音源の楽器の種類と、の少なくともいずれかにも対応した前記音響特性を有する音声信号を選択するものである。
［７］また、本発明の一態様は、上記のバイノーラル再生装置において、前記伝播経路導出部は、前記音源から前記耳が見通せる場合には前記音源から前記耳への直接伝播が最短経路になる前記伝播経路を導出し、前記音源から前記耳が見通せない場合には前記音源から前記耳への頭部を回折する回折伝播が最短経路になる前記伝播経路を導出し、前記音源放射方向決定部は、前記伝播経路が直接伝播によるものか回折伝播によるものかに応じた前記放射方向を決定するものである。
［８］また、本発明の一態様は、上記のバイノーラル再生装置において、前記再生信号生成部は、前記音源から前記耳に到来する音の成分のうち、前記最短経路の方向に係る最短経路成分と、前記最短経路の方向以外の放射方向に係る非最短経路成分を合成して当該耳の再生信号を生成するバイノーラル信号生成部を含み、前記バイノーラル信号生成部は、前記リスナーの頭部中心からの方向に応じた伝達関数を、前記最短経路の方向への音響特性を有する音声信号に作用して前記最短経路成分を生成し、前記リスナーの頭部中心からの方向に応じた伝達関数を、前記最短経路以外の伝播経路の方向ごとに対応した音響特性を有する単一または複数の音声信号の当該伝播経路に係る重み係数に基づく加重和に作用して前記非最短経路成分を生成し、前記重み係数は、前記音源からの音波の放射方向、前記最短経路の方向、および、前記音源から前記頭部中心への方向に対応して決定されるものである。
［９］また、本発明の一態様によるバイノーラル再生装置は、リスナーの頭部中心からの方向に応じた頭部インパルス応答を保持する頭部インパルス応答データベースと、音源の位置と、前記リスナーの頭部形状と、前記リスナーの耳の位置とを基に、前記音源から前記耳への音の伝播経路を導出する伝播経路導出部と、導出された前記伝播経路に基づいて、前記音源から前記耳への放射方向を決定する音源放射方向決定部と、音源からの放射方向に対応した音響特性を有する音声信号を保持し、決定された前記放射方向に対応した音響特性を有する音声信号を出力する音源データベースと、前記リスナーの頭部中心の位置と前記音源の位置とによって特定されるリスナーの頭部中心から音源への方向に基づいて、前記頭部インパルス応答データベースから前記頭部インパルス応答を選択する頭部インパルス応答選択部と、出力された音声信号と、前記頭部インパルス応答選択部が選択した前記頭部インパルス応答と、に基づいて、前記耳用の再生信号を生成する再生信号生成部と、を具備する。
［１０］また、本発明の一態様は、コンピューターを、上記［１］から［９］までのいずれか一項に記載のバイノーラル再生装置、として機能させるためのプログラムである。
本発明によれば、既存の頭部伝達関数を用いて、音源の放射特性の角度依存性を反映させることができる。このため、軽い計算負荷で音響信号の臨場感・精度を高めることができる。
本発明の実施形態によるバイノーラル再生装置の概略機能構成を示したブロック図である。 同実施形態が前提とするバーチャル音響空間内を斜視したときの概略図である。 同実施形態による左耳用伝播経路判定部の内部の機能構成を示すブロック図である。 同実施形態による左耳用再生信号生成部の内部の詳細な機能構成を示すブロック図である。 同実施形態によるバイノーラル再生装置が再生信号を生成するための処理の手順を示すフローチャートである。 同実施形態が想定するバーチャル音響空間を模式的に表す概略図である。 同実施形態が想定するバーチャル音響空間内の、リスナーの両耳の座標位置と、音源の座標位置とを含む平面を模式的に示す概略図である。
次に、本発明の一実施形態について、図面を参照しながら説明する。本実施形態は、オブジェクトベース音響コンテンツやＡＲ／ＶＲコンテンツにおいて、音源の放射特性を反映したバイノーラル再生を実現するものである。なお、ＡＲは、「Augmented Reality」（拡張現実）の略である。また、ＶＲは、「Virtual Reality」（仮想現実）の略である。ＡＲ／ＶＲ技術自体は、既存の技術である。
なお、以下では、主にリスナーを１人、音源（放射方向（角度）依存性を有する点音源）を１個として、バイノーラル再生装置の構成を説明する。なお、リスナーが２人以上の場合には、バイノーラル再生装置は、リスナーを１人の場合と同様の処理をリスナーごとに行えばよい。また、音源が２個以上の場合には、バイノーラル再生装置は、音源が１個の場合の処理をそれぞれの音源について行い、それらの音源に対応する複数の出力信号を重畳するなどといった処理を行ってもよい。
バイノーラル再生装置は、リスナーの右耳用と左耳用との、それぞれの出力信号を求める。詳細については後述するが、バイノーラル再生装置は、音源の位置と、リスナーの頭部の形状およびサイズと、リスナーの頭部に存在する２つの耳の位置とをモデル化して、そのモデルにしたがって、右耳用と左耳用との、それぞれの出力信号を求める。
図１は、本実施形態によるバイノーラル再生装置の概略機能構成を示すブロック図である。図示するように、バイノーラル再生装置１は、リスナー情報取得部１１と、音源情報取得部１２と、リスナー頭部形状取得部１５と、左耳座標取得部１７と、右耳座標取得部１８と、左耳用伝播経路判定部１９と、右耳用伝播経路判定部２０と、左耳用音源放射方向決定部２１と、右耳用音源放射方向決定部２２と、音源データベース２４と、頭部伝達関数データベース３１と、頭部伝達関数選択部３２と、左耳用再生信号生成部３５と、右耳用再生信号生成部３６と、を含んで構成される。これらの各機能部は、例えば、コンピューターと、プログラムとで実現することが可能である。また、各機能部は、必要に応じて、記憶手段を有する。記憶手段は、例えば、プログラム上の変数や、プログラムの実行によりアロケーションされるメモリーである。また、必要に応じて、磁気ハードディスク装置やソリッドステートドライブ（ＳＳＤ）といった不揮発性の記憶手段を用いるようにしてもよい。また、各機能部の少なくとも一部の機能を、プログラムではなく専用の電子回路として実現してもよい。各部の機能は、次に説明する通りである。
リスナー情報取得部１１は、バーチャル音響空間内におけるリスナーの位置および向き（姿勢）の情報を取得する。リスナーは、バーチャル音響空間内の任意の位置で、任意の向き（姿勢）をとることができるものとする。つまり、リスナーの情報は、６軸の自由度（6 degrees of freedom，６ＤｏＦ）を持つ。位置は、直交座標系におけるｘ，ｙ，ｚの３軸の座標値で表わされ得る。あるいは、位置は、極座標によるｒ（距離），φ（方位角），θ（仰角）の座標値で表わされ得る。向きは、ヨー（yaw）、ロール（roll）、ピッチ（pitch）の３方向の回転で表わされ得る。
リスナー情報取得部１１が情報を取得する間隔（タイミング）は、装置の時間分解能に合わせて適宜決定してよい。ただし、リスナー情報取得部１１がリスナー情報を取得する周期は、一般に音声信号のフレーム処理時間と同等、またはそれより短い間隔で取得されることが好ましい。例えば、音声信号のサンプリング周波数が４８ｋＨｚ（キロヘルツ）の場合、２０４８サンプル以内に相当する周期でリスナー情報を取得することが望ましい。なお、リスナー情報取得部１１がリスナー情報を取得すること自体は、既存技術を用いて実現可能である。一例として、リスナー情報取得部１１は、実空間におけるリスナーを複数の方向からカメラで撮影し、三角測量の方法を用いてリスナーの所定部位の位置を測定する。リスナーが実空間において画像として認識され得る印を付けていてもよい。なお、他の方法でリスナー情報取得部１１がリスナー情報を取得してもよい。
音源情報取得部１２は、バーチャル音響空間における音源の位置および向きの情報（回転情報）を取得する。音源の位置および向きの情報は、上記のリスナーの位置および向きの情報と同様に、６軸の自由度（６ＤｏＦ）を持つ情報であってよい。音源の位置および向きの情報は、例えば、音声信号のメタデータとして供給されるものであってよい。音源情報取得部１２が音源の位置および向きの情報を取得する間隔（タイミング）は、装置の時間分解能に合わせて適宜決定してよい。ただし、音源情報取得部１２は、音声信号のフレーム処理時間と同等または同等より短い間隔で取得されることが好ましい。例えば、音声信号のサンプリング周波数が４８ｋＨｚ（キロヘルツ）の場合、音源情報取得部１２は、２０４８サンプル以内に相当する周期で音源情報を取得することが望ましい。
リスナー頭部形状取得部１５は、リスナーの頭部の形状の情報を取得する。頭部の形状の情報は、左耳および右耳のそれぞれの位置の情報等を含む。リスナー頭部形状取得部１５は、代表的なリスナーあるいは実際の個別のリスナーの、具体的に計測された頭部形状および耳の位置の情報を取得してもよい。あるいは、リスナー頭部形状取得部１５は、予め定めた頭部のモデルに基づいて、頭部形状および耳の位置の情報を取得してもよい。上記の頭部のモデルは、例えば、頭部形状を半径ａの球として、頭部の正面方向（顔が向く方向）の方位角を０度としたときに、方位角が±９０度且つ仰角が０度の位置に左耳および右耳が配置されるものであってよい。
左耳座標取得部１７は、リスナー情報取得部１１が取得したリスナーの頭部の位置および向きの情報と、リスナー頭部形状取得部１５が取得したリスナー頭部形状（頭部における左耳の位置の情報を含む）とを基に、バーチャル音響空間におけるリスナーの左耳座標を取得する。なお、バーチャル音響空間において左耳は点であるとみなしてもよい。
右耳座標取得部１８は、リスナー情報取得部１１が取得したリスナーの頭部の位置および向きの情報と、リスナー頭部形状取得部１５が取得したリスナー頭部形状（頭部における右耳の位置の情報を含む）とを基に、バーチャル音響空間におけるリスナーの右耳座標を取得する。なお、バーチャル音響空間において右耳は点であるとみなしてもよい。
左耳用伝播経路判定部１９は、「伝播経路導出部」とも呼ばれる。左耳用伝播経路判定部１９は、音源の位置と、リスナーの頭部形状と、リスナーの耳の位置とを基に、音源から左耳への音の伝播経路を導出する。また、左耳用伝播経路判定部１９は、バーチャル音響空間において音源から左耳への伝播経路が、直接伝播であるか回折伝播であるかを判定し、その判定結果を出力する。音源から左耳を直接見通せる場合には、直接伝播である。音源から、頭部等の陰になって、左耳を直接見通せない場合には、回折伝播である。左耳用伝播経路判定部１９は、具体的には、リスナー情報取得部１１が取得したリスナーの位置および向きと、リスナー頭部形状取得部１５が取得した頭部形状と、左耳座標取得部１７が取得した左耳の座標と、音源情報取得部１２と、に基づき、上記の伝播経路を判定する。より詳細な伝播経路の判定方法については、後述する。
右耳用伝播経路判定部２０は、「伝播経路導出部」とも呼ばれる。右耳用伝播経路判定部２０は、音源の位置と、リスナーの頭部形状と、リスナーの耳の位置とを基に、音源から右耳への音の伝播経路を導出する。また、右耳用伝播経路判定部２０は、バーチャル音響空間において音源から右耳への伝播経路が、直接伝播であるか回折伝播であるかを判定し、その判定結果を出力する。なお、判定の方法等は、上記の左耳用伝播経路判定部１９によるそれと同様である。
なお、左耳への伝播経路と右耳への伝播経路が異なっていてもよい。例えば頭部形状が球であって、球面上の左耳と右耳とを結ぶ直線がその球の中心点を通るとした場合には、厳密には、有限の距離にある音源からは、左耳あるいは右耳への少なくともいずれかは回折伝播である。
左耳用音源放射方向決定部２１は、「音源放射方向決定部」とも呼ばれる。左耳用音源放射方向決定部２１は、バーチャル音響空間における、音源の基準方向から見た、左耳への音波の放射方向を決定する。具体的には、左耳用音源放射方向決定部２１は、導出された伝播経路に基づいて、音源から耳への放射方向を決定する。音源の基準方向は、音源の向きの座標系において、例えば、方位角（φ）０度、仰角（θ）９０度である。具体的には、左耳用音源放射方向決定部２１は、左耳用伝播経路判定部１９が判定した音源から左耳への伝播経路と、音源情報取得部１２が取得した音源の向き（回転情報）とに基づいて、音源の基準方向から見た左耳への放射方向を決定する。伝播経路が直接伝播の場合には、左耳用音源放射方向決定部２１は、音源と左耳とを直線で結んだ方向（音源から左耳への方向）を、放射方向として決定する。伝播経路が回折伝播の場合には、左耳用音源放射方向決定部２１は、音波が頭部に達した後に頭部表面上を回折して左耳に伝播する経路のうちの長さが最短となる経路の方向を、放射方向として決定する。より詳細な放射方向の決定方法については、後述する。
右耳用音源放射方向決定部２２は、「音源放射方向決定部」とも呼ばれる。右耳用音源放射方向決定部２２は、バーチャル音響空間における、音源の基準方向から見た、右耳への音波の放射方向を決定する。なお、判定の決定の処理方法等は、上記の左耳用音源放射方向決定部２１によるそれと同様である。左耳用音源放射方向決定部２１、右耳用音源放射方向決定部２２は、それぞれ決定した放射方向を音源データベース２４に出力する。
以上の説明のように、伝播経路導出部（左耳用伝播経路判定部１９や右耳用伝播経路判定部２０）は、音源から耳が見通せる場合には音源から耳への直接伝播による伝播経路を導出する。伝播経路導出部は、音源から耳が見通せない場合には音源から耳への頭部を回折する回折伝播による伝播経路を導出する。音源放射方向決定部（左耳用音源放射方向決定部２１や右耳用音源放射方向決定部２２）は、上記の伝播経路導出部が判定した伝播経路が直接経路によるものか回折経路によるものかに応じた放射方向を決定する。
音源データベース２４は、バーチャル音響空間における音源から放射される音声信号を保持する。具体的には、音源データベース２４は、音源からの放射方向ごとに、その放射方向に対応した音響特性を有する音声信号を保持する。音源データベース２４、例えば、極座標表示を用いて、r（距離）、φ（方位角）、θ（仰角）、ω（周波数（または角周波数））をそれぞれ引数として、それらの引数の組合せに対応する音声信号を保持する。各引数の刻み幅は、適切な大きさとなるように定めればよい。放射方向に応じた放射特性は、音響特性値で表される。音響特性値は、例えば、基準位置における音波の成分の強さに対する比率の値である。ここで、基準位置は、例えば、音源の基準方向（方位角（φ）が０度、仰角（θ）が９０度）における、距離が単位長さ（ｒ＝１）の位置であってもよい。音響特性値は、強さの比率に位相差に対応する絶対値１の複素数を乗じて得られる値であってもよい。ここで、位相差は、例えば、基準位置における音波の成分の位相に対する、放射方向に伝達される音波の成分の位相との差分に相当する。音響特性値として、例えば、音波の成分として周波数毎に定義される伝達関数が利用可能である。
放射方向に応じた放射特性を有する音声信号とは、例えば、所定の基準位置における音声信号の周波数成分ごとにその周波数に対する音響特性値を乗じて得られる乗算値を周波数空間で合成して得られる。音源データベース２４は、引数として放射方向に対応した音響特性を有する音声信号を提供することができれば、必ずしもこの例に限られない。音源データベース２４には、個々の音源から音を放射させ、予め放射方向ごとに収音された音の音声信号をその放射方向と対応付けて記憶させておいてもよい。音源データベース２４には、音源から放射される音の音声信号を設定しておき、設定した音声信号に所定の計算式またはモデルを用いて個々の放射方向の放射特性を有する音声信号として定めてもよい。所定の計算式またはモデルとして、例えば、放射方向ごとに設定された伝達関数の乗算または畳み込み、放射方向ごとの放射特性を与える幾何音響モデル、などが利用可能である。音源データベース２４は、音源からの所定の音声信号に基づく音の放射を仮定し、所定のモデルを用いたシミュレーションを行い、放射方向ごとに到来する音の音声信号を生成してもよい。シミュレーションにおいて、例えば、音線法、波面合成法などの手法が用いられうる。
音源データベース２４は、左耳用音源放射方向決定部２１から放射方向が入力されるとき、入力される放射方向に対応する音声信号を左耳に対する音源の放射方向に応じた音声信号、つまり左耳用音声信号として左耳用再生信号生成部３５に出力する。同様に、音源データベース２４は、右耳用音源放射方向決定部２２から放射方向が入力されるとき、入力される放射方向に対応する音声信号を右耳に対する音源の放射方向に応じた音声信号、つまり右耳用音声信号として右耳用再生信号生成部３６に出力する。
なお、音源データベース２４は、上に挙げた引数以外の引数をとるようにしてもよい。また、音源データベース２４は、距離の引数を省略してもよい。上記の放射方向とは、距離の引数が含まれる場合には、実質的に音が放射される放射位置を示す。音源データベース２４は、例えば、メモリー上に展開された多次元情報テーブルとして実現され得る。あるいは、音源データベース２４は、データベース管理システム（ＤＢＭＳ）を用いて実現され得る。また、音源データベース２４は、上記の手法を用いて、放射方向が入力される都度、その放射方向に対応した音響特性を適用した音声信号を生成し、生成した音声信号を出力してもよい。その場合、音源データベース２４には、計算式またはモデルを用いた計算または音声信号の生成に用いられるパラメータを予め設定しておく。
頭部伝達関数データベース３１は、リスナーの頭部伝達関数の情報を保持する。頭部伝達関数は、リスナーの頭部中心からの方向に応じた伝達関数の情報を有する。頭部中心からの方向ごとの左耳用の伝達関数および右耳用の伝達関数として、それぞれ左耳用頭部伝達関数と右耳用頭部伝達関数が保持される。方向の刻み幅（分解ステップ）は、適切に予め定められる。頭部伝達関数は、特定のリスナー用に測定して取得したものであってもよいし、ダミーヘッドなどを用いた測定で取得されたものであってもよい。頭部伝達関数自体は、本実施形態のために特別に取得する必要はない。従来技術で用いていた頭部伝達関数があれば、その頭部伝達関数の情報をそのまま頭部伝達関数データベース３１が保持するようにしてよい。頭部伝達関数データベース３１は、方向を特定して照会を受けた場合に、その方向に対応する頭部伝達関数を応答する。頭部伝達関数データベース３１は、例えば、メモリー上に展開された多次元情報テーブルとして実現され得る。あるいは、頭部伝達関数データベース３１は、データベース管理システム（ＤＢＭＳ）を用いて実現され得る。
頭部伝達関数選択部３２は、リスナーの位置および向きの情報（６軸の自由度）と、音源の位置および向きの情報（６軸の自由度）とに基づいて、頭部伝達関数を選択する。具体的には、頭部伝達関数選択部３２は、リスナーの位置および向きと、音源の位置および向きとに基づいて、頭部伝達関数データベース３１が保持する頭部伝達関数から、バイノーラル信号の生成に用いる頭部伝達関数を選択的に取得する。その際、頭部伝達関数選択部３２は、リスナーの頭部中心から音源方向の頭部伝達関数を選択する。本実施形態において具体的には、頭部伝達関数選択部３２は、リスナーの頭部中心の位置と音源の位置とによって特定されるリスナーの頭部中心から音源への方向に基づいて、頭部伝達関数データベース３１から当該方向の伝達関数を選択する。
左耳用再生信号生成部３５は、「再生信号生成部」とも呼ばれる。左耳用再生信号生成部３５は、左耳用の再生信号を生成する。具体的には、左耳用再生信号生成部３５は、音源データベース２４から出力された音声信号と、頭部伝達関数選択部３２が選択した伝達関数と、に基づいて、左耳用の再生信号を生成する。左耳用再生信号生成部３５による処理のさらなる詳細については、後で説明する。
右耳用再生信号生成部３６は、「再生信号生成部」とも呼ばれる。右耳用再生信号生成部３６は、右耳用の再生信号を生成する。具体的な処理としては、右耳用再生信号生成部３６は、上記の左耳用再生信号生成部３５による処理と同様の処理を、右耳について行う。
次に、本実施形態が想定するバーチャル音響空間について説明する。
図２は、バーチャル音響空間の構成例を示す概略図である。バーチャル音響空間は、ｘ，ｙ，ｚ軸の直交座標系で表わされ得る３次元空間である。当然、バーチャル音響空間は、直交座標以外の、例えば極座標でも表わされ得る。図示するように、バーチャル音響空間には、リスナーと音源（図示する例では管楽器のトランペット）とが存在する。バーチャル音響空間では、音源から音源の放射特性に則って放射された音波が空間内を伝播し、リスナーに到達する。リスナーは到達した音波を耳で捕らえ、音を聴取する。リスナーが聴取する際の信号は、バーチャル音響空間内においてリスナーに対して音波が入射する方向に合った頭部伝達関数を用いて生成される。バイノーラル再生装置１は、この再生音の信号を生成する。この再生信号を生成する処理を、バイノーラル化と呼ぶ。
図３は、左耳用伝播経路判定部１９の内部のさらに詳細な機能構成を示すブロック図である。図示するように、左耳用伝播経路判定部１９は、音源・頭部中心間距離算出部１９１と、左耳・頭部中心間距離算出部１９２と、左耳・音源間距離算出部１９３と、比較判定部１９４とを含んで構成される。
左耳用伝播経路判定部１９は、左耳への伝播経路を判定するために、バーチャル音響空間における、音源・頭部中心間距離と、左耳・頭部中心間距離と、左耳・音源間距離とをそれぞれ計算する。また、左耳用伝播経路判定部１９は、加えて、リスナーの頭部形状をも判定材料とする。これらにより、左耳用伝播経路判定部１９は、音源から左耳を直接見通せるか否かを判定する。即ち、左耳用伝播経路判定部１９は、音源から左耳を直接見通せる場合には直接伝播であると判定する。また、左耳用伝播経路判定部１９は、音源から左耳を直接見通せない場合には回折伝播であると判定する。一例として、左耳用伝播経路判定部１９は、頭部が球であることを前提として、上記の、耳を見通せるか否かの判定を行ってもよい。
音源・頭部中心間距離算出部１９１は、バーチャル音響空間における、音源（点）と頭部中心との間の距離を算出する。音源・頭部中心間距離算出部１９１は、音源の座標（位置ベクトル）と、頭部中心の座標（位置ベクトル）とに基づいて、上記の距離を算出する。
左耳・頭部中心間距離算出部１９２は、左耳の位置の座標（位置ベクトル）と頭部中心の座標（位置ベクトル）とに基づいて、左耳と頭部中心との間の距離を算出する。
左耳・音源間距離算出部１９３は、左耳の位置の座標（位置ベクトル）と音源の座標（位置ベクトル）とに基づいて、左耳と音源との間の距離を算出する。
比較判定部１９４は、音源・頭部中心間距離算出部１９１が算出した音源・頭部中心間距離と、左耳・頭部中心間距離算出部１９２が算出した左耳・頭部中心間距離と、左耳・音源間距離算出部１９３が算出した左耳・音源間距離とに基づいて、判定を行う。
音源から左耳が直接見通せる場合には、比較判定部１９４は、直接伝播であると判定する。音源から左耳が直接見通せない場合には、比較判定部１９４は、回折伝播であると判定する。
比較判定部１９４は、一例として、頭部が球であり、左耳はその球面上の一点であるというモデルに基づいて、上記の判定を行ってもよい。その場合には、比較判定部１９４は、音源・頭部中心間距離の２乗と、左耳・頭部中心間距離の２乗および左耳・音源間距離の２乗の和と、を比較する。頭部の形状として平面上の円と、各部間の直線とを用いた幾何学的配置により、次の判定手法が適用可能である。音源・頭部中心間距離の２乗が、左耳・頭部中心間距離の２乗および左耳・音源間距離の２乗の和よりも大きい場合あるいは両者が等しい場合には、比較判定部１９４は、音源から左耳を直接見通せると判定してよい。音源・頭部中心間距離の２乗が、左耳・頭部中心間距離の２乗および左耳・音源間距離の２乗の和よりも小さい場合には、比較判定部１９４は、音源から左耳を直接見通せないと判定してよい。
なお、比較判定部１９４は、上記の単純な幾何学的モデル以外のモデルに基づいて判定を行うようにしてもよい。
右耳用伝播経路判定部２０は、上記の左耳用伝播経路判定部１９と同様の、右耳用の構成を持つものである。そのような構成により、右耳用伝播経路判定部２０は、右耳への伝播経路が、直接伝播であるか回折伝播であるかを判定する。
左耳用伝播経路判定部１９および右耳用伝播経路判定部２０の処理のさらなる詳細については、後で説明する。
図４は、左耳用再生信号生成部３５の内部の詳細な機能構成を示すブロック図である。図示するように、左耳用再生信号生成部３５は、音声信号取得部３５１と、バイノーラル信号生成部３５３とを含んで構成される。これらの各部の機能は、次に説明する通りである。
音声信号取得部３５１は、音源データベース２４から出力される左耳に対する音源の放射方向に応じた音声信号を取得する。音声信号取得部３５１は、取得した音声信号をバイノーラル信号生成部３５３に出力する。
バイノーラル信号生成部３５３は、頭部伝達関数の左耳成分を用いて、音声信号取得部３５１から出力される音声信号から、左耳用再生信号を生成する。具体的には、バイノーラル信号生成部３５３は、頭部伝達関数選択部３２が頭部伝達関数データベース３１から選択した伝達関数に基づいて、音声信号取得部３５１が取得した音声信号から、再生信号を生成する。
なお、変形例として、バイノーラル信号生成部３５３が、頭部インパルス応答の左耳成分を用いて、左耳用再生信号を生成するようにしてもよい。頭部インパルス応答は、頭部伝達関数を時間領域で表現したパラメータセットとみなすことができる。
右耳用再生信号生成部３６は、上記の左耳用再生信号生成部３５と同様の、右耳用の構成を持つものである。そのような構成により、右耳用再生信号生成部３６は、右耳用の再生信号を生成する。
左耳用再生信号生成部３５および右耳用再生信号生成部３６の処理のさらなる詳細については、後で説明する。
図５は、バイノーラル再生装置１が再生信号を生成するための処理の手順を示すフローチャートである。なお、このフローチャートは、左耳または右耳のいずれか着目している側の耳のための再生信号を生成する処理を示している。左右両耳のための再生信号を生成するためには、各耳について、このフローチャートの処理を実行すればよい。以下、このフローチャートに沿って説明する。
ステップＳ１１において、リスナー情報取得部１１は、バーチャル音響空間におけるリスナーの位置および向き（姿勢）の情報（６軸の自由度）を取得する。
ステップＳ１２において、音源情報取得部１２は、バーチャル音響空間における、音源の位置および向き（姿勢）の情報（６軸の自由度）を取得する。
ステップＳ１３において、リスナー頭部形状取得部１５は、リスナーの頭部の形状を取得する。リスナー頭部形状取得部１５が取得する頭部の形状の情報は、頭部の中心点を基準としたときの左右の各耳の位置（座標）の情報を含む。そして、左耳座標取得部１７あるいは右耳座標取得部１８のいずれかの、着目している側の耳に対応する側は、リスナー情報取得部１１が取得したリスナーの位置および向きの情報と、リスナー頭部形状取得部１５が取得した着目している側の耳の位置の情報とに基づいて、バーチャル音響空間内における着目している側の耳（左耳あるいは右耳）の座標を求める。つまり、左耳座標取得部１７あるいは右耳座標取得部１８のいずれかは、それぞれ、左耳あるいは右耳のいずれかのバーチャル音響空間の座標系における座標値を取得し、出力する。
ステップＳ１４において、左耳用伝播経路判定部１９あるいは右耳用伝播経路判定部２０のいずれか、着目している耳に対応する側は、音源の位置から、着目している耳を直接見通せるか否かを判定する。直接見通せる場合には、その耳への伝播は、直接伝播である。直接見通せない場合（頭部の陰に位置する場合等）には、その耳への伝播は回折伝播である。左耳用伝播経路判定部１９あるいは右耳用伝播経路判定部２０は、その耳への伝播が直接伝播であるか回折伝播であるかの情報を出力する。
ステップＳ１５において、左耳用音源放射方向決定部２１あるいは右耳用音源放射方向決定部２２のいずれかの、現在着目している耳に対応する側は、左耳用伝播経路判定部１９あるいは右耳用伝播経路判定部２０のいずれか対応する側から受け取った判定結果に基づいて処理を分岐する。具体的には、直接伝播である場合（ステップＳ１６：ＹＥＳ）、ステップＳ１８に進む。直接伝播ではない場合、即ち回折伝播である場合（ステップＳ１６：ＮＯ）、ステップＳ１７に進む。
ステップＳ１７に進んだ場合（即ち回折伝播の場合）、本ステップにおいて、左耳用音源放射方向決定部２１あるいは右耳用音源放射方向決定部２２のいずれかの、現在着目している耳に対応する側は、回折して伝播する経路を導出する。回折して伝播する経路は、音源から頭部の表面の一点に到達してから、頭部表面に沿ってその耳に到達するまでの経路のうち、トータルの長さが最短であるような経路である。
例えば頭部が球状であると仮定した場合、その耳が頭部を挟んで音源の真反対側に位置するものではない限り（つまり、その耳と、頭部（球）の中心と、音源とを結ぶ直線が存在しない限り、その耳に到達する最短の回折の経路は、一意に求まる。
ステップＳ１７の処理の後は、ステップＳ１８に進む。
ステップＳ１８において、左耳用音源放射方向決定部２１あるいは右耳用音源放射方向決定部２２のいずれかの、現在着目している耳に対応する側は、直接伝播あるいは回折伝播のいずれか該当する場合に応じた方法で、音源からの放射方向を決定する。直接伝播の場合には、音源から着目している側の耳を結ぶ直線の方向が、音源からの放射方向である。回折伝播の場合には、音源から、ステップＳ１７において説明した「音源から頭部の表面の一点に到達してから、頭部表面に沿ってその耳に到達するまでの経路のうち、トータルの長さが最短であるような経路」における「頭部の表面の一点」を結ぶ直線の方向が、音源からの放射方向である。
頭部が球であると仮定する場合の、放射方向の求め方の例については、後で、さらに詳しく説明する。
ステップＳ１９において、音源データベース２４は、着目する耳を左耳として、左耳用音源放射方向決定部２１から入力される放射方向に対応する音声信号を左耳に対する音源の放射方向に応じた音声信号として左耳用再生信号生成部３５に出力する。また、音源データベース２４は、着目する耳を右耳として、右耳用音源放射方向決定部２２から入力される放射方向に対応する音声信号を右耳に対する音源の放射方向に応じた音声信号として右耳用再生信号生成部３６に出力する。
ステップＳ２０において、頭部伝達関数選択部３２は、頭部伝達関数データベース３１に格納されている頭部伝達関数のうち、再生信号の生成に使用する頭部伝達関数を選択する。具体的には、頭部伝達関数選択部３２は、リスナー情報取得部１１から取得したリスナーの位置および向きの情報と、音源情報取得部１２から取得した音源の位置および向きの情報とに基づいて、リスナーの頭部中心から音源方向の頭部伝達関数として左耳用頭部伝達関数と右耳用頭部伝達関数を選択する。
ステップＳ２１において、左耳用再生信号生成部３５のバイノーラル信号生成部３５３、あるいは右耳用再生信号生成部３６のバイノーラル信号生成部３６３（不図示）のいずれか、現在着目する耳に対応する側は、当該耳用の再生信号を生成する。具体的には、バイノーラル信号生成部３５３（左耳用）あるいはバイノーラル信号生成部３６３（右耳用）のいずれかは、そのいずれかの耳に対する音源の放射方向に応じた音声信号と頭部伝達関数の、着目する側の耳用の頭部伝達関数を用いて、当該耳用の再生信号を生成する。
ステップＳ２２において、バイノーラル信号生成部３５３（左耳用）あるいはバイノーラル信号生成部３６３（右耳用）のいずれかは、そのいずれかの着目する耳について、ステップＳ２１で生成した再生信号（バイノーラル再生用の信号）を出力する。
次に、バイノーラル再生装置１の実装に係るアルゴリズムを定式化し、説明する。なお、このアルゴリズムについては、次の５つのセクションの順に説明する。
１）条件設定
２）音源の放射特性の選択：音源から耳に直接伝播する条件
３）音源の放射特性の選択：頭部を回折して耳に伝播する条件
４）頭部伝達関数の選択
５）バイノーラル再生信号の生成
［１．条件設定］
図６は、バーチャル音響空間を模式的に表す概略図である。同図は、バーチャル音響空間である３次元空間を斜視している。このバーチャル音響空間内には、バーチャルなリスナーの頭部のモデルが存在する。図において破線で示す半球は、リスナーの頭部（球であると想定してよい）の上半球に対応する。頭部に対応する球の半径をａとする。この頭部のモデルは、右耳の位置と、左耳の位置とを、持つ。また、このバーチャル音響空間内の音源は、体積を有さない点音源である。また、その音源は、発する音について指向性を有する。
下の式（１）に表すように、ｅは、バーチャル音響空間において基準となる３次元直交座標系の、ｘ軸、ｙ軸、ｚ軸に沿った正規直交基底である。
Figure 2022034267000002
下の式（２）に表すように、ｅＬは、バーチャル音響空間における、リスナーの頭部を基準とした３次元正規直交基底である。ｅＬは、上記のｅを回転（ヨー（yaw）、ロール（roll）、ピッチ（pitch））することで得られる。
Figure 2022034267000003
便宜上、方向を、次の通りとする。
Figure 2022034267000004
 を正面方向（リスナーの顔が向く方向）とする。
Figure 2022034267000005
 を左耳方向（リスナーの頭部中心から左耳への方向）とする。
Figure 2022034267000006
 を右耳方向（リスナーの頭部中心から右耳への方向）とする。
リスナー情報取得部１１は、リスナーの、位置と向き（回転）の情報を取得する。
下の式（３）に表すように、ｅｓは、バーチャル音響空間における、音源を基準とした３次元正規直交基底である。ｅｓは、上記のｅを回転（ヨー、ロール、ピッチ）することで得られる。
Figure 2022034267000007
Figure 2022034267000008
 を、便宜上、音源の正面方向とする。
Figure 2022034267000009
 は、バーチャル音響空間における音源の位置ベクトルである。
音源情報取得部１２は、音源（点音源）の、位置と向き（回転）の情報を取得する。
Figure 2022034267000010
 は、バーチャル音響空間における、リスナーの頭部中心の位置ベクトルである。
Figure 2022034267000011
 は、バーチャル音響空間における、リスナーの左耳の位置ベクトルである。
Figure 2022034267000012
 は、バーチャル音響空間における、リスナーの右耳の位置ベクトルである。
Figure 2022034267000013
 は、左右の耳の位置ベクトルのうち、現在着目している側の耳の位置ベクトルである。
上記のｅＬおよびｅｓを、それぞれ変換行列ＷＬおよびＷｓを用いて、下の式（４）および式（５）のように表すこととする。
Figure 2022034267000014
Figure 2022034267000015
上記の変換行列ＷＬは、リスナー情報取得部１１が取得するものである。また、変換行列Ｗｓは、音源情報取得部１２が取得するものである。なお、変換行列ＷＬも、Ｗｓも、リスナーや音源の移動を考慮したアフィン変換ではなく、回転のみの作用素である。したがって、両耳のそれぞれの位置ベクトルは、下の式（６）および式（７）のように表される。
Figure 2022034267000016
Figure 2022034267000017
［２．音源の放射特性の選択：音源から耳に直接伝播する条件］
伝播経路が直接伝播であるか否かを判定するのは、伝播経路導出部である。伝播経路導出部が導出した経路に基づいて、音源からの放射方向を決定するのは音源放射方向決定部である。放射方向に基づいて、音源からの放射特性を決定（選択）するのは、音源放射特性選択部である。
上で説明したバーチャル音響空間において、音源からリスナーの耳（左耳あるいは右耳）に、音波が直接伝播する条件は、音源からその耳が見通せる場合である。この場合を式で表わすと、下の式（８）の通りである。
Figure 2022034267000018
また、音源から現在着目している耳の方向は、下の式（９）で表わされる。
Figure 2022034267000019
上の式（９）で表わされる方向に沿って放射される音波の音響特性は、音源の放射特性における特定方向の成分である。その特定方向は、下の式（１０）で表わされるものである。なお、Ｗｓ －１は、Ｗｓの逆行列である。
Figure 2022034267000020
上記のように、音源データベース２４を、予め構築しておく。音源データベース２４は、方向ごとの音響特性を有する音声信号を保持する。つまり、方向を特定して音源データベース２４に照会すると、当該方向についての音響特性を有する音声信号を、音源データベース２４は、その音声信号を返す。
正規直交基底ｅが張る３次元空間において、現在着目している耳に対する、音源の放射方向を示すベクトルは、上の式（１０）で表わされる。
Figure 2022034267000021
 への正射影オペレーターを、下の式（１１）とする。
Figure 2022034267000022
Figure 2022034267000023
 への、式（１０）のベクトルの、正射影は、上の式（１１）のオペレーターを用いて、下の式（１２）のように表される。
Figure 2022034267000024
Figure 2022034267000025
 を基準とした方位角
Figure 2022034267000026
 は、下の式（１３）で表わされる。
Figure 2022034267000027
正規直交基底ｅが張る３次元空間において、現在着目している耳に対する、音源の放射方向を示すベクトルは、前記の式（１０）で表わされる。
Figure 2022034267000028
 への正射影オペレーターを、下の式（１４）とする。
Figure 2022034267000029
Figure 2022034267000030
 への、式（１０）のベクトルの、正射影は、上の式（１４）のオペレーターを用いて、下の式（１５）のように表される。
Figure 2022034267000031
Figure 2022034267000032
 を基準とした仰角
Figure 2022034267000033
 は、下の式（１６）で表わされる。
Figure 2022034267000034
［３．音源の放射特性の選択：頭部を回折して耳に伝播する条件］
伝播経路が回折伝播であるか否かを判定するのは、伝播経路導出部である。伝播経路導出部が導出した経路に基づいて、音源からの放射方向を決定するのは音源放射方向決定部である。放射方向に基づいて、音源からの放射特性を決定（選択）するのは、音源放射特性選択部である。
バーチャル音響空間において、音源からリスナーの耳（左耳あるいは右耳）に、音波がリスナーの頭部を回折して伝播する条件は、音源からその耳が見通せない場合である。この場合を式で表わすと、下の式（１７）の通りである。
Figure 2022034267000035
図７は、バーチャル音響空間内の、リスナーの両耳の座標位置と、音源の座標位置とを含む平面Ｑを模式的に示す概略図である。なお、両耳の座標と、音源の座標は、次の通りである。
Figure 2022034267000036
 の終点が両耳（それぞれ、左耳および右耳）の座標である。
Figure 2022034267000037
 の終点が音源の座標である。
平面Ｑにおいて、ｍ，ｎ＞０の条件下で考える。
Figure 2022034267000038
 はベクトルであり、下の式（１８）、式（１９）、式（２０）を満たす。なお、式（１９）および式（２０）の左辺の演算子「＜｜＞」は、ベクトルの内積をとる演算を表す。
Figure 2022034267000039
Figure 2022034267000040
Figure 2022034267000041
Figure 2022034267000042
 は、リスナーの頭部に対応する球面上の一点の位置ベクトルであり、この点は平面Ｑに属する。音源から、直線による伝播で当該球面上の一点に到達し、その点から球面にそって回折して右耳（この例では右耳に着目）に至る経路は多数存在するが、それらの経路のうちの長さが最短となる経路において上記のように「直線による伝播で当該球面上の一点に到達」するときのその点の位置ベクトルが
Figure 2022034267000043
 である。
Figure 2022034267000044
 の終点は、平面Ｑにおける、音源から放射された音波の伝播方向を表す直線（頭部表面の円と接する直線）と頭部表面との接点である。このとき、音源から着目している側の耳（ここでは右耳）に最初に到達する音波は、音源から、下の式（２１）で表わす方向に放射される音波である。
Figure 2022034267000045
この音波は、頭部表面の上記接点の位置に到達した後は、頭部表面を回折して、着目している耳（ここでは右耳）に到達する。この音波は、音源の放射特性における、下の式（２２）で表わされる方向の成分である。
Figure 2022034267000046
Figure 2022034267000047
 への正射影オペレーターを、下の式（２３）とする。
Figure 2022034267000048
Figure 2022034267000049
 への、式（２２）のベクトル（音源の放射方向を示すベクトル）の、正射影は、上の式（２３）のオペレーターを用いて、下の式（２４）のように表される。
Figure 2022034267000050
Figure 2022034267000051
 を基準とした方位角
Figure 2022034267000052
 は、下の式（２５）で表わされる。
Figure 2022034267000053
正規直交基底ｅが張る３次元空間における、式（２２）で表わされるベクトル（音源の放射方向を示すベクトル）の、正射影を考える。
Figure 2022034267000054
 への正射影オペレーターを、下の式（２６）とする。
Figure 2022034267000055
Figure 2022034267000056
 への、式（２２）のベクトルの、正射影は、上の式（２６）のオペレーターを用いて、下の式（２７）のように表される。
Figure 2022034267000057
Figure 2022034267000058
 を基準とした仰角
Figure 2022034267000059
 は、下の式（２８）で表わされる。
Figure 2022034267000060
［４．頭部伝達関数の選択］
採用される頭部伝達関数は、リスナーと音源との位置関係から、正規直交基底ｅが張る３次元空間において式（２９）のベクトルが示す方向に対応する伝達関数である。なお、ここでは、頭部伝達関数データベース３１に合わせて、ベクトルが示す方向を定めている。
Figure 2022034267000061
以下では、上の式（２９）で表わされるベクトルの、極座標表示における、方位角φｉｎｃおよび仰角θｉｎｃを、それぞれ導出する。
Figure 2022034267000062
 への正射影オペレーターを、下の式（３０）とする。
Figure 2022034267000063
Figure 2022034267000064
 への、式（２９）のベクトルの正射影は、上の式（３０）のオペレーターを用いて、下の式（３１）のように表される。
Figure 2022034267000065
Figure 2022034267000066
 を基準とした方位角φｉｎｃは、下の式（３２）で表わされる。
Figure 2022034267000067
Figure 2022034267000068
 への正射影オペレーターを、下の式（３３）とする。
Figure 2022034267000069
Figure 2022034267000070
 への、式（２９）のベクトルの正射影は、上の式（３３）のオペレーターを用いて、下の式（３４）のように表される。
Figure 2022034267000071
Figure 2022034267000072
 を基準とした仰角θｉｎｃは、下の式（３５）で表わされる。
Figure 2022034267000073
［５．バイノーラル再生信号の生成］
以下では、音源から耳までの最短経路のみを考慮する場合と、音源から耳までの最短経路以外を考慮する場合とのそれぞれについて、バイノーラル再生信号の生成方法を説明する。
まず、最短経路のみを考慮する場合について説明する。
音源から耳に直接伝播する条件において、再生信号の角周波数ωの成分は、下の式（３６）で表わされる。なお、方位角φ、仰角θ、角周波数ωに対応する頭部伝達関数をＨ（φ，θ，ω）とする。また、方位角φ、仰角θの方向に向かって音源からの距離ｄの位置に放射される音声信号をＳ（ｄ，φ，θ，ω）とする。
Figure 2022034267000074
Figure 2022034267000075
 は、直接伝播する条件における再生信号の角周波数ωの成分である。
上の式（３６）が表す信号は、片側の耳に着目したものであり、１チャンネル分（その耳に対応する分の信号）である。
音源から耳に回折伝播する条件においては、再生信号の角周波数ωの成分は、下の式（３７）に表す通りである。
Figure 2022034267000076
Figure 2022034267000077
 は、回折伝播する条件における再生信号の角周波数ωの成分である。
ここで、片方の耳には直接伝播、他方の耳には回折伝播であるときの、２チャンネル分の（即ち両耳の）バイノーラル再生信号を求める。例えば、左耳が直接伝播の条件、右耳が回折伝播の条件にあたる場合（左右逆の場合でも本質的には同様）、２チャンネル分のバイノーラル再生信号Ｂ（ω）は、下の式（３８）で表わされる。
Figure 2022034267000078
両耳とも回折伝播の条件にあたる場合には、２チャンネル分のバイノーラル再生信号Ｂ（ω）は、下の式（３９）で表わされる。
Figure 2022034267000079
なお、上では頭部伝達関数をＨ（φ，θ，ω）としたが、音源からリスナーまでの距離ｄをさらに引数として、頭部伝達関数をＨ（ｄ，φ，θ，ω）などとしてもよい。
次に、音源から耳までの最短経路以外をも考慮する場合について説明する。つまり、ここでは、音源から放射される音波のうち、最短経路の方向以外の方向に放射された音波の寄与を考慮する。
つまり、音源から任意の方向に放射された音波が、音源から着目する耳に直接伝播する場合および回折伝播する場合のそれぞれについて、下の式（４０）および式（４１）で、再生信号の角周波数ωの成分を表すことができる。
Figure 2022034267000080
Figure 2022034267000081
ただし、式（４０）および式（４１）に関して、次の通りである。φｒａｄおよびθｒａｄは、音源からの音波の放射方向（それぞれ、方位角および仰角）である。
Figure 2022034267000082
 は、着目している耳への最短経路の方向（それぞれ、直接伝播の条件の場合と回折伝播の条件の場合の、方位角および仰角）である。
φｉｎｃおよびθｉｎｃは、音源から頭部中心への方向（方位角および仰角）である。
Figure 2022034267000083
 は、直接伝播の条件にあたる場合の重み付け係数である。即ち、直接伝播に係る重み付け係数は、音源からの音波の放射方向、音源から着目している耳への最短経路の方向、および音源から頭部中心への方向に対応して定まる。従って、式（４０）は、各耳に伝播する再生信号の各周波数ωの成分を、直接伝播に係る最短経路の成分（以下、直接最短経路成分）と、最短経路以外の放射方向の成分（以下、非直接最短経路成分）を合成して得られることを示す。直接最短経路成分は、音源から頭部中心への方向の伝達関数を、音源から着目している耳への最短経路の方向への音響特性を有する音声信号の周波数成分に作用、つまり乗算して得られる。非直接最短経路成分は、音源から頭部中心への方向の伝達関数に、音源から着目している耳への音源の放射方向ごとの音響特性を有する音声信号の周波数成分と直接伝播における重み係数との乗算値の放射方向間の総和、つまり加重和となる。
Figure 2022034267000084
 は、回折伝播の条件にあたる場合の重み付け係数である。即ち、回折伝播に係る重み付け係数は、音源からの音波の放射方向、音源から着目している耳への最短経路の方向および音源から頭部中心への方向に対応して定まる。従って、式（４１）は、各耳に伝播する再生信号の各周波数ωの成分を、回折伝播に係る最短経路の成分（以下、回折最短経路成分）と、最短経路以外の放射方向の成分（以下、非回折最短経路成分）を合成して得られることを示す。回折最短経路成分は、音源から頭部中心への方向の伝達関数を、音源から着目している耳への回折伝播に係る最短経路の方向への音響特性を有する音声信号周波数成分に作用、つまり、乗算して得られる。非回折最短経路成分は、音源から頭部中心への方向の伝達関数に、音源から着目している耳への音源の放射方向ごとの音響特性を有する音声信号の周波数成分と回折伝播における重み係数との加重和となる。
ただし、これらの重み付け係数を、解析的に決定することは困難である。放射方向別に重み付けした音源の信号を、任意の重み付けで任意の個数（方向分）加えてもよい。バイノーラル信号生成部には、直接伝播、回折伝播のそれぞれについて、音源からの音波の放射方向、音源から着目している耳への最短経路の方向および音源から頭部中心への方向の組ごとに重み付け係数を予め設定しておいてもよい。バイノーラル信号生成部は、設定しておいた重み係数から、音源からの音波の放射方向、音源から着目している耳への最短経路の方向および音源から頭部中心への方向に対応する重み係数を選択することができる。
なお、音源からの方向を示すφｒａｄおよびθｒａｄの範囲および分解能（サンプリングの細かさ）については、適宜自由に決めることができるようにする。
バイノーラル信号生成部は、上記の式（４０）および式（４１）により、バイノーラル信号を導出することができる。バイノーラル信号の導出については、式（３８）および式（３９）を参照。
なお、上述した実施形態におけるバイノーラル再生装置の少なくとも一部の機能をコンピューターで実現することができる。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、一時的に、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上説明した実施形態におけるオプションや、変形例について、次に説明する。組み合わせることができる限りにおいて、複数のオプションあるいは変形例を組み合わせて実施してよい。
（１）実施形態で説明したように、音源データベース２４は、照会される引数に応じた音源の音響特性を有する音声信号のデータを応答するものである。このときの引数としては、φ（方位角）、θ（仰角）、ω（周波数（または角周波数））が必須であるが、r（距離）はオプションとしてよい。つまり、音源データベース２４は、距離ｒに応じた音声信号のデータを保持または生成してもよいし、距離ｒに依存しない音声信号のデータを保持または生成してもよい。左耳用音源放射方向決定部２１や右耳用音源放射方向決定部２２は、音源からの放射方向および周波数を必須の引数として、音源データベース２４に格納されている音声信号を選択する。このとき左耳用音源放射方向決定部２１や右耳用音源放射方向決定部２２が、音源データベース２４に、距離（ｒ）を引数として渡すようにしても良いし、渡さないようにしても良い。言い換えれば、左耳用音源放射方向決定部２１や右耳用音源放射方向決定部２２は、距離に依存した音響特性を有する音声信号を選択してもよいし、距離に依存しない音響特性を有する音声信号を選択してもよい。なお、距離は、リスナーの座標と、音源の座標とから算出可能である。リスナーの座標とは、頭部中心の座標、左耳の座標、右耳の座標、あるいは回折伝播の場合の音波の頭部表面への到達点（図７に示した円と直線との接点）の座標等のいずれかであってよい。
上記の距離（ｒ）は、音源からリスナーへの距離である。この距離は、音源から着目する耳までの直線距離であってよい。回折伝播の場合には、この距離は、音源から最初に到達するリスナーの頭部表面の点までの距離であってよい。回折伝播の場合には、この距離は、回折する際の経路をも含む全体的な経路の長さであってもよい。この距離は、音源からリスナーの頭部中心までの距離等で近似されてもよい。
（２）また、頭部伝達関数選択部３２が、頭部伝達関数データベース３１から頭部伝達関数を選択する場合にも、距離に依存して頭部伝達関数を選択するようにしてもよいし、距離に依存しない頭部伝達関数を選択するようにしてもよい。
（３）音響特性は、さらに、モーラ別、音素別、単音ごと、男女別、年齢別、楽器別、など、様々な場合分けに基づいて分類されてもよい。この場合、音源データベース２４は、ここに列挙した場合ごとの音響特性を有する音声信号を保持する。左耳用音源放射方向決定部２１や右耳用音源放射方向決定部２２は、場合分けを行う場合のそれぞれの条件に応じた音響特性を有する音声信号を、音源データベース２４から選択的に取得するようにする。
上記（２）や（３）の変形例を実施する場合、次の通りである。音源データベース２４は、方向だけではなく、音源からリスナーまでの距離と、音源から発せられる人声に含まれるモーラの種類と、音源から発せられる人声に含まれる音素の種類と、音源から発せられる人声を発した人の性別と、音源から発せられる人声を発した人の年齢別と、音源となる楽器の種類と、の少なくともいずれかにも応じた放射特性の情報を保持する。人声とは、人が発話して生じた音声のことを意味する。その場合には、音源は人となりうる。音源放射方向決定部（左耳用音源放射方向決定部２１や右耳用音源放射方向決定部２２）は、音源データベース２４の構成に対応する引数を用いて音声信号の照会を行う。つまり、音源放射方向決定部は、方向だけではなく、音源からリスナーまでの距離と、音源から発せられる人声に含まれるモーラの種類と、音源から発せられる人声に含まれる音素の種類と、音源から発せられる人声を発した人の性別と、音源から発せられる人声を発した人の年齢別と、音源となる楽器の種類と、の少なくともいずれかにも応じた前記音源放射特性を有する音声信号を、音源データベース２４から選択して取得する。音源放射方向決定部は、上記の照会のために必要な情報（モーラの種類、音素の種類、人声を発した人の性別、人声を発した人の年齢あるいは年齢層等、楽器の種類などといった情報）を、適宜取得してもよいし、予め設定させておいてもよい。音源放射方向決定部は、例えば、コンテンツのメタデータ等から上記の引数等のために必要な情報を取得してもよいし、予め設定させておいてもよい。
（４）再生信号の生成に際して、頭部伝達関数は一般に無響室での応答であるが、代わりに有響室における頭部インパルス応答であるバイノーラル室内インパルス応答（binaural room impulse response：BRIR）を用いても良い。この場合、頭部インパルス応答を予め測定し、頭部インパルス応答データベース（不図示）に記憶しておく。頭部インパルス応答は、有響室において測定されたものであってよい。頭部インパルス応答データベースは、頭部からの方向ごとの頭部インパルス応答を各耳について保持する。そして、頭部インパルス応答選択部（不図示）は、頭部あるいは耳に対して音波が到来する方向の左耳用頭部インパルス応答と右耳用頭部インパルス応答を、頭部インパルス応答データベースから選択する。バイノーラル信号生成部３５３（左耳用）あるいはバイノーラル信号生成部３６３（右耳用）は、実施形態に記載した左耳用頭部伝達関数と右耳用頭部伝達関数に代えて、上で選択された左耳用頭部インパルス応答と右耳用頭部インパルス応答を用いて、音源データベース２４から出力された音声信号から、それぞれ左耳用再生信号と右耳用再生信号を生成する。
つまり、本変形例では、頭部伝達関数データベースに代わって、頭部インパルス応答データベースが存在する。頭部インパルス応答データベースは、リスナーの頭部中心からの方向に応じた頭部インパルス応答を保持するものである。頭部インパルス応答選択部は、頭部インパルス応答データベースから、特定の頭部インパルス応答を選択する。より具体的には、頭部インパルス応答選択部は、リスナーの頭部中心の位置と音源の位置とによって特定されるリスナーの頭部中心から音源への方向に基づいて、頭部インパルス応答データベースから頭部インパルス応答を選択する。そして、再生信号生成部は、音源の音声信号と、音声信号取得時の前記音源の位置および向きの情報と、音源データベースと、音源放射特性選択部が選択した放射特性と、頭部インパルス応答選択部が選択した頭部インパルス応答とに基づいて、着目している耳用の再生信号を生成する。つまり、本変形例では、再生信号生成部は、頭部伝達関数に代えて頭部インパルス応答を用いることによって、頭部およびその近傍での音響作用の結果である再生信号を生成する。
（５）頭部伝達関数と、頭部インパルス応答とは、いずれも、リスナーの頭部およびその近傍における音響的作用の結果を求めるためのものである。つまり、頭部伝達関数と頭部インパルス応答とを含んで、より一般的に、頭部およびその近傍における音響的作用を行うものを、頭部音響作用素と呼ぶことができる。頭部音響作用素データベース（頭部伝達関数データベースや頭部インパルス応答データベースを含む）は、少なくとも頭部からの方向に応じた頭部音響作用素を保持する。頭部音響作用素選択部（頭部伝達関数選択部や頭部インパルス応答選択部を含む）は、頭部から音源到来の方向に基づいて、特定の方向に応じた頭部音響作用素を、頭部音響作用素データベースから選択する。バイノーラル信号生成部３５３（左耳用）あるいはバイノーラル信号生成部３６３（右耳用）は、一般化すると、上で選択された頭部音響作用素を用いて、音源データベース２４から出力された音声信号から、再生信号を生成する。
（６）前述の通り、音源が複数の場合にも、バイノーラル再生装置１が再生信号を生成するように構成可能である。この場合、バイノーラル再生装置１は、複数の音源それぞれについて、前述の方法で再生信号を生成する。つまり、伝播経路導出部（左耳用伝播経路判定部１９や右耳用伝播経路判定部２０）は、各々の音源について伝播経路を導出する。音源放射方向決定部（左耳用音源放射方向決定部２１や右耳用音源放射方向決定部２２）は、各々の音源について放射方向を決定する。頭部伝達関数選択部は、各々の音源について頭部伝達関数データベース３１から伝達関数を選択する。再生信号生成部（左耳用再生信号生成部３５や右耳用再生信号生成部３６）は、各々の音源について再生信号を生成する。
（７）上記の音源が複数の場合において、再生信号生成部（左耳用再生信号生成部３５や右耳用再生信号生成部３６）は、各々の音源について生成した再生信号を重畳した重畳再生信号を生成して出力してよい。再生信号生成部は、例えば、すべての音源についてそれぞれ生成した再生信号を重畳した重畳再生信号を生成して出力することができる。また、音源情報取得部１２は、１個または複数の音源のそれぞれについて、音源の種別と位置および向きの情報を取得してもよい。音源データベース２４は、複数種別の音源のそれぞれについて、それぞれの種別の音源から放射される音声信号を保持または生成可能とする。音源データベースは、音源情報取得部１２で取得された個々の音源の種別に対応する音声信号のうち、放射方向決定部により、その個々の音源について決定された放射方向に対応した音響特性を有する音声信号を再生信号生成部に出力する。個々の音源の種別として、上記（３）に記載の「場合」と同様の事項、例えば、モーラの種類、音素の種類、人声の性別、人声の年齢あるいは年齢層等、楽器の種類のいずれか、または、それらの組み合わせが指示されてもよい。
（８）前述の通り、リスナーが複数の場合にも、バイノーラル再生装置１が各リスナー用の再生信号を生成するように構成可能である。この場合、バイノーラル再生装置１は、複数のリスナーのそれぞれについて、前述の方法で再生信号を生成する。バイノーラル再生装置１は、生成した各リスナー用の再生信号を、例えば各リスナー用のヘッドホン等（音声出力手段）に出力する。つまり、伝播経路導出部は、各々のリスナーについて伝播経路を導出する。音源放射方向決定部は、各々のリスナーについて放射方向を決定する。頭部伝達関数選択部は、各々のリスナーについて伝達関数を選択する。再生信号生成部は、各々のリスナーについて再生信号を生成する。このような構成により、バイノーラル再生装置１は、同一の音源（または音源集合）について、位置や姿勢等の異なる複数のリスナー用のバイノーラル再生の信号をそれぞれ生成することができる。
以上、この発明の実施形態およびオプションあるいは変形例について、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本発明は、例えば、バイノーラル再生を行うための機器やプログラムに利用することができる。但し、本発明の利用範囲はここに例示したものには限られない。
１ バイノーラル再生装置
１１ リスナー情報取得部
１２ 音源情報取得部
１５ リスナー頭部形状取得部
１７ 左耳座標取得部
１８ 右耳座標取得部
１９ 左耳用伝播経路判定部（伝播経路導出部）
２０ 右耳用伝播経路判定部（伝播経路導出部）
２１ 左耳用音源放射方向決定部（音源放射方向決定部）
２２ 右耳用音源放射方向決定部（音源放射方向決定部）
２４ 音源データベース
３１ 頭部伝達関数データベース
３２ 頭部伝達関数選択部
３５ 左耳用再生信号生成部（再生信号生成部）
３６ 右耳用再生信号生成部（再生信号生成部）
１９１ 音源・頭部中心間距離算出部
１９２ 左耳・頭部中心間距離算出部
１９３ 左耳・音源間距離算出部
１９４ 比較判定部
３５１ 音声信号取得部
３５３ バイノーラル信号生成部

Claims (10)

  1. リスナーの頭部中心からの方向に応じた伝達関数を保持する頭部伝達関数データベースと、
    音源の位置と、前記リスナーの頭部形状と、前記リスナーの耳の位置とを基に、前記音源から前記耳への音の伝播経路を導出する伝播経路導出部と、
    導出された前記伝播経路に基づいて、前記音源から前記耳への放射方向を決定する音源放射方向決定部と、
    決定された前記放射方向に対応した音響特性を有する音声信号を出力する音源データベースと、
    前記リスナーの頭部中心の位置と前記音源の位置とによって特定されるリスナーの頭部中心から音源への方向に基づいて、前記頭部伝達関数データベースから前記伝達関数を選択する頭部伝達関数選択部と、
    出力された音声信号と、前記頭部伝達関数選択部が選択した前記伝達関数と、に基づいて、前記耳用の再生信号を生成する再生信号生成部と、
    を具備するバイノーラル再生装置。
  2. 前記耳は、左耳と右耳とのそれぞれであり、
    前記頭部伝達関数データベースは、前記左耳と前記右耳とのそれぞれの伝達関数を左耳用頭部伝達関数と右耳用頭部伝達関数として保持し、
    前記伝播経路導出部は、前記音源から前記左耳と前記右耳への音のそれぞれの前記伝播経路を導出するものであり、
    前記音源放射方向決定部は、前記音源から前記左耳と前記右耳とのそれぞれへの前記放射方向を決定するものであり、
    前記音源データベースは、前記左耳への放射方向に対応した音響特性を有する音声信号を左耳用音声信号として選択し、前記右耳への放射方向に対応した音響特性を有する音声信号を右耳用音声信号として選択するものであり、
    前記頭部伝達関数選択部は、前記音源への方向に対応する左耳用頭部伝達関数と右耳用頭部伝達関数を選択するものであり、
    前記再生信号生成部は、前記左耳用音声信号と前記左耳用頭部伝達関数に基づいて左耳用の前記再生信号を生成し、前記右耳用音声信号と前記右耳用頭部伝達関数に基づいて右耳用の前記再生信号を生成するものである、
    請求項１に記載のバイノーラル再生装置。
  3. 前記音源は複数であり、
    前記音源データベースは、各々の前記音源について前記音声信号を出力するものであり、
    前記伝播経路導出部は、各々の前記音源について前記伝播経路を導出するものであり、
    前記音源放射方向決定部は、各々の前記音源について前記放射方向を決定するものであり、
    前記頭部伝達関数選択部は、各々の前記音源について前記頭部伝達関数データベースから前記伝達関数を選択するものであり、
    前記再生信号生成部は、各々の前記音源について前記再生信号を生成するものである、
    請求項１または２に記載のバイノーラル再生装置。
  4. 前記再生信号生成部は、各々の前記音源について生成した前記再生信号を重畳した重畳再生信号を生成するものである、
    請求項３に記載のバイノーラル再生装置。
  5. 前記リスナーは複数であり、
    前記伝播経路導出部は、各々の前記リスナーについて前記伝播経路を導出するものであり、
    前記音源放射方向決定部は、各々の前記リスナーについて前記放射方向を決定するものであり、
    前記頭部伝達関数選択部は、各々の前記リスナーについて前記伝達関数を選択するものであり、
    前記再生信号生成部は、各々の前記リスナーについて前記再生信号を生成するものである、
    請求項１から４までのいずれか一項に記載のバイノーラル再生装置。
  6. 前記音源データベースは、
    前記音源から前記リスナーまでの距離と、
    前記音源から発せられる人声に含まれるモーラの種類と、
    前記音源から発せられる人声に含まれる音素の種類と、
    前記音源から発生られる人声の性別と、
    前記音源から発生られる人声の年齢別と、
    前記音源の楽器の種類と、
    の少なくともいずれかにも対応した前記音響特性を有する音声信号を保持し、
    前記音源から前記リスナーまでの距離と、
    前記音源から発せられる人声に含まれるモーラの種類と、
    前記音源から発せられる人声に含まれる音素の種類と、
    前記音源から発生られる人声の性別と、
    前記音源から発生られる人声の年齢別と、
    前記音源の楽器の種類と、
    の少なくともいずれかにも対応した前記音響特性を有する音声信号を選択する、
    請求項１から５までのいずれか一項に記載のバイノーラル再生装置。
  7. 前記伝播経路導出部は、前記音源から前記耳が見通せる場合には前記音源から前記耳への直接伝播が最短経路になる前記伝播経路を導出し、前記音源から前記耳が見通せない場合には前記音源から前記耳への頭部を回折する回折伝播が最短経路になる前記伝播経路を導出し、
    前記音源放射方向決定部は、前記伝播経路が直接伝播によるものか回折伝播によるものかに応じた前記放射方向を決定する、
    請求項１から６までのいずれか一項に記載のバイノーラル再生装置。
  8. 前記再生信号生成部は、
    前記音源から前記耳に到来する音の成分のうち、前記最短経路の方向に係る最短経路成分と、前記最短経路の方向以外の放射方向に係る非最短経路成分を合成して当該耳の再生信号を生成するバイノーラル信号生成部を含み、
    前記バイノーラル信号生成部は、
    前記リスナーの頭部中心からの方向に応じた伝達関数を、前記最短経路の方向への音響特性を有する音声信号に作用して前記最短経路成分を生成し、
    前記リスナーの頭部中心からの方向に応じた伝達関数を、前記最短経路以外の伝播経路の方向ごとに対応した音響特性を有する単一または複数の音声信号の当該伝播経路に係る重み係数に基づく加重和に作用して前記非最短経路成分を生成し、
    前記重み係数は、前記音源からの音波の放射方向、前記最短経路の方向、および、前記音源から前記頭部中心への方向に対応して決定される
    請求項７に記載のバイノーラル再生装置。
  9. リスナーの頭部中心からの方向に応じた頭部インパルス応答を保持する頭部インパルス応答データベースと、
    音源の位置と、前記リスナーの頭部形状と、前記リスナーの耳の位置とを基に、前記音源から前記耳への音の伝播経路を導出する伝播経路導出部と、
    導出された前記伝播経路に基づいて、前記音源から前記耳への放射方向を決定する音源放射方向決定部と、
    決定された前記放射方向に対応した音響特性を有する音声信号を出力する音源データベースと、
    前記リスナーの頭部中心の位置と前記音源の位置とによって特定されるリスナーの頭部中心から音源への方向に基づいて、前記頭部インパルス応答データベースから前記頭部インパルス応答を選択する頭部インパルス応答選択部と、
    出力された音声信号と、前記頭部インパルス応答選択部が選択した前記頭部インパルス応答と、に基づいて、前記耳用の再生信号を生成する再生信号生成部と、
    を具備するバイノーラル再生装置。
  10. コンピューターを、
    請求項１から９までのいずれか一項に記載のバイノーラル再生装置、
    として機能させるためのプログラム。
JP2020137979A 2020-08-18 2020-08-18 バイノーラル再生装置およびプログラム Pending JP2022034267A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020137979A JP2022034267A (ja) 2020-08-18 2020-08-18 バイノーラル再生装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020137979A JP2022034267A (ja) 2020-08-18 2020-08-18 バイノーラル再生装置およびプログラム

Publications (1)

Publication Number Publication Date
JP2022034267A true JP2022034267A (ja) 2022-03-03

Family

ID=80441976

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020137979A Pending JP2022034267A (ja) 2020-08-18 2020-08-18 バイノーラル再生装置およびプログラム

Country Status (1)

Country Link
JP (1) JP2022034267A (ja)

Similar Documents

Publication Publication Date Title
JP7367785B2 (ja) 音声処理装置および方法、並びにプログラム
US10382849B2 (en) Spatial audio processing apparatus
JP4343845B2 (ja) オーディオデータ処理方法及びこの方法を実現する集音装置
TWI713866B (zh) 用於生成增強聲場描述的裝置與方法以及其計算機程式與記錄媒體
CN105323684B (zh) 声场合成近似方法、单极贡献确定装置及声音渲染系统
US6990205B1 (en) Apparatus and method for producing virtual acoustic sound
CN102395098B (zh) 生成3d声音的方法和设备
CN109891503B (zh) 声学场景回放方法和装置
TWI692753B (zh) 生成增強的聲場描述的裝置與方法及其計算機程式與記錄媒體、和生成修改的聲場描述的裝置及方法及其計算機程式
Sakamoto et al. Sound-space recording and binaural presentation system based on a 252-channel microphone array
CN109314832A (zh) 音频信号处理方法和设备
Rabenstein et al. Sound field reproduction
Otani et al. Binaural Ambisonics: Its optimization and applications for auralization
Ifergan et al. On the selection of the number of beamformers in beamforming-based binaural reproduction
Peled et al. Objective performance analysis of spherical microphone arrays for speech enhancement in rooms
Guthrie Stage acoustics for musicians: A multidimensional approach using 3D ambisonic technology
JP2022034267A (ja) バイノーラル再生装置およびプログラム
JP6569945B2 (ja) バイノーラル音生成装置、マイクロホンアレイ、バイノーラル音生成方法、プログラム
Koyama Boundary integral approach to sound field transform and reproduction
Zhang et al. Parameterization of the binaural room transfer function using modal decomposition
WO2023085186A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2021212287A1 (zh) 音频信号处理方法、音频处理装置及录音设备
Kokabi et al. Prediction of speech intelligibility using pseudo-binaural room impulse responses
Geronazzo Sound Spatialization.
Choi Source-width extension technique for sound field reproduction systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230718

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240311

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240423