JP2022104731A - 立体音響処理装置、立体音響処理方法及び立体音響処理プログラム - Google Patents

立体音響処理装置、立体音響処理方法及び立体音響処理プログラム Download PDF

Info

Publication number
JP2022104731A
JP2022104731A JP2020219867A JP2020219867A JP2022104731A JP 2022104731 A JP2022104731 A JP 2022104731A JP 2020219867 A JP2020219867 A JP 2020219867A JP 2020219867 A JP2020219867 A JP 2020219867A JP 2022104731 A JP2022104731 A JP 2022104731A
Authority
JP
Japan
Prior art keywords
processing
signal
stereophonic
processing unit
frequency band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020219867A
Other languages
English (en)
Other versions
JP7319687B2 (ja
Inventor
宏 岩村
Hiroshi Iwamura
興一郎 落合
Koichiro Ochiai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audiision Sound Lab LLC
Original Assignee
Audiision Sound Lab LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audiision Sound Lab LLC filed Critical Audiision Sound Lab LLC
Priority to JP2020219867A priority Critical patent/JP7319687B2/ja
Priority to PCT/JP2021/043354 priority patent/WO2022145154A1/ja
Publication of JP2022104731A publication Critical patent/JP2022104731A/ja
Application granted granted Critical
Publication of JP7319687B2 publication Critical patent/JP7319687B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

【課題】少ない演算量及び記憶容量で音像定位を容易に実現するイヤホン用の再生音を頭外定位化する立体音響処理装置、その処理方法及びそのプログラムを提供する。【解決手段】立体音響処理装置１０は、入力信号の少なくとも第１周波数帯域を頭外定位処理する立体処理部１と、立体処理部１に接続され、入力信号の第２周波数帯域の少なくとも一部分に、反射音成分を付加する反射処理部２と、を備える。立体処理部１は、左右一対のみの伝達関数の係数が予め又は選択により付与された立体処理フィルタを含む。左右一対のみの伝達関数は、水平面方位角４５°～９０°の一角度のみにおける音源位置から左右各耳までの一対の頭部伝達関数に対し、音源信号の第２周波数帯域に相当する帯域が抑圧又は減衰処理された、左右一対のみの高域抑圧伝達関数である。【選択図】図１

Description

本発明は、イヤホン用の再生音を頭外定位化する立体音響処理装置、その処理方法及びそのプログラムに関する。
音声をスピーカー再生する場合、複数スピーカーの１つから発せられた音は、直接耳に届く直接音と、壁や床で反射して耳に届く反射音とに分けられる。直接音は、直線的に耳の鼓膜に到達し、また、頭での回り込み・反射、耳介及び外耳道での反射・共鳴等の影響を受けて鼓膜に到達する。直接音には、頭部周辺による入射音の物理特性変化を周波数領域で表現した頭部伝達関数（HRTF：Head-Related Transfer Function）が加味されている。
通常、周波数［kHz］（横軸）に対する相対振幅［dB］（縦軸）でグラフに表される頭部伝達関数は、時間領域［ms］（横軸）に対する相対振幅［dB］（縦軸）でグラフに表される頭部インパルス応答（Head-Related Impulse Response）とフーリエ変換対の関係にある。相対振幅は、音源信号に対する受信信号の振幅比の対数を２０倍して表される。頭部伝達関数は、左右の耳で相違する。左右の頭部伝達関数HRTFL,HRTFRを得るために、最初に、無響室の自由音場にて、音源からダミーヘッド（擬似頭）又は人間の頭部両耳に付したマイクまでの左右インパルス応答gL,gRを、同じ音源から頭部が無い状態の頭部中心相当位置のマイクまでのブランクのインパルス応答gCで除して左右の頭部インパルス応答（gL／gC＝HRIRL，gR／gC＝HRIRR）を取得し、次に、左右の頭部インパルス応答HRIRL,HRIRRをそれぞれフーリエ変換Ｆして、左右の頭部伝達関数が得られる（ＦHRIRL＝HRTFL，ＦHRIRR＝HRTFR）。
一方、音声をイヤホン又はヘッドバンド付きイヤホン（ヘッドホン）で再生する場合、ヘッドホン等の音出部からの音は、スピーカーからの音と異なり、頭部周辺形状の影響をほぼ受けずに鼓膜に到達し、頭部伝達関数が加味されない。このため、ヘッドホン装着者の脳は、音の立体感（立体音響、立体音像、三次元音響、音像定位、頭外定位）を認識できず、左右耳間の頭内に限定した狭い音像しか得られない（頭内定位）。狭い音像は、立体音が得られないだけでなく、ヘッドホン装着者は不快感を伴い、長時間の聴音により脳疲労を引き起こす。
イヤホン又はヘッドホンによる再生で立体音を得る方法として、人間の両耳又はダミーヘッドに付けたマイクにより頭部伝達関数を含む音源を録音し、その音源信号をヘッドホンで再生する、頭部周辺形状の特性を加味したバイノーラル再生方式が知られる。しかし、立体音の認識（頭部伝達関数）は、個人差が大きく、バイノーラル再生方式では、マイクを付けた人間又はダミーヘッドに頭部伝達関数が近似する以外の者は、立体音像を正しく認識できない。事実上、マイクを付けた人間のみが、この再生方式で立体音像の効果が得られ、また、標準化及び平均化を試みるダミーヘッドでも、頭部伝達関数の個人差の弊害を解消できない。
ヘッドホン等再生により立体音を得る方法として、予め又は再生時に計測して取得した頭部伝達関数を演算により音源信号に畳み込み、音源信号を補正し立体音像を形成する方法が知られる。これは、ダミーヘッド等による前記標準化及び平均化の試みとは逆に、個人化、即ち聴者固有の頭部伝達関数を計測して再生時に音源信号を補正する方法である。しかし、頭部伝達関数の計測は、無響室で特殊装置により高精度に実行される必要があり、一般聴者への採用として現実的ではない。頭部伝達関数の簡易計測方法も存在するが、精度不足のため、各人固有の頭部伝達関数が高精度に得られず、立体効果が十分に得られない。
頭部伝達関数は、個人差だけでなく、音源の位置、即ち角度や距離により相違し、その周波数特性が極めて複雑である。このため、頭部伝達関数を音源信号に畳み込み、補正する際、演算量が極めて多く、演算処理速度低下、装置の大型化を招く。頭部伝達関数を用いて立体音響を実現するには、ヘッドホン装着者固有の特性に高精度で合致した再生音を演算処理で再現する必要があり、僅かでも固有の特性と異なると、正確に音像形成できず、音質変化、頭内定位を生じるため、演算処理装置、記憶装置の容量を必然的に増加しなければならない。
また、複数定位音源（マルチトラック、マルチオブジェクト）の信号を補正する場合、定位音源毎の頭部伝達関数による処理を要し、更に多くの演算が必要となる。
少ない演算量で音像定位を実現すべく、頭外定位のための代表的かつ特徴的ピーク（山）周波数及びディップ（谷）又はノッチ（特に急峻な負のピーク）周波数における頭部伝達関数のみを演算に使用する簡略化手法により、ヘッドホン再生音を立体化する試みがなされている。しかし、この代表的ピーク等と同一でないピーク等を有する聴者は、十分な立体音像が得られず、このような簡略化手法では、個人差の弊害を十分に解消できない。
特許文献１は、受聴者耳介の特定部位の計測寸法から、第１ピークの中心周波数及び帯域幅を推定し、更に第１ノッチの中心周波数及び帯域幅を推定し、各伝達関数を求め、音源信号に畳み込み、個人適応化しバイノーラル信号を生成する立体音再生装置を開示する。しかし、耳介部位各寸法の精密計測は難しく、低精度の計測により、特許文献１の装置では、演算量を低減できても、個人適応化した立体音声信号を生成できない。
また、音声信号を圧縮処理する場合、一般的な頭部伝達関数を畳み込んだ音声信号では、圧縮処理によって高周波数帯域の頭部伝達関数情報が消失し又は記憶されず、立体音響効果が低下する。即ち、頭部伝達関数による高周波数帯域の反射音の遅延（ディレイ）は、直接音から数百μs（０.０００１秒）程度と短く、聴覚心理上認知し難い音として、圧縮処理により低減化又は削除される。これを防止するため、圧縮前に音声信号の高帯域成分を増幅し補正するが、音質変化が生じる。
特許文献２は、入力音声信号に反射音成分を合成する反射音合成処理部と、その出力をフィルタ処理して左右音声信号を出力する頭外定位処理部とを含み、水平方向での所定の音源方向における床面反射音を含む頭部伝達関数の測定に基づく係数が、反射音合成処理部及び頭外定位処理部の各回路に格納され、仮想音像定位処理する装置を開示する。しかし、特許文献２では、音声信号の帯域全体に対し、抑圧又は減衰処理されていない頭部伝達関数が畳み込まれるため、音声信号を圧縮する際、高周波数帯域では、頭部伝達関数の情報が音声信号から消失し、立体音響効果が著しく低下する。
更に、聴者に対し４５°～９０°位置からの音源の場合、音源側の耳では直接音の到達が支配的であり、逆側の耳では頭部に遮蔽され直接音が殆ど届かない。一般的に頭部伝達関数は、精度良く測定するために自由音場（無響室）で測定される。しかし自由音場では反射が無いため、音源と逆側の頭部伝達関数を十分な精度、Ｓ／Ｎ比で測定できず、その頭部伝達関数をそのまま用いると、反射を有する実環境では再現精度が劣化し、人間の音源空間認識が適切に機能しない。
特開２０１７－８５３６２号公報 特開２００９－１０５５６５号公報
そこで、本発明は、少ない演算量及び記憶容量で高音質の立体音を生成するイヤホン又はヘッドホン用の立体音響処理装置及びその処理方法の提供を目的とする。また、聴者各人の認識差が小さく音源に対し音質変化が殆ど無い立体再生音を生成する立体音響処理装置及びその処理方法の提供を目的とする。また、伝達関数を用いて高速処理で立体音像を形成する立体音響処理装置及びその処理方法の提供を目的とする。更に、音声信号の圧縮処理に対し、立体音響効果が低下しない立体音響処理装置及びその処理方法の提供を目的とする。
本発明の立体音響処理装置(10,10’,10”)は、可聴領域の最低域を含む第１周波数帯域(91)と第１周波数帯域(91)よりも高域の第２周波数帯域(92)とを包含する音源信号から、立体音再生信号を生成してイヤホン(50)又はヘッドホンに供給する。入力信号の少なくとも第１周波数帯域(91)を頭外定位処理する立体処理部(1)と、立体処理部(1)に接続され、入力信号の第２周波数帯域(92)の少なくとも一部分に、反射音成分を付加する反射処理部(2)とを備える。立体処理部(1)は、左右一対のみの伝達関数の係数が予め又は選択により付与された立体処理フィルタ(11a-11d)を含み、左右一対のみの伝達関数は、水平面方位角４５°～９０°の一角度のみにおける音源位置から左右各耳までの一対の頭部伝達関数に対し、音源信号の第２周波数帯域に相当する帯域(92’)が抑圧又は減衰処理された、左右一対のみの高域抑圧伝達関数である。
本発明では、一角度のみの伝達関数を使用し、かつ第２周波数帯域に相当する帯域(92’)が抑圧又は減衰処理された高域抑圧伝達関数(BRTF)を使用するため、少ない演算量及びメモリ容量により、音源信号を三次元化処理できる。また、高域抑圧伝達関数(BRTF)は、水平面方位角(θ)４５°～９０°の頭部伝達関数(HRTR)から得られるため、立体音認識の個人差が小さく、イヤホン(50)又はヘッドホンを装着したあらゆる聴者に対し、頭内定位が無く、高音質の立体音を再現できる。更に、本発明では、高域抑圧伝達関数(BRTF)の係数(ｈB0～ｈBn)を予め立体処理部(1)に付与し、作動中に更新しないため、記憶装置及び追加の演算装置を必要とせず、装置全体を小型軽量化でき、イヤホン(50)又はヘッドホンに内蔵できる。又は、本発明では、水平面方位角(θ)一角度における高域抑圧伝達関数(BRTF)の係数(ｈB0～ｈBn)を選択できるため、イヤホン(50)又はヘッドホンの種類により、音声の種類により、また、聴者の好みにより切り替えて、最適な立体音の再生を実現できる。
本発明の立体音響処理装置(10’’’)の他の実施の形態は、音源信号を立体処理装置(10’’’)に入力する第１及び第２入力端(6a,6b)と、第１及び第２入力端(6a,6b)からの入力信号の少なくとも第１周波数帯域(91)を頭外定位処理する立体処理部(1)とを備える。立体処理部(1)は、第１入力端(6a)に接続された第１及び第２立体処理フィルタ(11a,11b)と、第２入力端(6a)に接続された第３及び第４立体処理フィルタ(11c,11d)と、第２及び第３立体処理フィルタ(11b,11c)の両出力信号を左右信号として各々入力し、センター信号及びサイド信号に分離し、サイド信号に反射音成分を付加するＭ／Ｓ処理器(51)と、Ｍ／Ｓ処理器(51)の一方の出力信号と第４立体処理フィルタ(11d)の出力信号とを加算する他方の加算器(16b)と、Ｍ／Ｓ処理器(51)の他方の出力信号と第１立体処理フィルタ(11a)の出力信号とを加算する一方の加算器(16a)とを備える。第１～第４立体処理フィルタ(11a-11d)は、左右一対のみの伝達関数の係数が予め又は選択により付与され、左右一対のみの伝達関数は、水平面方位角４５°～９０°の一角度のみにおける音源位置から左右各耳までの一対の頭部伝達関数に対し、音源信号の第２周波数帯域に相当する帯域(92’)が抑圧又は減衰処理された、左右一対のみの高域抑圧伝達関数である。Ｍ／Ｓ処理器(51)でセンター及びサイド信号に分離し、サイド信号、例えば音源と逆側のサイド信号に反射音を付加することにより、立体空間音響を人間が認識し易い音を生成できる。
本発明の立体音響処理方法は、可聴領域の最低域を含む第１周波数帯域(91)と第１周波数帯域(91)よりも高域の第２周波数帯域(92)とを包含する音源信号から、立体音再生信号を生成してイヤホン(50)又はヘッドホンに供給する。立体処理部(1)の立体処理フィルタ(11a-11d)に、伝達関数の係数を予め付与する過程と、伝達関数の係数が予め付与された立体処理フィルタ(11a-11d)に、音源信号を又は反射処理部(2)の処理信号を入力し、入力信号の少なくとも第１周波数帯域(91)を頭外定位処理して、立体処理部(1)の処理信号を生成する過程とを含む。伝達関数の係数を予め付与する過程は、水平面方位角４５°～９０°の一角度のみにおける音源位置から左右各耳までの左右一対の頭部伝達関数を準備する過程と、左右一対の頭部伝達関数に対し、第２周波数帯域に相当する帯域(92’)を抑圧又は減衰処理して、左右一対の高域抑圧伝達関数を生成する過程と、左右一対の高域抑圧伝達関数を逆フーリ変換により演算処理して、左右一対の高域抑圧インパルス応答を得る過程と、高域抑圧インパルス応答の値に相当する、左右一対のみの高域抑圧伝達関数の係数を、立体処理フィルタ(11a-11d)に予め付与する過程とを含む。
また、本発明の立体音響処理方法の他の実施の形態は、伝達関数の係数を生成及び蓄積する過程と、立体処理部(1)の立体処理フィルタ(11a-11d)に、音源信号を又は反射処理部(2)の処理信号を入力し、入力信号の少なくとも第１周波数帯域(91)を頭外定位処理して、立体処理部(1)の処理信号を生成する過程とを含む。伝達関数の係数を生成及び蓄積する過程は、水平面方位角４５°～９０°の複数角度における各音源位置から左右各耳までの左右複数対の頭部伝達関数を準備する過程と、左右複数対の頭部伝達関数に対し、第２周波数帯域に相当する帯域(92’)を、係数生成部(3)で抑圧又は減衰処理して、左右複数対の高域抑圧伝達関数を生成する過程と、左右複数対の高域抑圧伝達関数を逆フーリエ変換により演算処理して、左右複数対の高域抑圧インパルス応答を得る過程と、高域抑圧インパルス応答の値に相当する、左右複数対の高域抑圧伝達関数の係数を、係数記憶部(4)に蓄積する過程とを含む。立体処理部(1)の処理信号を生成する過程は、係数記憶部(4)に蓄積された左右複数対の高域抑圧伝達関数の係数のうち、左右一対のみの高域抑圧伝達関数の係数を選択する過程と、伝達関数の係数が予め付与されている又は付与されていない立体処理フィルタ(11a-11d)に対し、選択された水平面方位角一角度のみにおける左右一対のみの高域抑圧伝達関数の係数を付与する過程と、左右一対のみの高域抑圧伝達関数の係数が付与された立体処理フィルタ(11a-11d)に対し、音源信号を又は反射処理部(2)の処理信号を通過させて、少なくとも第１周波数帯域(91)について頭外定位処理した立体処理部(1)の処理信号を生成する過程とを含む。
本発明の立体音響処理プログラムは、立体音響処理装置の各部としてコンピュータを機能させる。
本発明の立体音響処理装置及び処理方法及びプログラムでは、個人差の影響が小さく高音質で自然な音質の立体音響を実現できる。また、少ない演算量及び記憶容量により、パソコン、スマートフォン、ゲーム機等にソフトウエアとして搭載でき、また、小型化及び軽量化した本発明の立体音響処理装置を、イヤホン又はヘッドホンに内蔵できる。更に、本発明では、圧縮信号の送信が必要な無線イヤホン又はヘッドホンでも、増幅等の補正をせずに、高音質の立体音響効果を実現できる。
本発明の第１の実施の形態による立体音響処理装置を示すブロック図 図１の立体処理部の構成を例示するブロック図 図１の立体処理部の構成を例示するブロック図 図２Ａ及び図２Ｂの立体処理フィルタの構成を例示するブロック図 図１の反射処理部の構成を例示するブロック図 図１の反射処理部の構成を例示するブロック図 図１の反射処理部の構成を例示するブロック図 図１の反射処理部の構成を例示するブロック図 図４Ａ～図４Ｄの反射処理フィルタの構成を例示するブロック図 図５の周波数フィルタの構成を例示するブロック図 音源から頭部インパルス応答を取得する方法を示す概略図 頭部インパルス応答から高域抑圧伝達関数を生成するフローチャート 左耳（ａ）及び右耳（ｂ）の各伝達関数を示すグラフ 左耳（ａ）及び右耳（ｂ）の各インパルス応答を示すグラフ 従来技術（ア）及び本発明の方法（イ）により処理を施した各音声信号を示すグラフ 図１１の各音声信号に対し圧縮処理を施した各音声信号を示すグラフ 本発明の第２の実施の形態による立体音響処理装置を示すブロック図 本発明の第３の実施の形態による立体音響処理装置を示すブロック図 図１４のＭ／Ｓディレイ部の構成を例示するブロック図 本発明の第４の実施の形態による立体音響処理装置を示すブロック図
本発明による立体音響処理装置及びその処理方法及びそのプログラムの実施の形態を図１～図１６を参照して説明する。下記実施の形態は例示であり、本発明を限定的に解釈するものではない。
図１は、音源装置30に記憶された音源信号から立体音再生信号を生成し、イヤホン50又はヘッドホンに立体音再生信号を供給する２チャンネル式の立体音響処理装置10のブロック図を示す。音源信号は、可聴領域の最低域を含む第１周波数帯域91と第１周波数帯域91よりも高域の第２周波数帯域92とを包含する。人間の可聴領域は、一般に周波数範囲が２０Hzから２０,０００Hzと言われ、その最低域とは約２０Hzである。本発明の立体音響処理装置10は、入力信号の少なくとも第１周波数帯域91を頭外定位処理する立体処理部1と、立体処理部1に接続され、入力信号の第１周波数帯域91を超える高域を含む第２周波数帯域92の少なくとも一部分に、反射音成分を付加する反射処理部2とを備える。
図１に示す立体処理部1は、第１及び第２入力端6a,6bを介して、デジタル又はアナログデータの音源が蓄積された音源装置30に接続される。蓄積音源がアナログデータの場合、音源装置30と立体音響処理装置10との間に、アナログ－デジタル変換装置（図示せず）が必要となる。立体処理部1は、左右一対のみの伝達関数の係数が予め付与された立体処理フィルタ11a-11dを含み、立体処理フィルタ(11a-11d)は、音源信号の入力信号を通過させて、デジタル信号処理により音源信号に対し頭外定位処理を施す。
立体処理部1の実施の形態を例示する図２Ａのブロック図は、立体音響処理装置10の第１入力端6aに各一方が接続された第１立体処理フィルタ11a及び第２立体処理フィルタ11bと、立体音響処理装置10の第２入力端6bに各一方が接続された第３立体処理フィルタ11c及び第４立体処理フィルタ11bと、第１及び第３立体処理フィルタ11a,11cの各他方に接続された加算器16aと、第２及び第４立体処理フィルタ11b,11dの各他方に接続された加算器16bとを備える。所謂タスキ掛け構造である。加算器16a,16bの出力側は、図１の通り反射処理部2に接続される。図２Ｂのブロック図に示すように、第２及び第３立体処理フィルタ11b,11cと２つの加算器16a,16bとの間にＭ／Ｓ処理器51を配置してもよい。Ｍ／Ｓ処理器51は、第２及び第３立体処理フィルタ11b,11cと各加算器16a,16bとの間の各分岐点55a,55bから、左右信号がＬ端子及びＲ端子に入力されてセンター信号及びサイド信号に分離し、Ｍ端子及びＳ端子からセンター及びサイド信号を各々出力するＭ／Ｓ変換器52と、Ｍ／Ｓ変換器52からのセンター信号及びサイド信号を各々入力し、反射音を付加する反射処理フィルタ54a,54bと、反射処理フィルタ54a,54bから、反射処理後の信号が各々Ｍ端子及びＳ端子に入力され、左右信号に戻してＬ端子及びＲ端子から左右帰還信号を各々出力するＬ／Ｒ変換器53と、Ｌ／Ｒ変換器53からの各帰還信号と第２及び第３立体処理フィルタ11b,11cからの各出力信号とを加算点56a,56bで加算しタスキ掛けで加算器16b,16aへ出力する２つの加算器57a,57bとを備える。
第１～第４立体処理フィルタ11a-11dは、ＦＩＲフィルタ（有限インパルス応答フィルタ）又はＩＩＲフィルタ（無限インパルス応答フィルタ）である。図３のブロック図は、一般的なＦＩＲフィルタによる立体処理フィルタ11aの構成を例示する。即ち、入力端6aに接続された遅延器121及び乗算器130と、遅延器121に接続された乗算器131と、乗算器130及び乗算器131の両出力信号を加算する加算器141とを備え、遅延器121、乗算器131及び加算器141によりタップを構成し、複数のタップにより高次（ｎ次）のＦＩＲフィルタを形成する。
第１～第４立体処理フィルタ11a-11dに予め付与された左右一対のみの伝達関数の係数は、水平面方位角(θ)４５°～９０°のうちの任意の一角度のみにおける、図７の音源71位置から左右各耳70L,70Rまでの一対の頭部インパルス応答HRIRL,HRIRRを演算処理して得られる係数である。一角度のみを使用するため、本発明では、演算量及び時間の低減を図ることができる。ここで水平面方位角(θ)４５°～９０°とは、人間又はダミーヘッドの頭部70の正面方向を０°とした場合の左右両方向の角度＋４５°～＋９０°及び－４５°～－９０°を何れも含む。当該角度範囲は、個人差の影響が小さく立体音像を形成できる。水平面方位角(θ)の任意の一角度は、例えばプラス又はマイナスの４５°、５０°、５５°、６０°、６５°、７０°、７５°、８０°、８５°又は９０°を含み、４５°～９０°の範囲内であれば、これらに限定されない。頭部インパルス応答の個人差が大きい上下方向の角度（仰角）は、０°として本発明では考慮しない。
予め付与された伝達関数の係数は、水平面方位角４５°～９０°のうちの一角度における左右一対の頭部インパルス応答HRIRL,HRIRRについて演算処理して得られた左右一対の頭部伝達関数HRTFL,HRTFRに対して、音源信号の第２周波数帯域92に相当する帯域92’が抑圧又は減衰処理された、左右一対のみの高域抑圧伝達関数BRTFL,BRTFRの係数である。第１周波数帯域91及びそれに相当する伝達関数HRTF,BRTFの帯域91’は、０～８kHzの範囲に含まれる帯域であり、好ましくは０.１kHz～８kHzである。第２周波数帯域92及びそれに相当する伝達関数HRTF,BRTFの帯域92’は、８kHz～９６kHzの範囲に含まれる帯域であり、通常、可聴領域の８kHz～２０kHzであり、好ましくは８kHz～15kHzである。その上限は、処理の都合上、サンプリング周波数Ｆsの半分（Ｆs/２）、例えば、音源がＣＤでは４４.１kHz/２、ＤＶＤ・ブルーレイでは４８kHz/２、９６kHz/２、１９２kHz/２等であってもよい。
図１に示す立体音響処理装置10は、一方が立体処理部1に接続され、他方が出力端7a,7bを介してデジタル－アナログ（Ｄ／Ａ）変換装置40に接続された反射処理部2を備える。Ｄ／Ａ変換装置40は、伝送路41によりヘッドホン50に有線又は無線接続され、立体音再生信号をイヤホン50に送信する。また、Ｄ／Ａ変換装置を立体音響処理装置10側に設けずに、出力端7a,7bに接続された送信機（この場合に符号40で示す）から、デジタル信号をそのまま無線伝送し、ブルートゥース（登録商標）イヤホン等に付加又は内蔵されたＤ／Ａ変換装置（図示せず）により、アナログ信号に変換してもよい。
図４Ａは、２チャンネル式の反射処理部2の構成を例示するブロック図である。反射処理部2は、立体処理装置10の第１入力端6a（図１）とイヤホン50との間の第１分岐点25aに接続されて、信号が入力される第１反射処理フィルタ21aを備える。立体処理装置10の第１入力端6aと第１分岐点25aとの間の第１加算点26aには、立体処理部1の処理信号と第１反射処理フィルタ21aからの帰還信号とを加算する第１加算器27aが設けられる。同様に、反射処理部2は、立体処理装置10の第２入力端6b（図１）とイヤホン50との間の第２分岐点25bに接続されて、信号が入力される第２反射処理フィルタ21bを備える。立体処理装置10の第２入力端6bと第２分岐点25bとの間の第２加算点26bには、立体処理部1の処理信号と第２反射処理フィルタ21bからの帰還信号とを加算する第２加算器27bが設けられる。また、図４Ｂ及び図４Ｄのように切替器17a,17bによって、第１反射処理フィルタ21aからの帰還信号を、第２加算器27b及び第１加算器27aの何れか一方又は両方に入力してもよく、第２反射処理フィルタ21bからの帰還信号を第１加算器27a及び第２加算器27bの何れか一方又は両方に入力しもよい。図４Ｂは、第１及び第２分岐点25a,25bと第１及び第２反射処理フィルタ21a,21bとの間にＭ／Ｓ変換器28を備え、ステレオ左右信号L,Rをセンター及びサイド信号M,Sに分離し個別に処理できる。フーリエ変換を行い、｜L振幅｜－｜R振幅｜、(L振幅)2－(R振幅)2、又はarctan(｜L振幅｜／｜R振幅｜）がある範囲（望ましくは、arctan(0.7)≦arctan(｜L振幅｜/｜R振幅｜）≦arctan(1.3)程度）をセンター信号成分、それ以外をサイド信号成分として分離し、それぞれ逆フーリエ変換で戻して用いても良い（｜｜は絶対値）。一般的に音楽信号は低域成分をセンターに配置することが多いので、低域部分（望ましくは～２００Hz程度）の係数を上記arctanの値に関わらずセンター信号成分としてもよい。センター信号成分のみを抽出し、元信号から引いてサイド信号成分としても良い。変換式はM=(L+R)/2、S=(L-R)/2である。図４Ｂは、第１及び第２反射処理フィルタ21a,21bと第１及び第２加算器27a,27bとの間にＬ／Ｒ変換器29を備え、センター及びサイド信号M,Sをステレオ左右信号L,Rに戻す。変換式はL=M+S、R=M-Sである。図４Ｃは、Ｍ／Ｓ変換器28のＭ端子にそれぞれ一方が接続された第１及び第３反射処理フィルタ21a,21cと、Ｍ／Ｓ変換器28のＳ端子にそれぞれ一方が接続された第２及び第４反射処理フィルタ21b,21dと、第１及び第３反射処理フィルタ21a,21cの両出力を加算しＬ／Ｒ変換器29のＭ端子に接続された加算器19aと、第２及び第４反射処理フィルタ21b,21dの両出力を加算しＬ／Ｒ変換器29のＳ端子に接続された加算器19bとを備える。更に図４Ｄは、第３及び第４反射処理フィルタ21c,21dと加算器19a,19bとの間に、切替器18a,18bを設けて、第３反射処理フィルタ21cからの出力信号を２つの加算器19a,19bの何れか又は両方に切替え送信でき、また、第４反射処理フィルタ21dからの出力信号を２つの加算器19b,19aの何れか又は両方に切替え送信できる。
図５は、反射処理部2の第１反射処理フィルタ21aの構成を例示し、第１分岐点25a（図４Ａ～Ｄ）に接続されて信号が入力される遅延器22と、遅延器22からの出力信号を増幅する乗算器23と、係数が付与されて、乗算器23で増幅された信号から反射音成分を生成し、帰還信号として第１加算器27aに送信する周波数フィルタ24とを含む。図６は、図５の周波数フィルタ24の一実施の形態であるＩＩＲフィルタを示すブロック図である。周波数フィルタ24は、入力信号X24を係数ｂ0で乗算する乗算器630と、入力信号X24を遅延させる遅延器621と、遅延器621による信号を係数ｂ1で乗算する乗算器631と、遅延器621による信号を遅延させる遅延器622と、遅延器622による信号を係数ｂ2で乗算する乗算器632と、乗算器630による信号と乗算器631による信号とを加算する加算器641と、加算器641による信号と乗算器632による信号とを加算する加算器642とを含むフィードフォワード部を備える。
また、周波数フィルタ24は、加算器642による信号から加算器643,644を通じ生じた出力信号Y24の一部を入力する遅延器623と、遅延器623による信号を係数ａ1で乗算する乗算器633と、遅延器623による信号を遅延させる遅延器624と、遅延器624による信号を係数ａ2で乗算する乗算器634と、加算器642による信号と乗算器633による信号とを加算する加算器643と、加算器643による信号と乗算器634による信号とを加算する加算器644とを含むフィードバック部を備える。図４Ａ～Ｄの第２反射処理フィルタ21bは、第１反射処理フィルタ21aと同一構成のため、説明を省略する。反射音は、初期反射音と、追加反射音とを含む。初期反射音（Early Reflection）は、音源から直接到達する直接音の後に短時間で到達する反射音であり、物体による反射回数が１回のみの反射音と指称される。追加反射音は、反射回数が２回以上の反射音であり、後部残響音、単に残響音、リバーブとも指称される。
図１に示す本発明の立体音響装置10を用い、音源信号を立体処理する方法を以下詳述する。
本発明では最初に、立体処理部1の立体処理フィルタ11a-11dに、伝達関数の係数を予め付与する。伝達関数の係数を予め付与する過程は、無響室にて水平面方位角４５°～９０°のうちの一角度のみにおける音源位置から左右各耳までの左右一対の頭部伝達関数HRTFL,HRTFRを準備する過程を含む。例えば図７では、一角度として方位角(θ)実質＋４５°における音源71から、約１ｍ離間したダミーヘッド又は人間の頭部70の左右各耳70L,70Rに設けたマイク（図示せず）により左右インパルス応答gL,gRを収録し、頭部70が無い状態での頭部中心相当位置70Cに配置したマイク（図示せず）によりブランクのインパルス応答gCを収録し、左右インパルス応答gL,gRをブランクのインパルス応答gCで除して、左右の頭部インパルス応答（gL／gC＝HRIRL，gR／gC＝HRIRR）が得られる。
図８は、左右の頭部インパルス応答HRIRL,HRIRRから(80)、高域抑圧伝達関数のインパルス応答（高域抑圧インパルス応答BRIRL,BRIRR）を生成する(90)フローチャートを示す。最初に、左右の頭部インパルス応答HRIRL,HRIRRをフーリエ変換Ｆにより演算処理し(s81)、その常用対数を２０倍しｄＢ値に変換することにより(s82)、左右一対の頭部伝達関数が準備される（ＦHRIRL＝HRTFL，ＦHRIRR＝HRTFR）。別法として、研究機関、大学、一般企業等のデータベースから取得し又はそれを補正した左右一対の頭部伝達関数HRTFL,HRTFRを用いてもよい。図９（ａ）及び（ｂ）は、横軸を周波数［kHz］、縦軸を相対振幅［dB］として、図９（ａ）実線は、水平面方位角(θ)実質４５°における左耳70Lの頭部伝達関数HRTFLを示し、図９（ｂ）実線は、水平面方位角(θ)実質４５°における右耳70Rの頭部伝達関数HRTFRを示す。図９ではサンプリング周波数Ｆsを４４.１kHzとする。
得られた左右一対の頭部伝達関数HRTFL,HRTFRに対し、音源信号の第２周波数帯域92に相当する帯域92’、例えば８kHzを超える周波数の成分を、低域通過（ローパス）フィルタで抑圧又は減衰処理して(s83)、左右一対の高域抑圧伝達関数BRTFL,BRTFRが生成され、それらを図９（ａ）及び（ｂ）の破線で示す。低域通過フィルタによる抑圧又は減衰処理(s83)によって、時間軸上では細かい凹凸が消失し波形が平滑化（スムージング）される。例えば移動平均法により平滑化してもよい。図９（ａ）及び（ｂ）において、高域抑圧処理前の頭部伝達関数HRTFL,HRTFR（実線）と、処理後の高域抑圧伝達関数BRTFL,BRTFR（破線）とを比較すると、０から実質８kHzの第１周波数帯域に相当する帯域91’では、実線と破線とがほぼ同一の値を示す。一方、実質８kHzを超える第２周波数帯域に相当する帯域92’では、実線と破線とは似た変化及び挙動を示すが、高域抑圧伝達関数BRTFL,BRTFRは、頭部伝達関数HRTFL,HRTFRから数dB減衰した値を示す。
次に、水平面方位角(θ)の一角度における左右一対の高域抑圧伝達関数BRTFL,BRTFR（図９破線）について、対数値を振幅値に戻し(s84)、逆フーリエ変換Ｆ-1して(Ｆ-1BRTFL,Ｆ-1BRTFR)(s85)、更に、例えばハミング窓により窓関数処理を行い(s86)、左右一対の高域抑圧インパルス応答BRIRL,BRIRRを得る(90)。窓関数として、方形波窓、ハニング窓、バートレット窓を用いてもよい。横軸をサンプル数（最大値５１２）、縦軸を振幅で表した図１０（ａ）及び（ｂ）は、本発明により得られた左右一対の高域抑圧インパルス応答BRIRL,BRIRR（実線）を、従来技術の左右一対の頭部インパルス応答HRIRL,HRIRR（破線）と対比して示すグラフである。音源71に近位の左耳70L側の各インパルス応答HRIRL,BRIRLを図１０（ａ）に示し、音源71から遠位の右耳70R側の各インパルス応答BRIRR,BRIRRを図１０（ｂ）に示す。音源71からの距離の相違により、図１０（ａ）は、図１０（ｂ）に比べて全体的に振幅が大きい。
図１０（ａ）及び（ｂ）に示す通り、本発明により得られた高域抑圧インパルス応答BRIRL,BRIRR（破線）では、サンプル数１５０程度で振幅が０に収束するのに対し、従来技術の頭部インパルス応答HRIRL,HRIRR（実線）では、サンプル数最大値５１２（図１０右端）まで振幅が収束しない。本発明では、第２周波数帯域に相当する帯域92’を抑圧又は減衰処理するため、主に高周波数成分から構成される時間的に遅延した（サンプル数１５０以上の）インパルス応答が抑制されたことに起因する。インパルス応答の振幅の値は、ＦＩＲフィルタ等の周波数フィルタにおいてフィルタ係数値に相当し、サンプル数は、ＦＩＲフィルタのタップ数(ｎ＋１)に相当する。タップ数(ｎ＋１)が少なければ、ＦＩＲフィルタによる演算量を低減できる。このため、高域抑圧インパルス応答BRIRL,BRIRRを採用する本発明では、従来技術に比べて演算量を著しく低減する作用効果が得られる。
得られた左右一対の高域抑圧インパルス応答の値BRIRL,BRIRR（図１０破線）は、そのままＦＩＲフィルタの係数に相当するため、水平面方位角θの一角度における左右一対のみの高域抑圧伝達関数の係数ｈB0～ｈBnとして、立体処理フィルタ11a-11dに予め付与される。具体的には、図３に示すフィルタ長（タップ数）ｎ＋１のＦＩＲフィルタ11aでは、複数の乗算器130-13nに対し、フィルタ係数ｈB0～ｈBnとして、高域抑圧インパルス応答BRIRL,BRIRRの値がそれぞれ付与される。ＦＩＲフィルタの伝達関数Ｈ(ｚ)は、式１として表される。
Ｈ(ｚ)＝ｈB0＋ｈB1ｚ-１＋・・＋ｈBnｚ-n （式１）
式１の周波数応答は、ｚ-１にｅ-jωTを変換して式２で表される。Ｔはデータ間の時間間隔［秒］、ωは２πＦc／Ｆsで表される角周波数［rad/秒］、Ｆsはサンプリング周波数［Hz］、Ｆcはカットオフ周波数［Hz］をそれぞれ示す。例えば、Ｆcを８kHzに設定すれば第１周波数帯域に相当する帯域91’は８kHz以下の帯域となる。
Ｈ(ｊω)＝ｈB0＋ｈB1ｅ-jωT＋・・＋ｈBnｅ-jnωT （式２）
周波数特性を考慮した式２のｈB0～ｈBnに、図８のフローチャートに従い求めた高域抑圧インパルス応答BRIRL,BRIRRの値をそれぞれ入力することにより、立体処理部1の立体処理フィルタ11aに、左右一対のみの伝達関数の係数が予め付与される。係数が予め付与された立体処理フィルタ11aに音源を通過させると、入力信号Ｘa（図３）は、高域抑圧伝達関数BRTFL,BRTFRの係数が加味されて、出力信号Ｙaに変換処理される（ＨＸa＝Ｙa）。他の立体処理フィルタ11b-11dにも同様に、高域抑圧インパルス応答BRIRL,BRIRが係数として予め付与される。伝達関数の係数が付与された立体処理部1に、音源装置30からの音源信号を第１及び第２入力端6a,6bを通じ入力されると、入力信号を頭外定位処理して、立体処理部1の処理信号が得られる。本発明では、音源信号の第１及び第２周波数帯域91,92全体を頭外定位処理するが、高域抑圧伝達関数BRTFは第２周波数帯域に相当する帯域92’が抑圧又は減衰処理されているため、高域抑圧伝達関数BRTFによる第２周波数帯域92への影響が第１周波数帯域91への影響に比べ小さい。換言すると、第１周波数帯域91に対する高域抑圧伝達関数BRTFの係数による信号処理が、個人差の少ない立体音像形成に有効である。
続いて、立体処理部1により頭外定位処理された処理信号を、反射処理部2に入力し、その入力信号の第１周波数帯域91を超える高域を含む第２周波数帯域92の少なくとも一部分に、反射音成分を付加して、反射処理部2の処理信号を生成する。また、反射処理部2では、反射処理部2に入力された立体処理部1の処理信号が反射処理部2を通過するとき、入力信号の第１周波数帯域91よりも高帯域の第２周波数帯域92に対して、初期反射音と共に、直接音から０.００１～１０秒遅延する追加反射音成分（残響音、リバーブ）を付加する。
具体的には、図４Ａ～Ｄの分岐点25a,25bから反射処理部2の反射処理フィルタ21a,21bに導入される入力信号は、図５に示す遅延器22と反射処理ゲインの任意係数が付与される乗算器23とを通過し、周波数フィルタ24に入力される。周波数フィルタ24として図６に示すＩＩＲフィルタの双２次（BiQuad）フィルタでは、ローシェルフフィルタ（ＬＳＦ：カットオフ周波数以下の成分を増幅量分だけ増幅するフィルタ）の場合、伝達関数Ｈ(ｚ)及びその周波数応答は、式３及び式４で表される。
Ｈ(ｚ)＝Ａ(ｚ-2＋(Ａ1/2／Ｑ)ｚ-1＋Ａ)／(Ａｚ-2＋(Ａ1/2／Ｑ)ｚ-1＋１) （式３）
Ｈ(ｊω)＝Ａ(ｅ-j2ω＋(Ａ1/2／Ｑ)ｅ-jω＋Ａ)／(Ａｅ-j2ω＋(Ａ1/2／Ｑ)ｅ-jω＋１) （式４）
ＱはフィルタＱ値（カットオフ周波数周辺の増幅のカーブに影響する値）、Ｇはフィルタ特性を決定する増幅量［dB］、ωは２πＦc／Ｆsで表される角周波数［rad/秒］、Ｆsはサンプリング周波数［Hz］、Ｆcはカットオフ周波数［Hz］をそれぞれ示す。例えば、Ｆcを８kHzに設定すれば第２周波数帯域に相当する帯域92’は８kHz以上の範囲となる。Ａは１０G/40、αはsinω／２Ｑで表される。前記ＦＩＲフィルタは、インパルス応答が係数に等しいが、図６のＩＩＲフィルタ24におけるＬＳＦの係数ａ1,ａ2,ｂ0,ｂ1,ｂ2は、周波数特性が考慮された下記式５～式９により決定される。
ａ1＝－２((Ａ－１)＋(Ａ＋１)cosω) （式５）
ａ2＝(Ａ＋１)＋(Ａ－１)cosω－２αＡ1/2 （式６）
ｂ0＝Ａ((Ａ＋１)－(Ａ－１)cosω＋２αＡ1/2) （式７）
ｂ1＝２Ａ((Ａ－１)－(Ａ＋１)cosω) （式８）
ｂ2＝Ａ((Ａ＋１)－(Ａ－１)cosω－２αＡ1/2) （式９）
周波数フィルタ24では、イヤホン特性、聴者好みに応じ、フィルタＱ値、増幅量Ｇ、カットオフ周波数Ｆcを任意に設定して、係数ａ1,ａ2,ｂ0,ｂ1,ｂ2を決定できる。また、ＬＳＦではなく、他のフィルタ形式、例えば、ローパス、ハイパス、バンドパス、ノッチ、ハイシェルフ、ピーキング、オールパス等のフィルタでもよい。他のフィルタと組み合わせてもよい。
図１１（ア）は、音源信号に対し、水平面方位角実質４５°の従来の頭部伝達関数HRTFの係数を付与した立体音再生信号34を概略示し、図１１（イ）は、前記同一の音源信号に対し、本発明により立体処理部1で高域抑圧伝達関数BRTFの係数を付与し、かつ反射処理部2で初期反射音及び追加反射音の成分を付加した立体音再生信号35を概略示する。比較のために両図に音源信号33（破線）を示す。図１１（ア）及び（イ）では、横軸を周波数［kHz］、縦軸を相対振幅［dB］とし、音源71が実質＋４５°（図７）の場合の左耳70L側のデータを例示する。図１１（ア）及び（イ）の両立体音再生信号34,35について、実質８kHz以下の第１周波数帯域91では、ほぼ同一の特性を示すが、実質８kHzを超える第２周波数帯域92では、特性が異なる。
立体処理部1及び反射処理部2の両処理により生成した立体音再生信号35を、出力端7a,7bを介してデジタル－アナログ変換装置40に送信し、更にイヤホン50又はヘッドホンに立体音再生信号35を供給する。この場合、例えば無線イヤホンへ立体音再生信号35を送信するとき、信号の圧縮処理が必要である。図１２（ア）は、従来の頭部伝達関数HRTFの係数を付与した音声信号34（図１１（イ））に対し、例えば無線イヤホンへの送信時に圧縮処理した音声信号34’を概略示する。図１２（イ）は、本発明の処理方法により、立体処理部1及び反射処理部2で処理した音声信号35（図１１（イ））に対し、前記同様に圧縮処理し、圧縮処理後の音声信号35’を概略示する。従来技術による音声信号34’では、頭部伝達関数HRTFの係数の付与、即ち直接音から０.０００１秒程度の短い遅延成分の付加により高帯域の第２周波数帯域92の音像情報が低減又は消失する。これに対し、本発明の処理方法による音声信号35’では、初期反射音成分と共に、直接音から０.００１～１０秒遅延する追加反射音成分を、伝達関数とは別に付加するため、第２周波数帯域92に付加された反射音成分が消失せず、立体音響効果が維持される。
図１３は、本発明による第２の実施の形態の立体音響装置10’を示す。
可聴領域の最低域を含む第１周波数帯域91と第１周波数帯域91よりも高域の第２周波数帯域92とを包含する音源信号から、立体音再生信号を生成してイヤホン50又はヘッドホンに供給する立体音響処理装置10’は、入力信号の少なくとも第１周波数帯域91を頭外定位処理する立体処理部1と、立体処理部1に接続され、入力信号の第２周波数帯域92の少なくとも一部分に、反射音成分を付加する反射処理部2とを備える点は、は、図１の立体音響装置10と同様である。図１３では、係数生成部3及び係数記憶部4を備える点で図１と相違する。係数生成部3は、水平面方位角４５°～９０°のうち複数角度における各音源位置71から左右各耳70L,70Rまでの複数対の頭部伝達関数HRTFL,HRTFRに対し、音源信号の第２周波数帯域92に相当する帯域が抑圧又は減衰処理された、左右複数対の高域抑圧伝達関数BRTFL,BRTFRの係数を生成する。係数記憶部4は、左右複数対の高域抑圧伝達関数BRTFL,BRTFRの係数を蓄積する。立体処理部1は、係数記憶部4に蓄積された左右複数対の高域抑圧伝達関数BRTFL,BRTFRの係数のうち選択された一対が付与され、入力信号を通過させて頭外定位処理する立体処理フィルタ11a-11dを備える。
次に、図１３の立体音響装置10’を用いた本発明による立体処理方法を示す。
立体音響装置10’を用いた処理方法では、伝達関数の係数を生成及び蓄積するために、第１に、水平面方位角４５°～９０°の複数角度における各音源71位置から左右各耳70L,70Rまでの左右複数対の頭部伝達関数HRTFL,HRTFRを準備する。具体的には、水平面方位角４５°～９０°の複数角度θにおける各音源71位置から左右各耳70L,70Rまでの複数対の頭部インパルス応答HRIRL,HRIRR(80)を、係数生成部3でフーリエ変換により演算処理し(s81)、その常用対数を２０倍しｄＢ値に変換することにより(s82)、左右複数対の頭部伝達関数HRTFL,HRTFRが準備される。複数対を準備する以外は、前記第１の実施の形態のフローチャート（図８）と同様に処理する。
第２に、左右複数対の頭部伝達関数HRTFL,HRTFRに対し、第２周波数帯域に相当する帯域92’を、係数生成部3で抑圧又は減衰処理して(s83)、左右複数対の高域抑圧伝達関数BRTFL,BRTFRを生成する。第３に、高域抑圧伝達関数BRTFL,BRTFRについて、対数値を振幅値に戻し(s84)、逆フーリエ変換し(s85)、窓関数処理を行い(s86)、左右複数対の高域抑圧インパルス応答BRIRL,BRIRRが得られる(90)。第４に、高域抑圧インパルス応答BRIRL,BRIRRの値に相当する、左右複数対の高域抑圧伝達関数の係数ｈB0～ｈBnを、係数記憶部4に蓄積する。
次に、立体処理部1の処理信号を生成するために、第１に、係数記憶部4に蓄積された左右複数対の高域抑圧伝達関数の係数ｈB0～ｈBnのうち、左右一対のみの高域抑圧伝達関数の係数を、手動若しくは自動により又はプログラムに従い選択する。第２に、伝達関数の係数が予め付与されている又は付与されていない立体処理フィルタ11a-11dに対し、選択された水平面方位角一角度のみにおける左右一対のみの高域抑圧伝達関数の係数ｈB0～ｈBnを付与する。第３に、左右一対のみの高域抑圧伝達関数の係数ｈB0～ｈBnが付与された立体処理フィルタ11a-11dに対し、音源信号を通過させて、少なくとも第１周波数帯域91について頭外定位処理した立体処理部1の処理信号を生成する。
更に、立体処理部1の処理信号を反射処理部2に入力し、入力信号の第１周波数帯域91を超える高帯域を含む第２周波数帯域92の少なくとも一部分に、反射音成分を付加して、反射処理部2の処理信号を生成する。最後に、立体処理部1及び反射処理部2の両処理により生成した立体音再生信号をイヤホン50又はヘッドホンに供給する。立体音響装置10’（図１３）及びそれを用いた処理方法では、前記立体音響装置10（図１）と同様に、個人差が小さく少ない演算量で高音質の立体音響を形成できる優れた作用効果が得られる。
図１及び図１３に示す前記第１及び第２の実施の形態では、立体音響装置10,10’に入力された音源信号は、立体処理部1及び反射処理部2の順で処理されるが、順序を逆にして、反射処理部2及び立体処理部1の順で処理しても、同様の作用効果が得られる。また、前記第１及び第２の実施の形態では、２チャンネル式の立体音響装置10,10’を示したが、２以上の多チャンネルであっても良い。また、前記第１及び第２の実施の形態では、音源信号の第１及び第２周波数帯域91,92全体を立体処理部1で頭外定位処理するが、第１周波数帯域91にのみ、高域抑圧伝達関数BRTFの係数による頭外定位処理を施してもよい。
図１４は、立体処理部1及び反射処理部2の両処理後の位置に、反射処理部2に接続されたＭ／Ｓディレイ部93を備える第３の実施の形態による立体音響装置10”を示し、図１５にＭ／Ｓディレイ部93の例示的な構成を示す。Ｍ／Ｓディレイ部93は、反射処理部2からの出力信号を各々Ｌ及びＲ端子に入力しセンター及びサイド信号に変換するＭ／Ｓ変換器98と、Ｍ／Ｓ変換器98からのセンター及びサイド信号を各々遅延させる反射処理フィルタ21aと、反射処理フィルタ21aからの遅延信号を各々Ｍ及びＳ端子に入力し左右信号に戻し左右信号をＬ及びＲ端子から出力端7a,7bに各々送信するＬ／Ｒ変換器99とを備える。反射処理フィルタ21aは、図５の構成と同一のため、同一の符号を付して説明を省略する。Ｍ／Ｓ変換器98で分離したセンター及びサイド信号に対し、反射処理フィルタ21aの遅延器22にて各信号を別々に又は一方のみに遅延を与え、再度Ｌ／Ｒ変換器99で左右信号に戻すことにより、ハース効果（同一音が複数方向から同一音量で聞こえた場合、最も早く到達した方向に定位が偏位し聞こえる現象）による音の立体感及び定位感が強調される。センター及びサイド信号の両成分に同一成分が含まれて立体感が弱く聞こえる場合でも、センター信号及びサイド信号に相対的に異なる遅延を付与して、先行音に定位が偏り、立体音響を形成できる。別法として、フーリエ変換を行い、｜L振幅｜－｜R振幅｜、(L振幅)2－(R振幅)2、又はarctan(｜L振幅｜／｜R振幅｜）がある範囲（望ましくは、arctan(0.7)≦arctan(｜L振幅｜/｜R振幅｜）≦arctan(1.3)程度）をセンター信号成分、それ以外をサイド信号成分として分離し、それぞれ逆フーリエ変換で戻して用いても良い（｜｜は絶対値）。一般的に音楽信号は低域成分をセンターに配置することが多いので、低域部分（望ましくは～２００Hz程度）の係数を上記arctanの値に関わらずセンター信号成分としてもよい。センター信号成分のみを抽出し、元信号から引いてサイド信号成分としても良い。
図１６は、センター信号及びサイド信号に分離するＭ／Ｓ処理器51を含むが、反射処理部2を含まない本発明による第４の実施の形態による立体音響装置10’’’を示す。音源信号を立体処理装置10’’’に入力する第１及び第２入力端6a,6bと、第１及び第２入力端6a,6bからの入力信号の少なくとも第１周波数帯域91を頭外定位処理する立体処理部1とを備える。立体処理部1は、第１入力端6aに接続された第１及び第２立体処理フィルタ11a,11bと、第２入力端6aに接続された第３及び第４立体処理フィルタ11c,11dと、第２及び第３立体処理フィルタ11b,11cの両出力信号を左右信号として各々入力し、センター信号及びサイド信号に分離し、少なくともサイド信号に又はサイド信号のみに、反射音を付加するＭ／Ｓ処理器51と、Ｍ／Ｓ処理器51の他方（図２Ｂ加算器57bから）の出力信号と第１立体処理フィルタ11aの出力信号とを加算する一方の加算器16aと、Ｍ／Ｓ処理器51の一方（図２Ｂ加算器57aから）の出力信号と第４立体処理フィルタ11dの出力信号とを加算する他方の加算器16bとを備える。Ｍ／Ｓ処理器51の具体的構成は、図２Ｂに例示した符号51の構成と実質同一のため詳述を省略する。第１～第４立体処理フィルタ11a-11dには、左右一対のみの伝達関数の係数が予め又は選択により付与される。左右一対のみの伝達関数は、水平面方位角４５°～９０°の一角度のみにおける音源位置から左右各耳までの一対の頭部伝達関数に対し、音源信号の第２周波数帯域に相当する帯域92’が抑圧又は減衰処理された、左右一対のみの高域抑圧伝達関数である。本構成により、音源側の信号（第１又は第４立体処理フィルタ11a又は11dからの出力信号）についてＭ／Ｓ処理器51を通過させず、一方、音源と逆側の信号（第２又は第３立体処理フィルタ11b又は11cからの出力信号）についてＭ／Ｓ処理器51を通過させて、反射音成分を加え人間の空間音響認識を高めることができる。ステレオ音源の場合、音の広がり感はサイド信号成分の影響が大きいため、センター及びサイド信号への変換後、サイド信号成分のみに反射音等付加処理を行ってもよい。
本発明は、立体音響処理装置10,10’,10”,10’’’の各部としてコンピュータを機能させるための立体音響処理プログラムであってもよい。この場合、各部が有する機能の処理内容はプログラムに記述されて、プログラムをコンピュータで実行することにより、各部の処理がコンピュータ上で実現され得る。例えば、図示しないが、立体音響処理プログラムを記憶する記憶部と、記憶部に接続されプログラムの処理動作を制御する制御部とを備える。記憶部は、例えば磁気記憶装置、光ディスク、光磁気記憶媒体、半導体メモリ等、コンピュータで読み取り可能な記憶媒体を含む。更に、前記第１及び第２の実施の形態により詳述された立体処理方法を、記憶部に記憶された立体処理プログラムにより実行してもよい。
本発明の立体音響処理装置及び処理方法及び処理プログラムでは、音楽音源だけでなく、環境音、会話音、ゲーム音声等、ステレオ音声であればあらゆる音源に利用可能である。
1・・立体処理部、 2・・反射処理部、 3・・係数生成部、 4・・係数記憶部、 6a,6b・・入力端、 10,10’・・立体音響処理装置、 11a-11d・・立体処理フィルタ、 16a,16b・・加算器、21a,21b・・反射処理フィルタ、 22・・遅延器、 23・・乗算器、 24・・周波数フィルタ、 25a,25b・・分岐点、 26a,26b・・加算点、 27a,27b・・加算器、51・・Ｍ／Ｓ処理器、

Claims (10)

  1. 可聴領域の最低域を含む第１周波数帯域と第１周波数帯域よりも高域の第２周波数帯域とを包含する音源信号から、立体音再生信号を生成してイヤホン又はヘッドホンに供給する立体音響処理装置において、
    入力信号の少なくとも第１周波数帯域を頭外定位処理する立体処理部と、
    立体処理部に接続され、入力信号の第２周波数帯域の少なくとも一部分に、反射音成分を付加する反射処理部とを備え、
    立体処理部は、左右一対のみの伝達関数の係数が予め又は選択により付与された立体処理フィルタを含み、
    左右一対のみの伝達関数は、水平面方位角４５°～９０°の一角度のみにおける音源位置から左右各耳までの一対の頭部伝達関数に対し、音源信号の第２周波数帯域に相当する帯域が抑圧又は減衰処理された、左右一対のみの高域抑圧伝達関数であることを特徴とする立体音響処理装置。
  2. 可聴領域の最低域を含む第１周波数帯域と第１周波数帯域よりも高域の第２周波数帯域とを包含する音源信号から、立体音再生信号を生成してイヤホン又はヘッドホンに供給する立体音響処理装置において、
    音源信号を立体処理装置に入力する第１及び第２入力端と、
    第１及び第２入力端からの入力信号の少なくとも第１周波数帯域を頭外定位処理する立体処理部とを備え、
    立体処理部は、
    第１入力端に接続された第１及び第２立体処理フィルタと、
    第２入力端に接続された第３及び第４立体処理フィルタと、
    第２及び第３立体処理フィルタの両出力信号を左右信号として各々入力し、センター信号及びサイド信号に分離しサイド信号に反射音成分を付加するＭ／Ｓ処理器と、
    Ｍ／Ｓ処理器の一方の出力信号と第４立体処理フィルタの出力信号とを加算する他方の加算器と、
    Ｍ／Ｓ処理器の他方の出力信号と第１立体処理フィルタの出力信号とを加算する一方の加算器とを備え、
    第１～第４立体処理フィルタは、左右一対のみの伝達関数の係数が予め又は選択により付与され、
    左右一対のみの伝達関数は、水平面方位角４５°～９０°の一角度のみにおける音源位置から左右各耳までの一対の頭部伝達関数に対し、音源信号の第２周波数帯域に相当する帯域が抑圧又は減衰処理された、左右一対のみの高域抑圧伝達関数であることを特徴とする立体音響処理装置。
  3. 反射処理部は、
    音源信号を立体処理装置に入力する入力端とイヤホン又はヘッドホンとの間の分岐点から、信号が入力される反射処理フィルタと、
    入力端と分岐点との間の加算点で、音源信号又は立体処理部の処理信号と反射処理フィルタからの帰還信号とを加算する加算器とを備え、
    反射処理フィルタは、
    分岐点から信号が入力される遅延器と、
    遅延器からの信号を増幅する乗算器と、
    係数が付与されて、乗算器で増幅された信号から反射音成分を生成し、帰還信号として加算器に反射音成分を送信する周波数フィルタとを含む請求項１に記載の立体音響処理装置。
  4. 第１周波数帯域は、０～８kHzの範囲に含まれる帯域であり、第２周波数帯域は、８kHz～９６kHzの範囲に含まれる帯域である請求項１～３の何れか１項に記載の立体音響処理装置。
  5. 可聴領域の最低域を含む第１周波数帯域と第１周波数帯域よりも高域の第２周波数帯域とを包含する音源信号から、立体音再生信号を生成してイヤホン又はヘッドホンに供給する立体音響処理方法において、
    立体処理部の立体処理フィルタに、伝達関数の係数を予め付与する過程と、
    伝達関数の係数が予め付与された立体処理フィルタに、音源信号を又は反射処理部の処理信号を入力し、入力信号の少なくとも第１周波数帯域を頭外定位処理して、立体処理部の処理信号を生成する過程とを含み、
    伝達関数の係数を予め付与する過程は、
    水平面方位角４５°～９０°の一角度のみにおける音源位置から左右各耳までの左右一対の頭部伝達関数を準備する過程と、
    左右一対の頭部伝達関数に対し、第２周波数帯域に相当する帯域を抑圧又は減衰処理して、左右一対の高域抑圧伝達関数を生成する過程と、
    左右一対の高域抑圧伝達関数を逆フーリ変換により演算処理して、左右一対の高域抑圧インパルス応答を得る過程と、
    高域抑圧インパルス応答の値に相当する、左右一対のみの高域抑圧伝達関数の係数を、立体処理フィルタに予め付与する過程とを含むことを特徴とする立体音響処理方法。
  6. 可聴領域の最低域を含む第１周波数帯域と第１周波数帯域よりも高域の第２周波数帯域とを包含する音源信号から、立体音再生信号を生成してイヤホン又はヘッドホンに供給する立体音響処理方法において、
    伝達関数の係数を生成及び蓄積する過程と、
    立体処理部の立体処理フィルタに、音源信号を又は反射処理部の処理信号を入力し、入力信号の少なくとも第１周波数帯域を頭外定位処理して、立体処理部の処理信号を生成する過程とを含み、
    伝達関数の係数を生成及び蓄積する過程は、
    水平面方位角４５°～９０°の複数角度における各音源位置から左右各耳までの左右複数対の頭部伝達関数を準備する過程と、
    左右複数対の頭部伝達関数に対し、第２周波数帯域に相当する帯域を、係数生成部で抑圧又は減衰処理して、左右複数対の高域抑圧伝達関数を生成する過程と、
    左右複数対の高域抑圧伝達関数を逆フーリエ変換により演算処理して、左右複数対の高域抑圧インパルス応答を得る過程と、
    高域抑圧インパルス応答の値に相当する、左右複数対の高域抑圧伝達関数の係数を、係数記憶部に蓄積する過程とを含み、
    立体処理部の処理信号を生成する過程は、
    係数記憶部に蓄積された左右複数対の高域抑圧伝達関数の係数のうち、左右一対のみの高域抑圧伝達関数の係数を選択する過程と、
    伝達関数の係数が予め付与されている又は付与されていない立体処理フィルタに対し、選択された水平面方位角一角度のみにおける左右一対のみの高域抑圧伝達関数の係数を付与する過程と、
    左右一対のみの高域抑圧伝達関数の係数が付与された立体処理フィルタに対し、音源信号を又は反射処理部の処理信号を通過させて、少なくとも第１周波数帯域について頭外定位処理した立体処理部の処理信号を生成する過程とを含むことを特徴とする立体音響処理方法。
  7. 立体処理部の処理信号を又は音源信号を反射処理部に入力し、入力信号の第２周波数帯域の少なくとも一部分に、反射音成分を付加して、反射処理部の処理信号を生成する過程と、
    立体処理部及び反射処理部の両処理により生成した立体音再生信号を、イヤホン又はヘッドホンに供給する過程とを含む請求項５又は６に記載の立体音響処理方法。
  8. 反射処理部の処理信号を生成する過程は、
    立体処理部の処理信号が又は音源信号が、反射処理部に入力され、反射処理部を通過する過程と、
    入力信号の第２周波数帯域に対して、初期反射音成分と、直接音から０.００１～１０秒遅延する反射音成分とを付加する過程とを含む請求項７に記載の立体音響処理方法。
  9. 第１周波数帯域は、０～８kHzの範囲に含まれる帯域であり、第２周波数帯域は、８kHz～９６kHzの範囲に含まれる帯域である請求項５～８の何れか１項に記載の立体音響処理方法。
  10. 請求項１～４の何れか１項に記載の立体音響処理装置の各部としてコンピュータを機能させることを特徴とする立体音響処理プログラム。
JP2020219867A 2020-12-29 2020-12-29 立体音響処理装置、立体音響処理方法及び立体音響処理プログラム Active JP7319687B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020219867A JP7319687B2 (ja) 2020-12-29 2020-12-29 立体音響処理装置、立体音響処理方法及び立体音響処理プログラム
PCT/JP2021/043354 WO2022145154A1 (ja) 2020-12-29 2021-11-26 立体音響処理装置、立体音響処理方法及び立体音響処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020219867A JP7319687B2 (ja) 2020-12-29 2020-12-29 立体音響処理装置、立体音響処理方法及び立体音響処理プログラム

Publications (2)

Publication Number Publication Date
JP2022104731A true JP2022104731A (ja) 2022-07-11
JP7319687B2 JP7319687B2 (ja) 2023-08-02

Family

ID=82260373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020219867A Active JP7319687B2 (ja) 2020-12-29 2020-12-29 立体音響処理装置、立体音響処理方法及び立体音響処理プログラム

Country Status (2)

Country Link
JP (1) JP7319687B2 (ja)
WO (1) WO2022145154A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026718A1 (en) * 2006-01-04 2011-02-03 Texas Instruments Incorporated Virtualizer with cross-talk cancellation and reverb
JP2014239429A (ja) * 2013-05-23 2014-12-18 ジーエヌ リザウンド エー／エスＧｎ Ｒｅｓｏｕｎｄ Ａ／Ｓ 空間的に信号を強調する補聴器
US20200336858A1 (en) * 2019-04-18 2020-10-22 Facebook Technologies, Llc Individualization of head related transfer function templates for presentation of audio content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026718A1 (en) * 2006-01-04 2011-02-03 Texas Instruments Incorporated Virtualizer with cross-talk cancellation and reverb
JP2014239429A (ja) * 2013-05-23 2014-12-18 ジーエヌ リザウンド エー／エスＧｎ Ｒｅｓｏｕｎｄ Ａ／Ｓ 空間的に信号を強調する補聴器
US20200336858A1 (en) * 2019-04-18 2020-10-22 Facebook Technologies, Llc Individualization of head related transfer function templates for presentation of audio content

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
岩村宏 他: ""スピーカーの状態空間モデルと現代制御理論を用いた空間音響再現"", 日本音響学会2019年春季研究発表会講演論文集CD-ROM, JPN6023008485, 19 February 2019 (2019-02-19), pages 355 - 358, ISSN: 0005003981 *
長谷川知美 他: ""反射音構造が前後知覚に与える影響"", 日本音響学会2015年春季研究発表会講演論文集CD-ROM, JPN6023008486, 6 March 2015 (2015-03-06), pages 669 - 670, ISSN: 0005003980 *

Also Published As

Publication number Publication date
JP7319687B2 (ja) 2023-08-02
WO2022145154A1 (ja) 2022-07-07

Similar Documents

Publication Publication Date Title
US9432793B2 (en) Head-related transfer function convolution method and head-related transfer function convolution device
JP5533248B2 (ja) 音声信号処理装置および音声信号処理方法
EP3311593B1 (en) Binaural audio reproduction
US11037544B2 (en) Sound output device, sound output method, and sound output system
US8873761B2 (en) Audio signal processing device and audio signal processing method
JP4780119B2 (ja) 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
KR100636252B1 (ko) 공간 스테레오 사운드 생성 방법 및 장치
US7889872B2 (en) Device and method for integrating sound effect processing and active noise control
JP2012004668A (ja) 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置
KR20050060789A (ko) 가상 음향 재생 방법 및 그 장치
KR20070066820A (ko) 청취 위치를 고려한 2채널 입체음향 재생 방법 및 장치
JP6515720B2 (ja) 頭外定位処理装置、頭外定位処理方法、及びプログラム
US20050286724A1 (en) Sound image localization apparatus
EP2484127B1 (en) Method, computer program and apparatus for processing audio signals
CN112956210B (zh) 基于均衡滤波器的音频信号处理方法及装置
CN101489173A (zh) 信号处理装置、信号处理方法和存储介质
US9794717B2 (en) Audio signal processing apparatus and audio signal processing method
WO2022145154A1 (ja) 立体音響処理装置、立体音響処理方法及び立体音響処理プログラム
JP2011259299A (ja) 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置
JP5163685B2 (ja) 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP2009105565A (ja) 仮想音像定位処理装置および仮想音像定位処理方法
JP2002262400A (ja) 仮想音像定位処理装置及び処理方法並びに記録媒体
US11545130B1 (en) System and method for an audio reproduction device
DK180449B1 (en) A method and system for real-time implementation of head-related transfer functions
US11228837B2 (en) Processing device, processing method, reproduction method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230713

R150 Certificate of patent or registration of utility model

Ref document number: 7319687

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150