JP2004023486A

JP2004023486A - Method for localizing sound image at outside of head in listening to reproduced sound with headphone, and apparatus therefor

Info

Publication number: JP2004023486A
Application number: JP2002176377A
Authority: JP
Inventors: Wataru Kobayashi; 小林　亙
Original assignee: ARNIS SOUND TECHNOLOGIES CO LT; ARNIS SOUND TECHNOLOGIES CO Ltd
Current assignee: ARNIS SOUND TECHNOLOGIES CO LT; ARNIS SOUND TECHNOLOGIES CO Ltd
Priority date: 2002-06-17
Filing date: 2002-06-17
Publication date: 2004-01-22

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method and an apparatus for localizing a sound image at the outside of the head which do not cause a sense of fatigue by expanding and satisfactorily improving an effect by the method for localizing the sound image at the outside of the head with a headphone. <P>SOLUTION: Stereo audio signals of left and right channels which are reproduced with an appropriate audio set are branched into two systems as an input signal, respectively, and are formed into a direct sound, a virtual reflected sound and a virtual crosstalk sound. Signals of one of the systems are used as they are, or are subjected to delay processing to be formed into direct sound signals of a virtual speaker, the direct sound signals are subjected to delay sound processing to be formed into reflected sound signals of the virtual speaker, the signals of the other system are separated into signals of a plurality of frequency bands, and the signals of each band are phase-controlled and are subjected to the delay processing to be formed into crosstalk signals of the virtual speaker. The direct sound signals and the crosstalk signals of the left and right channels are mixed in a respective channel mixers, and outputs of the left and right mixers are supplied to the left and right ear speakers of the headphone. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、オーディオ機器から出力されるオーディオ信号をヘッドホンにより聴取するとき、受聴者の頭外に定位される音像を、更に拡大した頭外位置での音像として定位させる方法と、そのための装置に関する。
【０００２】
【従来の技術】
従来より、ヘッドホンにより音楽等の再生音を聴取するとき、その音像を聴取者の頭外に定位させる技術については、様々な提案がなされている。
【０００３】
即ち、ヘッドホンにより音楽等の再生音を聴取すると、受聴者の頭部の中に音像が形成されるため、リスニングルームなどの実際の音響空間に置かれたスピーカを駆動して聴く音楽等の音像とは全く程異なった聴感しか得られないという点を改善する目的で、ヘッドホンによる受聴においても、例えば外部スピーカによる再生音レベルでの聴感が得られるように、受聴者の頭外にヘッドホンによる音像を定位させる技術について、様々な研究，提案がなされている。
【０００４】
しかし、従来提案されている頭外音像定位の手法は、実スピーカに再生される音のリスニングルームにおける反射や頭部による回析などを忠実にシミュレートすることにより、仮想的にスピーカから発されていると聴感できる音を再現するため、大がかりなハード構成を不可欠とするのみならず、このために膨大な量の演算処理を行い、また、処理したデータの蓄積のために大容量のメモリを不可欠とするなど、低コスト，省電力などを旨とする携帯機器や小型機器には不向きな内容であった。
【０００５】
本発明の発明者は上記の問題点に鑑み、人間の聴覚解析に基づいた適切な信号処理を効率よく実行することにより、音質の低下がなく少ない演算量で頭外で音場を定位させ、あたかも通常の実在スピーカによるリスニングポイントで音を聴取しているかのような聴感を得ることができるヘッドホン受聴における頭外音像定位の方法と、この方法を実施するための装置を、特願平１０−２９１３４８号として提案している。
【０００６】
本発明の発明者が先に提案した頭外音像定位の方法は、適宜のオーディオ機器によって再生される左，右チャンネルのオーディオ信号を入力信号として、この左，右チャンネルの入力信号を夫々に少なくとも２系統に分岐し、左，右チャンネルの各系統の信号を少なくとも２つの周波数帯域に分割し，それぞれに処理，制御して、ヘッドホン着用者の頭部を基準にして仮想する適宜の音場空間に仮想した左，右のスピーカによる直接音と、その左，右の仮想スピーカから発された直接音の前記仮想音場空間における仮想反射音とを表わす信号に形成し、このようにして形成した左，右チャンネルの直接音信号と反射音信号を、左チャンネル用ミキサーと右チャンネル用ミキサーにおいて混合し、前記左，右ミキサーの夫々の出力を、ヘッドホンの左右耳用のスピーカに、夫々に供給することにを、主要な構成とするものであった。
【０００７】
提案した上記の頭外音像定位の方法によると、小規模なハード構成で、また少ない演算量によって仮想スピーカによる頭外音像の聴感を得ることが確認された。
【０００８】
【発明が解決しようとする課題】
本発明は、本発明者が先に提案しているヘッドホンによる頭外音像定位手法による効果を、更に拡大，充実させることにより、ヘッドホンであり乍ら疲労感を伴うことのない頭外音像の定位手法とのための装置を提供することを、課題とするものである。
【０００９】
【課題を解決するための手段】
上記課題を解決することを目的としてなされた本発明方法の構成は、適宜のオーディオ機器によって再生される左，右チャンネルのオーディオ信号を入力信号として２系統に分岐し、両チャンネルの各系統の信号を、ヘッドホンを着用する受聴者の頭部を基準にした仮想音場空間に仮想した左，右のスピーカによる直接音と、その直接音の前記仮想音場空間における仮想反射音と、前記受聴者の両耳における仮想クロストーク音に形成するため、前記一方の系統の信号をそのまま用いるか又は遅延処理して前記仮想スピーカの直接音信号に形成し、この直接音信号を遅延処理して前記仮想スピーカの反射音信号に形成すると共に、前記他方の系統の信号を複数の周波数帯域の信号に分割し、分割された各帯域の信号を位相制御して遅延処理することにより前記仮想スピーカのクロストーク音信号に形成し、このようにして形成した左，右チャンネルの直接音信号と反射音信号とクロストーク音信号を、夫々の各チャンネル用ミキサーにおいて混合し、前記左，右チャンネルのミキサーの夫々の出力を、ヘッドホンの左右耳用のスピーカに、夫々に供給することにを特徴とするものである。
【００１０】
上記方法において、本発明では、適宜のオーディオ機器により再生されるオーディオ信号から、左，右チャンネルの仮想スピーカによる直接音と、該両チャンネルの直接音の仮想反射音を形成するため、前記オーディオ信号を２系統に分け、その一方系統の信号を遅延処理するか又はしないで前記仮想スピーカの直接音信号とすると共に、該直接音信号を分岐して遅延処理することにより、前記仮想スピーカの反射音信号とする。また、２系統に分けた他方の系統の左，右両チャンネルの信号を、各チャンネルごと低中域と高域、又は、低域と中高域、若しくは、低域と中域と高域の周波数帯域に分け、少なくとも低周波数帯域又は各周波数帯域について、位相制御と遅延処理或は少なくとも遅延処理を、夫々に行うことにより、前記仮想スピーカのクロストーク音信号とすることができる。
【００１１】
上記の本発明方法を実行するための本発明装置の構成は、任意の仮想音場空間内に仮想した左，右スピーカの位置に対応するヘッドホンを使用する受聴者の外耳道入口までの頭部伝達関数による前記仮想スピーカの直接音の信号処理部と、前記音場空間に仮想設定した反射特性による前記直接音の前記伝達関数による前記仮想スピーカの反射音の信号処理部と、前記受聴者の両耳における仮想クロストーク音の信号処理部と、前記各信号処理部から出力される処理信号を適宜音量差を付けて混合する左，右チャンネル用のミキサーとを具備し、この左，右チャンネル用のミキサーの出力によりヘッドホンの左，右耳用のスピーカを駆動するようにしたこをと特徴とするものである。
【００１２】
【発明の実施の形態】
次に、本発明の実施の形態例について説明するが、それに先立ち本発明の前提となる再生音の聴取により人の聴感として形成される音場について説明する。
２チャンネルスピーカによりリスニングルームのような実空間で音楽再生を行う場合、聴取者の左耳には左側のスピーカから出た音のほかに、右スピーカから出た音も到達する。右耳についても同様である。この際、スピーカと同じ側の耳と逆側の耳では、スピーカからの距離が異なるため、スピーカから出た音は聴取者の耳に到達したときに左右の音で時間差（ＩＴＤ：Ｉｎｔｅｒ−ａｕｒａｌ　Ｔｉｍｅ　Ｄｉｆｆｅｒｅｎｃｅ）や音圧差（ＩＬＤ：Ｉｎｔｅｒ−ａｕｒａｌ　Ｌｅｖｅｌ　Ｄｉｆｆｅｒｅｎｃｅ）を生じる。人間の脳は主にこの左右の耳に到達する音に時間差や音圧差を手掛かりとして、音像の定位位置を判断する。
【００１３】
しかし、ヘッドホンにより音楽再生を行う場合、左右のヘッドホンから出る音はそれぞれ逆側の耳に届かず、音像の定位位置を判断する手掛かりが失われる。そのため、２チャンネルステレオ音をスピーカにより再生した場合、音像が頭の中に定位しているような聴感を覚えるという問題がある。ヘッドホンによる聴取では絶えずその音場に違和感があり、疲労感を伴うことになる。
【００１４】
そこで、本発明では、本発明の発明者が先に提案した３次元音像定位手法を適用し、その音像の定位位置を拡充することにより、音場の違和感をなくし疲労を抑制する手法、即ち、頭外音場の拡大を図ろうとするもである。
【００１５】
本発明では、音像定位処理の複雑さを低減することにより、演算量を削減するため、人間の聴覚を通して３次元音像定位を知覚するために必要となる基本的な要素にのみ着目した。即ち、聴取者の頭部や耳介による音の回析の影響の有無により、３次元音像定位に必要な要素は周波数帯域ごとに異なる。そこで本発明では、入力信号を以下に挙げる３つの周波数帯域に分割する。
（イ）　人間の頭部による回折の影響を受けにくく、平坦な周波数特性を示す低周波数帯域、
（ロ）　耳介による回折の影響を強く受け、串状の周波数特性を示す高周波数帯域、
（ハ）　低周波数帯域と高周波数帯域の中間に位置し、複雑な周波数特性を示す中間周波数帯域、
【００１６】
本発明は、上記（イ），（ロ），（ハ）の各周波数帯域に対して、音像定位を行ううえで必要最低限の演算のみを実行することにより、従来法と比較して、演算量を大幅に削減することを可能とした。以下、各周波数帯域の特性について述べる。
【００１７】
低周波数帯域では、人間の頭部による回折に着目した。即ち、人間の頭部の大きさに個人差はあるが、概ね直径が１５０〜２００ｍｍ程度の球体とみなすことができる。
半波長がこの球体の直径よりも大きい音の場合、人間の頭部による音の反射及び回折いよる影響が少なく、無視することができる。そのため、半波長がこの直径よりも大きくなるような周波数帯域においては、音が音源から両耳に入る時間差及び音量差のみをパラメータとして入力信号を処理することで、音像定位が可能となる。したがって、低周波数帯域における頭部伝達関数の周波数特性は平坦な特性となる。この境界周波数（〓_１）は音速（ｖ）を３４０ｍ／ｓ，頭部の直径（ｄ_１）を１５０〜２００ｍｍとすると、〓_１＝２ｖ／ｄ_１より８５０〜１．１ｋＨｚ程度である。
【００１８】
高周波数帯域では、人間の耳介による音の回折に着目した。人の耳介を円錐形とみなした場合、その底面の直径は概ね３５〜５５ｍｍ程度である。半波長がこの底辺の直径よりも小さい音の場合、耳介による音の回折を物理的要因とする影響が大きくなる。そのため、半波長がこの直径より小さくなるような周波数帯域において、外耳道入口に到達する音は、直接外耳道入口に到達する音と、耳介などにより回折し、遅延して外耳道入口に到達した音が重畳したものとなる。したがって、高周波数帯域における頭部伝達関数の周波数特性は串状になる。この耳介による影響を考慮する境界周波数（〓_２）は、耳介底面の直径（ｄ_２）が３５〜５５ｍｍであることから、３ｋ〜５ｋＨｚ程度である。
【００１９】
中間周波数帯域は、低周波数帯域と高周波数帯域から決定される。この帯域では、頭部や耳介による回折の影響を考慮する必要があり、頭部伝達関数の周波数特性は複雑な特性となる。
【００２０】
本発明は、各周波数帯域における上記のような特性に鑑み、以下に挙げる３つの音を合成することにより、人間が音像の定位位置を判断する手掛かりが得られると考え、頭外に定位させる音場の拡大処理を行うものである。この場合の３つの音とは、図１に示すスピーカＳＰから聴取者Ｍの左右の耳Ｒｅ，Ｌｅに直接到達する“直接音”（Ｄｉｒｅｃｔ）Ｄｓ、壁面等で反射し聴取者の耳に到達する“反射音”（Ｒｅｆｌｅｃｔｅｄ）Ｒｓ、聴取者の頭部により回折し、スピーカと逆側の耳に入る“クロストーク音”（Ｃｒｏｓｓ　Ｔａｌｋ）Ｃｓである。
【００２１】
本発明では、上記３つの音Ｄｓ，Ｒｓ，Ｃｓを入力信号を処理，制御して実現するため、図２の模式図に示すような処理を左右のチャンネルに対して行う。ここで、直接音Ｄｓおよび反射音Ｒｓについては、位相の周波数による変化は考慮せず、遅延制御（Ｄｅｌａｙ）のみを行う。一方、クロストーク音Ｃｓについては、位相の周波数による変化を考慮する。その理由は、クロストーク音Ｃｓは周波数が高くなるにつれ、頭部による回折の影響を受けやすく、その周波数−位相特性は理想的には図３のようになると考えられているからである。
【００２２】
そこで、本発明では、左右チャンネルの入力信号を、夫々に３つの周波数帯域に分割（Ｆｒｅｑｕｅｎｃｙ　Ｄｉｖｉｓｉｏｎ）し、それぞれの周波数帯域ごとに選択的にパラメトリックイコライザ（ＰＥＱ）および遅延器（Ｄｅｌａｙ）を位相器として採用することにより、低次のＩＩＲフィルタでクロストーク音をＣｓ再現することを可能とした。最後に、両チャンネルごとに直接音Ｄｓ，反射音Ｒｓ，クロストーク音Ｃｓの音量を調整し、ミキシング（Ｍｉｘｉｎｇ）を行うことで出力を得るようにした。
【００２３】
上記の手法を実現するフィルタ構成図を、片チャンネルについて図４に示す。まず、ステレオの入力信号Ｓｉを２系統に分け、その一方を帯域分割フィルタＦｄにおいてクロストーク音用の周波数帯域分割を行い、各帯域ごと位相器Ｐｓと遅延器Ｄｅを用いることによりクロストーク音信号を生成する。この際、周波数分割フィルタＦｄにはＦＩＲフィルタを利用するが、これにより、信号に遅延が生じる。そこで、本発明では、２系統に分けた他方の入力信号による直接音に遅延器Ｄｅによる遅延を与えることによりＦＩＲフィルタによる遅延の影響を除去するようにした。また、その遅延を与えた前記信号に対して、さらに遅延器Ｄｅによる遅延を与えることにより反射音を生成する。最後に、直接音，反射音、およびクロストーク音の各帯域の信号をミキサーＭｘでミキシングすることにより、頭外へ音場を拡大したステレオ音を得ることが出来るのである。
【００２４】
以下に、フィルタ各部の詳細について説明する。
まず、図５に示すＢａｎｄ　Ｄｉｖｉｓｉｏｎ　Ｆｉｌｔｅｒにおいて、クロストーク音の信号を生成するため一方の系統の入力信号の周波数帯域分割を行う。ここで、周波数に対して直線位相であり、その後の音場拡大処理で位相調整の必要がないため、ＦＩＲフィルタを周波数分割フィルタとして使用する。また、遮断した周波数帯域での音量レベルが透過した周波数帯域に影響を及ぼさないような減衰量である４０ｄＢ／ｏｃｔを確保するため、フィルタの次数を３３次とした。このことから、本発明では、図３に示すように、入力信号ｘ［ｎ］を３３次ローパスＦＩＲフィルタ，３３次バンドパスＦＩＲフィルタ，３３次ハイパスＦＩＲフィルタを用いて、低周波数帯域信号ｘ_１［ｎ］，中間周波数帯域ｘ_ｉ［ｎ］，高周波数帯域ｘ_ｈ［ｎ］に分割する。
【００２５】
また、効果的な音場拡大を実現するためには、精度の高い周波数帯域分割が必要不可欠である。このような場面では、図６に示すように、中間周波数帯域分割処理で用いられているバンドパスＦＩＲフィルタを、ハイパスＦＩＲフィルタとローパスＦＩＲフィルタのシーケンス処理とする構成を用いる。このような処理をすると、図７に示すように、２つのＦＩＲフィルタを組み合わせることで、１つのバンドパスＦＩＲフィルタ処理と比較して、両遮断周波数帯域で急峻なカットオフ特性を実現可能である。これにより、高精度な頭部伝達関数近似を実現でき、フィルタの係数ならびに係数の窓関数を適切に設定することで、さまざまな仮想リスニングルームや仮想スピーカ配置の設定が可能となる。
【００２６】
クロストーク音の各周波数帯域に対し適切な周波数特性を得るために、図４に示す位相器（ＩＩＲ　Ｐｈａｓｅ　Ｓｈｉｆｔｅｒ）を用いる。位相器は操作性のよいＰＥＱを用いて実現する。したがって、次式で表される２次ＩＩＲフィルタを用いる。
ｄ［ｎ］＝ｘ［ｎ］＋ａ_１ｄ［ｎ−１］＋ａ_２ｄ［ｎ−２］
ｙ［ｎ］＝ｂ_ｏｄ［ｎ］＋ｂ_１ｄ［ｎ−１］＋ｂ_２ｄ［ｎ−２］
ここで、ｘ［ｎ］・ｙ［ｎ］・ｄ［ｎ］は、それぞれ入力，出力，遅延信号を、ａ_０〜ａ_２・ｂ_０・ｂ_１は利得を表す。
上式から本発明方法で用いる２次ＩＩＲフィルタは図９に示すような構成を採る。また、精度や汎用性よりも演算量の少なさが要求される場合、周波数−位相応答を線形近似し、遅延処理のみにより位相の変化を再現することで、演算量を削減することが可能である。このような場合、図４のＩＩＲ　Ｐｈａｓｅ　Ｓｈｉｆｔｅｒを省略した構成が選択される。
【００２７】
直接音と反射音およびクロストーク音の伝達時間差を先に述べた図４に示す遅延制御バッファ（Ｄｅｌａｙ）により制御する。本発明方法では、周波数分割処理にＦＩＲフィルタを用いているため、クロストーク音のそれぞれの帯域信号に遅延が生じる。この遅延による影響を補正するため、図４に示すように、直接音に遅延を与える。さらに、補正した直接音の信号を２つに分け、その一方に遅延を与えることにより反射音を生成するようにしている。一方、クロストーク音は、位相制御処理の後、３つの周波数帯域による左右の伝達時間差，音源から左右の耳に到達する音の伝達時間差，各帯域のフィルタ処理による時間差を考慮し、遅延を与えることにより生成する。
【００２８】
しかし、一般的にいうと、音源から左右の耳に到達する音の伝達時間差などによって生じる遅延は、周波数分割処理のためのＦＩＲフィルタによって生じる遅延に比べて大きいので、クロストーク音に対する遅延を調整することで、ＦＩＲによって生じる遅延を補正できる。このことから、本発明では音源から左右の耳に到達する音の伝達時間差が小さい場合を無視することにより直接音に対する遅延器を省略することが可能である。
【００２９】
最後に、各周波数帯域で音像定位処理された信号を１つに重ね合わせるミキシング処理を行う。このミキシング処理では、図１０に示すように、直接音ｘ［ｎ］，反射音ｘ_ｒ［ｎ］、およびクロストーク音の低周波数，中間周波数，高周波数帯域処理信号ｘ_１［ｎ］・ｘ_ｉ［ｎ］・ｘ_ｈ［ｎ］に利得ａ_ｄ・ａ_ｒ・ａ_ｌ・ａ_ｉ・ａ_ｈをそれぞれ掛けたものの総和をとることにより、周波数帯域ごとの音量を調整する。従って、出力ｙ［ｎ］は、
ｙ［ｎ］−ａ_ｄｘ［ｎ］＋ａ_ｒｘ_ｒ［ｎ］＋ａ_ｉｘ_ｉ［ｎ］＋ａ_ｈｘ_ｈ［ｎ］
となる。
【００３０】
また、図１１に示すように、遅延制御とミキシング処理を一つにまとめ、１つの遅延制御バッファに値を加算することによりミキシングを行うことで、遅延制御用のメモリを削減できる。ただし、このような構成には、ミキシングのゲインや遅延時間の設定を変更する際、正しくミキシングが行われないという難点がある。
【００３１】
以上により、ヘッドホンの左右スピーカの音を、受聴者の頭外であって、より拡大された範囲に音像定位するには、入力するオーディオ信号から、仮想スピーカによる仮想の直接音と、仮想音場における前記スピーカ音の反射音と、受聴者の両耳におけるクロストーク音を、異なる要素により制御して生成すると共に、クロストーク音については、演算量を削減する目的で入力信号を複数の帯域に分割して各帯域ごとに制御することによって実現可能であることが、裏付けられた。
【００３２】
【発明の効果】
本発明は以上の通りであって、オーディオ機器に再生されたオーディオ信号を、ヘッドホンに入力する手前において、２系統に分岐し、一方の系統の信号を仮想の直接音と仮想の反射音を生成するために処理すると共に、他方の系統の信号を複数の帯域に分割して各帯域ごとに処理をしてクロストーク音の信号を生成し、各信号を、それぞれの音の量の比率を制御してミキサーにより混合することによって、ヘッドホンの左，右スピーカ用のオーディオ信号に形成するので、ヘッドホン受聴における従来の頭外定位音像に比べより拡大された頭外位置に明瞭に定位される音像による再生音を得ることが可能になる。
【図面の簡単な説明】
【図１】本発明方法におけるヘッドホン受聴者と仮想音場，仮想スピーカの位置関係と受聴者の耳に入る３つの音を説明するための模式的平面図。
【図２】本発明方法の概念的構成例を模式的に示すブロック図。
【図３】クロストーク音の周波数位相特性を模式的に表わした線図。
【図４】図２の本発明方法を片チャンネルについて表現した機能ブロック図。
【図５】周波数帯域分割フィルタの一例のブロック図。
【図６】高精度周波数帯域分割フィルタの一例のブロック図。
【図７】分割された各周波数帯の周波数特性を例示した線図。
【図８】低演算量周波数帯域分割フィルタの例のブロック図。
【図９】２次ＩＩＲフィルタの例のブロック図。
【図１０】ミキサーの一例のブロック図。
【図１１】遅延制御バッファを共有化したミキサーの例のブロック図。
【符号の説明】
Ｍ　　　　　ヘッドホン受聴者
Ｌｉ，Ｒｉ　　　左右チャンネルの入力信号
Ｄｆｌ，Ｄｆｒ　　左右チャンネルの周波数帯域分割部
Ｃｓｌ，Ｃｓｒ　　左右チャンネルのクロストーク音信号処理部
Ｄｓｌ，Ｄｓｒ　　左右チャンネルの直接音信号処理部
Ｒｓｌ，Ｒｓｒ　　左右チャンネルの反射音信号処理部
Ｍ_Ｌ，Ｍ_Ｒ　　　左右チャンネルのミキサー
Ｈｐ　　　　　ヘッドホン[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a method of localizing a sound image localized outside the head of a listener as a sound image at a further enlarged head position when listening to an audio signal output from an audio device through headphones, and an apparatus therefor. .
[0002]
[Prior art]
2. Description of the Related Art Conventionally, various techniques have been proposed for a technique for localizing a sound image outside a listener's head when listening to reproduced sound such as music through headphones.
[0003]
That is, when a sound such as music is heard through headphones, a sound image is formed in the head of the listener. Therefore, a sound image of music or the like is heard by driving a speaker placed in an actual acoustic space such as a listening room. For the purpose of improving the point that only a completely different sense of hearing can be obtained, even when listening with headphones, for example, a sound image with headphones outside of the listener's head so that the audibility at the sound level reproduced by an external speaker can be obtained. Various researches and proposals have been made on the technology for localizing the sphere.
[0004]
However, the conventionally proposed method of localization of an out-of-head sound image is virtually generated from a speaker by faithfully simulating reflection of a sound reproduced in a real speaker in a listening room or diffraction by a head. In order to reproduce the sound that can be heard when it is running, not only a large hardware configuration is indispensable, but also an enormous amount of arithmetic processing is performed, and a large capacity memory is stored for storing the processed data. The contents are unsuitable for portable devices and small devices that are indispensable, such as low cost and power saving.
[0005]
In view of the above problems, the inventor of the present invention efficiently performs appropriate signal processing based on human auditory analysis to localize the sound field outside the head with a small amount of computation without a decrease in sound quality, A method of localizing an out-of-head sound image in headphone listening, which can obtain a sense of hearing as if listening to a sound at a listening point of a normal real speaker, and an apparatus for performing this method are disclosed in Japanese Patent Application No. No. 291348.
[0006]
The method of localizing an out-of-head sound image previously proposed by the inventor of the present invention uses the left and right channel audio signals reproduced by an appropriate audio device as input signals, and converts the left and right channel input signals into at least respective signals. Appropriate sound field space that branches into two systems, divides the signals of each system of the left and right channels into at least two frequency bands, processes and controls each, and virtualizes the headphone wearer's head as a reference. And a virtual sound reflected by the left and right virtual speakers and the virtual sound in the virtual sound field space of the direct sound emitted from the left and right virtual speakers. The direct sound signal and the reflected sound signal of the left and right channels are mixed in the mixer for the left channel and the mixer for the right channel, and the outputs of the left and right mixers are connected to the headphone. Of the speaker for the left and right ears, to be supplied respectively, it was to the main structure.
[0007]
According to the proposed method of localization of an out-of-head sound image described above, it was confirmed that the auditory sensation of an out-of-head sound image by a virtual speaker can be obtained with a small hardware configuration and with a small amount of calculation.
[0008]
[Problems to be solved by the invention]
The present invention further enhances and enhances the effect of the headphone out-of-head sound image localization method previously proposed by the present inventor, so that the headphone localization of an out-of-head sound image without causing a feeling of fatigue even though the headphone is used. It is an object to provide an apparatus for the method.
[0009]
[Means for Solving the Problems]
The configuration of the method of the present invention made to solve the above-mentioned problem is as follows. Left and right channel audio signals reproduced by an appropriate audio device are divided into two systems as input signals, and signals of each system of both channels are divided. A direct sound by left and right speakers imagined in a virtual sound field space based on a head of a listener wearing headphones, a virtual reflected sound of the direct sound in the virtual sound field space, and the listener In order to form a virtual crosstalk sound in both ears, the signal of the one system is used as it is or is subjected to delay processing to form a direct sound signal of the virtual speaker, and the direct sound signal is subjected to delay processing to generate the virtual sound. The signal of the other system is formed into a signal of a plurality of frequency bands, and a signal of each of the divided bands is subjected to phase control to be subjected to delay processing. Thus, the direct sound signal, the reflected sound signal, and the crosstalk sound signal of the left and right channels thus formed are mixed in the respective channel mixers to form the crosstalk sound signal of the virtual speaker. It is characterized in that the outputs of the left and right channel mixers are respectively supplied to left and right ear speakers of headphones.
[0010]
In the above method, according to the present invention, a direct sound from virtual speakers of left and right channels and a virtual reflected sound of the direct sound of both channels are formed from an audio signal reproduced by an appropriate audio device. Is divided into two systems, the signal of one of the systems is processed with or without delay processing as the direct sound signal of the virtual speaker, and the direct sound signal is branched and subjected to the delay processing, whereby the reflected sound of the virtual speaker is processed. Signal. Also, the signals of both the left and right channels of the other system divided into two systems are divided into low-mid and high ranges, or low and mid-high ranges, or low, middle and high ranges for each channel. By dividing the band into at least a low frequency band or at least each frequency band, a phase control and a delay process or at least a delay process are performed, respectively, whereby a crosstalk sound signal of the virtual speaker can be obtained.
[0011]
The configuration of the apparatus of the present invention for performing the above-described method of the present invention is as follows. The head transmission to the ear canal entrance of the listener using headphones corresponding to the positions of the left and right speakers imagined in an arbitrary virtual sound field space A signal processing unit for a direct sound of the virtual speaker by a function, a signal processing unit for a reflection sound of the virtual speaker by the transfer function of the direct sound by a reflection characteristic virtually set in the sound field space, and the listener A signal processing section for virtual crosstalk sound in the ear; and left and right channel mixers for mixing the processed signals output from the respective signal processing sections with appropriate volume differences, and for the left and right channels. And the speakers for the left and right ears of the headphones are driven by the output of the mixer.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, an embodiment of the present invention will be described. Prior to this, a sound field formed as human perception by listening to reproduced sound, which is a premise of the present invention, will be described.
When music is reproduced in a real space such as a listening room by using a two-channel speaker, the sound from the right speaker as well as the sound from the left speaker reaches the left ear of the listener. The same applies to the right ear. At this time, since the distance from the speaker is different between the ear on the same side as the speaker and the ear on the opposite side, the sound emitted from the speaker differs in time between the left and right sounds when reaching the listener's ear (ITD: Inter-aural). Time difference and sound pressure difference (ILD: Inter-aural Level Difference) are generated. The human brain mainly determines the localization position of the sound image using the time difference and the sound pressure difference as clues to the sound reaching the left and right ears.
[0013]
However, when music is reproduced by headphones, the sounds emitted from the left and right headphones do not reach the ears on the opposite sides, and clues for determining the localization position of the sound image are lost. Therefore, when the two-channel stereo sound is reproduced by the speaker, there is a problem in that the user feels a sense of hearing that the sound image is localized in the head. Listening through headphones constantly gives the sound field an unpleasant sensation and is accompanied by a feeling of fatigue.
[0014]
Therefore, in the present invention, a method of suppressing fatigue by eliminating the discomfort of the sound field by applying the three-dimensional sound image localization method proposed earlier by the inventor of the present invention and expanding the localization position of the sound image, that is, The aim is to expand the sound field outside the head.
[0015]
In the present invention, in order to reduce the amount of computation by reducing the complexity of sound image localization processing, attention has been paid only to basic elements necessary for perceiving three-dimensional sound image localization through human hearing. That is, the elements required for the three-dimensional sound image localization differ for each frequency band depending on whether or not the sound is diffracted by the listener's head or pinna. Therefore, in the present invention, the input signal is divided into the following three frequency bands.
(A) Low frequency band that is not easily affected by diffraction by the human head and exhibits flat frequency characteristics.
(B) High frequency band that is strongly affected by diffraction by the pinna and exhibits skewered frequency characteristics,
(C) An intermediate frequency band that is located between the low frequency band and the high frequency band and has complex frequency characteristics.
[0016]
According to the present invention, only the minimum necessary calculation for sound image localization is performed for each of the frequency bands (a), (b), and (c), so that The amount can be greatly reduced. Hereinafter, characteristics of each frequency band will be described.
[0017]
In the low frequency band, we focused on diffraction by the human head. That is, although there are individual differences in the size of the human head, it can be regarded as a sphere having a diameter of about 150 to 200 mm.
In the case of a sound whose half wavelength is larger than the diameter of this sphere, the influence of sound reflection and diffraction by the human head is small and can be ignored. Therefore, in a frequency band in which a half wavelength is larger than this diameter, a sound image localization can be performed by processing an input signal using only a time difference and a sound volume difference from a sound source to both ears as parameters. Therefore, the frequency characteristic of the head-related transfer function in the low frequency band is a flat characteristic. This boundary frequency (〓 ₁ ) is about 850 to 1.1 kHz from 〓 ₁ = 2 v / d ₁ assuming that the sound speed (v) is 340 m / s and the head diameter (d ₁ ) is 150 to 200 mm.
[0018]
In the high frequency band, we focused on the diffraction of sound by the human pinna. When a human pinna is considered to be conical, the diameter of the bottom surface is approximately 35 to 55 mm. In the case of a sound whose half wavelength is smaller than the diameter of the base, the influence of sound diffraction by the pinna as a physical factor increases. Therefore, in the frequency band where the half wavelength is smaller than this diameter, the sound that reaches the ear canal entrance is the sound that reaches the ear canal entrance directly, and the sound that reaches the ear canal entrance after being diffracted by the pinna and delayed. It is superimposed. Therefore, the frequency characteristics of the head-related transfer function in a high frequency band are skewered. The boundary frequency (〓 ₂ ) in which the influence of the pinna is considered is about 3 kHz to 5 kHz because the diameter (d ₂ ) of the pinna bottom is 35 to 55 mm.
[0019]
The intermediate frequency band is determined from a low frequency band and a high frequency band. In this band, it is necessary to consider the effect of diffraction due to the head and pinna, and the frequency characteristics of the head-related transfer function are complicated.
[0020]
In view of the above characteristics in each frequency band, the present invention considers that by synthesizing the following three sounds, it is possible to obtain clues for a person to determine the localization position of a sound image, This is a process for expanding the space. The three sounds in this case are "direct sounds" (Direct) Ds directly reaching the left and right ears Re and Le of the listener M from the speaker SP shown in FIG. “Reflected” Rs, and “Cross Talk” Cs that is diffracted by the listener's head and enters the ear opposite to the speaker.
[0021]
In the present invention, in order to realize the three sounds Ds, Rs, and Cs by processing and controlling the input signal, the processing shown in the schematic diagram of FIG. 2 is performed on the left and right channels. Here, with respect to the direct sound Ds and the reflected sound Rs, only a delay control (Delay) is performed without considering a change in phase frequency. On the other hand, for the crosstalk sound Cs, a change in phase due to frequency is considered. The reason is that as the frequency of the crosstalk sound Cs increases, the crosstalk sound is more susceptible to diffraction by the head, and its frequency-phase characteristics are considered to ideally be as shown in FIG.
[0022]
Therefore, in the present invention, the input signals of the left and right channels are respectively divided into three frequency bands (Frequency Division), and a parametric equalizer (PEQ) and a delay unit (Delay) are selectively provided for each frequency band. As a result, it becomes possible to reproduce the crosstalk sound Cs with a low-order IIR filter. Finally, the volume of the direct sound Ds, the reflected sound Rs, and the crosstalk sound Cs is adjusted for each channel, and an output is obtained by performing mixing.
[0023]
FIG. 4 shows a filter configuration diagram for realizing the above method for one channel. First, the stereo input signal Si is divided into two systems, one of which is divided into frequency bands for a crosstalk sound by a band division filter Fd, and a crosstalk sound signal is obtained by using a phase shifter Ps and a delay device De for each band. Generate At this time, an FIR filter is used as the frequency division filter Fd, which causes a signal delay. Therefore, in the present invention, the direct sound caused by the other input signal divided into two systems is delayed by the delay unit De to remove the influence of the delay by the FIR filter. Further, the reflected sound is generated by further delaying the delayed signal by the delay unit De. Finally, by mixing the signals in each band of the direct sound, the reflected sound, and the crosstalk sound by the mixer Mx, it is possible to obtain a stereo sound whose sound field is expanded out of the head.
[0024]
Hereinafter, details of each part of the filter will be described.
First, in the Band Division Filter shown in FIG. 5, a frequency band division of an input signal of one system is performed to generate a signal of a crosstalk sound. Here, the FIR filter is used as a frequency division filter because it has a linear phase with respect to the frequency and does not require phase adjustment in the subsequent sound field expansion processing. Further, in order to secure 40 dB / oct, which is an attenuation amount such that the sound volume level in the cut-off frequency band does not affect the transmitted frequency band, the order of the filter is set to 33rd. Accordingly, in the present invention, as shown in FIG. 3, the input signal x [n] is converted to a low frequency band signal x ₁ by using a 33rd-order low-pass FIR filter, a 33rd-order bandpass FIR filter, and a 33rd-order high-pass FIR filter. [N], an intermediate frequency band x _i [n], and a high frequency band x _h [n].
[0025]
Further, in order to realize an effective sound field expansion, it is essential to perform frequency band division with high accuracy. In such a case, as shown in FIG. 6, a configuration is used in which the band-pass FIR filter used in the intermediate frequency band division processing is a sequence processing of a high-pass FIR filter and a low-pass FIR filter. By performing such processing, as shown in FIG. 7, by combining two FIR filters, it is possible to realize a steep cutoff characteristic in both cutoff frequency bands as compared with one bandpass FIR filter processing. . As a result, a highly accurate head related transfer function approximation can be realized, and various virtual listening rooms and virtual speaker arrangements can be set by appropriately setting the filter coefficients and the window functions of the coefficients.
[0026]
In order to obtain an appropriate frequency characteristic for each frequency band of the crosstalk sound, a phase shifter (IIR Phase Shifter) shown in FIG. 4 is used. The phase shifter is realized by using PEQ having good operability. Therefore, a second-order IIR filter represented by the following equation is used.
_{d [n] = x [n} ] + a 1 d [n-1] + a 2 d [n-2]
_{_{y [n] = b o d}} [n] + b 1 d [n-1] + b 2 d [n-2]
Here, x [n] · y [ n] · d [n] is inputted, outputs a delay _{_{_{signal, a 0 ~a 2 · b 0}}} · b 1 represents a gain.
From the above equation, the second-order IIR filter used in the method of the present invention has a configuration as shown in FIG. Also, when less computational complexity is required than accuracy and versatility, the frequency-phase response is linearly approximated, and the phase variation is reproduced only by delay processing, so that the computational complexity can be reduced. is there. In such a case, a configuration in which the IIR Phase Shifter in FIG. 4 is omitted is selected.
[0027]
The transmission time difference between the direct sound, the reflected sound and the crosstalk sound is controlled by the above-described delay control buffer (Delay) shown in FIG. In the method of the present invention, since the FIR filter is used for the frequency division processing, a delay occurs in each band signal of the crosstalk sound. In order to correct the influence of the delay, a direct sound is delayed as shown in FIG. Further, the corrected direct sound signal is divided into two, and a reflected sound is generated by delaying one of the two signals. On the other hand, the crosstalk sound is delayed after the phase control process in consideration of the transmission time difference between the left and right due to the three frequency bands, the transmission time difference between the sounds reaching the left and right ears from the sound source, and the time difference due to the filtering process of each band. Generated by
[0028]
However, generally speaking, the delay caused by the transmission time difference of the sound reaching the left and right ears from the sound source is larger than the delay caused by the FIR filter for the frequency division processing. By doing so, the delay caused by the FIR can be corrected. Therefore, in the present invention, it is possible to omit the delay device for the direct sound by ignoring the case where the transmission time difference of the sound reaching the left and right ears from the sound source is small.
[0029]
Finally, a mixing process is performed in which the signals subjected to the sound image localization processing in each frequency band are superimposed on one signal. In this mixing process, as shown in FIG. 10, the direct sound x [n], the reflected sound _xr [n], and the low frequency, intermediate frequency, and high frequency band processed signals x ₁ [n] · x of the crosstalk sound. _{_{i [n] · x h [}} n] to gain _{_{_{a d · a r · a l}}} · a i · a h but multiplied respectively by summing, to adjust the volume of each frequency band. Therefore, the output y [n] is
_{_{_{y [n] -a d x [}}} n] + a r x r [n] + a i x i [n] + a h x h [n]
It becomes.
[0030]
In addition, as shown in FIG. 11, delay control and mixing processing are integrated into one, and mixing is performed by adding a value to one delay control buffer, whereby the memory for delay control can be reduced. However, such a configuration has a disadvantage that mixing is not performed correctly when changing the settings of the mixing gain and the delay time.
[0031]
As described above, in order to localize the sound of the left and right speakers of the headphones outside the listener's head and in a more enlarged range, the virtual direct sound from the virtual speaker and the virtual sound field can be obtained from the input audio signal. In addition to generating the reflected sound of the speaker sound and the crosstalk sound in both ears of the listener by controlling different elements, the crosstalk sound is obtained by reducing the input signal to a plurality of bands for the purpose of reducing the amount of calculation. The fact that this can be realized by dividing and controlling each band is supported.
[0032]
【The invention's effect】
The present invention is as described above. An audio signal reproduced by an audio device is branched into two systems before input to headphones, and a signal of one system generates a virtual direct sound and a virtual reflected sound. To generate a crosstalk sound signal by dividing the signal of the other system into a plurality of bands and processing each band, and controlling the ratio of the amount of each sound to each signal. Then, by mixing with a mixer, audio signals for the left and right speakers of the headphones are formed, so that a sound image clearly localized at an extra-head position larger than the conventional out-of-head localization sound image in headphone listening. Playback sound can be obtained.
[Brief description of the drawings]
FIG. 1 is a schematic plan view for explaining the positional relationship between a headphone listener, a virtual sound field, and a virtual speaker and three sounds entering a listener's ear in the method of the present invention.
FIG. 2 is a block diagram schematically showing a conceptual configuration example of the method of the present invention.
FIG. 3 is a diagram schematically illustrating a frequency phase characteristic of a crosstalk sound.
FIG. 4 is a functional block diagram expressing the method of the present invention of FIG. 2 for one channel.
FIG. 5 is a block diagram illustrating an example of a frequency band division filter.
FIG. 6 is a block diagram illustrating an example of a high-precision frequency band division filter.
FIG. 7 is a diagram illustrating frequency characteristics of each divided frequency band.
FIG. 8 is a block diagram illustrating an example of a low-computation-amount frequency band division filter.
FIG. 9 is a block diagram illustrating an example of a second-order IIR filter.
FIG. 10 is a block diagram illustrating an example of a mixer.
FIG. 11 is a block diagram of an example of a mixer sharing a delay control buffer.
[Explanation of symbols]
M Headphone listeners Li, Ri Left and right channel input signals Dfl, Dfr Left and right channel frequency band division units Csl, Csr Left and right channel crosstalk sound signal processing units Dsl, Dsr Left and right channel direct sound signal processing units Rsl, Rsr Left and right channels reflected sound signal processing portion _M L, of _{M R} left-channel mixer Hp headphones

Claims

The left and right channel stereo audio signals reproduced by appropriate audio equipment are respectively split into two systems as input signals, and the signals of each system of both channels are virtualized based on the head of the listener wearing headphones. To form a direct sound from left and right speakers imagined in a sound field space, a virtual reflected sound of the direct sound in the virtual sound field space, and a virtual crosstalk sound in both ears of the listener, A signal of the system is used as it is or is subjected to delay processing to form a direct sound signal of the virtual speaker, and the direct sound signal is subjected to delay processing to form a reflected sound signal of the virtual speaker, and the signal of the other system is used. Is divided into a plurality of frequency band signals, and the divided signals of the respective bands are phase-controlled and subjected to delay processing to generate a crosstalk sound signal of the virtual speaker. The direct sound signal, the reflected sound signal, and the crosstalk sound signal of the left and right channels thus formed are mixed in respective channel mixers, and the respective outputs of the left and right channel mixers are mixed. A method of localizing a sound image outside a head in listening to reproduced sound by headphones, wherein the sound image is supplied to speakers for the left and right ears of the headphone, respectively.

The audio signal is divided into two systems to form a direct sound from virtual speakers of left and right channels and a virtual reflection sound of the direct sound of both channels from an audio signal reproduced by an appropriate audio device. 2. The headphone according to claim 1, wherein a signal of a system is processed as a direct sound signal of the virtual speaker with or without delay processing, and the direct sound signal is branched and processed to be a reflected sound signal of the virtual speaker. Of sound image outside head in listening to reproduced sound by the computer.

The signals of the left and right channels of the other system divided into two systems are divided into low-mid and high ranges, or low and mid-high ranges, or low, middle and high ranges, for each channel. 2. The method according to claim 1, further comprising performing phase control and delay processing or at least delay processing for at least a low frequency band or each frequency band to obtain a crosstalk sound signal of the virtual speaker.

A signal processing unit for a direct sound of the virtual speaker based on a head-related transfer function to a listener's ear canal entrance using headphones corresponding to the positions of left and right speakers virtualized in an arbitrary virtual sound field space; A signal processing unit for a reflection sound of the virtual speaker based on the transfer function of the direct sound based on a reflection characteristic virtually set in a space; a signal processing unit for a virtual crosstalk sound in both ears of the listener; and the signal processing units And a mixer for the left and right channels for mixing the processed signals output from the mixers with an appropriate volume difference, and the left and right channel speakers are driven by the outputs of the left and right channel mixers. An out-of-head sound image localization apparatus for listening to reproduced sound using headphones, characterized in that: