JP2016527799A

JP2016527799A - 音響信号処理方法

Info

Publication number: JP2016527799A
Application number: JP2016527101A
Authority: JP
Inventors: モロー，チャールズ
Original assignee: モロー，チャールズ
Priority date: 2013-07-19
Filing date: 2014-07-17
Publication date: 2016-09-08
Anticipated expiration: 2034-07-17
Also published as: CA2918677C; JP6246922B2; EP3022947A1; CA2918677A1; US20150023505A1; KR20160061315A; EP3022947B1; US20160183027A1; US9467792B2; US9788134B2; WO2015009921A1

Abstract

３次元音響環境を作る音声信号を処理する方法は、少なくとも一の音源から少なくとも一の入力信号を受信する工程と、前記受信した少なくとも一の入力信号に基づいて、地面又は床に反射する少なくとも一の入力信号のシミュレーションを表す模擬信号を少なくとも一部作る工程と、前記模擬信号及び前記受信した少なくとも一の入力信号に基づいて、複数の音声チャネルを含む出力信号を、少なくとも部分的に作る工程と、を少なくとも備え、前記出力信号の前記複数の音声チャネルのうち少なくとも二のチャネルは、基準聴手位置において聴取者の耳の高さよりも上にある音響変換器用の信号を表し、前記出力信号の前記複数の音声チャネルのうち少なくとも二のチャネルは、基準聴手位置において聴取者の耳の高さよりも下にある音響変換器用の信号を表すことを特徴とする方法。【選択図】図２

Description

本発明は、音響処理の技術分野に関する。特に、本発明は、３Ｄ（３次元）音響環境を作る音響の処理に関する。

３Ｄ音響環境を作る手法がいくつか知られている。既存の解決手法は、通常、頭部伝達関数（ＨＲＴＦ）等の複雑な数学関数や、その他の複雑な信号処理関数を必要とする。その他の手法は、聴取者の位置での完全音場の再生を目的とする、アンビソニックスとして知られる手法を含むが、これもまた複雑な信号処理や複雑なスピーカ設定を必要とする。

各種の音響反射を示す図である。本発明の有利な実施例に係る音響処理再生システムを示す図である。スピーカの連続的な立方体配置が一よりも多く提供されていることを示す図である。本発明の第１態様に係る方法を示す図である。本発明の第２態様に係る音響処理装置を示す図である。本発明の第３態様に係るソフトウェアプログラム製品を示す図である。

本発明の有利な実施例について、図１、図２及び図３を参照して、一般的水準を以下に説明する。

図１は、音源１１０が音波を生じ、音波が聴取者１２０に向かって伝搬する状況を示している。音波は、該音波が当たる障害物の全てに反射し、また地面にも反射して、地面反射１３０を生じる。本発明者は、現実的且つ没入的に聴取者に聞こえる３次元音響環境を作るには地面反射を考慮することが必要であることを見出した。

音は、その音の位置から球状波面として進行伝搬し、音が当たる全ての物に反射する。反射の生じ方、反射がその反射音の周波数に与える影響、反射の進む方向は、反射点での対象物の形状や材料に依存する。よって、聴取者は、音源から直接到達する音だけでなく、全環境からの反射音によっても囲まれる。本発明者は、地面反射が例えば録音済み音響信号にまだ含まれていない場合には、地面反射シミュレーションが。高品質没入型３Ｄ音響環境に必要とされることを見出した。

地面反射が、音響反射されている音源の方向からだけではなく、一よりも多い方向から生じる場合、生じた３Ｄイリュージョンに更に有利である。

シミュレートされた地面反射は、聴取者の脳が期待するレベルと合うような適切な音量レベルで有利に提供される。これらのパラメータは、本明細書で更に後述される。

いくつかの科学的研究から、人の音響認識における方位分解能は水平面で最も正確であり、音の垂直方向の決定の際にはあまり正確ではないことが示された。然るに本発明者は、垂直に沿った音響方向認識の主要成分、即ち、音源の見かけの高さは、その音の地面反射であることを見出した。多数の方向や高さから到来する音の人工的音景において没入型体感を生じさせるためには、地面反射シミュレーションが再生音に含まれる必要がある。

本発明者は、没入型３Ｄ音響体験を生じさせる際には、音響再生において複数のスピーカを用いることが必要であることも見出した。高品質３Ｄ音響体験を生じさせるためには、少なくとも二のスピーカが聴取者の耳の高さよりも下に必要であり、少なくとも二のスピーカが聴取者の耳の高さよりも上に必要である。本明細書の内容において、上や下という文言は、聴取者の視点からみたスピーカの位置を意味するものである。

このようなスピーカ配置によって、地面反射が下方向から、即ち聴取者の耳の高さよりも下から聴取者の耳に到達するように地面反射を再生できる。

スピーカに有利な配置は、図２に示すように、聴取者の周りに略立方体形状でスピーカを配置することである。図２は、本発明の有利な実施形態に係るシステムを示す。図２は、複数のスピーカ２１０と、スピーカ２１０によって形成された立方体内の聴取者１２０とを示す。

スピーカは、マルチチャネル増幅器２２０に接続され、マルチチャネル増幅器２２０は、サウンドプロセッサ２３０に接続されている。この例示的実施例では、サウンドプロセッサは、音響信号を受信する入力部を有する。

本発明者は、更に、シミュレートされた地面反射を用いた背景３Ｄ音景を作ることによって、３Ｄ空間における点源の３Ｄイリュージョンを大きく増大させることを見出した。３Ｄ背景音を用いることで聴取者の周りに３Ｄ世界の幻想が既に生じている場合は、３Ｄ空間に加えられた点源の３次元性が聴取者の心に大きく広がる。結果として生じる３Ｄイリュージョンは、３Ｄ背景音がない場合よりも非常に強い。３Ｄ背景音は、加えられた点音源が配置される３Ｄ世界について、前もって聴取者に認識させるようである。

以下に、本発明の有利な実施形態に係る音響処理装置を説明する。

この音響処理装置への入力は、本発明の各種実施形態の具体的実施に応じて変更できる。この入力は、例えば、従来のステレオ信号であってよく、これが次に処理されて模擬３Ｄ音響信号となる。この処理については、本明細書で詳細に後述する。

入力は、関連位置情報を備えた又は備えない一又は複数の点音源であってもよい。例えば、電子コンピュータゲーム設定で用いるために音響処理が実施される実施形態では、入力は、各種部品からの音、現在行われているゲームシーンにおける各種対象物、またそれらの関連位置情報であってよい。

特定位置に関連しない音響信号があってもよい。このような音響信号は、例えば、背景音環境の作成に用いることができる。例えば、近くに自然物があるという幻想を生じさせるために、多数の自然音を組合せて３Ｄ仮想世界に配置し、それらの反射をシミュレートすることができる。例えば、自然物は木であってよく、音は木に吹き付ける風であってよく、これらが多数組み合わさると、風の音がする樹林の幻想を生じる。

本発明の有利な実施形態では、少なくとも一の音源の位置が小さく動かされる。これは、静止している音源が聴取者に認識されにくい傾向であるので有利である。然るに静止している音源の動きが僅かでも認められると、それによって音源が聴取者によって更に強く認識され続けることになる。

本発明の本実施形態に係る音響処理装置の出力信号は、マルチチャネル音響信号である。

音響信号は、本発明の各種実施形態の様々な実施において異なる方法で構成できる。例えば、信号は、増幅やスピーカを介した再生が行われる多数のアナログ信号を含んでよい。出力信号は、デジタル形式であってもよい。

当業者に公知のように、音響信号には多数の異なるデジタル形式がある。従って、このようなデジタル音響形式の更なる詳細については、明瞭性の理由から本明細書に記載しない。

出力信号は、聴取者の耳の高さよりも上にあるスピーカ用の少なくとも二のチャネルと、聴取者の耳の高さよりも下にあるスピーカ用の少なくとも二のチャネルと、を備えてよい。出力信号は、スピーカ用の信号チャネルを更に多く含んでもよい。例えば、立方体形状に配置するための８のスピーカ用の８のチャネルを含んでよい。出力信号は、低周波音の再生を向上させるためのサブウーファスピーカ用の少なくとも一の出力チャネルを備えてもよい。本発明の異なる実施形態では、出力信号は異なる方法で扱われてよい。例えば、出力信号は、その全チャネルとともに、その後再生されるために格納手段に保存されてよい。例えば、出力信号が、図２に示したような適切なスピーカシステムを備える映画館で再生するためのサウンドトラックである場合である。

出力信号は、異なる形式で保存されてもよい。例えば、出力信号がアナログ音響信号である場合は、アナログ音響を格納する複数の公知の方法のうちの任意の方法で格納されてよい。デジタル信号においても同様である。

出力信号は、８より多いチャネルを備えてもよい。例えば、スピーカが二の立方体形状をなすスピーカ配置を介して信号が再生される場合には、その出力信号は、１２のスピーカ用の１２のチャネルが必要である。或いは、更に大きな空間における更に大きなスピーカ配置を介して出力信号が再生される場合には、その出力信号は、それに応じて更に多くのチャネルを備えてよい。

音響処理は、本発明の各種実施形態において、多くの異なる方法及び多くの異なる位置で実施することができる。例えば、地面反射シミュレーションは、従来のコンピュータ上でソフトウェアを用いて実施でき、例えば特定の音響信号処理装置でソフトウェアを用いて実施できる。地面反射シミュレーションは、デジタル信号処理回路を用いたハードウェアベースの解決方法としても実施できる。

地面反射シミュレーションは、コンピュータゲーム等の更に大きなソフトウェアシステムの一部としても実施でき、或いは、例えばゲームソフトウェアによって生成された信号のみを処理するゲームのソフトウェアエンティティとは別のソフトウェアエンティティとして実施できる。よって、本発明は、更に大きなシステムの一部として、即ちソフトウェアベースのシステム、ハードウェアベースのシステム、又はそれらの組み合わせの一部として実施でき、或いは別個の機能デバイスや別個のソフトウェアモジュールとして実施できる。

本発明の更に有利な実施形態では、地面反射シミュレーションを行う際に、周波数選択処理が用いられる。例えば、本発明の有利な実施形態では、地面反射を生じる際に音響の低周波数部分が増大される。例えば、音響信号の一部を左下スピーカ用の出力信号チャネルに混ぜることによって、聴取者の右上方向から到来する音の地面反射がシミュレートされる実施形態では、音響のスペクトルの下端部を増大させるように前記一部が処理される。

本発明の更に有利な実施形態では、低周波数部分の増大強度は、音源のシミュレーション高さに逆比例で依存する。即ち、音源が地面に非常に近くにあるようにシミュレートされる場合は、シミュレートされた反射の低周波数は、例えば、音源が聴取者よりも上に位置するようにシミュレートされる場合よりも、シミュレートされた反射の高周波数に関連して更に強く増大される。

以下に、本発明のある実施形態に係るスピーカ配置について説明する。地面反射を再生可能とするためには、少なくとも二のスピーカが聴取者の耳の高さよりも下である必要があり、少なくとも二のスピーカが聴取者の耳の高さよりも上にある必要がある。本発明の有利な実施形態では、スピーカは、略正方形又は長方形に配置される。本発明者は、このような簡単な配置によっても、スピーカ配置の一般的な方向から到来する音についてかなり現実的なシミュレーションを行うことができることを見出した。例えば、スピーカが聴取者の前方に配置される際には、このようなスピーカシステムによって、スピーカ配置の後方、即ちスピーカ配置面の後方から到来するシミュレーションを行うことができる。

本発明の更に有利な実施形態では、スピーカが聴取者の周りに略立方体形状で配置される。このようなスピーカ配置によって、聴取者からの全ての方向で３Ｄシミュレーションを再生できる。立方体形状又は略立方体形状は、経済的には理論的完全システムに近い。聴取者の周りにスピーカを多く加えるほど３Ｄイリュージョンの品質が高まるが、非常にもっともらしい３Ｄシミュレーションには立方体構造で実質的に十分である。

立方体形状は、配置が不完全であってもよい。完全な立方体設定からずれることにあまり敏感ではない。従って、聴取エリアの実際的要求に応じて、例えばスピーカを部屋に設定する可能性に応じて、スピーカを配置できる。スピーカの立方体サイズは実用的に限定される。立方体が一辺当たり約３から５メートルであると、非常に良好にシミュレーションが行われ、一辺当たり約８から１０メートルまでの立方体の場合、良好にシミュレーションが行われる。然るに立方体サイズが約１０メートルを超えると、シミュレーション品質は悪くなり始める。

大きな映画館の座席エリア等の、更に大きな聴取領域をカバーする必要がある場合には、一よりも多い立方体を並べて設定することが有利である。図３は、１２のスピーカ２１０を用いて二の立方体が形成される設定を示す。

ある方向において音響の更に正確なシミュレーションを行うために、一よりも多い立方体を用いることも有利であろう。例えば、聴取者より上で異なる高さから発生する音響をシミュレーションで再生する必要がある場合、二の立方体を互いの上に設定することが有利である。これによりスピーカシステムは、聴取者の頭上高くに位置し、そこから到来する音源のシミュレーションを、更にもっともらしく再生できる。また、一よりも多い立方体が良好なシミュレーションを行うために必要である場合は、廊下のように聴取空間が長い場合である。このような聴取空間は、多数の連続した立方体によってカバーすることができる。

本発明の更に有利な実施形態では、聴取者の耳の高さよりも下にあるスピーカは、上にあるスピーカよりも多く存在する。例えば、天井の中央にスピーカを配置させることができない又は適さない部屋で３Ｄシミュレーションを行う必要がある場合でも、地面反射を増大させるために、部屋の同じ場所で一又は複数の余分なスピーカを床の高さに配置することは、もっともらしいシミュレーションを再生するのに良い。これらは、もっともらしい３Ｄシミュレーションを行うために重要である。

本発明の更に有利な実施形態では、一又は複数の余分なスピーカを用いて低周波音を再生する。例えば、従来のサブウーファ音変換器を用いて低周波音の再生を増大できる。

本発明の更に有利な実施形態では、予め録音された音が、少なくとも３Ｄ音響環境の一部として用いられる。

ある環境のある位置における音は、同時に地面反射を録音するように録音できる。これは、垂直に構成された複数のマイク、即ち、地面近くにある一のマイクと、更に上にある一のマイクと、を用いて実行できる。通常、左から右への差異を得るためには、これら二のマイクよりも多く用いることができる。このような録音には、既に少なくとも幾つかの地面反射が含まれており、よって、３Ｄ音響環境の背景音として用いるには非常に良い。

録音の際に生じる音響の地面反射がこのような録音に既に含まれているので、録音時に、音に対応する更にシミュレートされた地面反射を加える必要はない。

このような録音は３Ｄ空間の幻想を形成するために用いることができる。そして、その上に更に音源を加えることができる。この加えた音源の再生は、録音の再生によって既に生じている幻想から利益を得ることができる。

本発明の更に有利な実施形態では、音響処理装置は、後にシミュレーションに用いることができる予め録音された複数の音片を含む格納手段を備えるか、又は格納手段に接続される。そして、これらの音は、例えばエンティティが音響信号を音響処理装置に供給することによって、シミュレーションの一部として選択される。例えばゲームの実施時には、ゲームエンジンは、現在のプレイシーンに対応する予め録音された音を再生して、そのシーンにおける対象物に係るその他の音について背景音を生成するように、音響処理装置に信号を送ることができる。

本発明の有利な実施形態では、第１スピーカを表す第１出力信号チャネル向け音声信号の一部を、第１スピーカ及び第２スピーカを一部として含むスピーカ配置において第１スピーカの斜め向かいにある第２スピーカを表す第２出力信号チャネルに加えることによって、地面反射がシミュレートされる。例えば、聴取者の基準位置に対して右上位置にあるスピーカ向けの信号の一部が、聴取者の基準位置に対して左下位置にあるスピーカ向けの信号の一部に加えられ、左上位置にあるスピーカ向けの信号が、右下位置にあるスピーカ向けの信号に混合される。本発明者は、この技術的に簡単な斜め方向の混合方法は、地面反射をシミュレートするには理論的には正確な方法でなないのだが、地面又は床からの音響反射の幻想を与えるのに十分であり、３次元音響を認識させるのに十分であることを見出した。

斜め向かいにある下方チャネルに対して上方チャネルに信号を加える比率は、信号源の認識される高さに影響を及ぼす。音源が、地面反射が相対的に強い低位置にあると認識されることが望まれる際には、その信号は、高出力チャネルよりも高振幅で低出力チャネルに加えられるべきである。逆に、音源が地面よりも高位置にあると認識されることが望まれる際には、その信号は、低出力チャネルよりも高振幅で高出力チャネルに加えられるべきである。

本発明の更に有利な実施形態では、３Ｄ音景の幻想は、地面反射のシミュレーションを加えることによって、ステレオ音声信号から生じる。これらのシミュレーションは、例えば、上述した斜め方向の混合原理を用いて行うことができる。例えば、出力信号が上方スピーカ（音響変換器）用の二のチャネルを有し、下方スピーカ用の二のチャネルを有する場合には、左ステレオチャネル信号が、第１振幅で左上スピーカの出力チャネルに加えられ、第２振幅で右下スピーカの出力チャネルに加えられる。また、右ステレオチャネル信号が、第１振幅で右上スピーカの出力チャネルに加えられ、第２振幅で左下スピーカの出力チャネルに加えられる。第２振幅に対する第１振幅の比率が適切な値に調整されると、３Ｄ音響環境の幻想が聴取者に認識される。本発明者は、３Ｄイリュージョンが認識される範囲はむしろ狭いことを見出した。その範囲外では、聴取者は、異なるスピーカから到来する音を単に認識する。その範囲内では、３Ｄ環境を形成する音響の幻想が形成される。有利なことに、第２振幅に対する第１振幅の比率は、４９：５１から３０：７０の範囲内である。

本発明の更に有利な実施形態では、第２振幅に対する第１振幅の比率は、４２：５８から３２：６８の範囲内である。

本発明の更に有利な実施形態では、第２振幅に対する第１振幅の比率は、４０：６０から３７：６３の範囲内である。

本発明の更に有利な実施形態では、左ステレオチャネル信号の一部は、左下スピーカの出力チャネルにも同様に加えられ、右ステレオチャネル信号の一部は、右下スピーカの出力チャネルにも同様に加えられる。

出力信号が立方体配置にある８のスピーカ用の複数のチャネルを備える本発明の有利な実施形態では、左ステレオチャネル信号は、第１振幅で前方及び後方の左上スピーカチャネルに加えられ、第２振幅で前方及び後方の右下スピーカチャネルに加えられる。右ステレオチャネル信号は、第１振幅で前方及び後方の右上スピーカチャネルに加えられ、第２振幅で前方及び後方の左下スピーカチャネルに加えられる。第１及び第２振幅の比率に適切な値は、上述した４の出力スピーカチャネル設定の例で説明した値である。

本発明の出願明細書の作成時においては、所謂５．１サラウンド信号フォーマットの方がテレビやホームシアターセットでは一般的である。５．１サラウンド信号システムは、通常、５の主スピーカ。即ち、一の左前方スピーカと、一の右前方スピーカと、一の左後方スピーカと、及び一の右後方スピーカと、一の前方中央スピーカとを有する。これらに加え、通常の５．１システムは、サブウーファスピーカも有しており、それ故、名前に．１とある。５．１サラウンドシステムは、聴取者の周りの音響を再生するものである。５．１サラウンドシステムは、３Ｄ音響環境を再生できない。然るに本発明の更に有利な実施形態では、５．１サラウンド信号は、シミュレートされた地面反射を加えることによって、シミュレートされた３Ｄ音響環境を作るために処理される。本実施形態において、立方体配置にある複数のスピーカ用の複数のチャネルを用いて出力信号を作る手順は以下の通りである。右前方５．１入力信号は、第１振幅で右上前方出力チャネルに加えられ、第２振幅で左下前方出力チャネルに加えられる。左前方５．１入力信号は、第１振幅で左上前方出力チャネルに加えられ、第２振幅で右下前方出力チャネルに加えられる。右後方５．１入力信号は、第１振幅で右上後方出力チャネルに加えられ、第２振幅で左下後方出力チャネルに加えられる。左後方５．１入力信号は、第１振幅で左上後方出力チャネルに加えられ、第２振幅で右下後方出力チャネルに加えられる。第１及び第２振幅の比率に適切な値は、上述した４の出力スピーカチャネル設定の例で説明した値である。

本発明の更に有利な実施形態では、５．１前方中央入力信号は、第３振幅で左上前方及び右上前方出力チャネルに加えられ、第４振幅で左下前方及び右下前方出力チャネルに加えられる。この配置では、前方中央チャネル信号が、仮想前方中央スピーカを認識させる４の前方スピーカの全てによって再生されるので、前方中央スピーカは必要ではない。第３及び第４振幅は、仮想前方中央スピーカの認識された高さを適切な高さにするように調整できる。第３及び第４振幅は、例えば、同じであってよい。この配置では、物理的に前方中央にあるスピーカは必要でないという更なる利点がある。物理的スピーカは、例えば聴取者の前に視聴画面があるような設定で配置するには扱いにくい。通常の解決方法は、画面の後方又は下方に前方中央スピーカを配置することを含むが、どちらの方法も暫定的であろう。二の上前方及び二の下前方スピーカを用いると、実際的に物理的な前方中央スピーカの必要性が回避される。

本発明の音響処理方法は、様々な目的のために３Ｄ音響環境を作る多数の異なる適用分野や実施状況で用いることができる。以下に、数例を説明する。

例えば、本発明の有利な実施形態では、空間に３Ｄ背景を提供するシステムが提供される。僅かな３Ｄ背景音環境は、例えば部屋のムード又は雰囲気を変えるために用いることができる。このようなシステムは、複数のスピーカに対して出力信号を作る。好ましくは、このようなシステムは、信号源に接続するためのインターネット等のデータ通信ネットワークに接続可能である。このようなシステムは、有利なことには、例えばステレオ又は５．１サラウンド音入力向けに音声入力部も備えることができる。これに基づき、本システムは、例えば本明細書で既に説明したように。シミュレートされた３Ｄ音響環境を生じることができる。例えば、このようなシステムは、有利なことには、３Ｄ音声信号を再生するために背景音声信号を受信するように配置される。この上に、前記音声入力部を介して受信された音楽等の音響信号が加えられる。このようなシステムは、有利なことには、店舗やその他のビジネス向けの背景音声環境を作るために用いることができる。

本発明の更に有利な実施形態では、二以上の異なる地点における共通背景音声環境を提供するシステムが提供される。このようなシステムは、本明細書で説明したいずれかの方法で３Ｄ背景音響環境を作り、再生するために、異なる地点の夫々にデバイス又はサブシステムを備える。好ましくは、これらのデバイス又はサブシステムは、異なる地点での背景音環境を同期させるために、相互通信するように配置される。このようなシステムは、電話又はビデオ会議で全ての地点で共有される３Ｄ背景環境を提供でき、同じ音声空間にいるような感覚を生じさせ、出席者の会議体感の品質を向上する。

本発明の更に有利な実施形態では、映画館向け３Ｄ音響システムが提供される。このような実施形態では、音響システムは、好ましくは、本明細書で説明したいずれかの方法でステレオ又はサラウンド音声信号に基づいてシミュレートされた３Ｄ音声環境を作る音響処理部を備える。好ましくは、３Ｄサウンドシステムは、シミュレートされた３Ｄ音声環境上で映画の３Ｄ音声信号を個別に再生するように更に配置される。

本発明には多数の利点がある。本発明の方法は、３Ｄ音声環境の音響におけるモジュール、アディティブ、レイヤリング、スケーラブル及びネットワーク可能処理を提供する。上述した３Ｄイリュージョンを提供する地面反射をシミュレートするアディティブ方法によって、出力時に所望しない可聴の人為的影響を生じずに、互いにシームレスに複数の３Ｄ音響を組み合わせることができる。これによって、プログラムによって制御可能であり且つ異なる音源からの組み合わせが可能である多数の成分とともに、３Ｄサウンド環境を作ることができる。例えば、音響を組み合わせることによって、録音等の多数の音源に基づいて、僅かに変化する背景を作ることができる。この上に、動いている鳥や車等の、個々の音響アイテムが加えることができる。

上述した３Ｄイリュージョンを提供する地面反射をシミュレートするアディティブ方法では、可聴待機時間を生じず、従ってこの方法はライブショーで用いることもできる。３Ｄ音響環境の作成は、ライブショーの視聴者の体感を増大するために用いることができる。例えば、３Ｄ音響環境は、パフォーマンス中のバンドがいると認識される空間を広げるために用いることができる。３Ｄ音響環境は、バンド又はオーケストラ自身を監視する目的に用いることもできる。本発明者は、音響環境の３Ｄ性によって、聴取者、即ちこの場合はバンド演奏者自身が方向や認識位置に基づいて他とは異なる音源、即ちこの場合は楽器を見分けることができるため、監視目的には３Ｄ音響環境が非常に有利であることを見出した。従来の監視設定では、演奏者の前に一または複数のスピーカを備えており、演奏者に十分聞きとられる監視信号を得る実際上唯一の方法は、監視信号を十分高音量にすることであるが、これは、演奏者が体感するノイズレベルを増加させる。聴衆者に提供される同じ３Ｄ音響環境は、例えばバンド又はオーケストラを囲む立方体型スピーカ配置を用いることで、バンド又はオーケストラに提供できる。更なる例としては、３Ｄ音響環境は、特殊効果向けに、例えば周りで移動する音向けに、ライブショーで用いることができる。

本発明の更に有利な実施形態では、地面反射は、仮想床をシミュレートすることによって、例えば聴取者に聞きとられる音声信号に床が与える影響をシミュレートされる。

本発明者は、ステレオ信号が、立方体型スピーカを介した再生用に８チャネル信号に広がると、混合信号を上方スピーカに導入することによって、３Ｄ音響環境のシミュレーションも妥当に実現できることを更に観測した。このような実施形態では、左ステレオチャネルが、全振幅で左下スピーカに導入され、第１振幅で左上スピーカに導入され、第２振幅で右上スピーカに導入される。更に、このような実施形態では、右ステレオチャネルが、全振幅で右下スピーカに導入され、第１振幅で右上スピーカに導入され、第２振幅で左上スピーカに導入される。

有利なことには、第２振幅に対する第１振幅の比率は、４９：５１から３０：７０の範囲内であり、１００は全振幅に対応する。本発明の更に有利な実施形態では、第２振幅に対する第１振幅の比率は、４２：５８から３２：６８の範囲内である。本発明の更に有利な実施形態では、第２振幅に対する第１振幅の比率は、４０：６０から３７：６３の範囲内である。

本発明の更に有利な実施形態では、下方スピーカに対応するチャネル、即ち下方チャネルは、低周波数を増大させるために低域フィルターされる。低域フィルタリングは、有利なことには約６００Ｈｚである基準カットオフ周波数を有する。然るに本発明の有利な各種実施形態では、カットオフ周波数は変動してよく、例えば、２００から１０００Ｈｚの範囲内の値であってよい。本発明者は、この下方チャネルの低周波増大は、３Ｄ音響環境の幻想を作るのに有益であることを見出した。

本発明の更に有利な実施形態では、上方スピーカに対応するチャネル、即ち上方チャネルは、高周波数を増大させるために高域フィルターされる。高域フィルタリングは、有利なことには約６００Ｈｚである基準カットオフ周波数を有する。然るに本発明の有利な各種実施形態では、カットオフ周波数は変動してよく、例えば、２００から１０００Ｈｚの範囲内の値であってよい。本発明者は、この上方チャネルの高周波増大は、３Ｄ音響環境の幻想を作るのに有益であることを見出した。

本発明の更に有利な各種実施形態では、高域及び／又は低域フィルタリングは、部分的強度で実行される。このような実施形態では、低域フィルタリングは、カットオフ周波数より上の信号を、所定量だけ、例えばカットオフ周波数より下の信号の振幅に比べて約５０％だけ減衰させることをねらっており、高域フィルタリングではこの逆である。この所定量は、本発明の各種実施形態では、５％から９５％の間の任意の量であってよい。

本発明の更に有利な実施形態では、８チャネル信号は、ヘッドフォンの角度位置情報を用いてヘッドフォンを介して再生するために、２チャネル信号に変換される。本発明者は、８チャネル信号の２チャネルヘッドフォン信号への変換時にユーザの頭部上のヘッドフォンの角度位置が測定及び把握される際には、８のスピーカの立方体状配置からの出力がヘッドフォンでもっともらしくシミュレートできることを見出した。８チャネル信号を２チャネルヘッドフォン信号に変換するヘッドフォン、角度位置センサ及び音響処理部の配置は、スピーカの立方体型配置に代わって、本明細書で説明したいずれかの実施形態で出力装置として用いることができる。

角度位置センサは、角度センサ、加速度センサ、又は当業者に公知であるその他のヘッドトラッキング技術であってよい。本明細書の作成時においては、眼鏡が示す眺めを制御するヘッドトラッキング機能を含む数ブランドの映像用眼鏡が利用可能である。ヘッドトラッキング機能は、映像用眼鏡とともに用いるヘッドフォンの音声信号処理を制御するためにも使用できる。よって、本発明の３Ｄ音声技術は、没入型３Ｄ音声とともに３Ｄ映像体感を高めるために用いることができる。

立方体状配置の８のスピーカ用の信号を表す８チャネル信号を、一対のヘッドフォン用の２チャネル信号に変換することは、多くの異なる方法で実行できる。以下に、本発明の有利な実施形態で用いられる変換方法の例を説明する。この方法は、ＤＳＰ（デジタル信号処理）技術を用いた実施が非常に簡易且つ簡単であるけれども、実施応用にも十分であるという利点がある。本実施形態では、８のチャネルの夫々は、辺の長さがＣである仮想立方体の隅部で表され、ヘッドフォンは、仮想の左変換器Ｌ及び右変換器Ｒの位置によって仮想立方体内に表され、ヘッドフォンのシミュレーション幅Ｗで区切られる。ヘッドフォンのシミュレーション幅Ｗは、有利なことには、仮想立方体の辺の長さＣよりも小さく、例えば０．５Ｃであってよい。

然るにシミュレーション幅Ｗは、本発明の各種実施形態では、Ｃの１％から９９％の間の任意の幅であってよく、Ｃよりも大きくてもよい。左変換器Ｌ及び右変換器Ｒ用の信号を得るために、仮想立方体の各隅部の信号は、隅部と変換器との距離ｄに応じて関数Ｆ（ｄ）で拡張され、８つ拡張信号の全てが合計される。前記関数Ｆ（ｄ）は、例えば、線形スケーリング関数であり、これは、一の隅部と一の変換器位置との距離がゼロである際に１の値を有し、一の隅部と一の変換器位置との距離がＤ以上である際に０の値を有し、一の隅部と一の変換器位置との距離がゼロからＤの間である際に１と０の間を線形に変動する。値Ｄは、異なる適用分野に対して調整できるパラメータであり、Ｃよりも小さくてよく、等しくてよく、又は大きくてよい。ユーザの頭部の角度位置を把握するために、この変換では、前記仮想立方体内の仮想ヘッドフォンの角度位置は、ユーザの設備機器からの角度位置データに応じて設定される。従って、仮想ヘッドフォンの角度位置によって、左変換器Ｌ及び右変換器Ｒと、仮想立方体の隅部との距離が決定され、結果として立方体の隅部が表す信号の合計が決定される。

本発明の更に有利な実施形態では、ヘッドフォンのシミュレーション幅Ｗ、仮想立方体の一辺の長さＣ、及び／又はそれらの関係Ｗ／Ｃは、聴取者の３Ｄ音声空間の幻想を制御する調整可能なパラメータとして用いられる。本発明者は、仮想立方体のサイズＣ、即ち変換時のＷとＣとの関係を変動させると、狭く密閉した空間幻想又は更に広い空間幻想等の、異なるサイズの聴取者の３Ｄ音声空間の幻想が生じることを見出した。

本発明の更に有利な実施形態では、ユーザが自分の頭部を回す効果は、仮想立方体での仮想ヘッドフォンＬ及びＲの中点を立方体内で中心から外れるように有することによって増加する。本発明者は、仮想ヘッドフォンの中点を、立方体中心の前方に、即ち左前方及び右前方の上方及び下方スピーカの信号に対応する隅部により定義される仮想立方体の一辺に向かって配置すると、ユーザが自分の頭部を回す際に、３Ｄ音声環境の回転認識を高めることを見出した。

本発明の有利な実施形態では、音響処理システムは、異なる音源を処理する一よりも多い仮想立方体を有することによって一よりも多い音響レイヤを提供できる。これによりこれらの異なる信号レイヤを組み合わせることによって出力信号が生成される。

例えば、一のレイヤが背景音信号を含んでよく、他のレイヤがローカル点源からの音響信号を含んでよい。これらの異なるレイヤは、互いに独立して処理できる。更に、上述したように音響信号が８チャネル信号から２チャネル信号へ変換される実施形態では、一よりも多い仮想立方体の夫々は、異なる仮想サイズであってよい。

ヘッドフォン及び３Ｄ映像用メガネと組み合わせて本発明の音響処理システムを用いる本発明の各種実施形態は、非常に多様に実施応用される。例えば、このような実施形態は、３Ｄ映像コンテンツとそれに一致する３Ｄ音声の再生、例えば３Ｄ映画の再生に用いることができる。このような実施形態は、３Ｄ映像及び音声を提供するコンピュータゲームに用いることもできる。更に、このような実施形態は、着目した場所の３Ｄ映像及び音声を提供する、着目した異なる現実又は架空の場所での仮想ツアー等の、各種の仮想現実の分野に用いることもできる。このような実施形態は、視聴者に対して、異なる種類の科学や芸術展示会又はショーを、一人又は全聴衆者に提供するために用いることもでき、各聴衆者は３Ｄグラス及びヘッドフォンとともに自分の装置を有してよい。例えば、３Ｄプラネタリウムショーとそれに一致する３Ｄ音声が提供されてよく、或いは、例えば、着目した歴史的建造物、都市、又はその他の対象物の展示会が提供されてよい。

本発明の更に有利な実施形態では、本発明の音響処理の機能は、ソフトウェアゲームエンジンのアドオンソフトウェア成分として提供される。このような実施形態の例では、ゲームエンジンは、音響信号をアドオンソフトウェア成分に提供し、これがまたユーザのヘッドセットから角度位置情報を受信し、３Ｄ音声シーンを表す処理済み音声信号をゲームからユーザのヘッドフォンに提供する。この音声信号処理は、本明細書に説明した実施形態のいずれかに応じて実行できる。

本発明の更に有利な実施形態では、音響処理システムは、聴取者の周りの立方体状配置のスピーカを介した再生用信号を表す８の信号の入力部を有する。これらの入力は、例えば、コンピュータゲームシステム、仮想現実システム、３Ｄ映像システム、又は他のソフトウェアに接続されるように用いられる。このような有利な実施形態では、音響処理システムは、入力信号が再生される３Ｄ音声空間の幻想を強めるために、受信した音声信号を増大する。このような有利な実施形態では、システムは、有利なことは、少なくとも本明細書で説明した斜め方向の混合方法を実行し、また／或いは３Ｄ背景雰囲気を作るために背景音声信号を加える。

本発明の更に有利な実施形態では、３Ｄ音響環境の音響信号は、スピーカ又はイヤピース等の一の変換器のみを介した再生のために処理される。従来、片耳のみで方向又は空間を認識することはできないとしばしば述べられていた。然るに本発明者は、両耳による認識よりも精度はおちるだろうけれども、片耳のみでも３Ｄ音響環境を認識できることを見出した。人間の脳は、入力される刺激を解釈し、そのような刺激から全世界を作り出す見事な装置である。本発明者は、音響変換器及び角度位置センサを有する装置を用いて本明細書でヘッドフォンに関して上述した音響処理を実行し、ヘッドフォンの片側のみの出力信号を生成することによって、良好なモノラルの３Ｄ音響空間認識を提供できることを見出した。このような装置は、ユーザが当該装置を装着した自分の頭部を異なる方向に回すことによって吟味できる３Ｄ音響空間への窓口を提供し、これによりユーザの脳は片耳のみを用いて３Ｄ音響空間の画像を作ることができる。

本明細書の作成時においては、多くの携帯電話やタブレット等の他のモバイル機器は、三軸加速度センサ等の角度位置センサを備えており、これにより本発明の音響処理を提供する適切なソフトウェアを有するこのようなモバイル機器は、本発明の有利な実施形態において、３Ｄ音響システム用のモノラル出力装置として用いることができる。本発明の更に有利な各種実施形態では、このようなモノラル３Ｄ音響出力は、モバイル機器上で実行されるゲームソフトウェアや、３Ｄコンテンツを含む外部媒体を再生するために用いられる。例えば、適切な３Ｄ音声コンテンツを有するモバイル機器は、展示会の音声ガイドとして用いることができる。

本発明の更に有利な実施形態では、角度位置センサ及び本発明の音響処理を実行できる音響処理回路を備える補聴器装置が提供され、これにより補聴器装置は、３Ｄ音響システムの出力装置として用いることができる。

以下に、本発明の態様を更に詳細に説明する。

本発明の第１態様によれば、３次元音響環境を作る音声信号を処理する方法が提供される。本態様を、図４を参照して以下に説明する。第１態様において、本方法は、少なくとも一の音源から少なくとも一の入力信号を受信する工程４１０と、前記受信した少なくとも一の入力信号に基づいて、地面又は床に反射する少なくとも一の入力信号のシミュレーションを表す模擬信号を少なくとも一部作る工程４２０と、前記模擬信号及び前記受信した少なくとも一の入力信号に基づいて、複数の音声チャネルを含む出力信号を、少なくとも部分的に作る工程４３０と、少なくとも備え、前記出力信号の前記複数の音声チャネルのうち少なくとも二のチャネルは、基準聴手位置において聴取者の耳の高さよりも上にある音響変換器用の信号を表し、前記出力信号の前記複数の音声チャネルのうち少なくとも二のチャネルは、基準聴手位置において聴取者の耳の高さよりも下にある音響変換器用の信号を表す。

少なくとも一の入力信号を受信する工程では、格納手段、ソフトウェアプログラム、又は例えばアナログ音声入力部から信号を受信できる。

本発明の第１態様に係る更に有利な実施形態によれば、前記方法は、背景音環境用に出力信号を作る工程と、少なくとも一の音源から少なくとも二の入力信号を受信する工程と、前記受信した少なくとも二の入力信号に基づいて、地面又は床に反射する少なくとも二の入力信号のシミュレーションを表す模擬信号を少なくとも一部作る工程と、前記模擬信号及び前記受信した少なくとも二の入力信号に基づいて、背景出力信号を、少なくとも部分的に作る工程と、前記出力信号のチャネルに、対象物の音を表す音響信号を加えることによって、前記作られた背景の上に前記対象物を加える工程と、少なくとも更に備える。

本発明の第１態様に係る更に有利な実施形態によれば、前記出力信号は、前記基準聴手位置において聴取者の耳の上及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の上及び左にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の下及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の下及び左にある音響変換器用の一の信号を表す少なくとも一のチャネルと、を備える。

本発明の第１態様に係る更に有利な実施形態によれば、前記出力信号は、サブウーファ音変換器用の低周波音声の音声チャネルを更に備える。

本発明の第１態様に係る更に有利な実施形態によれば、前記出力信号は、前記基準聴手位置において聴取者の耳の前、上及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の前、上及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の前、下及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の前、下及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の後ろ、上及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の後ろ、上及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の後ろ、下及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の後ろ、下及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、少なくとも備える。

本発明の第１態様に係る更に有利な実施形態によれば、地面又は床に反射する前記少なくとも一の入力信号のシミュレーションは、前記少なくとも一の入力信号の少なくとも一部を、垂直面で互いに斜めに向かいあう音響変換器用の信号を表す出力信号のチャネルに加えることによって行われる。

本発明の第１態様に係る更に有利な実施形態によれば、前記少なくとも一の入力信号の少なくとも一部は、第１振幅を有する基準聴手位置において聴取者の耳の上にある変換器用の信号を表す出力信号チャネルに加えられ、また第２振幅を有する基準聴手位置において聴取者の耳の上にある変換器用の信号を表す出力信号チャネルに加えられ、前記第１振幅は、前記第２振幅よりも小さい。

本発明の第１態様に係る更に有利な実施形態によれば、第１及び第２振幅の比率は、４９：５１から３０：７０の範囲内である。

本発明の第１態様に係る更に有利な実施形態によれば、第１及び第２振幅の比率は、４０：６０から３７：６３の範囲内である。

本発明の第１態様に係る更に有利な実施形態によれば、前記方法は、基準聴手位置において聴取者の耳の下にある音響変換器に対応する出力信号のチャネルに加えられる信号の周波数スペクトラムの一部であって、所定の周波数よりも低い周波数スペクトラムの一部を増大させる工程を更に備える。

本発明の第１態様に係る更に有利な実施形態によれば、前記方法は、格納手段から所定のマルチチャネル信号を取得する工程と、記マルチチャネル信号の各チャネルの信号を対応する出力チャネルに加える工程と、更に備える。

本発明の第１態様に係る更に有利な実施形態によれば、前記方法は、一対のヘッドフォンの角度位置に係る角度位置データを受信する工程と、少なくとも受信した角度位置データに基づいて、前記出力信号の音声チャネルを前記ヘッドフォン用のバイノーラル信号へ変換する工程と、更に備える。

本発明の第１態様に係る更に有利な実施形態によれば、前記方法は、音響変換器の角度位置に係る角度位置データを受信する工程と、少なくとも受信した角度位置データに基づいて、前記出力信号の音声チャネルを前記音響変換器用のモノラル信号へ変換する工程と、を更に備える。

本発明の第２態様によれば、３次元音響環境を作る音声信号を処理する音声処理装置が提供される。本発明の第２態様に係る音声処理装置を、図５に示す。第２態様によれば、音声処理装置５００は、少なくとも一の音源から少なくとも一の入力信号を受信する回路５１０と、前記受信した少なくとも一の入力信号に基づいて、地面又は床に反射する少なくとも一の入力信号のシミュレーションを表す模擬信号を少なくとも一部作る回路５２０と、前記模擬信号及び前記受信した少なくとも一の入力信号に基づいて、複数の音声チャネルを含む出力信号を、少なくとも部分的に作る回路５３０と、少なくとも備え、前記出力信号の前記複数の音声チャネルのうち少なくとも二のチャネルは、基準聴手位置において聴取者の耳の高さよりも上にある音響変換器用の信号を表し、前記出力信号の前記複数の音声チャネルのうち少なくとも二のチャネルは、基準聴手位置において聴取者の耳の高さよりも下にある音響変換器用の信号を表す。

少なくとも一の入力信号を受信する回路５１０は、格納手段、ソフトウェアプログラム、又は例えばアナログ音声入力部から信号を受信するように配置できる。

模擬信号を作る回路５２０は、例えば、ＤＳＰ（デジタル信号プロセッサ）回路等の音響信号プロセッサであってよく、例えばアナログミキシング回路であってよい。出力信号を作る回路５３０も、例えば、ＤＳＰ（デジタル信号プロセッサ）回路等の音響信号プロセッサであってよく、例えばアナログミキシング回路であってよい。少なくとも一の入力信号を受信する回路５１０、出力信号を作る回路５３０、模擬信号を作る回路５２０は、単一の回路、例えば単一のＤＳＰ回路で実施できる。

本発明の第２態様に係る更に有利な実施形態によれば、前記音声処理装置は、少なくとも一の音源から少なくとも二の入力信号を受信する回路と、前記受信した少なくとも二の入力信号に基づいて、地面又は床に反射する少なくとも二の入力信号のシミュレーションを表す模擬信号を少なくとも一部作る回路と、前記模擬信号及び前記受信した少なくとも二の入力信号に基づいて、背景出力信号を、少なくとも部分的に作る回路と、前記出力信号のチャネルに、対象物の音を表す音響信号を加えることによって、前記作られた背景の上に前記対象物を加える回路と、少なくとも更に備える。

本発明の第２態様に係る更に有利な実施形態によれば、前記出力信号は、前記基準聴手位置において聴取者の耳の上及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の上及び左にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の下及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の下及び左にある音響変換器用の一の信号を表す少なくとも一のチャネルと、を備える。

本発明の第２態様に係る更に有利な実施形態によれば、前記出力信号は、サブウーファ音変換器用の低周波音声の音声チャネルを更に備える。

本発明の第２態様に係る更に有利な実施形態によれば、前記出力信号は、前記基準聴手位置において聴取者の耳の前、上及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の前、上及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の前、下及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の前、下及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の後ろ、上及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の後ろ、上及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の後ろ、下及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の後ろ、下及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、少なくとも備える。

本発明の第２態様に係る更に有利な実施形態によれば、前記受信された少なくとも一の入力信号に基づいて模擬信号を少なくとも一部作る前記回路は、前記少なくとも一の入力信号の少なくとも一部を、垂直面で互いに斜めに向かいあう音響変換器用の信号を表す出力信号のチャネルに加えることによって、前記模擬信号を作るように配置される。

本発明の第２態様に係る更に有利な実施形態によれば、模擬信号を作る前記回路は、前記少なくとも一の入力信号の少なくとも一部を、第１振幅を有する基準聴手位置において聴取者の耳の上にある変換器用の信号を表す出力信号チャネルに加え、また第２振幅を有する基準聴手位置において聴取者の耳の上にある変換器用の信号を表す出力信号チャネルに加えるよう配置され、前記第１振幅は、前記第２振幅よりも小さい。

本発明の第２態様に係る更に有利な実施形態によれば、第１及び第２振幅の比率は、４９：５１から３０：７０の範囲内である。

本発明の第２態様に係る更に有利な実施形態によれば、第１及び第２振幅の比率は、４０：６０から３７：６３の範囲内である。

本発明の第２態様に係る更に有利な実施形態によれば、前記音声処理装置は、基準聴手位置において聴取者の耳の下にある音響変換器に対応する出力信号のチャネルに加えられる信号の周波数スペクトラムの一部であって、所定の周波数よりも低い周波数スペクトラムの一部を増大させる回路を更に備える。

本発明の第２態様に係る更に有利な実施形態によれば、前記音声処理装置は、格納手段から所定のマルチチャネル信号を取得するプロセッサと、前記マルチチャネル信号の各チャネルの信号を対応する出力チャネルに加える回路と、を更に備える。

本発明の更に有利な実施形態では、音声処理装置は、ゲームシステムの一部である。

本発明の第２態様に係る更に有利な実施形態によれば、前記音声処理装置は、一対のヘッドフォンの角度位置に係る角度位置データを受信する回路と、少なくとも受信した角度位置データに基づいて、前記出力信号の音声チャネルを前記ヘッドフォン用のバイノーラル信号へ変換する回路と、を少なくとも更に備える。

本発明の第２態様に係る更に有利な実施形態によれば、前記音声処理装置は、音響変換器の角度位置に係る角度位置データを受信する回路と、少なくとも受信した角度位置データに基づいて、前記出力信号の音声チャネルを前記音響変換器用のモノラル信号へ変換する回路と、を少なくとも更に備える。

本発明の第３態様によれば、３次元音響環境を作る音声信号を処理するソフトウェアプログラム製品が提供される。本発明の第３態様を、図６に示す。本発明の第３態様によれば、ソフトウェアプログラム製品６００は、少なくとも一の音源から少なくとも一の入力信号を受信するソフトウェアコード手段６１０と、前記受信した少なくとも一の入力信号に基づいて、地面又は床に反射する少なくとも一の入力信号のシミュレーションを表す模擬信号を少なくとも一部作るソフトウェアコード手段６２０と、前記模擬信号及び前記受信した少なくとも一の入力信号に基づいて、複数の音声チャネルを含む出力信号を、少なくとも部分的に作るソフトウェアコード手段６３０と、を少なくとも備え、前記出力信号の前記複数の音声チャネルのうち少なくとも二のチャネルは、基準聴手位置において聴取者の耳の高さよりも上にある音響変換器用の信号を表し、前記出力信号の前記複数の音声チャネルのうち少なくとも二のチャネルは、基準聴手位置において聴取者の耳の高さよりも下にある音響変換器用の信号を表す。

本発明の第３態様に係る有利な実施形態によれば、前記ソフトウェアプログラム製品は、少なくとも一の音源から少なくとも二の入力信号を受信するソフトウェアコード手段と、前記受信した少なくとも二の入力信号に基づいて、地面又は床に反射する少なくとも二の入力信号のシミュレーションを表す模擬信号を少なくとも一部作るソフトウェアコード手段と、前記模擬信号及び前記受信した少なくとも二の入力信号に基づいて、背景出力信号を、少なくとも部分的に作るソフトウェアコード手段と、前記出力信号のチャネルに、対象物の音を表す音響信号を加えることによって、前記作られた背景の上に前記対象物を加えるソフトウェアコード手段と、を少なくとも更に備える。

本発明の第３態様に係る更に有利な実施形態によれば、前記出力信号は、前記基準聴手位置において聴取者の耳の上及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の上及び左にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の下及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の下及び左にある音響変換器用の一の信号を表す少なくとも一のチャネルと、を備える。

本発明の第３態様に係る更に有利な実施形態によれば、前記出力信号は、サブウーファ音変換器用の低周波音声の音声チャネルを更に備える。

本発明の第３態様に係る更に有利な実施形態によれば、前記出力信号は、前記基準聴手位置において聴取者の耳の前、上及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の前、上及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の前、下及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の前、下及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の後ろ、上及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の後ろ、上及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の後ろ、下及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、前記基準聴手位置において聴取者の耳の後ろ、下及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、を少なくとも備える。

本発明の第３態様に係る更に有利な実施形態によれば、前記受信された少なくとも一の入力信号に基づいて模擬信号を少なくとも一部作る前記ソフトウェアコード手段は、前記少なくとも一の入力信号の少なくとも一部を、垂直面で互いに斜めに向かいあう音響変換器用の信号を表す出力信号のチャネルに加えることによって、前記模擬信号を作るように配置される。

本発明の第３態様に係る更に有利な実施形態によれば、模擬信号を作る前記ソフトウェアコード手段は、前記少なくとも一の入力信号の少なくとも一部を、第１振幅を有する基準聴手位置において聴取者の耳の上にある変換器用の信号を表す出力信号チャネルに加え、また第２振幅を有する基準聴手位置において聴取者の耳の上にある変換器用の信号を表す出力信号チャネルに加えるよう配置され、前記第１振幅は、前記第２振幅よりも小さい。

本発明の第３態様に係る更に有利な実施形態によれば、第１及び第２振幅の比率は、４９：５１から３０：７０の範囲内である。

本発明の第３態様に係る更に有利な実施形態によれば、第１及び第２振幅の比率は、４０：６０から３７：６３の範囲内である。

本発明の第３態様に係る更に有利な実施形態によれば、前記ソフトウェアプログラム製品は、基準聴手位置において聴取者の耳の下にある音響変換器に対応する出力信号のチャネルに加えられる信号の周波数スペクトラムの一部であって、所定の周波数よりも低い周波数スペクトラムの一部を増大させるソフトウェアコード手段を更に備える。

本発明の第３態様に係る更に有利な実施形態によれば、前記ソフトウェアプログラム製品は、格納手段から所定のマルチチャネル信号を取得するソフトウェアコード手段と、前記マルチチャネル信号の各チャネルの信号を対応する出力チャネルに加えるソフトウェアコード手段と、を更に備える。

本発明の第３態様に係る更に有利な実施形態によれば、前記ソフトウェアプログラム製品は、少なくともゲームソフトウェアプログラム製品の一部である。

本発明の更なる態様によれば、前記ソフトウェアプログラム製品は、コンピュータ読取可能媒体上で実施されるように提供される。

本発明の第３態様に係る更に有利な実施形態によれば、前記ソフトウェアプログラム製品は、一対のヘッドフォンの角度位置に係る角度位置データを受信するソフトウェアコード手段と、少なくとも受信した角度位置データに基づいて、前記出力信号の音声チャネルを前記ヘッドフォン用のバイノーラル信号へ変換するソフトウェアコード手段と、を少なくとも更に備える。

本発明の第３態様に係る更に有利な実施形態によれば、前記ソフトウェアプログラム製品は、音響変換器の角度位置に係る角度位置データを受信するソフトウェアコード手段と、少なくとも受信した角度位置データに基づいて、前記出力信号の音声チャネルを前記音響変換器用のモノラル信号へ変換するソフトウェアコード手段と、を少なくとも更に備える。

上述の説明を考慮して、本発明の範囲内で各種の修正がなされてよいことは当業者には明白であろう。本発明の好適な実施形態が詳細に説明されたが、修正及び変形可能であることは明白であり、それらは全て本発明の思想及び範囲内に含まれるものである。

Claims

３次元音響環境を作る音声信号を処理する方法であって、
少なくとも一の音源から少なくとも一の入力信号を受信する工程と、
前記受信した少なくとも一の入力信号に基づいて、地面又は床に反射する少なくとも一の入力信号のシミュレーションを表す模擬信号を少なくとも一部作る工程と、
前記模擬信号及び前記受信した少なくとも一の入力信号に基づいて、複数の音声チャネルを含む出力信号を、少なくとも部分的に作る工程と、
を少なくとも備え、
前記出力信号の前記複数の音声チャネルのうち少なくとも二のチャネルは、基準聴手位置において聴取者の耳の高さよりも上にある音響変換器用の信号を表し、
前記出力信号の前記複数の音声チャネルのうち少なくとも二のチャネルは、基準聴手位置において聴取者の耳の高さよりも下にある音響変換器用の信号を表す
ことを特徴とする方法。
背景音環境用に出力信号を作る工程と、
少なくとも一の音源から少なくとも二の入力信号を受信する工程と、
前記受信した少なくとも二の入力信号に基づいて、地面又は床に反射する少なくとも二の入力信号のシミュレーションを表す模擬信号を少なくとも一部作る工程と、
前記模擬信号及び前記受信した少なくとも二の入力信号に基づいて、背景出力信号を、少なくとも部分的に作る工程と、
前記出力信号のチャネルに、対象物の音を表す音響信号を加えることによって、前記作られた背景の上に前記対象物を加える工程と、を少なくとも更に備えることを特徴とする請求項１に記載の方法。
前記出力信号は、
前記基準聴手位置において聴取者の耳の上及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の上及び左にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の下及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の下及び左にある音響変換器用の一の信号を表す少なくとも一のチャネルと、を備えることを特徴とする請求項１に記載の方法。
前記出力信号は、サブウーファ音変換器用の低周波音声の音声チャネルを更に備えることを特徴とする請求項３に記載の方法。
前記出力信号は、
前記基準聴手位置において聴取者の耳の前、上及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の前、上及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の前、下及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の前、下及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の後ろ、上及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の後ろ、上及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の後ろ、下及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の後ろ、下及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、を少なくとも備えることを特徴とする請求項１に記載の方法。
前記出力信号は、サブウーファ音変換器用の低周波音声の音声チャネルを更に備えることを特徴とする請求項５に記載の方法。
地面又は床に反射する前記少なくとも一の入力信号のシミュレーションは、前記少なくとも一の入力信号の少なくとも一部を、垂直面で互いに斜めに向かいあう音響変換器用の信号を表す出力信号のチャネルに加えることによって行われることを特徴とする請求項１に記載の方法。
前記少なくとも一の入力信号の少なくとも一部は、第１振幅を有する基準聴手位置において聴取者の耳の上にある変換器用の信号を表す出力信号チャネルに加えられ、また第２振幅を有する基準聴手位置において聴取者の耳の上にある変換器用の信号を表す出力信号チャネルに加えられ、前記第１振幅は、前記第２振幅よりも小さいことを特徴とする請求項７に記載の方法。
第１及び第２振幅の比率は、４９：５１から３０：７０の範囲内であることを特徴とする請求項８に記載の方法。
第１及び第２振幅の比率は、４０：６０から３７：６３の範囲内であることを特徴とする請求項８に記載の方法。
基準聴手位置において聴取者の耳の下にある音響変換器に対応する出力信号のチャネルに加えられる信号の周波数スペクトラムの一部であって、所定の周波数よりも低い周波数スペクトラムの一部を増大させる工程を更に備えることを特徴とする請求項７に記載の方法。
格納手段から所定のマルチチャネル信号を取得する工程と、
前記マルチチャネル信号の各チャネルの信号を対応する出力チャネルに加える工程と、
を更に備えることを特徴とする請求項１に記載の方法。
一対のヘッドフォンの角度位置に係る角度位置データを受信する工程と、
少なくとも受信した角度位置データに基づいて、前記出力信号の音声チャネルを前記ヘッドフォン用のバイノーラル信号へ変換する工程と、
を更に備えることを特徴とする請求項１に記載の方法。
音響変換器の角度位置に係る角度位置データを受信する工程と、
少なくとも受信した角度位置データに基づいて、前記出力信号の音声チャネルを前記音響変換器用のモノラル信号へ変換する工程と、
を更に備えることを特徴とする請求項１に記載の方法。
３次元音響環境を作る音声信号を処理する音響処理装置であって、
少なくとも一の音源から少なくとも一の入力信号を受信する回路と、
前記受信した少なくとも一の入力信号に基づいて、地面又は床に反射する少なくとも一の入力信号のシミュレーションを表す模擬信号を少なくとも一部作る回路と、
前記模擬信号及び前記受信した少なくとも一の入力信号に基づいて、複数の音声チャネルを含む出力信号を、少なくとも部分的に作る回路と、
を少なくとも備え、
前記出力信号の前記複数の音声チャネルのうち少なくとも二のチャネルは、基準聴手位置において聴取者の耳の高さよりも上にある音響変換器用の信号を表し、
前記出力信号の前記複数の音声チャネルのうち少なくとも二のチャネルは、基準聴手位置において聴取者の耳の高さよりも下にある音響変換器用の信号を表す
ことを特徴とする音響処理装置。
少なくとも一の音源から少なくとも二の入力信号を受信する回路と、
前記受信した少なくとも二の入力信号に基づいて、地面又は床に反射する少なくとも二の入力信号のシミュレーションを表す模擬信号を少なくとも一部作る回路と、
前記模擬信号及び前記受信した少なくとも二の入力信号に基づいて、背景出力信号を、少なくとも部分的に作る回路と、
前記出力信号のチャネルに、対象物の音を表す音響信号を加えることによって、前記作られた背景の上に前記対象物を加える回路と、
を少なくとも更に備えることを特徴とする請求項１５に記載の音響処理装置。
前記出力信号は、
前記基準聴手位置において聴取者の耳の上及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の上及び左にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の下及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の下及び左にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
を備えることを特徴とする請求項１５に記載の音響処理装置。
前記出力信号は、サブウーファ音変換器用の低周波音声の音声チャネルを更に備えることを特徴とする請求項１７に記載の音響処理装置。
前記出力信号は、
前記基準聴手位置において聴取者の耳の前、上及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の前、上及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の前、下及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の前、下及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の後ろ、上及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の後ろ、上及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の後ろ、下及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の後ろ、下及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
を少なくとも備えることを特徴とする請求項１７に記載の音響処理装置。
前記出力信号は、サブウーファ音変換器用の低周波音声の音声チャネルを更に備えることを特徴とする請求項１９に記載の音響処理装置。
前記受信された少なくとも一の入力信号に基づいて模擬信号を少なくとも一部作る前記回路は、前記少なくとも一の入力信号の少なくとも一部を、垂直面で互いに斜めに向かいあう音響変換器用の信号を表す出力信号のチャネルに加えることによって、前記模擬信号を作るように配置されることを特徴とする請求項１５に記載の音響処理装置。
模擬信号を作る前記回路は、前記少なくとも一の入力信号の少なくとも一部を、第１振幅を有する基準聴手位置において聴取者の耳の上にある変換器用の信号を表す出力信号チャネルに加え、また第２振幅を有する基準聴手位置において聴取者の耳の上にある変換器用の信号を表す出力信号チャネルに加えるよう配置され、前記第１振幅は、前記第２振幅よりも小さいことを特徴とする請求項２１に記載の音響処理装置。
第１及び第２振幅の比率は、４９：５１から３０：７０の範囲内であることを特徴とする請求項２２に記載の音響処理装置。
第１及び第２振幅の比率は、４０：６０から３７：６３の範囲内であることを特徴とする請求項２２に記載の音響処理装置。
基準聴手位置において聴取者の耳の下にある音響変換器に対応する出力信号のチャネルに加えられる信号の周波数スペクトラムの一部であって、所定の周波数よりも低い周波数スペクトラムの一部を増大させる回路を更に備えることを特徴とする請求項２１に記載の音響処理装置。
格納手段から所定のマルチチャネル信号を取得するプロセッサと、
前記マルチチャネル信号の各チャネルの信号を対応する出力チャネルに加える回路と、
を更に備えることを特徴とする請求項１５に記載の音響処理装置。
一対のヘッドフォンの角度位置に係る角度位置データを受信する回路と、
少なくとも受信した角度位置データに基づいて、前記出力信号の音声チャネルを前記ヘッドフォン用のバイノーラル信号へ変換する回路と、
を少なくとも更に備えることを特徴とする請求項１５に記載の音響処理装置。
音響変換器の角度位置に係る角度位置データを受信する回路と、
少なくとも受信した角度位置データに基づいて、前記出力信号の音声チャネルを前記音響変換器用のモノラル信号へ変換する回路と、
を少なくとも更に備えることを特徴とする請求項１５に記載の音響処理装置。
３次元音響環境を作る音声信号を処理するソフトウェアプログラム製品であって、
少なくとも一の音源から少なくとも一の入力信号を受信するソフトウェアコード手段と、
前記受信した少なくとも一の入力信号に基づいて、地面又は床に反射する少なくとも一の入力信号のシミュレーションを表す模擬信号を少なくとも一部作るソフトウェアコード手段と、
前記模擬信号及び前記受信した少なくとも一の入力信号に基づいて、複数の音声チャネルを含む出力信号を、少なくとも部分的に作るソフトウェアコード手段と、
を少なくとも備え、
前記出力信号の前記複数の音声チャネルのうち少なくとも二のチャネルは、基準聴手位置において聴取者の耳の高さよりも上にある音響変換器用の信号を表し、
前記出力信号の前記複数の音声チャネルのうち少なくとも二のチャネルは、基準聴手位置において聴取者の耳の高さよりも下にある音響変換器用の信号を表す
ことを特徴とするソフトウェアプログラム製品。
少なくとも一の音源から少なくとも二の入力信号を受信するソフトウェアコード手段と、
前記受信した少なくとも二の入力信号に基づいて、地面又は床に反射する少なくとも二の入力信号のシミュレーションを表す模擬信号を少なくとも一部作るソフトウェアコード手段と、
前記模擬信号及び前記受信した少なくとも二の入力信号に基づいて、背景出力信号を、少なくとも部分的に作るソフトウェアコード手段と、
前記出力信号のチャネルに、対象物の音を表す音響信号を加えることによって、前記作られた背景の上に前記対象物を加えるソフトウェアコード手段と、
を少なくとも更に備えることを特徴とする請求項２９に記載のソフトウェアプログラム製品。
前記出力信号は、
前記基準聴手位置において聴取者の耳の上及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の上及び左にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の下及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の下及び左にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
を備えることを特徴とする請求項２９に記載のソフトウェアプログラム製品。
前記出力信号は、サブウーファ音変換器用の低周波音声の音声チャネルを更に備えることを特徴とする請求項３１に記載のソフトウェアプログラム製品。
前記出力信号は、
前記基準聴手位置において聴取者の耳の前、上及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の前、上及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の前、下及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の前、下及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の後ろ、上及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の後ろ、上及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の後ろ、下及び右にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
前記基準聴手位置において聴取者の耳の後ろ、下及び下にある音響変換器用の一の信号を表す少なくとも一のチャネルと、
を少なくとも備えることを特徴とする請求項２９に記載のソフトウェアプログラム製品。
前記出力信号は、サブウーファ音変換器用の低周波音声の音声チャネルを更に備えることを特徴とする請求項３３に記載のソフトウェアプログラム製品。
前記受信された少なくとも一の入力信号に基づいて模擬信号を少なくとも一部作る前記ソフトウェアコード手段は、前記少なくとも一の入力信号の少なくとも一部を、垂直面で互いに斜めに向かいあう音響変換器用の信号を表す出力信号のチャネルに加えることによって、前記模擬信号を作るように配置されることを特徴とする請求項２９に記載のソフトウェアプログラム製品。
模擬信号を作る前記ソフトウェアコード手段は、前記少なくとも一の入力信号の少なくとも一部を、第１振幅を有する基準聴手位置において聴取者の耳の上にある変換器用の信号を表す出力信号チャネルに加え、また第２振幅を有する基準聴手位置において聴取者の耳の上にある変換器用の信号を表す出力信号チャネルに加えるよう配置され、前記第１振幅は、前記第２振幅よりも小さいことを特徴とする請求項３５に記載のソフトウェアプログラム製品。
第１及び第２振幅の比率は、４９：５１から３０：７０の範囲内であることを特徴とする請求項３６に記載のソフトウェアプログラム製品。
第１及び第２振幅の比率は、４０：６０から３７：６３の範囲内であることを特徴とする請求項３６に記載のソフトウェアプログラム製品。
基準聴手位置において聴取者の耳の下にある音響変換器に対応する出力信号のチャネルに加えられる信号の周波数スペクトラムの一部であって、所定の周波数よりも低い周波数スペクトラムの一部を増大させるソフトウェアコード手段を更に備えることを特徴とする請求項３５に記載のソフトウェアプログラム製品。
格納手段から所定のマルチチャネル信号を取得するソフトウェアコード手段と、
前記マルチチャネル信号の各チャネルの信号を対応する出力チャネルに加えるソフトウェアコード手段と、
を更に備えることを特徴とする請求項２９に記載のソフトウェアプログラム製品。
前記ソフトウェアプログラム製品は、少なくともゲームソフトウェアプログラム製品の一部であることを特徴とする請求項２９に記載のソフトウェアプログラム製品。
一対のヘッドフォンの角度位置に係る角度位置データを受信するソフトウェアコード手段と、
少なくとも受信した角度位置データに基づいて、前記出力信号の音声チャネルを前記ヘッドフォン用のバイノーラル信号へ変換するソフトウェアコード手段と、
を少なくとも更に備えることを特徴とする請求項２９に記載のソフトウェアプログラム製品。
音響変換器の角度位置に係る角度位置データを受信するソフトウェアコード手段と、
少なくとも受信した角度位置データに基づいて、前記出力信号の音声チャネルを前記音響変換器用のモノラル信号へ変換するソフトウェアコード手段と、
を少なくとも更に備えることを特徴とする請求項２９に記載のソフトウェアプログラム製品。