JP2017055431A - 改良された復元のために音声信号を処理するための方法 - Google Patents

Abstract

【課題】改良された復元のために音声信号を処理するための方法を提供する。【解決手段】Ｎ．ｘチャネルの元の音声信号を処理するための方法において、Ｎは１よりも大きく、ｘは０以上であり、前記方法は、事前定義のインプリントを用いてマルチチャネルのたたみ込みを行うことによって入力音声信号のマルチチャネル処理を行う工程であって、前記インプリントは、リファレンス空間に配置された一組のエンクロージャによるリファレンスサウンドのキャプチャから生成される、前記工程を備え、異なるサウンドコンテキストにおいて以前に生成された複数のインプリントから１つ以上のインプリントを選択する工程をさらに備える。【選択図】図１

Description

本発明は、改良された音響アンビエンス（ａｍｂｉａｎｃｅ）（特にヘッドホンを用いた聴取用の）を創出するための音声信号処理の分野に関する。

音響シーケンスの復元を仮想化するための方法及びシステムについて記載する特許文献１が先行技術では知られている。この既知の解決策によると、聴取者は、現実のラウドスピーカのそれと区別の困難なレベルの現実感を有するヘッドホンによって、仮想的なラウドスピーカの音を聴取することが可能である。このラウドスピーカの音響源として、聴取者の頭部の限られた数の位置を利用して複数組の個別化（パーソナライズ）された空間パルス応答（ＰＳＰＲ）が取得される。この個別化された空間パルス応答は、ラウドスピーカ用として意図された音声信号をヘッドホン用の仮想化された出力へと変換するべく使用される。このシステムは、聴取者の頭の姿勢に基づいて変換を調整することによって、聴取者が頭を動かしたときに、この仮想ラウドスピーカを動いていないように感じさせることが可能である。

国際公開第２００６／０２４８５０号

先行技術において提案されている解決策では、リファレンスサウンドアンビエンスを個別化することは可能とならず、リストアされるシーケンスの型に関してサウンドアンビエンスの型を修正することは可能でないので、その解決策は十分に満足のいくものではない。

さらに、先行技術の解決策では、大きなコンピュータリソースを必要とする高価なコンピュータ処理動作を使用しており、サウンドインプリント（ｅｍｐｒｅｉｎｔｅ）の取込み（キャプチャ）に相当な時間を要する。さらに、この既知の解決策では、ステレオ信号をＮチャネルに分割できず、開始時に存在しないチャネルは生成されない。

本発明は、この問題に対する解決策を提供することを目的とする。特に、本発明の主題である方法は、ステレオファイルを使用するか又はマルチチャネルファイルを使用して２Ｄサウンドを３Ｄサウンドに変換し、仮想化によって３Ｄのステレオ音声を生成することを可能とするので、特定のサウンドコンテキストを選択することが可能である。

この目的を達成するため、本発明は、本発明の最も一般的な意味において、Ｎ．ｘチャネルの元の音声信号を処理するための方法において、Ｎは１よりも大きく、ｘは０以上であり、前記方法は、事前定義のインプリントを用いてマルチチャネルのたたみ込みを行うことによって入力音声信号のマルチチャネル処理を行う工程であって、前記インプリントは、リファレンス空間に配置された一組のスピーカによるリファレンスサウンドのキャプチャから生成される、前記工程を備え、異なるサウンドコンテキストにおいて以前に生成された複数のインプリントから１つ以上のインプリントを選択する工程をさらに備える、方法に関する。

この解決策は、周波数フィルタリングと、中央チャネルを生成するための左チャネルと右チャネルとの間の差分と、位相差分とに基づいて、各仮想スピーカがステレオファイルである複数のステレオチャネルをステレオ信号から作成することが可能である。

この解決策によって、各仮想チャネルに異なるインプリントを適用することが可能となり、また各仮想スピーカの３Ｄのインプリントを維持しつつチャネルを組み合せ直すことによって新たな最終のステレオ音声ファイルを作成することが可能となる。

有利には、本発明による方法は、以前に生成された１つ以上のインプリントを処理することによって新たなインプリントを作成する工程を含む。
変形例によると、その方法は、Ｎ．ｘチャネルを組み合わせ直すことによってＭ．ｙチャネルの出力信号を形成するように処理する工程をさらに備え、Ｎ．ｘはＭ．ｙと異なっており、Ｍは１よりも大きく、ｙは０以上である。

ＩＲの作成、最適化、及び処理を示す図。 アンプ、ステレオマイク、及びサブを示す図。 サブを示す図。

本発明は以下で非限定的に説明される。本発明による方法は次の連続した工程に分割できる。
・複数の一連のサウンドインプリントの作成
・インプリントのライブラリを組み合わせることによる一連の仮想化されたインプリントの作成
・元のサウンド信号のトラックと、一連の仮想化されたインプリントとの関連付け
１‐インプリントの作成
信号の取得
サウンドインプリントの作成は、定義された環境（例えば、コンサート会場、ホール、又はさらには自然の空間（洞窟、オープンスペース等））に、Ｎ×Ｍサウンドポイントにより編成される一組の音響インプリントを配置することからなる。例えば、既知の方法でリファレンスサウンド信号をリストアする、単純な一対の“右−左”のスピーカ、又は一組の５．１，７．１，１１．１のスピーカである。

一対のマイクロホン又はＨＲＴＦの多方向キャプチャマイクロホンが、例えば模擬的な頭部に配置され、対象の環境におけるスピーカの復元が取り込まれる。一対のマイクロホンによって形成される信号は、高周波数のサンプリング後に記録される（例えば１９２ｋＨｚ、２４ビット）。

このデジタル記録によって、所与のサウンド環境を表現する信号のキャプチャが可能になる。
この工程は、スピーカによって形成されるサウンド信号のキャプチャに限定されない。キャプチャは、模擬的な頭部に配置されたヘッドホンによって形成される信号からも行われ得る。この取合せによって、所与のヘッドホンのサウンドアンビエンスを、別の一組のヘッドホンにおける復元の時に再現することが可能になる。

２‐インプリントの計算
次にこの信号は、同じ条件下でデジタル化されてスピーカに対して適用されたリファレンス信号と、マイクロホンによって取込まれた信号との間の差分を適用することを含む処理に供される。リファレンス信号を生成すべく使用された各スピーカについての“ＩＲ−
インパルス応答”の型である信号を形成するために、一方で各スピーカに適用されるリファレンス信号の．ｖａｗ又は音声のファイルと、他方で取込まれる信号の．ｖａｗ又は音声のファイルとを入力としてそれぞれ受信するコンピュータによって、その差分は生成される。取込まれる各スピーカの各入力信号に対して、その処理は適用される。

この処理は、取込まれる各スピーカの各入力信号に対して適用される。
この処理は一組のファイルを形成し、各ファイルは定義された環境における複数のスピーカのうちの一つのスピーカのインプリントに対応する。

インプリントのファミリの生成
前述した工程は、様々なサウンド環境、様々なスピーカレイアウト、又はその両方に対して繰り返される。新たなサウンドアラインメントを表現する新たな一連のインプリントを形成するために、各新たな配置に対して、取得及びその次の処理の工程が実行される。

このようにして、所与の既知のサウンド環境を表現する一連のサウンドインプリントのライブラリが構築される。
仮想環境の創出
前述した取得工程中にサウンド環境においてスピーカが欠けている領域を減少させるために、複数の一連のインプリントを組み合わせることと、その選択されたインプリントに対応するファイルを追加することとによって、仮想環境を表現する新たな一連のインプリントを形成するべく、前述したライブラリは使用される。

仮想環境を創出するこの工程によって、所与の記録に対しての適用により得られるサウンドの一貫性（コヒーレンス）及びダイナミックレンジの改良（特に、より良く３次元的にサウンド空間を占めることにより）が可能になる。

これは、非常に多数のスピーカによる模擬環境を使用することに等しい。
この工程によって、新たな仮想化されたホールのインプリントが得られ、そのインプリントは、演出を改良するためにサウンドシーケンスに適用され得る。

サウンドシーケンスの処理
次に既知の音声シーケンスが選ばれ、同じプリファレンス条件に対してサンプリングがされる。

これができない場合には、処理される音声信号の周波数及びサンプリングへと周波数及びサンプリングを減少させるように、仮想のインプリントの適合がされる。
既知の信号は、例えばステレオ信号である。それは、周波数チョッピングと、右の信号と左の信号との位相の違いに基づくチョッピングの対象である。

この信号から、これらのチョッピングの組合せに対して仮想のインプリントのうちの一つを適用することによって、Ｎトラックが抽出される。
したがって、Ｎ×Ｍトラックを作成するために（ＮとＭは必ずしも、インプリント作成工程中に使用されたチャネルの数とは限らない）、複数のチョッピングについての結果を組み合わせることと、インプリントのうちの一つを各トラックに適用することとによって、可変の数のトラックの形成が可能となる。例えば、よりダイナミックな復元のためにより多くの数のトラックを生成することや、例えばヘッドホンによる復元のためにより少ない数のトラックを生成することが可能になる。

この工程によって、標準的な設備における復元を行う場合と互換性を持たせるために従来のステレオ信号へと次に変換される連続した音声信号が得られる。
予想されるように、信号の位相回転等の処理動作を適用することも可能である。

サウンドシーケンスの処理の工程は、任意の瞬間にブロードキャストされ得る記録を形成するために、遅延モードにおいて実行され得る。
サウンドシーケンスの処理の工程は、音声ストリームが形成される時に音声ストリームを処理するためにリアルタイムにおいても実行され得る。この取合せは、ストリーミングにおいて取得されたサウンドを、より良いダイナミックレンジを有する復元のための豊富な音声サウンドへとリアルタイムに変換する場合に特に適している。

取合せの使用によると、処理によって、中央のサウンド信号について疑義を除去することを形成する信号を形成することが可能となり、その信号はフロントにおける信号であるにもかかわらず、その信号を人間の頭脳は誤解によって後ろにおける信号と“想像”し得る。この目的のため、頭脳が再調整されることを可能とすべく、水平方向の運動が実行され、次に再び中央に配置される。この工程は、中央のフロントの仮想スピーカの程度又は存在感をやや上昇させることを含む。

音声信号が主に中央に存在する場合は常にこの工程が適用され、その場合は音楽の記録の“声”パートに頻繁に該当する。この存在感を上昇させる処理は一時的に適用され、好ましくは、中央の音声シーケンスが現れるときに適用される。

Claims (4)

1. Ｎ．ｘチャネルの元の音声信号を処理するための方法において、Ｎは１よりも大きく、ｘは０以上であり、前記方法は、
   事前定義のインプリントを用いてマルチチャネルのたたみ込みを行うことによって入力音声信号のマルチチャネル処理を行う工程であって、前記インプリントは、リファレンス空間に配置された一組のスピーカによるリファレンスサウンドのキャプチャから生成される、前記工程を備え、
   異なるサウンドコンテキストにおいて以前に生成された複数のインプリントから１つ以上のインプリントを選択する工程をさらに備え、
   周波数フィルタリングと、位相差分とに基づいて、複数のステレオチャネルを１つのステレオ信号から作成することが可能である、方法。
2. 以前に生成された１つ以上のインプリントを処理することによって新たなインプリントを作成する工程を含む、請求項１に記載の方法。
3. Ｎ．ｘチャネルを組み合わせ直すことによってＭ．ｙチャネルの出力信号を形成するように処理する工程をさらに備え、Ｎ．ｘはＭ．ｙと異なっており、Ｍは１よりも大きく、ｙは０以上である、請求項１又は２に記載の方法。
4. サウンド信号の中央配置時に、仮想的な中央のフロントスピーカの存在感の程度を一時的に上昇させる工程を含む、請求項１又は２に記載の方法。