JP2016519526A - デジタルオーディオ信号のサウンドを再生するための方法 - Google Patents

Abstract

デジタルオーディオ信号のサウンドを再生するための方法。デジタルオーディオ信号のサウンドを再生するための方法は、オーバーサンプリングを実行する工程を含み、周波数Ｆにおいてサンプリングされた信号から周波数Ｎ×Ｆにおいてサンプリングされた信号を生成する工程であって、Ｎは１よりも大きい整数に対応する、前記工程と、リファレンスサウンド空間のサウンドスケープの取得に対応する周波数Ｎ×Ｆにおいてサンプリングされた第１デジタルファイルと、１つのリファレンス再生装置についてのノイズフットプリントの取得に対応する周波数Ｎ×Ｆにおいてサンプリングされた第２デジタルファイルと、イコライザのノイズフットプリントの取得に対応する周波数Ｎ×Ｆにおいてサンプリングされた第３デジタルファイルと、オーバーサンプリングされたオーディオファイルに対応する第４ファイルと、に対し畳み込み処理を適用し、デジタルパケットを得る工程と、聴取装置の動作周波数に対応するサンプリング周波数Ｆ／Ｍにおけるデジタル変換処理を行う工程と、を備える。

Description

本発明は、再生の際の知覚を改良するためのオーディオ信号処理の分野に関する。

例えば、特許文献１が知られており、該特許文献１では、４次元の立体化されたサウンドを生成するためにオーディオサウンドソース（オーディオ音源）を処理する方法が説明されている。

４次元サウンドの定位を得るべく、仮想サウンドソースは、指定された時間にわたって３次元空間における経路に沿って動かされ得る。
特許文献１において説明されている様々な実施形態によって、既存のモノオーディオ信号、２チャンネルオーディオ信号、及び／又はマルチチャンネルオーディオ信号を２つ以上のオーディオチャンネルを有する立体化されたオーディオ信号に変換するための方法及びシステムが提供される。

さらに、様々な実施形態によって、低周波数のエフェクトを生成したり、１つ以上のチャンネルを有し、入力されるオーディオ信号からセンタチャンネル信号を生成したりするための方法、システム、及び機械が説明されている。

特許文献２により知られるデバイスでは、ヘッドホンの一対の対向するスピーカを生成及び利用し、該スピーカ同士の間の領域からサウンドソースが動かされる感覚が伴われることが可能となる。そのデバイスは、
−理論上の聴取者から離れて定位されている理論上のサウンドソースから投射されるオーディオ信号を表す一連のオーディオ入力と、
−オーディオ入力と一連のフィードバック入力とに接続され、中間出力信号を構成するオーディオ入力の所定の組み合わせを生成する、第１ミキシングマトリックスと、
−中間出力信号をフィルタリングしフィルタリングされた中間出力信号と一連のフィードバック入力とを生成するフィルタシステムであって、該フィルタシステムは別々のフィルタを含み、該別々のフィルタは、直接応答と、高速応答と、反響応答の近似と、をフィルタリングするためのフィルタと、フィードバック入力を生成するようにフィードバック応答をフィルタリングするためのフィルタと、である、前記フィルタシステムと、
−右チャンネル及び左チャンネルのステレオ出力を生成するように、フィルタリングされた中間出力信号を組み合わせる第２ミキシングマトリックスと、を備える。

特許文献３では、４次元の立体化されたサウンドを生成するようにオーディオサウンドソースを処理するためのデバイスが説明されている。４次元サウンドの定位を得るべく、仮想サウンドソースは、指定された時間にわたって３次元空間における経路に沿って動かされ得る。

所望の空間地点のためのバイノーラルフィルタが、立体化された波形を生成するようにオーディオ波形に適用され、これによって、立体化された波形が一対のスピーカから再生されるとき、サウンドは、スピーカではなく選択された空間地点から届くように思われる。

ある空間地点のためのバイノーラルフィルタは、複数の事前定義のバイノーラルフィルタから選択されるバイノーラルフィルタのうちの最も近い１つのバイノーラルフィルタの補間によってシミュレーションされる。

オーディオ波形は、短時間フーリエ変換を用いてデータブロックをオーバーラップさせることによってデジタル処理され得る。
定位されたサウンドは、次いで、部屋及びドップラーシフトのシミュレーションのために処理されてよい。

特許文献３の発明は、Ｎ．ｘチャンネルの元のオーディオ信号を処理するための方法に関し、Ｎは１よりも大きく、ｘは０以上であり、その方法は、事前定義のフットプリントを用いてマルチチャンネルの畳み込みを行うことによって入力オーディオ信号のマルチチャンネル処理を行う工程であって、そのフットプリントは、リファレンス空間に配置されたスピーカシステムによるリファレンスサウンドのキャプチャによって生成される、工程を備え、異なるサウンド環境において以前に生成された複数のフットプリントから１つ以上のフットプリントを選択する工程をさらに備える。

特許文献４は、Ｎ．ｘチャンネルの元のオーディオ信号を処理するための方法を開示しており、Ｎは１よりも大きく、ｘは０以上であり、その方法は、所定のフットプリントを用いるマルチチャンネルの畳み込みによって入力オーディオ信号のマルチチャンネル処理を行う工程であって、そのフットプリントは、リファレンス空間に配置されたスピーカシステムによるリファレンスサウンドのキャプチャによって生成される、工程を備え、異なるサウンド環境において以前に生成された複数のフットプリントから１つ以上のフットプリントを選択する工程をさらに備える。

特許文献５によって、マルチチャンネルのオーディオ信号を処理するための別の方法及びデバイスが提供されており、各々のチャンネルは、部屋の特定の地点に配置されているスピーカに対応し、これによって、複数の“ファントム”スピーカが部屋中に配置されているという印象がヘッドホンを介して与えられる。伝達関数ＨＲＴＦ（頭部伝達関数）は、聴取者に対する当該各スピーカの高さ及び方位を考慮しつつ頭部に対して選択される。各チャンネルは、ＨＲＴＦフィルタリングに供され、これによって、そのようなチャンネルが左チャンネル及び右チャンネルに組み合わされヘッドホンによって出力されるとき、聴取者は、サウンドが仮想の部屋において配置されているファントムのスピーカから実際に届くという印象を持つ。多数の個人からデータベースに入力されたＨＲＴＦ係数の組と、関係する聴取者のために最適なＨＲＴＦの組を使用することとによって、部屋の空間の至るところに配置されている複数のスピーカを聴取する場合に孤立した聴取者が有し得るのと同様の聴取の印象が提供される。左チャンネル及び右チャンネルの出力におけるＨＲＴＦ関数の適用によって、ヘッドホンを用いて聴取するとき、ヘッドホン無しで聴取しているという印象を与えることが可能となる。

国際公開第２０１２／０８８３３６号 国際公開第９９／０１４９８３号 欧州特許出願公開第２１１９３０６号明細書 国際公開第２０１２／１７２２６４号 国際公開第９７／０２５８３４号

先行技術のソリューションは、再生手段（ヘッドホン又はスピーカ）の固有の品質と、オーディオ信号に適用される処理に対する再生手段の適性とによって制限されている。
さらに、先行技術の一部の処理は、相当な計算能力を必要とし、タブレット、電話器、
又はポータブルプレーヤの性能と相容れない。

本発明の目的は、知覚される品質を改良すること、特に立体化の程度を改良することであり、タブレット又は携帯電話のドッキングステーション（“ドック”）等の中程度の品質の再生手段を含む。

この目的のため、本発明は、その最も広い意味により、デジタルオーディオ信号のサウンドを再生するための方法において、オーバーサンプリングを実行する工程を含み、周波数Ｆにおいてサンプリングされた信号から周波数Ｎ×Ｆにおいてサンプリングされた信号を生成する工程であって、Ｎは１よりも大きい整数である、前記工程と、リファレンスサウンド空間のサウンドスケープの取得に対応する周波数Ｎ×Ｆにおいてサンプリングされた第１デジタルファイルと、１つのリファレンス再生装置についてのノイズフットプリントの取得に対応する周波数Ｎ×Ｆにおいてサンプリングされた第２デジタルファイルと、イコライザのノイズフットプリントの取得に対応する周波数Ｎ×Ｆにおいてサンプリングされた第３デジタルファイルと、オーバーサンプリングされたオーディオファイルに対応する第４ファイルと、に対し畳み込み処理を適用し、デジタルパケットを得る工程と、聴取装置の動作周波数に対応するサンプリング周波数Ｆ／Ｍにおけるデジタル変換処理を行う工程と、を備える方法に関する。

この処理は、数学的な畳み込み演算に基づき、イコライザ及び再生装置に加えてモデリングされた空間のインパルス応答のいくつかの予め記録されたオーディオサンプルを利用する。

一代替実施形態では、この方法は、前記ノイズフットプリントの空間チャンネル間のバランスを変更するように、前記リファレンスサウンド空間の前記ノイズフットプリントに対応する前記ファイルを再計算する工程をさらに備える。

本発明の信号処理方法を示す概略図。

本発明は、非限定的な実施形態に対応する添付の図面を参照して以下の説明を読むことによって、より良く理解される。
本発明による処理方法は、様々なノイズフットプリントの畳み込みを達成するために、１つのサウンドソースの異なる複数の音響フットプリントを生成することを含む。

畳み込み手法は、使用者によって実行される既知のキャプチャ法であり、次いで、場所又はデバイスにおける音響挙動が再現される。例えば、畳み込み残響によって、多くの現実の場所、有名なコンサートホール、又は他の場所の音響効果の利用の提供が可能となり、そのような以前にサンプリングされた音響効果はプログラムにおいて任意に再利用されてよい。

映像についてのサウンドの場合、これを可能とするためにまず考えられるのは、直接のサウンドと、後に行われる生成（後に行われる同期、サウンドエフェクト）により追加されるサウンドとの間の直接的な音響関係を把握するために、撮影セットにおける音響効果のキャプチャを利用することである。

次に、その原理は、音響効果が直接的なサウンド記録のサウンドと完全に適合するように、後に記録される要素に音響効果を容易に適用できるよう、映画のシーンが撮影された
セットにおける音響効果のサンプリングの実行を含む。

ノイズフットプリントを構成する１つの装置又は部屋のインパルス応答を取得するためのインパルス応答センサは、“逆畳み込み”に基づく。それは、既知の信号（本明細書ではｆ（ｔ）とする）によるシステムの励起を利用する。そのような信号は、変換（逆畳み込み関数）が適用されると、ディラック関数が得られる。

逆畳み込み関数は、励起信号ｆ（ｔ）と任意の関数ｈ（ｔ）とに対して次のように選択される。

この逆畳み込み関数を用いることにより、システムのインパルス応答信号が、ディラックパルスとは異なる励起信号に関しシステムの応答から生成される。

聴取の際、インパルス応答をキャプチャするために利用される信号の種類は、ガウスノイズ又は“ホワイトノイズ”と考えられる。励起系列は、決定論的なアルゴリズムによって生成され周期的であり（我々の用途に関しては、数秒又は数十秒のオーダーの周期である）、擬似乱数信号を構成する。

そのような系列は、線形フィードバックシフトレジスタ（ＬＦＳＲ）によって生成される。そのようなレジスタの構造は、その次数がレジスタの数によって決定され、その周期にわたって、その次数に対して可能な全ての２値を生成するようになっている（構造の次数が４次の場合、２^ｎ個の値が可能である）。そのような系列は、“Ｍ系列（ＭＬＳ：Ｍａｘｉｍｕｍ Ｌｅｎｇｔｈ Ｓｅｑｕｅｎｃｅ）”として当業者に知られており、これは、同じ値を２回繰り返さない２値数の可能な最長系列である。

逆畳み込み方法の平易さにより、ＭＬＳは当初において広く用いられている。
実際、ＭＬＳ信号は、その逆畳み込みに関し、アダマール変換として知られる変換が使用されてよく、それによって、計算を簡潔化し、少ないリソースを用いてコンピュータによって計算可能であるという利点を有する。

別の励起信号ソリューションは、いわゆる“対数スイープ”法又は“指数スイープ”法に基づき、これは、名前から示唆されるように、正弦波（指数則により周波数が時間に関係付けられる）をシフトさせることに対応する。これは、高周波数におけるシフトが低周波数におけるシフトよりも速く、その結果スペクトルがピンクノイズのスペクトルであることを意味する（かける時間が短いことにより高周波数においては比較的小さなエネルギが放出される）。

得られた測定値は、２つのやり方により逆畳み込みされ得る。第１のやり方では、周波数ドメインにおける経過を用いて計算を実行した後、時間ドメインに戻る。第２のやり方では、次式のように記録された信号について、時間的に戻された励起信号により非周期的に畳み込みを行うことを含む。

ここで、Ｔはスイープ期間である。

この手順を用いると次の２つの利点が得られる。
−システムの非線形な歪は、完全に除かれ、システムの線形なインパルス応答の測定を乱さない。

−この方法では、わずかなオーディオビデオ分離（ｄｅｓｙｎｃｈｒｏｎｉｓａｔｉｏｎ）が許容される。すなわち、１つのデバイスからスイープが送られて別のデバイスに記録されることが、これら２つのマシンをクロックにより同期することなく行われ得る。

本発明では、３つのノイズのフットプリント又はインパルス応答がキャプチャされ、それらは下記に対応する。
−聴取手段（例えば、ヘッドセット）のノイズフットプリント
−イコライザのノイズフットプリント
−リファレンスサウンド空間のノイズフットプリント
これらのインパルス応答の各々は、再生装置の公称サンプリング周波数よりも高いハイサンプリングによって、リファレンス信号からキャプチャされる。

例えば、部屋のフットプリント３は、５００ミリ秒よりも長い長時間、好適には１〜２秒間、ホワイトノイズから取得され、スピーカ毎に６メガバイトのファイルが生成される。インパルス応答に対応するそのファイルは、次いで、可逆圧縮され（例えば、ＺＩＰ圧縮）、符号化される。

ヘッドホン（又は一連のスピーカ）のフットプリント１は、約２００ミリ秒の期間、好適には１００〜５００ミリ秒間のホワイト信号又はピンク信号を用いて同様に取得される。

イコライザのフットプリント２は、各イコライザのセッティングに対して、約２００ミリ秒の期間、好適には１００〜５００ミリ秒間のホワイト信号又はピンク信号を用いて同様に取得される。

これら３つのインパルス応答のファイル１〜３と、オーディオ信号のデジタルファイル４とに対し、高速フーリエ変換ＦＦＴによる処理に基づいて、畳み込み処理５が行われる。

計算時間を低減するため、工程６が実行され、これによって、再生装置の特質と、適切な場合には、聴取者の感覚の特性とによって左右のフットプリントを動的に再計算することが可能となる。例えば、仮想空間位置を変更することが可能な調節手段が利用可能である。このセッティングにおける変更によって、元から提供されているフットプリントから新たな一対のノイズフットプリントへのモーフィングによる計算が次のように制御される。

−中央の仮想スピーカと、右スピーカ及び左スピーカについての２つのフットプリントと、が考慮に入れられる。
−サウンドスポットを動かすためにリアルタイムにおいて左／右フットプリントが再計
算される。

この機能は、使用者の動きに基づいてサウンドスポットの動的な動きを生成するように、ジャイロセンサによって制御されてよい。
これは、頭部に対してリアルタイムに音声を中央に配置することを可能とする。

Claims (2)

1. デジタルオーディオ信号のサウンドを再生するための方法において、
   オーバーサンプリングを実行する工程を含み、周波数Ｆにおいてサンプリングされた信号から周波数Ｎ×Ｆにおいてサンプリングされた信号を生成する工程であって、Ｎは１よりも大きい整数に対応する、前記工程と、
   リファレンスサウンド空間のサウンドスケープの取得に対応する周波数Ｎ×Ｆにおいてサンプリングされた第１デジタルファイルと、１つのリファレンス再生装置についてのノイズフットプリントの取得に対応する周波数Ｎ×Ｆにおいてサンプリングされた第２デジタルファイルと、イコライザのノイズフットプリントの取得に対応する周波数Ｎ×Ｆにおいてサンプリングされた第３デジタルファイルと、オーバーサンプリングされたオーディオファイルに対応する第４ファイルと、に対し畳み込み処理を適用し、デジタルパケットを得る工程と、
   聴取装置の動作周波数に対応するサンプリング周波数Ｆ／Ｍにおけるデジタル変換処理を行う工程と、を備える方法。
2. 前記ノイズフットプリントの空間チャンネル間のバランスを変更するように、前記リファレンスサウンド空間の前記ノイズフットプリントに対応する前記ファイルを再計算する工程をさらに備える、請求項１に記載の方法。