JP2004078183A - オーディオ信号のマルチチャネル／キュー符号化／復号化 - Google Patents

Abstract

【課題】ＢＣＣ符号化のみを用いた場合より高い忠実度の再生を、従来のステレオ符号化を用いる場合と比較して小量の符号化データにて、達成することが可能となるキュー符号化及び復号化を行う。
【解決手段】ＢＣＣ符号化において、入力信号のスペクトル成分がダウン混合され、ＢＣＣパラメータ（例えば、チャネル間レベル及び／或いは時間差）が生成され、ステレオ実現においては、左右のチャネルを周波数領域に変換した後に、対の左右のチャネルのスペクトル成分がモノ成分にダウン混合される。その後、これらモノ成分と、ダウン混合されなかった左右のチャネルのスペクトル成分とを時間領域に逆変換することでハイブリッドステレオ信号が生成され、次にこれらハイブリッドステレオ信号を従来の符号化技術を用いて符号化される。再生のためには、符号化されたビット流が従来の復号技術を用いて復号される。次に、ＢＣＣ合成技術を用いてＢＣＣパラメータを適用することで、これらモノ成分とダウン混合されなかったステレオ成分に基づいて聴覚シーンが合成される。
【選択図】図１

Description

【０００１】
【関連する特許出願】
本出願は、２００２年６月２４日付けで、ａｔｔｏｒｎｅｙ　ｄｏｃｋｅｔ　ｎｏ．（弁理士事件番号）Ｂａｕｍｇａｒｔｅ　３−１１として出願された合衆国仮特許出願第６０／３９１，０９５号の優先権（ｂｅｎｅｆｉｔ）を主張する。この出願の主題は、２００１年５月４日付けで、ａｔｔｏｒｎｅｙ　ｄｏｃｋｅｔ　ｎｏ．　Ｆａｌｌｅｒ　５として出願された合衆国特許出願第０９／８４８，８７７号（’８７７号出願）、２００１年１１月７日付けで、ａｔｔｏｒｎｅｙ　ｄｏｃｋｅｔ　ｎｏ．Ｂａｕｍｇａｒｔｅ　１‐６‐８　として出願された合衆国特許出願第１０／０４５，４５８号（’４５８号出願）、２００２年５月２４日付けで、ａｔｔｏｒｎｅｙ　ｄｏｃｋｅｔ　ｎｏ．Ｂａｕｍｇａｒｔｅ２‐１０　として出願された合衆国特許出願第１０／１５５，４３７号（’４３７号出願）、及本出願と同一の日付けで、ａｔｔｏｒｎｅｙ　ｄｏｃｋｅｔ　ｎｏ．Ｂａｕｍｇａｒｔｅ　４　として出願された合衆国特許出願第ｘｘ／ｘｘｘ，ｘｘｘ号（’ｘｘｘ号出願）とも関連するため、これら全ての教示についても参照されたい。
【０００２】
【発明の属する技術分野】
本発明はオーディオ信号の符号化と、これに続く、こうして符号化されたオーディオ信号の、再生の際の聴覚シーンを生成するための復号に係る。
【０００３】
【従来の技術】
従来のステレオオーディオの符号化においては、ステレオ入力信号の左と右のオーディオチャネルの和と差が形成され、その後、これらを、個別に、例えば、適応差分符号変調（ａｄａｐｔｉｖｅ　ｄｉｆｆｅｒｅｎｔｉａｌ　ｐｕｌｓｅｃｏｄｅ　ｍｏｄｕｌａｔｉｏｎ，　ＡＤＰＣＭ）或いは他の適当なオーディオ符号化アルゴリズムを用いて符号化することで符号化されたオーディオビット流が形成される。対応する従来技術によるステレオオーディオの復号においては、この（ＡＤＰＣＭ）符号化アルゴリズムを逆転することで、和信号と差信号が復号され、これから復号ステレオ出力信号の左と右のオーディオチャネルが生成される。
【０００４】
【発明が解決しようとする課題】
このような従来の技術によるステレオオーディオの符号化／復号（ｃｏｄｉｎｇ／ｄｅｃｏｄｉｎｇ，　ｃｏｄｅｃ）技術では、再生の際にステレオ入力信号の忠実度（ｆｉｄｅｌｉｔｙ）を正確に反映する聴覚シーン（ａｕｄｉｔｏｒｙｓｃｅｎｅ）を生成することはできるが、対応する符号化されたオーディオビット流のために要求されるデータの量が膨大となり、メモリ空間及び／或いは伝送帯域幅に制約がある幾つかの用途には不都合である。
【０００５】
上述の特許出願’８７７号、’４５８号及び’４３７号によると、従来のステレオオーディオコーデック（ｓｔｅｒｅｏ　ａｕｄｉｏ　ｃｏｄｅｃ）によって得られるそれと同一或いは実質的に類似のレベルの再生忠実度をより小量の符号化オーディオビット流にて達成することができる。より具体的には、これら特許出願は、ＢＣＣ（ｂｉｎａｕｒａｌ　ｃｕｅ　ｃｏｄｉｎｇ）と呼ばれるオーディオ符号化技法に係る。
【０００６】
ＢＣＣ符号化をステレオオーディオに適用する場合、ステレオ入力信号の左右のチャネルが（例えば、総和することで）単一のモノ信号（ｍｏｎｏ　ｓｉｇｎａｌ）にダウン混合（ｄｏｗｎｍｉｘｅｄ）され、このモノ信号が、次に、従来の適当なオーディオ符号化アルゴリズム、例えば、ＡＤＰＣＭを用いて符号化される。加えて、左右のチャネルを分析することで、ＢＣＣパラメータ流が生成される。一つの実現においては、各オーディオフレーム（例えば、２０ｍｓｅｃ）に対して、これらＢＣＣパラメータは、聴覚空間キュー（ａｕｄｉｔｏｒｙ　ｓｐａｔｉａｌ　ｃｕｅｓ）、例えば、ステレオ入力信号内の複数の異なる周波数バンドの各々に対して、左右チャネル間の、チャネル間或いは耳間レベル差（ｉｎｔｅｒ−ｃｈａｎｎｅｌ　ｏｒ　ｉｎｔｅｒ−ａｕｒａｌ　ｌｅｖｅｌ　ｄｉｆｆｅｒｅｎｃｅ，　ＩＬＤ）値と、チャネル間或いは耳間時間差（ｉｎｔｅｒ−ｃｈａｎｎｅｌ　ｏｒ　ｉｎｔｅｒ−ａｕｒａｌ　ｔｉｍｅ　ｄｉｆｆｅｒｅｎｃｅ，　ＩＴＤ）値とを含む。こうして得られる符号化されたオーディオデータは、符号化されたモノ信号と、ＢＣＣパラメータ流のみを含むため、符号化されたデータの量は、従来のステレオオーディオ符号化技術、例えば、上で説明の技術を用いて生成される対応する符号化オーディオビット流よりも、かなり小さくなる（例えば、５０から８０％程度となる）。
【０００７】
対応するＢＣＣの復号においては、その（例えば、ＡＤＰＣＭ）符号化アルゴリズムを逆転することで、復号されたモノ信号が回復される。次に、こうして復号されたモノ信号に、これらＢＣＣパラメータを用いて、ステレオオーディオ合成技術を適用することで、再生のための復号されたステレオオーディオ信号の左右のチャネルが生成される。典型的には従来のステレオオーディオコーデックを用いて達成されるそれよりは劣るが、ＢＣＣ符号化及び復号を用いて生成される聴覚シーンの忠実度は、多くの用途では許容でき、典型的には帯域幅を抑えることができる。
【０００８】
【課題を解決するための手段】
本発明の幾つかの実現はハイブリッドオーディオコーデック技法（ｈｙｂｒｉｄ　ａｕｄｉｏ　ｃｏｄｅｃ　ｔｅｃｈｎｉｑｕｅ）に係り、この技法においては、入力オーディオ信号の幾つかの周波数バンドには、従来のオーディオ符号化が適用され、これら入力オーディオ信号の他の周波数バンドには、ＢＣＣ符号化が適用される。一つの可能なステレオ実現においては、ある指定された閾値周波数（例えば、１．５ｋＨｚ）より高い周波数を有する信号スペクトル成分は、ＢＣＣ符号化を用いて符号化され、他方、これより低い周波成分は、従来のステレオ符号化を用いて符号化される。結果として、ＢＣＣ符号化のみを用いた場合より高い忠実度の再生を、従来のステレオ符号化を用いる場合と比較して小量の符号化データにて、達成することが可能となる。
【０００９】
一面においては、本発明はＮ個（ここで、Ｎ＞１）の入力オーディオ信号を符号化するための方法として実現される。これらＮ個の入力オーディオ信号の各々が周波数領域における複数のスペクトル成分に変換される。これらＮ個の入力オーディオ信号に対応するスペクトル成分の内の一つ或いは複数（ただし、全てではない）の各々については、それらスペクトル成分をダウン混合することでダウン混合されたスペクトル成分が生成され、これらＮ個の入力オーディオ信号の各々に対する残りの一つ或いは複数のスペクトル成分は、混合しないままにとどめられる。次に、これら一つ或いは複数のダウン混合されたスペクトル成分と一つ或いは複数の混合されなかったスペクトル成分に基づいて、符号化されたオーディオビット流が生成される。
【００１０】
もう一面においては、本発明は上述の方法を遂行することで生成される符号化されたオーディオビット流として実現される。
【００１１】
もう一面においては、本発明はＮ個（ここで、Ｎ＞１）の入力オーディオ信号を符号化のために処理するための装置として実現される。これらＮ個の入力オーディオ信号の各々を周波数領域における複数のスペクトル成分に変換するための一つ或いは複数の変換式（変換器）が構成される。これらＮ個の入力オーディオ信号に対応するスペクトル成分の内の一つ或いは複数（ただし、全てではない）の各々については、それらスペクトル成分をダウン混合することでダウン混合されたスペクトル成分を生成し、これらＮ個の入力オーディオ信号の各々に対する残りの一つ或いは複数のスペクトル成分は、混合しないままにとどめるようなダウンミキサが構成される。
【００１２】
もう一面においては、本発明は符号化されたオーディオビット流を復号するための方法として実現される。符号化されたオーディオビット流を復号することで、一つ或いは複数のセットのスペクトル成分は、ダウン混合されたスペクトル成分に対応し、残りの一つ或いは複数のセットのスペクトル成分は、混合されなかったスペクトル成分に対応する、周波数領域における複数のスペクトル成分が生成される。各セットのダウン混合されたスペクトル成分に対しては、一つ或いは複数の聴覚空間パラメータ（ａｕｄｉｔｏｒｙ　ｓｐａｔｉａｌ　ｐａｒａｍｅｔｅｒｓ）を適用することで、合成スペクトル成分が生成される。次に、この合成スペクトル成分と混合されなかったスペクトル成分が、時間領域におけるＮ個（ここで、Ｎ＞１）の復号されたオーディオ信号に変換される。
【００１３】
もう一面においては、本発明は符号化されたオーディオビット流を復号するための装置として実現される。符号化されたオーディオビット流を復号することで、一つ或いは複数のセットのスペクトル成分は、ダウン混合されたスペクトル成分に対応し、一つ或いは複数のセットのスペクトル成分は、混合されなかったスペクトル成分に対応する、周波数領域における複数のスペクトル成分を生成するためのオーディオ復号器が構成される。更に、各セットのダウン混合されたスペクトル成分に対して、一つ或いは複数の聴覚空間パラメータを適用することで、合成スペクトル成分を生成するためのシンセサイザが構成される。更に、合成スペクトル成分と混合されなかったスペクトル成分を時間領域におけるＮ個（ここで、Ｎ＞１）の復号されたオーディオ信号に変換するための一つ或いは複数の逆変換式（逆変換器）が構成される。
【００１４】
本発明の他の面、特徴及び長所が、以下の詳細な説明、クレーム、及び添付の図面からより一層明らかになるものである。
【００１５】
【発明の実施の形態】
図１は本発明の一つの実施例によるハイブリッドオーディオシステム１００のブロック図を示す。オーディオシステム１００は送信機１０２と受信機１０４を備える。送信機１０２は入力ステレオオーディオ信号の左（Ｌ）右（Ｒ）のチャネルを受信し、符号化されたオーディオビット流１０６と、対応するＢＣＣパラメータ流１０８を生成する。このＢＣＣパラメータ流１０８は、実現によって、ビット流１０６内に明示的（ｅｘｐｌｉｃｉｔｌｙ）に符号化されることも、されないこともある。図１においては、ＢＣＣパラメータ流１０８は、別個の帯域を用いて送信機１０２から受信機１０４に伝送される。いずれの場合も、受信機１０４は、送信機１０２によって生成されたデータを受信し、符号化されたオーディオビット流１０６を復号し、ＢＣＣパラメータ流１０８を適用することで、復号されたステレオオーディオ信号の左（Ｌ’）右（Ｒ’）のチャネルを生成する。
【００１６】
より詳細には、送信機１０２は、ＢＣＣアナライザ／ミキサ１１０とステレオオーディオ符号器１１２を備え、受信機１０４はステレオオーディオ復号器１１４とＢＣＣシンセサイザ１１６を備える。
【００１７】
送信機１０２内において、ＢＣＣアナライザ／ミキサ１１０は、左（Ｌ）右（Ｒ）のオーディオ信号を周波数領域に変換する。ある指定される閾値周波数より高いスペクトル成分に対して、ＢＣＣアナライザ／ミキサ１１０は、上述の特許出願’８７７号、’４５８号、及び’４３７号において説明されるＢＣＣ技法を用いて、ＢＣＣパラメータ流１０８を生成する。ＢＣＣアナライザ／ミキサ１１０は、更に、これら高周波成分をモノ成分にダウン混合（ｄｏｗｎｍｉｘｅｓ）する。その後、この高周波モノ成分のコピーを、それぞれ、低周波の「ダウン混合されなかった（ｕｎｍｉｘｅｄ）」左右の成分（つまり、指定される閾値周波数より低い処理されなかった周波数領域の成分）とともに時間領域に戻すことで、左右のハイブリッド信号１１８が形成される。その後、ステレオオーディオ符号器１１２を用いて、これら左右のハイブリッド信号に従来のステレオ符号化を施すことで、符号化されたオーディオビット流１０６が生成される。
【００１８】
図２は本発明の一つの実施例による図１のＢＣＣアナライザ／ミキサ１１０によって遂行される処理のブロック図を示す。高速フーリエ変換器（ＦＦＴ）２０２_Ｌは、左オーディオ信号Ｌを周波数領域の複数の左チャネルスペクトル成分２０４に変換する。同様に、高速フーリエ変換器（ＦＦＴ）２０２_Ｒは、右オーディオ信号Ｒを周波数領域の複数の右チャネルスペクトル成分２０４に変換する。次に、ある指定された閾値周波数より高い周波数を有する、一つ或いは複数の左チャネル成分２０４_ＨＩと一つ或いは複数の右チャネル成分２０６_ＨＩがダウンミキサ２０８とＢＣＣパラメータ発生器２１６の両方に加えられる。
【００１９】
ダウンミキサ２０８は各左チャネル高周波成分２０４_ＨＩと対応する右チャネル高周波成分２０６_ＨＩと結合することで、高周波のモノ成分２１０_ＨＩを生成する。ダウンミキサ２０８によってモノ成分を生成するために遂行される処理は、実現によって変えることができる。一つの可能な実現においては、ダウンミキサ２０８は単に対応する左右のチャネル成分を平均化する。もう一つの可能な実現においては、ダウンミキサ２０８は、上述の特許出願第’ｘｘｘ号において説明されるダウン混合技術を用いる。当業者においては容易に想到できるように他の適当なダウン混合方式を用いることもできる。
【００２０】
複製器２１２は各高周波モノ成分２１０_ＨＩの２つのコピーを生成し、それぞれ、左右の逆ＦＦＴ（ＩＦＦＴ）２１４_Ｌ、２１４_Ｒに加える。これらＩＦＦＴ２１４_Ｌ、２１４_Ｒは、加えて、それぞれ、ＦＦＴ２０２_Ｌ、２０２_Ｒから左右の低周波成分２０４_ＬＯ、２０６_ＬＯも受信する。ＩＦＦＴ　２１４_Ｌ、２１４_Ｒは、各々のセットの成分を時間領域に戻すことで、それぞれ、左右のハイブリッド信号１１８_Ｌ、１１８_Ｒを生成する。この結果としての２−チャネル信号は、それらのスペクトル内にモノに変換された同一の周波数成分を含み、残りの部分は入力信号Ｌ、Ｒに等しい。このため、ステレオオーディオ符号器１１２は、典型的には、元の入力ステレオオーディオ信号（Ｌ、Ｒ）を符号化する場合よりも、少数のビットを有する符号化されたオーディオビット流を生成する。
【００２１】
ＢＣＣパラメータ発生器２１６は、指定される閾値周波数より高い各周波数バンドに対して、左右の高周波成分２０４_ＨＩ、２０６_ＨＩを分析することで、図１のＢＣＣパラメータ流１０８を生成する。
【００２２】
図１に再び戻り、受信機１０４内において、ステレオオーディオ復号器１１４は、従来のステレオ復号アルゴリズムを用いて（例えば、符号器１１２によって施される符号化を逆転させることで）、復号された左右のハイブリッド信号１２０を回復する。ＢＣＣシンセサイザ１１６は、チャネル１２０の高周波部分にＢＣＣ合成技法を適用することで、左（Ｌ’）右（Ｒ’）の復号されたチャネルの高周波部分を合成する。より詳細には、ＢＣＣシンセサイザ１１６は、これらハイブリッドチャネル１２０を周波数領域に変換し、ＢＣＣパラメータを高周波成分に適用し、上述の特許出願’８７７号、’４５８号及び’４３７号において説明されるＢＣＣ技法を用いて左右の高周波成分を合成し、その後、この結果としての合成高周波成分と対応する復号された低周波成分とを時間領域に戻す。
【００２３】
図３は本発明の一つの実施例による図１のＢＣＣシンセサイザ１１６によって遂行される処理のブロック図を示す。ＦＦＴ３０２_Ｌはステレオオーディオ復号器１１４からの左ハイブリッドオーディオ信号１２０_Ｌを周波数領域の複数の左チャネルスペクトル成分３０４に変換する。同様に、ＦＦＴ３０２_Ｒは復号器１１４からの右ハイブリッドオーディオ信号１２０_Ｒを周波数領域の複数の右チャネルスペクトル成分３０６に変換する。指定された閾値周波数より高い周波数を有する、一つ或いは複数の左チャネル成分３０４_ＨＩと、対応する一つ或いは複数の右チャネル成分３０６_ＨＩがモノ信号発生器３０８に加えられる。
【００２４】
モノ信号発生器３０８は、各左チャネル高周波成分３０４_ＨＩとその対応する右チャネル高周波成分３０６_ＨＩに対して、一つの高周波モノ成分を生成する。図２の複製器２１２は各高周波モノ成分２１０_ＨＩの同一のコピーを生成するために、各左チャネル高周波成分３０４_ＨＩは、理想的には、それと対応する右チャネル高周波成分３０６_ＨＩと同一であるはずである。このため、モノ信号発生器３０８は、一つ或いは複数の高周波モノ成分３１０_ＨＩを「生成（ｇｅｎｅｒａｔｅ）」するために、単に左或いは右チャネルのいずれかを選択することもできる。代りに、モノ信号発生器３０８は、各モノ成分３１０_ＨＩを生成するために、現実世界において存在し得る左右の高周波成分３０４_ＨＩ、３０６_ＨＩ間の差を考慮するために、単に平均化を行うことも、或いは、上述の特許出願’ｘｘｘ号において説明されるアルゴリズムも含め、他の適当なダウン混合アルゴリズムを遂行することもできる。
【００２５】
いずれの場合も、ＢＣＣステレオシンセサイザ３１２は、各高周波モノ成分３１０_ＨＩに対して、ＢＣＣ処理を施すことで、左チャネル高周波成分３１４_ＨＩと右チャネル高周波成分３１６_ＨＩを生成する。これら、左右のチャネルの高周波成分３１４_ＨＩと３１６_ＨＩは、それぞれ、左右のＩＦＦＴ　３１８_Ｌと３１８_Ｒに加えられる。ＩＦＦＴ　３１８_Ｌと３１８_Ｒは、加えて、それぞれ、ＦＦＴ　３０２_Ｌと３０２_Ｒから左右の低周波成分３０４_ＬＯと３０６_ＬＯも受信する。ＩＦＦＴ　３１８_Ｌと３１８_Ｒは、これらの各々のセットを時間領域に戻すことで、それぞれ、図１に示す復号されたステレオ信号の左右のチャネルＬ’とＲ’を生成する。
【００２６】
「真（ｔｒｕｅ）」のステレオ部分からＢＣＣ−生成ステレオ部分への自然公差周波数（ｎａｔｕｒａｌ　ｃｒｏｓｓ−ｏｖｅｒ　ｆｒｅｑｕｅｎｃｙ）は１．５ｋＨｚである。この周波数より高い所では、人の聴覚系は、音響探知（ｓｏｕｎｄ　ｌｏｃａｌｉｚａｔｉｏｎ）において実質的に耳間位相差（ｉｎｔｅｒ−ａｕｒａｌ　ｐｈａｓｅ　ｄｉｆｆｅｒｅｎｃｅｓ）を区別できない。このため、人の聴覚系はこのレンジにおいてはＢＣＣ処理によって導入されるチャネル間位相誤差（ｉｎｔｅｒ−ｃｈａｎｎｅｌ　ｐｈａｓｅ　ｅｒｒｏｒ）にはそれほど敏感でない。さらに、ほとんどの顕著な聴覚位置探知キュー（ａｕｄｉｔｏｒｙ　ｌｏｃａｌｉｚａｔｉｏｎ　ｃｕｅｓ）は、通常は、その音響信号が高い周波数に圧倒的なスペクトルエネルギーを有さない限り、低周波成分から導かれる。
【００２７】
本発明は、図１の送信機１０２のようなハイブリッド送信機と、ＢＣＣ処理は遂行しない受信機とを用いて実現することもできる。この場合は、図１のＢＣＣシンセサイザ１１６は受信機１０４から省かれ、この結果としての受信機は、復号処理の際にＢＣＣパラメータ流１０８は無視する。従来のオーディオ復号器しか含まない伝統的な受信機はこの範疇に属する。このような受信機は、モノ成分に基づいて復号されたオーディオ信号のスペクトル部分に対しては、ＢＣＣによる聴覚イメージの空間探知力（ＢＣＣ　ｓｐａｔｉａｌｉｚａｔｉｏｎ　ｏｆ　ａｕｄｉｔｏｒｙ　ｉｍａｇｅ　）は提供しない。ただし、ステレオとして保存されるスペクトルの部分によって生成されるステレオ効果は残される。このステレオ効果自体が、フル帯域幅ステレオの伝送と比較してビットレートを低減する機構を提供する。具体的には、オーディオ入力信号のスペクトルの部分をモノ成分にダウン混合することで従来のオーディオ符号器のビットレートが低減される。この空間イメージの劣化は、スペクトルのモノの部分を約１ｋＨｚより高い周波数に制限することで十分に耐えられるレベルに維持できる。
【００２８】
幾つかの用途に対しては、ＢＣＣ処理は、意図的に、ＢＣＣパラメータとしてチャネル間レベル差のみを伝送するように（つまり、チャネル間時間差は伝送しないように）制限される。ヘッドホーン再生に対しては、とりわけ、１．５ｋＨｚより低い周波数において、チャネル間時間差が自然な空間イメージを形成するために重要となる。高々約１．５ｋＨｚの限度までステレオ信号を維持した場合、受信機の所でこの周波数域内の空間キューを利用することが可能となり、ヘッドホーンによるリスニング体験が大幅に改善される。
【００２９】
ステレオ信号として小さなスペクトル帯域幅を伝送するやり方は、ＢＣＣ処理を全スペクトルレンジに適用するやり方と較べて、オーディオ符号器のビットレートを必ずしも劇的には増加させない。オーディオ符号器は、それでも、スペクトルのモノに変換された部分を、例えば、和／差（ｓｕｍ／ｄｉｆｆｅｒｅｎｃｅ）符号化を用いることで多いに活かすことができる。つまり、ステレオのままに保たれたスペクトル部分に対してはＢＣＣパラメータを伝送する必要がないために、ＢＣＣパラメータに対するデータレートを低減することができる。
【００３０】
ＢＣＣ処理をどのようなスペクトル領域に適用するかは、最適な品質／ビットレートトレードオフ（ｑｕａｌｉｔｙ／ｂｉｔ−ｒａｔｅ　ｔｒａｄｅｏｆｆ）が達成されるように適応的に調節することもできる。例えば、ＢＣＣ処理は、非常に重要な部分に対してはスイッチオフし、あまり重要でない部分に対しては全スペクトルに渡って適用することもできる。ＢＣＣ処理をどのようなスペクトルレンジに適用するべきかを、例えば、符号化の際にステレオ信号が維持されるべき上限周波数を示すパラメータを用いてフレーム毎に制御することもできる。加えて、ステレオ符号化とＢＣＣ符号化の間の閾値周波数を、様々な異なる技法によってオーディオデータの様々な異なるスペクトル領域を符号化するために実際に用いられるビット数に基づいて動的に変化させることもできる。
【００３１】
図１のハイブリッドコーデックスキームによってカバーされるオーディオ品質のレンジは、ＢＣＣ処理されるスペクトル領域が零帯域幅となる所のトランスパレントクオリティ（ｔｒａｎｓｐａｒｅｎｔ　ｑｕａｌｉｔｙ）に至るまでの範囲で調節できる。ＢＣＣ処理を適用すべき帯域幅を連続的に増加することで、従来のステレオオーディオ符号化によって得られる品質から、徐々に、上述の特許出願’８７７号、’４５８号、及び’４３７号の元来のフルバンドＢＣＣ符号化スキームによって得られる品質へと変化させることができる。こうして、本発明によると、元来のＢＣＣスキームによって得られる品質レンジと従来のオーディオ符号化スキームによって得られるの品質レンジの両方を達成することができる。
【００３２】
さらに、このハイブリッド符号化スキームは、本質的にビットレートスケーラブル（ｂｉｔ−ｒａｔｅ　ｓｃａｌａｂｌｅ）である。符号器構造の観点からは、このようなスキームは「階層符号化（ｌａｙｅｒｅｄ　ｃｏｄｉｎｇ）」と呼ばれる。この特徴は、例えば、より低い容量のチャネルに対処するためにある与えられたビット流のビットレートを低減するために用いることができる。このような目的のためには、ＢＣＣパラメータがビット流から削除される。この場合でも、受信機は、上で伝統的な復号器に対して説明したように、ステレオイメージは低減されるが、オーディオ信号を回復することはできる。ステレオオーディオ符号器が、和／差符号化を用いる場合は、ビットレートのさらなる低減が可能である。つまり、ビット流内の差信号情報を分離し、これを除去することができる。この場合は、受信機は、モノのオーディオ信号である和信号のみを復号することとなる。
【００３３】
様々な異なる「層（ｌａｙｅｒｓ）」（例えば、和、差、及びＢＣＣ情報）を用いることで、ビット流を自然に分割（ｎａｔｕｒａｌ　ｄｉｖｉｓｉｏｎ）し、損失の大きなチャネルに対して、異なるエラー保護を与えることも可能となる。このような用途に用いる場合、和信号は最も高い保護を与え、ＢＣＣ情報は最も低い保護を与えることとなる。チャネルが一時的に高いビット誤り率を有する場合、それでもモノの和信号は回復されるが、差信号とＢＣＣ情報は失われることとなる。このようなスキームを用いると、より聴覚的に厄介なフレームが隠されてしまうフレームコンシールメントメカニズム（ｆｒａｍｅ　ｃｏｎｃｅａｌｍｅｎｔ　ｍｅｃｈａｎｉｓｍｓ）を回避することが可能となる。
【００３４】
上では本発明が、ＢＢＣ処理が、全ての周波数バンドに適用される用途と、ある指定される閾値周波数より高い周波数バンドのみに適用される用途との関連で説明されたが、本発明はこれに限定されるものではない。一般には、本発明のハイブリッド処理においては、ＢＣＣ処理は任意の一つ或いは複数の（ただし、全てではない）の周波数バンドに適用することができ、これら周波数バンドは、連続的にも非連続的にも、しかもどのような閾値周波数にも独立に選択することができる。
【００３５】
例えば、一つの可能な実現においては、ＢＣＣ処理はある指定される閾値エネルギーより低いエネルギーレベルを有する周波数バンドのみに適用され、残りの周波数バンドには従来のステレオ符号化が適用される。このようにして、従来のステレオ符号化は「重要な」（つまり、高いスペクトルエネルギーを有する）周波数バンドに対して忠実性を最適化し、ＢＣＣ処理はそれほど重要でない（つまり、低いスペクトルエネルギーを有する）周波数バンドに対して帯域幅を最適化する。
【００３６】
上では本発明が、ステレオオーディオ信号の符号化及び復号との関連で説明されたが、本発明は二つ以上の入／出力チャネルを有するマルチチャネル用途にも適用することができる。更に、本発明は、入力チャネルの数と出力チャネルの数が異なるような用途（入力チャネルの方が多い場合や少ない場合）にも適用することができる。
【００３７】
上では本発明が、聴覚シーンを合成するために上述の特許出願’８７７号、’４５８号及び’４３７号のＢＣＣ技法を適用する受信機との関連で説明されたが、本発明は、聴覚シーンを合成するための、必ずしも上述の特許出願’８７７号、’４５８号及び’４３７号の技法に依存しない他の技法を用いる受信機との関連で用いることもできる。
【００３８】
上では本発明が、生成されたデータがリアルタイムよる復号及び再生のために送信機から受信機に直ちに送られるリアルタイムシステムとの関連で説明されたが、本発明はこれに限定されるものではない。例えば、送信機によって生成されたデータは、後に一つ或いは複数の受信機によって非リアルタイムにて再生するために、コンピュータメモリ或いは他の電子的記憶媒体内に格納することもできる。
【００３９】
上では本発明が、ハイブリッド信号を時間領域にて符号化することで符号化されたオーディオビット流を生成するオーディオ符号器（例えば、図１のステレオ符号器１１２）と、こうして符号化されたオーディオビット流を復号することで復号された時間領域のハイブリッド信号を回復するオーディオ復号器（例えば、ステレオ復号器１１４）とを備える実現との関連で説明されたが、本発明はこれに限定されるものではない。当業者においては、容易に想到できるように、本発明はオーディオ信号を周波数領域にて符号化及び復号する実現との関連で用いることもできる。例えば、図１から３の実現は、ステレオオーディオ符号器１１２とステレオオーディオ復号器１１４の代りに、それぞれ、オーディオデータを周波数領域において符号化及び復号するオーディオコーデック（符号器と復号器）を用いることもできる。この場合には、図２のＢＣＣアナライザ／ミキサ１１０は、複製器２１２とＩＦＦＴ２１４を省くように修正され、図３のＢＣＣアナライザ１１６は、ＦＦＴ３０２とモノ信号発生器３０８を省くように修正される。この場合は、ダウンミキサ２０８によって生成されたダウン混合された（つまり、モノの）スペクトル成分２１０_ＨＩと、混合されないスペクトル成分２０４_{Ｌ Ｏ}と２０６_ＬＯは、直接に送信機内の周波数領域オーディオ符号器に送られる。同様に、受信機内の周波数領域復号器によって回復される対応するダウン混合された（つまり、モノ成分）と、ダウン混合されなかったスペクトル成分は、直接に、それぞれ、ＢＣＣステレオシンセサイザ３１２と、ＩＦＦＴ３１８に送られる。
【００４０】
本発明は、回路ベースの過程として実現すること、例えば、単一の集積回路上に実現することも考えられる。更に、当業者においては明白なように、回路要素の様々な機能は、ソフトウェアプログラムによる処理ステップとして実現することもできる。このようなソフトウェアは、例えば、デジタル信号プロセッサ、マイクロコントローラ、或いは汎用コンピュータ内に搭載することが考えられる。
【００４１】
本発明はこれら方法を実施するための方法の形態として具現することも、これら方法を実施するための装置の形態として具現することもできる。本発明は、更に、有体の媒体、例えば、フロッピー（登録商標）ディスケット、ＣＤ−ＲＯＭ、ハードドライブ、或いは任意の他のマシンにて読出し可能なメモリ媒体等の内に具現されたプログラムコードであって、コンピュータ等のマシーン内にロードされ、実行されたとき、そのマシーンを、本発明を実施するための装置とならしめるようなプログラムコードの形態として実現することもできる。本発明は、更に、メモリ媒体に格納されたり、マシーン内にロードされ、実行されたり、伝送媒体や搬送波を通じて伝送されたり、電線やケーブルを通じて、光ファイバを通じて、或いは電磁放射を介して伝送されたりするプログラムコードであって、コンピュータ等のマシーン内にロードされ、実行されたとき、そのマシーンを、本発明を実施するための装置とならしめるようなプログラムコードの形態にて実現することもできる。汎用プロセッサ上に実現された場合、このプログラムコードは、そのプロセッサと一体となって、特定論理回路と類似するユニークなデバイスを提供する。
【００４２】
更に、当業者においては明白なように、上で、本発明の特徴を説明する目的で示された細部、材料及びパーツの配列に対して、クレーム内に表明される本発明の範囲から逸脱することなく、様々な変更を加えることが可能である。
【図面の簡単な説明】
【図１】本発明の一つの実施例によるハイブリッドオーディオシステムを示すブロック図である。
【図２】本発明の一つの実施例による図１のＢＣＣアナライザ／ミキサによって実現される処理を示すブロック図である。
【図３】本発明の一つの実施例による図１のＢＣＣアナライザによって実現される処理を示すブロック図である。
【符号の説明】
１００　ハイブリッドオーディオシステム
１０２　送信機
１０４　受信機
１０６　符号化されたオーディオビット流
１０８　ＢＣＣパラメータのビット流
１１０　ＢＣＣアナライザ／ミキサ
１１２　ステレオオーディオ符号器
１１４　ステレオオーディオ復号器
１１６　ＢＣＣシンセサイザ
２０８　ダウンミキサ
２１２　複製器
２１４　逆ＦＦＴ（ＩＦＦＴ）
２１６　ＢＣＣパラメータ発生器
３０８　モノ信号発生器

Claims (27)

1. Ｎ個（ここで、Ｎ＞１）の入力オーディオ信号を符号化するための方法であって、
   （ａ）これらＮ個のオーディオ信号の各々を周波数領域における複数のスペクトル成分に変換するステップと
   （ｂ）これらＮ個の入力オーディオ信号に対応するスペクトル成分の内の一つ或いは複数（ただし、全てではない）の各々については、それらスペクトル成分をダウン混合することでダウン混合されたスペクトル成分を生成し、これらＮ個の入力オーディオ信号の各々に対する残りの一つ或いは複数のスペクトル成分は、混合しないままにとどめるステップと、
   （ｃ）該一つ或いは複数のダウン混合されたスペクトル成分と該一つ或いは複数の混合されなかったスペクトル成分に基づいて符号化されたオーディオビット流を生成するステップと、を含むことを特徴とする方法。
2. 該ステップ（ｃ）が更に、
   （１）該一つ或いは複数のダウン混合されたスペクトル成分と該ダウン混合されなかったスペクトル成分を時間領域におけるＮ個のハイブリッドオーディオ信号に変換するステップと、
   （２）これらＮ個のハイブリッドオーディオ信号にオーディオ符号化アルゴリズムを適用することで該符号化されたオーディオビット流を生成するステップと、を含む請求項１記載の方法。
3. 該ステップ（ｂ）が更に
   該一つ或いは複数のダウン混合されたスペクトル成分に対して一つ或いは複数の聴覚空間パラメータを生成するステップを含む請求項１記載の方法。
4. 該一つ或いは複数の聴覚空間パラメータが一つ或いは複数のチャネル間レベル差とチャネル間時間差を含む請求項３記載の方法。
5. Ｎ＝２とされ、
   これら２つの入力オーディオ信号が、一つのステレオ入力オーディオ信号の左と右の入力オーディオ信号に対応し、
   各ダウン混合されたスペクトル成分がモノのスペクトル成分を与え、
   該符号化されたオーディオビット流がステレオオーディオ符号器を用いて生成される請求項１記載の方法。
6. 該一つ或いは複数のダウン混合されるスペクトル成分がある指定された閾値周波数より高い周波数を有し、
   該一つ或いは複数の混合されないスペクトル成分が該指定された閾値周波数より低い周波数を有する請求項１記載の方法。
7. 前記指定された閾値周波数が時間とともに動的に変化される請求項６記載の方法。
8. 前記指定された閾値周波数がビットレートの関数として変化される請求項７記載の方法。
9. 該一つ或いは複数のダウン混合されるスペクトル成分がある指定された閾値エネルギーより低いスペクトルエネルギーを有し、
   該一つ或いは複数の混合されないスペクトル成分が該指定された閾値エネルギーより高いスペクトルエネルギーを有する請求項１記載の方法。
10. 符号化されたオーディオビット流であって、
    （ａ）Ｎ個（ここで、Ｎ＞１）のオーディオ信号の各々を周波数領域における複数のスペクトル成分に変換するステップと、
    （ｂ）これらＮ個の入力オーディオ信号に対応するスペクトル成分の内の一つ或いは複数（ただし、全てではない）の各々については、それらスペクトル成分をダウン混合することでダウン混合されたスペクトル成分を生成し、これらＮ個の入力オーディオ信号の各々に対する残りの一つ或いは複数のスペクトル成分は、混合しないままにとどめるステップと、
    （ｃ）該一つ或いは複数のダウン混合されたスペクトル成分と該一つ或いは複数の混合されなかったスペクトル成分に基づいて該符号化されたオーディオビット流を生成するステップと、
    を用いて生成されることを特徴とする符号化オーディオビット流。
11. 該ステップ（ｃ）が更に、
    （１）該一つ或いは複数のダウン混合されたスペクトル成分と該ダウン混合されなかったスペクトル成分を時間領域におけるＮ個のハイブリッドオーディオ信号に変換するステップと、
    （２）これらＮ個のハイブリッドオーディオ信号にオーディオ符号化アルゴリズムを適用することで該符号化されたオーディオビット流を生成するステップと、を含む請求項１０記載の符号化オーディオビット流。
12. 該符号化オーディオビット流が、該一つ或いは複数のダウン混合されたスペクトル成分に対する一つ或いは複数の聴覚空間パラメータを含む請求項１０記載の符号化オーディオビット流。
13. Ｎ＝２とされ、
    これら２つの入力オーディオ信号が、一つのステレオ入力オーディオ信号の左と右の入力オーディオ信号に対応し、
    各ダウン混合されたスペクトル成分がモノのスペクトル成分を与え、
    該符号化されたオーディオビット流がステレオオーディオ符号器を用いて生成される請求項１０記載の符号化オーディオビット流。
14. Ｎ個（ここで、Ｎ＞１）の入力オーディオ信号を符号化するために処理するための装置であって、
    （ａ）該Ｎ個の入力オーディオ信号の各々を周波数領域における複数のスペクトル成分に変換するように構成された一つ或いは複数の変換式（変換器）と、
    （ｂ）これらＮ個の入力オーディオ信号に対応するスペクトル成分の内の一つ或いは複数（ただし、全てではない）の各々については、それらスペクトル成分をダウン混合することでダウン混合されたスペクトル成分を生成し、これらＮ個の入力オーディオ信号の各々に対する残りの一つ或いは複数のスペクトル成分は、混合しないままにとどめるように構成されたダウンミキサと、を備えることを特徴とする装置。
15. 更に、該一つ或いは複数のダウン混合されたスペクトル成分と該一つ或いは複数の混合されなかったスペクトル成分をＮ個のハイブリッドオーディオ成分に変換するように構成された逆変換式（変換器）を備える請求項１４記載の装置。
16. 更に、該一つ或いは複数のダウン混合されたスペクトル成分と該一つ或いは複数の混合されなかったスペクトル成分に基づいて符号化されたオーディオビット流を生成するように構成されたオーディオ符号器を備える請求項１４記載の装置。
17. 更に、該一つ或いは複数のダウン混合されたスペクトル成分に対して、一つ或いは複数の聴覚空間パラメータを生成するように構成された発生器を備える請求項１４記載の装置。
18. Ｎ＝２とされ、
    これら２つの入力オーディオ信号が、一つのステレオ入力オーディオ信号の左と右の入力オーディオ信号に対応し、
    各ダウン混合されたスペクトル成分がモノのスペクトル成分を与え、
    該ステレオオーディオ発生器が該一つ或いは複数のダウン混合されたスペクトル成分と該一つ或いは複数の混合されなかったスペクトル成分に基づいて符号化されたオーディオビット流を生成する、
    請求項１４記載の装置。
19. 該一つ或いは複数のダウン混合されるスペクトル成分がある指定された閾値周波数より高い周波数を有し、
    該一つ或いは複数の混合されないスペクトル成分が該指定された閾値周波数より低い周波数を有する請求項１４記載の装置。
20. 符号化されたオーディオビット流を復号するための方法であって、
    （ａ）該符号化されたオーディオビット流を復号することで、
    一つ或いは複数のセットのスペクトル成分はダウン混合されたスペクトル成分に対応し、
    一つ或いは複数のセットのスペクトル成分は混合されないスペクトル成分に対応する、周波数領域における複数のスペクトル成分を生成するステップと、
    （ｂ）該各セットのダウン混合されたスペクトル成分に対して、一つ或いは複数の聴覚空間パラメータを適用することで、合成スペクトル成分を生成するステップと、
    （ｃ）該合成スペクトル成分と該ダウン混合されなかったスペクトル成分を時間領域におけるＮ個（ここで、Ｎ＞１）の復号されたオーディオ信号に変換するステップと、を含む方法。
21. 該ステップ（ａ）が、
    （１）該符号化されたオーディオビット流を復号することでＮ個のハイブリッドオーディオ信号を回復するステップと、
    （２）該Ｎ個のハイブリッドオーディオ信号の各々を周波数領域における複数のスペクトル成分に変換するステップと、を含む請求項２０記載の方法。
22. Ｎ＝２とされ、
    該符号化されたオーディオビット流がステレオオーディオ復号器を用いて復号され、
    これら２つのハイブリッドオーディオ信号が、一つのハイブリッドステレオオーディオ信号の左と右のハイブリッドオーディオ信号に対応し、
    各ダウン混合されたスペクトル成分がモノのスペクトル成分を与える、
    請求項２１記載の方法。
23. 該一つ或いは複数のダウン混合されるスペクトル成分がある指定された閾値周波数より高い周波数を有し、
    該一つ或いは複数の混合されないスペクトル成分が該指定された閾値周波数より低い周波数を有する請求項２０記載の方法。
24. 符号化されたオーディオビット流を復号するための装置であって、
    （ａ）該符号化されたオーディオビット流を復号することで、
    一つ或いは複数のセットのスペクトル成分はダウン混合されたスペクトル成分に対応し、
    一つ或いは複数のセットのスペクトル成分は混合されないスペクトル成分に対応する、周波数領域における複数のスペクトル成分を生成するように構成されたオーディオ復号器と、
    （ｂ）各セットのダウン混合されたスペクトル成分に対して、一つ或いは複数の聴覚空間パラメータを適用することで、合成スペクトル成分を生成するように構成されたシンセサイザと、
    （ｃ）該合成スペクトル成分と該混合されなかったスペクトル成分を時間領域域におけるＮ個（ここで、Ｎ＞１）の復号されたオーディオ信号に変換するように構成された一つ或いは複数の逆変換式（逆変換器）と、を備える装置。
25. 該オーディオ符号器が該符号化されたオーディオビット流を復号することでＮ個のハイブリッドオーディオ信号を生成するように構成され、
    更に、該Ｎ個のハイブリッドオーディオ信号の各々を周波数領における複数のスペクトル成分に変換するように構成された一つ或いは複数の変換式と、を備える請求項２４記載の装置。
26. Ｎ＝２とされ、
    該符号化されたオーディオビット流がステレオオーディオ復号器を用いて復号され、
    これら２つのハイブリッドオーディオ信号が、一つのハイブリッドステレオオーディオ信号の左と右のハイブリッドオーディオ信号に対応し、
    各ダウン混合されたスペクトル成分がモノのスペクトル成分を与える、
    請求項２５記載の装置。
27. 該一つ或いは複数のダウン混合されるスペクトル成分がある指定された閾値周波数より高い周波数を有し、
    該一つ或いは複数の混合されないスペクトル成分が該指定された閾値周波数より低い周波数を有する請求項２４記載の装置。

Images