JP2010020346A

JP2010020346A - 音声信号および音楽信号を符号化する方法

Info

Publication number: JP2010020346A
Application number: JP2009245860A
Authority: JP
Inventors: Kazuhito Koishida; 和人小石田; Vladimir Cuperman; カッパーマンウラジミール; Amir H Majidimehr; エイチ．マジディメアアミール; Allen Gersho; ガーショアレン
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2001-06-26
Filing date: 2009-10-26
Publication date: 2010-01-28
Anticipated expiration: 2022-06-25
Also published as: DE60225381T2; US20030004711A1; EP1278184B1; US6658383B2; DE60225381D1; JP5208901B2; ATE388465T1; EP1278184A3; EP1278184A2; JP2003044097A

Abstract

【課題】特に低ビットレート環境で使用するように適合した、音声および音楽信号の両方を符号化する単純かつ効率的なハイブリッド型の符号化アルゴリズムおよびアーキテクチャを提供すること。
【解決手段】本発明は、ハイブリッドコーデックで使用するのに適した、音楽信号に効率的な変換符号化方法を提供し、この方法では音声および音楽信号の両方に共通の線形予測（ＬＰ）合成フィルタを用いる。ＬＰ合成フィルタは、音声または音楽信号の符号化に応じて、それぞれ音声励振ジェネレータと変換励振ジェネレータを切り替える。音声信号の符号化には、従来のＣＥＬＰ技術を使用することができ、一方、音楽信号の符号化には、新規の非対称重複加算変換技術を応用する。共通のＬＰ合成フィルタリングを行う際に、重複加算操作領域の信号にＬＰ係数の補間を行う。復号器が音声符号化モードと音楽符号化モードを切り替えるときの滑らかな遷移が可能になる。
【選択図】図３

Description

本発明は、一般には信号を符号化する方法および装置を対象とし、より詳細には音声信号と音楽信号の両方を符号化する方法および装置を対象とする。

本質的に音声と音楽は大きく異なる信号によって表される。典型的なスペクトルの特徴から見ると、声に出した音声（ｓｐｅｅｃｈ）のスペクトルは、一般にピッチの倍音と関連する細かい周期的な構造を持ち、倍音のピークが滑らかなスペクトル包絡線を描くのに対して、音楽のスペクトルは通例はるかに複雑で、複数のピッチの基本波と倍音を示す。スペクトル包絡線もより複雑であると考えられる。この２つの信号モードの符号化技術も非常に異なっており、音声の符号化には、符号励振線形予測（ＣＥＬＰ）や正弦波符号化などモデルに基づく手法を主に使用し、音楽の符号化には、知覚的なノイズマスキングと合わせて使用する変形重複変換（ＭｏｄｉｆｉｅｄＬａｐｐｅｄＴｒａｎｓｆｏｒｍａｔｉｏｎ）（ＭＬＴ）などの変換符号化技術を主に使用する。

近年、インターネットマルチメディア、ＴＶ／ラジオ放送、テレビ会議、あるいは無線媒体といったアプリケーションのために、音声信号と音楽信号の両方を符号化することが増えている。しかし、この２種の信号タイプ向けの符号器（coder）は、異なる技術に最適な形で基づくものなので、音声信号と音楽信号の両方を効率的かつ効果的に再生する汎用コーデックの生産は容易に達成することができない。例えば、ＣＥＬＰのような線形予測ベースの技術は、音声信号については高品質の再生を発揮することができるが、音楽信号の再生の品質は受け入れがたいものである。一方、変換符号化に基づく技術は、音楽信号には良質の再生を提供するが、特に低ビットレートの符号化の場合に、音声信号についての出力が著しく劣化する。

可能な方法の１つは、音声信号および音楽信号どちらにも対応することのできるマルチモードの符号器を設計することである。そのような符号器を提供しようとした以前の試みには、例えば、ハイブリッドＡＣＥＬＰ／変換符号化励振符号器、およびマルチモード変換予測符号器（ＭＴＰＣ）がある。残念なことに、これらの符号化アルゴリズムは、音声信号および音楽信号を実用的に符号化するには、あまりにも複雑かつ／または非効率的なものである。

特に低ビットレート環境で使用するように適合した、音声信号および音楽信号の両方を符号化する、単純かつ効率的なハイブリッド型の符号化アルゴリズムおよびアーキテクチャを提供することが望まれる。

本発明は、音楽信号を効率的に符号化する変換符号化法を提供する。この変換符号化法はハイブリッドコーデックで使用するのに適しており、音声信号および音楽信号両方の再生に、共通の線形予測（ＬＰ）合成フィルタを用いる。ＬＰ合成フィルタの入力は、音声信号または音楽信号の符号化に従って、それぞれ音声励振ジェネレータと変換励振ジェネレータに切り替える。好ましい実施形態では、ＬＰ合成フィルタは、ＬＰ係数の補間を含む。音声信号の符号化には、従来のＣＥＬＰまたはその他のＬＰ技術を使用することができ、一方、音楽信号の符号化には、非対称重複加算変換技術を応用することが好ましい。本発明の潜在的な利点は、コーデックが音声符号化と音楽符号化を切り替える箇所で滑らかな出力推移を可能にすることである。

本発明のこの他の特徴および利点は、添付の図面を参照しながら進める以下の例示的実施形態の詳細な説明から明らかになろう。

特許請求の範囲に本発明の特徴を詳細に示すが、本発明とその目的および利点は、以下の詳細な説明を添付の図面と合わせて読むことにより、最も明瞭に理解することができよう。

本発明の一実施形態によるネットワークでリンクした例示的なハイブリッド型音声／音楽コーデックの図である。本発明の一実施形態によるハイブリッド型音声／音楽符号変換器の簡略化したアーキテクチャ図である。本発明の一実施形態による変換符号化アルゴリズムの論理図、および、本発明の一実施形態による非対称型の重複加算ウィンドウ操作とその効果を表すタイミング図である。本発明の一実施形態による変換符号化アルゴリズムのブロック図である。本発明の一実施形態により、音声信号および音楽信号の符号化に使用する例示的ステップを表す流れ図である。本発明の一実施形態により、音声信号および音楽信号の符号化に使用する例示的ステップを表す流れ図である。本発明の一実施形態により、音声信号および音楽信号の復号に使用する例示的ステップを表す流れ図である。本発明の一実施形態により、音声信号および音楽信号の復号に使用する例示的ステップを表す流れ図である。本発明の一実施形態を実行することが可能な、コンピューティングデバイスによって用いられるコンピューティングデバイスのアーキテクチャを表す簡略図である。

本発明は、音楽信号を符号化する効率的な変換符号化法を提供し、この方法はハイブリッドコーデックで使用するのに適しており、音声信号および音楽信号の両方を再生するのに共通の線形予測（ＬＰ）合成フィルタを利用する。概説すると、符号化音声信号を受信したか、あるいは符号化音楽信号を受信したかに応じて、ＬＰ合成フィルタの入力を、それぞれ音声励振ジェネレータと変換励振ジェネレータとの間で動的に切り替える。音声／音楽クラシファイアは、入力された音声／音楽信号が音声であるか音楽であるかを識別し、識別した信号を適切に音声符号変換器（speech encoder）または音楽符号変換器（music encoder）に転送する。音声信号を符号化する際には、従来のＣＥＬＰ技術を使用することができる。しかし、音楽信号の符号化には、新規の非対称重複加算変換技術を応用する。本発明の好ましい実施形態では、共通ＬＰフィルタはＬＰ係数の補間を含み、重複を介して励振が得られる領域の数個のサンプルごとに補間を行う。合成フィルタの出力は切り替えず、合成フィルタの入力だけを切り替えるので、可聴信号の不連続性の原因が回避される。

図１を参照して、本発明の一実施形態を実施することが可能な例示的な音声／音楽コーデックの構成を説明する。図示された環境は、雲形で表すネットワーク１００を介して相互に通信するコーデック１１０、１２０を含む。ネットワーク１００は、ルータ、ゲートウェイ、ハブなど多数の周知の構成要素を含むことができ、有線媒体および無線媒体のどちらか、または両方を通じて通信を提供することができる。各コーデックは、少なくとも、符号変換器１１１、１２１、復号器１１２、１２２、および音声／音楽クラシファイア１１３、１２３を含む。

本発明の一実施形態では、共通の線形予測合成フィルタを音楽信号および音声信号の両方に使用する。図２を参照すると、本発明を実施することが可能な例示的音声および音楽コーデックの構造を示している。詳細には、図２は、ハイブリッド音声／音楽符号変換器の高レベル構造を示し、図２は、ハイブリッド音声／音楽復号器の高レベル構造を示す。図２を参照すると、音声／音楽符号変換器は、入力信号を音声信号または音楽信号に分類する音声／音楽クラシファイア２５０を含む。識別された信号は、識別結果に応じてそれぞれ音声符号変換器２６０または音楽符号変換器２７０に送信され、入力信号の音声／音楽特性を特徴化するモードビットが生成される。例えば、ゼロのモードビットは音声信号を表し、１のモードビットは音楽信号を表す。音声符号変換器２６０は、当業者に周知の線形予測の原理に基づいて入力信号を符号化し、符号化した音声ビットストリームを出力する。使用する音声符号化は、例えば、当業者に知られるコードブック励振線形予測（ＣＥＬＰ）技術である。これに対して、音楽符号変換器２７０は、下記で説明する変換符号化法に従って入力音楽信号を符号化し、符号化した音楽ビットストリームを出力する。

図２を参照すると、本発明の一実施形態による音声／音楽復号器は、線形予測（ＬＰ）合成フィルタ２４０と、音声励振ジェネレータ２１０と変換励振ジェネレータ２２０を切り替える、フィルタ２４０の入力部に接続された音声／音楽スイッチ２３０とを含む。音声励振ジェネレータ２１０は、送信されてきた符号化音声／音楽ビットストリームを受信し、音声励振信号を生成する。音楽励振ジェネレータ２２０は、送信されてきた符号化音声／音楽信号を受信し、音楽励振信号を生成する。符号器には２つのモード、すなわち音声モードと音楽モードがある。現在のフレームまたはスーパーフレームに対する復号器のモードは、送信されるモードビットによって決まる。音声／音楽スイッチ２３０は、モードビットに従って励振信号ソースを選択し、したがって音楽モードでは音楽励振信号を選択し、音声モードでは音声励振信号を選択する。次いでスイッチ２３０は、適切な再構築信号を生成するために、選択された励振信号を線形予測合成フィルタ２４０に転送する。音声モードにおける励振または残差は、コード励振線形予測（ＣＥＬＰ）符号化などの音声最適化技術を使用して符号化し、一方、音楽モードにおける励振は、例えば変換符号化励振（ＴＣＸ）などの変換符号化技術によって量子化する。復号器のＬＰ合成フィルタ２４０は、音楽信号と音声信号の両方に共通である。

音声信号または音楽信号を符号化する従来の符号器は、通例フレームと称される１０ｍｓ〜４０ｍｓのブロックまたは区分に対して作用する。一般に、変換符号化はフレームサイズが大きい方が効率的なので、一般にこのような１０ｍｓ〜４０ｍｓのフレームは、特にビットレートが低い場合には、変換符号器（transform coder）を整合して許容できる品質を得るには短すぎる。このため、本発明の一実施形態は、整数個の標準的な２０ｍｓのフレームで構成されるスーパーフレームに対して作用する。一実施形態で使用する標準的なスーパーフレームのサイズは６０ｍｓである。この結果、音声／音楽クラシファイアは、連続したスーパーフレーム１つにつき１回の分類を行うことが好ましい。

音楽信号を符号化する現在の変換符号器と異なり、本発明による符号化プロセスは励振領域で行われる。これは、音声と音楽両タイプの信号の再生に、単一のＬＰ合成フィルタを使用することの結果である。図３（ａ）を参照すると、本発明の一実施形態による変換符号変換器を示している。線形予測（ＬＰ）解析フィルタ３１０は、音声／音楽クラシファイア２５０から出力される、分類済みの音楽スーパーフレームの音楽信号を解析して、適切な線形予測係数（ＬＰＣ）を得る。ＬＰ量子化モジュール３２０は、計算されたＬＰＣ係数を量子化する。次いでＬＰＣ係数およびスーパーフレームの音楽信号を入力として音楽信号を得、出力として残差信号を生成する逆フィルタ３３０にかける。

一般的なフレームではなくスーパーフレームを使用することは、高品質の変換符号化を得る助けとなる。しかし、スーパーフレームの境界におけるブロッキングひずみによって品質問題が生じる可能性がある。ブロッキングひずみの影響を軽減する好ましい解決法は、例えば、隣接フレームとの重複が５０％の変形重複変換（ＭＬＴ）などの、重複加算ウィンドウ技術に見出される。しかし、ＣＥＬＰでは音声符号化にゼロの重複を利用するので、このような解決法をＣＥＬＰベースのハイブリッドコーデックに組み込むことは難しいと思われる。この難題を克服し、音楽モードにおけるシステムの高品質の動作を保証するために、本発明の一実施形態は、図３（ａ）の重複加算モジュール３４０によって実施される非対称重複加算ウィンドウ法を提供する。図３（ｂ）は、非対称重複加算ウィンドウの動作および効果を表す。図３（ｂ）を参照すると、重複加算ウィンドウは、１つ前のスーパーフレームが、例えばそれぞれＮ_pおよびＬ_pで表すスーパーフレームの長さおよび重複の長さに異なる値を有し得るという可能性を考慮したものになっている。符号（ｄｅｓｉｇｎａｔｏｒ）Ｎ_cおよびＬ_cはそれぞれ、現在のスーパーフレームのスーパーフレーム長と重複の長さを表す。現在のスーパーフレームの符号化ブロックは、現在のスーパーフレームのサンプルと重複のサンプルを含む。重複加算のウィンドウ処理は、現在の符号化ブロックの最初のＮ_pサンプルおよび最後のＬ_pサンプルで行われる。これに限定しないが、例えば次のように、入力信号ｘ（ｎ）を重複加算ウィンドウ関数ｗ（ｎ）で変換して、ウィンドウ処理した信号ｙ（ｎ）を得る。
ｙ（ｎ）＝ｘ（ｎ）ｗ（ｎ），０≦ｎ≦Ｎ_c＋Ｌ_c−１・・・・・・・(数式１)
ウィンドウ関数ｗ（ｎ）は次のように定義される。

この場合、Ｎ_cおよびＬ_cは、それぞれ、現在のスーパーフレームのスーパーフレーム長と重複の長さである。

図３（ｂ）の重複加算ウィンドウの形状から、例えば、重複加算レンジ３９０、３９１が非対称形であり、符号３９０の領域が符号３９１の領域と異なり、また重複加算のウィンドウは相互にサイズが異なることが見て取れる。このようなサイズが可変のウィンドウにより、ブロッキングの影響とプリエコーを克服する。また、ＭＬＴ技術で利用する５０％の重複と比較すると重複領域が小さいので、この非対称重複加算ウィンドウの方法は、下記で説明するように、ＣＥＬＰベースの音声符号器（speech coder）に組み込むことのできる変換符号器に効率的である。

再度図３（ａ）を参照すると、逆ＬＰフィルタ３３０から出力される残差信号は、非対称形の重複加算ウィンドウ処理モジュール３４０によって処理し、ウィンドウ処理した信号を生成する。ウィンドウ処理した信号は次いで離散コサイン変換（ＤＣＴ）モジュール３５０に入力され、ここでウィンドウ処理した信号を周波数領域に変換し、ＤＣＴ係数のセットを得る。ＤＣＴ変換は次のように定義され、

ｃ（ｋ）は次のように定義される。ただし、Ｋは変換サイズである。

ＤＣＴ変換が好ましいが、変形離散コサイン変換（ＭＤＣＴ）および高速フーリエ変換（ＦＦＴ）を含む技術など、他の変換技術も応用することができる。ＤＣＴ係数を効率的に量子化するために、ＤＣＴ係数量子化の一部として動的ビット割り当て情報を利用する。動的ビット割り当て情報は、閾値マスキングモジュール３６０で計算するマスキング閾値に従って、動的ビット割り当てモジュール３７０から得るが、この閾値マスキングは、入力される信号か、またはＬＰＣ解析モジュール３１０から出力されるＬＰＣ係数に基づく。動的ビット割り当て情報は、入力音楽信号の解析から得ることもできる。動的ビット割り当て情報を用いて、量子化モジュール３８０でＤＣＴ係数を量子化し、次いで復号器に送出する。

本発明の上記の実施形態で用いる符号化アルゴリズムに沿い、変換復号器を図４に示す。図４を参照すると、変換復号器は、逆動的ビット割り当てモジュール（Inverse Dynamic bit allocation module）４１０、逆量子化モジュール４２０、ＤＣＴ逆変換モジュール４３０、非対称重複加算ウィンドウモジュール４４０、および重複加算モジュール４５０を含む。逆動的ビット割り当てモジュール４１０は、図３（ａ）の動的ビット割り当てモジュール３７０から出力され、送信されるビット割り当て情報を受け取り、ビット割り当て情報を逆量子化モジュール４２０に提供する。逆量子化モジュール４２０は、送信されてきた音楽ビットストリームとビット割り当て情報を受け取り、ビットストリームに逆量子化を適用して、符号化したＤＣＴ係数を得る。次いでＤＣＴ逆変換モジュール４３０は、符号化したＤＣＴ係数の逆ＤＣＴ変換を実行し、時間領域の信号を生成する。逆ＤＣＴ変換は次のように示すことができ、

重複加算ウィンドウ処理モジュール４４０は、時間領域の信号に対し、例えば、

など、非対称の重複加算ウィンドウ処理操作を行う。ここで

は時間領域の信号を表す。ｗ（ｎ）はウィンドウ関数を表す。

はこの結果得られるウィンドウ処理後の信号である。ウィンドウ処理を行った信号は次いで重複加算モジュール４５０に送られ、ここで重複加算操作を行うことにより励振信号が得られる。これに限定しないが、例として、例示的な重複加算操作は次のようなものである。

ここで、

は励振信号であり、

および

はそれぞれ、

１つ前と現在の時間領域信号である。関数ｗ_p（ｎ）およびｗ_c（ｎ）はそれぞれ、以前のスーパーフレームと現在のスーパーフレームについての重複加算ウィンドウ関数である。値Ｎ_pおよびＮ_cは、それぞれ１つ前のスーパーフレームと現在のスーパーフレームのサイズである。値Ｌ_pは、１つ前のスーパーフレームの重複加算のサイズである。

生成された励振信号

は次いで、

図２に示すように、切り替え可能な形でＬＰ合成フィルタに送られ、元の音楽信号を再構築する。

励振信号の処理には、補間合成技術を応用することが好ましい。ＬＰ係数は、０≦ｎ≦Ｌ_p−１の領域で数個のサンプルごとに補間し、重複加算操作を用いて励振を得る。ＬＰ係数の補間は、線スペクトル対（ＬＳＰ）領域で行われ、補間するＬＳＰ係数の値は次の式によって得られる。

および

は、

それぞれ、１つ前のスーパーフレームおよび現在のスーパーフレームの量子化ＬＳＰパラメータである。係数ｖ（ｉ）は補間重み係数であり、値ＭはＬＰ係数の次数である。補間技術を用いた後に、従来のＬＰ合成技術を励振信号に適用して、再構築された信号を得る。

図５および図６を参照して、本発明の一実施形態により、インタリーブした入力音声信号および音楽信号を符号化する際に従う例示的ステップを説明する。ステップ５０１で、入力信号を受け取り、スーパーフレームを形成する。ステップ５０３で、現在のスーパーフレームのタイプ（すなわち音楽／音声）がそれまでのスーパーフレームのタイプと異なるかどうかを判定する。スーパーフレームが異なる場合は、現在のスーパーフレームの開始部で「スーパーフレーム遷移」を定義し、動作の流れは分岐してステップ５０５に進む。ステップ５０５で、例えば現在のスーパーフレームが音楽であるかどうかを判定することにより、１つ前のスーパーフレームのシーケンスと現在のスーパーフレームを判定する。したがって、例えば、１つ前のスーパーフレームが音声スーパーフレームであり、その後に現在の音楽スーパーフレームが続く場合は、ステップ５０５の実行の結果は「ｙｅｓ」になる。同様に、１つ前のスーパーフレームが音楽スーパーフレームであり、その後に現在の音声スーパーフレームが続く場合、ステップ５０５の結果は「ｎｏ」になる。ステップ５０５から「ｙｅｓ」の結果に分岐したステップ５１１で、１つ前の音声スーパーフレームの重複の長さＬ_pをゼロにセットし、現在の符号化ブロックの開始部では重複加算ウィンドウを実行しないことを表す。この理由は、ＣＥＬＰベースの音声符号器が、隣接するフレームまたはスーパーフレームの重複信号を提供または利用しないためである。ステップ５１１に続き、ステップ５１３で音楽スーパーフレームに変換符号化手順を実行する。ステップ５０５の判定の結果が「ｎｏ」である場合、動作の流れは分岐してステップ５０９に進み、ここで１つ前の音楽スーパーフレームの重複サンプルを破棄する。続いて、ステップ５１５で音声スーパーフレームにＣＥＬＰ符号化を実行する。ステップ５０３から「ｎｏ」の結果に分岐したステップ５０７では、現在のスーパーフレームが音楽スーパーフレームか、音声スーパーフレームかを判定する。現在のスーパーフレームが音楽スーパーフレームである場合は、ステップ５１３で変換符号化を適用し、現在のスーパーフレームが音声である場合は、ステップ５１５でＣＥＬＰ符号化の手順を適用する。ステップ５１３で変換符号化が完了すると、符号化した音楽ビットストリームが生成される。同様に、ステップ５１５でＣＥＬＰ符号化を実行すると、符号化した音声ビットストリームが生成される。

ステップ５１３で行われる変換符号化は、図６に示す一連のサブステップを含む。ステップ５２３で、入力信号のＬＰ係数を計算する。ステップ５３３で、計算されたＬＰＣ係数を量子化する。ステップ５４３で、受け取ったスーパーフレームおよび計算したＬＰＣ係数に逆フィルタをかけて残差信号ｘ（ｎ）を生成する。ステップ５５３で、次のようにｘ（ｎ）にウィンドウ関数ｗ（ｎ）を乗算することにより、重複加算ウィンドウを残差信号ｘ（ｎ）に適用する。
ｙ（ｎ）＝ｘ（ｎ）ｗ（ｎ）
この場合、ウィンドウ関数ｗ（ｎ）は数式２と同様に定義される。ステップ５６３で、ウィンドウ処理した信号ｙ（ｎ）にＤＣＴ変換を行い、ＤＣＴ係数を得る。ステップ５８３で、ステップ５７３で得るマスキング閾値に従って、動的ビット割り当て情報を得る。次いでステップ５９３で、ビット割り当て情報を使用し、ＤＣＴ係数を量子化して音楽ビットストリームを生成する。

図５および図６に示す符号化ステップに沿い、図７および図８は、本発明の一実施形態で合成した信号を提供する際に復号のため採られるステップを示している。図７を参照すると、ステップ６０１で、送信されるビットストリームおよびモードビットを受信する。ステップ６０３で、モードビットにより、現在のスーパーフレームが音楽に対応するか、音声に対応するかを判断する。その信号が音楽に対応する場合は、ステップ６０７で変換励振を生成する。ビットストリームが音声に対応する場合は、ステップ６０５を実行して、ＣＥＬＰ解析の場合と同様に音声励振信号を生成する。ステップ６０７と６０５はどちらもステップ６０９に合流する。ステップ６０９で、ＬＰ合成フィルタが音楽励振信号または音声励振信号を適切に受け取るようにスイッチをセットする。例えば０≦ｎ≦Ｌ_p−１などの領域でスーパーフレームを重複加算するときには、スーパーフレームのこの重複加算領域中の信号のＬＰＣ係数を補間することが好ましい。ステップ６１１で、ＬＰＣ係数の補間を実行する。ＬＰＣ係数の補間を行うためには、例えば数式６を用いることができる。続いてステップ６１３で、当業者にはよく理解される方式で、ＬＰＣ合成フィルタを介して元の信号を再構築、すなわち合成する。

本発明によると、音声励振ジェネレータは、音声合成に適した任意の励振ジェネレータでよいが、変換励振ジェネレータは、図８に示すような特別に適合した方法であることが好ましい。図８を参照すると、送信されるビットストリームをステップ６１７で受信した後に、ステップ６２７で逆ビット割り当てを実行してビット割り当て情報を得る。ステップ６３７で、ＤＣＴ係数の逆ＤＣＴ量子化を行うことにより、ＤＣＴ係数を得る。ステップ６４７で、数式４で定義する逆ＤＣＴ変換をＤＣＴ係数に行うことにより、予備的な時間領域の励振信号を再構築する。ステップ６５７で、数式２で定義される重複加算ウィンドウを適用することにより、再構築された励振信号をさらに処理する。ステップ６６７で、重複加算操作を行って、数式５で定義する音楽励振信号を得る。

これは必須ではないが、本発明は、コンピュータで実行されるプログラムモジュールなどの命令を使用して実施することができる。一般に、プログラムモジュールには、特定のタスクを実行するか、または特定の抽象データタイプを実施するルーチン、オブジェクト、コンポーネント、データ構造などが含まれる。ここで使用する用語「プログラム」は、１つ以上のプログラムモジュールを含む。

本発明は、各種タイプのマシンで実施することができるが、これには、携帯電話、パーソナルコンピュータ（ＰＣ）、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサベースのプログラマブル消費者家電製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータなど、あるいは本明細書に述べるようにオーディオ信号を符号化または復号し、また信号の記憶、取り出し、送信、または受信に使用することのできる任意の他のマシンが含まれる。本発明は、通信ネットワークを通じてリンクした遠隔コンポーネントによってタスクを実行する分散型コンピューティングシステムで使用することができる。

図９を参照すると、本発明の実施形態を実施する例示的な一システムは、コンピューティングデバイス７００などのコンピューティングデバイスを含む。その最も基本的な構成では、コンピューティングデバイス７００は、通例少なくとも１つの処理装置７０２とメモリ７０４を含む。メモリ７０４は、コンピューティングデバイスの厳密な構成およびタイプに応じて、揮発性（ＲＡＭなど）、不揮発性（ＲＯＭ、フラッシュメモリなど）、あるいはこの２つの組み合わせにすることができる。この最も基本的な構成を、図９の線７０６の中に示している。これに加えて、デバイス７００は、追加の装備／機能も有することができる。例えば、デバイス７００は、これらに限定しないが磁気ディスクまたは光ディスク、またはテープを含む、追加のストレージ（取り外し可能／取り外し不能）も含むことができる。このような追加ストレージを、取り外し可能ストレージ７０８および取り外し不能ストレージ７１０として図９に示している。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、あるいはその他のデータなどの情報を記憶するための任意の方法または技術に実施された揮発性および不揮発性、取り外し可能および取り外し不能の媒体を含む。メモリ７０４、取り外し可能ストレージ７０８、および取り外し不能ストレージ７１０はすべて、コンピュータ記憶媒体の例である。これらに限定しないが、コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、あるいはその他のメモリ技術、ＣＤＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、あるいはその他の光ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、あるいはその他の磁気ストレージデバイス、あるいは所望の情報を記憶するのに使用することができ、デバイス７００からアクセスすることのできる任意の他の媒体が含まれる。このような任意のコンピュータ記憶媒体を、デバイス７００の一部とすることができる。

デバイス７００は、デバイスが他のデバイスと通信することを可能にする１つ以上の通信接続７１２も含むことができる。通信接続７１２は、通信媒体の一例である。通信媒体は通例、コンピュータ可読命令、データ構造、プログラムモジュール、あるいはその他のデータを搬送波やその他の搬送機構などの変調データ信号に実施し、また任意の情報伝達媒体を含む。用語「変調データ信号」とは、情報を信号中に符号化するような方式で、その特徴の１つ以上を設定または変更した信号を意味する。例として、通信媒体には、有線ネットワークまたは直接配線接続などの有線媒体、および音響、ＲＦ、赤外線およびその他の無線媒体などの無線媒体が含まれるが、これらに限定しない。上記で述べたように、本明細書で使用する用語「コンピュータ可読媒体」は、記憶媒体および通信媒体の両方を含む。

デバイス７００は、キーボード、マウス、ペン、音声入力装置、接触式入力装置など、１つ以上の入力装置７１４も有することができる。ディスプレイ、スピーカ、プリンタなど、１つ以上の出力装置７１６も含むことができる。こうした装置はいずれも当技術分野で周知のものであり、ここでさらに論じる必要はない。

音楽信号を符号化するのに効率的であり、かつ共通のＬＰ合成フィルタを用いるハイブリッドコーデックで使用するのに適した、新規で有用な変換符号化方法を提供した。本発明の原理を応用することのできる多数の可能な実施形態を考慮すると、図面の図柄と関連して本明細書で説明した実施形態は、単に例示的なものに過ぎず、発明の範囲を制限するものと解釈すべきでないことは認識されよう。ここに説明した実施形態は、本発明の精神から逸脱することなく、その構成および詳細を変更できることは当業者に認識されよう。したがって、本発明は、ＤＣＴ変換を利用するものとして説明したが、フーリエ変換や、変形離散コサイン変換など他の変換技術も本発明の範囲内で応用することができる。同様に、ここに説明した他の詳細事項も、本発明の範囲から逸脱せずに、変更または他のものに置き換えることができる。したがって、本明細書に記載した本発明は、そのような実施形態はすべて、頭記の特許請求の範囲およびその同等物の範囲内にあるものと企図する。

１００ネットワーク
１１０、１２０コーデック
１１１、１２１符号変換器
１１２、１２２復号器
１１３、１２３、２５０音声／音楽クラシファイア
２１０音声励振ジェネレータ
２２０変換励振ジェネレータ
２３０音声／音楽スイッチ
２４０線形予測合成フィルタ
２６０音声符号変換器
２７０音楽符号変換器
３１０線形予測解析フィルタ（ＬＰＣ解析モジュール）
３２０線形予測量子化モジュール
３３０逆線形予測フィルタ
３４０重複加算モジュール（重複加算ウィンドウ処理モジュール）
３５０離散コサイン変換モジュール
３６０閾値マスキングモジュール
３７０動的ビット割り当てモジュール
３８０量子化モジュール
３９０、３９１重複加算レンジ
４１０逆動的ビット割り当てモジュール
４２０逆量子化モジュール
４３０ＤＣＴ逆変換モジュール
４４０非対称重複加算ウィンドウモジュール
４５０重複加算モジュール
７００コンピューティングデバイス
７０２処理装置
７０４メモリ
７０８取り外し可能ストレージ
７１０取り外し不能ストレージ
７１２通信接続
７１４入力装置
７１６出力装置

Claims

音声または音楽を有する信号の部分を符号化する方法であって、該方法は、
前記信号の現在の部分について、コードブック励振線形予測（ＣＥＬＰ）符号化モードと変換励振符号化モードとのいずれかを選択することであって、前記信号の現在の部分について前記変換励振符号化モードが選択されることと、
前記信号の前記現在の部分について線形予測解析を行い、線形予測パラメータを決定することと、
前記信号の前記現在の部分について線形予測フィルタリングを行い、前記現在の部分についての励振信号を生成することと、
出力としての符号化変換励振信号を生成する音楽符号化用の変換励振ジェネレータを用いて前記現在の部分についての励振信号を符号化することとを有し、前記変換励振ジェネレータを用いて前記現在の部分についての励振信号を符号化することは非対称重複加算変換法を適用することとを含み、前記非対称重複加算変換法は、
前の部分と前記現在の部分との間の移り変わりが、コードブック励振線形予測符号化から変換励振符号化への移り変わりであるか、変換励振符号化から変換励振符号化への移り変わりであるかを判定し、
前記前の部分と前記現在の部分との間の移り変わりが、コードブック励振線形予測符号化から変換励振符号化への移り変わりであるか、変換励振符号化から変換励振符号化への移り変わりであるかに基づいて、当該非対称重複加算変換法の前記現在の部分への適用法を調整することを含む、
ことを特徴とする方法。
前記変換励振ジェネレータを用いて前記現在の部分についての励振信号を符号化することは、
非対称重複加算変換法のために、非対称重複加算ウィンドウを適用して、ウィンドウ処理した信号を生成することと、
前記ウィンドウ処理した信号に周波数変換を実行して、周波数変換係数のセットを得ることと、
動的ビット割り当て情報を計算することと、
前記動的ビット割り当て情報に従って、前記周波数変換係数を量子化することと
を有する、ことを特徴とする請求項１に記載の方法。
前記信号の前記現在の部分は変換符号化に高適合のサイズを有するスーパーフレームでることを特徴とする請求項２に記載の方法。
前記線形予測フィルタリングの前に、前記線形予測パラメータを量子化したバージョンの補間を行うステップを有することを特徴とする請求項２に記載の方法。
前記非対称重複加算変換法の一部として、
前記現在の部分についての前記励振信号の非対称重複加算ウィンドウ処理の後に、ウィンドウ処理した信号は、前記現在の部分についての改変したサンプルおよび前記現在の部分の改変していないサンプルを有し、
重複加算処理は、前記現在の部分についての改変したサンプルと前の部分についての改変した重複するサンプルとを組み合わせる、
ことを特徴とする請求項１に記載の方法。
前記非対称重複加算変換法は、前記前の部分の重複の長さの値、前記現在の部分の長さおよび前記現在の部分の重複の長さに依存して変化するウィンドウ関数を使用することを特徴とする請求項１に記載の方法。
前記現在の部分のサンプルは、前記前の部分の重複の長さにある第１のサンプルおよび前記前の部分の重複の長さの後にある第２のサンプルを含み、前記ウィンドウ関数は、
前記現在の部分の前記第１のサンプルを改変し、
前記現在の部分の前記第２のサンプルを通過し、
前記現在の部分の前記第２のサンプルの後にある重複するサンプルを改変する、
ことを特徴とする請求項６に記載の方法。
前記前の部分の重複の長さは、前記現在の部分の前記重複の長さと異なることを特徴とする請求項６に記載の方法。
前記前の部分はコードブック励振線形予測の符号化の部分であって、前記前の部分の前記重複の長さの値はゼロであり、前記現在の部分の前記重複の長さの値はゼロではない、ことを特徴とする請求項６に記載の方法。
前記信号の次の部分について、前記コードブック励振線形予測（ＣＥＬＰ）符号化モードと前記変換励振符号化モードとのいずれかを選択することであって、前記次の部分について前記コードブック励振線形予測符号化モードが選択されることと、
前記信号の前記次の部分について線形予測解析を行い、第２の線形予測パラメータを決定することと、
前記信号の前記次の部分について線形予測フィルタリングを行い、前記次の部分についての励振信号を生成することと、
出力としてのコードブック励振線形予測符号化励振信号を生成する音声符号化用のコードブック励振線形予測励振ジェネレータを用いて前記次の部分についての励振信号を符号化することと
を有することを特徴とする請求項１に記載の方法。
音声または音楽を有する信号の部分を符号化するステップをコンピュータに実行させるための命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、
前記信号の現在の部分について、コードブック励振線形予測（ＣＥＬＰ）符号化モードと変換励振符号化モードとのいずれかを選択するステップであって、前記信号の現在の部分について前記変換励振符号化モードが選択される、ステップと、
前記信号の前記現在の部分について線形予測解析を行い、線形予測パラメータを決定するステップと、
前記信号の前記現在の部分について線形予測フィルタリングを行い、前記現在の部分についての励振信号を生成するステップと、
出力としての符号化変換励振信号を生成する音楽符号化用の変換励振ジェネレータを用いて前記現在の部分についての励振信号を符号化するステップであって、前記変換励振ジェネレータを用いて前記現在の部分についての励振信号を符号化することは非対称重複加算変換法を適用することとを含み、前記非対称重複加算変換法は、
前の部分と前記現在の部分との間の移り変わりが、コードブック励振線形予測符号化から変換励振符号化への移り変わりであるか、変換励振符号化から変換励振符号化への移り変わりであるかを判定し、
前記前の部分と前記現在の部分との間の移り変わりが、コードブック励振線形予測符号化から変換励振符号化への移り変わりであるか、変換励振符号化から変換励振符号化への移り変わりであるかに基づいて、当該非対称重複加算変換法の前記現在の部分への適用法を調整することを含む、ステップと
をコンピュータに実行させることを特徴とするコンピュータ可読記憶媒体。
前記変換励振ジェネレータを用いて前記現在の部分についての励振信号を符号化するステップは、
非対称重複加算変換法のために、非対称重複加算ウィンドウを適用して、ウィンドウ処理した信号を生成することと、
前記ウィンドウ処理した信号に周波数変換を実行して、周波数変換係数のセットを得ることと、
動的ビット割り当て情報を計算することと、
前記動的ビット割り当て情報に従って、前記周波数変換係数を量子化することと
を有することを特徴とする請求項１１に記載のコンピュータ可読記憶媒体。
前記非対称重複加算変換法の一部として、
前記現在の部分についての前記励振信号の非対称重複加算ウィンドウ処理の後に、ウィンドウ処理した信号は、前記現在の部分についての改変したサンプルおよび前記現在の部分の改変していないサンプルを有し、
重複加算処理は、前記現在の部分についての改変したサンプルと前の部分についての改変した重複するサンプルとを組み合わせる、
ことを特徴とする請求項１１に記載のコンピュータ可読記憶媒体。
前記非対称重複加算変換法は、前記前の部分の重複の長さの値、前記現在の部分の長さおよび前記現在の部分の重複の長さに依存して変化するウィンドウ関数を使用することを特徴とする請求項１１に記載のコンピュータ可読記憶媒体。
前記前の部分はコードブック励振線形予測の符号化の部分であって、前記前の部分の前記重複の長さの値はゼロであり、前記現在の部分の前記重複の長さの値はゼロではない、
ことを特徴とする請求項１４に記載のコンピュータ可読記憶媒体。
前記命令は、
前記信号の次の部分について、前記コードブック励振線形予測（ＣＥＬＰ）符号化モードと前記変換励振符号化モードとのいずれかを選択するステップであって、前記次の部分について前記コードブック励振線形予測符号化モードが選択される、ステップと、
前記信号の前記次の部分について線形予測解析を行い、第２の線形予測パラメータを決定するステップと、
前記信号の前記次の部分について線形予測フィルタリングを行い、前記次の部分についての励振信号を生成することと、
出力としてのコードブック励振線形予測符号化励振信号を生成する音声符号化用のコードブック励振線形予測励振ジェネレータを用いて前記次の部分についての励振信号を符号化するステップとを
前記コンピュータに実行させることを特徴とする請求項１１に記載のコンピュータ可読記憶媒体。
スーパーフレームを符号化する音声／音楽符号化装置であって、前記スーパーフレームは音声または音楽を含み、前記装置は、
コードブック励振線形予測（ＣＥＬＰ）符号化スーパーフレームである、または変換励振符号化スーパーフレームであるとして現在のスーパーフレームを分類するクラシファイアと、
前記現在のスーパーフレームを解析し、線形予測パラメータのセットを生成する１つまたは複数の線形予測解析モジュールと、
前記現在のスーパーフレームの励振信号を生成する１つまたは複数の線形予測フィルタリングモジュールと、
前記現在のスーパーフレームがコードブック励振線形予測符号化のスーパーフレームである場合に、前記励振信号を符号化する１つまたは複数の音声符号化用の符号化励振（ＣＥＬＰ）符号化モジュールと、
前記現在のスーパーフレームが変換符号化のスーパーフレームである場合に、前記励振信号を符号化する１つまたは複数の音楽符号化用の変換励振符号化モジュールであって、
前記１つまたは複数の変換励振符号化モジュールを用いて前記励振信号を符号化することは、非対称重複加算変換法を適用することを含み、当該非対称重複加算変換法は、
前のスーパーフレームと前記現在のスーパーフレームとの間の移り変わりが、コードブック励振線形予測符号化から変換励振符号化への移り変わりであるか、変換励振符号化から変換励振符号化への移り変わりであるかを判定し、
前記前のスーパーフレームと前記現在のスーパーフレームとの間の移り変わりが、コードブック励振線形予測符号化から変換励振符号化への移り変わりであるか、変換励振符号化から変換励振符号化への移り変わりであるかに基づいて、当該非対称重複加算変換法の前記現在のスーパーフレームへの適用法を調整することを含む、
前記１つまたは複数の変換励振符号化モジュールと
を備えたことを特徴とする装置。
前記クラシファイアは、前記現在のスーパーフレームがコードブック励振線形予測符号化のスーパーフレームであるかまたは変換励振符号化のスーパーフレームであるかを表すモードビットを提供することを特徴とする請求項１７に記載の装置。
前記１つまたは複数の変換励振符号化モジュールは、
前記励振信号をウィンドウ処理し、ウィンドウ処理した信号を提供する非対称重複加算ウィンドウ処理モジュールと、
前記ウィンドウ処理した信号を周波数変換係数のセットに変換する周波数変換モジュールと、
ビット割り当て情報を提供する動的ビット割り当てモジュールと、
前記ビット割り当て情報に従って、前記周波数変換係数を量子化する周波数変換係数量子化モジュールと
を備えたことを特徴とする請求項１７に記載の装置。
前記非対称重複加算変換法は、前記前の部分の重複の長さ、前記現在の部分の長さおよび前記現在の部分の重複の長さの値に依存して変化するウィンドウ関数を使用し、
前記前の部分がコードブック励振線形予測の符号化音声の部分である場合は、前記前の部分の前記重複の長さの値はゼロであり、前記現在の部分の前記重複の長さの値はゼロではないことを特徴とする請求項１７に記載の装置。