JP2013504781A - チャネル間及び一時的冗長度抑圧を用いた音声信号符号化 - Google Patents

Abstract

時間領域音声信号を符号化する方法が提供される。装置は、時間領域信号を、各ブロックが複数の周波数のそれぞれに対して１つの係数を含む一連のサンプルブロックを含む周波数領域信号に変換する。各ブロックの係数は、周波数バンドにまとめられる。各ブロックに対する各周波数バンドに対して、バンドのスケールファクターが推定され、ブロックのバンドのエネルギーが、ブロックがチャネル間及び一時的な意味合いのどちらかまたは両方において互いに隣接し得る、隣接するサンプルブロックのバンドのエネルギーと比較される。隣接するブロックのバンドエネルギーに対する第１ブロックのバンドエネルギーの比率がある値未満である場合は、第１ブロックのバンドのスケールファクターが増加される。各ブロックのバンドの係数は、結果として得られたスケールファクターに基づいて量子化される。符号化された音声信号が、量子化された係数及びスケールファクターに基づいて生成される。
【選択図】図１

Description

（本文中に技術分野に該当する記載なし。）

音声情報を効率的に圧縮すると、音声情報を保存するための記憶容量要件と、情報の伝送に必要な通信バンド幅との両方が低減される。この圧縮を可能にするために、ユビキタスＭｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ１（ＭＰＥＧ−１）Ａｕｄｉｏ Ｌａｙｅｒ−３（ＭＰ３）フォーマットや、より最新のアドバンスト・オーディオ・コーディング（ＡＡＣ）標準などの様々な音声符号化方式が、少なくとも１つの心理音響モデル（ＰＡＭ）を利用する。この心理音響モデルは、基本的に音声情報を受信して処理する人間の耳の限界について記載する。例えば、人間の音声システムは、（特定の周波数の音声が、特定の音量レベル未満の近傍の周波数の音声を遮蔽する）周波数領域と（特定の周波数の音程が、除去後の一定期間の間、同一の音程を遮蔽する）時間領域の両方において、音声の遮蔽（masking）原理を示す。圧縮を提供する音声符号化方式は、人間の音声システムによって遮蔽される元の音声情報のこれらの部分を除去することによって、こうした音声の遮蔽原理を利用するものである。

元の音声信号の、どの部分を除去するかを決定するために、音声符号化システムは、一般的に、元の信号を処理して、マスキング閾値を生成し、この閾値の下にある音声信号を、音声の忠実度を顕著に損なうことなく除去し得るようにする。こうした処理は、極めて計算集約的であり、音声信号のリアルタイムな符号化を困難にしている。さらに、家庭用電子機器の多くが、かかる集約的な処理用に特化して構成されていない固定少数点型デジタル信号プロセッサ（ＤＳＰ）を採用しているため、こうした計算は、通常多くの労力と時間を要する。

本発明の多くの実施態様が、以下の図面を参照することで、よりよく理解される。本明細書で開示する内容の本質を明示することに重点がおかれているため、図面中の構成要素は、必ずしも一定の縮尺で描かれていない。さらに、かかる図面において、類似の符号は、複数図面を通して対応する部分を示す。また、これらの図面に関連していくつかの実施形態が記載されているが、本発明の内容は、本明細書に記載した実施形態に限定されない。そうではなく、全ての代替、修正、及び均等物を網羅することが意図されている。

図１は、本発明の実施形態による時間領域音声信号を符号化するように構成された電子装置の簡略化されたブロック図である。 図２は、本発明の実施形態による時間領域音声信号を符号化するための、図１に記載した電子装置の動作方法の流れ図である。 図３は、本発明のその他の実施形態による電子装置のブロック図である。 図４は、本発明の実施形態による音声符号化システムのブロック図である。 図５は、本発明の実施形態による周波数領域信号処理周波数バンドのサンプルブロックをグラフ表示した図である。 図６は、本発明の実施形態による周波数領域信号の２つの音声チャネルのサンプルブロックをグラフ表示した図である。 図７は、本発明の実施形態による比率と、これに関連する増加値とを複数個記載した、スケールファクターの増加表である。

添付の図面及び以下の記載は、当業者に本発明の最良の形態を作成及び使用する方法を教示するために、本発明の具体的な実施形態について記載する。発明の本質を教示する目的上、いくつかの従来の態様は、簡略化され、または省略されている。当業者は、本発明の範囲内にある、これらの実施形態の様々な変更形式を理解するだろう。また、当業者は、以下に記載する特徴が、様々な方法で組み合わされて、本発明の複数の実施形態を形成することを理解するだろう。その結果、本発明は、以下の具体的な実施形態に限定されず、特許請求の範囲とその均等物によってのみ、限定される。

図１は、本発明の実施形態による符号化された音声信号１２０として、時間領域音声信号１１０を符号化するように構成された電子装置１００の簡略化されたブロック図を提供する。時間領域信号を符号化された音声信号に変換することを含む、その他の符号化方式が、以下で説明する考え方を有利に利用し得るものの、１つの実装において、符号化は、アドバンスト・オーディオ・コーディング（ＡＡＣ）基準により行われる。さらに、電子装置１００は、かかる符号化を行い得る、パーソナル・デスクトップ、ラップトップコンピュータ、音声／ビデオ符号化システム、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）プレーヤー、テレビ・セット・トップ・ボックス、音声受信器、携帯電話、携帯端末（ＰＤＡ）、及び、Ｓｌｉｎｇ Ｍｅｄｉａ社が提供するＳｌｉｎｇｂｏｘ（登録商標）の様々なモデルなどの音声／ビデオ位置シフト装置(audio/video place-shifting devices)などを含むが、これらに限定されない、任意の装置であってよい。

図２は、時間領域音声信号１１０を符号化して、符号化された音声信号１２０を生成するための、図１の電子装置１００を動作させる方法２００の流れ図を示す。方法２００において、電子装置１００は、時間領域音声信号１１０を受信する（動作２０２）。その後、装置１００は、時間領域音声信号１１０を、少なくとも１つの音声チャネルのそれぞれに対する一連のサンプルブロックを有する周波数領域信号へ変換する（動作２０４）。各サンプルブロックは、複数の周波数のそれぞれに対する１つの係数を含む。各サンプルブロックの係数は、周波数バンドにまとめられ、または編成される（動作２０６）。各サンプルブロックの各周波数バンドに対して（動作２０８）、電子装置１００は、バンドのスケールファクターを決定し、または推定し（動作２１０）、周波数バンドのエネルギーを決定し（動作２１２）、サンプルブロックのバンドエネルギーと、隣接するサンプルブロックのバンドエネルギーとを比較する（動作２１４）。隣接するサンプルブロックの例としては、同一音声チャネルの直接先行するブロックや、元のサンプルブロックと同一期間と認定された別の音声チャネルのサンプルブロックが含まれ得る。隣接するサンプルブロックの周波数バンドエネルギーに対するサンプルブロックの周波数バンドエネルギーの比率が、所定値未満である場合、装置１００は、サンプルブロックの周波数バンドのスケールファクターを増加させる（動作２１６）。各ブロックの各周波数バンドについて、装置１００は、そのバンドに関連するスケールファクターに基づいて、周波数バンドの係数を量子化する（動作２１８）。装置１００は、量子化された係数とスケールファクターとに基づいて、符号化された音声信号１２０を生成する（動作２２０）。

図２の動作は特定の順序で実行されるように記載されているが、２つ以上の動作を同時に実行することを含むその他の実行順序も可能である。例えば、図２の動作は、各動作がパイプラインに入力されたときに、時間領域音声信号１１０の異なる部分やサンプルブロックについて行われる「パイプライン」実行の形式の１つとして実行され得る。その他の実施形態において、コンピュータで読み取り可能な記憶媒体は、方法２００を実装するために、図１の電子装置１００の少なくとも１つのプロセッサまたはその他の制御回路に対する命令がそのコンピュータで読み取り可能な記憶媒体に符号化され得る。

方法２００の少なくともいくつかの実施形態の結果として、各周波数バンドに用いられるそのバンドの係数を量子化するためのスケールファクターは、同一音声チャネルにおける連続した周波数サンプルブロック間及び異なるチャネル内で同時に存在するブロック間の周波数バンドにおける音声エネルギーの相違にしたがって調整される。一般的に、このような決定は、多くのＡＡＣの実装において一般的に行われているような全体のマスキング閾値の計算と比較して、遥かに計算集約的でない。その結果、安価なデジタル信号処理の構成要素を用いた小型装置を含む任意の種類の電子装置によるリアルタイムの音声符号化が可能となり得る。その他の有利な点が、以下でより詳細に記載した本発明の様々な実装から認定され得る。

図３は、本発明のその他の実施形態に基づく電子装置３００のブロック図である。装置３００は、制御回路３０２とデータストレージ３０４とを含む。いくつかの実装において、装置３００は、通信インターフェース３０６とユーザ・インターフェース３０８のいずれかまたは両方も含み得る。電源及び装置の筐体などを含むが、これらに限定されないその他の構成要素も電子装置３００に含められ得るが、以下の説明を簡単にするために、かかる構成要素は図３に明示されないし、以下で説明されることもない。

制御回路３０２は、電子装置３００の様々な態様を制御して、符号化された音声信号３２０として時間領域音声信号３１０を符号化するように構成される。一実施形態において、制御回路３０２は、以下でより詳細に説明する様々な動作を行うよう、プロセッサに指示する命令を実行するように構成されたマイクロプロセッサ、マイクロコントローラまたはデジタル信号プロセッサ（ＤＳＰ）などの少なくとも１つのプロセッサを含む。その他の実施例において、制御回路３０２は、以下で説明する１若しくは複数のタスクまたは動作を行うように構成された１または複数のハードウェア構成要素を含み得、またはハードウェアとソフトウェア処理のエレメントのいくつかの組合せを包含し得る。

データストレージ３０４は、符号化されるべき時間領域音声信号３１０のいくつかまたは全部と、結果として符号化された音声信号３２０とを記憶するように構成される。データストレージ３０４は、符号化処理に関連する中間データ、制御情報なども記憶し得る。データストレージ３０４は、命令の実行に関する任意のプログラムデータまたは制御情報のみならず、制御回路３０２のプロセッサによって実行される命令も含み得る。データストレージ３０４は、任意の揮発性メモリ構成要素（ダイナミックＲＡＭ（ＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）など）、不揮発性メモリ装置（フラッシュメモリ、磁気ディスクドライブ、光ディスクドライブなどであって、取り外し可能なものと固定のものとを含む）、ならびにこれらの組合せを含み得る。

電子装置３００は、通信リンク上で、時間領域音声信号３１０を受信し、及び／または符号化された音声信号３２０を送信するように構成された通信インターフェース３０６も含み得る。通信インターフェース３０６の例としては、デジタル加入者回線（ＤＳＬ）若しくはインターネットへのケーブル・インターフェースなどの広域ネットワーク（ＷＡＮ）インターフェース、Ｗｉ−Ｆｉ若しくはイーサネットなどのローカル・エリア・ネットワーク（ＬＡＮ）、または通信リンク上または有線、無線若しくは光方式での接続で通信するように構成されたその他の任意の通信インターフェースがある。

その他の実施例において、通信インターフェース３０６は、音声／ビデオプログラミングの一部として、音声信号３１０、３２０をテレビ、ビデオモニタ、または音声／ビデオ受信器などの出力装置（図３で示していない）へ送信するように構成され得る。例えば、音声／ビデオプログラミングのビデオ部分は、変調されたビデオケーブル接続、コンポジットまたはコンポーネントビデオＲＣＡ（ラジオ・コーポレーション・オブ・アメリカ）式接続、デジタル・ビデオ・インターフェース（ＤＶＩ）または高解像度マルチメディアインターフェース（ＨＤＭＩ）接続を介して伝送され得る。プログラミングの音声部分は、モノラル若しくはステレオ音声ＲＣＡ式接続、ＴＯＳＬＩＮＫ接続、またはＨＤＭＩ接続によって伝送され得る。その他の音声／ビデオフォーマット及び関連する接続が、他の実施形態において採用され得る。

さらに、電子装置３００は、例えば増幅器、アナログ・デジタル変換器（ＡＤＣ）などの音声マイクロホン及びこれに関連する回路によって、１人または複数のユーザから、時間領域音声信号３１０で表される音響信号３１１を受信するように構成されたユーザ・インターフェース３０８を含み得る。同様に、ユーザ・インターフェース３０８は、符号化された音声信号３２０によって表される音響信号３２１をユーザに提示するための増幅回路と１つまたは複数の音声スピーカとを含み得る。実装に応じて、ユーザ・インターフェース３０８は、例えば、キーボード、キーパッド、タッチパッド、マウス、ジョイスティック、またはその他のユーザ入力装置によってなどのユーザが電子装置３００を制御するための手段も含み得る。同様に、ユーザ・インターフェース３０８は、モニタやその他の視認可能な表示装置などの視認可能な出力手段を提供し、ユーザが電子装置３００から視認可能な情報を受信できるようにする。

図４は、図３の符号化された音声信号３２０として時間領域音声信号３１０を符号化するための、電子装置３００によって提供される音声符号化システム４００の１つの例を示す。図３の制御回路３０２は、ハードウェア回路、ソフトウェア若しくはファームウェアの命令を実行するプロセッサまたはそれらのいくつかの組合せによって、音声符号化システム４００の各部分を実装し得る。

その他の実施形態において、その他の音声符号化方式が利用され得るが、図４の具体的なシステム４００は、ＡＡＣの特定の実装を示す。一般的に、ＡＡＣは、音声符号化に対するモジュール方式を表し、それにより、図４の各機能ブロック４５０〜４７２ならびに本明細書で具体的に記載されていない機能ブロックが個別のハードウェア、ソフトウェア若しくはファームウェアモジュールまたは「ツール」に実装され得、それゆえ、様々な発生源を起源とするモジュールを単一の符号化システム４００に統合し、所望の音声符号化を行わせることができる。その結果、異なる数と種類のモジュールの利用により、任意数のエンコーダ「プロファイル」が形成され、その各々が特定の符号化環境に関連する具体的な制約に対処することが可能になる。かかる制約は、装置３００の計算能力、時間領域音声信号３１０の複雑度及び、出力ビットレート及び歪みレベルなどの符号化された音声信号３２０の所望の特徴を含み得る。一般的にＡＡＣ基準は、低複雑度（ＬＣ）プロファイル、メイン（ＭＡＩＮ）プロファイル、サンプリングレートスケーラブル（ＳＲＳ）プロファイル、長期予測（ＬＴＰ）プロファイルを含む、４つのデフォルトプロファイルを提供する。その他のプロファイルが、以後、より詳細に説明する一時的／チャネル間・スケールファクター調整機能ブロック４６６を含む、以下で詳細に説明する増加を包含し得るが、図４のシステム４００は、主に強度／結合モジュールがないメインプロファイルに対応する。

図４にて、可能性がある制御パスのいくつかを破線矢印で図示し、一方、音声データの一般的な流れを実線矢印にて示す。その他の変形形式において、図４で具体的に示されていないモジュール４５０〜４７２間の制御情報の通過に関するその他の可能性があり得る。

図４において、時間領域音声信号３１０が、システム４００への入力として受信される。一般的に、時間領域音声信号３１０は、時間的に変化する音声信号の一連のデジタルサンプルブロックとして初期化された、音声情報の１つまたは複数のチャネルを含む。いくつかの実施形態において、時間領域音声信号３１０は、最初、アナログ音声信号の形式をとり、その後、制御回路３０２によって実装されるように、符号化システム４００に送信される前に、例えばユーザ・インターフェース３０８のＡＤＣによって、規定の速度でデジタル化される。

図４に記載するように、音声符号化システム４００のモジュールは、時間領域音声信号３１０を入力として受信する、プロセシングパイプラインの一部として構成された利得制御ブロック４５２、フィルターバンク４５４、時間領域雑音整形（ＴＮＳ）ブロック４５６、後方予測ツール４５８、及びミッド／サイドステレオブロック４６０とを含み得る。これらの機能ブロック４５２〜４６０は、ＡＡＣのその他の実装においてしばしば見られる同一の機能ブロックに対応し得る。時間領域音声信号３１０は、知覚モデル４５０へも送信され得るが、かかる知覚モデル４５０は、上記の機能ブロック４５２〜４６０のいずれかへと制御情報を提供し得る。一般的なＡＡＣシステムにおいて、この制御情報は、心理音響モデル（ＰＡＭ）の下で、時間領域音声信号３１０のどの部分が余剰かを示し、これにより、時間領域音声信号３１０の音声情報の余剰部分が除去され得、符号化された音声信号３２０において実現される圧縮が容易になる。

この目的のために、一般的なＡＡＣシステムにおいて、知覚モデル４５０は、時間領域音声信号３１０の高速フーリエ変換（ＦＦＴ）の出力からマスキング閾値を計算し、音声信号３１０のどの部分が除去されるべきかを示す。しかしながら、図４の実施例において、知覚モデル４５０は、フィルターバンク４５４の出力を受信し、かかるフィルターバンク４５４が、周波数領域信号４７４を提供する。１つの特別な実施例において、フィルターバンク４５４は、ＡＡＣシステムにおいて通常提供される、修正離散コサイン変換（ＭＤＣＴ）関数ブロックである。

ＭＤＣＴ関数４５４によって生成された周波数領域信号４７４は、図５でグラフ表示したブロックなどであって、各ブロックが、符号化されるべき音声情報の各チャネルの複数の周波数５０２を有する一連のサンプルブロックを含む。さらに、各周波数５０２が、周波数領域信号４７４ブロックにおけるその周波数５０２の大きさ、又は強度を示す係数によって表される。図５において、各周波数５０２は、その高さが周波数５０２に関連する係数値を表す垂直ベクトルとして示されている。

加えて、周波数５０２は、一般的なＡＡＣ方式において行われるように、ロジカルに編成されて、隣接周波数グループまたは「バンド」５０４Ａ〜５０４Ｅとなる。図４は、各周波数バンド５０４（即ち、周波数バンド５０４Ａ〜５０４Ｅのそれぞれ）が同一周波数レンジを用いることを示し、フィルターバンク４５４によって生成される同一数の離散周波数５０２を含むが、一方で、ＡＡＣシステムによくあるように、バンド５０４の間で様々な数の周波数５０２と様々な大きさの周波数５０２レンジとが採用され得る。

周波数バンド５０４が形成されて、周波数５０２のバンド５０４の各周波数５０２の係数が、図４のスケールファクター発生器４６４によって生成されるスケールファクターにより、スケーリングまたは分割されることが可能になる。かかるスケーリングは、符号化された音声信号３２０において周波数５０２の係数を示すデータ量を低減させて、これによりデータを圧縮し、その結果、符号化された音声信号３２０に対する送信ビットレートを低下させる。このスケーリングは、音声情報の量子化にもつながり、そのなかで周波数５０２係数は、離散所定値をとらざるを得ず、これにより、復号化後、符号化された音声信号３２０になんらかの歪みが発生し得る。一般的に言って、スケールファクターが大きいほど、より粗い量子化を引き起こし、結果として音声歪みレベルが高まり、及び符号化された音声信号３２０ビットレートが低下する。

従前のＡＡＣシステムにおいて、符号化された音声信号３２０に対する所定の歪みレベルとビットレートとを達成するために、知覚モデル４５０は、上記のマスキング閾値を計算して、スケールファクター発生器４６４が、符号化された音声信号３２０の各サンプルブロックに対して受容可能なスケールファクターを決定できるようにする。本明細書において、かかるマスキング閾値の生成は、スケールファクター発生器４６４が、周波数領域信号４７４の各サンプルブロックの各周波数バンドに対して初期のスケールファクターを決定できるようにするためにも用いられ得る。しかしながら、他の実装において、知覚モデル４５０が、各周波数バンド５０４の周波数５０２と関連するエネルギーを代わりに決定し、これがその後スケールファクター発生器４６４に用いられ得、かかるエネルギーに基づいて各バンド５０４における所望のスケールファクターを計算する。１つの実施例において、周波数バンド５０４における周波数５０２のエネルギーは、ときに絶対スペクトル係数の和（ＳＡＳＣ）と呼ばれる、バンド５０４における周波数５０２のＭＤＣＴ係数の「絶対和」即ち絶対値の和によって計算される。

バンド５０４のエネルギーが決定されると、各サンプルブロックのバンド５０４に関連するスケールファクターが、バンド５０４のエネルギーの、１０を底とする対数などの対数をとり、一定値を加算した後、その項を所定の乗数で乗算することによって計算され得、バンド５０４の初期のスケールファクターを少なくとも１つ算出する。従前知られた心理音響モデルに基づく音声符号化の実験によれば、定数が約１．７５で、かつ乗数が１０であると、広範なマスキング閾値の計算の結果生成されるスケールファクターに相当するスケールファクターが得られる。こうして、この特定の実施例に対するスケールファクターを求めるために、下記の方程式が形成される。

その他の実施形態においては、１．７５以外の定数値も採用され得る。

時間領域音声信号３１０を符号化するために、ＭＤＣＴフィルターバンク４５４は、各ブロックが時間領域音声信号３１０の特定の期間に関連する周波数領域信号４７４の一連の周波数サンプルのブロックを生成する。したがって、上記のスケールファクターの計算は、周波数領域信号４７４において生成された周波数サンプルの各チャネルの各ブロックに対して行われ得、これにより、各周波数バンド５０４の各ブロックに対する異なるスケールファクターを潜在的に提供する。関連するデータ量を所与とすると、各スケールファクターに関して、上記計算を用いれば、周波数サンプルの同一ブロックに対するマスキング閾値を推定することと比較すると、スケールファクターを決定するのに必要な処理量が大幅に低下する。その他の実装において、マスキング閾値の計算の有無を問わず、スケールファクター発生器４６４において初期のスケールファクターが推測され得るその他の方法が利用され得る。

２つの別個の音声チャネルＡ及びＢ（６０２Ａ及び６０２Ｂ）を含む周波数領域信号４７４の一例が、図６にグラフ表示されている。各音声チャネル６０２の音声は、各ブロック６０１が、元の時間領域音声信号３１０の特定期間に関連する、周波数サンプルの一連のブロック６０１として表される。いくつかの実施形態において、同一音声チャネルの２つの連続したサンプルブロックに関連する期間が重複し得る。例えば、フィルターバンク４５４に対してＭＤＣＴを採用して利用することで、各ブロックに関連する期間は、次のブロックの期間の５０％分と重複する。

本明細書で説明する実装において、スケールファクター発生器４６４によって提供される各サンプルブロック６０１の各周波数バンド５０４に対する、従前に生成され、または推定されたスケールファクターは、サンプルブロック６０１の「隣接する」ブロックに存在する一時的な、及び／またはチャネル間の冗長度を考慮すると、さらに増加され得る。図６に示すように、同一チャネル６０２の２つのブロック６０６において、一方が他方の直後に並ぶ場合には、これらは、一時的な意味合いにおいて隣接していると言える。チャネル間ブロックは、図６に示す、隣接するチャネル間ブロック６０４の実施例が示すように、両者が同一期間において関連している場合には、このチャネル間ブロック６０４は隣接していると言える。

いずれの場合においても、サンプルブロック６０１の１対の隣接するブロックの１つにおけるなんらかの音声情報は、隣接するブロックのエネルギーが、第１ブロックのエネルギーと比較して十分に高い場合に除去され得る。図６の隣接する一時的なブロック６０６を一例として用いると、１対である６０６のｋ−１番目のブロックの周波数バンド５０４のエネルギーが、ｋ番目のブロックの同一バンド５０４のエネルギーよりも、幾分かの量または数％大きい場合には、周波数バンド５０４に対するスケールファクター発生器４６４によって従前に決定されたスケールファクターが増加され得、これにより、そのブロック６０１の周波数バンド５０４に対する量子化レベルの数を減少させ、また、これにより、符号化された音声信号３２０におけるブロック６０１を表すのに必要なデータ量を減少させる。このようにして、スケールファクターを増加させると、関連する音声が、先行するブロック６０１の周波数バンド５０４と関連するより高いエネルギーにより、幾分か遮蔽されるため、符号化された音声信号３２０における追加的な顕著な歪みは僅かしか存在しなくなるか、全く存在しなくなる。

同様に、２つの隣接するチャネル間ブロック６０４のうちの１つの周波数バンド５０４のエネルギーが、他方のブロックの対応するバンド５０４のエネルギーと比較して十分に高い場合は、他方のブロックのバンド５０４に対するスケールファクターは、音声の忠実度を大幅に損なうことなく、幾分かの量または数％増加され得る。一時的な場合とチャネル間の場合の両方において、周波数領域信号４７４の各チャネル６０２の各サンプルブロック６０１の各周波数バンド５０４は、スケールファクターの増加の可否を決定するやり方でチェックされ得る。

図４の制御回路４６６は、スケールファクター調整機能ブロック４６６における図４のシステム４００において、かかる機能を提供する。１つの実装において、各サンプルブロック６０１の各周波数バンド５０４のエネルギーは、周波数バンド５０４の全ての周波数係数の絶対値を合計することにより、または上記のようにバンド５０４のＳＡＳＣを計算することにより、計算され得る。エネルギーのその他の測定方法が、その他の実施例において採用され得る。

１つの変更形式において、２つの隣接するサンプルブロック６０１のエネルギー値が比率によって比較される。例えば、隣接する一時的ブロック６０６における一時的冗長度に対処するために、装置３００の制御回路３０２は、隣接する一時的ブロック６０６のうち後者のブロック６０１（例えば、音声チャネル６０２のｋ番目のブロック）のバンド５０４のエネルギーの、直接先行するブロック６０１（例えば、音声チャネル６０２のｋ−１番目のブロック）のバンド５０４のエネルギーに対する比率を計算し得る。この比率は、その後、例えば、０．５％または５０％などの所定値または所定百分率と比較され得る。かかる比率が所定値未満の場合、後者のブロック６０１のバンド５０４に関連するスケールファクターが増加され得る。この増加は、漸進的であり（例えば１つずつ）、所定量毎（例えば１つずつ、２つずつ、３つずつ）、割合毎（例えば１０％）、またはその他の量毎になされ得る。かかる処理は、各音声チャネル６０２の各サンプルブロック６０１の各周波数バンド５０４に対して行われ得る。

チャネル間冗長度に関しては、装置３００の制御回路３０２が、隣接するチャネル間ブロック６０４（音声チャネルＡ ６０２Ａのｋ番目のブロックなど）の１つのバンド５０４のエネルギーの、隣接するチャネル間ブロック６０４のその他のブロック（即ち、音声チャネルＢ ６０２Ｂのｋ番目のブロック）の同一バンド５０４のエネルギーに対するエネルギー比率を計算し得る。一時的冗長度の比較の場合と同様に、この比率は、その後、なんらかの所定値または百分率と比較され得る。かかる比率が、所定値未満である場合、第１ブロック６０１（即ち、音声チャネルＡ６０２Ａのｋ番目のブロック）のバンド５０４のスケールファクターが、数値または百分率などの幾ばくかの量分で増加され得る。同様に、第２ブロック６０１（即ち、音声チャネルＢ ６０２Ｂのｋ番目のブロック）の同一バンド５０４のエネルギーを、第１ブロック６０１（即ち、音声チャネルＡ ６０２Ａのｋ番目のブロック）のバンド５０４のエネルギーの上に置く、かかる比率の逆数も、同所定値または所定百分率と比較され得る。かかる比率が所定値または所定百分率未満の場合は、第２ブロック６０１（即ち、音声チャネルＢ ６０２Ｂのｋ番目のブロック）のバンド５０４に対するスケールファクターが、上記と類似の方法で増加され得る。かかる処理は、各音声チャネル６０２の各サンプルブロック６０１の各バンド５０４に対して行われ得る。

状況によっては、５．１ステレオシステム、７．１ステレオシステムなどにおいて、２を超える音声チャネル６０２が提供され得る。チャネル間の冗長度が、かかるシステムにおいて対処され得、各サンプルブロック５０２の各バンド５０４が、その他の複数の音声チャネル６０２にてもう一方と比較され得るようにする。他のシステム４００において、特定の音声チャネル６０２は、音声方式におけるそれらの役割に基づいて組み合わされ得る。例えば、１つの前方中央チャネル、２つの前側チャネル、２つの後側チャネル、及び１つのサブウーファーチャネルを含む、５．１ステレオ音声において、２つの前側チャネルの同時期に発生したブロック６０１は、２つの後側チャネルのブロック６０１同様に互いに比較され得る。その他の実施例において、前チャネルのそれぞれ（左、右、中央チャネル）のブロック６０１は、チャネル間冗長度を有効に利用するために互いに比較され得る。

上記で説明した各実施例において、周波数バンド５０４に関連するエネルギー比率は、単一の所定値または所定百分率と比較される。その他の実装において、制御回路３０２は、それぞれ計算された比率と複数の所定の閾値とを比較し得る。かかる比率が比較値のどこに位置するかによって、関連するスケールファクターが異なる百分率または数値によって調整され得る。この目的のために、図７は、上記の計算された比率と比較すべきいくつかの異なる比率比較値７０２を含むスケールファクター増加表(enhancement table)７００の１つの可能な実施例を提供する。かかる表７００において、比率Ｒ１は、比率Ｒ２より大きく、比率Ｒ２は、比率Ｒ３より大きく、以下、比率ＲＮまで同様となる。各比率７００と関連するのは、Ｆ１、Ｆ２、Ｆ３、・・・ＦＮとして記載されている増加値(enhancement value)７０４であり、Ｆ１はＦ２より大きく、Ｆ２はＦ３より大きく、以下同様である。演算処理において、計算された比率がＲ１より大きい場合は、関連するスケールファクターは調整されない。かかる比率がＲ１未満であるが、Ｒ２以上である場合は、スケールファクターは増加値Ｆ１分増加される。同様に、計算された比率がＲ２未満であるが、少なくともＲ３と同じである場合は、増加値Ｆ２が適用される。このようにして継続していくと、ＲＮ未満の比率は、スケールファクターを増加値ＦＮで調整または増加させる。複数の所定比率値７０２ならびにこれに対応するスケールファクター増加値７０４を採用するその他の方法がその他の実施形態において採用され得る。

比率比較値７０２などの所定の比較値及び表７００のスケールファクター増加値７０４などのスケールファクターの調整は、ともに、様々なシステム特異的な要因に依存し得る。したがって、特定の用途のため、受容可能な歪みレベルを過度に妥協することなく符号化された音声信号３２０のビットレート低減に関して最良の結果を得るために、特定システム４００のための様々な比較値及び調整ファクターが、実験によって最良の形態で決定される。

スケールファクター調整機能ブロック４６６が図４の上記機能性を提示する一方で、その他の実装は、システム４００のその他の部分における機能性を包含し得る。例えば、先に説明した比率計算、数値比較及びスケールファクター調整を行うために、フィルターバンド４５４からのＭＤＣＴ情報と、スケールファクター発生器４６４からのスケールファクターの初期推定値の両方を知覚モデル４５０またはスケールファクター発生器４６４のいずれかが受信し得る。

パイプラインにおいてスケールファクター調整機能４６６に続く量子化器４６８は、スケールファクター発生器４６６によって生成された状態で（かつ、場合によっては、以下で説明するように比率／歪み制御ブロック４６２によって再調整された状態で）、各周波数バンド５０４の調整されたスケールファクターを使用して、そのバンド５０４における様々な周波数５０２の係数を分割する。係数を分割することにより、係数の大きさが縮小または圧縮され、これにより、符号化された音声信号３２０の全体のビットレートを低減させる。かかる分割により、係数は、離散値のいくつかの定数のうちの１つへと量子化される。

量子化後、無雑音符号化ブロック４７０は、得られた量子化された係数を無雑音の符号化方式に従って符号化する。一実施形態において、かかる符号化方式は、ＡＡＣが採用するハフマン可逆符号化方式であり得る。

比率／歪み制御ブロック４６２は、図４に示すように、スケールファクター発生器４６６にて生成され、スケールファクター調整モジュール４６６にて調整された１つまたは複数スケールファクターを再調整し得、符号化された音声信号３２０に対する所定のビットレート及び歪みレベルの要件を満たす。例えば、比率／歪み制御ブロック４６４は、計算されたスケールファクターが、達成されるべき平均的なビットレートと比較して非常に高い符号化された音声信号３２０の出力ビットレートとなり得ることを決定し得、従って、スケールファクターを増加させ得る。

スケールファクター及び係数が、符号化ブロック４７０に符号化された後、結果のデータは、ビットストリーム・マルチプレクサ４７２へと送信される。かかるビットストリーム・マルチプレクサ４７２は符号化された音声信号３２０を出力し、符号化された音声信号３２０には係数とスケールファクターが含まれる。このデータは、さらに、（表題ならびに符号化された音声信号３２０に関連する関連情報を含む）テキストデータ及び音声信号３２０を受信した複号器が信号３２０を正確に複号できるようにするために用いられる特定の符号化方式に関する情報などのその他の制御情報及びメタデータと混合され得る。

本明細書に記載される少なくともいくつかの実施形態は音声符号化の方法を提供する。この方法では、音声信号のサンプルブロックの各周波数バンド内の音声周波数が示すエネルギーを隣接するブロックのエネルギーと対比することで、かかるブロックが音声の忠実度を大幅に損なうことなく、より粗い量子化が行なわれ得る音声情報を伝送するか否かを決定し得る。隣接するサンプルブロックは、単一の音声チャネルの連続するブロック、または異なる音声チャネルにおいて同時期に発生したブロックとすることができる。異なるブロックにおける特定周波数バンド内の周波数のエネルギーを比較することによって、要求される計算能力は、マスキング閾値が計算される一般的なＡＡＣシステムと比較して、最小限ですむ。したがって、本明細書に記載する方法と装置を使用すれば、そうでない場合と比較して、リアルタイムの音声符号化をより多様な環境において、より安価な処理回路にて実行することができる。

本発明のいくつかの実施形態が本明細書に記載されているが、本発明の保護の範囲に包含されるその他の実装も可能である。例えば、本明細書に開示される少なくとも１つの実施形態が、位置シフト装置（place-shifting devices）に関して記載されたが、汎用計算システム、（衛星、有線、地上波テレビ信号送信に関するものを含む）テレビ受信器またはセット・トップ・ボックス、衛星及び地上波の音声受信器、ゲーム機、ＤＶＲ、ＣＤ及びＤＶＤプレーヤーなどのその他のデジタル処理装置も、上記詳説した発明の概念の応用からの利益を得ることができる。加えて、本明細書に開示した一実施形態の態様は、その他の実施形態のものと組み合わされ得、本発明のさらなる実装を創作する。したがって、本発明は、特定の実施形態について記載されているが、かかる記載は例示する目的で提供されており、限定する目的で提供されているのではない。したがって、本発明の適切な保護の範囲は、添付の請求の範囲とその均等物によってのみ限定される。

Claims (20)

1. 時間領域音声信号を符号化する方法であって：
   電子装置にて、少なくとも１つの音声チャネルを含む前記時間領域音声信号を受信することと；
   前記時間領域音声信号を、少なくとも１つの音声チャネルのそれぞれに対する一連のサンプルブロックを含む周波数領域信号へ変換することであって、各サンプルブロックが複数の周波数のそれぞれに対して１つの係数を含む、変換することと；
   各サンプルブロックの前記係数を周波数バンドへまとめることと；
   各サンプルブロックの各周波数バンド毎に、前記周波数バンドに対するスケールファクターを決定することと；
   各サンプルブロックの各周波数バンド毎に、前記周波数バンドのエネルギーを決定することと；
   各サンプルブロックの各周波数バンド毎に、前記サンプルブロックに対する前記周波数バンドのエネルギーと、隣接するサンプルブロックの周波数バンドのエネルギーとを比較することと；
   各サンプルブロックの各周波数バンド毎に、前記隣接するサンプルブロックの周波数バンドのエネルギーに対する前記サンプルブロックの周波数バンドのエネルギーの比率が所定値未満である場合は、前記サンプルブロックに対する周波数バンドの前記スケールファクターを増加させることと；
   各サンプルブロックの各周波数バンド毎に、前記周波数バンドの前記スケールファクターに基づいて、前記周波数バンドの前記係数を量子化することと；
   前記量子化された係数と前記スケールファクターとに基づいて、符号化された音声信号を生成することと；を
   含むことを特徴とする、時間領域音声信号を符号化する方法。
2. 前記符号化された音声信号を生成することが、量子化された係数を符号化することを含み、前記符号化された音声信号が、前記符号化された係数と前記スケールファクターとに基づくことを特徴とする、請求項１に記載の方法。
3. 前記時間領域音声信号を前記周波数領域信号へ変換することが、前記時間領域音声信号に修正離散コサイン変換関数を行うことを含むこと特徴とする、請求項１に記載の方法。
4. 前記周波数バンドのエネルギーを決定することが、前記サンプルブロックの前記周波数バンドの各前記係数の絶対和を計算することを含むことを特徴とする、請求項１に記載の方法。
5. 第１サンプルブロックの前記隣接するサンプルブロックが、前記第１サンプルブロックに時間的に直接先行する、前記第１サンプルブロックと同一の音声チャネルのサンプルブロックを含むことを特徴とする、請求項１に記載の方法。
6. 前記隣接するサンプルブロックによって表される期間が、前記第１サンプルブロックによって表される期間と重複することを特徴とする、請求項５に記載の方法。
7. 第１サンプルブロックの前記隣接するサンプルブロックが、前記第１サンプルブロックと関連する期間と同一期間で特定される異なる音声チャネルのサンプルブロックを含むことを特徴とする、請求項１に記載の方法。
8. 各サンプルブロックの各周波数バンド毎に、前記サンプルブロックの前記周波数バンドのエネルギーと、第２の隣接するサンプルブロックの周波数バンドのエネルギーとを比較することと；
   各サンプルブロックの各周波数バンド毎に、前記第２の隣接するサンプルブロックの周波数バンドのエネルギーに対する前記サンプルブロックの周波数バンドのエネルギーの比率が前記所定値未満である場合は、前記サンプルブロックの周波数バンドのスケールファクターを増加させることと；
   をさらに含み、
   第１サンプルブロックの前記第２の隣接するサンプルブロックが、前記第１サンプルブロックと関連する期間と同一期間で特定される第２の異なる音声チャネルのサンプルブロックを含むことを特徴とする、請求項７に記載の方法。
9. 各サンプルブロックの各周波数バンド毎に、前記隣接するサンプルブロックの周波数バンドのエネルギーに対する前記サンプルブロックの周波数バンドのエネルギーの比率が第２の所定値未満である場合は、前記サンプルブロックの周波数バンドの前記スケールファクターを増加させること；
   をさらに含み、
   前記第２の所定値が前記第１の所定値未満であり、
   前記第２の所定値に関する前記スケールファクターにおける前記増加が、前記第１の所定値に関する前記スケールファクターにおける前記増加よりも大きいことを特徴とする、請求項１に記載の方法。
10. 量子化された出力信号を生成するための周波数領域音声信号の周波数バンドに対するスケールファクターを調整する方法であって、前記周波数領域信号が少なくとも１つの音声チャネルそれぞれに対する一連のサンプルブロックを含み、それぞれのサンプルブロックが、前記周波数バンド内の複数の周波数のそれぞれに対して１つの係数を含む、前記方法が：
    各サンプルブロック毎に、前記周波数バンドのエネルギーを決定することと；
    各サンプルブロック毎に、前記サンプルブロックの前記周波数バンドのエネルギーと、隣接するサンプルブロックの周波数バンドのエネルギーとを比較することと；
    各サンプルブロック毎に、前記隣接するサンプルブロックの周波数バンドのエネルギーに対する前記サンプルブロックの周波数バンドのエネルギーの比率が所定値未満である場合は、前記サンプルブロックの周波数バンドの前記スケールファクターを増加させることと；
    を含み、
    前記周波数の係数の量子化が前記スケールファクターに基づくことを特徴とする、
    方法。
11. 係数が、修正離散コサイン変換の係数を含むことを特徴とする、請求項１０に記載の方法。
12. 前記周波数バンドのエネルギーを決定することが、前記サンプルブロックの前記周波数バンドの前記係数の絶対和を計算することを含むことを特徴とする、請求項１０に記載の方法。
13. 第１サンプルブロックの前記隣接するサンプルブロックが、前記第１サンプルブロックと同一の音声チャネルの直接先行するサンプルブロックを含むことを特徴とする、請求項１０に記載の方法。
14. 第１サンプルブロックの前記隣接するサンプルブロックが、前記第１サンプルブロックと同一の期間で特定される異なる音声チャネルのサンプルブロックを含むことを特徴とする、請求項１０に記載の方法。
15. 時間領域音声信号を記憶するように構成されたデータストレージと；
    制御回路であって、
    前記データストレージから、少なくとも１つの音声チャネルを含む前記時間領域音声信号を読み出すことと；
    前記時間領域音声信号を、少なくとも１つの音声チャネルのそれぞれに対する一連のサンプルブロックを含む周波数領域信号に変換することであって、各サンプルブロックが複数の周波数のそれぞれに対する１つの係数を含む、変換することと；
    各サンプルブロックの前記係数を周波数バンドへと編成することと；
    各サンプルブロックの各周波数バンド毎に、前記周波数バンドのスケールファクターを推定することと；
    各サンプルブロックの各周波数バンド毎に、前記周波数バンドのエネルギーを決定することと；
    各サンプルブロックの各周波数バンド毎に、前記サンプルブロックに対する前記周波数バンドのエネルギーと、隣接するサンプルブロックの周波数バンドのエネルギーとを比較することと；
    各サンプルブロックの各周波数バンド毎に、前記隣接するサンプルブロックの周波数バンドのエネルギーに対する前記サンプルブロックの周波数バンドのエネルギーの比率が所定値未満である場合は、前記サンプルブロックの周波数バンドに対する前記スケールファクターを増加させることと；
    各サンプルブロックの各周波数バンド毎に、前記周波数バンドに対する前記スケールファクターに基づいて、前記周波数バンドの前記係数を量子化することと；
    前記量子化された係数と前記スケールファクターとに基づいて、符号化された音声信号を生成することと；
    を行うように構成された制御回路と；
    を含むことを特徴とする、電子装置。
16. 前記周波数バンドのエネルギーを決定するために、制御回路が、前記サンプルブロックの前記周波数バンドの各前記係数の絶対値を合計するように構成されることを特徴とする、請求項１５に記載の電子装置。
17. 第１サンプルブロックの前記隣接するサンプルブロックが、前記第１サンプルブロックに直接先行する、前記第１サンプルブロックと同一の音声チャネルのサンプルブロックを含むことを特徴とする、請求項１５に記載の電子装置。
18. 第１サンプルブロックの前記隣接するサンプルブロックが、前記第１サンプルブロックと同一期間を示す異なる音声チャネルのサンプルブロックを含むことを特徴とする、請求項１５に記載の電子装置。
19. 前記制御回路が：
    各サンプルブロックの各周波数バンド毎に、前記サンプルブロックの前記周波数バンドのエネルギーと、第２の隣接するサンプルブロックの周波数バンドのエネルギーとを比較し；
    各サンプルブロックの各周波数バンド毎に、前記第２の隣接するサンプルブロックの周波数バンドのエネルギーに対する前記サンプルブロックの周波数バンドのエネルギーの比率が前記所定値未満である場合は、前記サンプルブロックの周波数バンドに対する前記スケールファクターを増加させる；
    ように構成され、
    第１のサンプルブロックの前記第２の隣接するサンプルブロックが、前記第１のサンプルブロックと同一期間を示す第２の異なる音声チャネルのサンプルブロックを含むことを特徴とする、請求項１５に記載の電子装置。
20. 前記制御回路が：
    各サンプルブロックの各周波数バンド毎に、前記隣接するサンプルブロックの周波数バンドのエネルギーに対する前記サンプルブロックの周波数バンドのエネルギーの比率が第２の所定値未満である場合は、前記サンプルブロックの周波数バンドに対する前記スケールファクターを増加させる；
    ように構成され、
    前記第２の所定値が第１の前記所定値未満であり、前記第２の所定値に関する前記スケールファクターの前記増加が、前記第１の所定値に関する前記スケールファクターの前記増加より大きいことを特徴とする、請求項１５に記載の電子装置。