JP2006519564A - ビデオ符号化 - Google Patents

Abstract

本発明は、ビデオ分析プロセッサ１０１及びビデオエンコーダ１０３を有するビデオ符号化装置１００に関する。ビデオ分析プロセッサ１０１は、画像を複数の画像領域に分割するセグメンテーションプロセッサ１０９を有している。画像特徴プロセッサ１１１は、領域のうちの１つについて、テクスチャレベルのような画像の特徴を決定する。これに応じて、ビデオ符号化セレクタ１１３は、その領域についてビデオ符号化パラメータを選択する。ビデオ符号化パラメータは、ビデオエンコーダ１０３に供給され、ビデオ符号化プロセッサ１１９は、ビデオ分析プロセッサ１０１による外部分析により決定されたビデオ符号化パラメータを使用して画像を符号化する。符号化された画像は、ビデオ分析プロセッサ１０１に供給され、プロセスは、所望の符号化パフォーマンスが達成されるまで繰り返される。装置は、Ｈ．２６４符号化について特に適しており、外部分析に基づいて符号化パラメータの選択から改善されたパフォーマンスが可能となる。

Description

本発明は、ビデオ符号化のためのビデオ符号化装置及び方法に関し、特に、ビデオ符号化のためのビデオ符号化パラメータの選択に関する。

近年、ビデオ信号のデジタルストレージ及びディストリビューションの使用は、益々普及してきている。デジタルビデオ信号を送信するために要求される帯域幅を低減するため、ビデオデータの圧縮を含む効率的なデジタルビデオ符号化を使用することが知られており、デジタルビデオ信号のデータレートは、実質的に低減される場合がある。

相互使用可能性を保証するため、ビデオ符号化規格は、多くの専門的な家電製品においてデジタルビデオの適合を容易にすることにおいて重要な役割を果たしてきている。最も影響のある規格は、ＩＳＯ／ＩＥＣ（The International Organization for Standardization/The International Electrotechnical Committee）のＩＴＵ−Ｔ（International Telecommunications Union）又はＭＰＥＧ（Motion Pictures Experts Group）委員会のいずれかにより伝統的に開発されている。勧告として知られているＩＴＵ−Ｔ規格は、リアルタイム通信（たとえば、ビデオ会議）を典型的に狙いとしており、大部分のＭＰＥＧ規格は、ストレージ（たとえば、デジタルバーサティルディスク（ＤＶＤ））及びブロードキャスト（たとえば、デジタルビデオブロードキャスト（ＤＶＢ）規格）について最適化される。

現在のところ、最も広く使用されているビデオ圧縮技術のうちの１つは、ＭＰＥＧ−２（Motion Pictures Experts Group）規格として知られている。ＭＰＥＧ−２は、ブロックベースの圧縮スキームであって、フレームが複数のブロックに分割され、それぞれのブロックは、８つの垂直及び８つの水平画素を有している。ルミナンスデータの圧縮について、それぞれのブロックは、離散コサイン変換（ＤＣＴ）を使用して個々に圧縮され、続いて量子化により多数の変換されたデータ値をゼロに低減する。クロミナンスデータの圧縮について、ＤＣＴ及び量子化を使用して同様に圧縮される、それぞれ４つのルミナンスブロックについて２つのクロミナンスブロックが得られるように（４：２：０フォーマット）、クロミナンスデータの量は、ダウンサンプリングによりはじめに低減される。イントラフレーム圧縮のみに基づいたフレームは、イントラフレーム（Ｉフレーム）として知られている。

フレーム内圧縮に加えて、ＭＰＥＧ−２は、データレートを更に低減するためにフレーム間圧縮を使用している。フレーム間圧縮は、前のＩフレームに基づいて予測フレーム（Ｐフレーム）の生成を含んでいる。さらに、Ｉ及びＰフレームは、典型的に、双方向予測フレーム（Ｂフレーム）により挿入され、圧縮は、Ｂフレームと周囲のＩフレーム及びＰフレームとの間の差を送信することのみで達成される。さらに、ＭＰＥＧ−２は、動き予測を使用し、異なる位置でのその後のフレームで見られる１つのフレームのマクロブックの画像は、動きベクトルの使用により単に伝達される。

これらの圧縮技術の結果として、標準的なＴＶスタジオブロードキャストの品質レベルのビデオ信号は、２〜４Ｍｂｐｓ前後のデータレートで送信することができる。

最近、Ｈ．２６Ｌとして知られる新たなＩＴＵ−Ｔが出現している。Ｈ．２６Ｌは、ＭＰＥＧ−２のような既存の規格と比較して、その優れた符号化効率について広く知られてきている。Ｈ．２６Ｌの利得は、ピクチャサイズに比例して一般に減少するが、アプリケーションの広いレンジにおけるその展開のポテンシャルは、疑う余地がない。このポテンシャルは、ＪＶＴ（Joint Video Team）フォーラムの形成を通して認識されており、このフォーラムは、新たなジョイントＩＴＵ−Ｔ／ＭＰＥＧ規格としてＨ．２６Ｌを完成するための役割を担う。新たな規格は、Ｈ．２６４又はＭＰＥＧ−４ＡＶＣ（Advanced Video Coding）として知られている。さらに、Ｈ．２６４ベースのソリューションは、ＤＶＢ及びＤＶＤフォーラムのような、他の規格本体で考慮されている。

Ｈ．２６４規格は、ＭＰＥＧ−２のような確立された規格から知られている、ブロックベースの動き補償ハイブリッド変換符号化と同じ原理を採用している。Ｈ．２６４シンタックスは、したがって、ピクチャヘッダ、スライスヘッダ及びマクロブロックヘッダといったヘッダ、及び動きベクトル、ブロック変換係数、量子化スケール等からなるデータからなる階層として編成されている。しかし、Ｈ．２６４規格は、ビデオデータのコンテンツを表すビデオ符号化レイヤ（ＶＣＬ）と、データを形成しヘッダ情報を提供するネットワークアプリケーションレイヤ（ＮＡＬ）とを分離する。

さらに、Ｈ．２６４は、非常に増加された符号化パラメータの選択を可能にしている。たとえば、Ｈ．２６４は、１６×１６マクロブロックの更に精巧な分割及び操作を可能にし、たとえば、動き補償プロセスは、４×４のサイズと同じマクロブロックのセグメンテーションで実行することができる。また、サンプルブロックの動き補償予測のための選択プロセスは、隣接するピクチャのみの代わりに、多数の記憶された前にデコードされたピクチャを含んでいる場合がある。１つのフレーム内のイントラ符号化によってさえ、同じフレームからの前にデコードされたサンプルを使用したブロックの予測を形成することが可能である。また、動き補償に従う結果的に得られる予測誤差は、従来の８×８サイズの代わりに、４×４ブロックサイズに基づいて変換及び量子化される場合がある。

Ｈ．２６４規格は、可能なコーディングデシジョン及びパラメータの数を拡張しつつ、ビデオデータの同じ全体構造を使用する点で、ＭＰＥＧ−２ビデオ符号化シンタックスのスーパーセットであると考えられる。様々なコーディングデシジョンを有することの結果は、ビットレートと画質との間の良好なトレードオフが達成される場合があることである。しかし、Ｈ．２６４規格は、ブロックベースの符号化の典型的なアーチファクトを大幅に低減しつつ、他のアーチファクトをも強調してしまう場合があることが一般に認識されている。

Ｈ．２６４が、様々な符号化パラメータについて増加された数の可能な値が可能であるという事実により、符号化プロセスを改善するために増加されたポテンシャルを生じるが、ビデオ符号化パラメータの選択に対して増加された感度を生じる。他の規格と同様に、Ｈ．２６４は、ビデオ符号化パラメータを選択するための手順を指定しないが、リファレンスインプルメンテーションを通して、符号化効率、ビデオ品質及び実現の実用性の間の適切なトレードオフを達成するように、ビデオ符号化パラメータを選択するために使用される場合がある。

しかし、記載される基準は、符号化パラメータの最適又は適切な選択と常になる場合はない。たとえば、基準は、ビデオ信号の特性について最適又は所望なビデオ符号化パラメータの選択とならない場合があるか、若しくは、基準は、現在の応用について適切ではない符号化された信号の付属する特性に基づいていない場合がある。

したがって、ビデオ符号化のための改善されたシステムは有利であって、特に、ビデオ符号化を改善するためにＨ．２６４のような出現している規格の可能性を利用する改善されたビデオ符号化システムは有利である。特に、符号化パラメータの改善された選択を可能にするビデオ符号化システムが望まれる。

したがって、本発明は、先に述べた問題点のうちの１以上を緩和、軽減又は除去することを目的とする。

本発明の第一の態様によれば、ビデオ符号化装置が提供され、このビデオ符号化装置は、符号化するための画像を受信するための手段、画像を複数の画像領域に分割するための手段、複数の画像領域のうちの少なくとも１つの画像領域について画像特性を決定するための手段、及び画像特性に応答して少なくとも１つの画像領域についてビデオ符号化パラメータを選択するための手段を有するビデオ分析プロセッサと、符号化のために画像を受信するための手段と、ビデオ分析プロセッサからビデオ符号化パラメータを受信するための手段、及び少なくとも１つの画像領域についてビデオ符号化パラメータを使用して画像を符号化するための手段を有するビデオエンコーダと、を有している。

本発明は、ビデオエンコーダのための１以上のビデオ符号化パラメータが外部の画像及びビデオ分析に応答して選択されるのを可能にする。選択されたビデオ符号化パラメータは、１以上の画像について使用される場合がある。外部分析により、画像はいずれか適切な基準又はアルゴリズムに従って異なる画像領域に分割され、ビデオエンコーダで実行されるいずれかのプロセスとは独立である場合がある。これにより、効率的なリソースの利用及び処理の分割が可能となり、ビデオ符号化パラメータは、ローカルの空間画素分析のみ以外のパラメータに応答して決定することができる。これにより、ビデオ符号化パラメータの改善された選択が可能となり、したがって、低減された符号化データレート及び／又は改善された符号化されたビデオ品質が可能となる。

さらに、本発明は、ビデオ分析プロセッサにより実行される外部ビデオ分析について、異なる領域でビデオ符号化パラメータの選択について異なる基準を使用するのが可能である。少なくとも１つの画像領域におけるビデオ符号化パラメータの選択のための基準は、その領域の特性に応答して選択される場合がある。これにより、たとえばビットレートとビデオ品質との間の異なるトレードオフが、個々の領域の特性に依存して使用されるのが可能となる。たとえば、移動する物体のビデオ符号化パラメータは、所与の品質対データレートのトレードオフに従って選択される場合があり、異なる品質対データレートのトレードオフは、バックグランドの対象物について使用される場合がある。したがって、本発明は、異なる領域における異なる相対的なビデオ品質レベルが許容される。これは、異なる物体の相対的に知覚される重要度が変動する場合がある、異なる応用について有効である場合がある。画像は、それ自身で符号化された信号である場合がある。

本発明は、改善されたビデオ符号化が可能となり、低減された符号化データレート、改善されたビデオ品質、及び／又は、符号化されたビデオ信号の特性の間の改善された、変動する及び／又はフレキシブルなトレードオフが特に許容される。本発明は、実現のために適切な、低い複雑さ及び／又はフレキシブルなビデオ符号化装置について可能である。

本発明の特徴によれば、画像を分割するための手段は、画像のセグメント化により複数の画像領域を決定するために作用する。これは、ある画像の画像領域に分割する適切なアプローチを提供するものであって、それぞれの画像領域は、同じビデオ符号化パラメータは、有利にも使用される場合がる。画像は、適切なアルゴリズム又は基準に従って異なる領域にセグメント化される場合がある。画像のセグメント化は、画像値から導出される特徴、及び／又はこれらの値への数学的な計算から導出される特徴の類似性に基づいて、全体の画像を再帰的に分裂するか、又は画像における画素のグループをマージすることで、実行される場合がある。これにより、所定の色、スペクトル特性等を有する領域を分離することが可能となる。画像の系列では、それぞれの画素のセグメント化を個別に実行するか、たとえば動き補償について使用されるようないずれかの整合基準又はアルゴリズムを使用して、連続する画像に１つの画像のセグメント化を投影及びリファインすることが可能である。

本発明の異なる特徴によれば、画像のセグメント化は、ビデオ信号のフレーム間の対象物をトラッキングすることを含んでいる。これは、画像領域への分割を容易にし、及び／又は画像間の一致及び相関を増加させる。たとえば、同じビデオ符号化パラメータは、連続する画像における同じ対象物について使用される場合があり、その対象物のビデオ符号化における整合性が許容され、符号化された画像の低減された雑音が可能となる。

本発明の異なる特性によれば、画像を分割するための手段は、画像の特徴に含まれていない画像の特性に応答して複数の画像の領域を分割するために作用する。フレキシブルな領域の選択は、ビデオ符号化パラメータを選択するための基準とは独立に行われる場合がある。これは、改善されたビデオ符号化を可能にし、特に、改善されたビデオ品質及び／又は低減された符号化信号のデータレートを可能にする。たとえば複数の動く対象物及びバックグランドの対象物が決定されるように、画像は、異なる対象物の動き特徴に応答して、複数の領域に分割される場合がある。たとえば、それぞれの領域又は対象物のビデオ符号化パラメータは、領域又はブロックの他の特徴に応答して選択される場合があり、選択基準は、異なるブロックについて異なる場合がある。たとえば、ビデオ符号化パラメータは、動く物体について第一の品質レベルを達成するために選択される場合があり、バックグランドの対象物の第二の高い品質レベル及び特定の符号化パラメータは、個々の対象物の（高周波成分のレベルのような）所与の画像特徴について適切な品質レベルを達成するために選択される場合がある。

本発明の異なる特徴によれば、画像を分割するための手段は、ビデオ符号化パラメータに対して高い感度となる画像の特徴を有する画像領域として少なくとも１つの画像の領域を決定するために作用する。これにより、適切な基準又はアルゴリズムに従って感度の高い領域を決定することができ、これらの領域についてビデオ符号化パラメータを選択するために比較的高い品質の要件を使用することができる。これにより、符号化されたビデオ信号の改善されたビデオ品質が可能となる。

本発明の異なる特徴によれば、画像を分割するための手段は、セグメント化の基準に応答して複数のセグメントに画像を分割し、複数のセグメントをグループ化することで少なくとも第一の画像領域を決定するために作用する。これは、個々のセグメントをグループ化することで、画像領域を決定する効率的かつ低い複雑さのやり方が可能となる。画像領域は、画像における複数の個別の領域を有する場合がある。

本発明の異なる特性によれば、複数のセグメントへの分割は、セグメント化の基準に応答し、グループ化は、複数のセグメントのビデオ符号化の特徴に応答する。セグメント化の基準は、同じビデオ符号化パラメータで有利にも符号化される場合がある領域を決定するのに特に適切である場合がある。たとえば、画像領域は、画像における動く対象物に対応する全てのセグメントをグループ化することで形成される場合がある。これは、画像領域についてビデオ符号化パラメータを選択する効率的かつ低い複雑さのアプローチが可能となり、ビデオエンコーダとビデオ分析プロセッサとの間の効率的なインタフェースが可能となる。セグメント化の基準は、たとえば、色特性、テクスチャ特性及び／又はフラットネス又は非一様性の特性のような画像の特徴に関連する場合がある。

本発明の異なる特徴によれば、画像の特徴は、テクスチャ特性を有している。これにより、ビデオ符号化パラメータが所与のテクスチャ特性について適切な符号化を提供するために選択することができる。特に、ビデオ符号化パラメータを高い非一様性の領域のテクスチャ特性に適合することができ、Ｈ．２６４又はＭＰＥＧ−４ＡＶＣビデオエンコーダのような公知のエンコーダで典型的に遭遇する、部分的なテクスチャの汚れ又は「可塑化“plastification”」が低減される場合がある。

本発明の異なる特徴によれば、ビデオ符号化装置は、ビデオエンコーダからビデオ分析プロセッサに符号化画像を結合するための手段を更に有し、ビデオ分析プロセッサは、符号化画像に応答して画像の特徴を生成するために作用する。これは、ビデオ符号化パラメータの改善された選択、改善されたビデオ品質、及び／又はビデオ符号化の低減されたデータレートが可能となる。画像の特徴は、符号化画像の特徴に応答して、特に、ビデオ符号化に関連する特徴に応答して決定される場合がある。たとえば、ビデオ符号化のアーチファクト及び／又はエラーが決定され、画像の特徴を決定するのに使用される場合がある。たとえば、画像の特徴は、ある領域における符号化信号の品質レベルに関連される場合があり、所望の品質レベルを更に密に達成するためにビデオ符号化パラメータの変更を生じる場合がある。したがって、反復的なビデオ符号化及びビデオ符号化パラメータの選択が実現される場合がある。反復は、たとえば、所与の符号化されたビデオ品質レベルが達成されるまでの１以上の回数だけ繰り返される場合がある。

本発明の異なる特徴によれば、ビデオ符号化装置は、少なくとも１つの画像についてビデオ符号化パラメータを反復的に選択し、少なくとも１つの画像領域についてビデオ符号化パラメータを使用して画像を符号化することで、画像を符号化するために作用する。これは、改善されたビデオ品質及び／又は低減されたデータレートについて、ビデオ符号化により達成されるのを可能にする。反復的なビデオ符号化及びビデオ符号化パラメータの選択が実現される場合もある。反復は、たとえば、所与の符号化されたビデオ品質が達成されるまで１以上の回数だけ繰り返される場合がある。

本発明の異なる特徴によれば、ビデオ符号化パラメータは、量子化パラメータ、符号化ブロックタイプのパラメータ、フレーム間予測モードパラメータ、参照画像選択パラメータ、及び／又はデブロッキングフィルタリングパラメータ、これらのパラメータは、画像領域の特徴にビデオ符号化を適合するために特に適している。

本発明の異なる特徴によれば、ビデオエンコーダは、Ｈ２６４（又はＨ．２６４又はＭＰＥＧ−４ＡＶＣ）規格に従ってビデオ信号を符号化するために作用する。したがって、本発明は、改善されたＨ．２６４（又はＨ．２６Ｌ又はＭＰＥＧ−４ＡＶＣ）ビデオエンコーダ装置をイネーブルにする。

本発明の第二の態様によれば、ビデオ分析プロセッサとビデオエンコーダを有するビデオ符号化装置のためのビデオ符号化の方法が提供される。ビデオ分析プロセッサにおいて、符号化のための画像を受信し、画像を複数の画像領域に分割し、複数の画像領域のうちの少なくとも１つの画像領域について画像の特徴を決定し、画像領域の画像の特徴に応答して画像領域についてビデオ符号化パラメータを選択し、ビデオ符号化パラメータをビデオエンコーダに供給する。ビデオエンコーダにおいて、符号化のために画像を受信し、ビデオ分析プロセッサからビデオ符号化パラメータを受信し、それぞれ画像領域についてビデオ符号化パラメータを使用して画像を符号化する。

本発明の特徴によれば、本方法は、以下のステップを更に有している、ビデオ分析プロセッサにおいて、ビデオエンコーダから符号化画像を受信し、符号化画像を複数の符号化画像領域に分割し、複数の符号化された画像領域の少なくとも１つの符号化された画像領域について符号化された画像の特徴を決定し、符号化された画像領域の符号化された画像の特性に応答して、符号化された画像領域について第二のビデオ符号化パラメータを選択し、第二のビデオ符号化パラメータを供給する。ビデオエンコーダでは、ビデオ分析プロセッサからの第二のビデオ符号化パラメータを受信し、それぞれの画像領域について第二のビデオ符号化パラメータを使用して画像を符号化する。

これにより、改善されたビデオ品質及び／又は低減されたデータレートが画像の符号化により達成される。反復的なビデオ符号化及びビデオ符号化パラメータの選択が実現される場合がある。反復は、たとえば、所与の符号化されたビデオの品質レベルが達成されるまでに１以上の回数だけ繰り返される場合がある。

本発明のこれらの態様及び他の態様、特徴及び利点は、以下に記載される実施の形態を参照して明らかとなるであろう。
本発明の実施の形態は、添付図面を参照して例を通して説明される。

以下の記述は、Ｈ．２６Ｌ、Ｈ．２６４又はＭＰＥＧ−４ＡＶＣビデオ符号化規格に従うビデオ符号化に適用可能な本発明の実施の形態に焦点をあてている。しかし、本発明は、この応用に制限されず、他のビデオ符号化アルゴリズム、仕様又は規格にも適用される場合がある。

図１は、本発明の実施の形態に係るビデオ符号化装置１００のブロック図の例示である。

ビデオ符号化装置１００は、ビデオ分析プロセッサ１０１及びビデオエンコーダ１０３を有している。ビデオ分析プロセッサ１０１及びビデオエンコーダ１０３は、外部のビデオソース１０５に結合され、この外部ビデオソースから、符号化されるべきビデオ信号が受信される。ビデオ分析プロセッサ１０１は、ビデオソース１０５に結合されるプロセッサ受信機１０７を有している。プロセッサ受信機１０７は、符号化されるべきビデオ信号を受信する。ビデオ信号は、符号化される複数のピクチャを有している。好適な実施の形態では、プロセッサ受信機１０７は、ピクチャのビデオ分析の間に画像を記憶するバッファを有している。受信機は、ピクチャを複数のピクチャ領域に分割するために作用するセグメンテーションプロセッサ１０９に結合される。ピクチャは、いずれか適切なアルゴリズム又は基準に応答して、２以上のピクチャ領域に分割され、特に、ピクチャは、所与の基準が合致した１つのピクチャ領域を選択することで２つのピクチャ領域に分割される場合がある。

セグメンテーションプロセッサ１０９は、画像特徴プロセッサ１１１に結合される。画像特徴プロセッサ１１１には、セグメンテーションプロセッサ１０９により決定された画像領域のうちの１つ、１以上又は全部に関連するデータが供給される。これに応じて、画像特徴プロセッサ１１１は、複数の画像領域のうちの少なくとも１つの画像領域について画像の特徴を決定する。画像の特徴は、好適な実施の形態では、画像領域のビデオ符号化の性能に影響を及ぼす場合がある画像領域の特性を示している。たとえば、画像の特徴は、画像領域に含まれる画像の空間周波数の特性を示している場合がある。特に、画像の特徴は、画像領域が比較的低い高周波成分を有する一様な画像を含んでいるか、比較的高い高周波成分を有する画像を含むかを示している場合がある。

画像特徴プロセッサ１１１は、ビデオ符号化セレクタ１１３に結合され、このセレクタは、画像の特徴に応答して少なくとも１つの画像領域についてビデオ符号化パラメータを選択するために作用する。ビデオ符号化セレクタ１１３は、画像領域について決定されたような特徴を有する画像の符号化のために特に適したビデオ符号化パラメータを選択することが好ましい。幾つかの実施の形態では、ビデオ符号化パラメータは、異なるビデオ符号化パラメータのグループを有し、及び／又はビデオ符号化パラメータについて許容可能な値のリストを有する場合がある。しかるに、幾つかのケースでは、特定のパラメータ値は、１以上のビデオ符号化パラメータについて選択される場合があり、他の実施の形態では、許容可能な値のレンジを有するビデオパラメータが選択される場合がある。したがって、ビデオ符号化パラメータは、連続するビデオ符号化のための符号化パラメータの選択について制約又は制限を提供する。このように、好適な実施の形態では、ビデオ符号化セレクタ１１３は、ビデオエンコーダ１０３の動作を制御又は影響を及ぼす。

ビデオエンコーダ１０３は、ビデオ分析プロセッサ１０１からビデオ符号化パラメータを受信するためのインタフェース１１５を有している。インタフェース１１５は、ビデオ符号化セレクタ１１３にこれに応じて結合される。ビデオ分析プロセッサ１０１とビデオエンコーダ１０３との間の情報の交換のためのプロトコル及びインタフェースは、用途に依存し、特定の実施の形態に適するために当業者により選択される場合がある。

ビデオエンコーダ１０３は、ビデオソース１０５に結合されるエンコーダレシーバ１１７を更に有しており、これより符号化のために画像を受信するために作用する。エンコーダレシーバ１１７及びインタフェース１１５は、少なくとも１つの画像領域についてビデオ符号化パラメータを使用して画像を符号化するために作用するビデオ符号化プロセッサ１１９に結合されている。このように、ビデオ符号化プロセッサ１１９は、ビデオ分析プロセッサ１０１により決定されたビデオ符号化パラメータを使用してビデオソースから受信された画像を符号化する。これに応じて、ビデオ符号化は、ビデオ分析プロセッサ１０１の外部分析に基づいて最適化される場合があり、ビデオエンコーダの処理とは独立である場合がある。好適な実施の形態では、ビデオ符号化プロセッサ１１９は、Ｈ．２６４ビデオエンコーダである。

好適な実施の形態では、ビデオ符号化プロセッサ１１９からの符号化されたビデオ信号は、ビデオ分析プロセッサ１０１に結合される。特に、ビデオ符号化プロセッサ１１９の出力は、図１に示されるように、プロセッサレシーバ１０７に結合される場合がある。このフィードバック結合により、ビデオ分析プロセッサ１０１は、符号化された信号に基づいて画像の特徴及びビデオ符号化パラメータを決定することが可能である。ビデオ符号化パラメータを選択すること、及び画像を符号化することのプロセスは、繰り返される場合がある。これにより、ビデオ符号化の改善された品質及び／又は効率が可能となる。画像の特徴及びビデオ符号化パラメータは、異なる繰返しで異なる場合がある。

しかるに、好適な実施の形態によれば、Ｈ．２６４符号化パラメータの適合は、空間的なローカルの画素分析に制限されず、セグメンテーションのようなピクチャ及びビデオ分析の外部の方法を含んでいる場合がある。しかるに、高水準のデータ分類が使用される場合があり、特に、高水準の分類及び反復的なアプローチにより、画像領域の識別を容易にする場合があり、この場合、符号化のアーチファクトが生じるか、又は特に邪魔となる場合がある。更に又は代替的に、これらのアーチファクトを低減するため、符号化パラメータの適合を容易にする場合がある。

図２は、本発明の好適な実施の形態に係るビデオ符号化の方法の例示である。本方法は、図１のビデオ符号化装置に適用され、図１のビデオ符号化装置を参照して記載される。記載される実施の形態では、ステップ２０１〜２０９は、ビデオ分析プロセッサ１０１で実行され、ステップ２１１〜２１９は、ビデオエンコーダ１０３で実行される。

ステップ２０１では、プロセッサ１０７は、外部のビデオソース１０５から符号化のための画像を受信する。

ステップ２０１に続いてステップ２０３では、ピクチャは、セグメンテーションプロセッサ１０９に供給され、ピクチャは、複数の画像領域に分割される。シンプルな実施の形態では、１つの画像領域は、基準に従って選択される場合があり、画像は、選択された画像領域からなる２つの画像領域に分割され、画像領域は、画像の残りを有している。しかし、好適な実施の形態では、画像は、幾つかの画像領域に分割される。

好適な実施の形態では、画像は、画像のセグメント化により画像領域に分割される。好適な実施の形態では、画像のセグメント化は、共通の特性（たとえば色）に基づいて画素の空間的なグループ化の処理を含んでいる。ピクチャセグメンテーション及びビデオセグメンテーションに対して幾つかのアプローチが存在し、それぞれの効率は、一般に用途に依存する。画像のセグメント化のための公知の方法又はアルゴリズムが本発明から逸脱することなしに使用される場合があることが理解される。ピクチャ又はビデオセグメンテーションへの導入は、E.Steinbach, P.Eisert, B.Girodによる“Motion-based Analysis and Segmentation of Image Sequence using 3-D Scene Models” Signal Processing: Special Issue: Video Sequence Segmentation for Content-based Processing and Manipulation, vol.66, no.2, pp.233-248, 1998に見られる場合がある。

ピクチャセグメンテーションは、画素値及び／又はこれらの値に関する数学的な計算から導出することができる特徴の類似性に基づいて、画像全体を再帰的に分割するか、又は画像における画素のグループをマージするかで実行される場合がある。これにより、所定の色、空間特性等を有する領域を分離することが可能となる。画素の系列では、たとえば動き補償で使用されるようなマッチング基準又はアルゴリズムを使用して、それぞれの画像のセグメント化を個別に実行するか、１つの画像のセグメント化の結果を連続する画像に投影及びリファインすることも可能である。

このようにして得られたピクチャセグメントは、任意の画素数を一般に含んでいる場合があり、このことは、セグメントの境界が任意の幾何学的な形状を有する場合があることを意味する。しかし、ブロックベース（Ｈ．２６４）符号化パラメータ及びデシジョンの適合について、それぞれのセグメントは、複数の画素ブロック若しくは１以上のピクチャスライスを最終的に含んでいる。このケースでは、不規則なセグメントの境界の必要なリシェーピング（re-shaping）は、いずれか適切なアルゴリズム又は基準に基づいて、隣接するセグメント間の画素を再び割り当てることで達成することができる。たとえば、過半数の基準を使用することもでき、所定のブロックがそのエリアの５０％以上が最初のセグメントとオーバラップする場合に、所定のセグメントに含まれることを意味している。代替的に、セグメント化のプロセスは、スタートから画素のブロック状のグループを使用して動作するために、かかるように制限される場合がある。

好適な実施の形態では、セグメント化は、色又は非一様性のレベル（又はフラットネス）のような共通の特徴に応答して、対称物を検出すること、ある画素から次の画素にこの対象物を連続してトラッキングすることを含んでいる。これにより、簡略化されたセグメンテーションが提供され、同一のビデオ符号化パラメータで符号化されている適切な領域の識別を容易にする。さらに、ある実施の形態では、領域のためのビデオ符号化パラメータを決定するために使用される画像の特徴とは異なるパラメータが使用される場合がある。たとえば、セグメント化は、類似の色成分を有する画像領域全体をグループ化する場合がある。しかるに、たとえばビデオ信号がフットボールの試合からなる場合、セグメント化は、支配的な緑領域を識別すること、及びこれらを互いにグループ分けすることを含む場合がある。しかし、結果的に得られる画像領域にためのビデオ符号化パラメータは、緑色の支配に基づいておらず、テクスチャ又はこれらのエリアの詳細なレベルに応答して選択される場合がある。これにより、草に主に対応する画像の領域が識別され、効率的に高いテクスチャエリアを符号化するために適したパラメータを使用して符号化される。さらに、たとえばフットボールの選手のシャツが１つの画像において識別され、連続する画像において動き補償を通して追跡される。例として、最初の画像がセグメント化され、得られたセグメントは、新たな画像が独立に再びセグメント化されるまで、その後の画像にわたり追跡される。セグメントのトラッキングは、公知の動き予測技術を使用することで、実行されることが好ましい。

好適な実施の形態では、画像領域は、ビデオ符号化パラメータの類似の選択に適している複数の画像領域を有する場合がある。したがって、画像領域は、複数のセグメントのグループ化により形成される場合がある。たとえば、ビデオ信号がフットボール試合に対応する場合、支配的な緑色を有する全ての領域が１つの画像領域として互いにグループ化される場合がある。別の例として、チームの一方のシャツの色に対応する支配的な色を有する全てのセグメントは、１つの画像領域として互いにグループ化される場合がある。

ピクチャのセグメントは、物理的な対象物に必ずしも対応している必要がない。たとえば、２つの隣接するセグメントは、異なる対象物を表している場合があるが、両者共に高くきめを出している場合がある。このケースでは、両者のセグメントは、ビデオ符号化パラメータの同じ選択について適している場合がある。さらに、反復的なアプローチが実現された場合、セグメント化は、Ｈ．２６４ビデオ符号化から利用可能な符号化の統計量を含んでいるか、又は該統計量に排他的に基づいている。たとえば、２つの異なるセグメントにおける動きデータの類似性は、これら２つのセグメントを更に大きなセグメントにクラスタリングするための動機となる。

ある実施の形態では、ビデオ符号化パラメータの選択に対して特に感度が高い１以上の領域が決定されるように画像は分割される。たとえば、Ｈ．２６４がＭＰＥＧ−２ビデオ符号化の典型的なアーチファクトを大幅に低減する一方、他のアーチファクトを引き起こす可能性があることが一般に知られている。１つのかかるアーチファクトは、テクスチャの部分的な除去であり、幾つかの画像領域のプラスティックのような外観を生じる。これは、高精細ＴＶのような大型の画像フォーマットについて特に知覚することができる。

テクスチャの除去についての可能性のある説明は、支配的に高周波の性質からなるものであって、Ｈ．２６４において、１６×１６マクロブロックが４×４ブロックの変換を使用して変換される場合があることである。対照的に、ＭＰＥＧ−２は、同じ目的のために８×８ＤＣＴ変換を使用する。これに応じて、より小さな変換ブロックを使用することで、Ｈ．２６４は、信号エネルギーをより大きな数の低周波係数にし、（たとえば、係数の重み又は量子化による）連続するビデオ符号化の間に更に抑圧される少数の高周波係数を残す。これに応じて、１実施の形態では、画像のセグメント化は、ハイレベルのテクスチャをもつエリアは、画像領域として識別及びグループ化される場合がある。ビデオ符号化パラメータは、次いで、高いテクスチャの画像のための高品質の符号化を保証するために選択される場合がある。特に、ビデオ符号化パラメータは、テクスチャ情報の大幅に低い損失となることが知られているように、ＭＰＥＧ−２ビデオ符号化パラメータに対応するために選択される場合がある。

ステップ２０３に続いてステップ２０５では、複数の画像領域のうちの少なくとも１つの画像領域についての画像の特徴が決定される。いずれか適切な画像の特徴は、本発明から逸脱することなしに使用される場合がある。好ましくは、画像の特徴は、画像領域のビデオ符号かの性能について関連する１以上の特徴を含んでいる。たとえば、画像の特徴は、画像の領域について空間的な周波数の分散を示している場合がある。特に、一様性又は平坦性のレベルが決定される場合があり、好ましくは、画像の特徴は、テクスチャの特徴を含んでいる。テクスチャの特徴は、画像領域におけるブロックで実行される離散コサイン変換（ＤＣＴ）から決定される場合がある。高周波係数におけるエネルギーの集中度が高くなるにつれて、テクスチャレベルがより高く考慮される場合がある。別の画像の特徴は、動き予測パラメータであり、画像領域に関連する対象物の画像内の相対速度を示す場合がある。

ステップ２０５に続いてステップ２０７では、ビデオ符号化セレクタ１１３は、画像領域の画像の特徴に応答して、画像領域についてビデオ符号化パラメータを選択する。好適な実施の形態では、符号化ブロックタイプパラメータは、テクスチャの特徴に応答して選択される。したがって、テクスチャの特徴がハイレベルのテクスチャを示す場合、大きなブロックサイズが選択され、低いテクスチャのレベルが示された場合、より小さなブロックサイズが選択される場合がある。これにより、低減されたテクスチャ情報の損失が提供され、可塑化又はテクスチャの不鮮明な作用が低減される。

ビデオ符号化パラメータは、以下を含めて、付加的又は代替的に他のパラメータを有している場合がある。

量子化パラメータ：量子化パラメータは、ビデオ符号化セレクタ１１３により設定される場合がある。たとえば、量子化閾値が設定される場合があり、この閾値以下では、符号化ＤＣＴに続く全ての係数がゼロに設定される。低い方の閾値は、低減されたビットレートとなり、低減された画質となる場合がある。移動する対象物のビデオ品質レベルは、静止している対象物のビデオ品質レベルよりも人間の知覚にとって重大ではないので、量子化閾値は、画像の特徴の増加された動きの示唆について低減される場合がある。

フレーム間予測モードパラメータ：たとえば、ビデオ符号化パラメータは、フレーム間又はフレーム内予測の間で選択するために設定される場合があり、及び／又は予測ブロックサイズは、画像の特徴に応答して設定される場合がある。

参照画像の選択パラメータ：たとえば、補間又は動き予測のための１以上のピクチャユーザは、画像の特徴に応答して選択される場合がある。代替的又は付加的に、現在の画像の符号化のための基準として使用される画像に関する制約も選択される場合がある。

デブロッキングフィルタリングパラメータ：たとえば、デブロッキングフィルタのアクチベーション及び／又はフィルタリングの強度は、ビデオ符号化セレクタ１１３により設定される場合がある。

特定の例として、所与の閾値を超えるテクスチャレベルを示す画像の特徴により、ＭＰＥＧ−２ビデオ符号化で使用されるパラメータに密に関連されるパラメータ値を含むビデオ符号化パラメータが選択されることになる場合がある。したがって、ビデオ符号化パラメータは、ＭＰＥＧ−２符号化に利用可能なパラメータ値に対応するパラメータ値を有している場合がある。たとえば、フレーム間予測は、８×８ブロックのみを使用するように、Ｈ．２６４符号化について制限される場合があり、ビデオ符号化パラメータは、最近にデコードされた画像のみに基づくように予測を制限する。さらに、アダプティブブロック変換（ＡＢＴ）フィルタリングは、変換のサイズが予測のブロックサイズに整合することを保証するためにアクチベートされる場合がある［８］。

これにより、ＭＰＥＧ−２が最近にデコードされた画像及び８×８変換（ＤＣＴ）のみを使用するため、ＭＰＥＧ−２符号化に対する良好な近似となり、１６×１６ブロックに基づいたフレーム間予測を実行する。ＭＰＥＧ−２と互換性のあるパラメータの選択により、特定の画像領域について、ＭＰＥＧ−２と同じビデオ符号化パフォーマンスが達成される。したがって、ＭＰＥＧ−２が従来のＨ．２６４符号化に比較して好適なパフォーマンスを提供することが期待される画像領域が決定される場合がある。特定の画像領域について、Ｈ．２６４エンコーダのパフォーマンスは、ＭＰＥＧ−２に類似又は同一の符号化パラメータを使用するために制御される場合がある。このようにして、好適なＭＰＥＧ−２符号化のパフォーマンスは、Ｈ．２６４エンコーダから達成される場合がある。

ステップ２０７に続くステップ２０９では、ビデオ符号化パラメータは、ビデオエンコーダ１０３及び特にインタフェース１１５に供給される。

ステップ２１１〜２１９は、ビデオエンコーダ１０３で実行される。ステップ２１１では、エンコーダレシーバ１１７は、外部のビデオソース１０５から符号化されるべき画像を受信する。図２は、ステップ２０９に続くステップ２１１を例示しているが、典型的に
ステップ２０１及び２１１は、同時に実行される。特に、エンコーダレシーバ１１７は、ビデオ分析プロセッサ１０１がビデオ符号化パラメータを決定するまで、画像を記憶するバッファを有している場合がある。

ステップ２１３では、インタフェース１１５は、ビデオ符号化セレクタ１１３からのビデオ符号化パラメータを受信する。典型的に、ステップ２０９及び２１３は同時である。

ステップ２１５では、ビデオ符号化プロセッサ１１９は、それぞれの画像領域についてビデオ符号化パラメータを使用して画像を符号化する。ビデオ符号化は、好適な実施の形態ではＨ．２６４規格に従い、ビデオエンコーダは、Ｈ．２６４ビデオエンコーダである。しかし、符号化プロセスは、受信されたビデオ符号化パラメータにより、及びビデオ分析プロセッサ１０１により制御される。特に、ビデオ符号化パラメータは、符号化を実行するときにビデオ符号化プロセッサ１１９が選択することができる、多数の可能なパラメータ選択を有する場合がある。

好適な実施の形態では、符号化されたビデオ信号は、プロセッサレシーバ１０７に供給され、ビデオ分析プロセッサ１０１は、符号化されたビデオ信号に基づいて別の分析を実行する。したがって、ステップ２１７では、ビデオエンコーダ１０３は、繰返しプロセスは終了したかを判定する。終了した場合、符号化された画像は、ステップ２１９で出力される。

繰返しが終了していない場合、本方法はステップ２０１に戻り、ステップ２０１〜２０９が繰り返されるが、今回は、外部のピクチャソースから受信されたオリジナルピクチャよりはむしろ、符号化されたピクチャに基づいている。したがって、第二の繰返しでは、プロセッサレシーバ１０７は、ステップ２０１でビデオエンコーダからの符号化された画像を受信し、セグメンテーションプロセッサ１０９は、ステップ２０３で符号化された画像を複数の符号化された画像領域に分割し、画像特徴プロセッサ１１１は、ステップ２０５で、複数の符号化された画像領域のうちの少なくとも１つの符号化された画像領域について符号化された画像の特徴を決定し、ビデオ符号化セレクタ１１３は、ステップ２０７で符号化された画像領域の符号化された画像の特徴に応答して、符号化された画像の領域について第二のビデオ符号化パラメータを選択し、ステップ２０９で第二のビデオ符号化パラメータをビデオエンコーダに供給する。

この第二の繰返しでは、画像の特徴及びビデオ符号化パラメータの選択は、符号化された信号の特徴に基づいている場合があり、特に、ビデオ符号化の特性、統計量又はエラーに応答して決定される場合がある。これにより、多くのケースでは、プロセスの促進が可能となる。たとえば、テクスチャレベルは、所与の画像領域におけるマクロブロックの符号化のＤＣＴ係数の係数値から直接決定される場合がある。繰返しは、所望のビデオ符号化パフォーマンスを達成するため、改善されたビデオ符号化について、及びビデオ符号化パラメータについて良好に調整される（fine tuned）。

第二のビデオ符号化パラメータは、その後ビデオエンコーダ１０３に供給され、画像は、第二のビデオ符号化パラメータを使用して再符号化される。

プロセスは、再符号化されたビデオ信号をプロセッサレシーバ１０７に供給し、記載されたステップを繰り返すことで更に繰り返される場合がある。プロセスは、望まれるよりも多くの回数で繰り返される場合がある。たとえば、プロセスは、所与の品質レベルが達成されるまで、又は所与の計算リソース又は時間が使用されるまで繰り返される場合がある。

繰返し符号化の提案されるコンセプトは、オフラインのマルチパス符号化について特に適している。このアプリケーションでは、入力ビデオ信号は、多数の繰返しで符号化され、それぞれの繰返し後に得られる符号化の統計量は、次の繰返しのために符号化パラメータを調節するために使用される。

本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらいずれかの組み合わせを含むいずれかの形式で実現することができる。しかし、好ましくは、本発明は、１以上のデータプロセッサ及び／又はデジタルシグナルプロセッサで実行するコンピュータソフトウェアとして実現される。本発明の実施の形態のエレメント及びコンポーネントは、適切な方法で物理的、機能的及び論理的に実現される場合がある。

本発明は、好適な実施の形態と共に記載されたが、本明細書で述べた特別の形式に限定されることが意図されていない。むしろ、本発明の範囲は、特許請求の範囲によってのみ制限される。請求項では、用語「有する“comprising”」は、他のエレメント又はステップの存在を排除するものではない。さらに、個々に列挙されているが、複数の手段、エレメント又は方法ステップは、たとえば１つのユニット又はプロセッサにより実現される場合がある。さらに、個々の特徴が異なる請求項で含まれている場合があるが、これらは、有効に結合される場合があり、異なる請求項における包含は、特徴の結合が実施可能でないこと及び／又は有利ではないこと、を意味しない。さらに、単数の参照は、複数を排除するものではない。したがって、「１つの“ａ”」、「第一の“first”」及び「第二の“second”」等に対する参照は、複数を排除するものではない。

本発明の実施の形態に係るビデオ符号化装置のブロック図である。 本発明の好適な実施の形態に係るビデオ符号化の方法を説明するフローチャートである。

Claims (20)

1. 符号化のために画像を受けるための手段、前記画像を複数の画像領域に分割するための手段、前記複数の画像領域のうちの少なくとも１つの画像領域について画像の特徴を決定するための手段、及び前記画像の特徴に応答して前記少なくとも１つの画像領域についてビデオ符号化パラメータを選択するための手段を含むビデオ分析プロセッサと、
   符号化のために画像を受けるための手段、前記画像分析プロセッサからのビデオ符号化パラメータを受けるための手段、及び前記少なくとも１つの画像領域について前記ビデオ符号化パラメータを使用して前記画像を符号化するための手段を含むビデオエンコーダと、
   を有することを特徴とするビデオ符号化装置。
2. 前記画像を分割するための前記手段は、前記画像をセグメント化することで前記複数の画像領域を決定するために作用する、
   請求項１記載のビデオ符号化装置。
3. 前記画像のセグメント化は、ビデオ信号からなる画像間の対象物をトラッキングするステップを含む、
   請求項２記載のビデオ符号化装置。
4. 前記画像を分割するための前記手段は、前記画像の特徴に含まれていない画像の特性に応答して前記複数の画像領域を分割するために作用する、
   請求項１記載のビデオ符号化装置。
5. 前記画像を分割するための前記手段は、ビデオ符号化パラメータに対して高い感度をもつ画像の特徴を有する画像領域として前記少なくとも１つの画像領域を決定する、
   請求項１記載のビデオ符号化装置。
6. 前記画像を分割するための前記手段は、セグメント化の基準に応じて前記画像を複数のセグメントに分割し、前記複数のセグメントをグループ化することで前記少なくとも１つの画像領域を決定するために作用する、
   請求項１記載のビデオ符号化装置。
7. 前記複数のセグメントへの分割は、セグメント化の基準に応じて実行され、前記グループ化は、前記複数のセグメントのビデオ符号化の特徴に応じて実行される、
   請求項６記載のビデオ符号化装置。
8. 前記画像の特徴は、テクスチャ特性を含む、
   請求項１記載のビデオ符号化装置。
9. 前記ビデオエンコーダから前記ビデオ分析プロセッサに符号化された画像を結合するための手段を更に有し、前記ビデオ分析プロセッサは、前記符号化された画像に応答して前記画像の特徴を生成するために作用する、
   請求項１記載のビデオ符号化装置。
10. 前記ビデオ符号化装置は、前記少なくとも１つの画像領域についてビデオ符号化パラメータを反復的に選択し、前記少なくとも１つの画像領域について前記ビデオ符号化パラメータを使用して前記画像を符号化することで前記画像を符号化するために作用する、
    請求項９記載のビデオ符号化装置。
11. 前記ビデオ符号化パラメータは、量子化パラメータを含む、
    請求項１記載のビデオ符号化装置。
12. 前記ビデオ符号化パラメータは、符号化ブロックタイプパラメータを含む、
    請求項１記載のビデオ符号化装置。
13. 前記ビデオ符号化パラメータは、フレーム間予測モードパラメータを含む、
    請求項１記載のビデオ符号化装置。
14. 前記ビデオ符号化パラメータは、参照画像を選択するパラメータを含む、
    請求項１記載のビデオ符号化装置。
15. 前記ビデオ符号化パラメータは、デブロッキング・フィルタリングパラメータを含む、
    請求項１記載のビデオ符号化装置。
16. 前記ビデオエンコーダは、Ｈ．２６Ｌ規格に従って前記ビデオ信号を符号化するために作用する、
    請求項１記載のビデオ符号化装置。
17. ビデオ分析プロセッサ及びビデオエンコーダを有するビデオ符号化装置のためのビデオ符号化の方法であって、
    前記ビデオ分析プロセッサにおいて、
    符号化のための画像を受けるステップと、
    前記画像を複数の画像領域に分割するステップと、
    前記複数の画像領域のうちの少なくとも１つの画像領域について画像の特徴を決定するステップと、
    前記画像領域の画像の特徴に応答して前記画像領域についてビデオ符号化パラメータを選択するステップと、
    前記ビデオ符号化パラメータを前記ビデオエンコーダに供給するステップとを有し、
    前記ビデオエンコーダにおいて、
    符号化のための画像を受けるステップと、
    前記ビデオ分析プロセッサから前記ビデオ符号化パラメータを受けるステップと、
    それぞれの画像領域について前記ビデオ符号化パラメータを使用して前記画像を符号化するステップとを有する、
    ことを特徴とする方法。
18. 前記ビデオ分析プロセッサにおいて、
    前記ビデオエンコーダから符号化された画像を受信するステップと、
    前記符号化された画像を複数の符号化された画像領域に分割するステップと、
    前記複数の符号化された画像領域のうちで少なくとも１つの符号化された画像領域について符号化された画像の特徴を決定するステップと、
    前記符号化された画像領域の前記符号化された画像の特徴に応答して、前記符号化された画像領域について第二のビデオ符号化パラメータを選択するステップと、
    前記第二のビデオ符号化パラメータを前記ビデオエンコーダに供給するステップとを更に有し、
    前記ビデオエンコーダにおいて、
    前記ビデオ分析プロセッサから前記第二のビデオ符号化パラメータを受けるステップと、
    それぞれの画像領域について前記第二のビデオ符号化パラメータを使用して前記画像を符号化するステップとを更に有する、
    請求項１７記載のビデオ符号化の方法。
19. 請求項１８記載の方法を実行可能なコンピュータプログラム。
20. 請求項１９記載のコンピュータプログラムを有する記録媒体。
    

Images