JP2004289796A - 画像のシーケンスを適応的に符号化するシステムおよび方法 - Google Patents

Abstract

【課題】動きのアクティビティを考慮した効果的なレート制御を有する適応型フィールド／フレーム符号化方法を提供する。
【解決手段】画像は２つのフィールドからなる映像信号である。まず、トップフィールドとボトムフィールドとに分離される。次に動きアクティビティが、トップフィールドおよびボトムフィールドから抽出され、各画像は、抽出された動きアクティビティに応じてフレーム符号化またはフィールド符号化のいずれかのモードで符号化される。
【選択図】図７

Description

この発明は、包括的には、ビデオ圧縮の分野に関し、詳細には、インタレースされたビットストリームのフィールドレベル符号化またはフレームレベル符号化を内容に基づいて選択することに関する。

ビデオ圧縮は、視聴覚情報の記憶、送信、および処理を、より少ない記憶リソース、ネットワークリソース、およびプロセッサリソースで可能にする。最も広く使用されているビデオ圧縮の標準規格には、動画の記憶および検索用のＭＰＥＧ−１、ディジタルテレビ用のＭＰＥＧ−２、ならびに低ビットレートのビデオ通信用のＭＰＥＧ−４およびＨ．２６３が含まれる。これらについては、ISO/IEC 11172-2:1991「Coding of moving pictures and associated audio for digital storage media at up to about 1.5Mbps」、ISO/IEC 13818-2:1994「Information technology - generic coding of moving pictures and associated audio」、ISO/IEC 14496-2:1999「Information technology - coding of audio/visual objects」、およびITU-T「Video Coding for Low Bitrate Communication」Recommendation H.263, March 1996を参照されたい。

こられの標準規格は、画像またはフレームの空間圧縮、ならびにフレームのシーケンスの空間圧縮および時間圧縮を主に取り扱う比較的低レベルの仕様である。共通の特徴として、これらの標準規格は、各画像単位で圧縮を実行する。これらの標準規格により、広範囲のアプリケーションに対して高い圧縮率を達成することができる。

インタレースビデオは、一般に、走査形式のテレビシステムに使用される。インタレースビデオでは、ビデオの各画像は、トップフィールドとボトムフィールドに分割される。これら２つのインタレースされたフィールドは、画像の奇数番号の画素（ピクセル）行または画素ライン、および、偶数番号の画素行または画素ラインを表す。これら２つのフィールドは、異なった時間にサンプリングされ、これにより、再生中のビデオの時間的なスムーズさが改善される。プログレッシブビデオ走査形式と比較して、インタレースビデオは、異なる特性を有し、より多くの符号化オプションを提供する。

図１に示すように、１つの１６×１６のフレームベースのマクロブロック１１０は、２つの１６×８のフィールドベースのブロック１１１および１１２に分割することができる。この点で、離散コサイン変換（ＤＣＴ）（discrete cosine transform）をビデオのフレームまたはフィールドのいずれかに適用することができる。また、現フレームまたは現フィールドのブロックが、前フレームまたは前フィールドから予測される点で、大幅な柔軟性も得られる。これらのさまざまな符号化オプションが、さまざまな圧縮効果を提供するので、フレーム符号化モードまたはフィールド符号化モードを選択する適応型方法は、望ましい方法である。

ＭＰＥＧ−２標準規格に含まれるフレームおよびフィールドの符号化ツールは、Puri等著の「Adaptive Frame/Field Motion Compensated Video Coding」Signal Processing: Image Communications, 1993およびNetravali等著の「Digital Pictures: Representation Compression and Standards」Second Edition, Plenum Press, New York, 1995に記載されている。映像レベル符号化モードを選択する適応型方法は、それらの２つの参考文献には記載されていない。

１９９２年１２月１日にKutkaに交付された「Method for a calculation of a decision result for a field/frame data compression method」という発明の名称の米国特許第５，１６８，３５７号は、ＨＤＴＶビデオの各１６×１６マクロブロックの変換タイプを判定する方法を記載しており、具体的には、１６×１６フレームブロックＤＣＴまたは１６×８フィールドブロックＤＣＴの選択を記載している。その方法では、同じフィールドの２つのラインのフィールドピクセル対の差の絶対値の総和が求められ、フィールド総和が作成される。同様に、フレームの２つのラインのフレームピクセル対の差の絶対値の総和が求められ、フレーム総和が作成される。フレーム合計にフレームの重み係数を乗算したものを、フィールド合計から差し引くことにより、判定結果が形成される。判定結果が正の場合には、フレームが符号化され、そうでない場合には、２つのフィールドが別々に符号化される。

１９９３年７月１３日にPuri他に交付された「Adaptive coding and decoding of frames and fields of video」という発明の名称の米国特許第５，２２７，８７８号は、ビデオの符号化および復号化の方法を記載している。その方法では、フレームの符号化用に、４つの８×８輝度サブブロックが、マクロブロックから作成される。フィールドの符号化用に、各サブブロックが１つのフィールドのラインのみを含むように２つのフィールドのラインを分離することによって、４つの８×８輝度サブブロックが、マクロブロックから得られる。隣接する走査ライン間の差が、交互の奇数の走査ラインと偶数の走査ラインとの差より大きい場合には、フィールド符号化が選択される。そうでない場合には、フレーム符号化が選択される。その後、８×８ＤＣＴが、選択されたモードに従って、各フレームサブブロックまたは各フィールドサブブロックに適用される。

１９９５年７月１８日にLimに交付された「Image signal encoding apparatus using adaptive frame/field format compression」という発明の名称の米国特許第５，４３４，６２２号は、ブロック単位でのフレーム形式の圧縮とフィールド形式の圧縮との間の選択を行う手順を記載している。その手順では、選択は、指定された符号化形式に対応して各ブロックに使用されるビット数に基づいている。対応するブロックの歪みは考慮されない。圧縮方式は提供されない。

１９９８年４月７日にHall他に交付された「Adaptive field/frame encoding of discrete cosine transform」という発明の名称の米国特許第５，７３７，０２０号は、ディジタルビデオ画像のＤＣＴ圧縮の方法を記載している。その方法では、フィールドの分散およびフレームの分散が計算される。フィールドの分散が、フレームの分散よりも小さい場合には、フィールドＤＣＴタイプの圧縮が実行される。あるいは、フレームの分散が、フィールドの分散よりも小さいならば、フレームＤＣＴ圧縮が実行される。

１９９９年３月２日にLegallに交付された「Field frame macroblock encoding decision」という発明の名称の米国特許第５，８７８，１６６号は、フィールドフレームマクロブロック符号化の判定を行う方法を記載している。マクロブロックのフレームベースアクティビティは、水平方向のピクセル対の差の絶対値の総和と垂直方向のピクセル対の差の絶対値との総和を求めることにより得られる。その結果は、マクロブロック内のブロック全体にわたって合計される。第１のフィールドベースアクティビティおよび第２のフィールドベースアクティビティが、同様に得られる。小さなアクティビティを有するモードが選択される。

２００１年５月１日にIgarashi他に交付された「Video coding method and apparatus which select between frame-based and field-based predictive modes」という発明の名称の米国特許第６，２２６，３２７号は、画像を、モザイクの領域として記載している。各領域は、最小量の動き補償データをもたらす結果に応じて、事前に符号化された領域のフレームベースの動き補償または事前に符号化された領域のフィールドベースの動き補償のいずれかを使用して符号化される。各領域は、最小量の動き補償データをもたらす結果に応じて、フレームベースの変換またはフィールドベースの変換のいずれかを使用して直交変換される。

上記引用した特許は、すべて、マクロブロックベースの符号化方法を使用してインタレースビデオ信号の圧縮を改善するために、適応型フィールド／フレームモードの判定を使用する方法を記載している。しかしながら、局所的な画像情報または符号化に必要なビット数しか、ＤＣＴタイプの選択に、および局所的なマクロブロックの動き予測モードの選択に使用されない。それらの方法のいずれも、符号化の判定を行う際に、全体の内容を考慮していない。

図２は、ＭＰＥＧ−２符号化標準規格に従ってビデオを符号化する周知のアーキテクチャ２００を示している。入力されたビデオのフレームは、事前に復号されている、フレームバッファに記憶されたフレームと比較される。動き補償（ＭＣ）（motion compensation）および動き推定（ＭＥ）（motion estimation）が、前フレームに適用される。予測誤差または差分信号が、ＤＣＴ変換され、量子化（Ｑ）（quantized）された後、可変長符号化（ＶＬＣ）（variable length coded）されて、出力ビットストリームが生成される。

ＭＰＥＧ−２標準規格モードの符号化３００に関する図３に示すように、各フレームの動き推定は、フレーム符号化モードまたはフィールド符号化モードのいずれかによって符号化される。所与のフレームレベルのモードに対して、関連したさまざまなマクロブロックのモードが存在する。図３は、映像符号化モードと、映像レベルおよびブロックレベルのマクロブロック符号化モードとの間の関係を示している。

ＭＰＥＧ−２ビデオ符号器は、フレームのみの符号化またはフィールドのみの符号化のいずれかを使用することができる。フレームのみの符号化では、ビデオのすべてのフレームが、フレームとして符号化される。フィールドのみの符号化では、各フレームは、２つのフィールドとして符号化され、フレームのこれら２つのフィールドが、順次符号化される。映像レベルの選択に加えて、マクロブロックレベルの選択手順が使用されて、最良のマクロブロック符号化モード、すなわちイントラモード、ＤＭＶモード、フィールドモード、フレームモード、１６×８モード、またはスキップモードが選択される。重要となる１つのポイントは、フレームレベルの判定が最適化されていない場合には、マクロブロックモードが最適化されないということである。

図４Ａおよび図４Ｂは、Ｉフィールド、Ｐフィールド、およびＢフィールドに対して、それぞれ、フレーム映像のフィールド予測モードまたはフィールド映像のフィールド予測モードを使用して、現（ｃｕｒ）フレームのマクロブロックをどのように予測できるかを示している。図４Ａのオプションに基づく適応型モード判定は、適応型フィールド／フレーム符号化と呼ばれる。しかしながら、その点で、この符号化は、マクロブロックレベルにおいてのみであり、モードの制限のために、最適なものではない。

例えば、そのマクロブロックベースの選択では、２番目のＩフィールドは、イントラモード（intra mode）でのみ符号化でき、ＰフィールドおよびＢフィールドは、前フレームのみから予測できる。一方で、フレームレベルのモードが、フィールドのみである場合には、たとえ、フィールドが同じフレーム内に位置していても、２番目のＩフィールドは、インターモード（inter mode）で符号化でき、かつ、１番目のＩフィールドから予測でき、２番目のＰフィールドは、１番目のＰフィールドから予測できる。

図５は、図４による符号化に関連した問題を解決する２パスのマクロブロックフレーム／フィールド符号化方法５００を示している。その方法は、ジョイントビデオチーム（ＪＶＴ（Joint Video Team））の参照符号によって採用されている。これについては、ISO/IEC JTC1/SC29/WG11およびITU-T SG16 Q.6のJVT-B071の「Adaptive Frame/Field Coding for JVT」を参照されたい。その方法では、入力は、まず、フレームモードによって符号化される。歪みおよびビットレート（Ｒ／Ｄ）が抽出されて、保存される。次に、フレームは、フィールドモードによって符号化される。対応する歪みおよびビットレートも、記録される。その後、関数（Ｆ）が、２つの符号化モードのコストを比較する。次に、より小さなコストを有するモードが選択され、出力としてのビデオを符号化する。

方法５００は、いくつかの問題を有する。この方法は、２パスを必要とし、予め定められた一定の量子化（Ｑ）を使用する。その結果、このＪＶＴ標準規格の方法は、各フレームに対してかなりの計算量を必要とし、実時間でビデオを符号化するのに適していない。

２００２年１０月１５日にCougnard他に交付された「Video coding method and corresponding video coder」という発明の名称の米国特許第６，４６６，６２１号は、異なるタイプの２パス符号化方法６００を記載している。その方法のブロック図が、図６に示されている。第１のパスでは、入力の各フレームが、フィールド符号化モードおよびフレーム符号化モードを使用する並行経路で符号化される。第１のパスの間、各経路で、統計値が抽出される。統計値とは、すなわち、各モードにおいて共通の位置にある各マクロブロックによって使用されるビット数、および、フィールド動き補償されたマクロブロックの個数である。これらの統計値は比較され、フィールドモードまたはフレームモードのいずれで出力を符号化するかの判定がなされる。第２のパスでは、その判定および抽出された統計値に従って、フレームが再符号化される。

従来技術のフィールド／フレーム符号化方法は、レート制御または動きのアクティビティに取り組んでいない。

したがって、動きのアクティビティを考慮した効果的なレート制御を有する適応型フィールド／フレーム符号化方法が必要である。

方法は、画像のシーケンスを含むビデオを適応的に符号化する。このビデオでは、各画像は、２つのフィールドからなる映像である。各画像は、まず、トップフィールドとボトムフィールドとに分離される。動きアクティビティが、トップフィールドおよびボトムフィールドから抽出され、各画像は、抽出された動きアクティビティに応じてフレーム符号化またはフィールド符号化のいずれかを使用して符号化される。

序論
インタレースビデオは、異なる時間に走査される２つのフィールドを含む。ＭＰＥＧ−２標準規格によるフレーム符号化またはフィールド符号化では、インタレースビデオは、通常、その内容に関係なく、フレームのみの構造またはフィールドのみの構造として符号化される。

一方で、フレームのみの符号化は、ビデオのあるセグメントにはより良く適していることがあるが、他のセグメントには、フィールドのみの符号化の方が好ましいことがある。したがって、従来技術で行われていたように、フレームのみの符号化またはフィールドのみの符号化のいずれかを行うことは、符号化を非効率なものにする。

本発明による適応型のフレーム符号化およびフィールドの符号化では、フレーム符号化またはフィールド符号化の判定が、画像レベルで行われる。入力画像は、内容の歪み特性と、例えばビットレートなどの外因的な任意の制約とを共に考慮することによって、１つのフレームとして符号化することもできるし、２つのフィールドとして符号化することもできる。

本発明による適応型符号化では、ヘッダは、現画像が１つのフレームとして符号化されるのか、２つのフィールドとして符号化されるのかを示す。フィールドのみの符号化では、フレームの２つのフィールドが、順次、符号化される。フレームのタイプが、イントラ（Ｉタイプ）である場合には、そのフレームは、１つのＩフィールドおよび１つのＰフィールドに分割される。フレームのタイプが、インター（ＰタイプまたはＢタイプ）である場合には、そのフレームは、２つのＰフィールドまたは２つのＢフィールドに分割される。

以下では、我々は、まず、ビットレートの制約下での適応型フィールド／フレーム符号化方法を記載する。

２パス方法では、我々は、フィールドのみのモードまたはフレームのみのモードのいずれかを使用して、インタレースビデオの各画像を符号化する。レート歪み（Ｒ−Ｄ）制御が各パスに適用され、次に、対応するＲ−Ｄ値のコスト関数が構成され、そして、符号化の判定がＲ−Ｄ値に基づいて行われる。

１パス方法では、符号化の前に、２つのフィールドの内容特性が抽出されて、共に考慮される。符号化モードの判定が行われた後、フレームが符号化される。この方法では、１パスのみが必要とされる。

結果は、我々の１パス適応型符号化方法および２パス適応型符号化方法の両方が、従来技術のフレームのみの符号化方法およびフィールドのみの符号化方法よりも良好な性能を保証することを示している。

２パス適合型フィールド／フレーム符号化方法
図７は、我々の発明による２パス適応型フィールド／フレーム符号化方式７００を示している。この方法では、入力ビデオ７０１の最初の画像が、例えば、画像のサイズ、ならびに、ＧＯＰ（映像のグループ）（group of picture）に残っているＰフレームおよびＢフレームの個数といった符号化パラメータの初期化（７１０）に使用される。

その後、動き推定用の参照フレーム、２つのビットストリームバッファ７７０に残されたビットの数、および使用されるビットの数が求められる。次に、現画像が、２つの経路７１１および７１２を使用して、出力７０９として符号化される。２つの経路のうち、一方はフレーム用であり、他方はフィールド用である。

フレーム経路およびフィールド経路の双方において、パラメータは、連続して適応していく（７２０）。パラメータのすべてが固定された後、現画像は、フレーム経路７１１でフレームのみの符号化を使用して符号化され、フィールド経路７１２でフィールドのみの符号化を使用して符号化される。

経路７１１では、フレームレート制御７３０が適用され、経路７１２では、フィールドレート制御７３１が適用される。これらのレート制御は、現画像のビットレートバジェット（bit rate budget）に応じて適用される。生成されたビットストリームは、２つのバッファ７７０の別々に記憶される。現画像に使用されるビット数が、２つの経路に対してそれぞれ記録される。

我々は、再構成された画像から２つの経路のレートおよび歪みを抽出する（７４０）。２つの歪みの値および対応する使用ビットによって、コスト関数のパラメータλが求められ（７８０）、判定（Ｄ）がコスト関数の形で構成される（７５０）。その後、コスト関数の値は、現画像に対して、フレーム符号化７６１またはフィールド符号化７６２を選択するために使用される。

判定７５０が行われた後、フレーム符号化が行われたビットストリーム７６３またはフィールド符号化が行われたビットストリーム７６４が、出力７０９として選択される。出力７０９は、次のフレームの符号化用に、パラメータ適応ブロック７２０にフィードバックされる。我々の２パス方法７００では、画像ごとのフレーム符号化またはフィールド符号化の判断基準が、ビデオの内容の共同したレート−歪み（Ｒ−Ｄ）特性に完全に基づいている。

レート−歪み判定
レート割り当てに基づく従来技術の符号化方法は、歪み制約上のレートまたはレート制約上の歪みを最小にする試みを行なっていた。

ラグランジェ乗数の技法を使用することによって、我々は、方程式（１）のコスト関数Ｊ（λ）により、全体の歪みを最小化する。

ここで、Ｎは、入力ビデオ７０１のフレーム総数である。

フィールドのみのモードが、１つの画像を符号化するのに使用される場合には、フレームのみのモードで符号化を行うよりも、必要とされるビットは、少なくなることがある。しかしながら、この画像の歪みは、フレームのみのモードが使用された場合よりも悪くなることがある。我々の最適な判定は、ビデオの全体的な内容の歪みおよびレートの双方に基づいている。

我々の発明では、我々は、レート割り当てに対して類似のアプローチを使用する。コストが、以下の方程式（２）によって定義される。

コスト（フレーム）＜コスト（フィールド）である場合には、我々は、フレーム符号化７６１を選択し、そうでない場合には、フィールド符号化７６２を選択する。適切なパラメータλを求める（７８０）ために、我々は、Ｒ−Ｄの関係をモデル化する。我々は、方程式（３）によって与えられる指数モデルを使用する。

上記関係についてさらに情報を得るには、JayantおよびNoll著のDigital Coding of Waveforms, Prentice Hall, 1984を参照されたい。

このモデルを上記コスト関数Ｊ（λ）に適用すると、以下の方程式（４）によって、パラメータλを得ることができる。

ここで、Ｒ_ｉは、フレームｉに割り当てられた最適なレートを示す。

したがって、我々は、符号化された現フレームの歪みを使用して、パラメータλの値を推定する。我々の発明では、方程式（５）を使用して、最初のフレームのコスト関数のパラメータλが推定される。

次に、我々は、方程式（６）に従って、次のフレーム用にパラメータλを更新する。

方程式（６）において、現パラメータλ_{ｃｕｒｒｅｎｔ}は、方程式（５）を使用することにより計算され、前パラメータλ_{ｐｒｅｖｉｏｕｓ}は、前フレームの推定値λであり、Ｗ_１およびＷ_２は、重みである。ここで、Ｗ_１＋Ｗ_２＝１である。Ｉフレームの計算は、方程式（５）にのみ基づいていることに留意されたい。

従来技術の方法と我々の新規な方法との重要な相違は、以下の通りである。

図５に示すような従来技術の方法では、一定の量子化が使用されるのに対して、本発明による方法では、適応性のある量子化が使用される。また、従来技術の方法では、コスト関数のパラメータλは、量子化の知識に依存するのに対して、我々の方法では、コスト関数のパラメータλは、量子化に依存しない。

従来技術は、符号化の前に、動き情報およびテクスチャ情報を推定できないので、一定の量子化により実時間のレート制御を実行することができない。我々の方法のパラメータは、符号化の結果から得られ、この方法では、量子化器のスケールが、さらに以下に記載するレート制御戦略に従って適応することができる。したがって、本発明は、効果的なレート制御を達成する。

以下に、我々は、２パス適応型フィールド／フレーム方法７００のレート制御手順を記載する。

適応型２パス符号化方法のレート制御
ＭＰＥＧ符号化技法について、多くのレート制御方法が記載されている。これらの方法には、第１のパスを使用して情報を収集し、第２のパスを使用してレート制御を適用する従来技術の２パスレート制御方法が含まれる。その方法は、我々の２パス方法とは、まったく異なる。我々の２パス方法では、レート制御は、双方のパスに同時に適用され、前フレームから転送された同じ組のパラメータに基づいている。

従来技術のレート制御方法は、符号化プロセス中の符号化モードの変移を考慮していなかった。例えば、周知のＴＭ５レート制御方法は、フレームからフィールドへ変移した場合、または、フィールドからフレームへ変移した場合に、そのパラメータを採用しない。したがって、従来技術の技法では、フィールドごとの最適なビット割り当ても、フレームごとの最適なビット割り当ても達成することができない。

我々の発明によると、我々は、我々の２パス方法に量子化情報を使用しない。その結果、我々は、我々の方法という状況の中で、効果的なレート制御を提供する。以下に、我々は、我々の２パス方法の効果的な固定ビットレート（ＣＢＲ）（constant bit-rate）のレート制御手順を記載する。

レートバジェット（rate budget）Ｒ、ＩフレームアクティビティＸ_ｉ、ＰフレームアクティビティＸ_ｐ、ＢフレームアクティビティＸ_ｂ、Ｉフレームバッファフルｄ０_ｉ、Ｐフレームバッファフルｄ０_ｐ、およびＢフレームバッファフルｄ０_ｂが、フレーム符号化７６１を使用することにより初期化される。上記レート制御パラメータのすべては、レートコントローラ（ＲＣ）（rate controller）７０８に記憶される。レートコントローラ７０８は、初期化ブロック７１０によってアクセス可能である。

現フレームが、ＧＯＰの最初のフレームである場合には、現ＧＯＰのＰフレームの個数Ｎ_ｐ、現ＧＯＰのＢフレームの個数Ｎ_ｂが求められ、その後、以下のステップが実行される。

フレーム経路７１１では、フレーム符号化７６１、ＴＭ５レート制御、およびレートコントローラに記憶されたパラメータを使用することによって、現フレームが符号化される。更新されたレート制御パラメータが、バッファＢｕ_{ｆｒａｍｅ}に記憶される。

フィールド経路７１２では、Ｎ_ｐ＝２×Ｎ_ｐ＋１、Ｎ_ｂ＝２×Ｎ_ｂとされ、フィールド符号化７６２、ＴＭ５レート制御、およびレートコントローラ７０８に記憶されたパラメータを使用することによって、現フレームが符号化される。更新されたレート制御パラメータが、バッファＢｕ_{ｆｉｅｌｄ}に記憶される。

フレーム符号化が選択された場合には、レートコントローラのパラメータは、Ｂｕ_{ｆｒａｍｅ}に記憶されたデータを使用することによって更新される。フィールド符号化が選択された場合には、レートコントローラのパラメータは、Ｂｕ_{ｆｉｅｌｄ}に記憶されたデータを使用することによって更新される。

現フレームが、ＧＯＰの最初のフレームでない場合には、以下のステップが実行される。

フレーム経路７１１では、前映像が、フレームモードを採用している場合には、Ｎ_ｐおよびＮ_ｂの現在の値が使用されるか、または、Ｎ_ｐ＝Ｎ_ｐ／２、Ｎ_ｂ＝Ｎ_ｂ／２とされ、フレーム符号化、ＴＭ５レート制御、およびレートコントローラに記憶されたパラメータを使用することによって、現フレームが符号化され、Ｂｕ_{ｆｒａｍｅ}の内容が、更新されたレート制御パラメータに置き換えられる。

フィールド経路７１２では、前画像が、フィールドモードで符号化されている場合には、Ｎ_ｐおよびＮ_ｂの現在の値が使用されるか、または、Ｎ_ｐ＝（Ｎ_ｐ＋１）×２、Ｎ_ｂ＝（Ｎ_ｂ＋１）×２とされ、フィールド符号化、ＴＭ５レート制御、およびレートコントローラに記憶されたパラメータを使用することによって、現フレームが符号化され、Ｂｕ_{ｆｉｅｌｄ}の内容が、更新されたレート制御パラメータに置き換えられる。

フレーム符号化モードが選択される場合には、レートコントローラに記憶されたパラメータは、Ｂｕ_{ｆｒａｍｅ}のデータを使用することによって更新される。フィールド符号化モードが選択される場合には、レートコントローラに記憶されたパラメータは、Ｂｕ_{ｆｉｅｌｄ}のデータを使用することによって更新される。

我々の２パス適応型フィールド／フレーム符号化方法を使用することによって、改善された符号化効率が得られる。しかしながら、この２パス方法では、符号化時間が、これまでのＭＰＥＧ−２符号器のほとんど２倍になる。リソースが制限され、かつ、遅延に対して過敏ないくつかのアプリケーションにとっては、あまり複雑でない適応型フィールド／フレーム符号化方法が望ましい。

１パス適応型フィールド／フレーム符号化方法
上記分析によると、フィールドを符号化するか、または、フレームを符号化するかの判定は、各フレームの動きに直接関係している。また、動きの量も、ピクセルの特性間の差、特に、トップフィールドとボトムフィールドとの間の相関によって概算することができる。これらの知見が動機となって、我々は、１パス適応型フィールド／フレーム符号化方法を記載する。

ＭＰＥＧ−２標準規格では、Ｉフレームは、２つのフィールドからなる。我々は、それら２つのフィールドをＩトップおよびＩボトムと表記する。ここで、Ｉトップは、奇数の走査ラインのすべてを含み、Ｉボトムは、偶数の走査ラインのすべてを含む。これについては、図１を参照されたい。現画像が、フィールドモードに設定されている場合には、トップフィールドまたはボトムフィールドのいずれかが、１番目のフィールドとして設定され、ヘッダが付加されて、これにより、現フィールドが１番目であるのか、２番目であるのかが示される。

フィールドモードを使用することによって、２番目のフィールドは、１番目のフィールドからインターとして符号化することができ、かつ、予測することができる。我々は、Ｉフレーム全体をイントラとして符号化するのではなく、１番目のＩフィールドから２番目のＩフィールドを予測する方が、常により効率的であることを見出した。この知見に基づいて、Ｉフレームのフレーム符号化モードは、常に、我々の１パス方法のフィールドに設定される。これは、２番目のフィールドのマクロブロックのすべてが、インターモードを使用して符号化されることを意味するものではない。マクロブロックベースのモード判定に従って、イントラの方がより効率的に符号化されるブロックは、イントラで符号化することができる。

図８は、本発明による１パス適応型フィールド／フレーム符号化方法８００を示している。入力ビデオ８０１の画像は、トップ−フィールド８１１およびボトム−フィールド８１２を生成するフィールド分離器８１０に送られる。図１を参照されたい。各フィールドの動きアクティビティが推定される（８２０）。なお、動きアクティビティは、以下により詳細に記載される。各フィールドの動きアクティビティは、フィールドベースの動き推定８３１またはフレームベースの動き推定８３２のいずれかを選択して（８３０）、入力ビデオ８０１のフレームを符号化するのに使用される。

フレーム符号化選択８３０に応じて、フィールドベースの符号化の残りの部分またはフレームベースの符号化の残りの部分が、後続のＤＣＴ８４０、ならびに量子化（Ｑ）および可変長符号化（ＶＬＣ）プロセス８５０を介して符号化される。

したがって、Ｐフレームは、符号化されたデータから再構成され、後のフレームの符号化の参照フレームとして使用される。

ＰフレームおよびＢフレームについて、我々は、現フレームの各１６×１６マクロブロックを考慮する。各マクロブロックは、そのトップ−フィールドおよびボトム−フィールドに分割される。トップ−フィールドは、８つの奇数ラインからなる１６×８ブロックであり、ボトム−フィールドは、８つの偶数ラインからなる１６×８ブロックである。次に、我々の方法は、以下のステップを実施する。

まず、我々は、２つのカウンタＭＢ＿ｆｉｅｌｄおよびＭＢ＿ｆｒａｍｅをゼロに初期化する。各１６×１６マクロブロックに対して、トップ−フィールドの分散およびボトム−フィールドの分散が、以下の式により計算される。

ここで、Ｐ_ｉは、ピクセルの値を示し、Ｅ（Ｐ_ｉ）は、対応する１６×８フィールドの平均値を示す。

それらの分散の比が求められる。次に、以下の処理が行われる。

すべてのマクロブロックに対して繰り返し処理をした後、次のフレームの符号化判定が行われる。

ＭＢ＿ｆｉｅｌｄ＞ＭＢ＿ｆｒａｍｅの場合には、フィールドモードが選択される。それ以外の、ＭＢ＿ｆｉｅｌｄ≦ＭＢ＿ｆｒａｍｅの場合には、フレームモードが選択される。これら２つの閾値の値は、通常のビデオを収集したものから得られる。

要約すると、我々は、我々の１パス方法において現フレームの動きアクティビティを推定する効果的なブロックベースの相関を記載する。動きアクティビティは、各フィールドのブロックベースの分散の比から推定される。それを行う際に、計算上高価である正確な動き推定は避けられる。画像をフレームとして符号化するのか、２つのフィールドとして符号化するのかの判定は、現フレームの過半数のマクロブロックの動きアクティビティによって決まる。

１パス適応型符号化方法のレート制御
上述したように、従来技術の方法は、符号化プロセス中の符号化モードの変移を考慮しない。しかしながら、我々の適応型１パス方法では、フレームからフィールドへのモード変移またはフィールドからフレームへのモード変移は、よく起こる。これらの状況下、レート制御パラメータは、適応しなければならない。

我々の１パス方法のレート制御プロセスは、以下の手順によって実施される。我々は、ＴＭ５プロセスを使用して、Ｉフレーム、すなわちＧＯＰの最初のフレームの符号化を制御する。このＩフレームは、常に、フィールド符号化によって符号化される。

現フレームが、フレーム符号化を使用する場合において、前フレームが、フレーム符号化８３２を使用するときは、ＴＭ５の標準的な手順が使用され、前フレームが、フィールド符号化８３１を使用するときは、Ｎ_ｐ＝Ｎ_ｐ／２、Ｎ_ｂ＝Ｎ_ｂ／２とされて、ＴＭ５が使用される。

現フレームが、フィールド符号化を使用する場合において、前フレームが、フレーム符号化を使用するときは、Ｎ_ｐ＝２×Ｎ_ｐ、Ｎ_ｂ＝２×Ｎ_ｂとされて、ＴＭ５が使用され、前フレームが、フィールド符号化を使用するときは、ＴＭ５の標準的な手順が使用される。

結果
我々の適応型方法の有効性を確認するために、我々は、２つのインタレースビデオを標準規格のＭＰＥＧ−２符号器で符号化する。Ｆｏｏｔｂａｌｌは、インタレーステスト用の共通のビデオである。Ｓｔｅｆａｎ＿Ｆｏｏｔｂａｌｌは、ＳｔｅｆａｎおよびＦｏｏｔｂａｌｌがＧＯＰごとに連結されたビデオである。すなわち、Ｓｔｅｆａｎの１つのＧＯＰ、Ｆｏｏｔｂａｌｌの１つのＧＯＰ、Ｓｔｅｆａｎの１つのＧＯＰ等々と、ビデオが連結されている。Ｆｏｏｔｂａｌｌは、高い動きアクティビティを有するのに対して、Ｓｔｅｆａｎは、ゆっくりとした動きアクティビティおよびパン（カメラの首振り）を有する。

フレーム符号化、フィールド符号化、および適応型符号化が、ビデオのそれぞれに対して別々に実行された。１つの符号化方法および１つのビデオにつき、５つのレートの組、すなわち２Ｍｂｐｓ、３Ｍｂｐｓ、４Ｍｂｐｓ、５Ｍｂｐｓ、および６Ｍｂｐｓがテストされた。

図９Ａおよび図９Ｂは、我々の２パス適応型フィールド／フレーム符号化方法の性能を、フレームのみのモードおよびフィールドのみのモードと比較している。ＰＳＮＲは、１２０個のフレームの平均であり、異なるレートにわたってプロットされている。この結果は、我々の方法が、フィールドのみのモードおよびフレームのみのモードのうちの優れた方以上の性能を得ていることを示している。

図１０Ａおよび図１０Ｂは、我々の２パス適応型フィールド／フレーム符号化方法および１パス適応型フィールド／フレーム符号化方法の性能を比較している。シミュレーションが、我々の最適化されたＭＰＥＧ−２符号器上で、上記と同じ条件で行われている。我々の１パス方法は、我々の２パス方法と同様の性能を与えている。

本発明を好ましい実施の形態の例によって記載してきたが、さまざまな他の適合および変更を、本発明の精神および範囲内において行い得ることが理解されるべきである。したがって、添付した特許請求の範囲の目的は、本発明の真の精神および範囲内に入るこのようなすべての変形および変更をカバーすることである。

フレームおよびフィールドベースのマクロブロックのブロック図である。 従来技術のビデオ符号器のブロック図である。 従来技術のＭＰＥＧ−２符号化モードのオプションのブロック図である。 フレーム映像によるフィールド予測およびフィールド映像によるフィールド予測のモードのオプションの表である。 フレーム映像によるフィールド予測およびフィールド映像によるフィールド予測のモードのオプションの表である。 従来技術の２パス直列符号化方法のブロック図である。 従来技術の２パス並列符号化方法のブロック図である。 本発明による適応型フィールド／フレーム符号化による２パスビデオ符号器のブロック図である。 本発明による適応型フィールド／フレーム符号化による１パスビデオ符号器のブロック図である。 標準的なＦｏｏｔｂａｌｌビデオのさまざまなビットレートにわたった復号品質について、図７の２パス符号器により達成される復号品質と従来技術の方法により達成される復号品質とを比較したグラフである。 標準的なＳｔｅｆａｎ−Ｆｏｏｔｂａｌｌビデオシーケンスのさまざまなビットレートにわたった復号品質について、図７の２パス符号器により達成される復号品質と従来技術の方法により達成される復号品質とを比較したグラフである。 Ｆｏｏｔｂａｌｌビデオシーケンスのさまざまなビットレートにわたった復号品質について、本発明による２パス符号器により達成される復号品質と本発明による１パス符号器により達成される復号品質とを比較したグラフである。 Ｓｔｅｆａｎ−Ｆｏｏｔｂａｌｌビデオシーケンスのさまざまなビットレートにわたった復号品質について、本発明による２パス符号器により達成される復号品質と本発明による１パス符号器により達成される復号品質とを比較したグラフである。

Claims (10)

1. 画像のシーケンスを適応的に符号化する方法であって、
   ビデオの各画像をトップフィールドとボトムフィールドとに分離することと、
   前記トップフィールドおよび前記ボトムフィールドから動きアクティビティを抽出することと、
   前記抽出された動きアクティビティに応じてフレーム符号化またはフィールド符号化のいずれかを使用して、各画像を符号化することと
   を含む方法。
2. 前記トップフィールドは、画像の奇数のすべての走査ラインを含み、前記ボトムフィールドは、画像の偶数のすべての走査ラインを含む請求項１に記載の方法。
3. 各画像を、離散コサイン変換および可変長符号化により符号化することをさらに含む請求項１に記載の方法。
4. 前記画像のシーケンスは、ＰフレームおよびＢフレームを含み、
   前記分離することを行う前に、前記Ｐフレームおよび前記Ｂフレームをマクロブロックに分割して、該マクロブロックから前記動きアクティビティを抽出することをさらに含む請求項１に記載の方法。
5. ＭＢ＿ｆｉｅｌｄカウンタおよびＭＢ＿ｆｒａｍｅカウンタをゼロに初期化することと、
   前記トップフィールドの分散および前記ボトムフィールドの分散を
   

   

   の数式によって求めることと（ここで、Ｐ_ｉは、ピクセルの値を示し、Ｅ（Ｐ_ｉ）は、対応するフィールドの平均値を示す）、
   前記２つの分散の比を求めることと、
   

   

   の処理を行うことと
   をさらに含む請求項４に記載の方法。
6. ＭＢ＿ｆｉｅｌｄ＞ＭＢ＿ｆｒａｍｅの場合には、フィールド符号化を選択し、そうでない場合には、フレーム符号化を選択することをさらに含む請求項５に記載の方法。
7. 符号化された各画像のレートをレート制御により制御することをさらに含む請求項１に記載の方法。
8. 各画像は、複数のマクロブロックを含み、前記レート制御は、各マクロブロックに対して適応できる量子化パラメータを提供する請求項７に記載の方法。
9. 前記レート制御は、前記画像のシーケンスにおけるＰフレームの個数Ｎ_ｐおよびＢフレームの個数Ｎ_ｂを適応させる請求項７に記載の方法。
10. 画像のシーケンスを適応的に符号化するシステムであって、
    ビデオの各画像をトップフィールドとボトムフィールドとに分離する手段と、
    前記トップフィールドおよび前記ボトムフィールドから動きアクティビティを抽出する手段と、
    前記抽出された動きアクティビティに応じてフレーム符号化またはフィールド符号化のいずれかを使用して、各画像を符号化する手段と
    を備えるシステム。

Images