JP2005278168A

JP2005278168A - 圧縮された入力ビデオを処理する方法及びシステム

Info

Publication number: JP2005278168A
Application number: JP2005057390A
Authority: JP
Inventors: Jun Xin; ジュン・シン; Vetro Anthony; アンソニー・ヴェトロ; Huifang Sun; ハイファン・スン
Original assignee: Mitsubishi Electric Research Laboratories Inc
Current assignee: Mitsubishi Electric Research Laboratories Inc
Priority date: 2004-03-02
Filing date: 2005-03-02
Publication date: 2005-10-06
Also published as: US7483577B2; US20050196052A1

Abstract

【課題】方法およびシステムは、圧縮された入力ビデオを処理する。
【解決手段】圧縮された入力ビデオは処理されて、インタレースピクチャ、ならびに入力ビデオのマクロブロック符号化情報が生成される。インタレースピクチャは、第１空間解像度ならびにトップフィールドおよびボトムフィールドを有する。インタレースピクチャのトップフィールドとボトムフィールドは、マクロブロック符号化情報に従って適応的にフィルタリングされて、第１空間解像度より低い第２空間解像度を有するプログレッシブピクチャが生成される。
【選択図】図２

Description

本発明は、包括的に、ビデオの処理に関し、より詳細には、インタレースビデオをインタレース解除するとともにダウンサンプリングすることに関する。

インタレースビデオでは、ビデオの各フレームは２つのフィールドを有する。一方のフィールドは、フレームの全ての偶数番号のピクセルラインを含み、他方のフィールドは全ての奇数番号のピクセルラインを含む。２つのフィールドを一緒にインタレースすることによってビデオフレームが形成される。２つのフィールドは、動きの連続性をよりよくするために、インタレースディスプレイ上で交互に表示される。消費者ＴＶセットの大多数はインタレースディスプレイデバイスである。インタレースビデオは、地上ビデオ放送、ケーブルテレビジョン（ＣＡＴＶ）、ならびに、直接衛星放送（ＤＢＳ）システムで広く使用される。現在のデジタルテレビジョン放送、特に高品位テレビジョン（ＨＤＴＶ）は主に、インタレースビデオを使用する。インタレースデジタルビデオの典型的な解像度は、比較的高く、たとえば、標準品位ＴＶ（ＳＤＴＶ）用で７２０×４８０、ＨＤＴＶ用で１９２０×１０８０である。

個人情報端末（ＰＤＡ）および携帯電話を含む可搬型端末、ならびに、コンピュータモニターは通常、プログレッシブディスプレイを使用する。プログレッシブディスプレイでは、ビデオフレームの全てのピクセルラインは、上部から下部へ順次表示される。さらに、多くのプログレッシブディスプレイ、特にＰＤＡと携帯電話は、表示能力が制限され、たとえば、３２０×２４０が、現在、ＰＤＡ用のハイエンドディスプレイであり、携帯電話のディスプレイ解像度は、一般に、さらに低い。

ＭＰＥＧ−２は、放送業界によって現在使用されているビデオ符号化規格である。この規格は、インタレース式とプログレッシブの両方の高解像度デジタルビデオを効率よく表現することが可能である。

ＭＰＥＧ−２ビデオは通常、２つのフィールドが一緒に符号化される「フレームピクチャ」を使用して符号化される。ＭＰＥＧ−２構文は、フィールドがフィールドピクチャとして個々に符号化される「フィールドピクチャ」の符号化もサポートする。本発明では、以下の説明でＭＰＥＧ−２フレームピクチャを使用するが、説明はフィールドピクチャにも当てはまる。

ＭＰＥＧ−２ビデオ符号化プロセスは、ＹＣｂＣｒ色空間で表現されるビデオフレームについて動作する。画像が２４ビットＲＧＢ形式で記憶される場合、画像は、最初に、ＹＣｂＣｒ形式に変換されなければならない。各ビデオフレームは、重ならないマクロブロックに分割される。各マクロブロックは１６×１６ピクセルをカバーする。各マクロブロックは、４つの８×８輝度(luma)（Ｙ）ブロック、および対応する２つの８×８色(chroma)ブロック（１つはＣｂブロックで、１つはＣｒブロック）を含む。マクロブロックは、動き補償予測（ＭＣＰ）用の基本単位であり、ブロックは、離散コサイン変換（ＤＣＴ）を適用するための基本単位である。

ＭＰＥＧ−２ビデオには３つのフレームタイプ、すなわち、イントラフレーム（Ｉフレーム）、予測フレーム（Ｐフレーム）、および双方向予測フレーム（Ｂフレーム）がある。Ｉフレームは、他のフレームを参照せずに独立して符号化される。Ｉフレームのマクロブロックは、フレームＤＣＴか、フィールドＤＣＴのいずれかを使用することができる。Ｐフレームは、前の参照フレームに対して符号化される。マクロブロックを、イントラマクロブロックまたはインターマクロブロックとして符号化することができる。イントラマクロブロックは、Ｉフレーム内のマクロブロックのように符号化される。

インターマクロブロックを、フレーム予測か、または、フィールド予測することができる。フレーム予測では、マクロブロックは、動きベクトルによって配置された基準フレーム内のブロックから予測される。フィールド予測では、マクロブロックは、２つの１６×８ブロックに分割され、一方のブロックはトップフィールドに属し、他方のブロックはボトムフィールドに属する。各１６×８ブロックは、基準フレームのトップか、ボトムのいずれのフィールドが予測として使用されるかを指定するフィールド選択ビット、および、適切なフィールド内の１６×８ピクセル領域を指す動きベクトルを有する。マクロブロックは、マクロブロックがゼロの動きベクトルおよび全てゼロの誤差項(error terms：数値、条件)を有する時に省略されることができる。

Ｂフレームは、前の基準フレームと将来の基準フレームの両方に対して符号化される。Ｂフレームの符号化は、動きベクトルが将来の基準フレーム内のエリアを参照することができることを除いて、Ｐフレームと同様である。

通常、プログレッシブ可搬型デバイス上で表示するために、ＭＰＥＧ−２符号化ビデオは、ＭＰＥＧ−４シンプルプロファイル（ＳＰ）などの低解像度プログレッシブビデオに最適化された形式に符号変換(transcode)される必要がある。

ＭＰＥＧ−２符号化インタレースビデオが、ＭＰＥＧ−４ＳＰのような低解像度プログレッシブビデオに符号変換される時か、または、低解像度プログレッシブディスプレイ上に表示される時に２つの問題が発生する。１つの問題は、エイリアシング、鋸歯タイプエッジ歪、およびラインフリッカを含む、よく知られているインタレース時のアーチファクトによるものである。もう１つの問題は、解像度のミスマッチによるものである。インタレース解除およびダウンサンプリングフィルタリングは、２つの問題を解決するための従来の技法である。

基本的なインタレース解除方法は、米国特許第４，７５０，０５７号、第４，８００，４３６号、第４，８８１，１２５号、第５，７４８，２５０号、および第６，６６１，４６４号に記載されているような「ｗｅａｖｅ」、「ｂｏｂ」、「ｄｉｓｃａｒｄ」、および「ａｄａｐｔｉｖｅ」を含む。「ｗｅａｖｅ」法は、フレームの２つのフィールドを一緒にインタレースするだけである。処理されたビデオは、インタレースアーチファクトを有するが、フル解像度を有する。「ｂｏｂ」法は、全てのフィールドを個々のフレームとして表示する。したがって、フレームレートは２倍であるが、全てのフレームで、空間解像度が失われる。「ｄｉｓｃａｒｄ」法は、１つおきにフールドを廃棄し、したがって、インタレースアーチファクトは完全になくなるが、解像度の半分が失われ、動きが流動的に見えない。「ａｄａｐｔｉｖｅ」法は、「ｗｅａｖｅ」法と「ｂｏｂ」法を組み合わせる。「ａｄａｐｔｉｖｅ」法は、インタレースアーチファクトが存在する時のみにインタレース解除を実施し、その他の場合には、「ｗｅａｖｅ」法を使用する。

通常、インタレースアーチファクトは、動きを有する領域のみがインタレース解除を必要とするため、動き情報を使用して検出される。「ａｄａｐｔｉｖｅ」法は、「ｗｅａｖｅ」または「ｂｏｂ」より優れた性能を達成することができるが、動き検出は、通常、計算に関し高価であり、システムコストをかなり増加させる。動き補償式のインタレース解除法などの進歩した方法は、計算上の複雑さをますます大きくしながら、よりよい品質を達成することができる。米国特許第５，７８４，１１５号および第６，４４２，２０３号を参照されたい。

解像度のミスマッチに対処するために、ダウンサンプリングが実施される必要がある。一般的な連結した補間−間引き、ならびに、他のもっと進歩した方法を、この目的のために適用することができる。米国特許第５，２８９，２９２号、第５，３３５，２９５号、第５，５７４，５７２号、第６，１７５，６５９号、および第６，５６３，９６４号を参照されたい。

図１は、従来技術のシステム１００の１つの例を示す。ビデオデコーダ１１０は、圧縮されたインタレースビデオ１０１を復号し、復号されたインタレースピクチャ１０２をインタレース解除器１２０に送る。インタレース解除されたプログレッシブピクチャ１０３は、ダウンサンプリングフィルタ１３０によってダウンサンプリングされる。最後に、インタレース解除され、ダウンサンプリングされたピクチャ１０４は、エンコーダ１４０、プログレッシブディスプレイデバイス、または他の処理に渡される。ダウンサンプリング１３０はフル解像度のインタレース解除されたピクチャに対して実施されるため、不必要な付加的計算が導入される可能性がある。

その結果、高解像度のインタレースコンテンツを低解像度プログレッシブディスプレイ上に表示するために、インタレース解除とダウンサンプリングを連携して実施することに対する必要性が存在する。計算上の複雑さがかなり低く、ビデオ品質を費用効果的に改善することができる、ＭＰＥＧ−２インタレース解除およびダウンサンプリングシステムに対する必要性も存在する。

本発明は、圧縮された入力ビデオの処理を行う。圧縮された入力ビデオは処理されて、インタレースピクチャ、ならびに入力ビデオのマクロブロック符号化情報が生成される。インタレースピクチャは、第１空間解像度ならびにトップフィールドおよびボトムフィールドを有する。インタレースピクチャのトップフィールドとボトムフィールドは、マクロブロック符号化情報に従って適応的にフィルタリングされて、第１空間解像度より低い第２空間解像度を有するプログレッシブピクチャが生成される。

本発明は、表示、再符号化、または他の処理のために、復元されたビデオを連携してインタレース解除するとともにダウンサンプリングするシステムおよび方法を提供する。本発明では、適応型フレーム／フィールドフィルタリングプロセスを使用して、インタレース解除とダウンサンプリングを連携して実施する。本発明は、入力圧縮ビデオが、ＭＰＥＧ−２フレームピクチャで符号化される時に特に有用であり、ＭＰＥＧ−２フレームピクチャは、現在、ビデオを放送し記憶するための、有力なビデオ符号化法である。しかしながら、本発明が、ＭＰＥＧ−２フレームピクチャ以外の他のビデオ符号化システムにも適用されることが理解されるべきである。

システム構造
図２は、本発明に従って、インタレース解除とダウンサンプリングを連携して実施する、適応型フィルタリングシステム２００を示す。ビデオデコーダ２１０は、ＭＰＥＧ−２符号化インタレースビデオ２０１を復号し、インタレースビデオピクチャ２０２、ならびに、マクロブロック符号化モード、符号化タイプ、および動き情報を含む、付随(side)情報２０３を再構成する。

適応型フィルタ
適応型フィルタ２２０は、インタレースアーチファクトを検出するために付随情報２０３を使用する。付随情報はマクロブロックと関連するため、インタレースアーチファクト検出および適応型フィルタリング２２０もまた、マクロブロックベースで適用される。適応型フレーム／フィールドフィルタリングは、インタレースアーチファクトに応じて適用される。

マクロブロックベースの処理は、フィルタリング結果２０４を、マクロブロックが処理された直後に出力することができるため、遅延が少ないという付加的な利点を有する。インタレース解除され、ダウンサンプリングされたピクチャ２０４は、その後、さらなる処理２３０、たとえば、再符号化およびプログレッシブディスプレイ上での表示のために送り出される。

フレームフィルタリングは、フレームからのサンプルを使用し、フィールドフィルタリングは、１つのフィールドからのサンプルのみを使用する。フレームフィルタリングは、インタレースアーチファクトが存在しないピクセル領域で使用され、フィールドフィルタリングは、インタレースアーチファクトが実際に存在するピクセル領域で使用される。圧縮された入力ビデオ２０１から復号された、符号化モードおよび／または動きベクトルを含む付随情報に基づいて、ピクセル領域についてのインタレースアーチファクトの目安が確定され、適応型フレーム／フィールドフィルタリングが、ピクセル領域に応じて適用される。

圧縮ＭＰＥＧ−２ビデオストリームで符号化された多くの符号化情報(decisions)は、インタレースアーチファクトの存在を検出し、フレームフィルタリングか、フィールドフィルタリングのいずれを適用すべきかについて決定を行うのに役立つ可能性がある。

フィルタ決定方法
図３は、復号された付随情報２０３を使用して、適切なフィルタリングの決定を行う方法２２０を詳細に示す。特に有用な付随情報は、マクロブロック符号化タイプおよびマクロブロック変換タイプを指示するマクロブロックレベルの符号化パラメータを含む。マクロブロック符号化タイプは、特定の符号化形式によって規定される、時間的に予測し符号化する全てのモードを含む、「イントラ」か、「インター」のいずれかであることができ、一方、変換タイプは、変換が、マクロブロックの、フレームブロック構成またはフィールドブロック構成について動作することを意味する、フレームベースか、フィールドベースのいずれかであることができる。マクロブロックがインター符号化される場合、マクロブロック動きタイプもまた、フィルタ決定中に考慮される。この決定のために、動きタイプは、動き補償予測が、フレームベースか、または、フィールドベースかを指示する。

入力ビデオが、ＭＰＥＧ−２形式で符号化される実施形態では、ＭＡＣＲＯＢＬＯＣＫ＿ＴＹＰＥは符号化タイプを示し、ＤＣＴ＿ＴＹＰＥは変換タイプを示し、ＭＯＴＩＯＮ＿ＴＹＰＥは動きタイプを示す。他のビデオ符号化形式の対応する構文要素について、同様なマッピングが示されるであろう。

イントラ符号化されたマクロブロックの場合、フィールドベース変換、たとえば、ＭＰＥＧ−２構文でＤＣＴ＿ＴＹＰＥ＝１の使用は、インタレースアーチファクトが存在することを指示する傾向がある。イントラ符号化されたマクロブロックの場合、動きが存在する時には、通常、インタレースアーチファクトが存在する。したがって、フィールドベース予測、たとえば、ＭＰＥＧ−２構文でＭＯＴＩＯＮ＿ＴＹＰＥ＝「フィールドベース予測」は、インタレースアーチファクトが存在することを意味する可能性が強く、一方、フレームベース予測、たとえば、ＭＰＥＧ−２構文でＭＯＴＩＯＮ＿ＴＹＰＥ＝「フレームベース予測」は同様に、マクロブロックがゼロの動きベクトルか、または、非常に小さい動きベクトルを持っていなければ、インタレースアーチファクトを指示する。

インタレースアーチファクト検出および適応型フィルタリング法２２０は、ピクチャの全ての入力マクロブロック３０１に適用されて、出力マクロブロック３０２が生成される。方法２２０への入力３０１は、実際のビデオデータ２０２および各マクロブロックの付随情報２０３からなることに留意されたい。

方法２２０での最初の決定は、符号化タイプを確定すること３１０である。タイプがインター符号化である場合、動きタイプを確定する３２０。インター符号化マクロブロックについて、動きタイプがフィールドベースである場合、フィールドベースフィルタリングを適用して３６０、出力マクロブロック３０２が生成される。しかしながら、動きタイプがフレームベースである場合、動きベクトル（ＶＭ）の大きさがしきい値（Ｔ）より大きいかどうかが判断される３３０。ここで、しきい値はゼロか、または、非ゼロ値にセットされ得る。マクロブロックがインター符号化され、動きタイプがフレームベースである場合、ＭＶがＴ以下であれば、フィールドベースフィルタリングが適用され３６０、ＭＶがＴより大きい時、フレームベースフィルタリングが適用される３７０。

一方、符号化タイプ３１０がイントラ符号化である場合、変換タイプが確定される３４０。イントラ符号化マクロブロックについて、変換タイプ３４０がフィールドベースである場合、フィールドベースフィルタリングを適用して３６０、出力マクロブロック３０２が生成される。しかしながら、変換タイプ３４０がフレームベースである場合、フレームベースフィルタリングを適用して３７０、出力マクロブロック３０２が生成される。

フレーム／フィールドフィルタリング
図４は、フィルタリングの前と後での、部分的なマクロブロック４００の相対的なサンプル位置の一例を示す。ここで、水平と垂直の両方の次元で、２のダウンサンプリング比を仮定する。図４では、記号は、輝度入力／トップフィールド４０１、輝度入力／ボトムフィールド４０２、色入力／トップフィールド４０３、色入力／ボトムフィールド４０４、輝度出力４０５、および色出力４０６である。フレームベースまたはフィールドベースフィルタリングは、より低い次元のサンプリンググリッドでサンプル出力を生成する。出力サンプルの位置は、入力ピクセル値を処理するのに使用されるフィルタの係数によって効率よく決まる。出力される輝度および色サンプルの相対的な位置が維持される、すなわち、出力サンプリンググリッドの構造が、解像度は低いが、入力サンプリンググリッドの構造と同じであるように、フィルタリングを実施することが望ましい。

図５は、水平と垂直の両方の次元での２のダウンサンプリング比について、この出力配置を達成することができる、フレームベースおよびフィールドベースフィルタリング動作の例を示す。図５では、マクロブロックの部分５００が示される。記号Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｅ、Ｇ、Ｈ５０１はトップフィールドの入力サンプルを示し、記号ａ、b、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ５０２はボトムフィールドの入力サンプルを示し、記号α、β、γ、δ５０３は出力サンプルである。双１次補間を使用して、フレームフィルタリングはα＝（Ａ＋Ｂ＋ａ＋ｂ）／４に従って実施され、フィールドフィルタリングはα＝（３×（Ａ＋Ｂ）＋Ｅ＋Ｆ）／８に従って実施される。同様に、入力サンプルから、他の出力サンプルを計算することができる。

水平および／または垂直の次元で２以外のダウンサンプリング比を有する場合、適応型フィルタ係数および出力サンプル位置は、出力サンプリンググリッド構造が、解像度は低いが、入力サンプリンググリッド構造と同じであるように確定される。２分の１のダウンサンプリングの場合と同様に、双１次補間を使用して、入力サンプルに適用されるフィルタ係数、すなわち、重み係数が確定される。同様に出力サンプルを所望のサンプル位置に配置することを可能にする、改善された周波数応答を有する、より高性能のフィルタを使用してもよい。

本発明の精神および範囲内で、種々の他の適応および変更を行うことができることが理解されるべきである。したがって、本発明の真の精神および範囲内に入る全ての変形および変更を包含することが、添付特許請求項の目的である。

従来技術のインタレース解除器およびダウンサンプリングフィルタのブロック図である。本発明による適応型フィルタリングシステムのブロック図である。本発明による適応型フレームフィルタリング方法のフロー図である。本発明による適応型フィルタリングの前と後での、輝度および色サンプルの相対位置のブロック図である。図４の出力サンプルを生成するための、フレームフィルタリングおよびフィールドフィルタリングのブロック図である。

Claims

圧縮された入力ビデオを処理する方法であって、
前記圧縮された入力ビデオを復号し、第１空間解像度並びにトップフィールド及びボトムフィールドを有するインタレースピクチャ、並びに前記入力ビデオのマクロブロック符号化情報を生成することと、
前記インタレースピクチャのトップフィールド及びボトムフィールドを、前記マクロブロック符号化情報に従って適応的にフィルタリングし、前記第１空間解像度より低い第２空間解像度を有するプログレッシブピクチャを生成すること
を含む、圧縮された入力ビデオを処理する方法。
前記マクロブロック符号化情報は、マクロブロック符号化タイプ及びマクロブロック変換タイプを含む
請求項１記載の方法。
前記マクロブロック符号化タイプは、イントラ符号化及びインター符号化を含む
請求項２記載の方法。
前記マクロブロック変換タイプは、フレームベース変換及びフィールドベース変換を含む
請求項２記載の方法。
前記マクロブロック符号化情報は、前記マクロブロック符号化タイプがインター符号化であるときに、マクロブロック動きタイプ及び対応する動きベクトルをさらに含む
請求項２記載の方法。
前記マクロブロック動きタイプは、フレームベース動き及びフィールドベース動きを含む
請求項５記載の方法。
前記フィルタリングは、フレームベースフィルタリング及びフィールドベースフィルタリングを含む
請求項１記載の方法。
前記フィルタリングは、前記マクロブロック符号化タイプがインター符号化であり、かつ前記マクロブロック動きタイプがフィールドベースであるときには、フィールドベースである
請求項７記載の方法。
前記フィルタリングは、前記マクロブロック符号化タイプがインター符号化であり、前記マクロブロック動きタイプがフレームベースであり、かつ前記マクロブロックに対応する動きベクトルの絶対値がしきい値より大きいときには、フィールドベースである
請求項７記載の方法。
前記しきい値は、ゼロに等しい
請求項９記載の方法。
前記しきい値は、ゼロより大きい
請求項９記載の方法。
前記フィルタリングは、前記マクロブロック符号化タイプがイントラ符号化であり、かつ前記マクロブロック変換タイプがフィールドベースであるときには、フィールドベースである
請求項７記載の方法。
前記フィルタリングは、前記マクロブロック符号化タイプがイントラ符号化であり、かつ前記マクロブロック変換タイプがフレームベースであるときには、フレームベースである
請求項７記載の方法。
前記フィルタリングは、前記マクロブロック符号化タイプがインター符号化であり、前記マクロブロック動きタイプがフレームベースであり、かつ前記マクロブロックに対応する動きベクトルの絶対値がしきい値以下であるときには、フィールドベースである
請求項７記載の方法。
前記フィルタリングは、フレームベースであり、前記インタレースピクチャのトップフィールド及びボトムフィールドからの入力サンプルについて動作する
請求項７記載の方法。
前記フィルタリングは、フィールドベースであり、前記トップフィールド又はボトムフィールドからの入力サンプルについて動作する
請求項７記載の方法。
前記フィルタリングは、フィールドベースであり、前記ボトムフィールドからの入力サンプルについて動作する
請求項７記載の方法。
前記プログレッシブピクチャを出力ビデオに符号化することをさらに含む
請求項１記載の方法。
前記プログレッシブピクチャをディスプレイデバイス上にレンダリングすることをさらに含む
請求項１記載の方法。
圧縮された入力ビデオを処理するシステムであって、
前記圧縮された入力ビデオを復号し、第１空間解像度並びにトップフィールド及びボトムフィールドを有するインタレースピクチャ、並びに前記入力ビデオのマクロブロック符号化情報を生成する手段と、
前記インタレースピクチャのトップフィールド及びボトムフィールドを、前記マクロブロック符号化情報に従って適応的にフィルタリングし、前記第１空間解像度より低い第２空間解像度を有するプログレッシブピクチャを生成する手段と
を備える、圧縮された入力ビデオを処理するシステム。