JP2012503416A - ビデオ画像の刈り取り方法及び装置 - Google Patents

Abstract

ビデオ画像の刈り取りを行う方法及び装置が提供される。装置は、符号化による圧縮の前に、符号化による圧縮に備えて、あるピクチャを前処理するデータ刈り取り手段１１０を含む。データ刈り取り手段は、ピクチャにおける少なくとも１つの領域を空間領域において選択的に除去する。デコーダ側で、装置は、復号化による伸張に続いて、伸張されたピクチャを受け、以前に行われた符号化処理の前に少なくとも１つの領域が除去されたことを示す情報に基づいて、伸張されたピクチャにおける少なくとも１つの領域を空間領域において選択的に復元することで、伸張されたピクチャを後処理するデータ復元手段１４０を含む。

Description

本発明は、ビデオ符号化及び復号化に関し、より詳細には、ビデオ画像の刈り取り方法及び装置に関する。
本出願は、2008年9月18日に提出された米国特許仮出願第61/098125号の利益を特許請求するものであり、この仮出願の内容は、その完全な形で本明細書に盛り込まれる。

現在、高画質ビデオの要求が増え続けている。ビデオコンテンツの要求は、高い解像度、高いフレームレート、及び高いビット深度に進む傾向にある。高精細（HD）ビデオ及び他のビットレートが集中する開発に対応するビットレートの増加に対抗するため、特に、ネットワーク及び通信技術の伝送の制約に対処するため、ビットレートを更に低減する新たな技術が強く要求される。

圧縮ビットレートを低減することに対する少なくとも２つの基本的なアプローチが存在する。第一のアプローチは、圧縮技術を改善することを含み、第二のアプローチは、圧縮前にある種の前処理を行うことを含む。

第一のアプローチ、すなわち圧縮技術を改善することに関し、この発展は、たとえばISO/IEC（International Organization for Standardization/International Electrotechnical Commission）のMPEG-1規格、ISO/IECのMPEG-2規格、ISO/IECのMPEG-4規格、及びISO/IECのMPEG-4 Part 10 AVC（Advanced Video Coding）規格／ITU-T（International Telecommunication Union, Telecommunication Sector）H.264勧告（以下“MPEG-4 AVC規格”）のような、様々なMPEG（Moving Picture Experts Group）の符号化規格の発展において容易に見る事ができる。

大部分の符号化規格について、量子化ステップサイズを増加することは、ビットレートを低減するために使用される手段である。しかし、この技術は、高周波の詳細の損失による深刻なブロックアーチファクト及び他の符号化アーチファクトとなる可能性がある。

第二のアプローチ、すなわち圧縮前のある種の前処理を行うことに関して、係る前処理の目標は、視覚の観点で重要ではない情報、又はコンテンツを著しく変更することなしに復号化処理の後に回復できる情報を除くことである。また、このビットレートの低減は、データプルーニング（刈り込み）と一般に呼ばれる。このデータプルーニングを通してビットレートの低減を行う幾つかの一般的な技術は、ロウパスフィルタ及び（フィルタリング処理として見る事ができる）ダウンサンプリング、これらに続くデコーダでのアップサンプリングの使用である。これらのスキームの１つの効果は、これらの技術はビットレートを低減するためにビデオにおける高周波情報を除くように設計されているので、復号化及び再構成されたビデオが少しぼやけて見えることである。

たとえば、前に記載されたアップサンプリングのために使用される補間に関して、従来のBilinear及びBi-cubic補間を発端として、POCS（Projection Onto Convex Sets）及び非凸上の偏差分方程式のような洗練された繰り返し補間方法に続いて、広範囲の補間方法及びスキームが議論及び開発されている。

エッジに沿って生じるジャーキネスを回避するため、低解像度画像のマルコフ確率場及び分散を使用したエッジ指向の補間方法が提案されている。

１つの従来のアプローチは、方向性フィルタリング及びデータ融合の組み合わせを利用して、LMMSE（Linear Minimum Mean Square Error）により失われた高解像度（HR）画素を除く。別の補間アルゴリズムのグループは、ウェーブレット変換又はContourlet変換のような異なる種類の変換を使用してその対応する低解像度（LR）画像からHR画像の微細構造を予測する。

先の方法のそれぞれは、水平及び垂直の両方向において、すなわち固定された規則的なデータグリッドにおいて（すなわち、全てのデータポイントは、矩形のグリッドで発見される）同じ比率でアップサンプリングするのに適している。しかし、補間がデータ刈り込みと共に使用されるとき、捨てられたデータに適合し、そしてそれぞれの画素の変動する周囲に適合して最良の性能を達成するための柔軟性が望まれる。

従来技術のこれらの課題及び問題、並びに他の課題及び問題は、ビデオ画像データの刈り取り方法及び装置に向けられる、本願発明により対処される。

本発明の態様によれば、装置が提供され、本装置は、符号化による圧縮の前に、及び符号化による圧縮に備えて、ある画像に前処理を施すデータ刈り取り手段を含む。データ刈り取り手段は、空間領域において、該画像における少なくとも１つの領域を選択的に除く。

本発明の別の態様によれば、方法が提供され、本方法は、符号化による圧縮の前に、及び符号化による圧縮に備えて、ある画像に前処理を施すことを含む。前処理ステップは、空間領域において、プロセッサを有するデータ刈り取り手段を使用して画像における少なくとも１つの領域を選択的に除くことを含む。

本発明の更に別の態様によれば、装置が提供され、本装置は、復号化による伸張の後に伸張された画像を受け、前に実行された符号化処理の前に少なくとも１つの領域が除去されてことを示す情報に基づいて、伸張された画像における少なくとも１つの領域を、空間領域において選択的に復元することで、伸張された画像を後処理するデータ復元手段を含む。

本発明の更なる態様によれば、方法が提供され、本方法は、復号化による伸張に続いて伸張された画像を受けることを含む。さらに、本方法は、プロセッサを有するデータ復元手段を使用して、前に実行された符号化処理の前に少なくとも１つの領域が除去されたことを示す情報に基づいて、伸張された画像における少なくとも１つの領域を選択的に復元することで、伸張された画像を後処理することを含む。

本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に読まれることとなる例示的な実施の形態の以下の詳細な説明から明らかとなるであろう。

本発明は、以下の例示的な図面に従って良好に理解されるであろう。
本発明の実施の形態に係る、データ刈り取り及び復元の例示的なシステムを示すブロック図である。 本発明の実施の形態に係る、データ刈り取り及び復元の例示的な方法を示すフローチャートである。 本発明の実施の形態に係る、本発明が適用される例示的なビデオエンコーダを示すブロック図である。 本発明の実施の形態に係る、本発明が適用される、例示的なビデオデコーダを示すブロック図である。 本発明の実施の形態に係る、NEDI-4及びNEDI-8に関する高次のエッジに向けられた補間のモデルパラメータを示す図である。 本発明の実施の形態に係る、NEDI-6に関する高次のエッジに向けられた補間のモデルパラメータを示す図である。 本発明の実施の形態に係る、任意のラインをドロップすることによるデータ刈り取りの例を示す図である。 本発明の実施の形態に係る、１つのフレームにおける列及び行をドロップすることによるデータ刈り取りの例を示す図である。 本発明の実施の形態に係る、全体のグループオブピクチャ（GOP）及び／又はシーンの同じ列及び行をドロップすることによるデータ刈り取りの例を示す図である。 本発明の実施の形態に係る、公知のAkiyoシーケンスの第一フレームにおいてドロップされた列及び行を示すラインを示す図である。 本発明の実施の形態に係る、図７Ａの例に対応する刈り取られたフレームを示す図である。 本発明の実施の形態に係る、圧縮に基づいたデータ刈り取りの例示的なシステムを示すブロック図である。 本発明の実施の形態に係る、データ刈り取り段階のための例示的なシステムを示すブロック図である。 本発明の実施の形態に係る、最適なデータ刈り取りのための例示的な方法を示すフローチャートである。 本発明の実施の形態に係る、最適なデータ刈り取りのための例示的な方法を示すフローチャートである。 本発明の実施の形態に係る、最適なデータ復元のための例示的な方法を示すフローチャートである。

本発明は、ビデオ画像のデータ刈り取りの方法及び装置に向けられる。
本実施の形態は、本発明を例示するものである。したがって、当業者であれば、本実施の形態に明示的に記載又は図示されないが、本発明を実施する様々なアレンジメントであって、本発明の精神及び範囲に含まれる様々なアレンジメントを創作することができることを理解されたい。

本実施の形態で引用される全ての例及び条件付き言語は、本発明及び当該技術分野を促進するために本発明者により与えられる概念の理解において読者を支援することが意図され、係る詳細に記載される例及び条件に限定されるものではないことが解釈されるべきである。

さらに、本発明の原理、態様及び実施の形態を示す全ての説明は、本発明の特定の例と同様に、本発明の構造的に等価な概念と機能的に等価な概念の両者を包含することが意図される。さらに、係る等価な概念は、現在知られている等価な概念と同様に、将来において開発される等価な概念、すなわち構造に関わらずに同じ機能を実行する開発されたエレメントの両者を含むことが意図される。

したがって、例えば、本実施の形態で与えられるブロック図は、本発明を実施する例示的な回路の概念図を表すことが当業者により理解されるであろう。同様に、任意のフローチャート、フローダイアグラム、状態遷移図、擬似コード等は、コンピュータ読み取り可能な記録媒体の実質的に表現され、コンピュータ又はプロセッサが明示的に示されているか否かに関わらず、係るコンピュータ又はプロセッサにより実行される様々なプロセスを表すことが理解されるであろう。

図示される様々なエレメントの機能は、専用ハードウェアの使用と同様に、適切なソフトウェアと関連されるソフトウェアを実行可能なハードウェアの使用により提供される場合がある。プロセッサにより提供されたとき、単一の専用プロセッサ、単一の共有プロセッサ、そのうちの幾つかが共有される複数の個々のプロセッサによる機能が提供される。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示すように解釈されるべきではなく、限定されれることなしに、デジタルシグナルプロセッサ（DSP）ハードウェア、ソフトウェアを記憶するリードオンリメモリ（ROM）、ランダムアクセスメモリ（RAM）及び不揮発性メモリを暗黙的に含む場合がある。

コンベンショナル及び／又はカスタムである他のハードウェアが含まれる場合もある。同様に、図示される任意のスイッチは、単に概念的なものである。それらの機能は、プログラムロジックの動作を通して、専用ロジックを通して、プログラム制御及び専用ロジックのやり取りを通して、更には手動的に実行される場合があり、特定の技術は、文脈から更に詳細に理解されるように実装者により選択可能である。

本出願の特許請求の範囲では、特定の機能を実行する手段として表現される任意のエレメントは、たとえばａ）その機能を実行する回路素子の組み合わせ、ｂ）その機能を実行するソフトウェアを実行する適切な回路と組み合わされる、ファームウェア、マイクロコード等を含む任意の形式でのソフトウェア、を含むその機能を実行する任意の方法を包含することが意図される。係る特許請求の範囲により定義される本発明は、様々な引用される手段により提供される機能が結合され、請求項が求める方法で互いに纏められるという事実にある。従って、それらの機能を提供する任意の手段は、本実施の形態に示されるものと等価であると見なされる。

本発明の「１実施の形態」又は「実施の形態」への明細書への参照は、その他の変形例と同様に、実施の形態と共に記載される特定の特徴、構造、特徴等が本発明の１実施の形態に含まれることを意味する。従って、明細書を通して様々な位置に現れる任意の他の変形例と同様に、記載「１実施の形態では」又は「実施の形態では」の出現は、必ずしも、同じ実施の形態を示すものではない。

以下の記載「／」、「及び／又は」及び「少なくとも１つの」の使用は、たとえば「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢの少なくとも１つ」の場合、最初の列挙されたオプションＡのみの選択、第二の列挙されたオプションＢのみの選択、両方のオプション（Ａ及びＢ）の選択を包含することが意図される。更なる例として、「Ａ、Ｂ及び又はＣ」及び「Ａ、Ｂ及びＣの少なくとも１つ」の場合、係る記載は、最初に列挙されたオプションＡのみの選択、第二の列挙されたオプションＢのみの選択、第三の列挙されたオプションＣのみの選択、第一及び第二の列挙されたオプション（Ａ及びＢ）のみの選択、第一及び第三の列挙されたオプション（Ａ及びＣ）のみの選択、又は、第二及び第三の列挙されたオプション（Ｂ及びＣ）のみの選択、又は、全ての３つのオプション（Ａ及びＢ及びＣ）の選択を包含することが意図される。このことは、多数のアイテムが列挙された場合に、当業者によって容易に明らかであるように、拡張される場合がある。

本実施の形態で使用されたとき、用語「画像」及び「ピクチャ」は、交換可能に使用され、ビデオ系列及び／又は静止画像の一部である任意のビデオピクチャを示す場合がある。先に述べたように、本発明は、ビデオ画像のデータ刈り取り方法及び装置に向けられる。

さらに、１以上の本発明の実施の形態がMPEG-4AVC規格に関して記載される一方で、本発明はこの規格のみに限定されるものではなく、本発明の精神を維持する一方で、他のビデオ符号化規格、勧告、及び、MPEG-4AVC規格の拡張を含めて、その拡張に関して利用される場合がある。

図１を参照して、データ刈り取り及び復元の例示的なシステムは、参照符号化１００により示される。本システム１００は、データ刈り取り器１１０、エンコーダ（又は圧縮器）１２０、デコーダ（又は伸張器）１３０、及びデータ復元器１４０を含む。データ刈り取り器１１０は、符号化による圧縮の前に、あるピクチャから少なくとも１つの領域（たとえば直線、曲線、領域等）を空間領域において除く前処理を行う。次いで、エンコーダ１２０は、少なくとも１つの領域が除かれたピクチャを符号化する。デコーダ１３０は、少なくとも１つの領域が除かれた符号化されたピクチャを復号化する。データ復元器１４０は、空間領域において、少なくとも１つの領域を復元して復号化されたピクチャにする後処理を行う。何れかのデータ刈り取り器１１０、エンコーダ１２０、デコーダ１３０及びデータ復元器１４０は、たとえばそれら対応する機能を実行するため、１以上のプロセッサ、メモリ等を含む場合がある。たとえば、データ刈り取り器１１０における１以上のプロセッサは、本実施の形態で記載される前処理を行う一方で、データ復元器１４０における１以上のプロセッサは、本実施の形態で記載される後処理を実行する場合がある。データ刈り取り器１１０は、幾つかの実施の形態では、データ刈り取り器とは個別である他のエレメントを含む場合があり、他の実施の形態では、データ刈り取り器と統合される他のエレメントを含む場合がある。たとえば、実施の形態では、データ刈り取り器１１０（又はデータ刈り取り段階）は、間引き器及び補間器（図１１参照）を含む場合がある。別の実施の形態では、データ刈り取り器１１０（又はデータ刈り取り段階）は、（少なくとも１つの領域の実際の除去を行うサブエレメントでとしての）データ刈り取り器、ストア又は圧縮器、及び補間器（たとえば図１０参照）を含む場合がある。図１のエレメントのこれらの変形例及び他の変形例は、本発明の精神を維持しつつ、当業者により容易に創作される。

図２を参照して、データ刈り取り及び復元の例示的な方法は、参照符号２００により示される。本方法２００は、開始ブロック２０５を含み、この開始ブロックは、機能ブロック２１０に制御を移す。機能ブロック２１０は、あるピクチャを受信し、機能ブロック２１５に制御を移す。機能ブロック２１５は、該ピクチャから少なくとも１つの領域（たとえば直線、曲線、領域等）を空間領域において除くためにピクチャの前処理を行い、機能ブロック２２０に制御を移す。機能ブロック２２０は、少なくとも１つの領域が除去されたピクチャを符号化し、機能ブロック２２５に制御を移す。機能ブロック２２５は、符号化されたピクチャをデコーダ（又はデコーダを有する装置）に供給し、機能ブロック２３０に制御を移す。機能ブロック２３０は、少なくとも１つの領域が除去された符号化されたピクチャを復号化し、機能ブロック２３５に制御を移す。機能ブロック２３５は、少なくとも１つの領域が除去された復号化されたピクチャを受け、少なくとも１つの領域を復元して復号化されたピクチャにするために後処理を実行し、終了ブロック２９９に制御を移す。

図３を参照して、本発明が適用される例示的なビデオエンコーダは、参照符号３００により示される。

ビデオエンコーダ３００は、結合器３８５の非反転入力と接続される出力を有するフレームオーダリングバッファ３１０を含む。結合器３８５の出力は、変換器及び量子化器３２５の第一の入力と接続される。変換器及び量子化器３２５の出力は、エントロピーコーダ３４５の第一の入力、並びに、逆変換器及び逆量子化器３５０の第一の入力と接続される。エントロピーコーダ３４５の出力は、結合器３９０の第一の非反転入力と接続される。結合器３９０の出力は、出力バッファ３３５の第一の入力と接続される。

エンコーダコントローラ３０５の第一の出力は、フレームオーダリングバッファ３１０の第二の入力、逆変換器及び逆量子化器３５０の第二の入力、ピクチャタイプ判定モジュール３１５の入力、マクロブロックタイプ（MB-type）判定モジュール３２０の入力、イントラ予測モジュール３６０の第二の入力、デブロッキングフィルタ３６５の第二の入力、動き補償器３７０の第一の入力、動き予測器３７５の第一の入力、及び参照画像バッファ３８０の第二の入力に接続される。

エンコーダコントローラ３０５の第二の出力は、SEI（Supplemental Enhancement Information）挿入器３３０の第一の入力、変換器及び量子化器３２５の第二の入力、エントロピーコーダ３４５の第二の入力、出力バッファ３３５の第二の入力、SPS（Sequence Parameter Set）及びPPS（Picture Parameter Set）挿入器３４０の入力と接続される。

ピクチャタイプ判定モジュール３１５の第一の出力は、フレームオーダリングバッファ３１０の第三の入力と接続される。ピクチャタイプ判定モジュール３１５の第二の出力は、マクロブロックタイプ判定モジュール３２０の第二の入力と接続される。

SPS（Sequence Parameter Set）及びPPS（Picture Parameter Set）挿入器３４０の出力は、結合器３９０の第三の非反転入力に接続される。

逆量子化器及び逆変換器３５０の出力は、結合器３１９の第一の非反転入力に接続される。結合器３１９の出力は、イントラ予測モジュール３６０の第一の入力とデブロッキングフィルタ３６５の第一の入力と接続される。デブロッキングフィルタ３６５の出力は、参照画像バッファ３８０の第一の入力と接続される。参照画像バッファ３８０の出力は、動き予測器３７５の第二の入力と接続される。動き予測器３７５の第一の出力は、動き補償器３７０の第二の入力と接続される。動き予測器３７５の第二の出力は、エントロピー符号化器３４５の第三の入力と接続される。

動き補償器３７０の出力は、スイッチ３９７の第一の入力に接続される。イントラ予測モジュール３６０の出力は、スイッチ３９７の第二の入力と接続される。マクロブロックタイプ判定モジュール３２０の出力は、スイッチ３９７の第三の入力と接続される。スイッチ３９７の第三の入力は、スイッチの「データ」入力が（制御入力、すなわち第三の入力に比較して）動き補償器３７０又はイントラ予測モジュール３６０により供給されるか否かを判定する。スイッチ３９７の出力は、結合器３１９の第二の非反転入力と結合器３８５の反転入力に接続される。

フレームオーダリングバッファ３１０及びエンコーダコントローラ３０５の入力は、入力ピクチャ３０１を受けるために、エンコーダ３００の入力として利用可能である。さらに、SEI（Supplemental Enhancement Information）挿入器３３０の入力は、メタデータを受けるため、エンコーダ３００の入力として利用可能である。出力バッファ３３５の出力は、ビットストリームを出力するため、エンコーダ３００の出力として利用可能である。

図４を参照して、本発明が適用される例示的なビデオデコーダは、参照符号４００により示される。

ビデオデコーダ４００は、エントロピーデコーダ４４５の第一の入力と接続される出力を有する入力バッファ４１０を含む。エントロピーデコーダ４４５の第一の出力は、逆変換器及び逆量子化器４５０の第一の入力と接続される。逆変換器及び逆量子化器４５０の出力は、結合器４２５の第二の非反転入力と接続される。結合器４２５の出力は、デブロッキングフィルタ４６５の第二の入力及びイントラ予測モジュール４６０の第一の入力と接続される。デブロッキングフィルタ４６５の第二の出力は、参照画像バッファ４８０の第一の入力と接続される。参照画像バッファ４８０の出力は、動き補償器４７０の第二の入力と接続される。

エントロピーデコーダ４４５の第二の出力は、動き補償器４７０の第三の入力及びデブロッキングフィルタ４６５の第一の入力と接続される。エントロピーデコーダ４４５の第三の出力は、デコーダコントローラ４０５の入力と接続される。デコーダコントローラ４０５の第一の出力は、エントロピーデコーダ４４５の第二の入力と接続される。デコーダコントローラ４０５の第二の出力は、逆変換器及び逆量子化器４５０の第二の入力と接続される。デコーダコントローラ４０５の第三の出力は、デブロッキングフィルタ４６５の第三の入力と接続される。デコーダコントローラ４０５の第四の出力は、イントラ予測モジュール４６０の第二の入力、動き補償器４７０の第一の入力、参照画像バッファ４８０の第二の入力と接続される。

動き補償器４７０の出力は、スイッチ４９７の第一の入力と接続される。イントラ予測モジュール４６０の出力は、スイッチ４９７の第二の入力と接続される。スイッチ４９７の出力は、結合器４２５の第一の非反転入力と接続される。

入力バッファ４１０の入力は、入力ビットストリームを受けるため、デコーダ４００の入力として利用可能である。デブロッキングフィルタ４６５の第一の出力は、出力ピクチャを出力するため、デコーダ４００の出力として利用可能である。

本発明によれば、圧縮されたビデオビットレートを低減するためにデータ刈り取りを行い、同時に、デコーダ側での復号化及び再構成されたピクチャの非常に高画質を維持する新たなスキームが提案される。実施の形態に関する更なる詳細では、オリジナルの画像／ピクチャは、圧縮の前に小さなサイズに刈り取られ、次いで、復号化の後にそれらの本来のサイズに補間される。この補間は、それらの本来のサイズにビデオ画像／ピクチャを戻すため、データ刈り取りステップの間にどの線、セグメント又は領域が刈り取られたかに関する情報を使用する。刈り取りは、幾つかの可能性のある評価スキームのうちの１つに従って、空間領域において、線、セグメント及び／又は領域をドロップすることで符号化の前に行われ、次いで、空間領域にビットストリームを復号化した後に、これらの線、セグメント及び／又は領域が復元される。実施の形態では、その本来のサイズに復号化されたピクチャを再構成するため、エッジに向けられた補間が利用される。画像／ビデオピクチャにおける残りの画素をフィルタリングするのを回避するので、再構成されたピクチャは、低ビットレートから高画質を達成することができる。

１実施の形態では、データ刈り取りは、行又は列のみがドロップされ、従って１方向におけるアップサンプリングのみがこれらの領域で必要とされるような方式で実行される。係る文脈で記載されるが、本発明の精神を維持しつつ、符号化の前に空間領域においてセクションをドロップする他の手段が使用される場合があることが当業者にとって明らかであろう。したがって、ドロップされるラインは、先の記載に限定されないが、列又は行である場合がある。たとえば、ドロップされるラインは、斜線である場合があり、又は、直線の代わりに及び／又は直線に加えて非線形の曲線である場合がある。さらに、同じ原理を当てはめることができ、刈り取られる必須のユニットは、空間領域の直線又は曲線ではなく、むしろセクション又は領域である点で本発明の範囲に含まれる。従って、直線の文脈で本実施の形態で提供される本発明の記載は、直線のみに本発明の範囲を制限するものではなく、符号化の前にドロップされる（そして結果的に復号化の後に復元される）べき空間領域における直線、曲線、セクション及び／又は領域の選択に限定されるものではない。従って、本実施の形態で提供される本発明の教示が与えられると、本発明のこれらの変形及び他の変形例が創作され、本発明の精神を維持しつつ、当業者により容易に実現可能である。本実施の形態で使用される用語「領域」は、１以上の直線、曲線、セクション及び／又は領域を表す場合があることを理解されたい。

例示する目的で、新たなエッジに向けられた補間（NEDI: New Edge-Directed Interpolation, NEDI-4）を補間のためにどのように適合させるかに焦点が向けられる。図５Ａを参照して、NEDI-4及びNEDI-8に関する高次のエッジに向けられた補間のモデルパラメータは、参照符号３００により示される。この図に示されるように、５点形の準格子を使用した２つのパスが実行される。第一のパスでは、任意の４つの最も近い低解像度の画素の交点にある高解像度の画素は、適応型の４次の補間器を使用することで、それら最も近い画素から補間される。残りの高解像度の画素は、第一のパスにおける低解像度の画素と補間された画素とを使用して、第二のパスにおいて同じアルゴリズムで補間される。補間器の高解像度のモデルパラメータは、低解像度のモデルパラメータから予測される。

［データ刈り取り］
データ刈り取りは、ピクチャにおけるラインをドロップすることで実現される。特定のケースでは、ラインは直線である。そのケースでは、ラインは、行又は列であるか、（図６に示されるような）方向をもつ任意の直線である。図６を参照して、任意のラインをドロップすることによるデータ刈り取りの例は、参照符号６００により示される。データ刈り取り６００は、フレーム６１０、刈り取られたライン６２０及び刈り取られた曲線６３０を含む。

図７を参照して、１つのフレームにおける列及び行をドロップすることによるデータ刈り取りの例は、参照符号７００により示される。データ刈り取り７００は、フレーム７１０、ドロップされた列７２０、及びドロップされた行７３０を含む。

図８を参照して、全体のグループオブピクチャ（GOP）及び／又はシーンについて同じ列及び行をドロップすることによるデータ刈り取りの例は、参照符号８００により示される。データ刈り取り８００は、最初のフレーム８１０、中間のフレーム８２０及び最後のフレーム８３０、ドロップされた行８４０、及びドロップされた列８５０を含む。

図９Ａを参照して、公知のAkiyoシーケンスの最初のフレームにおけるドロップされた列及び行を示すラインは、参照符号９００により示される。図９Ｂを参照して、図９Ａの例に対応する刈り取られたフレームは、参照符号９５０により示される。

デコーダは失われた画素を補間する必要があるので、デコーダでドロップされたラインの位置を知ることが必要である。ドロップされたラインの画素の位置を指示することと、このドロップされたラインを把握するオーバヘッドとの間にトレードオフが存在する。１実施の形態では、ラインを示すオーバヘッドを大幅に低減するため、列のみ、行のみがドロップされる。このケースでは、記録するために行／列当たり１ビットが使用され、従って（１フレームにおける列及び行をドロップする図７、１GOP／シーンにおける列及び行をドロップする図８、白線がドロップされた列及び行を示す図９Ａ、及び刈り取られたフレームについて図９Ｂに見られるように）そのラインがドロップされるか否かが示される。別の実施の形態では、奇数ラインのみがドロップされ、偶数ラインは手付かずにされる。１実施の形態では、１GOP／シーンにおける全てのピクチャは、オーバヘッドを更に低減するために同じドロッピングパターンを有する。どのラインが最初にドロップされるかを判定するため、１実施の形態では、圧縮が関与しないこと、歪みの基準が使用されるものとする。最初に、最終的な目標が設定される。この目標は、歪み、画素をドロップするパーセンテージ、及び／又は複雑度の制約である。勿論、本実施の形態で提供される本発明の教示が与えられると、目標は、上記したものに限定されず、本発明の精神を維持しつつ、本発明に従って他の目標が使用される場合がある。１実施の形態では、１つの直線がドロップされることが想定され、圧縮を考慮することなしにドロップされた直線が補間される。次いで、補間された直線の平均平方誤差（MSE）が原画像における同じ直線に比較される。最小のMSEを有する直線が最初にドロップされるために選択される。別の実施の形態では、そのラインの歪みとビットレートの両者が考慮される。１実施の形態では、ラインのビットレートは、その分散を使用して近似される。

［最適なデータ刈り取りの実施の形態］
図１０を参照して、データ刈り取りに基づいた圧縮の例示的なシステムは、参照符号１０００により示される。システム１０００は、データ刈り取り器１０１０、データストア又は圧縮器１０２０、及び補間器１０３０を含む。個別のエレメントとして示されているが、データ刈り取り器１０１０、データストア又は圧縮器１０２０、又は補間器１０３０の１以上が統合されたエレメントに結合される場合がある。たとえば、１実施の形態では、データ刈り取り器１０１０は、データストア又は圧縮器１０２０に含まれる場合がある。データストア又は圧縮器１０２０は、本発明の目的について、エンコーダであると考えられる。サイズＭ×ＮのオリジナルフレームＩは、より小さなサイズ（Ｍ−Ｍ_p）×（Ｎ−Ｎ_p）のフレームＰに刈り取られ、この場合、Ｍ_p及びＮ_pは、それぞれドロップされた行及び列の数である。データ刈り取りの目的は、記憶又は圧縮されたフレームＰ’を表すビット数を低減することである。次いで、Ｐ’は、本来のフレームサイズに再構成するためにＩ’に補間される。本実施の形態で考慮される圧縮ステージは、MPEG-4AVC規格のコーデックであり、図３に示されるエンコーダと図４に示されるデコーダである。しかし、先に述べたように、本発明は、MPEG-4AVC規格にのみ限定されるものではなく、従って、本発明の精神を維持しつつ、他のビデオ符号化規格、勧告、及び、その拡張に適用される場合がある。

偶数行及び列のみがドロップされることが考慮され、奇数行及び列は、後の補間について保持される。図１１を参照して、データ刈り取り段階の例示的なシステムは、参照符号１１００により示される。システム１１００は、間引き器１１１０及び補間器１１２０を含む。データ刈り取り段階では、それぞれ列のみのドロップ、行のみのドロップ、及び行と列の両者のドロップを示すケースについて１×２、２×１及び２×２の割合で、原フレームＩは、間引き器１１１０により低解像度（LR）フレームＩ_lに間引きされる。次いで、フレームＩ_lは、補間器１１２０により高解像度（HR）フレームＩ_hに補間される。補間のため、再構成されたフレームは、その原フレームとは異なる。Ｉにおける対応する行及び列に比較して最小のエラーを有するＩ_hにおける行及び列は、ドロップされるように選択される。平均平方誤差（MSE）は、Ｉ_hとＩとの間の平均平方誤差として定義される。

目標となるMSEmaxが与えられると、全体のMSEをMSEmax未満に保持しつつ、大部分の画素をドロップするためにデータ刈り取りが最適化される。ドロップされる行及び列の位置は、α_m及びα_nによりそれぞれ示される。α_iの値が１である場合、ｉ番目の偶数ライン（行又は列）がドロップされ、さもなければ、保持される。これらのインジケータは、符号化されたビットストリームにおけるサイド情報として記憶される。１つのドロップされた直線の平均平方直線誤差（MSLE）は、その直線のみの画素についてＩ_hとＩとの間の平均平方誤差として定義される。より小さいMSLEをもつ直線は、より高いMSLEをもつ直線よりもドロップされるべき高い優先度を有する。最小のMSLEをもつＭ_p行及びＮ_p列がドロップされ、これらの直線の最大のMSLEがMSLEmaxであるとする。全体のMSEは、全てのドロップされた画素の平均されたMSEとなる。MSEの上限は、たとえばドロップされた行数Ｍ_p、ドロップされた列数Ｎ_p、及びMSLEmaxに基づいて達成される。この上限は、最適なデータ刈り取りスキームを発見するために条件として、MSEmax未満である。

図１２Ａ及び図１２Ｂを参照して、最適なデータ刈り取りの例示的な方法は、参照符号１２００により示される。本方法１２００は、開始ブロック１２０１を含み、この開始ブロックは、機能ブロック１２０３に制御を移す。機能ブロック１２０３は、フレーム又はGOPを入力し、機能ブロック１２０６、機能ブロック１２０９及び機能ブロック１２１２に制御を移す。機能ブロック１２０６は、偶数行を除き、機能ブロック１２１５に制御を移す。機能１２１５は、たとえばNEDI-6に基づいて補間を行い、機能ブロック１２２４に制御を移す。機能ブロック１２２４は、オリジナルの行と再構成された行との間の誤差を発見し（１）、機能ブロック１２３３に制御を移す。

機能ブロック１２０９は、偶数列を除去し、機能ブロック１２１８に制御を移す。機能ブロック１２１８は、たとえばNEDI-6に基づいて補間を実行し、機能ブロック１２２７に制御を移す。機能ブロック１２２７は、オリジナルの列と再構成された列との間の誤差を発見し（２）、機能ブロック１２３３に制御を移す。

機能ブロック１２１２は、偶数行及び列を除去し、機能ブロック１２２１に制御を移す。機能ブロック１２２１は、たとえばNEDI-8に基づいて補間を行い、機能ブロック１２３０に制御を移す。機能ブロック１２３０は、オリジナルの行／列と再構成された行／列との間の誤差を発見し（３）、機能ブロック１２３３に制御を移す。

機能ブロック１２３３は、ドロップされた行の番号（No）M_d=0を設定し、ドロップされた列の番号N_d=0を設定し、最大のドロップされた画素Pel=0を設定し、及び判定ブロック１２３６に制御を移す。判定ブロック１２３６は、M_d=0であるか否かを判定する。M_d=0であると判定した場合、機能ブロック１２４２に制御を移す。さもなければ、判定ブロック１２３９に制御を移す。

機能ブロック１２４２は、（１）における最小の誤差、すなわち機能ブロック１２２４あたり計算された誤差をもつN_dの行をドロップするために選択し、機能ブロック１２４６に制御を移す。機能ブロック１２４６は、誤差MSE及びドロップされた画素数Pelを計算し、判定ブロック１２５２に制御を移す。判定ブロック１２５２は、MSE＜MSE_max及びPel＞Pel_maxであるか否かを判定する。MSE＜MSE_max及びPel＞Pel_maxであると判定した場合、機能ブロック１２５５に制御を移す。さもなければ、機能ブロック１２７０に制御を移す。

機能ブロック１２５５は、Pel_max＝Pelを設定し、M_d_opt=M_dを設定し、N_d_opt=N_dを設定し、機能ブロック１２５８に制御を移す。機能ブロック１２５８は、N_d<Nであるか否かを判定する。N_d<Nであると判定した場合、機能ブロック１２６４に制御を移す。さもなければ、機能ブロック１２６１に制御を移す。

機能ブロック１２６１は、M_d<Mであるか否かを判定する。M_d<Mであると判定した場合、機能ブロック１２６７に制御を移す。さもなければ、機能ブロック１２７０に制御を移す。

判定ブロック１２３９は、N_d=0であるか否かを判定する。N_d=0であると判定した場合、機能ブロック１２４５に制御を移す。さもなければ、機能ブロック１２４９に制御を移す。

機能ブロック１２４５は、（２）における最小の誤差、すなわち機能ブロック１２２７で計算された誤差をもつM_dの列をドロップするために選択し、機能ブロック１２４６に制御を移す。

機能ブロック１２４９は、（３）における最小の誤差、すなわち機能ブロック１２３０で計算された誤差をもつM_d列及びN_d行をドロップするために選択し、機能ブロック１０４６に制御を移す。

機能ブロック１２７０は、M_d_opt及びN_d_optを出力し、終了ブロック１２９９に制御を移す。

図１３を参照して、最適なデータ復元の例示的な方法は、参照符号１３００により示される。本方法１３００は、開始ブロック１３０５を含み、この開始ブロックは、機能ブロック１３１０に制御を移す。機能ブロック１３１０は、刈り取られたフレーム及び／又はグループオブピクチャ（GOP）、並びにドロップされたフレームのリストを入力し、機能ブロック１３１５に制御を移す。機能ブロック１３１５は、フレームをそれらの本来のサイズに変更し、ループリミットブロック１３２０に制御を移す。ループリミットブロック１３２０は、刈り取られたデータについてループし、判定ブロック１３２５に制御を移す。判定ブロック１３２５は、偶数行及び列が除かれているか否かを判定する。偶数行及び列が除かれていると判定した場合、機能ブロック１３３０に制御を移す。さもなければ、判定ブロック１３４０に制御を移す。

機能ブロック１３３０は、行及び列をNEDI-8により補間し、ループリミットブロック１３３５に制御を移す。

ループリミットブロック１３３５は、ループを終了し、機能ブロック１３６０に制御を移す。機能ブロック１３６０は、再構成されたフレーム／GOPを出力し、終了ブロック１３９９に制御を移す。

判定ブロック１３４０は、偶数行が除かれているか否かを判定する。偶数行が除かれていると判定した場合、機能ブロック１３４５に制御を移す。さもなければ、判定ブロック１３５０に制御を移す。

機能ブロック１３４５は、その行をNEDI-6で補間し、ループリミットブロック１３３５に制御を移す。

判定ブロック１３５０は、偶数列が除かれているか否かを判定する。偶数列が除かれていると判定した場合、機能ブロック１３５５に制御を移す。さもなければ、ループリミットブロック１３３５に制御を移す。

機能ブロック１３５５は、その列をNEDI-6で補間し、ループリミットブロック１３３５に制御を移す。

［高次のエッジに向けられた補間］
補間により、同じ又は一時的に関連するフレームの周辺の画素からかけている画素を推定／充填することができる方法が意図される。係る方法は、それらの周囲から欠けている画素のホールを充填する、Bi-Cubic方法のような古典的な補間、NEDIのような新たな方法、修復（inpainting）のような他の種類の方法とすることができる。勿論、本発明に係る補間は、先に記載した補間技術に限定されるものではなく、本発明の精神を維持しつつ、他の補間技術が使用される場合もある。

デコーダでの補間について、高次のエッジに向けられた補間を適用することが提案され、従って更に多くの方法に適合させることができる。本発明の方法は、低解像度の画像の分散に関連する従来のアプローチで記載されたものとは異なり、この従来のアプローチは、４つの隣接する画素を使用し、２×２のアップサイジング比についてのみ適用される。本発明は、これを提案されるデータ刈り取りスキームについて使用されるように適合させる。実施の形態では、１次元（行のみ又は列のみ）及び２次元（行と列の両者）のそれぞれにおけるラインをドロップするケースについて使用される、６次及び８次のエッジに向けられた補間が使用される。

［実施の形態：NEDI-6］
列のみをドロップするアルゴリズムが記載される。これは、同じアルゴリズムを列のみをドロップするケース及び行のみをドロップするケースについて適用することができるからである。はじめに、原フレームＩにおける奇数列に対応するＰ’の列は、サイズＭ×（Ｎ／２）の低解像度フレームＰ_l’を形成するために抽出される。Ｐ_l’の列は、サイズＭ×ＮのＨＲフレームＰ_h’の奇数列にマッピングされる。Ｐ_h’の偶数列は、本実施の形態で説明される６次の補間により奇数列から補間される。

補間される画素は、図５Ｂに示される重み付けされた６つの隣接する周辺の画素の合計である。図５Ｂを参照して、NEDI-6に関連する高次のエッジに向けられた補間のモデルパラメータは、参照符号５００により示される。これらの重みは、高解像度のフレームのモデルパラメータである。最適なモデルパラメータは、モデルパラメータがローカルウィンドウにおいて一定であるという前提で、補間された画素とオリジナルの画素との間のMSEを最小にすることで得られる。幾何学的な二重性の前提を適用して、モデルパラメータは、異なるスケールについて一定であると考えられ、低解像度画素から推定される。図５Ｂに示されるように、低解像度フレームのモデルパラメータは、オリジナルの画素と補完された画素とを利用可能であると共に、それらの間の誤差を最小にすることで得られる。次いで、これらの低解像度モデルパラメータは、欠けている高解像度の画素を補間するために高解像度のモデルパラメータとして使用される。最後に、列インジケータは、最終的に再構成されたフレームを形成するため、圧縮された刈り取られたフレーム又は補間されたフレームから画素を選択するために使用される。列のインジケータの値が１である場合、再構成された列は、補間されたフレームから取得される。さもなければ、列のインジケータの値が０である場合、再構成された列は、圧縮された刈り取られたフレームから取得される。

［実施の形態：NEDI-8］
NEDI-6と同様に、原フレームＩにおけるダウンサンプリング率２×２の低解像度画素に対応するＰ’における画素は、サイズ（Ｍ／２）×（Ｎ／２）のＬＲフレームＰ_l’を形成するために抽出される。補間は、第１回についてNEDI-4を使用して実行され、第２回についてNEDI-8を使用して実行される。第２ラウンドにおける全ての８つの隣接する画素が利用可能となると共に、４つの方向から余分の情報を得るためにNEDI-8が実現される。この第二ラウンドの利点は、モデルパラメータがその高解像度画素から直接的に予測され、従って、NEDI-4のオーバフィッティング問題が緩和される。NEDI-8は、一貫したものとするため、全ての欠けている高解像度画素に適用される。ＨＲスケールの４次のモデルパラメータｈ₄及び８次のモデルパラメータｈ₈は、図３Ａに示される。最適値ｈ₈は、NEDI-6について採用されたものに同様のアルゴリズムにより計算される。

以下、本発明の多くの付随する利点／特徴の幾つかに関する説明が与えられ、そのうちの幾つかは、上述された。たとえば、１つの利点／特徴は、符号化による圧縮の前に、又は符号化による圧縮に備えて、あるピクチャを前処理するデータ刈り取り手段を有する装置である。データ刈り取り手段は、空間領域において該ピクチャにおける少なくとも１つの領域を選択的に除く。

別の利点／特徴は、上述されたデータ刈り取り手段を有する装置であり、データ刈り取り手段は、エンコーダに含まれる。

更に別の利点／特徴は、上述されたデータ刈り取り手段を有する装置であり、少なくとも１つの領域が除かれたピクチャを符号化するためにデータ刈り取り手段に結合されるエンコーダを更に有する。

また、別の利点／特徴は、上述されたデータ刈り取り手段を有する装置であり、該ピクチャにおける少なくとも１つの領域の位置を示すサイド情報は、デコーダ又は他の装置に明示的又は暗黙的に送信される。

更に別の利点／特徴は、上述されたデータ刈り取り手段を有する装置であり、少なくとも１つの領域は、直線、非線形の曲線及び領域の少なくとも１つを含む。

さらに、別の利点／特徴は、上述されたデータ刈り取り手段を有する装置であり、偶数ラインのみ又は奇数ラインのみがデータ刈り取り器により除かれる。

さらに、別の利点／特徴は、上述されたデータ刈り取り器を有する装置であり、ピクチャは、グループオブピクチャに含まれ、グループオブピクチャにおける全てのピクチャには、同じ除去のパターンが割り当てられる。

また、別の利点／特徴は、上述されたデータ刈り取り器を有する装置であり、選択的に除去された少なくとも１つの領域は、画像の歪みの基準、レート歪みの基準、ドロップされた画素の基準及び複雑度の基準の少なくとも１つの評価に応じて決定される。

さらに、別の利点／特徴は、上述されたデータ刈り取り器を有する装置であり、１次元における少なくとも１つの領域を除去するために６次の補間が使用され、２次元における少なくとも１つの領域を除去するために８次の補間が使用される。

本発明のこれらの特徴及び利点、並びに他の特徴及び利点は、本実施の形態での教示に基づいて当業者により容易に確かめられる場合がある。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ、又はそれらの組み合わせといった様々な形式で実現されることを理解されたい。

最も好ましくは、本発明の教示は、ハードウェアとソフトエアの組み合わせとして実現される。さらに、ソフトウェアは、プログラムストレージユニットで実施されるアプリケーションプログラムとして実現される場合がある。アプリケーションプログラムは、任意の適切なアーチテクチャを備えるコンピュータにアップロードされて実行される場合がある。好ましくは、コンピュータは、１以上の中央処理装置（CPU）、ランダムアクセスメモリ（RAM）及び入力／出力（I／O）インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。また、コンピュータプラットフォームは、オペレーティングシステム又はマイクロコードを含む場合がある。本実施の形態で記載された様々なプロセス及び機能は、CPUにより実行される場合がある、マイクロプログラムの一部であるか又はアプリケーションプログラムの一部、或いはそれらの組み合わせである場合がある。さらに、様々な周辺装置は、更なるデータストレージユニット及びプリンティングユニットのようなコンピュータプラットフォームに接続される場合がある。

添付図面に示されるシステムコンポーネント及び方法の幾つかは、ソフトウェアで好ましくは実現されるため、システムコンポーネント又はプロセス機能ブロック間の実際の接続は、本発明がプログラムされるやり方に依存して異なる場合がある。本実施の形態における教示が与えられると、当業者であれば、本発明のこれらの実現又はコンフィギュレーション、及び類似の実現又はコンフィギュレーションを創作することができるであろう。

例示的な実施の形態が添付図面を参照して本実施の形態で記載されたが、本発明はそれら正確な実施の形態に限定されるものではなく、様々な変更及び変形が本発明の範囲及び精神から逸脱することなしに当業者により実施されることを理解されたい。全ての係る変形及び変更は、特許請求の範囲で述べた本発明の範囲に含まれることが意図される。

Claims (36)

1. 符号化による圧縮の前に、前記符号化による圧縮に備えて、あるピクチャを前処理するデータ刈り取り手段を備える装置であって、
   前記データ刈り取り手段は、前記ピクチャにおける少なくとも１つの領域を空間領域において選択的に除去する、
   ことを特徴とする装置。
2. 前記データ刈り取り手段は、エンコーダに含まれる、
   請求項１記載の装置。
3. 前記少なくとも１つの領域が除かれた前記ピクチャを符号化するため、前記データ刈り取り手段に結合されるエンコーダを更に備える、
   請求項１記載の装置。
4. 前記ピクチャにおける前記少なくとも１つの領域の位置を示すサイド情報は、デコーダ又は他の装置に明示的に又は暗黙的に送出される、
   請求項１記載の装置。
5. 前記少なくとも１つの領域は、直線、非線形の曲線及び領域の少なくとも１つである、
   請求項５記載の装置。
6. 前記データ刈り取り手段により、偶数番の直線のみ又は奇数番の直線のみが除去される、
   請求項１記載の装置。
7. 前記ピクチャは、グループオブピクチャに含まれており、前記グループオブピクチャにおける全てのピクチャには、同じ除去のパターンが割り当てられる、
   請求項１記載の装置。
8. 前記選択的に除去された前記少なくとも１つの領域は、画像の歪みの基準、レート歪みの基準、ドロップされる画素の基準及び複雑度の基準の少なくとも１つの評価に応じて決定される、
   請求項１記載の装置。
9. １次元である前記少なくとも１つの領域を除去するために６次の補間が使用され、２次元である前記少なくとも１つの領域を除去するために８次の補間が使用される、
   請求項１記載の装置。
10. 符号化による圧縮の前に、前記符号化による圧縮に備えて、あるピクチャを前処理するステップを含む方法であって、
    前記前処理するステップは、プロセッサを有するデータ刈り取り手段が、前記ピクチャにおける少なくとも１つの領域を空間領域において選択的に除去するステップを含む、
    ことを特徴とする方法。
11. 当該方法は、エンコーダより実行される、
    請求項１０記載の方法。
12. 前記少なくとも１つの領域が除かれた前記ピクチャを符号化するステップを更に備える、
    請求項１０記載の方法。
13. 前記ピクチャにおける前記少なくとも１つの領域の位置を示すサイド情報は、デコーダ又は他の装置に明示的に又は暗黙的に送出される、
    請求項１０記載の方法。
14. 前記少なくとも１つの領域は、直線、非線形の曲線及び領域の少なくとも１つである、
    請求項１０記載の方法。
15. 前記前処理ステップにより、偶数番の直線のみ又は奇数番の直線のみが除去される、
    請求項１０記載の方法。
16. 前記ピクチャは、グループオブピクチャに含まれており、前記グループオブピクチャにおける全てのピクチャには、同じ除去のパターンが割り当てられる、
    請求項１０記載の方法。
17. 前記選択的に除去された前記少なくとも１つの領域は、画像の歪みの基準、レート歪みの基準、ドロップされる画素の基準及び複雑度の基準の少なくとも１つの評価に応じて決定される、
    請求項１０記載の方法。
18. １次元である前記少なくとも１つの領域を除去するために６次の補間が使用され、２次元である前記少なくとも１つの領域を除去するために８次の補間が使用される、
    請求項１０記載の方法。
19. 復号化による伸張に続いて、伸張されたピクチャを受け、以前に行われた符号化処理の前に少なくとも１つの領域が除去されたことを示す情報に基づいて、前記伸張されたピクチャにおける前記少なくとも１つの領域を空間領域において選択的に復元することで、前記伸張されたピクチャを後処理するデータ復元手段を備える、
    ことを特徴とする装置。
20. 前記データ復元手段は、デコーダに含まれる、
    請求項１９記載の装置。
21. 前記少なくとも１つの領域が除かれた前記ピクチャを復号化するため、前記データ復元手段に結合されるデコーダを更に備える、
    請求項１９記載の装置。
22. 前記データ復元手段は、前記ピクチャにおける前記少なくとも１つの領域の位置を示すサイド情報を受信する、
    請求項１９記載の装置。
23. 前記少なくとも１つの領域は、直線、非線形の曲線及び領域の少なくとも１つである、
    請求項１９記載の装置。
24. 前記データ復元手段により、偶数番の直線のみ又は奇数番の直線のみが復元される、
    請求項１９記載の装置。
25. 前記ピクチャは、グループオブピクチャに含まれており、前記グループオブピクチャにおける全てのピクチャには、同じ除去のパターンが割り当てられる、
    請求項１９記載の装置。
26. １次元である前記少なくとも１つの領域を復元するために６次の補間が使用され、２次元である前記少なくとも１つの領域を復元するために８次の補間が使用される、
    請求項１９記載の装置。
27. 復号化による伸張に続いて、伸張されたピクチャを受信するステップと、
    以前に行われた符号化処理の前に少なくとも１つの領域が除去されたことを示す情報に基づいて、前記伸張されたピクチャにおける前記少なくとも１つの領域を空間領域において選択的に復元することで、プロセッサを有するデータ復元手段を使用して、前記伸張されたピクチャを後処理するステップと、
    を含むことを特徴とする方法。
28. 当該方法は、デコーダに含まれる、
    請求項２７記載の方法。
29. 前記受信するステップの前に、前記少なくとも１つの領域が除かれた前記ピクチャを復号化するステップを更に含む、
    請求項２７記載の方法。
30. 前記データ復元手段は、前記ピクチャにおける前記少なくとも１つの領域の位置を示すサイド情報を受信する、
    請求項２７記載の方法。
31. 前記少なくとも１つの領域は、直線、非線形の曲線及び領域の少なくとも１つである、
    請求項２７記載の方法。
32. 前記後処理ステップにより、偶数番の直線のみ又は奇数番の直線のみが復元される、
    請求項２７記載の方法。
33. 前記ピクチャは、グループオブピクチャに含まれており、前記グループオブピクチャにおける全てのピクチャには、同じ除去のパターンが割り当てられる、
    請求項１９記載の方法。
34. １次元である前記少なくとも１つの領域を復元するために６次の補間が使用され、２次元である前記少なくとも１つの領域を復元するために８次の補間が使用される、
    請求項２７記載の方法。
35. ビデオ符号化用のビデオ信号構造であって、
    符号化による圧縮の前に前処理された符号化されたピクチャを含み、
    ピクチャにおける少なくとも１つの領域を空間領域において選択的に除去するように前記ピクチャが前処理される、
    ことを特徴とするビデオ信号構造。
36. 符号化による圧縮の前に前処理された符号化されたピクチャを含む、符号化されたビデオ信号データを記憶した記録媒体であって、
    ピクチャにおける少なくとも１つの領域を空間領域において選択的に除去するように前記ピクチャが前処理される、
    ことを特徴とするビデオ信号構造。

Images