JP2013518463A - サンプリングベースの超解像度ビデオ符号化および復号化方法並びに装置 - Google Patents

Abstract

サンプリングベースの超解像度ビデオ符号化および復号化の方法並びに装置が提供される。符号化方法は、高解像度画像を受け取り（６１０）、そこから低解像度画像と、低解像度画像およびメタデータの復号化後の後処理をガイドするメタデータとを生成し（６２５）、次に、少なくとも１つのエンコーダを使用して低解像度画像およびメタデータを符号化する。対応する復号化方法は、ビットストリームを受け取り、そこからデコーダを使用して低解像度画像およびメタデータを復号化し、次に、低解像度画像およびメタデータを使用して、低解像度画像にそれぞれ対応する高解像度画像を復元する。

Description

本発明の原理は、全体として、ビデオ符号化および復号化に関し、より具体的には、サンプリングベースの超解像度ビデオ符号化および復号化の方法並びに装置に関する。

関連出願の相互参照
本出願は、２０１０年１月２２日出願の米国仮出願第６１／２９７，３２０号明細書の利益を主張し、その全体を参照により本明細書に組み込む。

超解像度を使用するビデオ圧縮の手段は、第１の従来技術の手段で提案された。最初の従来技術の手段では、入力ビデオの空間的サイズは、符号化の前に特定の予め定められた低解像度（ＬＲ）サイズまで低減される。低解像度ビデオがデコーダ側で受け取られた後、低解像度ビデオは、ビットストリームで送信された何らかのサイド情報（メタデータ）とともに、超解像度化方法を使用して元のサイズにアップスケールされる。メタデータは、ブロックのフレームベースでのセグメント化を含み、各ブロックは、移動しているブロックとして、移動していない平面ブロックとして、また移動していないテクスチャ付きブロックとして標識付けされる。移動していない平面ブロックは、空間的補間によってアップスケールされる。移動しているブロックでは、受信機に動きベクトルが送られ、サブピクセル情報を回復するために超解像度化技術が適用される。移動していないテクスチャ付きブロックでは、回転順序で４つの相補的ダウンサンプリンググリッドが適用される、ジッタードダウンサンプリング戦略が使用される。

しかし、上述の第１の従来技術の手段は、不利なことに、移動領域に対してスマートサンプリング戦略を使用しない。より正確には、第１の従来技術の手段は、超解像度を得るため、低解像度フレーム間にサブピクセル動きが存在することに依存する。しかし、サブピクセル動きは必ずしも保証されるとは限らない。

第２の従来技術の手段では、カメラはフレームキャプチャ間のサブピクセルシフトにおいて機械的に移動される。目的は、後の超解像度化により一層適した低解像度ビデオをキャプチャすることである。静止背景については、第２の従来技術の手段の方法は、上述の第１の従来技術の手段におけるジッタードサンプリングの概念と類似している。しかし、固定ジッターは、発明者らが目標とする用途、即ち後の超解像度化に向けたダウンサンプリング高解像度ビデオに起こり得るような、非静止背景の場合に有効な戦略ではない。

従来技術のこれらおよび他の欠点並びに不利な点に対して、サンプリングベースの超解像度ビデオ符号化および復号化の方法並びに装置を対象とする本発明の原理によって対処する。

本発明の原理の１つの態様によれば、装置が提供される。装置は、高解像度画像を受け取り、そこから低解像度画像およびメタデータを生成する、ダウンサンプラおよびメタデータ生成器を含む。メタデータは、低解像度画像およびメタデータの復号化後の後処理をガイドするためのものである。装置は、低解像度画像およびメタデータを符号化する少なくとも１つのエンコーダをさらに含む。

本発明の原理の別の態様によれば、方法が提供される。方法は、高解像度画像を受け取るステップと、そこから低解像度画像およびメタデータを生成するステップとを含む。メタデータは、低解像度画像およびメタデータの復号化後の後処理をガイドするためのものである。方法は、少なくとも１つのエンコーダを使用して低解像度画像およびメタデータを符号化するステップをさらに含む。

本発明の原理のさらに別の態様によれば、装置が提供される。装置は、ビットストリームを受け取り、そこから低解像度画像およびメタデータを復号化するデコーダを含む。装置は、低解像度画像およびメタデータを使用して、低解像度画像にそれぞれ対応する高解像度画像を復元する、超解像度ポストプロセッサをさらに含む。

本発明の原理のさらに別の態様によれば、方法が提供される。方法は、ビットストリームを受け取るステップと、デコーダを使用してそこから低解像度画像およびメタデータを復号化するステップとを含む。方法は、低解像度画像およびメタデータを使用して、低解像度画像にそれぞれ対応する高解像度画像を復元するステップをさらに含む。

本発明の原理のこれらおよび他の態様、特徴、並びに利点は、例示的実施形態の以下の詳細な説明を添付図面と併せ読むことによって明白になるであろう。

本発明の原理は、以下の例示的な図面と併せてより一層理解することができる。

本発明の原理の一実施形態による、サンプリングベースの超解像度化の例示的なシステム／方法を示す高次ブロック図である。 本発明の原理の一実施形態による、本発明の原理が適用されてもよい例示的なビデオエンコーダを示すブロック図である。 本発明の原理の一実施形態による、本発明の原理が適用されてもよい例示的なビデオデコーダを示すブロック図である。 本発明の原理の一実施形態による、サンプリングベースの超解像度化方法の前処理段階に関係するデータおよびステップを示す図である。 本発明の原理の一実施形態による、サンプリングベースの超解像度化方法の前処理段階に関係するデータおよびステップを示す図である。 本発明の原理の一実施形態による、サンプリングベースの超解像度化方法の前処理段階に関係するデータおよびステップを示す図である。 本発明の原理の一実施形態による、サンプリングベースの超解像度化方法の前処理段階に関係するデータおよびステップを示す図である。 本発明の原理の一実施形態による、サンプリングベースの超解像度化方法の後処理段階に関係するデータおよびステップを示す図である。 本発明の原理の一実施形態による、サンプリングベースの超解像度化方法の後処理段階に関係するデータおよびステップを示す図である。 本発明の原理の一実施形態による、サンプリングベースの超解像度化方法の後処理段階に関係するデータおよびステップを示す図である。 本発明の原理の一実施形態による、サンプリングベースの超解像度化方法の後処理段階に関係するデータおよびステップを示す図である。 本発明の原理の一実施形態による、サンプリングベースの超解像度化方法の前処理段階に関係する例示的な方法を示すフロー図である。 本発明の原理の一実施形態による、ＨＲ高解像度（ＨＲ）フレームから低解像度（ＬＲ）へのダウンサンプリングに使用されるサンプリンググリッドの例を示す図である。 本発明の原理の一実施形態による、ＨＲ高解像度（ＨＲ）フレームから低解像度（ＬＲ）へのダウンサンプリングに使用されるサンプリンググリッドの例を示す図である。 本発明の原理の一実施形態による、ＨＲ高解像度（ＨＲ）フレームから低解像度（ＬＲ）へのダウンサンプリングに使用されるサンプリンググリッドの例を示す図である。 本発明の原理の一実施形態による、ＨＲ高解像度（ＨＲ）フレームから低解像度（ＬＲ）へのダウンサンプリングに使用されるサンプリンググリッドの例を示す図である。 本発明の原理の一実施形態による、ＨＲ高解像度（ＨＲ）フレームから低解像度（ＬＲ）へのダウンサンプリングに使用されるサンプリンググリッドの例を示す図である。 本発明の原理の一実施形態による、ＨＲ高解像度（ＨＲ）フレームから低解像度（ＬＲ）へのダウンサンプリングに使用されるサンプリンググリッドの例を示す図である。 本発明の原理の一実施形態による、追加の均一なサンプリンググリッドを示す図である。 本発明の原理の一実施形態による、追加の均一なサンプリンググリッドを示す図である。 本発明の原理の一実施形態による、追加の均一なサンプリンググリッドを示す図である。 本発明の原理の一実施形態による、追加の均一なサンプリンググリッドを示す図である。 本発明の原理の一実施形態による、サンプリンググリッドの選択に関係するステップを示す図である。 本発明の原理の一実施形態による、サンプリンググリッドの選択に関係するステップを示す図である。 本発明の原理の一実施形態による、サンプリンググリッドの選択に関係するステップを示す図である。 本発明の原理の一実施形態による、サンプリンググリッドの選択に関係するステップを示す図である。 本発明の原理の一実施形態による、サンプリングベースの超解像度化方法の後処理段階に関係する例示的な方法を示すフローチャートである。 本発明の原理の一実施形態による、２つのフレーム間の前景オブジェクトの動きを示す図である。 本発明の原理の一実施形態による、２つのフレーム間の前景オブジェクトの動きを示す図である。

本発明の原理は、サンプリングベースの超解像度ビデオ符号化および復号化の方法並びに装置を対象とする。

本発明の記載は本発明の原理を例証する。したがって、当業者であれば、本明細書に明示的に記載または図示されないものの、本発明の原理を具体化し、かつ本発明の趣旨および範囲に含まれる様々な構成を考案できることを認識するであろう。

本明細書に列挙されるすべての実施例および条件付きの用語は、発明者（ら）が当該分野を促進するのに寄与する読者が本発明の原理および概念を理解するのを助ける教育目的であるものとし、かかる具体的に列挙される実施例および条件に限定されないものと解釈すべきである。

さらに、本発明の原理の原理、態様、および実施形態を列挙する本明細書のすべての記述、並びにそれらの具体的な実施例は、それらの構造的等価物および機能的等価物の両方を包含するものとする。それに加えて、かかる等価物は、現在知られている等価物、並びに今後開発される等価物、即ち構造にかかわらず同じ機能を実行する、開発されるあらゆる要素の両方を含むものとする。

したがって、例えば、当業者であれば、本明細書に提示されるブロック図は、本発明の原理を具体化する実例的な回路構成の概念図を表すことを認識するであろう。同様に、あらゆるフローチャート、フロー図、状態遷移図、疑似コードなどは、コンピュータ可読媒体で実質的に表され、コンピュータまたはプロセッサが明示的に示されるか否かにかかわらず、かかるコンピュータまたはプロセッサによって実行されてもよい、様々なプロセスを表すことが認識されるであろう。

図面に示される様々な要素の機能は、専用ハードウェア、並びに適当なソフトウェアと共同してソフトウェアを実行することができるハードウェアを使用することによってもたらされてもよい。プロセッサによってもたらされる場合、機能は、単一の専用プロセッサによって、単一の共用プロセッサによって、または一部が共有されてもよい複数の個々のプロセッサによってもたらされてもよい。さらに、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的に指すものと解釈すべきではなく、非限定的に、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを格納する読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、および不揮発性記憶装置を暗示的に含んでもよい。

他の従来および／またはカスタムのハードウェアも含まれてもよい。同様に、図面に示されるあらゆるスイッチは単に概念上のものである。それらの機能は、プログラム論理の動作によって、専用論理によって、プログラム制御と専用論理の相互作用によって、またはさらには手動で実施されてもよく、文脈からより具体的に理解されるように、開発者によって特定の技術を選択可能である。

特許請求の範囲において、指定の機能を行う手段として表されるあらゆる要素は、例えば、ａ）その機能を行う回路要素の組み合わせ、またはｂ）したがって、ファームウェア、マイクロコードなどを含むあらゆる形のソフトウェアと、そのソフトウェアを実行して機能を行わせる適当な回路構成との組み合わせを含む、その機能を行うあらゆる様式を包含するものとする。かかる特許請求の範囲によって定義されるような本発明の原理は、様々な列挙される手段によってもたらされる機能性が、請求項が要求する形で組み合わされ１つにまとめられるという事実に存在する。したがって、それらの機能性をもたらすことができるあらゆる手段は、本明細書に示されるそれらと等価であるものと見なされる。

本明細書における本発明の原理の「１つの実施形態」または「一実施形態」という言及は、実施形態と併せて記載される特定の機能、構造、および特徴が、本発明の原理の少なくとも１つの実施形態に含まれることを意味する。したがって、「１つの実施形態では」または「一実施形態では」という語句、並びに本明細書全体を通して様々な場所に出てくる他のあらゆる変形が出てくる場合、必ずしもすべてが同じ実施形態を指すものではない。

「／」、「および／または」、および「少なくとも１つ」のいずれかの使用は、例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、および「ＡおよびＢの少なくとも１つ」という場合、１番目に挙げられた選択肢（Ａ）のみを選択すること、２番目に挙げられた選択肢（Ｂ）のみを選択すること、または両方の選択肢（ＡおよびＢ）を選択することを包含するものとする。さらなる例として、「Ａ、Ｂ、および／またはＣ」および「Ａ、Ｂ、およびＣの少なくとも１つ」という場合、かかる語句は、１番目に挙げられた選択肢（Ａ）のみを選択すること、２番目に挙げられた選択肢（Ｂ）のみを選択すること、もしくは３番目に挙げられた選択肢（Ｃ）のみを選択すること、または１番目および２番目に挙げられた選択肢（ＡおよびＢ）のみを選択すること、もしくは１番目および３番目に挙げられた選択肢（ＡおよびＣ）のみを選択すること、もしくは２番目および３番目に挙げられた選択肢（ＢおよびＣ）のみを選択すること、または３つの選択肢すべて（ＡおよびＢおよびＣ）を選択することを包含するものとする。これは、当該分野および関連分野の当業者には容易に明白であるように、挙げられる事項の数と同じだけ拡張されてもよい。

また、本明細書で使用するとき、「画像」および「イメージ」という用語は交換可能に使用され、ビデオシーケンスからの静止イメージまたは静止画像を指す。既知のように、画像はフレームまたはフィールドであってもよい。

それに加えて、本明細書で使用するとき、「周囲の同位置ピクセル（co-located pixels）」という用語が、例えば、低解像度画像における「周囲の同位置ピクセル」のピクセル値から高解像度モザイクにおけるピクセル位置でピクセル値を補間することによって、本明細書に記載される高解像度モザイクを作成することに関して使用される場合、高解像度モザイクで現在補間されているターゲットピクセルと同位置にある（即ち、同じ位置を有する）特定のピクセルを取り囲む低解像度画像のピクセルを指す。

上述したように、本発明の原理は、サンプリングベースの超解像度ビデオ符号化および復号化の方法並びに装置を対象とする。本発明の原理は、有利には、ビデオ圧縮効率を改善するものと認識されるべきである。特に、フレーム間の動きを扱うことができるスマートダウンサンプリング戦略が提案される。前処理段階では、高解像度（ＨＲ）フレームは低解像度（ＬＲ）にダウンサンプリングされ、メタデータは後処理をガイドするために生成される。後処理段階では、復号化された低解像度フレームおよび受け取ったメタデータは、新規な超解像度フレームワーク内で高解像度フレームを復元するのに使用される。低解像度フレームのみが符号化され、送信されるメタデータの量は低度から中程度なので、この手段は圧縮比を向上させるという可能性を有する。

スマートダウンサンプリング戦略は、フレーム間の動きを考慮に入れる。ダウンサンプリング戦略は、持っているピクセル情報を互いに補完する（換言すれば、フレーム間のピクセルの冗長度を低減する）ようにしてＬＲフレームを作成することによって、超解像度化の結果を改善することに寄与する。ある意味では、戦略はフレーム間のサブピクセル動きを強化することを試みる。

発明者らは、従来のビデオ圧縮方法（主に、例えば、国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）、動画圧縮標準４（ＭＰＥＧ−４）、パート１０、高度ビデオ符号化（ＡＶＣ）規格／国際電気通信連合、電気通信部門（ＩＴＵ−Ｔ）、Ｈ．２６４推奨基準（以下、「ＭＰＥＧ−４ＡＶＣ規格」）など、ブロックベースの予測方法）は、圧縮比の飽和点に達し始めていることに注目している。データプルーニング方法は、標準的な圧縮方法によって達成されるよりも圧縮効率を改善することを目指す。かかる方法の主な原理は、符号化前（またはその最中）にデータを除去し、復号化後（またはその最中）に受信機側で除去したデータを元に戻すというものである。データプルーニング方法は、それらの目標を、例えばブロック／領域の除去と修復、ラインの除去と補間などを達成する様々な前処理および後処理技術を開発してきた。

本発明の原理によれば、（送信機側での）インテリジェントダウンサンプリングおよび（受信機側での）超解像度化は、データプルーニングのために開発された技術である。超解像度化は、いくつかの低解像度イメージまたはフレームにわたって情報を一時的に統合することによって、イメージまたはビデオの解像度を向上するプロセスである。このデータプルーニング手段の原理が図１に示される。図１を参照すると、サンプリングベースの超解像度化の例示的なシステム／方法が全体的に参照番号１００によって示される。高解像度（ＨＲ）フレームが入力され、低解像度（ＬＲ）フレームおよびメタデータを得るため、ステップ１１０で（ダウンサンプラおよびメタデータ生成器１５１による）ダウンサンプリングおよびメタデータ生成にかけられる。ステップ１１５で、低解像度フレームおよびメタデータは（エンコーダ１５２によって）符号化される。ステップ１２０で、符号化された低解像度フレームおよびメタデータは（デコーダ１５３によって）復号化される。低解像度フレームおよびメタデータは、ステップ１３０で、高解像度出力フレームを供給するため、（超解像度化ポストプロセッサ１５４による）超解像度化後処理にかけられる。したがって、前処理段階（ステップ１１０）では、高解像度フレームは低解像度にダウンサンプリングされ、メタデータは後処理をガイドするために生成される。特に、フレーム間の動きを扱うことができるスマートダウンサンプリング戦略が提案される。後処理段階（ステップ１２５）では、復号化された低解像度フレームおよび受け取ったメタデータは、新規な超解像度フレームワーク内で高解像度フレームを復元するのに使用される。低解像度フレームのみが符号化され、送信されるメタデータの量は低度から中程度なので、この手段を使用して向上された圧縮比を得ることができる。発明者らは、ダウンサンプラおよびメタデータ生成器１５１はまた、本明細書においてプリプロセッサとして考慮され引用されてもよいことに注目している。

以下に記載されるエンコーダおよびデコーダの特定の構成に限定されないが、エンコーダ１５２およびデコーダ１５３はそれぞれ、図２および図３に示されるように実装することができる。

図２を参照すると、本発明の原理が適用されてもよい例示的なビデオエンコーダは、全体が参照番号２００によって示される。ビデオエンコーダ２００は、コンバイナ２８５の非反転入力を有する信号通信の出力を有するフレーム再配列バッファ（frame ordering buffer）２１０を含む。コンバイナ２８５の出力は、変換器および量子化器２２５の第１の入力と信号通信で接続される。変換器および量子化器２２５の出力は、エントロピー符号器２４５の第１の入力および逆変換器および逆量子化器２５０の第１の入力と信号通信で接続される。エントロピー符号器２４５の出力は、コンバイナ２９０の第１の非反転入力と信号通信で接続される。コンバイナ２９０の出力は、出力バッファ２３５の第１の入力と信号通信で接続される。

エンコーダコントローラ２０５の第１の出力は、フレーム再配列バッファ２１０の第２の入力、逆変換器および逆量子化器２５０の第２の入力、ピクチャタイプ決定モジュール２１５の入力、マクロブロックタイプ（ＭＢタイプ）決定モジュール２２０の第１の入力、イントラ予測モジュール２６０の第２の入力、デブロッキングフィルタ２６５の第２の入力、動き補償器（motion compensator）２７０の第１の入力、動き推定器（motion estimator）２７５の第１の入力、並びに参照画像バッファ２８０の第２の入力と信号通信で接続される。

エンコーダコントローラ２０５の第２の出力は、補助強化情報（ＳＥＩ）挿入器２３０の第１の入力、変換器および量子化器２２５の第２の入力、エントロピー符号器２４５の第２の入力、出力バッファ２３５の第２の入力、並びにシーケンスパラメータセット（ＳＰＳ）およびピクチャパラメータセット（ＰＰＳ）挿入器２４０の入力と信号通信で接続される。

ＳＥＩ挿入器２３０の出力は、コンバイナ２９０の第２の非反転入力と信号通信で接続される。

ピクチャタイプ決定モジュール２１５の第１の出力は、フレーム再配列バッファ２１０の第３の入力と信号通信で接続される。ピクチャタイプ決定モジュール２１５の第２の出力は、マクロブロックタイプ決定モジュール２２０の第２の入力と信号通信で接続される。

シーケンスパラメータセット（ＳＰＳ）およびピクチャパラメータセット（ＰＰＳ）挿入器２４０の出力は、コンバイナ２９０の第３の非反転入力と信号通信で接続される。

逆量子化器および逆変換器２５０の出力は、コンバイナ２１９の第１の非反転入力と信号通信で接続される。コンバイナ２１９の出力は、イントラ予測モジュール２６０の第１の入力およびデブロッキングフィルタ２６５の第１の入力と信号通信で接続される。デブロッキングフィルタ２６５の出力は、参照画像バッファ２８０の第１の入力と信号通信で接続される。参照画像バッファ２８０の出力は、動き推定器２７５の第２の入力および動き補償器２７０の第３の入力と信号通信で接続される。動き推定器２７５の第１の出力は、動き補償器２７０の第２の入力と信号通信で接続される。動き推定器２７５の第２の出力は、エントロピー符号器２４５の第３の入力と信号通信で接続される。

動き補償器２７０の出力は、スイッチ２９７の第１の入力と信号通信で接続される。イントラ予測モジュール２６０の出力は、スイッチ２９７の第２の入力と信号通信で接続される。マクロブロックタイプ決定モジュール２２０の出力は、スイッチ２９７の第３の入力と信号通信で接続される。スイッチ２９７の第３の入力は、（制御入力、即ち第３の入力と比べて）スイッチの「データ」入力が、動き補償器２７０またはイントラ予測モジュール２６０によって供給されるものであるか否かを判定する。スイッチ２９７の出力は、コンバイナ２１９の第２の非反転入力およびコンバイナ２８５の反転入力と信号通信で接続される。

フレーム再配列バッファ２１０の第１の入力およびエンコーダコントローラ２０５の入力は、入力画像を受け取るために、エンコーダ２００の入力として利用可能である。さらに、補助強化情報（ＳＥＩ）挿入器２３０の第２の入力は、メタデータを受け取るために、エンコーダ２００の入力として利用可能である。出力バッファ２３５の出力は、ビットストリームを出力するために、エンコーダ２００の出力として利用可能である。

図３を参照すると、本発明の原理が適用されてもよい例示的なビデオデコーダは、全体が参照番号３００によって示される。ビデオデコーダ３００は、エントロピーデコーダ３４５の第１の入力と信号通信で接続される出力を有する入力バッファ３１０を含む。エントロピーデコーダ３４５の第１の出力は、逆変換器および逆量子化器３５０の第１の入力と信号通信で接続される。逆変換器および逆量子化器３５０の出力は、コンバイナ３２５の第２の非反転入力と信号通信で接続される。コンバイナ３２５の出力は、デブロッキングフィルタ３６５の第２の入力およびイントラ予測モジュール３６０の第１の入力と信号通信で接続される。デブロッキングフィルタ３６５の第２の出力は、参照画像バッファ３８０の第１の入力と信号通信で接続される。参照画像バッファ３８０の出力は、動き補償器３７０の第２の入力と信号通信で接続される。

エントロピーデコーダ３４５の第２の出力は、動き補償器３７０の第３の入力、デブロッキングフィルタ３６５の第１の入力、およびイントラ予測器３６０の第３の入力と信号通信で接続される。エントロピーデコーダ３４５の第３の出力は、デコーダコントローラ３０５の入力と信号通信で接続される。デコーダコントローラ３０５の第１の出力は、エントロピーデコーダ３４５の第２の入力と信号通信で接続される。デコーダコントローラ３０５の第２の出力は、逆変換器および逆量子化器３５０の第２の入力と信号通信で接続される。デコーダコントローラ３０５の第３の出力は、デブロッキングフィルタ３６５の第３の入力と信号通信で接続される。デコーダコントローラ３０５の第４の出力は、イントラ予測モジュール３６０の第２の入力、動き補償器３７０の第１の入力、および参照画像バッファ３８０の第２の入力と信号通信で接続される。

動き補償器３７０の出力は、スイッチ３９７の第１の入力と信号通信で接続される。イントラ予測モジュール３６０の出力は、スイッチ３９７の第２の入力と信号通信で接続される。スイッチ３９７の出力は、コンバイナ３２５の第１の非反転入力と信号通信で接続される。

入力バッファ３１０の入力は、入力ビットストリームを受け取るため、デコーダ３００の入力として利用可能である。デブロッキングフィルタ３６５の第１の出力は、出力画像を出力するため、デコーダ３００の出力として利用可能である。

サンプリングベースの超解像度化の原理
サンプリングベースＳＲの中心思想は、図４Ａ〜図４Ｄおよび図５Ａ〜図５Ｄに示される。図４Ａ〜図４Ｄを参照すると、サンプリングベースの超解像度化方法の前処理段階に関係するデータおよびステップは、全体として参照番号４００によって示される。特に、図４Ａは、高解像度（ＨＲ）フレーム４１０の入力セットを示す。図４Ｂは、参照フレームに対する動き変換Θ_t1の推定４２０を示す。図４Ｃは、参照フレーム座標における超解像度充填率に基づくサンプリンググリッドＳ_tの推定４３０を示す（Ｉは恒等変換（identity transformation）を指すことに留意されたい）。図４Ｄは、ダウンサンプリングされた低解像度（ＬＲ）フレームおよび対応するメタデータ４４０を示す。

図５Ａ〜図５Ｄを参照すると、サンプリングベースの超解像度化方法の後処理段階に関係するデータおよびステップは、全体として参照番号５００によって示される。特に、図５Ａは、低解像度フレームおよびメタデータの復号化セット５１０を示す。図５Ｂは、参照フレーム座標における低解像度フレームからの超解像度モザイクの作成５２０を示す（Ｉは恒等変換を指すことに留意されたい）。図５Ｃは、超解像度モザイクからの高解像度フレームの復元５３０を示す。図５Ｄは、超解像度化された高解像度フレーム５４０を示す。

後処理段階に関係する図５Ａを参照すると、最初に、一組の復号化ＬＲフレーム

〜

が、いくつかの関連メタデータとともに利用可能である。フレームの１つは参照フレーム（図５Ａの

）であることが分かっている。図５Ｂでは、メタデータ情報を使用して低解像度フレームのピクセルを共通座標系（参照フレームの座標系と一致する）に変換した後に、超解像度モザイクが構築される。その後、図５Ｃを参照すると、メタデータ情報を使用して、超解像度モザイクの情報（現在のフレーム座標に逆変換されたもの）とそれに対応する低解像度フレームを組み合わせることによって、セットの各高解像度フレームが復元される。上述の後処理ステップを実施するため、メタデータは、各フレームと参照フレームとの間のピクセルの動きを記述する必要があり、ダウンサンプリングプロセスは、（前処理段階において）各低解像度フレームを対応する高解像度フレームから作成するのに使用される。この情報は前処理段階で判定され、メタデータとして送られる。

図４Ａを参照すると、入力高解像度ビデオは別々に処理されるフレームのセットに分割される。高解像度フレームのセットＨ₁〜Ｈ₄（Ｈ₁は参照フレームと見なされる）について考察することとする。図４Ｂでは、各フレームと参照フレームとの間の動きが推定される。図４Ｂでは、Ｈ_tからＨ₁への動き変換がΘ_t1によって表される。図４Ｃでは、対応する低解像度フレームＬ_tを作成するため、（ダウン）サンプリンググリッドＳ₁が各フレームＨ₁に対して選択される。図４Ｄでは、（ダウンサンプリングした）低解像度フレームＬ_tを、エンコーダを使用して圧縮し、対応するメタデータ（動きおよびサンプリンググリッド情報）とともに受信機に送ることができる。受信機の後処理段階では、復号化低解像度フレームをメタデータ情報とともに使用して、上述したように高解像度フレームが復元される。

以下、前処理および後処理段階に関与するステップについてさらに記載する。

サンプリングベースの超解像度化の前処理段階
前処理段階では、入力高解像度ビデオは、最初に連続フレームのセットに分割される。次に、各セットは別々に処理される。一般的に、各セットのＭ²フレームを選ぶが、ここで、Ｍはダウンサンプリングファクタ、即ち高解像度と低解像度のフレーム寸法の比である。この根拠は、高解像度フレームが低解像度フレームのＭ²倍の数のピクセルを含み、したがって、高解像度フレームと同じサイズの超解像度モザイクを構築するのにＭ²のＬＲフレームを得るべきであることである。

ここで、ダウンサンプリングファクタが２（即ち、Ｍ＝２）である場合を考察し、次に４つの高解像度フレームのセット（Ｈ_t；ｔ＝１、２、３、４）について考察する。

図６を参照すると、サンプリングベースの超解像度化方法の前処理段階に関係する例示的な方法は、全体が参照番号６００によって示される。方法６００は、機能ブロック６１０に制御を渡す開始ブロック６０５を含む。機能ブロック６１０は、高解像度ビデオフレームｔ＝１、…、Ｎを入力し、機能ブロック６１５に制御を渡す。機能ブロック６１５は、各フレームと参照フレームとの間で全体の動き推定を行って、その動きパラメータを得て、機能ブロック６２０に制御を渡す。機能ブロック６２０は、超解像度品質と関連する基準に基づいて各フレームに対するサンプリンググリッドの選択を行って、サンプリンググリッドインデックスを得て、機能ブロック６２５に制御を渡す。機能ブロック６２５は、低解像度フレームを得るために高解像度フレームをダウンサンプリングし、機能ブロック６３０に制御を渡す。機能ブロック６３０は、低解像度フレーム、ｔ＝１、…、Ｎをエンコーダに出力し、終了ブロック６９９に制御を渡す。

前処理段階（例えば、図４および図６に関して示されるような）に関与するステップに関係するさらなる詳細は、次の通りに提供される。

１．動き推定：Ｈ₁を参照フレームとする。各フレームＨ_tから参照フレームへの動きを推定する（図４Ｂ）。Ｈ_tからＨ₁への動き変換はΘ_t1によって表される。

２．サンプリンググリッドの選択：各フレームＨ_tに対して、サンプリンググリッドＳ_tは、対応するＬＲフレームＬ_tを作成するため、Ｈ_tから得られるピクセルを示す。グリッドＳ₁は、各フレームが後処理段階の超解像度化プロセス（図５Ａ〜図５Ｄ）に対する補助ピクセル情報を供給するように選ばれる。フレーム間の動きはグリッド選択プロセス中に説明される。

３．ダウンサンプリング：選択されたグリッドＳ_tを使用して、低解像度フレームＬ_tがそれぞれ作成される。次に、低解像度フレームはエンコーダを使用して圧縮され、受信機に送られる。フレームと使用されるサンプリンググリッドとの間の動きに関する情報も、メタデータとして送られる。

前述のステップそれぞれについて以下にさらに記載する。

動き推定
例証目的のため、以下、所与のセットの参照フレームに対するセットの各フレームＨ_t間の動きを推定する１つの手法について考察する（図４Ｂ）。一般性を失うことなく、参照フレームはＨ₁であることが考えられる。フレーム間で全体の動きのみがあるものと考えることによって、問題を単純化することとする。換言すれば、任意の２つのフレーム間でのピクセルの動きは、いくつかのパラメータを用いて全体の変換によって説明できるものと考える。全体の変換の例としては、並進、回転、アフィンワープ、射影変換などが挙げられる。

フレームＨ_iからフレームＨ_jへの動きを推定するため、最初に、フレーム間の動きを説明するパラメータに関する全体の動きモデルを選ぶ。Ｈ_iおよびＨ_jからのデータを使用して、モデルのパラメータθ_ijを次に決定する。これ以降、変換をΘ_ijによって、そのパラメータをθ_ijによって表すものとする。次に、変換Θ_ijを使用して、Ｈ_iをＨ_jに位置合わせする（またはワープさせる）（あるいは逆モデルΘ_ji＝Θ_ij ^-1を使用してその逆を行う）ことができる。

全体の動きは、様々なモデルおよび方法を使用して推定することができる。一般に使用される１つのモデルは、次式のように与えられる射影変換である。

上述の式は、Ｈ_iの（ｘ，ｙ）にあるピクセルがそこまで移動した、Ｈ_jにおける新しい位置（ｘ’，ｙ’）を与える。したがって、８つのモデルパラメータθ_ij＝｛ａ₁，ａ₂，ａ₃，ｂ₁，ｂ₂，ｂ₃，ｃ₁，ｃ₂｝は、Ｈ_iからＨ_jへの動きを説明する。パラメータは、通常、２つのフレーム間の１セットの点対応を最初に決定し、次に、ランダムサンプル一致（ＲＡＮＳＡＣ）またはその変形などのロバストな推定フレームワークを使用することによって推定される。フレーム間の点対応は、例えば、スケール不変特徴量変換（ＳＩＦＴ）の特徴を抽出し整合すること、またはオプティカルフローを使用することなど、多くの方法によって決定することができる。

サンプリングベースの超解像度化手順の場合、参照フレーム（Ｈ₁）に対する各フレームＨ_t間の動きを推定しなければならない。したがって、θ₂₁、θ₃₁、およびθ₄₁（それぞれ、変換Θ₂₁、Θ₃₁、およびΘ₄₁に対応する）という三組のパラメータが推定される。変換は逆転可能であり、逆モデルΘ_ji＝Θ_ij ^-1はＨ_jからＨ_iへの動きを説明する。

サンプリンググリッド選択
各高解像度フレームＨ_tに対して、フレームをダウンサンプリングし低解像度版Ｌ_tを作成するため、サンプリンググリッドＳ_tを選択しなければならない。サンプリンググリッドは、得られ、対応する低解像度フレームに入れられる、高解像度フレーム中のピクセルを示す。図７Ａ〜図７Ｆを参照すると、ＨＲ高解像度（ＨＲ）フレームの低解像度（ＬＲ）へのダウンサンプリングに使用されるサンプリンググリッドの例は、全体として参照番号７００によって示される。さらに詳細には、図７Ａは、高解像度フレーム中のピクセル７１０を示す。図７Ｂは、ダウンサンプリングファクタ２を有する４つの均一なサンプリンググリッド７２０を示す。記号「○」は第１のサンプリンググリッドｇ₁を、記号「＋」は第２のサンプリンググリッドｇ₂を、記号「×」は第３のサンプリンググリッドｇ₃を、記号「△」は第４のサンプリンググリッドｇ₄を示す。図７Ｃは、第１のサンプリンググリッドｇ₁から得られる低解像度フレーム７３０を示す。図７Ｄは、第２のグリッドｇ₂から得られる低解像度フレーム７４０を示す。図７Ｅは、第３のグリッドｇ₃から得られる低解像度フレーム７５０を示す。図７Ｆは、第４のグリッドｇ₄から得られる低解像度フレーム４６０を示す。

図８Ａ〜図８Ｄを参照すると、追加の均一なサンプリンググリッドは、全体として参照番号８００によって示される。さらに詳細には、図８Ａは、水平方向に食い違ったグリッド８１０を示す。図８Ｂは、参照番号８２０によって集合的に示され、個々にそれぞれの記号○、＋、×、および△によって表される、サンプリンググリッドｇ₅、ｇ₆、ｇ₇、およびｇ₈を示す。図８Ｃは、垂直方向に食い違ったサンプリンググリッド８３０を示す。図８Ｄは、参照番号８４０によって集合的に示され、個々にそれぞれの記号○、＋、×、および△によって表される、サンプリンググリッドｇ₉、ｇ₁₀、ｇ₁₁、およびｇ₁₂を示す。

ここで、均一なサンプリンググリッド、即ち高解像度フレームのすべての部分にわたってカバー範囲の密度が均一なもののみを使用するように制約する。均一なグリッドを使用することには別個の利点がある。第一に、高解像度フレームのピクセルの間に存在する空間的および時間的関係がおおむね保存され、これが、エンコーダ（例えば、図１のエンコーダ１１５、図２のエンコーダ２００）が効率的な圧縮のためにビデオの空間的時間的冗長度を活用する助けとなる。第二に、サンプリングベースの超解像度化システムが機能しなくなった場合、均一にサンプリングされたフレームを空間的に補間して高解像度フレームを作成することができ、それによって経験の最小限の質が確保される。第三に、均一なグリッドを使用してサンプリングされたピクセルを低解像度フレームに入れるのがより簡単である。

サンプリンググリッド選択プロセスは、各高解像度フレームＨ_tに対して、グリッドの候補プールＧ＝｛ｇ_i；ｉ＝１、…、Ｎ_G｝から適当なサンプリンググリッドＳ_tを選択する問題として提起される。一実施形態では、発明者らは、図７Ｂ、図８Ｂ、および図８Ｄに示される１２の候補グリッドｇ₁〜ｇ₁₂から選ぶ。食い違ったグリッドｇ₅〜ｇ₁₂は、潜在的には、長方形のグリッドｇ₁〜ｇ₄よりも良好な、ピクセルのわずかに回転させたまたは変形させたグリッドをキャプチャすることができることに留意されたい。

グリッドを選択する際に発明者らが採用する基本的な基準は、後処理段階において超解像度化の結果（即ち、超解像度モザイク）の予期される質を最大限にするものである。実際には、これは、各フレームが超解像度化プロセスに補助ピクセル情報を供給するようにして、グリッドＳ_tを選ぶことによって達成される。グリッド選択プロセスは、超解像度モザイク生成プロセスの一部を複写することによって進行する。一実施形態では、グリッドを選択するのに使用される基準は超解像度充填率である。

図９を参照すると、サンプリンググリッドの選択に関係するステップは、全体として参照番号９００によって示される。特に、図９Ａは、サンプリンググリッドが参照フレームに対して選ばれるステップ９１０を示す。図９Ｂは、Ｈ₁と同じサイズの未充填の超解像度フレーム（Ｈ_SR）が初期化されるステップ９２０を示す（発明者らはＨ_SRとＨ₁との間に動きがないと仮定するので、Ｉは恒等変換である）。図９Ｃは、各候補グリッドに対して充填率が選ばれるステップ９３０を示す。図９Ｄは、対応するＳ_tを選択するために各フレームＨ_tに対して前述のステップが繰り返されるステップ９４０を示す。

サンプリンググリッド選択の上述の方法９００はまた、以下のようにさらに説明されてもよい（４つのフレームのセットについて仮定し、Ｈ₁は参照フレームである）。

１．参照フレーム（Ｈ₁）に対する各フレームＨ_t間の運動変換Θ_t1を演算する。

２．参照フレームに対するサンプリンググリッドをＳ₁＝ｇ₁として選ぶ。

３．参照フレームの座標における「未充填」の超解像度フレーム（Ｈ_SR）を初期化する（即ち、Ｈ_SRとＨ₁との間に動きがないものと仮定する）。グリッドＳ₁によって与えられるピクセル位置に対応するＨ_SRのピクセルを「充填」する。

４．残りのＨＲフレームＨ_t（ｔ≠１）それぞれについて、可能な候補グリッドそれぞれの充填率をＧで演算する。候補グリッドｇ_tの充填率は、Ｈ_tに対してｇ_tが選択されたときに充填される、Ｈ_SRにおける以前の未充填ピクセルの数として定義される。次に、最も高い充填率をもたらすグリッドｇ_t＊が選択され（即ち、Ｓ_t＝ｇ_t＊）、Ｈ_tの対応するピクセルが充填される（動き変換Θ_t1を考慮に入れる）。

５．セットのすべてのフレームＨ_tが処理されると終了する。そうでなければ、ステップ４に戻る。

ステップ４では、候補グリッドｇ_tの充填率は次のように演算される。最初に、Ｈ_tに対して順に各グリッドｇ₁∈Ｇを考慮して、Θ_t1を使用してｇ_tによって与えられるピクセルをＨ_SRに変換（移動）し（Ｈ_SRの最も近いピクセル位置に丸み付けする）、Ｈ_SRのどれだけの数の未充填ピクセル位置が変換したピクセルによって充填されたかを記録することによって、充填率を演算する。その後、最も高い充填率をもたらすグリッドｇ_t＊が選択される（即ち、Ｓ_t＝ｇ_t＊）。選択されたグリッドＳ_tおよび結果として得られる超解像度品質は、フレームＨ_tが処理される順序に依存してもよいことに留意されたい。１つの再配列戦略は、参照フレームからのそれらの時間的距離の順序を増加させる際にフレームを考慮するというものである。例えば、Ｈ₂が参照フレームである場合、他のフレームは、Ｈ₁、Ｈ₃、およびＨ₄の次の順序で処理される。

超解像度品質に関与する充填率の尺度または完全に異なる単位が、グリッド選択の基準として使用されてもよい。例えば、充填済みまたは未充填のものとしてＨ_SRの各ピクセルを表す代わりに、各ピクセルにマッピングされたグリッドピクセルの数を追跡することができる。その後、より大きくＨ_SRに増分的に寄与するグリッドがより高い指数になる増分的情報の尺度として、充填率を再定義することができる。グリッド選択の別の基準は、超解像度化プロセス（以前に選択されたグリッドＳ₁〜Ｓ_t-1およびＳ_tに対する現在の候補グリッドを使用する）を完全に複写し、例えば参照フレームに対するＰＳＮＲに基づいて、最も高いＳＲ品質をもたらすグリッドＳ_tを選ぶことを伴うことができる。

高解像度から低解像度へのダウンサンプリング
グリッド選択プロセスの後、各高解像度フレームＨ_tは対応するサンプリンググリッドＳ_tを有する。Ｓ_tの性質に応じて、Ｈ_tは次のように低解像度フレームＬ_tにダウンサンプリングされる。

Ｓ_tが長方形のグリッド（図７Ｂ）の場合、即ちＳ_t＝ｇ_i（ｉ＝１、２、３、４）の場合、ピクセルをＳ_tから取り、それらを図７Ｃ〜図７Ｆに示されるように水平および垂直に入れることによってＬ_tが形成される。

Ｓ_tが水平方向に食い違ったグリッド（図８Ｂ）の場合、即ちＳ_t＝ｇ_i（ｉ＝５、６、７、８）の場合、サンプリングされたピクセルを有する各行を、それらすべての行の最初にサンプリングされたピクセルが垂直に並ぶように左側にシフトする。その後、上述のようにピクセルを入れることによってＬ_tが形成される。

Ｓ_tが垂直方向に食い違ったグリッド（図８Ｄ）の場合、即ちＳ_t＝ｇ_i（ｉ＝９、１０、１１、１２）の場合、サンプリングされたピクセルを有する各列を、それらすべての列の最初にサンプリングされたピクセルが水平に並ぶように上方向にシフトする。その後、上述のようにピクセルを入れることによってＬ_tが形成される。

様々な他の構造を有する均一なサンプリンググリッドについては、高解像度フレームからサンプリングされたピクセルを使用して長方形の低解像度フレームを形成するような、適切なパッキング戦略が考案されてもよい。

そのように形成された低解像度フレームは、ビデオエンコーダを使用して圧縮される。推定された動き変換パラメータ（θ₂₁、θ₃₁、θ₄₁）および選択されたサンプリンググリッド（Ｓ₁、Ｓ₂、Ｓ₃、Ｓ₄）を含むサイド情報は、メタデータとして送信される。ここで、グリッド自体の代わりにサンプリンググリッドインデックスを送れば十分であることに留意されたい（即ち、Ｓ_t＝ｇ_iの場合、ｉを送る）。その結果、後処理段階でルックアップテーブルからグリッドが分かる。

サンプリングベースのＳＲの後処理段階
後処理段階では、復号化低解像度フレームおよびメタデータを使用して、対応する高解像度フレームを復元する（超解像度化（ＳＲ）として知られるプロセス）。図１０を参照すると、サンプリングベースの超解像度化方法の後処理段階に関係する例示的な方法は、全体として参照番号１０００によって示される。方法１０００は、機能ブロック１０１０に制御を渡す開始ブロック１００５を含む。機能ブロック１０１０は、デコーダから低解像度ビデオフレームｔ＝１、…、Ｎを入力し、機能ブロック１０１５に制御を渡す。機能ブロック１０１５は、各低解像度フレームから有効ピクセルを超解像度モザイク座標に変換し、機能ブロック１０２０に制御を渡す。機能ブロック１０２０は、整数ピクセル位置で値を補間することによって超解像度モザイクを作成し、機能ブロック１０２５に制御を渡す。機能ブロック１０２５は、超解像度モザイクを高解像度フレーム座標に逆変換することによって各高解像度フレームを復元し、機能ブロック１０３０に制御を渡す。機能ブロック１０３０は、高解像度フレームｔ＝１、…、Ｎを復元し、終了ブロック１０９９に制御を渡す。機能ブロック１０３５は、サンプリンググリッドインデックスを機能ブロック１０１５で使用するために供給する。機能ブロック１０４０は、動きパラメータ（メタデータ）を機能ブロック１０１５および１０２５で使用するために供給する。

前処理段階における高解像度フレームのセットＨ_t（ｔ＝１、２、３、４）に対応する復号化ＬＲフレーム

のセットを有するものと推定する（図４Ａ〜図４Ｄ）。メタデータは、動きパラメータおよびサンプリンググリッドインデックスを含む。以下は、復号化低解像度フレームおよびサイド情報を使用した高解像度フレーム

の復元に関与するステップ（図５Ａ〜図５Ｄを参照）である。

１．低解像度フレームからの超解像度モザイクの作成。このステップでは、復号化低解像度フレームのセットからのピクセルおよびサイド情報を使用して、高解像度「ＳＲ」モザイクイメージ

が作成される。これは、ＨＲフレームがそこから復元される参照イメージとして役立つ。さらに詳細には、復元されたＨＲフレームそれぞれの一部分はＳＲモザイクからのものであり、残りの部分は対応するＬＲフレームピクセルから空間的に補間される。

２．高解像度フレームの復元。処理をガイドするためのサイド情報を使用し、超解像度モザイクイメージ

および低解像度フレーム

を使用して、セットの各高解像度フレーム

が復元される。

これらのステップを以下でさらに説明する。

低解像度フレームからの超解像度モザイクの生成
このステップでは、高解像度超高解像度モザイクイメージ

は、復号化低解像度フレームのセット

（ｔ＝１、２、３、４）、並びに低解像度フレームＬ_tを作成するのに使用されるグリッドＳ_tおよび各フレームからセットの参照フレーム（図５Ａのｔ＝１におけるフレーム）への変換Θ_t1を含む、関連するメタデータを使用して構築される。

は、参照フレームと同じ座標にあるものと、即ち

と

との間に動きがないものと仮定される。以下は、

を構築するステップである。

１．現時点では、

は、非整数ピクセル位置が存在してもよい、例えば

（１．４４，２．３５）＝１２８である、連続２Ｄピクセル空間であるものと考える。

２．変換されたグリッド位置Θ_t1（Ｓ_t）とそれに対応する復号化低解像度フレーム

におけるピクセル値によって与えられる

のピクセル位置を埋める。これを、セット（ｔ＝１、２、３、４）の各復号化低解像度フレームに対して行う。

と

との間に動きがないので、Θ_t1＝Ｉ（恒等変換）であることに留意されたい。

３．最後に、すべての整数ピクセル位置それぞれにおける周囲のピクセル値から、十分な（例えば、閾値を使用して決定されるような）データが利用可能である、それらの整数ピクセル位置でピクセル値を補間することによって、イメージ

が構築される。様々な（不均一な）空間的補間方法がこの操作に利用可能である。これらの方法は、ピクセル位置のセットおよび対応する値を取り、任意の数の他の位置における補間された値を出力する。ＭＡＴＬＡＢのグリッドデータ関数を使用して、この補間を実施することができる。

上述のステップの結果は超解像度モザイクイメージ

である。それに加えて、妥当性マップを演算して、

のどのピクセルが、これらのピクセルのみが高解像度フレームの復元に使用されるように信頼性のある情報を含むかが決定されてもよい。妥当性の尺度は、ピクセルの周りの近隣にあるサンプルに基づいて（例えば、サンプルの数または密度）、モザイクイメージの各ピクセルで演算されてもよい。その後、その妥当性値が十分に高い（例えば、所与の閾値を上回る）場合のみ、モザイクのピクセルが復元プロセスに使用される。

高解像度フレームの復元
次に、各高解像度フレーム

（ｔ＝１、２、３、４）が次のように復元される。

１．現時点では、

は、非整数ピクセル位置が存在してもよい連続２Ｄピクセル空間であるものと考える。グリッドＳ_tとそれに対応する

におけるピクセル値によって与えられる

のピクセル位置を埋める。

２．動き変換Θ_1tを使用して

におけるピクセル位置を変換する。Θ_1tはΘ_t1の逆変換であることに留意されたい。

の整数ピクセル位置ｘが変換後の

空間における位置ｙに位置する場合（即ち、ｙ＝Θ_1t（ｘ））、ｙをそれに対応する

における値で埋め、即ち

とする。

３．最後に、すべての整数ピクセル位置それぞれにおける周囲のピクセル値から、フレームのそれらの整数ピクセル位置でピクセル値を補間することによって、高解像度フレーム

が復元される。これは、上述の節（ステップ３）に記載されるような空間的補間方法を使用して扱われる。フレーム境界の外側のピクセルは決定されない。

前景オブジェクトの扱い
これまでは、フレーム間の動きは全体の動きモデルによって完全に説明される、即ちすべてのピクセルがこの動きモデルに忠実であるものと仮定してきた。ここで、前景オブジェクトを扱うための戦略を提示する。前景オブジェクトは、フレーム間の全体の動きを追随しないオブジェクト（または領域）として定義される。換言すれば、これらのオブジェクトは、フレーム間の全体の動きとは異なる動きを有する。図１１Ａ〜図１１Ｂを参照すると、２つのフレーム（フレーム１およびフレームｔ）間の前景オブジェクトの動きは、全体として参照番号１１００によって示される。サンプリングベースの超解像度化プロセスでのアーチファクトを回避するため、前景オブジェクトを見つけ、手順の特定のステップ中にこの知見を使用することが重要である。前景は、バイナリマスクＦ_tによって表されてもよく、ここで、Ｆ_t＝１は前景ピクセルを示し、Ｆ_t＝０は背景ピクセルを示す。

各フレームに対して、その前景ピクセルを示すバイナリマスクＦ_t（図１１Ｂに示されるような）が得られているものと仮定する。ＦＧ_tを、Ｆ_t＝１であるすべてのピクセルのセットとし、

を、Ｆ_t＝０であるすべてのピクセルのセットとする。次に、この情報は次のように使用されてもよい。

サンプリンググリッド選択プロセスでは、Ｌ_tを作成するサンプリングＨ_tに対するサンプリンググリッドを決定すると同時に、前景領域は除外されてもよい。ステップ３およびステップ４では、Ｈ_tからＨ_SRへのＦＧ_tにおけるピクセルのマッピングを回避することができる。したがって、充填率（または他の尺度）は背景ピクセルのみに基づいて演算される。さらに、サンプリンググリッド推定の間、Ｈ_tにおける十分に平らな領域をＦＧ_tの一部と見なすことができる。これは、グリッド選択プロセス中に詳細を備えた領域により高い重要性を与えることによって、超解像度を改善することができる。平らな領域は、空間的変化などの尺度に基づいて決定することができる。

高解像度フレームから低解像度へのダウンサンプリングに先立って、アンチエイリアシングフィルタがフレームの前景領域に適用されてもよい。前景領域は本実施形態では超解像度化されないので、アンチエイリアシング操作は、後処理段階でこれらの領域に対してより良好な空間的補間結果を得る助けとなることがある。

超解像度モザイク作成プロセスについて考える。ステップ２では、

の前景ピクセル（ＦＧ_t）の

への変換を回避してもよい。

高解像度フレーム復元プロセスのステップ２では、ＦＧ_tによって定義される内部領域に含まれる、

から

へと変換された任意のピクセルを廃棄することができる。さらに、ステップ１では、

によって定義される内部領域をマッピングする、Ｓ_tからのピクセルを使用しないことを（任意に）選ぶことができる。

上述の２つの修正例では、

または

の十分に（例えば、閾値を使用して決定されるような）平らな領域を、ＦＧ_tの一部と見なすことができる。この場合、空間的補間を使用してこれらの領域がアップサンプリングされる。

ここまででは、復元された高解像度フレーム

の前景領域は、対応する復号化低解像度フレーム

のピクセルから空間的に補間されただけである。ここで、他の低解像度フレームからの情報は、これらの領域を超解像度化するのには明示的に活用されない。しかし、前景領域を受信機側で部分的にまたは完全に超解像度化するため、ブロック動きベクトル（フレーム間のサブピクセル動きを活用するため）または高解像度パッチなどの何らかの追加情報をメタデータとして送ることが可能であってもよい。

上述のものに加えて、前景情報を使用する他の基準を使用して結果の質が改善されてもよい。

前景マスク推定
独立して動いている領域を有するフレームからクリーンで信頼性のある前景マスクを抽出するのは困難な課題である。ピクセル値のノイズを伴う全体の動き推定におけるエラーはプロセスを複雑にする。さらに、前景情報をメタデータとして簡潔に表しデコーダに送信するという問題もある。

各高解像度フレームＨ_tの前景マスクＦ_tを抽出する１つの方法を次に記載する。これは、高解像度フレームが利用可能な前処理段階で行われる。以下はプロセスのステップである。

１．フレームＨ₁に対して、マスクＦ₁をゼロで充填する。換言すれば、すべてのピクセルが背景と見なされる。

２．Ｆ_tを抽出するため、フレームＨ_tはＨ_1t＝Θ_1t（Ｈ₁）と比較され、即ち、Ｈ₁はＨ_tの座標に変換される。正規化相関単位Ｎ_t1（ｘ）は、ピクセルの周りの小さな近隣を考慮して、Ｈ_tの各ピクセルｘとそれに対応するＨ_1tのピクセルとの間で演算される。Ｈ_1tに対応するピクセルがない（即ち、Θ_t1（ｘ）がＨ₁の境界の外側にある）場合、Ｆ_t（ｘ）は１に設定される。そうでなければ、Ｎ_t1（ｘ）＞Ｔ（Ｔは選ばれた閾値）の場合、Ｆ_t（ｘ）＝０である。そうでなければ、Ｆ_t（ｘ）＝１である。

上述のものの変形例を含む他の方法が代わりに使用されてもよい。

マスクが前処理段階で演算される場合、それらはサイド情報として受信機に送信されなければならない。前景マスクの高解像度版を送信するのは不要なことがある。マスクは、Ｈ_tから低解像度フレームＬ_tを作成するのに使用されるのと同じ戦略を使用して、低解像度にダウンサンプリングされ、次に後処理段階でアップサンプリングされてもよい。マスクはまた、送信に先立って圧縮されてもよい（例えば、ＺＩＰ、ＭＰＥＧ−４ ＡＶＣ規格、および／または他の任意のデータ圧縮スキームを使用する）。あるいは、マスクの送信は、復号化低解像度フレームおよびメタデータを使用して、受信機側でそれらを演算することによって完全に回避されてもよい。しかし、受信機で信頼性のあるマスクを演算することは困難な課題である。

当業者には明白であるような、本発明の原理の１つまたは複数の実施形態で用いられてもよく、依然として本発明の範囲内にある以下の可能な変形例に注目する。

１．方法は４つのフレームのセットについて記載されるが、セットのフレームの数Ｎは上限を有さない。実際には、Ｎは少なくとも４であるべきである。セットのサイズは、ダウンサンプリングファクタとフレーム間の動きの量とに基づいて決定することができる。

２．Ｋ＞Ｎフレームを有するシーケンスは、それぞれＮ個のフレームを有する多数のセットに分割することができる。各セットは、提案される方法を使用して取り扱うことができる。

３．参照フレームは必ずしもセットの第１のフレームである必要はない。参照フレームと非参照フレームとの間の動きの量を最小限に抑えるため、セットの（時間的）中心付近のフレームを使用するのが有利なことがある。

４．フレームのセットを復元しながら、フレームの他のセットからの情報が使用されてもよい。例えば、以前のセットから復元された高解像度参照フレームを使用して、現在のセットの非参照フレームが復元されてもよい。この目的のため、フレームのセット間の動き情報がメタデータとして決定され送信されてもよい。また、現在のセットの外側のフレームからの情報が、超解像度モザイク作成プロセス中に使用されてもよい。

５．ここでの取扱いは、グレイスケール（単一成分）フレームおよび色（多重成分）フレームの両方に有効である。前処理ステップおよび後処理ステップの１つまたは複数（例えば、サンプリンググリッド選択）は、各色成分に対して独立して、またはそれらすべてを一緒に考慮することによって実施されてもよい。例えば、各色成分に対して異なるサンプリンググリッドが決定されてもよい。

６．単一のフレームの異なる領域に対して、複数のサンプリンググリッドが推定されてもよい。例えば、フレームは４つの長方形の四半分に分割されてもよく、サンプリンググリッドは各々に対して選択され得る。この場合、「サンプリンググリッド選択」と題した上述の節のステップ２、３、４は、フレーム単位の代わりに四半分単位で実施される。後に続くプロセス（ダウンサンプリング、後処理）はすべて、フレームの異なる領域に対して異なるサンプリンググリッドを使用するように適宜修正される。

７．単一フレームの異なる領域に対して、異なる全体の動き変換が推定されてもよい。例えば、「動き推定」と題した上述の節では、フレームは４つの長方形の四半分に分割されてもよく、セットの各フレームと参照フレームとの間で異なる変換が推定されてもよい。後に続くプロセスはすべて、フレームの各領域に対して対応する変換を使用する。

８．「動き推定」と題した上述の節では、セットの各フレームから参照フレームへの変換を推定する代わりに、各フレームから次のフレーム（またはその逆）への変換を推定し、それらのうち１つまたは複数を組み合わせて必要な変換を導き出すことが可能である。

９．前景マスク（「前景マスク推定」と題した上述の節における）では、境界ピクセルのバンドは、例えば固定の黒い境界を扱うための前景として見なされてもよい。上述したように、十分に平らな領域を前景と見なすことも可能である。

次に、一部については上述してきた、本発明の多くの付随する利点／特徴のいくつかについて記載する。例えば、１つの利点／特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも１つのエンコーダとを有する装置である。ダウンサンプラおよびメタデータ生成器は、高解像度画像を受け取り、そこから低解像度画像およびメタデータを生成するためのものである。メタデータは、低解像度画像およびメタデータの復号化後の後処理をガイドするためのものである。少なくとも１つのエンコーダ（１５２）は、低解像度画像およびメタデータを符号化するためのものである。

別の利点／特徴は、上述したようなダウンサンプラおよびメタデータ生成器と少なくとも１つのエンコーダとを有する装置であり、メタデータは、動き変換情報およびサンプリンググリッド情報を含む。

さらに別の利点／特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも１つのエンコーダとを有する装置であり、メタデータは、上述したように動き変換情報およびサンプリンググリッド情報を含み、動き変換情報は、高解像度画像の２つ以上の間の全体の動きに関係する全体の動き変換情報を含む。

さらなる別の利点／特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも１つのエンコーダとを有する装置であり、メタデータは、上述したように動き変換情報およびサンプリンググリッド情報を含み、サンプリンググリッド情報は、ダウンサンプリングによって高解像度画像から低解像度画像を生成するのに使用される複数のダウンサンプリンググリッドのそれぞれ１つを示すサンプリンググリッドインデックスを含む。

さらなる利点／特徴は、上述したようにダウンサンプラおよびメタデータ生成器と少なくとも１つのエンコーダとを有する装置であり、高解像度画像は、少なくとも１つの参照画像および１つまたは複数の非参照画像を含み、ダウンサンプラおよびメタデータ生成器は、参照画像から１つまたは複数の非参照画像それぞれへの動きを推定し、動き情報に基づいて高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから１つまたは複数のダウンサンプリンググリッドを選択し、１つまたは複数のダウンサンプリンググリッドを使用して高解像度画像をダウンサンプリングすることによって、低解像度画像を生成する。

さらに、別の利点／特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも１つのエンコーダとを有する装置であり、高解像度画像は、少なくとも１つの参照画像および１つまたは複数の非参照画像を含み、ダウンサンプラおよびメタデータ生成器は、上述したように、参照画像から１つまたは複数の非参照画像それぞれへの動きを推定し、動き情報に基づいて高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから１つまたは複数のダウンサンプリンググリッドを選択し、１つまたは複数のダウンサンプリンググリッドを使用して高解像度画像をダウンサンプリングすることによって、低解像度画像を生成し、１つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、高解像度画像それぞれが、低解像度画像の復号化後の後処理のための補助ピクセル情報を供給するように、１つまたは複数のダウンサンプリンググリッドが動き情報に基づいて選択される。

さらに、別の利点／特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも１つのエンコーダとを有する装置であり、上述したように、１つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、高解像度画像それぞれが、低解像度画像の復号化後の後処理のための補助ピクセル情報を供給するように、１つまたは複数のダウンサンプリンググリッドが動き情報に基づいて選択され、グリッドは、１つまたは複数のダウンサンプリンググリッドの特定の１つを使用して生成される超解像度画像の以前の未充填ピクセルの数を示す充填率に基づいてさらに選択され、超解像度画像は、低解像度画像およびメタデータの復号化後の後処理によって供給される出力に対応する。

また、別の利点／特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも１つのエンコーダとを有する装置であり、上述したように、１つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、高解像度画像それぞれが、低解像度画像の復号化後の後処理のための補助ピクセル情報を供給するように、１つまたは複数のダウンサンプリンググリッドが動き情報に基づいて選択され、グリッドは、歪み尺度に基づいてさらに選択される。

それに加えて、別の利点／特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも１つのエンコーダとを有する装置であり、高解像度画像は少なくとも１つの参照画像および１つまたは複数の非参照画像を含み、ダウンサンプラおよびメタデータ生成器は、上述したように、参照画像から１つまたは複数の非参照画像それぞれへの動きを推定し、動き情報に基づいて高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから１つまたは複数のダウンサンプリンググリッドを選択し、１つまたは複数のダウンサンプリンググリッドを使用して高解像度画像をダウンサンプリングすることによって、低解像度画像を生成し、複数のダウンサンプリンググリッドの異なるものを使用して、高解像度画像の少なくとも１つの特定のものの異なる部分がダウンサンプリングされる。

さらに、別の利点／特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも１つのエンコーダとを有する装置であり、高解像度画像は少なくとも１つの参照画像および１つまたは複数の非参照画像を含み、ダウンサンプラおよびメタデータ生成器は、上述したように、参照画像から１つまたは複数の非参照画像それぞれへの動きを推定し、動き情報に基づいて高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから１つまたは複数のダウンサンプリンググリッドを選択し、１つまたは複数のダウンサンプリンググリッドを使用して高解像度画像をダウンサンプリングすることによって、低解像度画像を生成し、高解像度画像それぞれに対して個々のバイナリマスクが構築され、バイナリマスクは高解像度画像の前景ピクセルの個々の位置を示す。

本発明の原理のこれらおよび他の特徴並びに利点は、本明細書の教示に基づいて、関連技術の当業者によって容易に確認されてもよい。本発明の原理の教示は、様々な形態のハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、またはそれらの組み合わせで実現されてもよいことを理解されたい。

最も好ましくは、本発明の原理の教示はハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアはプログラム記憶装置上で有形的に具体化されるアプリケーションプログラムとして実装されてもよい。アプリケーションプログラムは、任意の適切なアーキテクチャを備える機械にアップロードされ、それによって実行されてもよい。好ましくは、機械は、１つまたは複数の中央処理装置（「ＣＰＵ」）、ランダムアクセスメモリ（「ＲＡＭ」）、および入出力（「Ｉ／Ｏ」）インターフェースなどのハードウェアを有するコンピュータプラットフォーム上で実現される。コンピュータプラットフォームはまた、オペレーティングシステムおよびマイクロ命令コードを含んでもよい。本明細書に記載される様々なプロセスおよび機能は、ＣＰＵにより実行されてもよい、マイクロ命令コードの一部もしくはアプリケーションプログラムの一部のどちらかまたはそれらの組み合わせであってよい。それに加えて、他の様々な周辺装置は、追加データ記憶装置および印刷装置などのコンピュータプラットフォームに接続されてもよい。

さらに、添付図面に図示される構成要素のシステム構成部品および方法の一部は、好ましくはソフトウェアに実装されるので、システム構成部品またはプロセス機能ブロック間の実際の接続は、本発明の原理がプログラムされるやり方に応じて異なってもよいことを理解されたい。本明細書の教示を所与として、当業者であれば、本発明の原理のこれらおよび類似の実装または構成を想到することができるであろう。

添付図面を参照して例示的な実施形態を本明細書に記載してきたが、本発明の原理はそれらの正確な実施形態に限定されず、本発明の原理の範囲または趣旨から逸脱することなく、関連分野の当業者によって様々な変更および修正が達成されてもよいことを理解されたい。かかる変更および修正はすべて、添付の特許請求の範囲で説明されるような本発明の原理の範囲内に含まれるものとする。

Claims (41)

1. 高解像度画像を受け取り、そこから低解像度画像およびメタデータを生成するダウンサンプラおよびメタデータ生成器であって、前記メタデータは、前記低解像度画像および前記メタデータの復号化後の後処理をガイドするためのものである、ダウンサンプラおよびメタデータ生成器（１５１）と、
   前記低解像度画像および前記メタデータを符号化する少なくとも１つのエンコーダ（１５２）と
   を備えることを特徴とする装置。
2. 前記メタデータは動き変換情報およびサンプリンググリッド情報を含むことを特徴とする請求項１に記載の装置。
3. 前記動き変換情報は、前記高解像度画像の２つ以上の間の全体の動きに関係する全体の動き変換情報を含むことを特徴とする請求項２に記載の装置。
4. 前記サンプリンググリッド情報は、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ１つを示すサンプリンググリッドインデックスを含むことを特徴とする請求項２に記載の装置。
5. 前記高解像度画像は、少なくとも１つの参照画像および１つまたは複数の非参照画像を含み、前記ダウンサンプラおよびメタデータ生成器（１５１）は、参照画像から前記１つまたは複数の非参照画像それぞれへの動きを推定し、前記動き情報に基づいて前記高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから１つまたは複数のダウンサンプリンググリッドを選択し、前記１つまたは複数のダウンサンプリンググリッドを使用して前記高解像度画像をダウンサンプリングすることによって、前記低解像度画像を生成することを特徴とする請求項１に記載の装置。
6. 前記１つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、前記高解像度画像それぞれが前記低解像度画像の前記復号化後の後処理のための補助ピクセル情報を供給するように、前記１つまたは複数のダウンサンプリンググリッドが前記動き情報に基づいて選択されることを特徴とする請求項５に記載の装置。
7. 前記グリッドが、前記１つまたは複数のダウンサンプリンググリッドの特定の１つを使用して生成される超解像度画像における以前の未充填ピクセルの数を示す充填率に基づいてさらに選択され、前記超解像度画像は、前記低解像度画像および前記メタデータの前記復号化後の後処理によって供給される出力に対応することを特徴とする請求項６に記載の装置。
8. 前記グリッドは歪み尺度に基づいてさらに選択されることを特徴とする請求項６に記載の装置。
9. 前記複数のダウンサンプリンググリッドの異なるものが、前記高解像度画像の少なくとも１つの特定のものの異なる部分をダウンサンプリングするのに使用されることを特徴とする請求項５に記載の装置。
10. 前記高解像度画像それぞれに対して個々のバイナリマスクが構築され、前記バイナリマスクは前記高解像度画像の前景ピクセルの個々の位置を示すことを特徴とする請求項５に記載の装置。
11. 高解像度画像を受け取り（６１０）、そこから低解像度画像およびメタデータを生成する（６２５、１１０）ステップであって、前記メタデータは、前記低解像度画像および前記メタデータの復号化後の後処理をガイドするためのものであるステップと、
    少なくとも１つのエンコーダを使用して前記低解像度画像および前記メタデータを符号化する（１１５）ステップと
    を含むことを特徴とする方法。
12. 前記メタデータは動き変換情報およびサンプリンググリッド情報を含む（６１５、６２０）ことを特徴とする請求項１１に記載の方法。
13. 前記動き変換情報は、前記高解像度画像の２つ以上の間の全体の動きに関係する全体の動き変換情報を含む（６１５）ことを特徴とする請求項１２に記載の方法。
14. 前記サンプリンググリッド情報は、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ１つを示すサンプリンググリッドインデックスを含む（６２０）ことを特徴とする請求項１２に記載の方法。
15. 前記高解像度画像は、少なくとも１つの参照画像および１つまたは複数の非参照画像を含み、前記ダウンサンプラおよびメタデータ生成器は、参照画像から前記１つまたは複数の非参照画像それぞれへの動きを推定し（６１５）、前記動き情報に基づいて前記高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから１つまたは複数のダウンサンプリンググリッドを選択し（６２０）、前記１つまたは複数のダウンサンプリンググリッドを使用して前記高解像度画像をダウンサンプリングする（６２５）ことによって、前記低解像度画像を生成することを特徴とする請求項１１に記載の方法。
16. 前記１つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、前記高解像度画像それぞれが前記低解像度画像の前記復号化後の後処理のための補助ピクセル情報を供給するように、前記１つまたは複数のダウンサンプリンググリッドが前記動き情報に基づいて選択されることを特徴とする請求項１５に記載の方法。
17. 前記グリッドが、前記１つまたは複数のダウンサンプリンググリッドの特定の１つを使用して生成される超解像度画像における以前の未充填ピクセルの数を示す充填率に基づいてさらに選択され、前記超解像度画像は、前記低解像度画像および前記メタデータの前記復号化後の後処理によって供給される出力に対応することを特徴とする請求項１６に記載の方法。
18. 前記グリッドは歪み尺度に基づいてさらに選択されることを特徴とする請求項１６に記載の方法。
19. 前記複数のダウンサンプリンググリッドの異なるものが、前記高解像度画像の少なくとも１つの特定のものの異なる部分をダウンサンプリングするのに使用されることを特徴とする請求項１５に記載の方法。
20. 前記高解像度画像それぞれに対して個々のバイナリマスクが構築され、前記バイナリマスクが前記高解像度画像の前景ピクセルの個々の位置を示すことを特徴とする請求項１５に記載の方法。
21. ビットストリームを受け取り、そこから低解像度画像およびメタデータを復号化するデコーダ（１５３）と、
    前記低解像度画像および前記メタデータを使用して、前記低解像度画像にそれぞれ対応する高解像度画像を復元する超解像度化ポストプロセッサ（１５４）と
    を備えることを特徴とする装置。
22. 前記メタデータは動き変換情報およびサンプリンググリッド情報を含むことを特徴とする請求項２１に記載の装置。
23. 前記動き変換情報は、前記高解像度画像の２つ以上の間の全体の動きに関係する全体の動き変換情報を含むことを特徴とする請求項２２に記載の装置。
24. 前記サンプリンググリッド情報は、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ１つを示すサンプリンググリッドインデックスを含むことを特徴とする請求項２２に記載の装置。
25. 前記超解像度化ポストプロセッサ（１５４）は、前記メタデータおよび前記低解像度画像から高解像度モザイクを作成し、前記低解像度画像、前記メタデータ、および前記高解像度モザイクを使用して前記高解像度画像を復元することを特徴とする請求項２１に記載の装置。
26. 前記高解像度モザイクは、前記低解像度画像における周囲の同位置ピクセルのピクセル値から、前記高解像度モザイクのピクセル位置でピクセル値を補間することによって作成されることを特徴とする請求項２５に記載の装置。
27. 前記超解像度化ポストプロセッサ（１５４）は、前記高解像度モザイクのピクセルそれぞれの妥当性の尺度を含む妥当性マップを生成することを特徴とする請求項２５に記載の装置。
28. 前記高解像度モザイクの前記ピクセルの所与の１つに対する前記妥当性の尺度が、前記ピクセルの前記所与の１つの周りの近隣にあるサンプルに基づいて演算され、前記ピクセルの前記所与の１つは、前記ピクセルの前記所与の１つに対して演算された前記妥当性の尺度が閾値を上回る場合のみ、前記高解像度画像の復元に使用するのに容認可能なものとして指定されることを特徴とする請求項２７に記載の装置。
29. 前記高解像度画像の所与の１つは、前記低解像度画像の対応する１つにおける周囲の同位置ピクセル、前記高解像度モザイクの周囲の同位置ピクセル、および前記低解像度画像の少なくとも別の１つにおける周囲の同位置ピクセルの少なくとも１つのピクセル値から、前記高解像度画像の前記所与の１つのピクセル位置でピクセル値を補間することによって復元され、前記高解像度モザイクの前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の１つと前記高解像度モザイクとの間のピクセルの動き変換を伴い、前記低解像度画像の前記少なくとも別の１つにおける前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の１つと前記低解像度画像の前記少なくとも別の１つとの間のピクセルの動き変換を伴うことを特徴とする請求項２５に記載の装置。
30. 前記高解像度画像の特定の１つの前景ピクセルが、前記低解像度画像における周囲の同位置ピクセルから補間することによって復元されることを特徴とする請求項２１に記載の装置。
31. ビットストリームを受け取り、そこからデコーダを使用して低解像度画像およびメタデータを復号化する（１０１０）ステップと、
    前記低解像度画像および前記メタデータを使用して、前記低解像度画像にそれぞれ対応する高解像度画像を復元する（１０２５）ステップと
    を含むことを特徴とする方法。
32. 前記メタデータは動き変換情報およびサンプリンググリッド情報を含むことを特徴とする請求項３１に記載の方法。
33. 前記動き変換情報は、前記高解像度画像の２つ以上の間の全体の動きに関係する全体の動き変換情報を含むことを特徴とする請求項３２に記載の方法。
34. 前記サンプリンググリッド情報は、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ１つを示すサンプリンググリッドインデックスを含むことを特徴とする請求項３２に記載の方法。
35. 前記メタデータおよび前記低解像度画像から高解像度モザイクを作成する（１０２０）ステップをさらに含み、前記復元するステップが、前記低解像度画像、前記メタデータ、および前記高解像度モザイクを使用して前記高解像度画像を復元することを特徴とする請求項３１に記載の方法。
36. 前記高解像度モザイクは、前記低解像度画像における周囲の同位置ピクセルのピクセル値から、前記高解像度モザイクのピクセル位置でピクセル値を補間する（１０２０）ことによって作成されることを特徴とする請求項３５に記載の方法。
37. 前記高解像度モザイクのピクセルそれぞれの妥当性の尺度を含む妥当性マップを生成するステップをさらに含むことを特徴とする請求項３５に記載の方法。
38. 前記高解像度モザイクの前記ピクセルの所与の１つに対する前記妥当性の尺度が、前記ピクセルの前記所与の１つの周りの近隣にあるサンプルに基づいて演算され、前記ピクセルの前記所与の１つは、前記ピクセルの前記所与の１つに対して演算された前記妥当性の尺度が閾値を上回る場合のみ、前記高解像度画像の復元に使用するのに容認可能なものとして指定されることを特徴とする請求項３７に記載の方法。
39. 前記高解像度画像の所与の１つは、前記低解像度画像の対応する１つにおける周囲の同位置ピクセル、前記高解像度モザイクの周囲の同位置ピクセル、および前記低解像度画像の少なくとも別の１つにおける周囲の同位置ピクセルの少なくとも１つのピクセル値から、前記高解像度画像の前記所与の１つのピクセル位置でピクセル値を補間することによって復元され、前記高解像度モザイクの前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の１つと前記高解像度モザイクとの間のピクセルの動き変換を伴い、前記低解像度画像の前記少なくとも別の１つにおける前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の１つと前記低解像度画像の前記少なくとも別の１つとの間のピクセルの動き変換を伴うことを特徴とする請求項３５に記載の方法。
40. 前記高解像度画像の特定の１つの前景ピクセルが、前記低解像度画像における周囲の同位置ピクセルから補間することによって復元されることを特徴とする請求項３１に記載の装置。
41. 高解像度画像から生成される符号化された低解像度画像および前記高解像度画像から生成されるメタデータを備え、前記メタデータは、前記低解像度画像および前記メタデータの復号化後の後処理をガイドするためのものであることを特徴とする符号化されたビデオ信号データを有するコンピュータ可読記憶媒体。

Images