JP2009268117A - 不規則で空間的にサブサンプルされる画像に対するフィルタによる影響を受ける適応領域 - Google Patents

不規則で空間的にサブサンプルされる画像に対するフィルタによる影響を受ける適応領域 Download PDF

Info

Publication number
JP2009268117A
JP2009268117A JP2009126975A JP2009126975A JP2009268117A JP 2009268117 A JP2009268117 A JP 2009268117A JP 2009126975 A JP2009126975 A JP 2009126975A JP 2009126975 A JP2009126975 A JP 2009126975A JP 2009268117 A JP2009268117 A JP 2009268117A
Authority
JP
Japan
Prior art keywords
sample
cell
pixels
pixel
target pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009126975A
Other languages
English (en)
Other versions
JP5099077B2 (ja
Inventor
Marco Paniconi
パニコーニ マルコ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Electronics Inc
Original Assignee
Sony Corp
Sony Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Electronics Inc filed Critical Sony Corp
Publication of JP2009268117A publication Critical patent/JP2009268117A/ja
Application granted granted Critical
Publication of JP5099077B2 publication Critical patent/JP5099077B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】サンプルセルは、サンプルセルの基準及び形状に応じて、画像のピクセルを含むように計算される。
【解決手段】サンプルセルの形状及び基準は、サンプルセル内に含まれるピクセルを決める。ターゲットピクセルセルは、どのピクセルをターゲットピクセルセル内に含むか、を決めるターゲットピクセルセルの基準に応じて、画像のピクセルを含む。サンプルフィルタの係数は、サンプル内のピクセル及びターゲットピクセルセル内のピクセルから計算される。拡張したターゲットピクセルセル及びサンプルセル内に位置するピクセルに基づいて、タップの拡張フィルタ係数が計算される。ターゲットピクセルセルに対して最適化されたフィルタの重みは、サンプルのフィルタ及びタップの拡張したフィルタの係数から求められる。
【選択図】図１Ａ

Description

本出願は、以下の共通に所有され、同時に提出された“空間的サブサンプル画像のための試料レベルの変動”という名称の、2008年4月29日に出願された、出願一連番号第12/111,927号(代理人整理番号第080398.P712号)の出願、及び、“画像に対する不規則な空間的サブサンプリングの適応生成”という名称の、2008年4月29日に出願された、出願一連番号第12/111,925号(代理人整理番号第080398.P706号)の出願と関連している。
本発明は、概して、画像処理、及び、動画処理に関し、特に、画像及び動画のサブサンプリングに関する。
この開示された特許書類の一部は、著作権により保護を受ける内容を含む。特許商標庁においてみることができる特許出願、或いは、特許のファイル又は記録を何人が複製しても、著作権者はこれに異議を申し立てないが、それ以外については、全ての著作権を留保する。以下の通告、すなわち、全ての著作権（2007年）は、ソニーエレクトロニクス社が所有する、との通告を適用する。
画像処理及び動画処理の評価は、三つの手法、すなわち、計算の複雑性、処理済みのデータに必要な容量、及び、復元画像又は動画データの画質について行われる。画像処理及び動画処理は、通常、サブサンプリングの形式を利用する。サブサンプリングとは、例えば、原画内におけるサンプルの周囲にあるピクセルを良好に予測するものとなる特定のピクセルを画像から選択する処理である。格納又は送信は、データサイズを小さくするために、画像全体ではなく選択されたサブサンプルに対して行われる。復元された画像の質は、画像内にあるピクセルを予測する因子としての、サブサンプルの有効性に左右される。不規則なサブサンプリングは、予測力を改善するように画像内のサンプルを選択するものであり、このことは、一般的に、規則的なサンプリングパターンではなく不規則なサンプリングパターンが（例えば、物体の縁及び高いテクスチャ領域の近傍には、多くのサンプルが存在し、均一な低いテクスチャバックグラウンド領域には、少ないサンプルが存在する。）用いられる結果をもたらす。
予測力を改善するためには、より良好なサブサンプルを見つけるか、又は、より多くのサブサンプルを利用する必要がある。より多くのサブサンプルを利用すると、記憶部の空き容量が小さくなるが、一方で、より良好なサブサンプルを見つけるためには、計算の複雑性を増す必要がある。画像処理及び動画処理に用いられていた従来の技術は、主として、単純なフィルタを用いることによるブロックを基本とする技術である。しかしながら、これらの技術は、サンプルの位置、サンプルのレベルの変動、及び、適応可能なフィルタという、ピクセルに基盤をおく選択の結合した性質を十分に利用していない。
サンプルに対応したサンプルセルは、サンプルセルの基準及び形状に応じて、画像のピクセルを含むように計算される。サンプルセルの形状及び基準は、サンプルセルが画像のどのピクセルを含むか、を定義する。ターゲットピクセルに対応するターゲットピクセルセルが、定義される。ターゲットピクセルセルは、ターゲットピクセルセルの基準に応じた画像のピクセルを含む。ターゲットピクセルセルの基準は、ターゲットピクセルセルが画像のどのピクセルを含むか、を定義する。サンプルフィルタ係数が、サンプルセル及びターゲットピクセルセルの両方の中に位置するピクセルに基づいて、計算される。フィルタタップが、サンプルフィルタ係数によって、定義される。このフィルタタップは、ターゲットピクセルに対応する。ターゲットピクセルに対応するタップ拡張部が生成される。タップ拡張部は、タップ拡張部の基準に応じた拡張ターゲットピクセルに含まれることになる画像の追加的なピクセルを、定義する。拡張ターゲットピクセルセルは、ターゲットピクセルセル内にあるピクセルと追加的なピクセルを含む。タップ拡張部のフィルタ係数が、拡張ターゲットピクセルセル及びサンプルセルの両方の中に位置するピクセルに基づいて、計算される。サンプルセルの形状は、サンプルセルの形状パラメータに応じて、変化する。ターゲットピクセルに対して最適化されたフィルタの重みが、サンプルフィルタの係数及びタップ拡張部のフィルタ係数に基づいて、抽出される。
一実施形態においては、サンプルセルを計算することは、サンプルとピクセルの間の距離を決定することを含む。ピクセルのモーションクラス及びテクスチャクラスが決定される。サンプルセルに、ピクセルの小集団を加える。ピクセルの小集団は、その他のサンプルよりも、該サンプルに近い位置にある。ピクセルの小集団は、該サンプルと同じモーションクラス及び同じテクスチャクラスである。
一実施形態においては、ターゲットピクセルセルを計算することは、ターゲットピクセルの周囲にあるサンプルウインドウを定義することを含む。サンプリングウインドウは、ウインドウのサイズに応じた画像のピクセルを含む。サンプリングウインドウに含まれるピクセルのサンプリングタイプが、計算される。サンプリングタイプに応じて、サンプリングウインドウ内にあるサンプルされたピクセルを含むものとして、ターゲットピクセルセルが、定義される。
一実施形態においては、サンプルセルの形状を変更することは、サンプルの影響を受ける領域を計算することを含む。影響を受ける領域は、サンプルがピクセルの予測をするための因子となるピクセルを含む。影響を受ける領域におけるピクセルの予測誤差の合計が計算される。サンプルセルの形状を修正する一連のサンプルセルの形状パラメータを計算する。予測されたピクセルに対して、一連のフィルタ係数、及び、一連の予測誤差が計算される。予測誤差が最小になるように最適化された一組のサンプルセルの形状パラメータを選択する。予測されたピクセルに対するサンプルセルの区切りが、サンプルセルの新しい形状に基づいて更新される。予測されたピクセルに対する一連のフィルタ係数、及び、一連の予測誤差が更新される。
本発明の実施形態の動作の概略を示す図である。
本発明の実施形態に従って、プロセッサによって実行される方法を示す流れ図である。
本発明の実施形態のデータフローの概略を示す図である。
本発明の実施形態の動作を示す図である。 本発明の実施形態の動作を示す図である。 本発明の実施形態の動作を示す図である。
均一にサンプリングする方法を示す例である。
本発明の実施形態に従って、不規則にサンプリングする方法の結果を示す例である。
本発明の実施形態に従って、プロセッサにより実行されるサンプル移動方法を示す流れ図である。
本発明の実施形態に従う、サンプルの移動を示す例である。 本発明の実施形態に従う、サンプルの移動を示す例である。 本発明の実施形態に従う、サンプルの移動を示す例である。
本発明の実施形態に従って、プロセッサにより実行されるサンプルの除去方法を示す流れ図である。
本発明の実施形態に従って、プロセッサにより実行されるサンプルの除去ループを示す流れ図である。
本発明の実施形態に従って、プロセッサにより実行されるサンプルの密度方法を示す流れ図である。
本発明の実施形態に従う、サンプルの除去を示す例である。 本発明の実施形態に従う、サンプルの除去を示す例である。 本発明の実施形態に従う、サンプルの除去を示す例である。
本発明の実施形態に従って、プロセッサにより実行されるサンプルのレベル変動方法を示す流れ図である。
本発明の実施形態に従って、プロセッサにより実行されるサンプルのレベル変動ループを示す流れ図である。
本発明の実施形態に従う、サンプル及びピクセルを示す例である。
本発明の実施形態に従う、サンプル及びサンプルの影響を受ける領域を示す例である。
本発明の実施形態に従って、プロセッサにより実行されるフィルタの方法による影響を受ける適応領域を示す流れ図である。
一連のサンプルに対するサンプルセルの例である。モーション／オブジェクト／テクスチャの境界によるサンプルセルの修正も又、示されている。
本発明の実施形態に従って、プロセッサにより実行される、最初のサンプルセルの構築方法を示す流れ図である。
本発明の実施形態に従う、サンプル及びサンプルセルを示す例である。
本発明の実施形態に従う、共通領域のないサンプルセルの境界を示す例である。
本発明の実施形態に従う、サンプルセルの境界がピクセル上を通っていることを示す例である。
本発明の実施形態に従う、共通領域を持つサンプルセルの境界を示す例である。
サンプルセルの境界の下に、ピクセルを含むサンプルの区切りがあることを示す例である。
本発明の実施形態に従う、オブジェクトの境界によって、区別されたオブジェクトを示す例である。
本発明の実施形態に従う、オブジェクトの境界によって、修正されたサンプルセルの例である。
本発明の実施形態に従って、プロセッサにより実行される複数のピクセルセルの構築方法を示す流れ図である。
本発明の様々な実施形態に従う、ピクセルのサンプリングタイプを示す図である。 本発明の様々な実施形態に従う、ピクセルのサンプリングタイプを示す図である。 本発明の様々な実施形態に従う、ピクセルのサンプリングタイプを示す図である。 本発明の様々な実施形態に従う、ピクセルのサンプリングタイプを示す図である。 本発明の様々な実施形態に従う、ピクセルのサンプリングタイプを示す図である。 本発明の様々な実施形態に従う、ピクセルのサンプリングタイプを示す図である。 本発明の様々な実施形態に従う、ピクセルのサンプリングタイプを示す図である。
本発明の様々な実施形態に従う、ピクセルのサンプリングに由来するピクセルセルの例である。 本発明の様々な実施形態に従う、ピクセルのサンプリングに由来するピクセルセルの例である。 本発明の様々な実施形態に従う、ピクセルのサンプリングに由来するピクセルセルの例である。 本発明の様々な実施形態に従う、ピクセルのサンプリングに由来するピクセルセルの例である。
本発明の実施形態に従う、フィルタ係数の計算例である。
本発明の実施形態に従って、プロセッサによって実行されるタップの拡張の計算方法を示す流れ図である。
本発明の実施形態に従う、ピクセルとサンプルの距離を示す例である。
本発明の様々な実施形態に従う、ピクセルのサンプリングタイプ及びタップの拡張の組み合わせを示す例である。 本発明の様々な実施形態に従う、ピクセルのサンプリングタイプ及びタップの拡張の組み合わせを示す例である。 本発明の様々な実施形態に従う、ピクセルのサンプリングタイプ及びタップの拡張の組み合わせを示す例である。
本発明の実施形態に従って、プロセッサによって実行されるサンプルセルの形状を局所的に変化させる方法を示す図である。
本発明の実施形態に従う、水平方向に伸縮させたサンプルの区切りを示す例である。
本発明の実施形態に従う、垂直方向に伸縮させたサンプルの区切りを示す例である。
本発明の実施に適したコンピュータ環境の図である。 本発明の実施に適したコンピュータ環境の図である。
本発明の実施形態についての以下の詳細な説明は、添付図面を参照するものであり、図において、同様の参照符号は同様の要素を示しており、図は、本発明を実施するための特定の形態を例によって示すものである。これらの実施形態の説明は、本技術分野の当業者による本発明の実施を可能にするために十分詳細に記載されている。本技術分野の当業者には、本発明の範囲から外れることなく、その他の実施形態を利用でき、かつ、論理的、機械的、電気的、機能的及びその他の変更をすることができることがわかるであろう。したがって、以下に示す詳細な説明は、限定的な意味ではなく、本発明の権利範囲は、添付の特許請求の範囲のみによって定義されるものである。
本発明の動作を概観することから始めると、図１Ａは、画像に対する不規則な空間的サブサンプリングのための適応発生器の実施形態を示す。例えば、画像データは、静止画又は動画のフレームデータとすることができる。図１Ｂに関連して以下に詳しく記載するように、ブロック１０５において、画像データ１００及びサブサンプル画像データ１００を受け取り、拡大縮小した画像データ１１０又は圧縮した画像データ１１５を生成する。ディスプレイデバイス１２０は、拡大縮小した画像データ１１０を表示する。例えば、画像データ１００を拡大縮小することによって、高精度動画データを標準画質テレビに表示することができる。あるいは、送信デバイス１２５は、圧縮した画像データ１１５を送信する。例えば、画像データ１００を圧縮することによって、ウェブサイトからエンドユーザへの動画のより高速なストリーミングが可能になる。
図１Ｂは、適応発生器１０５によって実行されるサブサンプリング方法１５０の実施形態を示す。図２Ａから図２Ｃまでに、方法１５０の結果を示す。ブロック１５５において、サブサンプリング方法１５０は、サンプルの最初のパターンを受け取る。ブロック１６０において、方法１５０は、適応フィルタを該最初のパターンに適用する。ブロック１６０で表された動作の一実施形態は、図１５に関連して以下に詳述される。図１１、図１２に関連して以下に説明するように、ブロック１６５において、方法１５０は、サンプルの全体のパターンを横切って、サンプルのレベル値を変化させる。パターン状態２００は、最初のサンプルパターンの前処理に基づくブロックに由来するブロック２０５を含む、最初のパターンを示す。パターン状態２００を、最初のサンプリングパターンと呼ぶ。
ブロック１７０において、方法１５０は、最初のパターンのそれぞれのサンプルに対するサンプルの移動処理を実行する。ブロック１７０によって示される動作の一実施形態は、図５から図６Ｃに関連して、以下に詳述される。パターン状態２１５は、サンプルの移動処理１７０の実行後のパターン状態２００を示す。パターン状態２００内にあるサンプル２１０は、サンプルの移動処理の結果として、パターン状態２１５内にあるサンプル位置２２０に移動する。
図７から図１０Ｃに関連して以下に詳述されるように、ブロック１７５において、方法１５０は、最初のパターンにおけるそれぞれのサンプルに対し、除去処理を実行する。パターン状態２３０は、サンプルの除去処理１７５の実行後のパターン状態２１５を示す。サンプルの除去処理１７５は、パターン状態２１５からサンプル２２５を除去するので、サンプル位置２３５は、サンプル状態２３０において空になる。決定ブロック１８０において、この方法は、残っているサンプルの数がサンプルの目標の数を上回っている場合には、サンプルの移動処理１７０に制御を戻す。パターン状態２３０を、二番目のサンプリングパターンと呼ぶ。
図１Ｃは、適応発生器１９１を通るデータの流れを示す。入力１９０は、適応発生器１９１に向けられる画像データを受け取る。処理の後には、適応発生器１９１は処理済データを、出力ディスプレイデバイス１９２、又は、出力送信デバイス１９３のような、出力デバイスに送る。
図３は、サブサンプリング方法１５０によって受け取られる、最初のサンプルパターンを示す。サンプル行３００及びサンプル列３０５の位置は、原画のデータ空間全体にわたり一様であり、原画のデータ空間内における複雑な領域上にはない。反対に、図４は、図１に示す実施形態のような、画像に対する不規則な空間的サブサンプリングの適応発生を行う実施形態により得られるパターンを示す。サンプル群４０５は、原画のデータにおいて、あまり複雑でない領域上に存在し、それゆえ、これに対応して、サンプルの密度も低い。なぜなら、許容可能な画像の質に対する必要なサンプルが、少なくてもよいからである。一方で、サンプル群４００は、原画のデータにおいて高度の複雑性を持った領域上に存在しており、それゆえ、予測力及び結果としての画像の質を、相応に改善をするため、高いサンプル密度を持つ。
図５から図６Ｃを参照すると、サンプル移動方法５００は、サンプル移動処理１７０の一実施形態を示し、図６Ａから図６Ｃは、この処理の結果を示す。サンプルセット５０５を受け取った後、サンプルの移動ループ５１０は、サンプルセットの処理を開始する。パターン状態６００は、サンプル移動方法によって、処理をされるために選択されたサンプル６０５を示す。ブロック５１５において、パターン６１０に見られるように、この方法は、サンプル位置６１５のような異なったサンプルの位置に対する局所的な予測誤差を計算する。局所的な予測誤差は、対象のサンプルによって影響を受ける領域にある個別のピクセルの予測誤差の合計である。任意のサンプルにより影響を受ける領域は、フィルタ予測内にあるサンプルを使用する、取り囲まれた一連のピクセルである。影響を受ける領域は、図１２に関連して以下に詳述される。ブロック５２０において、この方法は、別の位置に比べ、最も局所的な予測エラーが低くなるように、サンプル位置６２５を決定し、パターン状態６２０に見られるように、サンプル６０５をサンプル位置６２５に移動させる。ブロック５２５において、この方法は、対象のサンプルの影響を受ける領域の中にあるピクセルに対する局所的な予測誤差、及び、フィルタ係数を更新する。任意のピクセルに対するフィルタ係数は、ピクセル及びその周囲のサンプルの間の予測の関係を決める。
サンプル移動方法５００は、サンプルセットの全てのサンプルを処理した後に、ループエンド５３０において終了する。図１５に関連して以下に詳述されるように、ブロック５３５において、方法５００は、適応フィルタを適用する。図１１及び図１２に関連して以下に詳述されるように、ブロック５４０において、方法５００は、局所的にサンプルの値を変化させる。方法５００は、適応フィルタを適用し、新しいサンプルの位置によって決められるようなサンプルレベルの値を局所的に変化させる。サンプルレベルの変更処理は、それぞれのサンプルに対するレベルの値を変化させ、局所的な予測誤差を最も減少させる値を選択する。
図７を参照すると、サンプルの除去方法７００が、サンプルの除去処理１７５の一実施形態を示す。サンプルの除去方法は、除去が基準を満たす場合に、サンプルのパターンからサンプルを除去する。一実施形態においては、サンプルパターンからサンプルを除去したことによる予測力の低下の観点から、基準が決められる。方法７００は、ブロック７０５において、サンプルセットを受け取り、ブロック７１０において、サンプル除去の閾値を選択する。図８に関連して以下に詳述するように、方法７００は、７１５において、サンプルの除去ループを進行させる。サンプル除去ループ７１５が、決定ブロック７２０において、目標の数のサンプルを除去することに失敗した場合には、この方法は、ブロック７１０において、新しいサンプル除去のための閾値を選択し、再開する。サンプル除去の閾値は、小さい値で始まり、通過する度に、最終的に目標の除去の数を満たすまで、増加する。このサンプルの目標とする除去の数は、サンプルの除去処理の前に決められた固定値である。
その他の点については、図１５に関連して以下に詳述されるように、ブロック７２５において、この方法は、除去されたサンプルの影響を受けた領域にあるピクセルに、適応フィルタを適用する。図１１及び図１２に関連して以下に詳述されるように、ブロック７３０において、方法７００は、サンプルの値を局所的に変化させる。サブサンプリング方法１５０の決定ブロック１８０において、遂行し続ける。
図８及び図１０Ａから図１０Ｃまでを参照すると、サンプルの除去ループ８００が、サンプルの除去ループ７１５の一実施形態を示しており、図１０Ａから図１０Ｃは、このループの結果を示す。図９に関連して以下に示されるように、ループ８００は、ブロック８０５において開始し、ブロック８１０において、サンプルを除去することによって、サンプルの密度が小さくなり過ぎないか否かを判断する。ブロック８１３において、サンプルの除去ループが、目標の数のサンプルを除去した場合には、このループは、ブロック８４５において終了する。パターン状態１０００は、対象のサンプル１００５を示すものである。ブロック８１５において、パターン状態１０００のようなパターン内に、対象のサンプル１００５が存在することに基づいて、ループ８００が、対象の局所的な予測誤差を計算する。ブロック８２０において、パターン状態１０１０のようなパターン内において、位置１０１５に対象のサンプル１００５が存在しないことに基づいて、ループ８００が、対象の局所的な予測誤差を計算する。決定ブロック８２５において、対象のサンプルを取り除くことにより、式１に示すような除去の閾値より低く、予測誤差が変化する場合に、ループ８００は、ブロック８３５において、サンプルを除去する。一実施形態においては、除去の閾値は、次の式に従って決められる。
Figure 2009268117
 ここでＥ0は、対象の局所的予測誤差を表し、Ｅ1は、対象のサンプルを除去した際の局所的予測誤差を表し、Ｔはサンプル除去の閾値を表す。
パターン状態１０２０は、この除去を示し、サンプル位置１０２５が空であることを示す。ブロック８４０において、このループは、サンプル１００５により影響を受ける領域にあるピクセルに対する局所的予測誤差及びフィルタ係数を更新する。そうでなければ、局所的予測誤差が変化して、閾値を超えたと、ループ８００が判定する場合には、このループは、ブロック８３０においてサンプルを除去しない。
図９を参照すると、サンプル密度方法９００が、サンプルの密度決定ブロック８１０の一実施形態を示す。ブロック９０５において、方法９００は、対象のサンプル及び最大のサンプル間の距離のパラメータを含む。この方法は、ブロック９１０において、対象のサンプルに最も近いサンプルを特定し、ブロック９１５において、該最も近いサンプルから該対象のサンプルまでの距離を計算する。ブロック９２０において、該サンプルとそれに最も近いサンプルの間の距離がサンプル間の距離の最大を越えている場合には、サンプルの除去は行われず、サンプル除去ループ８００のブロック８３０において、処理を再開する。そうでなければ、サンプル除去ループ８００のブロック８１３において、処理は続く。サンプル間の距離の最大値は、画像の低い複雑性の領域における最小のサンプル密度を保つ。
図１１を参照すると、サンプルレベル変更方法１１００が、サブサンプリング方法１５０により、ブロック１６５において実行されるサンプルのレベル変更の一実施形態示す。ブロック１１０５において、方法１１００は、最初のサンプルレベルの値を、サンプリングパターン内の全てのサンプルに対して計算する。ここで、サンプルレベルは、Ｌkによって表される。本発明の一実施形態においては、サンプルパターンに基づいたピクセルデータの平均を利用して、最初のサンプルレベルを計算するが、これに限定されず、当業者によって知られている別の技術を用いてもよい。ブロック１１１０において、方法１１００は、全てのピクセルに対して最初の予測値を計算する。ここでピクセルの予測値は、
Figure 2009268117
により表されている。
Figure 2009268117
 ここで、
Figure 2009268117
は、ピクセル
Figure 2009268117
の予測のためのサンプルｋから求められるフィルタの重みであり、
Figure 2009268117
は、ピクセル
Figure 2009268117
の予測に含まれる一連のサンプルである。図１２に関連して以下に詳述されるように、ブロック１１１５において、方法１１００は、サンプルの変化ループをパターン内の全てのサンプルに対して、実行する。フィルタの重みは、図２２に関連して以下に詳述される。
図１２を参照すると、変化ループ１２５０が、ブロック１１１５において、サンプルレベル変更方法１１００によって実行されるサンプル変更ループの一実施形態を示す。サンプルレベルの変更ループは、計算的な効果及び視覚的な性能のバランスに応じて、一又はそれ以上の回数を反復する。一般的に、視覚的な性能の利得は、ループ１２５５を約４回繰り返すことにより、飽和する。
サンプルレベル変更ループ１２５５を反復する度に、パターン内にある全てのサンプルが処理される。図１３におけるサンプル１３１０は、ピクセル１３０５のような一連のピクセルに含まれるサンプルの例である。ブロック１２６０において、対象のサンプルによって影響を受ける領域を計算する。任意のサンプルｋに対して、影響を受ける領域Ａ(ｋ)は、予測値
Figure 2009268117
がサンプルｋによって影響を受ける一連のピクセル
Figure 2009268117
である。一実施形態においては、対応するフィルタの重みがゼロより大きい場合に、ピクセルが、サンプルにより影響を受ける領域に含まれる。別の実施形態においては、対応するフィルタの重みがサンプルの影響閾値Ｔ2より大きい場合に、ピクセルが、サンプルにより影響を受ける領域に含まれる。サンプルの影響閾値が高くなるほど影響を受ける領域は狭くなり、処理に必要な計算の複雑性は、影響を受ける領域内にあるピクセルの量によるため、減少する。図１４にあるサンプル１４０５は、影響を受けるエリア内にあるピクセル１４１０を含む。Ａ(ｋ)は、以下の式に従って定義をすることができる。
Figure 2009268117
決定ブロック１２６５において、対象のサンプルの誤差は、閾値Ｔ1に対して、試験される。一連のデータの予測エラーｅは、以下のように定義することができる。
Figure 2009268117
Figure 2009268117
 ここで、ｅiは、任意のピクセル
Figure 2009268117
に対する予測エラーであり、ｅは画像にあるＮピクセルに対する全予測誤差であり、
Figure 2009268117
は、原画の画像における
Figure 2009268117
のレベルであり、
Figure 2009268117
は、
Figure 2009268117
の予測されたレベルである。
サンプルの予測誤差ｅ(ｋ)は、サンプルｋにより、影響を受ける領域内にある全てのピクセルに基づく、平均予測誤差であり、以下のように定義することができる。
Figure 2009268117
 ここで、ＮkはセットＡ(ｋ)にあるピクセルの数である。
予測エラーの閾値Ｔ1は、本発明の計算的な複雑性と視覚的な性能の利得のバランスを取るために用いられる。一実施形態においては、閾値は以下のように定義される。
Figure 2009268117
 したがって、決定ブロック１２６５は、閾値より小さい又は同値のエラーとなるサンプルを処理しないように、方法１２５０に影響を及ぼすことになる。この方法によって、本発明の実施形態を、様々な計算的な性能及び視覚的な性能に対する要求に関して、最適化することができる。計算的な複雑性を重視する実施形態では、Ｔ1を高い値にする。一方で、視覚的な性能を重視する実施形態では、Ｔ1を低い値にする。
ブロック１２７０において、方法１２５０は、対象のサンプル
Figure 2009268117
に対する、サンプルレベルの変化Δ(ｋ)を計算する。サンプルレベルの変化Δ(ｋ)は、サンプルの予測誤差を局所的に最小化する結果となり、以下のように定義することができる。
Figure 2009268117
 サンプルレベルの変化を直接的に計算することによって、方法１２５０は、値の範囲上における局所的な最小値を探す必要がなくなる。これは、潜在的にある広範囲な値を計算する必要がないため、計算の複雑性を有意に低下させる。決定ブロック１２７５において、サンプルレベルの変化が、レベルの変化の閾値Ｃに対して測定され、サンプルレベルの変化の大きさに対する制限を生み出す。方法１２５０は、Ｃを用いて、サンプルの値の変化可能な範囲を制限し、一連のデータにおける構造の不安定性、又は、視覚的な副作用を防ぐ。ブロック１２８０において、方法１２５０は、サンプルレベルの変化に基づいて、対象のサンプルレベルに新しい値を採用する。ブロック１２８５において、方法１２５０は、新しいサンプルレベルの値を用いて、対象のサンプルによる影響を受ける領域Ａ(ｋ)内にある全てのピクセルに対する予測を更新する。
ブロック１６０及び１６５において、図１Ｂを再び参照すると、サブサンプリング方法１５０は、画像全体に対して、適応フィルタリング及びサンプルレベルの変更を実行する。上述したようにサンプル移動方法５００は、ブロック５３５及び５４０において、適応フィルタリング及び局所的なサンプルレベルの変更を実行し、サンプルの除去方法７００は、ブロック７２５及び７３０において、適応フィルタリング及び局所的なサンプルレベルの変更を実行する。サンプルの移動及びサンプルの除去の両方が、サンプルパターン全体を変更する結果となり、適応フィルタリング及び局所的なサンプルレベルの変更によって、ピクセルの予測誤差をさらに減少させることを可能にする。サンプル移動方法及び除去方法によって、実行される局所的なフィルタリングは、これらの方法によって作用されるサンプルの影響を受ける領域内にピクセルのみをフィルタリング及び変更するという意味で、局所的である。この方法において、本発明は、調整されたサンプルパターンの予測力を最適化する機会として、サンプルパターンの調整を行う。この有機的な方法は、従来の技術に対して、視覚的な性能に関する有意な改善を提供する。
図１５を参照すると、フィルタ方法１５００による影響を受ける適応領域は、ブロック１６０において、方法１５０により適用された、適応フィルタの一実施形態を示す。図１８に関連して以下に詳述されるように、ブロック１５０５において、方法１５００は、サンプルパターン内のサンプルの各々についての最初のサンプルセルを計算する。例のように、図１６におけるサンプル１６０５を、サンプルセルの境界１６１０によって決められた最初のサンプルセルに与えることができる。サンプルセルは又、境界１６１５のような、モーション、オブジェクト及びテクスチャクラスの境界の輪郭を確認することもできる。図２２に関連して以下に詳述されるように、ブロック１５１０において、方法１５００は、追加的なセル、及び、それぞれのターゲットピクセルに対する予測フィルタを計算し、最適化されたフィルタのパラメータを導く。図２８に関連して以下に詳述されるように、ブロック１５１５において、方法１５００は、サンプルの形状を局所的に変化させる。
図１７を参照すると、最初のサンプルセルの構築方法１７００が、方法１５００によって、実行されるブロック１５０５の一実施形態を示す。方法１７００は、サンプルセルを有するサンプルパターンにおいて、全てのサンプルを統合する。一実施形態においては、サンプルセルの基準は、最初のサンプルセルが、任意のサンプルに最も近いピクセルを含むことである。ブロック１７０５において、方法１７００は、対象となる一連のピクセルデータに関するモーションクラス及びテクスチャクラスを受け取る。ブロック１７１０において、ピクセルデータセットにおけるターゲットピクセルに対して、方法１７００は、同様のモーションクラス及びテクスチャクラスにあるピクセルと最も近いサンプルを決定する。一実施形態においては、ピクセルとサンプルの距離
Figure 2009268117
は以下のように定義される。
Figure 2009268117
 ここで、
Figure 2009268117
 は、画像内のピクセルを示し、ｋは位置を伴うサンプル
Figure 2009268117
 を示す。γk及びβkは、サンプルセルの形状を変化させるパラメータである。サンプルセルの形状は、図２８に関連して以下に詳述される。
Figure 2009268117
は、ピクセル
Figure 2009268117
に関して、ピクセルとサンプルの距離
Figure 2009268117
が最も小さいサンプルを示す。
Figure 2009268117
は、この最小のピクセルとサンプルの距離の値である。一実施形態においては、ピクセルに対する最小のピクセルとサンプルの距離は、以下のように定義される。
Figure 2009268117
 ここで、最も近いサンプルが
Figure 2009268117
である。一より多いサンプルに対するピクセル・サンプル間距離が最小となるように、ピクセルが位置させられるため、量
Figure 2009268117
は、複数の値を持つことができる。
従って、サンプルセルＣkは、以下のように定義することができる。
Figure 2009268117
 この式は、サンプルｋに対するサンプルセルが、それに最も近いピクセルを含み、同様のテクスチャクラス及びモーションクラスを有することを示している。ピクセルのテクスチャクラスは、
Figure 2009268117
として表され、一方、ピクセルのモーションクラスは、
Figure 2009268117
として表されている。
例えば、図１８において、サンプル１８１５は、セルの境界１８２０によって決められたサンプルセルと関連している。それぞれのピクセルは、一又はそれ以上のセルに属している。ピクセル１８２５は、サンプル１８１５に関連しているサンプルセルの境界１８２０に属している。それぞれのピクセルは、サンプルを伴うピクセルに関連しているメンバーシップ値を持っている。ピクセルのメンバーシップ値は、いくつのサンプルセルの境界の下に、サンプルセルが存在するか、を示している。例えば、ピクセル１９１５がサンプル１９２０に関連したサンプルセルの境界内に存在するのと同様に、図１９Ａにあるピクセル１９１０は、サンプル１９０５と関連したサンプルセルの境界内に存在する。サンプルセルの間の境界１９２５は、重なりあわない。その結果、サンプル１９０５との関連では、ピクセルは、メンバーシップ値として１を持つことになる。同様に、サンプル１９２０との関連では、ピクセル１９２０は、メンバーシップ値として１を持つことになる。反対に、サンプル１９０５との関連では、ピクセル１９２０は、メンバーシップ値として０を持つことになる。なぜなら、ピクセルは、サンプル１９０５に関連したサンプルセルと関連しないからである。
図１９Ｂにおいて、サンプル１９３０及び１９４０に関連したサンプルセルの間にある境界は、ピクセル１９３５上にある。したがって、サンプル１９３０との関連では、ピクセル１９３５のメンバーシップ値は、１／２となる。同様に、ピクセル１９３５の関連性が、両方のサンプル間で分割されるので、サンプル１９４０との関連でも又、ピクセル１９３５のメンバーシップ値は、１／２となる。図１９Ｃにおいて、サンプルセルの境界１９６０は、サンプル１９４５と関連し、サンプルセルの境界１９５５と重なりあって、サンプル１９６５とも関連する。したがって、サンプル１９６５との関連におけるピクセル１９５０と同様に、ピクセル１９５０は、サンプル１９４５との関連において、メンバーシップ値として１を持つことになる。
図２０は、最初のサンプルセルの構築の例を示す。方法１８００は、ピクセル２０１０及び２０１５を含むサンプルセル２０２０とサンプル２００５を関連付ける。サンプル２００５との関連において、ピクセル２０１０は、メンバーシップ値として１／３を持つ。なぜなら、ピクセル２０１０は、三つのサンプルに対応するサンプルセルの境界にあらからである。ピクセル２０１５は、サンプル２００５との関連において、メンバーシップ値として１を持つ。
図２１Ａ及び２１Ｂは、モーションオブジェクト及びテクスチャオブジェクト、及び、サンプルセルとこれらのオブジェクトの相互作用の例を示す。最初のサンプルセル構築方法１８００のブロック１８０５において、オブジェクト２１０５、２１１０及び２１１５を受け取る。一実施形態においては、本分野において知られた一又はそれ以上の技術を用いて、プリプロセッサ（示されていない。）が、オブジェクト２１０５、２１１０及び２１１５を生成する。サンプル２１２５及び２１３０の両方はオブジェクトの境界２１２０及び２１３５によって影響を受けたサンプルセルを持つ。テクスチャオブジェクト及び／又はモーションオブジェクトが、特定のサンプルの予測力に新たな視点を与える。例えば、ピクセル２１４０は、距離的にはサンプル２１２５に近い。したがって、サンプル２１２５の予測力がピクセル２１４０との距離によってのみ判定されるならば、見かけの予測力は、高くなる。しかしながら、例えば、オブジェクトの境界２１２０によって示されるように、ピクセル２１４０が背景（壁）であり、一方で、サンプル２１２５が壁の前で動くもの（人間）を表す場合がある。したがって、ピクセルセルの大きさ及び形状に影響を与えるためにオブジェクトの境界を用いると、サンプルセットの予測力が向上する。サンプルセットの予測力は、サンプルセット内にある個別のサンプルの予測力の集合となる。
図２２を参照すると、複数のピクセルセルの構築方法２２００が、新たなセル及びフィルタ構築方法１５１０の一実施形態を示している。ブロック２２１０において、方法２２００は、以下に示すターゲットピクセルセルの基準に従って、ターゲットピクセルセル
Figure 2009268117
を計算する。
Figure 2009268117
 ここで、
Figure 2009268117
は、サンプリングタイプｉによって定義されるサンプリングウインドウに含まれるピクセルを表す。固定した大きさのウインドウ
Figure 2009268117
は、ターゲットピクセルの周囲に位置する。この方法は、一連のピクセルのサンプリングタイプを用いて、ウインドウ内にあるピクセル
Figure 2009268117
を走査する。サンプリングウインドウ及びサンプリングタイプは、図２３Ａから図２３Ｇに関連して以下に詳述される。距離は、以下の式に従って、測定される。
Figure 2009268117
 ここでｘ1及びｘ1′、縦軸の座標を表し、ｘ2及びｘ2′は、横軸の座標を表す。
ブロック２２１５において、方法２２００は、ターゲットセルに対するフィルタ係数を計算する。この方法は、それぞれのサンプルｋに対する重み因子
Figure 2009268117
計算する。この方法は、サンプルｋに対する重み因子を０に初期化する。次いで、この方法は、以下の集合に属するターゲットピクセルセルにおけるそれぞれのピクセル
Figure 2009268117
に対して、Ｍｅｍkによって重み因子を増加させる。
Figure 2009268117
 （例えば、サンプルセル及びターゲットピクセルセルの両方に属するピクセルである。）この方法は、以下の式に従って重み因子を計算することができる。
Figure 2009268117
 ここで、
Figure 2009268117
は、ターゲットピクセル
Figure 2009268117
に含まれる全てのピクセルを参照する。式１６は、概して、ピクセルセル及びサンプルセルの共通集合を示す。一実施形態においては、以下の式で決められるように、ピクセル
Figure 2009268117
に対するフィルタタップ
Figure 2009268117
は、
Figure 2009268117
のゼロでない値を持つ一連のサンプルｋである。
Figure 2009268117
 サンプリングタイプｉにおけるターゲットピクセル
Figure 2009268117
に対するサンプルｋからのフィルタ係数
Figure 2009268117
は以下のように計算することができる。
Figure 2009268117
 ここでＮｏｒｍとは、以下の規格化条件に従って求められる定数である。
Figure 2009268117
フィルタ係数の計算例が、図２５に関連して以下に説明される。ブロック２２２０において、方法２２００は、対象のサンプリングタイプに対するタップ拡張部を計算する。タップ拡張部は、フィルタタップ
Figure 2009268117
を拡張し、ターゲットピクセル
Figure 2009268117
からより遠くにあるサンプルを含むようにする。タップ拡張部の計算については、図２６に関連して、以下に詳述される。
図２３Ａから図２３Ｇは、本発明の様々な実施形態に応じたサンプリングタイプの例を示す。図２３Ａに示されるターゲットピクセル２３１０は、サンプルウインドウ２３０５の中心に位置する。図２３Ａは、１ｘ１走査を用いたサンプリングタイプ、すなわち、ウインドウの中にある全てのピクセルが一連のピクセル
Figure 2009268117
に含まれているもの、を示す。図２３Ｂに示されるターゲットピクセル２３２０は、サンプルウインドウ２３１５の中心に位置する。図２３Ｂは、２ｘ１水平走査を用いたサンプリングタイプ、すなわち、ピクセルの列を交互にしたもの、を示す。ターゲットピクセル２３３０は、サンプルウインドウ２３２５の中心に位置する。図２３Ｃは、２ｘ１鉛直走査を用いたサンプリングタイプ、すなわち、ピクセルの行を交互にしたもの、を示す。
図２３Ｄは、拡大した画像のサンプリングピクセルの例を示す。ターゲットピクセル２３４０は、ピクセルウインドウ２３３５の中心に位置する。ピクセル２３４２は、拡大後のピクセルである。別の方法では、サンプリングタイプは、図２３Ａ、すなわち１ｘ１走査と類似している。図２３Ｅは、ピクセルウインドウ２３４５の中心に位置するターゲットピクセル２３５０を含む拡大後のピクセル領域の２ｘ１水平走査を示す。
図２３Ｆは、可変２ｘ１の鉛直走査の例を示す。ターゲットピクセル２３６０は、ピクセルウインドウ２３５５の中心に位置する。方法２２２０は、２ｘ１鉛直走査を用いて、サンプルセル２３６２に含まれるピクセルを走査し、一方で、１ｘ１走査を用いてピクセル２３６４のようなピクセルを走査する。図２３Ｇは、局所的な１ｘ１走査の例を示す。ターゲットピクセル２３７０は、ピクセルウインドウ２３６５の中心に位置する。ターゲットピクセル２３７０は又、走査されたピクセルの局所的な帯の中心となる。本発明のその他の実施形態は、その他のサンプリングタイプを用いることができる。それぞれのサンプリングタイプは、異なったフィルタの重み、特に好ましい指向性に合わせたフィルタの重み、を生成するであろう。様々なサンプリングタイプは、指向性に応じた、フィルタを構築することを可能にする。指向性は、図２８に関連して、以下に詳述する。
図２４Ａから２４Ｄは、様々なサンプリングタイプ及びオブジェクトの境界に対するターゲットピクセルセルの例を示す。図２４Ａは、ピクセルセルを決定するためのサンプルの距離の要素を示す。ターゲットピクセル２４０５及び２４１５の間の距離（すなわち
Figure 2009268117
）が、矢印２４１０によって、示されている。ピクセル２４１５及びサンプル２４２５の間の距離（すなわち
Figure 2009268117
）が、矢印２４２０によって示されている。ピクセル２４１５は、サンプル２４２５のサンプルセルに属しているので、サンプル２４２５は、ピクセル２４１５に対応して、選択される。矢印２４１０及び矢印２４２０の長さは、等しいので、ピクセル２４１５及びサンプル２４２５の間の距離は、ピクセル２４１５に対する最小のサンプルの距離より短い。ピクセル２４１５は、ターゲットピクセル２４０５に対するターゲットピクセルセルに含まれるという距離の要件が満たされる。
図２４Ｂは、ターゲットピクセル２４３０に関する２ｘ１鉛直走査を用いたピクセルセル２４３５を示す。図２４Ｃは、ターゲットピクセル２４４５に関する１ｘ１のサブピクセル走査を用いたピクセルセル２４４０を示す。図２４Ｄは、ピクセル２４５５に関する１ｘ１サブピクセル走査を用いたピクセルセル２４５０を示す。オブジェクトの境界２４６０は、ピクセルセル２４５０の境界を調整した。
図２５は、方法２２００により、ブロック２２１５において実行された計算のような、フィルタ係数の計算例を示す。ターゲットピクセル２５０５は、ピクセルセル２５３０に関連している。この方法は、一連のサンプルに対する重み因子を求める。例えば、サンプル２５１５及びピクセルセル２５３０に関連するするサンプルセルの共通部分は、ピクセルを含まない。したがって、ターゲットピクセル２５０５に対するサンプル２５１５の重み因子は、式１７より、ゼロとなる。サンプル２５５５及びピクセルセル２５３０に関するサンプルセルの共通部分は、４ピクセルという結果となる。ピクセル２５２０及びピクセル２５５０は、サンプルセルの境界の下にあるため、それぞれ、サンプル２５５５の重み因子に１／２ずつ寄与することになる。ピクセル２５６０のような、残りの二つのピクセルは、１に寄与し、サンプル２５５５に対して３の重みを持たせる。サンプル２５１０、２５２５及び２５３５は又、ピクセルセル２５３０に対して、空値でない共通部を持つ。したがって、サンプル２５２０、２５２５及び２５３５は、ゼロでない重み因子を持ち、サンプル２５５５といっしょに、ターゲットピクセル２５０５に関連するフィルタタップを形成するであろう。フィルタタップ内にある四つのサンプルは、ターゲットピクセルに関係する四つのサンプルの予測力に対応した四つのサンプルフィルタの係数をもたらす。サンプルがピクセルの予測力の因子となるそれぞれのピクセルは、対応する自身のサンプルフィルタ係数を持つ。
図２６Ａを参照すると、タップ拡張部の計算２６００が、方法２２００のブロック２２２０の一実施形態を示す。一実施形態においては、タップを拡張する基準は、次に最も近いサンプルに関連したピクセルを包含することによって、ターゲットセルを拡大する。ブロック２６０５において、方法２６００は、対象のタップの拡張タイプに応じて、次に最も近いサンプルを決定する。方法２６００は、図２６Ｂにあるターゲットピクセル２６２０から他のサンプルまでの距離を測定し、次に最も近いサンプルを決定する。この実施形態においては、一回反復すると、ターゲットピクセル２６２０に最も近いサンプル２６２５を利用することになる。次のタップの拡張においては、次に最も近いようなサンプル２６３０を利用し、その次においては、次の次に最も近いサンプル２６５０を利用することになる。視覚的な性能の向上に関しては、三回または四回繰り返すと飽和する傾向があるが、別の実施形態では、さらに繰り返して利用することができる。
ブロックにおいて、方法２６００は、対象のタップの拡張のために、ターゲットピクセルに対するピクセルセルを再び計算し、ピクセルセル
Figure 2009268117
を求める。ここで、ｉは、対象のサンプリングタイプに対応し、ｊは、対象のタップの拡張に対応し、
Figure 2009268117
は、対象のターゲットピクセルとなる。
Figure 2009268117
は、以下のように定義することができる。
Figure 2009268117
ブロック２６１５において、方法２６００は、タップの拡張ｊ及びサンプリングタイプｉに対応したターゲットピクセルに対するフィルタの係数を計算する。フィルタ係数は、図２２に関連して上述したように、計算される。
図２７Ａは、拡張したターゲットピクセルセルを生成するフィルタのタップ拡張の例を示す。方法２６００は、まず、ターゲットピクセル２７０５をピクセルセル２７１０に関連付ける。フィルタタップの拡張の後、方法２６００は、ターゲットピクセル２７０５をピクセルセル２７１５と関連付ける。三つの等しく隣接したサンプルが、タップを拡張した結果として、加えられる。図２７Ｂは、フィルタタップの拡張及びサンプリングタイプの例を示す。方法２６００は、まず、ターゲットピクセル２７２０をピクセルセル２７２５に関連付ける。フィルタタップの拡張の後、方法２６００は、ターゲットピクセル２７２０を拡張したピクセルセル２７３０に関連付けるピクセルセル２７３０は、ピクセルセル２７２０より滑らかな境界を持ち、より滑らかなフィルタ係数を生成する。図２７Ｃは、ピクセルセル２７４０に関連したピクセルセルを、最初のセル２７４５、二番目のセル２７５０、三番目のセル２７５５と三回反復させた様子を、説明している。
図１５のブロック１５１５に戻ると、方法１５００は、上述した様々な予測フィルタから最適なフィルタの重みを求める。それぞれのピクセルの上述したサンプリングタイプ及びタップの拡張は、画像内の全てのピクセル
Figure 2009268117
に対して、特定の予測フィルタを生成し、以下のように定義することができる。
Figure 2009268117
 ここで、ｉ＝１，２，..ｎは、ピクセルのサンプリングタイプを表示し、ｊ＝１，２，..ｍは、タップの拡張を表示する。ｊ＝０の場合は、タップの拡張を用いないことを意味する。複数の予測フィルタは、重みパラメータ
Figure 2009268117
と結合することができ、最終的な予測を、以下のように定義して、形成する。
Figure 2009268117
 ここで、インデックスｓ＝１，２，..ｐは、ターゲットピクセル
Figure 2009268117
に対して用いられる、テクスチャクラス、モーションクラス、オブジェクトクラスなどのような画像クラスを示している。最終的な予測も又、次のように定義することができる。
Figure 2009268117
 ここで最終的なフィルタ係数は、以下のように定義することができる。
Figure 2009268117
 一方で、フィルタタップは、以下のように定義することができる。
Figure 2009268117
 したがって、
Figure 2009268117
は、タップ
Figure 2009268117
のうち少なくとも一つに含まれているサンプルｋを含む。最小二乗の重さパラメータ
Figure 2009268117
は、原画の／ターゲットの画像データを利用して、最小二乗トレーニングによって求められる。最小二乗トレーニングを用いて、最適なパラメータを求めることは、本分野において、よく知られている。本方法１５００によって、ｎ(ｍ＋１)ｐのパラメータ
Figure 2009268117
に対して適用され、分類された最小二乗トレーニングは、いずれのサンプリングパターンにも適用可能な適応した予測フィルタを生成する。
図２８を参照すると、局所的にセルの形状を変化させる方法２８００が、方法１５００のブロック１５１５の一実施形態を示す。ブロック２８０５において、方法２８００は、以下の式に従って、対象のサンプルに対して影響のある領域を計算することができる。
Figure 2009268117
 ブロック２８１０において、方法２８００は、対象のサンプルによって影響を受けるピクセルに対する全予測誤差を以下の式に従って、計算することができる。
Figure 2009268117
 ここで、ｅkは、サンプルｋによって影響を受けるピクセルに対する全予測誤差である。ブロック２８１５において、サンプルセルの形状パラメータ｛γk,βk｝は、変更される。一実施形態においては、予め決められた一連の値を、以下のように用いることができる。
Figure 2009268117
 しかしながら、その他の実施形態は、その他の予め決められた一連の値を用いることができ、又は、動的に形状パラメータの変化を決定することができる。図２２及び図２６に関連して上述したように、ブロック２８２０において、方法２８００は、影響のある領域内にあるピクセルに対する、新しいフィルタ係数及び予測誤差を計算する。ブロック２８２５において、方法２８００は、対応する最も小さい予測誤差となるセルの形状パラメータを選択する。ブロック２８３０において、影響のある領域内にあるそれぞれのピクセルに対して、方法２８００は、サンプルセルの区切り方、フィルタ係数及び予測誤差を更新する。
図２９Ａ及び図２９Ｂは、サンプルセルの形状及び指向性を示す。図２９Ａは、セル２９０５のような、水平に引き伸ばされたピクセルセルを示す。図２８に関連して上述したように、方法２８００は、ピクセルセルの形状を変化させ、予測値を改善する。壁にあるレンガのような、ピクセルデータの特定の“現実の”物体は、水平に伸びたセルの形状を用いることでよりよく予測される傾向がある。なぜなら、“現実の”物体は、それ自身鉛直よりも水平に近いからである。そのような傾向は、“有機的”と呼ぶことができる。この方法において、画像データに表現された“現実の”物体と関連した方法でピクセルの形状を調整することによって、方法２８００は、有機的に、より正確な予測は、セルを得ることができる。図２９Ｂ２９１０のような鉛直方向に引き伸ばされたサンプルセルの例を示す。旗棒のような特定の“現実の”物体は、鉛直に伸びたセルの形状が適している。有機的な方法で一連のサンプルを調整することによって、本発明は、画像データに含まれる“現実の”物体の特徴を含む最適な処理を決定する。
本発明の特定の方法を、一連のフロー図２、５、７、８、９、１１、１２、１５、１７、２２、２６Ａ、及び２８を参照して、コンピュータソフトウェアについて説明した。フロー図を参照して、本発明の方法を記載することにより、本技術分野の当業者は、そのような指示を含むそのようなプログラムを開発し、適切に構成されたコンピュータ（メモリを含むコンピュータに読み取り可能な媒体からの指示を実行するコンピュータのプロセッサ）で本発明の方法を実行することができる。コンピュータにより実行可能な指示は、コンピュータプログラミング言語によって書くか、又は、ファームウェアの論理によって実装することができる。認識された水準に達するプログラミング言語で書かれた場合、そのような指示を、様々なハードウェアプラットフォーム、及び、インターフェースを介して、様々なオペレーティングシステムにより、実行する。その上、本発明の記載は、特定のプログラミング言語に関連してなされているわけではない。ここに記載されたように本発明の要素を実行するために、様々なプログラミング言語を使用することができることが理解されるであろう。さらに、本技術分野において、行動を取ること、又は、結果に影響することのように、ソフトウェアを一の形又はその他の形（例えば、プログラム、手順、処理、アプリケーション、モジュール、論理）で話すことが本技術分野において、一般的である。そのような表現は、コンピュータによってソフトウェアを実行することによって、コンピュータのプロセッサが行動を起こすか、又は、結果を生成することを言う明瞭な方法に過ぎない。本発明の範囲から外れることなく、より多くの処理又はより少ない処理は、図２、５、７、８、９、１１、１２、１５、１７、２２、２６Ａ及び２８に示された方法に包含されること、及び、特定の命令が、ここに示され、記載されるブロックの処理によって示唆されないこと、が理解できるであろう。
一実施形態においては、図３０Ａが示すように、サーバコンピュータ３００１は、インターネット３００５に接続しており、インターネット３００５を介して、データを供給する。クライアントコンピュータ３００３は、ＩＳＰ（Internet Service Provider）３００７を介して、インターネット３００５と接続しており、アプリケーションを閲覧するために標準的なインターネットを実行し、サーバ３００１とデータを交換する。例えば、適応発生器１９１は、ＩＳＰ３００７及びインターネット３００５を介して、コンピュータ３００３から送信されてきたユーザの要求に応答して、コンピュータ３００１を実行することができる。任意であるが、サーバ３００１は、クライアントシステムで、インターネットにアクセスするＩＳＰの一部とすることができる。ここで用いられている“インターネット”という語は、ＴＣＰ／ＩＰプロトコルのような特定のプロトコル、及び、ワールドワイドウェブ（Ｗｅｂ）上に準備されたハイパーテキストマークアップ言語（ＨＴＭＬ）文書のために用いられるハイパーテキストトランスファープロトコル（ＨＴＴＰ）のようなその他の可能なプロトコル、を用いて、複数のネットワークの中にある一のネットワークを参照することである。インターネットの物理的な接続、及び、インターネットのプロトコル及び通信手順は、本分野の当業者によく知られている。インターネットにアクセスすることで、クライアントコンピュータシステムを利用するユーザは、情報を交換し、Ｅメールを受信及び送信し、ＨＴＭＬフォーマットにより準備された文書のような文書を閲覧し、コンテンツを受け取ることができる。本発明は、インターネットにアクセスすること及びインターネットのウェブ上にあるサイトに限定されないことは、直ちに明らかであり、直接的に接続されたネットワーク及び独立のネットワークも又、意図されている。
サーバ３００１のような使い方に適したコンピュータシステムの一実施形態を、図３０Ｂに示す。コンピュータシステム３０１０は、プロセッサ３０２０、メモリ３０２５、システムバス３０３５と接続している入力／出力設備３０３０を含む。メモリ３０２５は、プロセッサ３０２０によって実行されることにより、個々に記載された方法を実施する命令を格納するように構成されている。メモリ３０２５は、適応発生器のための／についてのデータも格納する。入力／出力３０３０は、適応発生器のための／についてのデータ又は、それらの一部分若しくは代表部分の配信器、表示器、及び、格納、処理若しくは表示のためのさまざまな種類のデータの入力器を備える。入力／出力３０３０は又、プロセッサ３０２０によってアクセス可能ないずれの種類の格納デバイスを含む、様々な種類のコンピュータに読み取り可能な格納媒体を含む。例えば、入力／出力３０３０は、入力器１９０、出力ディスプレイデバイス１９２及び出力送信デバイス１９３に対応する。本分野における当業者は、サーバ３００１が、メモリ３０２５内で実行されるオペレーティングシステムのソフトウェアにより制御されることを直ちに理解するであろう。入力／出力３０３０及び関連する媒体は、オペレーティングシステム、及び、適応発生器のための／についてのデータ同様の本発明の方法、に関する装置により実行可能な命令を格納する。
図３０Ａ及び図３０Ｂの記載は、コンピュータハードウェア、及び、その他の発明の実行に適した作動要素の概略を提示することを意図しており、適応可能な環境を限定する意図はない。コンピュータシステム３０１０は、異なる構造を持つ多くの可能なコンピュータシステムの一例であることが理解されるであろう。典型的なコンピュータシステムは、通常は、少なくともプロセッサ、メモリ及びプロセッサとメモリを接続するバスを備えるであろう。マルチプロセッサシステム、ミニコンピュータ、メインフレームコンピュータ及びそれに類似したものを含むその他のコンピュータシステムの構成を用いて、本発明を実施できることを、本分野の当業者は、直ちに理解するであろう。本発明は又、通信ネットワークを介して接続された遠隔にあるプロセッシングデバイスによって、タスクを実行する、分散型計算環境によって、実施することが可能である。
不規則で空間的にサブサンプルされる画像に対するフィルタによる影響を受ける適応領域を記載した。ここに特定の実施形態が説明され、記載されたが、本分野における当業者は、同様の目的を達成するために計算されたいずれの変更形態に、ここに示された特定の実施形態から置き換えてもよいことを理解できるであろう。本出願は、本発明のいずれの適用、又は、変更をも含むことを意図されている。
１００ 画像データ
１０５ 適応発生器
１１０ 拡大縮小した画像データ
１１５ 圧縮した画像データ
１２０ ディスプレイデバイス
１２５ 送信デバイス
１５０ サブサンプリング方法
１７０ サンプルの移動処理
１７５ サンプルの除去処理
１９０ 入力器
１９１ 適応発生器
１９２ 出力ディスプレイデバイス
１９３ 出力送信デバイス
２００ パターン状態
２１５ パターン状態
２２０ サンプル位置
２２５ サンプル
２３０ パターン状態
２３５ サンプル位置
３００ サンプル行
３０５ サンプル列
４００ サンプル群
４０５ サンプル群
５００ サンプル移動方法
５０５ サンプルセット
５１０ サンプルの移動ループ
６００ パターン状態
６０５ サンプル
６１０ パターン
６１５ サンプル位置
６２０ パターン状態
６２５ サンプル位置
７００ サンプルの除去方法
７１５ サンプルの除去ループ
８００ サンプルの除去ループ
９００ サンプルの密度方法
１０００ パターン状態
１００５ サンプル
１０１０ パターン状態
１０１５ 位置
１０２０ パターン状態
１０２５ サンプル位置
１１００ サンプルレベル変更方法
１２５０ 変化ループ
１２５５ サンプルレベル変更ループ
１３０５ ピクセル
１３１０ サンプル
１４０５ サンプル
１４１０ ピクセル
１５００ フィルタ方法
１５１０ セル及びフィルタの構築法右方
１６０５ サンプル
１６１０ サンプルセルの境界
１６１５ サンプルセルの境界
１７００ 最初のサンプルセルの構築方法
１８１５ サンプル
１８２０ セルの境界
１８２５ ピクセル
１９０５ サンプル
１９１０ ピクセル
１９２０ ピクセル
１９２５ 境界
１９３０ サンプル
１９３５ ピクセル
１９４０ サンプル
１９４５ サンプル
１９５０ ピクセル
１９５５ サンプルセルの境界
１９６０ サンプルセルの境界
１９６５ サンプル
２００５ サンプル
２０１０ ピクセル
２０１５ ピクセル
２０２０ サンプルセル
２１０５ オブジェクト
２１１０ オブジェクト
２１１５ オブジェクト
２１２０ オブジェクトの境界
２１２５ サンプル
２１３０ サンプル
２１４０ ピクセル
２２００ 複数のピクセルセルの構築方法
２３０５ サンプリングウインドウ
２３１０ ターゲットピクセル
２３１５ サンプルウインドウ
２３２０ ターゲットピクセル
２３２５ サンプルウインドウ
２３３０ ターゲットピクセル
２３３５ ピクセルウインドウ
２３４０ ターゲットピクセル
２３４２ ピクセル
２３４５ ピクセルウインドウ
２３５０ ターゲットピクセル
２３５５ ピクセルウインドウ
２３６０ ターゲットピクセル
２３６２ サンプルセル
２３６４ ピクセル
２３６５ ピクセルウインドウ
２３７０ ターゲットピクセル
２４０５ ターゲットピクセル
２４２０ 矢印
２４１５ ターゲットピクセル
２４２０ 矢印
２４２５ サンプル
２４３０ ターゲットピクセル
２４３５ ピクセルセル
２４４０ ピクセルセル
２４４５ ターゲットピクセル
２４５０ ピクセルセル
２４６０ オブジェクトの境界
２５０５ ターゲットピクセル
２５１０ サンプル
２５１５ サンプル
２５２０ ピクセル
２５２５ サンプル
２５３０ ピクセルセル
２５３５ サンプル
２５５０ ピクセル
２５５５ サンプル
２５６０ ピクセル
２６００ タップの拡張の計算
２６２０ ターゲットピクセル
２６２５ サンプル
２６３０ サンプル
２６５０ サンプル
２７０５ ターゲットピクセル
２７１０ ピクセルセル
２７１５ ピクセルセル
２７２０ ターゲットピクセル
２７２５ ピクセルセル
２７３０ ピクセルセル
２７４０ ピクセルセル
２７４５ 最初のセル
２７５０ 二番目のセル
２７５５ 三番目のセル
２８００ 局所的にセルの形状を変化させる方法
２９０５ セル
２９１０ セル
３００１ サーバコンピュータ
３００３ クライアントコンピュータ
３００５ インターネット
３００７ ＩＳＰ(Internet Service Provider)
３０１０ コンピュータシステム
３０２０ プロセッサ
３０２５ メモリ
３０３０ 入力／出力
３０３５ システムバス

Claims (12)

  1. コンピュータ化された方法であって、
    サンプルに対応しており、かつ、画像のどのピクセルを含むかを決定するサンプルセルの基準及びサンプルセルの形状に応じた画像のピクセルを含んでいる、サンプルセルを計算するステップと、
    ターゲットピクセルに対応しており、かつ、画像のどのピクセルが含まれるかを決定するターゲットピクセルセルの基準に応じたターゲットピクセルセルを定義するステップと、
    前記サンプルセルと前記ターゲットピクセルセルの両方の中に位置するピクセルに基づいて、サンプルフィルタ係数を計算するステップと、
    前記ターゲットピクセルに対応するフィルタタップを、前記サンプルフィルタ係数に基づいて決定するステップと、
    前記ターゲットピクセルに対応しており、かつ、タップ拡張基準に応じて、拡張したターゲットピクセルセルに含まれることになる画像の追加的なピクセルを定めており、該拡張したターゲットピクセルセルが、前記ターゲットピクセルセル内にあるピクセルと前記追加的なピクセルとを含むようにする、タップ拡張部を生成するステップと、
    前記拡張したターゲットピクセルセルと前記サンプルセルの両方の中に位置するピクセルに基づいて、タップ拡張部フィルタ係数を計算するステップと、
    サンプルセルの形状パラメータに基づいて、前記サンプルセルの前記形状を変化させるステップと、
    前記サンプルフィルタ係数、及び、前記タップ拡張部フィルタ係数に基づいて、前記ターゲットピクセルに対する最適なフィルタの重みを抽出するステップと、
    を含むことを特徴とするコンピュータ化された方法。
  2. 前記サンプルセルを計算するステップは、
    前記サンプルと前記ピクセルとの間の距離を決定するステップと、
    前記ピクセルのモーションクラス及びテクスチャクラスを決定するステップと、
    他のサンプルよりも前記サンプルの近くにあって、同じモーションクラス及び同じテクスチャクラスの前記サンプルを持つ、ピクセルの小集団をサンプルセルに加えるステップと、
    を含むことを特徴とする請求項１に記載のコンピュータ化された方法。
  3. 前記ターゲットピクセルセルを計算するステップは、
    大きさに応じた画像のピクセルを含むサンプリングウインドウを、前記ターゲットピクセルの周りに定義するステップと、
    前記サンプリングウインドウに含まれるピクセルのサンプリングタイプを計算するステップと、
    前記サンプリングタイプに応じて前記サンプリングウインドウ内にサンプルされたピクセルを含むように前記ターゲットピクセルセルを定義するステップと、
    を含むことを特徴とする請求項１に記載のコンピュータ化された方法。
  4. 前記サンプルセルの前記形状を変化させるステップは、
    予測においてサンプルが因子となるピクセルを含む領域である、サンプルの影響を受ける領域を計算するステップと、
    前記影響を受ける領域にあるピクセルに対する予測誤差の合計を計算するステップと、
    前記サンプルセルの前記形状を修正するために、一連のサンプルセルの形状パラメータを計算するステップと、
    前記予測されたピクセルに対する一連のフィルタ係数を計算するステップと、
    前記予測されたピクセルに対する一連の予測誤差を計算するステップと、
    最も小さい予測誤差の合計を持つサンプルセルの形状パラメータの最適な組み合わせを選択するステップと、
    前記サンプルセルの新しい形状に基づいて、前記予測されたピクセルに対するサンプルセルの区切りを更新するステップと、
    前記予測されたピクセルに対する一連のフィルタ係数を更新するステップと、
    前記予測されたピクセルに対する一連の予測誤差を更新するステップと、
    を含むことを特徴とする請求項１に記載のコンピュータ化された方法。
  5. データ処理システムによって実行されるとき、前記データ処理システムがデータを処理する動作を実行するようにする命令を格納するコンピュータ読み取り可能な格納媒体であって、前記動作は、
    サンプルに対応しており、かつ、画像のどのピクセルを含むかを決定するサンプルセルの基準及びサンプルセルの形状に応じた画像のピクセルを含んでいるサンプルセルを計算するステップと、
    ターゲットピクセルに対応しており、かつ、画像のどのピクセルが含まれるかを決定するターゲットピクセルセルの基準に応じたターゲットピクセルセルを決定するステップと、
    前記サンプルセルと前記ターゲットピクセルセルの両方の中に位置するピクセルに基づいてサンプルフィルタ係数を計算するステップと、
    前記ターゲットピクセルに対応するフィルタタップを、前記サンプルフィルタ係数に基づいて、決定するステップと、
    前記ターゲットピクセルに対応しており、かつ、タップ拡張基準に応じて、拡張されたターゲットピクセルセルに含まれることになる画像の追加的なピクセルを定め、該拡張したターゲットピクセルセルが、前記ターゲットピクセルセル内にある前記ピクセルと前記追加的なピクセルとを含むようにする、タップ拡張部を生成するステップと、
    前記拡張したターゲットピクセルセルとサンプルセルの両方の中に位置するピクセルに基づいて、タップ拡張部フィルタ係数を計算するステップと、
    サンプルセルの形状パラメータに応じて、前記サンプルセルの前記形状を変化させるステップと、
    前記サンプルフィルタ係数と前記タップ拡張部フィルタ係数とに基づいて、前記ターゲットピクセルに対する最適なフィルタの重みを抽出するステップと、
    を含むことを特徴とする媒体。
  6. 前記サンプルセルを計算するステップは、
    前記サンプル及び前記ピクセルの間の距離を求めるステップと、
    前記ピクセルのモーションクラス及びテクスチャクラスを決定するステップと、
    他のサンプルよりも前記サンプルの近くにあって、同じモーションクラス及び同じテクスチャクラスのサンプルを持つ、ピクセルの小集団をサンプルセルに加えるステップと、
    を含むことを特徴とする請求項５に記載のコンピュータに読み取り可能な格納媒体。
  7. 前記ターゲットピクセルセルを計算するステップは、
    大きさに応じた前記画像のピクセルを含むサンプリングウインドウを、前記ターゲットピクセルの周りに定義するステップと、
    前記サンプリングウインドウに含まれるサンプリングタイプのピクセルを計算するステップと、
    前記サンプリングタイプに応じて、前記サンプリングウインドウ内にサンプルされたピクセルを含む前記ターゲットピクセルセルを定義するステップと、
    を含むことを特徴とする請求項５に記載のコンピュータに読み取り可能な格納媒体。
  8. 前記サンプルセルの前記形状を変化させるステップは、
    予測においてサンプルが因子となるピクセルを含む領域である、サンプルの影響を受ける領域を計算するステップと、
    影響を受ける前記領域にあるピクセルに対する予測誤差の合計を計算するステップと、
    前記サンプルセルの前記形状を修正するために一連のサンプルセルの形状パラメータを計算するステップと、
    前記予測されたピクセルに対する一連のフィルタ係数を計算するステップと、
    前記予測されたピクセルに対する一連の予測誤差を計算するステップと、
    最も小さい予測誤差の合計を持つサンプルセルの形状パラメータの最適な組み合わせを選択するステップと、
    前記サンプルセルの新しい形状に基づいて、前記予測されたピクセルに対するサンプルセルの区切りを更新するステップと、
    前記予測されたピクセルに対する一連のフィルタ係数を更新するステップと、
    前記予測されたピクセルに対する一連の予測誤差を更新するステップと、
    を含むことを特徴とする請求項５に記載のコンピュータに読み取り可能な格納媒体。
  9. サンプルセルに対応しており、かつ、画像のどのピクセルを含むかを決定するサンプルセルの基準及びサンプルセルの形状に応じた画像のピクセルを含んでいるサンプルセルを計算する手段と、
    ターゲットピクセルセルに対応しており、かつ、画像のどのピクセルに含まれるかを決定するターゲットピクセルセルの基準に応じたターゲットピクセルセルを定義する手段と、
    前記サンプルセルと前記ターゲットピクセルセルの両方の中に位置するピクセルに基づいて、サンプルフィルタ係数を計算するステップと、
    前記ターゲットピクセルに対応するフィルタタップを、前記サンプルフィルタ係数に基づいて前記フィルタタップを決定する手段と、
    前記ターゲットピクセルに対応しており、かつ、タップ拡張基準に応じて、拡張したターゲットピクセルセルに含まれることになる画像の追加的なピクセルを定め、該拡張したターゲットピクセルセルが、前記ターゲットピクセルセル内にあるピクセルと前記追加的なピクセルとを含むようにする、タップ拡張部を生成する手段と、
    前記拡張したターゲットピクセルセルと前記サンプルセルの両方の中に位置するピクセルに基づいて、タップの拡張フィルタ係数を計算する手段と、
    サンプルセルの形状パラメータに基づいて、前記サンプルセルの前記形状を変化させる手段と、
    前記サンプルフィルタ係数、及び、前記タップの拡張フィルタ係数に基づいて前記ターゲットピクセルに対する最適なフィルタの重みを抽出する手段と、
    を備えることを特徴とする装置。
  10. 前記サンプルセルを計算する手段は、
    前記サンプル及び前記ピクセルの間の距離を決定する手段と、
    前記ピクセルのモーションクラス及びテクスチャクラスを決定する手段と、
    他のサンプルよりも前記サンプルの近くにあって、同じモーションクラス及び同じテクスチャクラスのサンプルを持つ、ピクセルの小集団をサンプルセルに加える手段と、
    を含むことを特徴とする請求項９に記載された装置。
  11. 前記ターゲットピクセルセルを計算する手段は、
    大きさに応じた画像のピクセルを含むサンプリングウインドウを、前記ターゲットピクセルの周りに定義する手段と、
    前記サンプリングウインドウに含まれるサンプリングタイプのピクセルを計算する手段と、
    前記サンプリングタイプに応じて、前記サンプリングウインドウ内にサンプルされたピクセルを含むように前記ターゲットピクセルセルを定義する手段と、
    を含むことを特徴とする請求項９に記載された装置。
  12. 前記サンプルセルの前記形状を変化させる手段は、
    予測においてサンプルが因子となるピクセルを含む領域である、サンプルの影響を受ける領域を計算する手段と、
    影響を受ける前記領域にあるピクセルに対する予測誤差の合計を計算する手段と、
    前記サンプルセルの前記形状を修正するために一連のサンプルセルの形状パラメータを計算する手段と、
    前記予測されたピクセルに対する一連のフィルタ係数を計算する手段と、
    前記予測されたピクセルに対する一連の予測誤差を計算する手段と、
    最も小さい予測誤差の合計を持つサンプルセルの形状パラメータの最適な組み合わせを選択する手段と、
    前記サンプルセルの新しい形状に基づいて、前記予測されたピクセルに対するサンプルセルの区切りを更新する手段と、
    前記予測されたピクセルに対する一連のフィルタ係数を更新する手段と、
    前記予測されたピクセルに対する一連の予測誤差を更新する手段と、
    を含むことを特徴とする請求項９に記載された装置。
JP2009126975A 2008-04-29 2009-04-30 不規則で空間的にサブサンプルされる画像に対するフィルタによる影響を受ける適応領域 Expired - Fee Related JP5099077B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/111,928 2008-04-29
US12/111,928 US8059908B2 (en) 2008-04-29 2008-04-29 Adaptive area of influence filter for irregular spatial sub-sampled images

Publications (2)

Publication Number Publication Date
JP2009268117A true JP2009268117A (ja) 2009-11-12
JP5099077B2 JP5099077B2 (ja) 2012-12-12

Family

ID=41215083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009126975A Expired - Fee Related JP5099077B2 (ja) 2008-04-29 2009-04-30 不規則で空間的にサブサンプルされる画像に対するフィルタによる影響を受ける適応領域

Country Status (2)

Country Link
US (1) US8059908B2 (ja)
JP (1) JP5099077B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018537742A (ja) * 2015-11-05 2018-12-20 グーグル エルエルシー エッジ認識双方向画像処理

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101680915B1 (ko) * 2008-11-25 2016-11-29 톰슨 라이센싱 비디오 인코딩 및 디코딩을 위한 희소성-기반 아티팩트 제거 필터링 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07212752A (ja) * 1994-01-18 1995-08-11 Sony Corp ディジタル画像信号の処理装置
JP2003023638A (ja) * 2001-07-06 2003-01-24 Mitsubishi Electric Corp 動きベクトル検出装置および動きベクトル検出装置における自己テスト方法
JP2004199200A (ja) * 2002-12-16 2004-07-15 Canon Inc パターン認識装置、撮像装置、情報処理システム、パターン認識方法、記録媒体、及びプログラム
WO2007035387A2 (en) * 2005-09-16 2007-03-29 Sony Electronics, Inc. Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
WO2007035231A2 (en) * 2005-09-16 2007-03-29 Sony Electronics, Inc. Adaptive area of influence filter for moving object boundaries
WO2007035465A2 (en) * 2005-09-16 2007-03-29 Sony Electronics, Inc. Adaptive area of influence filter
WO2007035539A2 (en) * 2005-09-16 2007-03-29 Sony Electronics, Inc. Classified filtering for temporal prediction

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4325085A (en) 1980-06-09 1982-04-13 Digital Communications Corporation Method and apparatus for adaptive facsimile compression using a two dimensional maximum likelihood predictor
US5136396A (en) 1988-08-30 1992-08-04 Canon Kabushiki Kaisha Image encoding method
JP3679426B2 (ja) 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
JP3196608B2 (ja) 1995-08-31 2001-08-06 三菱電機株式会社 符号化・復号化装置及び符号化・復号化方法
ES2153597T3 (es) 1995-10-25 2001-03-01 Koninkl Philips Electronics Nv Sistema y metodo de codificacion de imagen segmentada, y sistema y metodo de decodificacion correspondiente.
AU5501296A (en) 1996-04-19 1997-11-12 Nokia Mobile Phones Limited Video encoder and decoder using motion-based segmentation and merging
JPH1051766A (ja) 1996-08-05 1998-02-20 Mitsubishi Electric Corp 画像符号化データ変換装置
EP1947442A3 (en) 1997-05-05 2008-07-30 ChemoMetec A/S A method and a system for determination of biological particles in a liquid sample
US6249548B1 (en) 1998-07-10 2001-06-19 U.S. Phillips Corporation Motion vector processing
EP1195047B1 (en) 1999-03-18 2004-06-23 British Broadcasting Corporation Watermarking
US7605940B2 (en) * 1999-09-17 2009-10-20 Silverbrook Research Pty Ltd Sensing device for coded data
US7128270B2 (en) * 1999-09-17 2006-10-31 Silverbrook Research Pty Ltd Scanning device for coded data
US6826584B1 (en) 2000-12-22 2004-11-30 Sony Corporation Refinement of interpolated signals
MXPA04006814A (es) 2002-01-14 2004-12-06 Nokia Corp Filtros dinamicos de codificacion.
US7088773B2 (en) 2002-01-17 2006-08-08 Sony Corporation Motion segmentation system with multi-frame hypothesis tracking
US20040091047A1 (en) 2002-11-11 2004-05-13 Sony Corporation Method and apparatus for nonlinear multiple motion model and moving boundary extraction
US6646578B1 (en) 2002-11-22 2003-11-11 Ub Video Inc. Context adaptive variable length decoding system and method
US7366361B2 (en) 2003-03-05 2008-04-29 Sarnoff Corporation Video registration based on local prediction errors
JP2004336451A (ja) 2003-05-08 2004-11-25 Matsushita Electric Ind Co Ltd 画像復号ユニットとそれを用いた画像符号化装置及び符号化方法並びに画像復号装置及び復号方法
WO2005091970A2 (en) * 2004-03-06 2005-10-06 Michael Trainer Methods and apparatus for determining the size and shape of particles
US7333119B1 (en) 2004-11-02 2008-02-19 Nvidia Corporation System and method for virtual coverage anti-aliasing
JP4442891B2 (ja) 2004-11-30 2010-03-31 キヤノン株式会社 可変長符号化装置及び可変長符号化方法
KR100696107B1 (ko) * 2005-04-11 2007-03-19 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP2007074635A (ja) * 2005-09-09 2007-03-22 Matsushita Electric Ind Co Ltd 画像入力装置および固体撮像素子
US7864175B2 (en) 2006-03-09 2011-01-04 Ambercore Software Inc Fast gridding of irregular data
US7643666B2 (en) * 2006-08-08 2010-01-05 Asml Netherlands B.V. Method and apparatus for angular-resolved spectroscopic lithography characterization

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07212752A (ja) * 1994-01-18 1995-08-11 Sony Corp ディジタル画像信号の処理装置
JP2003023638A (ja) * 2001-07-06 2003-01-24 Mitsubishi Electric Corp 動きベクトル検出装置および動きベクトル検出装置における自己テスト方法
JP2004199200A (ja) * 2002-12-16 2004-07-15 Canon Inc パターン認識装置、撮像装置、情報処理システム、パターン認識方法、記録媒体、及びプログラム
WO2007035387A2 (en) * 2005-09-16 2007-03-29 Sony Electronics, Inc. Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
WO2007035231A2 (en) * 2005-09-16 2007-03-29 Sony Electronics, Inc. Adaptive area of influence filter for moving object boundaries
WO2007035465A2 (en) * 2005-09-16 2007-03-29 Sony Electronics, Inc. Adaptive area of influence filter
WO2007035539A2 (en) * 2005-09-16 2007-03-29 Sony Electronics, Inc. Classified filtering for temporal prediction

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018537742A (ja) * 2015-11-05 2018-12-20 グーグル エルエルシー エッジ認識双方向画像処理

Also Published As

Publication number Publication date
US8059908B2 (en) 2011-11-15
JP5099077B2 (ja) 2012-12-12
US20090268976A1 (en) 2009-10-29

Similar Documents

Publication Publication Date Title
JP5099076B2 (ja) 画像に対する不規則な空間的サブサンプリングの適応生成
JP7009614B2 (ja) ディープニューラルネットワークの正規化方法および装置、機器、ならびに記憶媒体
EP2352121A1 (en) Image processing apparatus and method
US8730268B2 (en) Image processing systems and methods
EP4207051A1 (en) Image super-resolution method and electronic device
CN111914938B (zh) 一种基于全卷积二分支网络的图像属性分类识别方法
KR101502630B1 (ko) 적응 축약 필터
JP7337937B2 (ja) 拡大画像の取得およびストレージ
JP6832252B2 (ja) 超解像装置およびプログラム
JP5099077B2 (ja) 不規則で空間的にサブサンプルされる画像に対するフィルタによる影響を受ける適応領域
JP4196274B2 (ja) 画像信号処理装置および方法、プログラム、並びに記録媒体
JP5617841B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
JPWO2006033257A1 (ja) 画像変換方法、画像変換装置、サーバークライアントシステム、携帯機器およびプログラム
US8055087B2 (en) Sample level variation for spatial sub-sampled images
CN115937358A (zh) 图像处理方法及其装置、电子设备和存储介质
JP5198500B2 (ja) 信号処理装置及びプログラム
CN103853530A (zh) 在浏览器上快速显示医学图像的方法
JP3890219B2 (ja) 画像処理装置
JP2010097355A (ja) 画像分離装置、画像分離方法および画像分離プログラム
Lin et al. A study of digital image enlargement and enhancement
JP2001195586A (ja) 学習装置および学習方法、並びに媒体
JP7512150B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP4645918B2 (ja) 画像信号処理装置および方法
JP2003153211A (ja) 水平ライン再構成装置、ラインマッチング装置および水平ライン再構成方法
JP2011248475A (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120903

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120910

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151005

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees