JP2011523275A - 画像解像度の向上 - Google Patents

画像解像度の向上 Download PDF

Info

Publication number
JP2011523275A
JP2011523275A JP2011510073A JP2011510073A JP2011523275A JP 2011523275 A JP2011523275 A JP 2011523275A JP 2011510073 A JP2011510073 A JP 2011510073A JP 2011510073 A JP2011510073 A JP 2011510073A JP 2011523275 A JP2011523275 A JP 2011523275A
Authority
JP
Japan
Prior art keywords
image
resolution
pixel
pixels
match metric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011510073A
Other languages
English (en)
Other versions
JP5450600B2 (ja
Inventor
ダムカット，クリス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2011523275A publication Critical patent/JP2011523275A/ja
Application granted granted Critical
Publication of JP5450600B2 publication Critical patent/JP5450600B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Television Systems (AREA)

Abstract

本発明は、ビデオ画像を標準精細度から高精細度にアップスケーリングするなどの、画像のアップスケーリングに関する。入力画像が、二つのマッチ・メトリックを組み合わせたマッチ・メトリックに依存して入力画像中のピクセル値に重みをかけることによって、解像度向上画像（２０７）にアップスケーリングされる。第一の胃画像生成器（１０３）が入力画像のぼかされたバージョンを生成し、第二の画像生成器（１０３）がアップスケールされ補間されたバージョンを生成する。第一のメトリックは、ぼかされた画像とアップスケーリングされ補間された画像のピクセル集合を比較することによって生成される。第二のメトリックは、入力画像と解像度向上画像（２０７）のすでに合成済みのピクセル値のピクセル集合を比較することによって生成される。検索領域中の各位置について、解像度向上処理器（１０７）は組み合わせたマッチ・メトリックを生成し、これを使って、解像度向上画像（２０７）の未知のピクセル値を生成するときにその位置のピクセル値に重みをかける。

Description

本発明は画像解像度の向上に、より詳細にはこれに限られるものではないがビデオ・シーケンスのフレームの解像度向上に関する。
画像の解像度の向上はアップスケーリングとして一般に知られており、関心が高まりつつある。たとえば、さまざまな高精細度（HD: High Definition）テレビジョン規格の到来のため、標準精細度（SD: Standard Definition）画像からHD画像を生成する好適な方法およびアルゴリズムが望まれている。たとえば、もとのSDビデオ・シーケンスからHDビデオ・シーケンスを生成するためにオフライン処理が使われてきており、リアルタイムで動的にSDビデオ・コンテンツをHDビデオ・コンテンツにアップスケールできるテレビジョンおよびDVDプレーヤー等も開発されている。
そのようなアップスケーリングは典型的には、たとえば双線形または双三次補間またはポリフェーズ・スケーリングを使って新しいピクセル値を生成するために補間を利用する。しかしながら、そのような方法は画像中のピクセル数を増すものの、画像中に新たな高周波数の詳細を導入するものではなく、よってアップスケーリングされた画像はぼやけて見える。標準精細度（SD）ビデオから高精細度（HD）への変換のためには、約200%のアップスケーリング因子が必要とされ、この因子やより高いスケール因子については、ぼけははっきりと目につく傾向があり、望ましくない。
そのような知覚されるぼやけを緩和または補償するため、より詳細でシャープな印象をもつ画像を生成するために進んだ非線形技法が解像度向上においてしばしば用いられる。そのような方法としては、たとえば、特許文献１および特許文献２に記載されるトレーニングおよび構造分類を使って最適化されたデータ依存補間フィルタ、非特許文献１に記載されるエッジ指向の（edge directed）補間技法が含まれる。これらの技法の多くの概説および評価は非特許文献２；非特許文献３に見出せる。
テレビジョンにおいて使われる解像度向上方法の一つの個別的な例は、ピーキング（peaking）による輝度過渡改善（LTI: Luminance Transient Improvement）として知られる。LTIは、オーバーシュートを生成することなく過渡信号（transient）を増加させ、それにより信号中に新たな高周波数内容を導入することによりエッジのシャープさを改善する技法である。ピーキングは、よりシャープな印象を画像に与えるために、信号中にすでに存在している高周波数成分をブーストすることをねらいとする。LTIの説明は非特許文献４および特許文献３に見出せる。
しかしながら、典型的にはこれらの方法は主としてよりシャープなエッジ遷移を生成することに焦点を当てており、結果として、テクスチャーのような密に詳細がある領域での十分な向上能力を欠くきらいがある。このテクスチャー／詳細の向上の欠如は、増しつつあるスケーリング因子について、特に200%を超えるスケーリング因子についてはより目につくものとなりうる。
テクスチャー合成の方法がたとえば非特許文献５および非特許文献６で提案されている。これらの論文の前者は、基本的な例に基づくテクスチャー合成（example-based texture synthesis）の例を開示している。これは、例として使われる小さなテクスチャー・パッチに基づいて画像領域内のテクスチャーを拡張することをねらいとする技法である。しかしながら、そのような方法は、好適なテクスチャーによって領域を覆うためには有用であるものの、アップスケーリングや解像度向上に向けられたものではない。既存のテクスチャー領域の解像度を増すのではなく、テクスチャーをより広い領域に拡張することに向けられたものである。後者の文書はテクスチャー転写（texture transfer）（または時に制約条件付き（constrained）テクスチャー合成と呼ばれる）として知られる、追加的なターゲット画像によって合成が操縦される技法を開示している。
アップスケーリングのためのもう一つの方法は、例に基づく超解像度（example-based super-resolution）として知られており、非特許文献７および特許文献４に記載されている。
例に基づく超解像度は、事前に記憶された画像の諸セット〔集合〕をもつデータベースを使用する。ここで、各セットは同じシーンの低解像度バージョンおよび高解像度バージョンを含む。アップスケーリングされるべき入力画像はパッチごとに処理され、各パッチについて最良一致〔マッチ〕例がデータベース中で見出される。一致は、パッチの低解像度コンテンツと例画像のデータベースに記憶されている対応する低解像度パッチとを比較することによって判定される。さらに、アップスケーリングされた画像のすでに合成されたピクセル値が、低解像度一致物に対応する高解像度画像例としてデータベース中に記憶されたピクセルと比較されうる。これは、合成されるパッチどうしが小さな重なりをもつようにすることによって達成される。これは、事実上、よりよい空間的一貫性（consistency）を課すことになる。次いで、最良一致物についての記憶された高解像度画像の高周波数成分が高解像度出力を合成するために使われ、それにより改善されたアップスケーリングされた画像が生成される。具体的には、ピクセル値は最良一致例の記憶された高解像度画像からコピーされてもよい。
しかしながら、このアプローチはいくつかの画像については良好な結果を与えるかもしれないが、いくつかの欠点をもつきらいもある。特に、生成された高解像度画像は最適な品質をもたないことがありうる。たとえば、このプロセスはパッチごとに実行され、出力における空間的一貫性は保証されない。さらに、例画像は処理されている画像に精確に対応しないことがあり、それにより非一貫性を導入する。また、多くの異なる入力画像について十分高い品質を達成するためには、記憶された多数の例画像をもつことが必要であり、それにより資源要件、複雑さおよびコストが増す。たとえば、メモリ要件および検索サイズおよび時間特性が高いことがありうる。
よって、改善された画像解像度向上が有利であろう。特に、柔軟性を高める、複雑さを低減する、画質を改善する、資源消費を低減するおよび／またはパフォーマンスを改善することを許容するシステムが有利であろう。
米国特許第5,444,487号（T. Kondo and K. Kawaguchi, "Adaptive dynamic range encoding method and apparatus"、1995年8月） 米国特許第6,192,161号（T. Kondo et al., "Method and apparatus for adaptive filter tap selection according to a class "、2001年2月） 米国特許第4414564A号 米国特許第6766067号（William T. Freeman and Thouis R. Jones, "One-pass super-resolution images", July 20, 2004）
Li and Orchard, "New edge-directed interpolation", IEEE Transactions on Image Processing 10:1521-1527, 2001 van Ouwerkerk, "Image super-resolution survey", Image and Vision Computing 24(10):1039-1052, 2006 de M. Zhao, M. Bosma, and G. de Haan, "Making the Best of Legacy Video on Modern Displays", Journal of the Society for Information Display, January 2007, Volume 15, Issue 1, pp. 49-60 J. Tegenbosch, P. Hofman and M. Bosma, "Improving nonlinear up-scaling by adapting to the local edge orientation", Proceedings of the SPIE, Vol. 5308, pp.1181-1190, Jan. 2004 Wei, L.-Y., "Texture synthesis by fixed neighborhood searching"、2002 Ashikhmin, M., "Fast Texture Transfer", Computer Graphics and Applications, IEEE Volume 23, Issue 4, July-Aug. 2003 pp.38-43. Freeman, W.T., Jones, T.R., Pasztor, E.C, "Example-Based Super-Resolution."; Computer Graphics and Applications, IEEE, vol.22, no.2, pp.56-65, Mar/Apr 2002
したがって、本発明は、上述の欠点の一つまたは複数を、単独でまたは任意の組み合わせにおいて、好ましくは緩和、軽減または解消しようとするものである。
本発明のある側面によれば、画像の解像度向上方法であって：第一の解像度の第一の画像を受領する段階と；前記第一の画像のぼかされた画像として前記第一の解像度の第二の画像を生成する段階と；前記第一の画像を第二の解像度にアップスケールすることによって第三の画像を生成する段階と；前記第二の解像度の解像度向上画像を合成する段階とを含み、前記合成する段階は、解像度向上画像の複数のピクセル集合について：前記解像度向上画像の第一のピクセル集合を選択し；前記第一のピクセル集合に対して第一の所定の空間的関係をもつ前記第三の画像の比較ピクセル集合であって前記第二の解像度の解像度をもつ比較ピクセル集合を選択し；前記第一のピクセル集合に対して第二の空間的関係をもつ前記解像度向上画像の合成済みピクセル集合であって、前記第二の解像度の解像度をもつ合成済みピクセル集合を選択し；画像領域中の複数の位置について：第一の位置を選択し；前記比較ピクセル集合と、前記第一の位置に対して第三の空間的関係をもつ前記第二の画像についての第一のサンプル・ピクセル集合であって前記第一の解像度の解像度をもつ第一のサンプル・ピクセル集合との間の第一のマッチ・メトリックを決定し；前記合成済みピクセル集合と、前記第一の画像および前記第三の画像のうちの少なくとも一方についての、前記第一の位置に対して第四の空間的関係をもち、前記第一の解像度の解像度をもつ第二のサンプル・ピクセル集合との間の第二のマッチ・メトリックを決定し；前記第一のマッチ・メトリックおよび前記第二のマッチ・メトリックを組み合わせることによって前記第一の位置についての組み合わされたマッチ・メトリックを生成し；前記組み合わされたマッチ・メトリックならびに前記第一の画像および前記第三の画像の少なくとも一方のソース画像領域のピクセル値に応答して前記第一のピクセル集合についての少なくとも一つのピクセル値を生成する、段階を逐次反復することによる、方法が提供される。
本発明は、ビデオ・シーケンスの諸画像のような、画像の解像度向上の改善を許容しうる。本発明は、容易にされたおよび／または複雑さの低い実装を許容しうる。多くの場合において、本発明は、解像度向上画像の改善された画質を提供しうる。本発明はまた、特に、画像の詳細度および高周波数内容を増しうる。
たとえば、本発明は、テクスチャー（たとえば髪、毛皮、規則的なテクスチャーなど）およびエッジの生成／向上を許容しうる。具体的には、本方法はエッジ遷移を改善することに限定されるものではない。さらに、本発明は、エッジ向上をエイリアス・フリー〔エイリアスなし〕にすることを許容しうる。すなわち、本方法は、先鋭化の一環としてジャギーを導入することなく、よりシャープなエッジ遷移を達成しうる。
本発明は、例に基づく超解像度および例に基づくテクスチャー合成によって提供される利点および恩恵のいくつかを組み合わせ、提供しうる。具体的には、本願のアプローチは、改善されたアップスケーリングを与えるため、特に追加的な詳細、エッジおよびより高解像度のテクスチャーを生成して導入するために、自己相似性およびスケール不変性の前提を活用しうる。
さらに、画像解像度向上は、例画像を提供し、記憶しておく必要なしに達成されうる。実際、前記第二の画像および／または前記第一の画像が、解像度向上画像のピクセルの合成のための例画像として使用されうる。
このように、本願のアプローチは、マッチする低解像度（low resolution）画像および高解像度（high resolution）画像の対の例をもつデータベースの必要を回避しうる。さらに、テクスチャー画像の例を記憶しておく必要もない。
本方法は、アップスケーリングされる画像自身から生成される画像例をアップスケーリングにおいて使用する。よって、本方法は、アップスケールされた画像における追加的な詳細を生成するために、ある程度の自己相似性をもち、スケール不変な要素をもつ画像という前提を利用しうる。もとの画像を高解像度画像のための詳細およびテクスチャーのためのソースとして使うことにより、しばしば改善された向上画像の品質が達成できる。さらに、多くのシナリオにおいて有意な詳細は合成される画像位置の近くに位置していると想定できるので、これは、詳細の検索を制限できるので、計算量を実質的に軽減しうる。
前記第二の画像は、前記第一の画像よりも少ない高周波数成分を含んでいてもよい。具体的には、前記第二の画像はぼかされてもよい。これは、画像データの空間周波数帯域幅が、前記第二の解像度で利用可能な空間周波数帯域幅より実質的に低いことを意味する。たとえば、画像データの空間周波数帯域幅は、利用可能な帯域幅の70%未満であってもよく、具体的にはアップスケール因子2のためには利用可能な帯域幅のたった半分に制限されてもよい。
前記合成済みピクセル集合は、一つまたは複数の以前の逐次反復工程においてすでに合成されたピクセルを含む。前記第一および第二の空間的関係は、同じであってもよいし、および／または異なっていてもよい。同様に、前記第三および第四の空間的関係は、同じであってもよいし、および／または異なっていてもよい。同様に、空間的関係とは、たとえば、合成されるピクセル位置に隣接するピクセル領域および／または画像領域を指定しうる。
前記第一のサンプル・ピクセル集合は、前記第一の解像度でサブサンプリングされた前記第二の画像についての線形にアップスケーリングされたおよび／または補間されたサンプルを含みうる。これは、前記第二の解像度と等価な、ピクセルより小さな尺度での精確さ〔サブピクセル精度〕を達成しうる。具体的には、前記第一のサンプル・ピクセル集合のピクセルのピクセル・サイズは、前記第一の解像度のピクセルよりも小さくてもよく、特に、前記第二の解像度のピクセルと同じサイズであってもよい。具体的には、前記第一のサンプル・ピクセル集合のピクセルは、解像度向上画像のピクセルと同じピクセル・グリッド上であってもよい。
前記第二のサンプル・ピクセル集合は、前記第一の解像度でサブサンプリングされた前記第一の画像についての線形にアップスケーリングされたおよび／または補間されたサンプルを含みうる。これは、前記第二の解像度と等価な、ピクセルより小さな尺度での精確さ〔サブピクセル精度〕を達成しうる。具体的には、前記第二のサンプル・ピクセル集合のピクセルのピクセル・サイズは、前記第一の解像度のピクセルよりも小さくてもよく、特に、前記第二の解像度のピクセルと同じサイズであってもよい。具体的には、前記第二のサンプル・ピクセル集合のピクセルは、解像度向上画像のピクセルと同じピクセル・グリッド上であってもよい。
前記の異なるピクセル集合および画像領域内のピクセルの数は、静的および／または動的に決定されうる。たとえば、合成済みピクセル集合および／または比較ピクセル集合中のピクセル数は、前記第一の画像の特性に応答して動的に決定されてもよい。
本発明のある任意的な特徴によれば、少なくとも一つのピクセル値を生成するステップは、複数の位置に関連付けられたソース画像領域の複数のピクセル値を重みをかけて組み合わせることによって、前記第一のピクセル集合のピクセルについてのピクセル値を生成することを含む。ここで、前記複数のピクセル値の各ピクセル値の重み付けは、そのピクセル値の組み合わされたマッチ・メトリックに依存する。
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。たとえば、アーチファクトがない、および／またはノイズが軽減された、より自然な画像が合成されうる。
本発明のある任意的な特徴によれば、少なくとも一つのピクセル値を生成するステップは：前記複数の位置のうち、組み合わされたマッチ・メトリックがある基準にマッチする位置を含む位置の集合を選択し；前記位置の集合の各位置についてソース・ピクセル値を選択し；前記ソース・ピクセル値に応答して前記少なくとも一つのピクセル値を生成することを含む。
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。特に、たとえば、解像度向上画像についてのピクセル値への寄与が、ソース画像中の特に好適な位置についてのピクセル値に限定されることを許容しうる。前記基準は、たとえば、組み合わされたマッチ・メトリックが所与の閾値を超えるおよび／または組み合わされたマッチ・メトリックが最高の決定されたマッチ・メトリックでなければならないという要求を含みうる。
本発明のある任意的な特徴によれば、前記第二の画像を生成するステップは：前記第一の画像をダウンスケーリングしてより低い解像度の画像を生成し；前記より低い解像度の画像をアップスケーリングして前記第一の解像度にすることによって前記第二の画像を生成することを含む。
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。特に、これはぼかされた画像の効率的な生成を許容しうる。本アプローチは、解像度向上画像に対する前記第三の画像の品質劣化と同様の品質劣化を前記第一の画像に対してもつ第二の画像の生成を許容しうる。こうして、この特徴は、自己相似性およびスケール不変性の前提に基づいて詳細を追加するために有用な例画像の特に好適な生成を許容しうる。
前記アップスケーリングは、具体的には、補間または他の空間的フィルタリングを含みうる。こうして、前記アップスケーリングは、前記より低い解像度の画像にいかなる追加的な空間的周波数をも導入しないアップスケーリングでありうる。前記アップスケーリングは、前記第一の画像から前記第三の画像を生成するために使用されるのと同じアルゴリズムおよび／または設定を使用してもよい。
本発明のある任意的な特徴によれば、前記より低い解像度の画像の解像度と前記第一の解像度との間の比が実質的に、前記第一の解像度と前記第二の解像度との間の比と同じである。
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。特に、これは画像が、前記第一の解像度と前記第二の解像度の間の解像度の違いを横断した自己相似性およびスケール不変性を精確に反映することを許容しうる。
前記のいくつかの比は、多くの実施形態において、同一であってもよく、および／または互いの10%以内であってもよい。
本発明のある任意的な特徴によれば、請求項６が提供される。
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。
本発明のある任意的な特徴によれば、前記第一の画像と前記解像度向上画像との間のアップスケーリング因子は2である。
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。
本発明のある任意的な特徴によれば、前記第二のサンプル・ピクセル集合は前記第三の画像から選択される。
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。特に、これは、前記解像度向上画像と前記第一の画像との間のピクセル・エッジ位置におけるオフセット差の補償を許容しうる。
本発明のある任意的な特徴によれば、前記第二のサンプル・ピクセル集合の選択は、前記第一の解像度で前記第三の画像の領域のピクセルをサブサンプリングすることを含む。
。
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。特に、これは解像度向上が追加的な詳細を導入することを許容しうる。
本発明のある任意的な特徴によれば、前記第二のサンプル・ピクセル集合のピクセルのピクセル中心が、前記第一の画像のピクセルのピクセル中心に対して空間的にオフセットされる。
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。空間的オフセットは、具体的には、前記第一の解像度でのピクセル幅より小さくてもよい。この特徴は、多くのシナリオにおいて、前記解像度向上画像と前記第一の画像との間のピクセル・エッジ位置のオフセット差の補償を許容しうる。
本発明のある任意的な特徴によれば、前記組み合わされたマッチ・メトリックは、前記第一のマッチ・メトリックと前記第二のマッチ・メトリックの重みをかけた和を含む。
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。特に、多くのシナリオにおいて、前記解像度向上画像と前記第一の画像との間のピクセル・エッジ位置のオフセット差の補償を許容しうる。
本発明のある任意的な特徴によれば、前記比較ピクセル集合は40個未満のピクセルを含む。
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。特に、そのような小さな比較ピクセル集合について、特に高い画質および詳細追加が達成できることが見出されている。
本発明のある任意的な特徴によれば、前記合成済みピクセル集合は15個未満のピクセルを含む。
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。特に、そのような小さな合成ピクセル集合について、特に高い画質および詳細追加が達成できることが見出されている。合成済みピクセル集合中のピクセル数は、合成されている画像テクスチャーの周期／スケール／要素サイズに応答して設定されてもよい。
本発明のある任意的な特徴によれば、前記第一のマッチ・メトリックを決定するステップは、前記第二の画像を前記第二の解像度にアップスケーリングして、前記第一の解像度でピクセルをサブサンプリングすることによって、前記第二の画像の前記第一のサンプル・ピクセル集合を決定することを含む。
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。空間的オフセットは、具体的には、前記第一の解像度のピクセル幅より小さくてもよい。この特徴は、多くのシナリオにおいて、前記解像度向上画像と前記第一の画像との間のピクセル・エッジ位置のオフセット差の補償を許容しうる。
本発明のある側面によれば、画像の解像度向上装置であって：第一の解像度の第一の画像を受領する手段と；前記第一の画像のぼかされた画像として前記第一の解像度の第二の画像を生成する手段と；前記第一の画像を第二の解像度にアップスケールすることによって第三の画像を生成する手段と；前記第二の解像度の解像度向上画像を合成する手段とを含み、前記合成は、解像度向上画像の複数のピクセル集合について：前記解像度向上画像の第一のピクセル集合を選択し；前記第一のピクセル集合に対して第一の所定の空間的関係をもつ前記第三の画像の比較ピクセル集合であって前記第二の解像度の解像度をもつ比較ピクセル集合を選択し；前記第一のピクセル集合に対して第二の空間的関係をもつ前記解像度向上画像の合成済みピクセル集合であって、前記第二の解像度の解像度をもつ合成済みピクセル集合を選択し；画像領域中の複数の位置について：第一の位置を選択し；前記比較ピクセル集合と前記第一の位置に対して第三の空間的関係をもつ前記第二の画像についての第一のサンプル・ピクセル集合であって前記第一の解像度の解像度をもつ第一のサンプル・ピクセル集合との間の第一のマッチ・メトリックを決定し；前記合成済みピクセル集合と、前記第一の画像および前記第三の画像のうちの少なくとも一方についての、前記第一の位置に対して第四の空間的関係をもち、前記第一の解像度の解像度をもつ第二のサンプル・ピクセル集合との間の第二のマッチ・メトリックを決定し；前記第一のマッチ・メトリックおよび前記第二のマッチ・メトリックを組み合わせることによって前記第一の位置についての組み合わされたマッチ・メトリックを生成し；前記組み合わされたマッチ・メトリックならびに前記第一の画像および前記第三の画像の少なくとも一方のソース画像領域のピクセル値に応答して前記第一のピクセル集合についての少なくとも一つのピクセル値を生成する、段階を逐次反復することによる、装置が提供される。
本発明のこれらおよびその他の側面、特徴および利点は、以下に記述される実施形態を参照することから明白となり、明快にされるであろう。
本発明の諸実施形態は、単に例として、図面を参照して記述される。
本発明のいくつかの実施形態に基づく画像アップスケーラの例を示す図である。 本発明のいくつかの実施形態に基づく画像処理の例を示す図である。 本発明のいくつかの実施形態に基づく画像アップスケーリング方法の例を示す図である。 本発明のいくつかの実施形態に基づく画像アップスケーリングの方法における未知ピクセル値の合成の例を示す図である。 本発明のいくつかの実施形態に基づく画像アップスケーリングの方法におけるピクセル集合マッチングの例を示す図である。
以下の記述は、ビデオ・シーケンスの画像のアップスケーリングに適用可能な本発明の諸実施形態に焦点を当てるが、本発明はこの用途に限定されるものではなく、他の多くの画像に適用されうることは理解されるであろう。
図１は、本発明のいくつかの実施形態に基づく画像アップスケーラ〔アップスケーリング器〕の例を示す図である。
本画像アップスケーラは、アップスケールされ向上されるべき第一の画像を受領する受領器１０１を有する。本例では、画像はビデオ・シーケンス中で受領され、本例では、受領器１０１は、デジタル・エンコードされたビデオ・信号（MPEG-2信号のような）を受領し、これをデコードして個々の画像を生成するよう構成されている。そうした個々の画像は次いでピクセル領域において個々に処理される。
前記第一の画像およびビデオ・シーケンスがいかなる好適な内部源または外部源から受領されてもよいことは理解されるであろう。
前記第一の画像は、第一の解像度で受領される。第一の解像度は、この個別的な例では標準精細度（SD）の解像度である。個別的な例として、画像は720×576ピクセルの画像であってもよく、これが、スケール因子2により、1440×1152ピクセルの高精細度（HD）画像を生成するためにアップコンバートされる。このアップスケールされた画像はその後、たとえばより広く使われるHD解像度である1366×768に、たとえば線形補間を使ってダウンスケーリングされてもよいことは理解されるであろう。
受領器１０１は、前記第一の画像と同じ解像度であるが、何らかの高周波成分を欠くそのぼかされたバージョンである第二の画像を生成する第一の画像生成器１０３に結合されている。よって、前記第二の画像は前記第一の画像と同じ解像度であるが、前記第一の画像の何らかのより高い空間周波数を除去することによってぼかされている。
こうして、前記第二の画像においては、周波数スペクトルの低めの部分だけが満たされている。つまり、周波数スペクトルは、画像解像度によって許容されるレベルまで満たされてはいない。これは、（線形）アップスケーリング（完全な解像度向上なしの）後に典型的に見られる状況である。というのも、画像の解像度が増される際に、利用可能なより広いスペクトルを、もとのより低い解像度で得られない新しい高周波数成分で（完全に）埋めることをしないからである。
結果として、たとえばエッジ遷移の急峻さが低下し、よってぼかされた（blurred）またはなめらかにされた（smoothed）ように見える、つまり以前よりシャープでなくなり、画像中に存在する（新たな）詳細はない。よって、前記第二の画像については、前記第二の解像度の完全な解像度はフルに活用されていない。
受領器１０１はさらに、第二の画像生成器１０５に結合されている。該第二の画像生成器は、前記第一の画像を、出力解像度向上画像の解像度に対応する第二の解像度にアップスケーリングすることによって第三の画像を生成する。こうして、前記第二の画像生成器１０５はHD画像を生成する。第二の画像生成器１０５によって使用されるアップスケーリング技法は、補間に基づくアップスケーリングのような線形アップスケーリング技法である。前記第三の画像は、前記第一の画像より高い空間周波数を含まないので、前記第二の解像度において比較的ぼけて知覚される。
受領器１０１、第一の画像生成器１０３および第二の画像生成器１０５は解像度向上処理器１０７に結合される。解像度向上処理器１０７は、第一、第二および第三の画像に基づいて画像のピクセル値を合成することによって、出力解像度向上画像を生成する。さらに、ピクセル合成は、解像度向上画像のすでに合成されたピクセル値にも基づく。
こうして、図２に示されるように、解像度向上処理器１０７は解像度向上において四つのピクチャーを使う：
・第一の（SD）解像度の受領されたもとの画像である第一の画像２０１。
・第一の画像２０１のぼかされたバージョンであり、第一の（SD）解像度である第二の画像２０３。
・第一の画像２０１の線形アップスケーリングされたバージョンである、第二の（HD）解像度の第三の画像。
・第二の（HD）の解像度である解像度向上画像２０７。
本画像アップスケーラによって使用されるアルゴリズムは、例に基づく超解像度および例に基づくテクスチャー合成と似た要素を使う。しかしながら、これらの従来技術のアプローチとは対照的に、本アプローチは、多くのシナリオにおける改善された画質を許容する。さらに、本アプローチは、解像度向上を与えるために例画像のデータベースを使用も要求もせず、むしろ画像自身に基づいてこの向上を行う。具体的には、第一および第二の画像２０１、２０３が、解像度向上のための例画像セグメントとして使用される。
本アプローチは、向上された高解像度画像を生成するために、当該画像の画像領域の自己相似性およびスケール不変性の性質を活用しようとする。特に、発明者は、多くの画像／シーンは、スケールを横断して、多くのスケール不変な要素および自己相似性を含み、このことが解像度向上を与えるために使用できることを認識するに至った。たとえば、エッジはスケール不変であり、どのスケールでも同じに見え、本質的には低解像度画像から高解像度画像にコピーできる、髪のような多くのテクスチャーは異なるスケールにおいて同じように見える、などである。本アプローチは、そのような認識を、よりシャープなエッジを生成するためのみならず、追加的な髪のような追加的な詳細を生成するためなどにも使用することを許容する。
画像アップスケーラの動作について、以下で、図３〜図５に示される例示的なフローチャートを参照して述べる。
本方法は、第一の画像２０１が受領器１０１によって受領されるステップ３０１で始まる。
ステップ３０１に続いてステップ３０３が行われる。ここでは、第二の画像生成器１０５が第一の画像２０１をアップスケーリングして、解像度向上画像２０７に等しい解像度をもつ第三の画像２０５を生成する。アップスケーリングは、第二の解像度の補間された画像（つまりこれはHD画像である）を生成する線形アップスケーリングである。こうして、本例では、第三の画像２０５は、第一の画像２０１に存在するよりも高い空間周波数は全く含まない。しかしながら、実施形態によっては、第三の画像２０５に、何らかの非線形な解像度向上技法が適用されてもよいことは理解されるであろう。もしそうなら、同じ非線形な解像度向上技法が第二の画像２０３にも適用されてもよい。
ステップ３０３に続いてステップ３０５が行われる。ここでは、第一の画像生成器１０３が、第二の画像２０３を、第一の画像２０１のぼかされた、だが同じ解像度をもつ画像として生成する。第二の画像２０３は第一の画像２０１のぼかしを表すわけだが、このぼかしは、具体的には、もとになるシーンの理論的に理想的な解像度向上画像（すなわち第二の解像度でもともと取り込まれたシャープな画像に対応）を基準としたときの第三の画像２０５のぼかしに対応するものでもよい。具体的には、第二の画像２０３の空間周波数は、第一の画像２０１の帯域幅に対してある比をもつ低周波数帯域幅に限定されるのだが、その比は、第三の画像２０５とフル帯域幅の高解像度画像との空間周波数帯域幅の間の比に対応しうる。
具体例として、アップスケーリング因子2について、第三の画像２０５は、第二の解像度で可能な帯域幅の半分の帯域幅内でのみ空間周波数を含みうる。したがって、第二の画像２０３は、第一の解像度で可能な帯域幅の半分の帯域幅内の空間周波数のみを含むよう制約されうる。
結果として、第一の画像２０１に対する第二の画像２０３の相対的なぼけは、第一の画像２０１に対応する理論的な理想的な高解像度画像に対する第三の画像２０５の相対的なぼけと近く対応する。したがって、スケール横断的な自己相似性の前提のもとで、第一と第二の画像２０３の間の関係は、第三の画像２０５と解像度向上画像２０７の間の関係を推定するために効果的に使用できる。
ぼかされた第二の画像２０３の生成がたとえば、第一の画像２０１を空間的に低域通過フィルタ処理することによって達成されてもよいことは理解されるであろう。しかしながら、この具体例においては、第一の画像生成器１０３は第二の画像の生成を、まず第一の画像２０１をより低解像度にダウンスケーリングして、次いでこの画像をもとの第一の解像度にアップスケーリングすることによって行うよう構成されている。
具体的には、ダウンスケーリングは、第二の解像度（すなわち、第三の画像２０５および解像度向上画像２０７の解像度）と第一の解像度（すなわち、第一および第二の画像２０１、２０３の解像度）との間の比と等価な因子によってであってもよい。これは、第一および第二の画像対２０１、２０３が、第三の画像と解像度向上画像の対２０５、２０７の間の相関をよりよく反映することを許容しうる。
多くの実施形態において、第一の画像２０１とダウンスケーリングされた低解像度画像との間のスケール因子は、解像度向上画像２０７と第一の画像２０１との間のスケール因子と同一に選ばれる。この具体例では、因子2によるダウンスケーリングが適用され、結果として解像度360×288ピクセルのダウンスケーリングされた画像が得られる。
ダウンスケーリングは具体的には、空間的なアンチエイリアス低域通過フィルタを適用し、高周波数成分を除去し、次いで因子2によるダウンサンプリングを行うことによって達成される線形ダウンスケーリングであってもよい。
ダウンスケーリングされた画像は次いで、線形アップスケーリング・アルゴリズムを使って、同じスケール因子によってアップスケーリングされる。具体的には、第一の画像２０１を第三の画像２０５にアップスケーリングするのに使われたのと同じアップスケーリング・アルゴリズムを使用してもよい。
このように、第二の画像２０３においては、周波数スペクトルのより低い部分のみが満たされる。すなわち、周波数スペクトルは、第一の解像度が許容するレベルまで満たされはしない。これは、（線形）アップスケーリング（完全な解像度向上なしの）後に典型的に見られる状況である。というのも、画像の解像度が増される際に、利用可能なより広いスペクトルを、もとのより低い解像度で得られない新しい高周波数成分で（完全に）満たすことをしないからである。
結果として、たとえばエッジ遷移の急峻さが低下し、よってぼかされたまたはなめらかにされたように見える、つまり以前よりシャープでなくなり、画像中に存在する（新たな）詳細はない。よって、前記第二の画像２０３については、前記第二の解像度の完全な解像度はフルに活用されていない。
本方法は次いで、解像度向上画像２０７の生成に進む。本方法は、シーケンシャルなピクセル・ベースのアプローチを使う。ここで、一組のピクセルが同時に合成され、この方法が、解像度向上画像２０７全体が生成されるまでこの合成を逐次反復する。さらに、ピクセル集合の合成は、前の反復工程で合成済みのピクセルも考慮する。
この具体例では、解像度向上画像２０７の一つのピクセルが一時に合成されるが、他の実施形態では二つ以上のピクセルを含むピクセル集合が一緒に合成されてもよいことは理解されるであろう。
こうして、ステップ３０５に続いてステップ３０７が行われる。ここでは、解像度向上画像２０７の次のピクセルが選択され、合成される。ステップ３０７に続いてステップ３０９が行われる。ここでは、解像度向上画像の全てのピクセルが合成されたかどうかが評価される。もしそうであれば、本方法はステップ３１１で停止し、そうでなければ、ステップ３０７に戻って次のピクセルを処理する。
図４は、ピクセル値を合成するために解像度向上処理器１０７によって使用される方法を示している。図４は、いくつかのピクセルはすでに合成済みであり、それによりそれらのピクセルが現在ピクセルの合成において使用できる場合の、解像度向上処理器１０７によって使用される方法を具体的に示している。しかしながら、すでに合成済みのピクセルが全くないときに本方法を開始するためのいかなる好適な方法およびアプローチが使用されてもよいことは理解されるであろう。たとえば、初期のピクセル集合は単に第一の画像２０１、第三の画像または0値の集合からコピーされてもよい。
図４の方法について、図２および示されている未知ピクセル２０９の合成を参照して説明する。本方法は、特に、１ラインずつ、左から右へと、すなわちラスタ・スキャン順にピクセルを合成していく。よって、未知ピクセル２０９が合成されるとき、解像度向上画像２０７中で未知ピクセル２０９の上および左にあるすべてのピクセルはすでに合成済みである。
図４の方法は、現在のピクセルについての好適なマッチを、第一の画像２０１および第二の（ぼかされた）画像２０３の両方において探索する。具体的には、本方法は、解像度向上画像２０７における近隣の（neighboring）合成されたピクセルと第一の画像２０１における対応するピクセル集合との間のマッチならびに第三の画像２０５における近隣ピクセルと第二の画像２０３における対応するピクセル集合との間のマッチを探す。それらのマッチは、二つの画像２０１、２０３における対応する位置について決定され、組み合わされたマッチ・メトリックに組み合わされる。こうして、二つのシャープなピクチャー（すでに合成済みの解像度向上画像２０７および第一の画像２０１）間および二つのぼかされた画像（第二および第三の画像２０３、２０５）間の比較からの成分をいずれも含むマッチ・メトリックをもって探索が実行される。
さらに、マッチング〔照合〕は、第一の解像度と第二の解像度の間の解像度境界を横断して実行される。具体的には、自己相似性およびスケール不変性を想定することによって、異なる解像度のピクセル集合が互いに直接比較され、より高い画像での追加的な詳細を生成するために使用される。たとえば、アップスケール因子2について、ぼかされた第二および第三の画像２０３、２０５の間のマッチが生じていると見出されるのは、第三の画像２０５のピクセル集合のパターンまたはピクセル変動が、第二の画像２０３のピクセル集合のものに一致する場合、すなわち、事実上2倍の対応する空間周波数をもつ場合である。
図４の方法は、次の未知の（まだ合成されていない）ピクセル２０９が選択されるステップ４０１で始まる。先述したように、次のピクセルは、解像度向上画像２０７において前に合成されたピクセルのすぐ右のピクセルとして選択される。
ステップ４０１に続いてステップ４０３が行われる。ここで、第三の画像２０５の比較ピクセル集合２１１が選択される。比較ピクセル集合２１１は、合成されるピクセル２０９に対して第一の所定の空間的関係をもつピクセルを含むピクセルの集合として選択される。この具体例では、比較ピクセル集合２１１は単に、未知ピクセル２０９から所与の半径内にある第三の画像２０５のピクセルとして選択される。
たとえば、比較ピクセル集合２１１は、合成されるピクセルの位置から1ピクセル以下離れている全ピクセルを含んでもよい。こうして、この具体例では、結果として、比較ピクセル集合２１１は9個のピクセル（未知ピクセル２０９と同じ位置をもつ第三の画像２０５のピクセルを含む）を含む正方形の画像領域に対応する。他の実施形態では、他のピクセル集合サイズが使用されてもよいことは理解されるであろう。たとえば、多くの実施形態において、1ないし6ピクセルの半径について有利なパフォーマンスが見出されている。たとえば、ピクセル集合中24個のピクセルに対応するピクセル半径3がしばしば高いパフォーマンスを与える。
比較ピクセル集合２１１についていかなる好適なピクセル選択が使用されてもよく、ピクセル集合は必ずしも連続的な画像領域に対応する必要はないことは理解されるであろう。さらに、他の数の、特により多数のピクセルが比較ピクセル集合２１１に含められてもよいことは理解されるであろう。しかしながら、多くの画像について、ピクセル数を比較的少なく保つことによって特によい解像度向上が達成されることが見出されている。特に有利なパフォーマンスが、40個未満のピクセルを含む比較ピクセル集合について見出されている。生成される比較ピクセル集合２１１は、のちにより詳細に述べるように、のちに第二の画像２０３においてマッチを探すのに使われる。
ステップ４０３に続いてステップ４０５が行われる。ここでは、解像度向上画像２０７の合成済みピクセル集合２１３が選択される。合成済みピクセル集合２１３は、解像度向上画像２０７のうち、合成されるピクセル２０９に対して第二の所定の空間的関係をもつすでに合成済みのピクセルの集合として選択される。この具体例では、比較ピクセル集合２１１は単に、合成済みであり未知ピクセル２０９から所与の半径内にある解像度向上画像２０７のピクセルとして選択される。
たとえば、合成済みピクセル集合２１３は、未知ピクセル２０９に隣接するすべての合成済みのピクセルを含んでいてもよい。こうして、この具体例では、結果として、4個のピクセルを含むL字形領域に対応するL字形の合成済みピクセル集合２１３が得られる。生成された合成済みピクセル集合２１３は、のちにより詳細に述べるように、第一の画像２０１（または第三の画像２０５）におけるマッチを探すのにのちに使われる。
合成済みピクセル集合２１３についていかなる好適なピクセル選択が使用されてもよく、該ピクセル集合は必ずしも連続的な画像領域に対応する必要はないことは理解されるであろう。さらに、他の数の、特により多数のピクセルが合成済みピクセル集合２１３に含められてもよいことは理解されるであろう。しかしながら、多くの画像について、ピクセル数を比較的少なく保つことによって特によい解像度向上が達成されることが見出されている。特に有利なパフォーマンスが、15個未満のピクセルを含む合成ピクセル集合について見出されている。
比較ピクセル集合２１１および合成済みピクセル集合２１３はいずれも、第三の画像２０５および解像度向上画像２０７の第二の解像度にある。このように、比較ピクセル集合２１１および合成済みピクセル集合２１３はいずれも、出力画像の高解像度にある。本方法は、これらの高解像度のピクセル集合を第一および第二の画像２０１、２０３における対応するピクセル集合にマッチさせることを続ける。しかしながら、これらのピクセル集合は第一の解像度にあり、よって解像度ギャップを横断したマッチングが実行される。
具体的には、本方法は、いくつかの位置を含む画像領域を探索することに続く。各位置について、その位置における比較ピクセル集合２１１および合成済みピクセル集合２１３についてのマッチを両方とも考慮に入れる組み合わされたマッチ・メトリックが計算される。
具体的には、ステップ４０５に続いてステップ４０７が行われる。ここでは、好適な探索画像領域２１５が選択される。探索画像領域２１５は、たとえば、第一の解像度において20×20ピクセル（第二の解像度では40×40ピクセルに対応）を含む正方形の画像領域として選択されてもよい。他の実施形態では他の探索画像領域が使用されてもよく、特により大きな探索画像領域（あるいは、実に画像全体）が使用できることは理解されるであろう。しかしながら、第一の解像度における625ピクセル以下の画像領域についてしばしば特に有利なパフォーマンスが達成されうることが見出されている。実際、そのような比較的小さな探索画像領域は計算量および資源需要を軽減しうるのみならず、多くのシナリオにおいて、同じ画像オブジェクト内で適切なマッチが同定される（たとえば同じテクスチャー内）確率を高めうる。このように、これは、未知ピクセル２０９のピクセル値を生成する際に、同じ視覚的オブジェクトに関係しているのでない画像領域における偽の（spurious）マッチが考慮に入れられる可能性が軽減されうる。
本方法は、探索画像領域２１５内の各位置を逐次評価してマッチ・メトリックを決定していく。具体的には、本方法はステップ４０９に進み、そこで、探索画像領域２１５の次の位置についての組み合わされたマッチ・メトリックが決定される。
本方法は次いでステップ４１１に進み、現在位置が探索画像領域２１５内の最後の位置であったかどうか（つまり、すべての位置が評価されたかどうか）が評価される。もしそうであれば、本方法はステップ４１３に進み、合成されるピクセルについてのピクセル値が決定される。もしそうでなければ、本方法はステップ４０９に戻って、次の位置についてのマッチ・メトリックが決定される。
図５は、ステップ４０９の処理をより詳細に示している。
このプロセスは、現在位置について第二の画像２０３の第一のサンプル・ピクセル集合２１７が決定されるステップ５０１で始まる。第一のサンプル・ピクセル集合２１７は、この具体例では、第三の画像２０５中の比較ピクセル集合２１１に直接対応するピクセル集合に設定される。こうして、この具体例では、第一のサンプル・ピクセル集合２１７は、第二の画像２０３における9個のピクセルの正方形に対応する。しかしながら、第二の画像２０３は第一の解像度である一方、第三の画像２０５は第二の解像度であるので、照合は解像度を横断して行われる。しかしながら、画像領域の自己相似性の前提のもとでは、この比較は、テクスチャーの異なるスケールの間の比較に対応し、それにより、第二の解像度においてより詳細なテクスチャーが生成されることを許容する。これは、第一の画像２０１からシャープなテクスチャー要素をコピーして繰り返すことによって達成できる。同様に、スケール不変性の想定は、第一の画像２０１からエッジをコピーすることを許容する。エッジはどのスケールでも同じに見えるからである。
本例では、同じ空間的関係が使用されてもよい。すなわち、第一のサンプル・ピクセル集合２１７は、現在位置を取り囲む9個のピクセルとして選択されてもよい。
ステップ５０１に続いてステップ５０３が行われる。ここでは、第一のサンプル・ピクセル集合２１７および比較ピクセル集合２１１について第一のマッチ・メトリックが計算される。このマッチ・メトリックを決定するためにいかなる好適なマッチ・メトリックおよび距離基準が使用されてもよいことは理解されるであろう。たとえば、9個のピクセル対についての逆数平均平方ピクセル値差（reciprocal average squared pixel value difference）が生成されてもよい。
このように、第一のマッチ・メトリックは、二つのぼかされた画像における対応する位置のピクセル集合どうしがどのくらいよく互いにマッチするかを示す。第三の画像２０５は理論的な理想的な解像度向上画像のぼかされたバージョンに対応するので、第三の画像２０５のピクセルと第二の画像２０３のピクセルの間の強いマッチは、第一の画像２０１が、この位置において理論的な理想的な解像度向上画像にマッチすることを示す。さらに、二つの画像は等しくぼかされているので、スケール不変性を想定すると、これが、第一の画像２０１の対応するピクセルが未知のピクセル値の精確な反映であることを反映している可能性が高いということになる。こうして、ぼかされた画像２０３、２０５が解像度ギャップを横断してマッチすれば、第一の画像２０１と理論的な理想的な解像度向上画像との間の解像度ギャップの間にも強いマッチがある可能性が高い。
ステップ５０３に続いてステップ５０５が行われる。ここでは、第一の画像２０１の第二のサンプル・ピクセル集合２１９が現在位置について決定される。第二のサンプル・ピクセル集合２１９はこの具体例では、解像度向上画像２０７中の合成済みピクセル集合２１３に直接対応するピクセル集合に設定される。こうして、この具体例では、第二のサンプル・ピクセル集合２１９は、4個のピクセル（現在位置の上と左の4個のピクセル）を含むL字形に対応する。しかしながら、第一の画像２０１は第一の解像度である一方、解像度向上画像２０７は第二の解像度であるので、照合は解像度を横断して行われる。しかしながら、画像領域のスケール不変性の前提のもとでは、この比較は、テクスチャーの異なるスケールの間の比較に対応し、それにより、第二の解像度においてより詳細なテクスチャーが生成されることを許容する。
ステップ５０５に続いてステップ５０７が行われる。ここでは、第二のサンプル・ピクセル集合２１９および合成済みピクセル集合２１３について第二のマッチ・メトリックが計算される。このマッチ・メトリックを決定するためにいかなる好適なマッチ・メトリックおよび距離基準が使用されてもよいことは理解されるであろう。たとえば、9個のピクセル対についての逆数平均平方ピクセル値差が生成されてもよい。
このように、第二のマッチ・メトリックは、二つのシャープな画像２０７、２０１における対応する位置のピクセル集合どうしがどのくらいよく互いにマッチするかを示す。解像度向上画像２０７は理論的な理想的な解像度向上画像の推定されたバージョンに対応すると想定されるので、この画像のピクセルと第一の画像２０１のピクセルとの間の強いマッチは、第一の画像２０１がこの位置において理論的な理想的な解像度向上画像にマッチすることを示す。さらに、二つの画像は等しくシャープなので、スケール不変性を想定すれば、これは、第一の画像２０１の対応するピクセルが未知ピクセル２０９の精確な反映であることを反映している可能性が高いということになる。
さらに、合成済みピクセル集合２１３が出力画像におけるすでに合成済みの値から選択されるので、解像度向上画像２０７において合成されるピクセル間でマッチングには空間的な一貫性があり、特に、隣接ピクセル間の制約が第一の画像２０１から課されることを保証する。さらに、これは、テクスチャー要素／周期を繰り返すことによってテクスチャー（再）合成を可能にする。
ステップ５０７に続いてステップ５０９が行われる。ここでは、第一のマッチ・メトリックおよび第二のマッチ・メトリックを組み合わせることによって、現在位置について組み合わされたマッチ・メトリックが計算される。具体的には、組み合わされたマッチ・メトリックは、第一のマッチ・メトリックと第二のマッチ・メトリックの重み付けされた和として生成され、重みは、シャープな画像とぼかされた画像の間のマッチングの相対的な重要さを反映してもよい。
具体的には、組み合わされたマッチ・メトリックw(i,j)は
Figure 2011523275
 として決定されてもよい。ここで、iは未知ピクセル２０９の位置を表し、jは探索画像領域２１５内の現在位置であり、d(・,・)は差メトリック（平均差分絶対値（MAD: mean absolute difference）のような）であり、Ni,IHRは比較ピクセル集合２１１を表し、Nj,ILRは第一のサンプル・ピクセル集合２１７を表し、Li,HRは合成済みピクセル集合２１３を表し、Lj,LRは第二のサンプル・ピクセル集合２１９を表す。wNおよびwLは、二つの異なるマッチの相対的な影響度を変えるよう調整されうる重みである。具体例として、これらの値はそれぞれ1および0.75に設定されてもよい。さらに、fは、平均のファジーさを制御する設計パラメータであり、たとえば0.2に設定されうる。
σ(i)は相似性関数（similarity function）をローカルなコントラストに適応させる補償因子であり、たとえば：
Figure 2011523275
 によって与えられる。ここで、Siは画像探索領域である。
重みwNおよびwLは、組み合わされたマッチ・メトリックにおいてぼかされた画像とシャープな画像のマッチングの影響をバランスさせるために使用されうる。シャープな画像のマッチングを高めると、空間的一貫性をより強く強制することになる。この空間的一貫性は解像度を横断して適用されるので、もとの第一の画像２１０におけるのと同じ、解像度向上画像２０７におけるピクセル周期をもつ周期テクスチャーの合成を強制する。すなわち、単にテクスチャー内のテクスチャー周期を倍にする。これは、テクスチャーの再合成、たとえばより多くの髪の生成を可能にする。
このように、探索画像領域２１５の各位置について、スケールを横断してシャープな画像およびぼかされた画像両方のマッチングを反映する組み合わされたマッチ・メトリックが生成される。その利点は、例に基づく超解像度およびテクスチャー合成の両方が適用できるということである。ぼかされたマッチングを使って、合成される構造のシャープな等価物が、シャープな第一の画像２０１中で異なるスケールにおいて見出されることができ（たとえばぼかされたエッジが与えられてシャープなエッジが見出される）、テクスチャー合成を制約することができる、すなわち、シャープな解像度向上画像２０７における合成されたテクスチャーはぼやけた、アップスケーリングされた第三の画像２０５に似る。同時に、シャープなマッチは、解像度向上画像２０７の空間的一貫性を課し、テクスチャー要素の反復によるさまざまなテクスチャーの（再）合成を可能にする。ローカルな空間的関係がスケールを横断して維持されるからである。
探索画像領域２１５の種々の位置について組み合わされたマッチ・メトリックを生成するのに続いて、本方法はステップ４１３に進んで、それらの組み合わされたマッチ・メトリックおよび第一の画像２０１のソース画像領域の対応するピクセル値に応じて未知ピクセル２０９についてのピクセル値が生成される。この具体例では、ソース画像領域は探索画像領域２１５と同一であるが、他の実施形態では他のソース画像領域が使用されてもよいことは理解されるであろう。たとえば、より小さな領域が組み合わされたマッチ・メトリックに基づいて選択されてもよい。
具体例として、解像度向上処理器１０７は、単に、探索画像領域２１５において、最高の組み合わされたマッチ・メトリックをもつ位置を選択し、次いで、未知ピクセルの値をその位置についてのピクセル値に設定してもよい。
しかしながら、図２の具体例では、未知ピクセルの値は、ソース／探索画像領域２１５における複数のピクセル値についてのピクセル値を組み合わせることによって生成される。具体的には、複数のピクセル値の重み付けされた組み合わせが実行されてもよい。ここで、各ピクセル値の重み付けは、そのピクセル値についての組み合わされたマッチ・メトリックに依存する。そのような平均化は、解像度向上画像２０７におけるアーチファクトを軽減しうるし、より自然またはソフトに見える画像につながりうる。さらに、種々の位置からの同様の構造が平均され、それにより相関のないノイズが低減されるので、平均によりノイズが軽減されうる。
具体例として、探索領域内のすべてのピクセル値が上述したような具体的な重みw(i,j)を用いて組み合わされてもよい。こうして、未知のピクセル値は：
Figure 2011523275
 として生成されうる。
いくつかの実施形態では、解像度向上処理器１０７は、所与の基準を満たす組み合わされたマッチ・メトリックをもつ位置の組をまず選択するよう構成されてもよい。たとえば、組み合わされたマッチ・メトリックが所与の値を下回る全ての位置が破棄されてもよく、組み合わされたマッチ・メトリックがその閾値を上回る位置についてのみ未知ピクセルの値の生成に含められてもよい。
たとえば、未知ピクセル値は、上述の重み付けされた和において上記の基準を満たす位置についてのソース・ピクセル値のみを含めることによって生成されてもよい。
種々のピクセル集合に含められるピクセルの数が、異なる実施形態およびシナリオにおいて異なっていてもよいことは理解されるであろう。たとえば、第一の画像２０１との比較のために使われる合成済みピクセル集合２１３のサイズは、合成されるテクスチャーの特性および性質を反映するよう選択されてもよい。典型的には、合成済みピクセル集合は、半径1ないし6（またはそれ以上）ピクセル以内のピクセルを含むよう選択されてもよく、それにより十分なテクスチャー詳細および空間的一貫性の両方が提供される。ピクセル集合のサイズは静的に決定されていてもよいが、実施形態によっては第一の画像の特性に応じて動的に選択されてもよいことは理解されるであろう。たとえば、テクスチャー属性は、第一の画像内のある画像領域におけるピクセル・パターンの解析によって推定され、テクスチャー周期やテクスチャー要素のサイズが示されてもよく、合成済みピクセル集合２１３のサイズがしかるべく設定されてもよい。たとえば、細かなテクスチャーおよびエッジについては、より小さな半径が設定されてもよい。
上述した例では、合成済みピクセル集合２１３のマッチングは、直接、第一の画像２０１に対してであった。しかしながら、実施形態によっては、合成済みピクセル集合２１３は、第二のマッチ・メトリックを生成するときに第三の画像２０５とマッチングされてもよい。しかしながら、それらの場合でも、マッチングは相変わらず、第二の解像度の合成済みピクセル集合２１３と第一の解像度の第二のサンプル・ピクセル集合２１９との間で行われるので、合成済みピクセル集合２１３および第二のサンプル・ピクセル集合２１９はいまだ、画像によって表されるシーンの、異なるサイズの視覚的領域をカバーする。
具体的には、解像度向上処理器１０７は、第三の画像２０５をサブサンプリングして第二のサンプル・ピクセル集合２１９を生成してもよい。たとえば、4個のピクセルのL字形の集合を生成するために、解像度向上処理器１０７は、未知ピクセルの左の2個のピクセルである第三の画像２０５のピクセル、この上の2個のピクセルであるピクセル、未知ピクセル２０９の上の2個のピクセルであるピクセルおよびこの右の2個のピクセルであるピクセルを選択してもよい。
具体的には、第二のサンプル・ピクセル集合２１９を第三の画像２０５のダウンサンプリングされたピクセル集合として選択することは、解像度向上画像２０７における未知ピクセルのピクセル位置と、第一の画像２０１のピクセル・エッジとの間のピクセル・エッジ・オフセットの補償を許容しうる。特に、第一および第二の画像が第三の画像２０５および解像度向上画像２０７より粗いグリッド上にあるので、マッチング・プロセスの精度が低下しうる。第一および第二の画像位置におけるピクセルのピクセル中心が、高解像度でのピクセルのピクセル中心と同一ではなくなるからである。これは、いくつかのシナリオでは、目に見えるアーチファクトを導入しうる。
したがって、第一および／または第二の画像２０１、２０３は、（アップスケーリング・アルゴリズムを使って、具体的には線形補間を使って）第二の解像度にアップスケーリングされてもよい。これでマッチングは、解像度向上画像２０７のピクセルと同じサイズをもつ、よって同じエッジおよび中心をもつより小さなピクセルを用いて実行されうる。しかしながら、マッチングはそれでも第一の解像度の第一のサンプル・ピクセル集合２１７および第二のサンプル・ピクセル集合２１９を用いて実行される。よって、選択されたサンプルが未知ピクセル２０９の選択された位置に対応するエッジおよび中心をもつよう、第一のサンプル・ピクセル集合２１７および第二のサンプル・ピクセル集合２１９を選択するときにサブサンプリングが実行される。こうして、いくつかの実施形態では、第一のサンプル・ピクセル集合２１７および第二のサンプル・ピクセル集合２１９は、第二の解像度をもつが第一の解像度でサブサンプリングされたアップスケーリングされたピクセルを含みうる。このようにして、第一のサンプル・ピクセル集合２１７および第二のサンプル・ピクセル集合２１９はこの例でも、第一の解像度にあることになる。
同じ原理は、未知ピクセル値を生成するときに適用されてもよいことは理解されるであろう。たとえば、第一の画像２０１における組み合わせのためにピクセル値を選択するのではなく、補間されたピクセル位置に対応するよう第三の画像２０５においてピクセル値が選択されてもよい。
よって、記載されるシステムは、改善された解像度向上を提供しうる。特に、提起されるシステムは、たいていの従来技術の方法のように単にエッジ向上を提供するのではなく、エクスチャーならびにエッジおよびその他の詳細を向上させる、全体的な向上を提供できる。さらに、これは、例に基づく超解像度および制約されたテクスチャー合成の要素を組み合わせる統合された解決策によって、入力画像の要素の自己相似性およびスケール不変性を活用することによって資源を低く保ちながら、達成される。
上記の記述が、明確のために、種々の機能単位および処理器に言及しつつ本発明の実施形態を記述してきたことが認識されるであろう。しかしながら、異なる機能単位または処理器の間のいかなる好適な機能の配分も、本発明の利点を減じることなく利用されてもよいことは明白であろう。たとえば、別個の処理器または制御器によって実行されるよう図示されている機能が同じ処理器または制御器によって実行されてもよい。よって、個別的な機能単位への言及は、厳密な論理的または物理的構造または編成を示すのではなく、単に、記載される機能を提供する好適な手段に言及したものと見るべきである。
本発明は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせを含むいかなる好適な形で実装することもできる。本発明は、任意的に、少なくとも部分的に、一つまたは複数のデータ・プロセッサおよび／またはデジタル信号プロセッサ上で走るコンピュータ・ソフトウェアとして実装されてもよい。本発明の実施形態の要素およびコンポーネントは、物理的、機能的および論理的にいかなる好適な仕方で実装されてもよい。実際、機能は、単一のユニットにおいて、複数のユニットにおいて、あるいは他の機能ユニットの一部として実装されてもよい。よって、本発明は、単一のユニットにおいて実装されてもよいし、物理的および機能的に異なるユニットおよびプロセッサの間で分散されてもよい。
本発明についていくつかの実施形態との関連で記述してきたが、本発明は本稿で述べた個別的な形に限定されることは意図されていない。むしろ、本発明の範囲は付属の請求項によってのみ限定される。さらに、ある特徴が特定の実施形態との関連で記載されているよう見えたとしても、当業者は、記載される実施形態のさまざまな特徴は本発明に基づいて組み合わされうることを認識するであろう。請求項において、有するという用語は他の要素やステップの存在を排除するものではない。
さらに、個々にリストされていても、複数の手段、要素または方法ステップが、たとえば単一のユニットまたはプロセッサによって実装されてもよい。さらに、個々の特徴が異なる請求項に含まれていても、これらが有利に組み合わされる可能性もありうるのであって、異なる請求項に含まれていることは、特徴の組み合わせが実現可能でないおよび／または有利でないことを含意するものではない。ある特徴が一つのカテゴリーの請求項において含まれていても、そのことは、このカテゴリーに限定することを含意するのではなく、もしろ、その特徴が適宜他の請求項カテゴリーにも等しく適用可能であることを含意する。さらに、請求項における特徴の順序は、それらの特徴が作動させられねばならない特定の順序を含意するものではない。特に、方法請求項における個々のステップの順序は、それらのステップがこの順序で実行されねばならないことを含意するものではない。むしろ、それらのステップはいかなる好適な順序で実行されてもよい。さらに、単数形での言及は複数を排除するものではない。このように、「ある」「第一の」「第二の」などの言及は複数を除外するものではない。請求項に参照符号があったとしても、単に明確にする例として与えられているのであって、いかなる意味でも請求項の範囲を限定するものと解釈してはならない。

Claims (15)

  1. 画像の解像度向上方法であって：
    第一の解像度の第一の画像を受領する段階と；
    前記第一の画像のぼかされた画像として前記第一の解像度の第二の画像を生成する段階と；
    前記第一の画像を第二の解像度にアップスケールすることによって第三の画像を生成する段階と；
    前記第二の解像度の解像度向上画像を合成する段階とを含み、前記合成する段階は、解像度向上画像の複数のピクセル集合について：
    ・前記解像度向上画像の第一のピクセル集合を選択し；
    ・前記第一のピクセル集合に対して第一の所定の空間的関係をもつ前記第三の画像の比較ピクセル集合であって前記第二の解像度の解像度をもつ比較ピクセル集合を選択し；
    ・前記第一のピクセル集合に対して第二の空間的関係をもつ前記解像度向上画像の合成済みピクセル集合であって、前記第二の解像度の解像度をもつ合成済みピクセル集合を選択し；
    画像領域中の複数の位置について：
    第一の位置を選択し；
    前記比較ピクセル集合と、前記第一の位置に対して第三の空間的関係をもつ前記第二の画像についての第一のサンプル・ピクセル集合であって前記第一の解像度の解像度をもつ第一のサンプル・ピクセル集合との間の第一のマッチ・メトリックを決定し；
    前記合成済みピクセル集合と、前記第一の画像および前記第三の画像のうちの少なくとも一方についての、前記第一の位置に対して第四の空間的関係をもち、前記第一の解像度の解像度をもつ第二のサンプル・ピクセル集合との間の第二のマッチ・メトリックを決定し；
    前記第一のマッチ・メトリックおよび前記第二のマッチ・メトリックを組み合わせることによって前記第一の位置についての組み合わされたマッチ・メトリックを生成し；
    前記組み合わされたマッチ・メトリックならびに前記第一の画像および前記第三の画像の少なくとも一方のソース画像領域のピクセル値に応じて前記第一のピクセル集合についての少なくとも一つのピクセル値を生成する、
    段階を逐次反復することによる、
    方法。
  2. 請求項１記載の方法であって、少なくとも一つのピクセル値を生成する前記段階は、複数の位置に関連付けられたソース画像領域の複数のピクセル値を重みをかけて組み合わせることによって、前記第一のピクセル集合のピクセルについてのピクセル値を生成することを含み、前記複数のピクセル値の各ピクセル値の重み付けは、そのピクセル値の組み合わされたマッチ・メトリックに依存する、方法。
  3. 請求項１記載の方法であって、少なくとも一つのピクセル値を生成する前記段階は：
    前記複数の位置のうち、組み合わされたマッチ・メトリックがある基準にマッチする位置を含む位置の集合を選択し；
    前記位置の集合の各位置についてソース・ピクセル値を選択し；
    前記ソース・ピクセル値に応じて前記少なくとも一つのピクセル値を生成することを含む、
    方法。
  4. 請求項１記載の方法であって、前記第二の画像を生成する前記段階は：
    前記第一の画像をダウンスケーリングしてより低い解像度の画像を生成し；
    前記より低い解像度の画像をアップスケーリングして前記第一の解像度にすることによって前記第二の画像を生成することを含む、
    方法。
  5. 請求項４記載の方法であって、前記より低い解像度の画像の解像度と前記第一の解像度との間の比が実質的に、前記第一の解像度と前記第二の解像度との間の比と同じである、方法。
  6. 請求項１記載の方法であって、前記第一の画像と前記解像度向上画像との間のアップスケーリング因子は2である、方法。
  7. 前記第二のサンプル・ピクセル集合は前記第一の画像から選択される、請求項１記載の方法。
  8. 前記第二のサンプル・ピクセル集合は前記第三の画像から選択される、請求項１記載の方法。
  9. 請求項８記載の方法であって、前記第二のサンプル・ピクセル集合の選択は、前記第一の解像度で前記第三の画像の領域のピクセルをサブサンプリングする段階を含む、方法。
  10. 請求項８記載の方法であって、前記第二のサンプル・ピクセル集合のピクセルのピクセル中心が、前記第一の画像のピクセルのピクセル中心に対して空間的にオフセットされる、方法。
  11. 請求項１記載の方法であって、前記組み合わされたマッチ・メトリックは、前記第一のマッチ・メトリックと前記第二のマッチ・メトリックの重みをかけた和を含む、方法。
  12. 前記比較ピクセル集合は40個未満のピクセルを含む、請求項１記載の方法。
  13. 前記合成済みピクセル集合は15個未満のピクセルを含む、請求項１記載の方法。
  14. 請求項１記載の方法であって、前記第一のマッチ・メトリックを決定する前記段階は、前記第二の画像を前記第二の解像度にアップスケーリングして、前記第一の解像度でピクセルをサブサンプリングすることによって、前記第二の画像の前記第一のサンプル・ピクセル集合を決定することを含む、方法。
  15. 画像の解像度向上装置であって：
    第一の解像度の第一の画像を受領する手段と；
    前記第一の画像のぼかされた画像として前記第一の解像度の第二の画像を生成する手段と；
    前記第一の画像を第二の解像度にアップスケールすることによって第三の画像を生成する手段と；
    前記第二の解像度の解像度向上画像を合成する手段とを含み、前記合成は、解像度向上画像の複数のピクセル集合について：
    ・前記解像度向上画像の第一のピクセル集合を選択し；
    ・前記第一のピクセル集合に対して第一の所定の空間的関係をもつ前記第三の画像の比較ピクセル集合であって前記第二の解像度の解像度をもつ比較ピクセル集合を選択し；
    ・前記第一のピクセル集合に対して第二の空間的関係をもつ前記解像度向上画像の合成済みピクセル集合であって、前記第二の解像度の解像度をもつ合成済みピクセル集合を選択し；
    画像領域中の複数の位置について：
    第一の位置を選択し；
    前記比較ピクセル集合と、前記第一の位置に対して第三の空間的関係をもつ前記第二の画像についての第一のサンプル・ピクセル集合であって前記第一の解像度の解像度をもつ第一のサンプル・ピクセル集合との間の第一のマッチ・メトリックを決定し；
    前記合成済みピクセル集合と、前記第一の画像および前記第三の画像のうちの少なくとも一方についての、前記第一の位置に対して第四の空間的関係をもち、前記第一の解像度の解像度をもつ第二のサンプル・ピクセル集合との間の第二のマッチ・メトリックを決定し；
    前記第一のマッチ・メトリックおよび前記第二のマッチ・メトリックを組み合わせることによって前記第一の位置についての組み合わされたマッチ・メトリックを生成し；
    前記組み合わされたマッチ・メトリックならびに前記第一の画像および前記第三の画像の少なくとも一方のソース画像領域のピクセル値に応じて前記第一のピクセル集合についての少なくとも一つのピクセル値を生成する、
    段階を逐次反復することによる、
    装置。
JP2011510073A 2008-05-21 2009-05-14 画像解像度の向上 Expired - Fee Related JP5450600B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP08156628 2008-05-21
EP08156628.3 2008-05-21
PCT/IB2009/051999 WO2009141770A1 (en) 2008-05-21 2009-05-14 Image resolution enhancement

Publications (2)

Publication Number Publication Date
JP2011523275A true JP2011523275A (ja) 2011-08-04
JP5450600B2 JP5450600B2 (ja) 2014-03-26

Family

ID=41180933

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011510073A Expired - Fee Related JP5450600B2 (ja) 2008-05-21 2009-05-14 画像解像度の向上

Country Status (5)

Country Link
US (1) US8538201B2 (ja)
EP (1) EP2291822A1 (ja)
JP (1) JP5450600B2 (ja)
CN (1) CN102037489B (ja)
WO (1) WO2009141770A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8310592B2 (en) * 2008-10-10 2012-11-13 Panasonic Corporation Signal processing apparatus, signal processing method, and program for signal processing
US20120163720A1 (en) * 2009-09-04 2012-06-28 Kabushiki Kaisha Toshiba Image processing apparatus and method thereof
WO2011097013A1 (en) * 2010-02-02 2011-08-11 Thomson Licensing Methods and apparatus for reducing vector quantization error through patch shifting
US20130004061A1 (en) * 2010-03-12 2013-01-03 National University Corporation Nagoya Institute Of Technology Image processing device, image processing program, and method for generating image
WO2011158419A1 (ja) * 2010-06-18 2011-12-22 パナソニック株式会社 解像度判定装置、画像処理装置、及び画像表示装置
JP5654867B2 (ja) * 2010-12-27 2015-01-14 パナソニックＩｐマネジメント株式会社 映像信号処理装置及び映像信号処理方法
JP2012244395A (ja) * 2011-05-19 2012-12-10 Sony Corp 学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
JP2013021635A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置、画像処理方法、プログラム、及び記録媒体
US9208610B2 (en) * 2011-07-29 2015-12-08 Pixar Alternate scene representations for optimizing rendering of computer graphics
US8483516B2 (en) * 2011-08-16 2013-07-09 National Taiwan University Super resolution system and method with database-free texture synthesis
TWI470580B (zh) * 2011-09-01 2015-01-21 Univ Nat Taiwan 無資料庫之紋理合成的超解析度系統及方法
US20150348232A1 (en) * 2012-01-19 2015-12-03 Hewlett-Packard Development Company, L.P. Right sizing enhanced content to generate optimized source content
US8675999B1 (en) * 2012-09-28 2014-03-18 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Apparatus, system, and method for multi-patch based super-resolution from an image
CN103914807B (zh) * 2012-12-31 2017-05-03 北京大学 一种缩放尺度补偿的非局部性图像超分辨率方法及系统
KR102080859B1 (ko) 2013-04-08 2020-02-24 삼성전자주식회사 이미지 프로세서 및 이미지 프로세서의 이미지 처리 방법
US9984440B2 (en) 2013-06-18 2018-05-29 Adobe Systems Incorporated Iterative patch-based image upscaling
US9123138B2 (en) * 2013-06-18 2015-09-01 Adobe Systems Incorporated Adaptive patch-based image upscaling
US10147350B2 (en) * 2013-07-26 2018-12-04 Darwin Hu Method and apparatus for increasing perceived display resolutions from an input image
NL2013417A (en) 2013-10-02 2015-04-07 Asml Netherlands Bv Methods & apparatus for obtaining diagnostic information relating to an industrial process.
KR102158390B1 (ko) * 2013-10-22 2020-09-22 삼성전자주식회사 영상 처리 방법 및 장치
CN103632359B (zh) * 2013-12-13 2016-03-30 清华大学深圳研究生院 一种视频超分辨率处理方法
CN103700062B (zh) * 2013-12-18 2017-06-06 华为技术有限公司 图像处理方法和装置
KR102194635B1 (ko) 2014-01-29 2020-12-23 삼성전자주식회사 디스플레이 컨트롤러 및 이를 포함하는 디스플레이 시스템
US10026010B2 (en) 2014-05-14 2018-07-17 At&T Intellectual Property I, L.P. Image quality estimation using a reference image portion
US9478007B2 (en) 2015-01-21 2016-10-25 Samsung Electronics Co., Ltd. Stable video super-resolution by edge strength optimization
US9767533B2 (en) * 2015-02-16 2017-09-19 Adobe Systems Incorporated Image resolution enhancement based on data from related images
EP3326148A1 (en) * 2015-07-24 2018-05-30 Öztireli, Ahmet Cengiz Image processing system for downscaling images using perceptual downscaling method
US10880566B2 (en) * 2015-08-28 2020-12-29 Boe Technology Group Co., Ltd. Method and device for image encoding and image decoding
US10805592B2 (en) * 2016-06-30 2020-10-13 Sony Interactive Entertainment Inc. Apparatus and method for gaze tracking
CN110651297B (zh) * 2017-05-16 2022-11-11 苹果公司 使用引导图像对合成的长曝光图像进行可选增强
US10306139B2 (en) * 2017-05-16 2019-05-28 Apple Inc. Target image quality enhancement using a guide image
US10546521B2 (en) * 2017-05-16 2020-01-28 Darwin Hu Resolutions by modulating both amplitude and phase in spatial light modulators
CN107563978A (zh) * 2017-08-31 2018-01-09 苏州科达科技股份有限公司 人脸去模糊方法及装置
GB201800811D0 (en) * 2018-01-18 2018-03-07 Univ Oxford Innovation Ltd Localising a vehicle
KR20210112042A (ko) * 2020-03-04 2021-09-14 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
US11288771B2 (en) * 2020-04-29 2022-03-29 Adobe Inc. Texture hallucination for large-scale image super-resolution
CN111696041B (zh) * 2020-06-04 2023-06-30 北京字节跳动网络技术有限公司 图像处理方法、装置及电子设备
CN115358927B (zh) * 2022-08-22 2023-12-26 重庆理工大学 一种结合空间自适应和纹理转换的图像超分辨重建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257042A (ja) * 2006-03-20 2007-10-04 Toshiba Corp 画像拡大装置及び画像拡大方法
JP2007310837A (ja) * 2006-05-22 2007-11-29 Toshiba Corp 高解像度化装置および方法
JP2008098803A (ja) * 2006-10-10 2008-04-24 Toshiba Corp 高解像度化装置および方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4414564A (en) * 1981-12-28 1983-11-08 Magnavox Consumer Electronics Company Nonlinear edge peaking system and method
JP3106749B2 (ja) * 1992-12-10 2000-11-06 ソニー株式会社 適応型ダイナミックレンジ符号化装置
JP3753197B2 (ja) * 1996-03-28 2006-03-08 富士写真フイルム株式会社 画像データの補間演算方法およびその方法を実施する装置
US6192161B1 (en) * 1999-02-12 2001-02-20 Sony Corporation Method and apparatus for adaptive filter tap selection according to a class
GB2349460B (en) * 1999-04-29 2002-11-27 Mitsubishi Electric Inf Tech Method of representing colour images
GB9929364D0 (en) * 1999-12-10 2000-02-02 Microbar Security Limited Improvements in or relating to coding techniques
US6717622B2 (en) * 2001-03-30 2004-04-06 Koninklijke Philips Electronics N.V. System and method for scalable resolution enhancement of a video image
WO2002087256A1 (en) * 2001-04-20 2002-10-31 Mti Film Llc High resolution image color correction method and system
US6766067B2 (en) 2001-04-20 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. One-pass super-resolution images
US20040008269A1 (en) * 2001-11-30 2004-01-15 Assaf Zomet System and method for providing multi-sensor super-resolution
US7729563B2 (en) * 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
US7218796B2 (en) * 2003-04-30 2007-05-15 Microsoft Corporation Patch-based video super-resolution
JP4389489B2 (ja) * 2003-05-06 2009-12-24 ソニー株式会社 画像処理方法、および画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257042A (ja) * 2006-03-20 2007-10-04 Toshiba Corp 画像拡大装置及び画像拡大方法
JP2007310837A (ja) * 2006-05-22 2007-11-29 Toshiba Corp 高解像度化装置および方法
JP2008098803A (ja) * 2006-10-10 2008-04-24 Toshiba Corp 高解像度化装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6013043169; Ｃｈａｎｇ　Ｈｏｎｇ，　Ｙｅｕｎｇ　Ｄｉｔ-Ｙａｎ，　Ｘｉｏｎｇ　Ｙｉｍｉｎ: '"Ｓｕｐｅｒ-ｒｅｓｏｌｕｔｉｏｎ　Ｔｈｒｏｕｇｈ　Ｎｅｉｇｈｂｏｒ　Ｅｍｂｅｄｄｉｎｇ"' Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，　２００４．　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２００４　ＩＥＥＥ Ｃｏｍｐｕｔｅｒ　Ｓｏｃｉｅｔｙ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｖｏｌｕｍｅ：１, 20040627, ＩＥＥＥ *

Also Published As

Publication number Publication date
CN102037489A (zh) 2011-04-27
WO2009141770A1 (en) 2009-11-26
JP5450600B2 (ja) 2014-03-26
US8538201B2 (en) 2013-09-17
CN102037489B (zh) 2013-08-21
EP2291822A1 (en) 2011-03-09
US20110081094A1 (en) 2011-04-07

Similar Documents

Publication Publication Date Title
JP5450600B2 (ja) 画像解像度の向上
Sun et al. Learned image downscaling for upscaling using content adaptive resampler
US9066013B2 (en) Content-adaptive image resizing method and related apparatus thereof
US8655109B2 (en) Regression-based learning model for image upscaling
US8989519B2 (en) Super resolution from a single signal
US8520009B1 (en) Method and apparatus for filtering video data using a programmable graphics processor
KR101795271B1 (ko) 영상의 선명화를 위한 전처리를 수행하는 영상 처리 장치 및 방법
EP0874330A2 (en) Area based interpolation for image enhancement
JP2013518336A (ja) 入力画像から増加される画素解像度の出力画像を生成する方法及びシステム
KR20140135968A (ko) 초해상도화를 수행하는 방법 및 장치
EP1323132A2 (en) Image sharpening by variable contrast stretching
Wee et al. A novel fast fractal super resolution technique
WO2014114529A1 (en) Method and apparatus for performing single-image super-resolution
US9317903B1 (en) Self-similarity based single frame super-resolution
Kraus et al. GPU-based edge-directed image interpolation
JP5410232B2 (ja) 画像復元装置、そのプログラム、及び、多次元画像復元装置
RU2310911C1 (ru) Способ интерполяции изображений
Patil et al. Interpolation for super resolution imaging
Okuhata et al. Implementation of super-resolution scaler for Full HD and 4K video
Kang et al. Fast super-resolution algorithms using one-dimensional patch-based training and directional interpolation
Doma Comparison of different image interpolation algorithms
Kim et al. High-Frequency Preserving Image Downscaler
JP2016174306A (ja) 画像処理装置、画面処理方法及びプログラム
CN117830112A (zh) 色度下采样、色度上采样方法、装置及设备
Feng et al. Perceptual thumbnail generation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120511

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20120614

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131225

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees