JP2017527011A - イメージをアップスケーリングする方法及び装置 - Google Patents

Abstract

入力イメージ（Ｉ２）をアップスケーリングする方法及び装置（２０）が記載される。スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける欠如したディテールを代用するものを得るために用いられる。装置（２０）は、入力イメージ（Ｉ２）及び１つ以上の補助入力イメージ（Ｉ１，Ｉ３）のために、一貫性のあるスーパーピクセルを生成し、スーパーピクセルに基づきスーパーピクセルテストベクトルを生成するスーパーピクセルベクトル生成部（７）を有する。マッチングブロック（５）は、スーパーピクセルテストベクトルを用いて入力イメージ及び１つ以上の補助入力イメージに対してクロススケール自己相似性マッチング（１２）を実施する。最後に、出力イメージ生成部（２２）は、クロススケール自己相似性マッチング（１２）の結果を用いて、アップスケーリングされた出力イメージ（Ｏ２）を生成する。

Description

本原理は、イメージをアップスケーリングする方法及び装置に関係がある。より具体的には、イメージをアップスケーリングする方法及び装置であって、アップスケーリング品質を高めるためにスーパーピクセル及び補助イメージ（auxiliary images）を使用するものが記載される。

超解像（super-resolution）技術は、現在、複数の用途によって押し進められている。例えば、その２ｋ及び４ｋ改良機を含むＵＨＤＴＶのような、ＨＤＴＶイメージフォーマットの後継は、既に存在しているビデオコンテンツがより大きいディスプレイに合うようにアップスケーリングされる必要がある場合に、超解像技術から恩恵を受けうる。夫々が比較的小さい解像度である複数のビューカメラを必要とするライトフィールドカメラ（light field camera(s)）は、最新のシステムカメラ及びＤＳＬＲカメラ（ＤＳＬＲ：Digital Single Lens Reflex）に匹敵しうるピクチャ品質を提供するために、インテリジェント・アップスケーリングを同様に必要とする。第３の用途はビデオ圧縮であり、低解像イメージ又はビデオストリームは復号され、追加の超解像エンハンスメントレイヤによって強化される。このエンハンスメントレイヤは、圧縮されたデータ内に追加として埋め込まれ、超解像度のアップスケーリングされたイメージ又はビデオを介して前者を補う働きをする。

本願で記載される考えは、“Image and video upscaling from local self-examples”，ACM Transactions on Graphics，Vol.30 (2011)，pp.12:1-12:11の中でG. Freedman et al.（非特許文献１）によって提案されるような、イメージ固有の自己相似性（self-similarities）を利用する技術に基づく。この基礎論文は静止イメージに制限されているが、その後の研究は、J. M. Salvador et al.による論文：“Patch-based spatio-temporal super-resolution for video with non-rigid motion”，Journal of Image Communication，Vol.28 (2013)，pp.483-493（非特許文献２）において論じられているように、ビデオのアップスケーリングを扱うために複数のイメージを組み込んだ。

あいにく、イメージのアップスケーリングのための如何なる方法も、悲惨な品質低下を伴う。

過去１０年間、スーパーピクセルアルゴリズムは、イメージセグメンテーションのための広く受け入れられ且つ適用された方法となっており、後の処理タスクのための複雑さの低減を提供する。スーパーピクセルセグメンテーションは、イメージのピクセルグリッドの剛構造から、イメージにおけるオブジェクトを定義する意味記述であって、イメージ処理及びコンピュータビジョンアルゴリズムにおけるそのポピュラリティを説明するものへ切り替えることの利点を提供する。

スーパーピクセルアルゴリズムに関する研究は、“Learning a classification model for segmentation”，IEEE International Conference on Computer Vision (ICCV) 2003，pp.10-17の中でX. Ren et al.（非特許文献３）によって提案されている処理集約度の高い特徴グルーピング方法（processing intensive feature grouping method）から始まった。その後に、スーパーピクセル生成のためのより効率的な解決法、例えば、“SLIC superpixels compared to state-of-the-art superpixel methods”，IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.34 (2012)，pp.2274-2282の中でR. Achanta et al.（非特許文献４）によって紹介されたSimple Linear Iterative Clustering（ＳＬＩＣ）、が提案された。初期の解決法は静止イメージに焦点を当てていたが、その後の開発は、ビデオへのスーパーピクセルの適用を目的としている。スーパーピクセルの適用には、それらの時間的一貫性が必要である。M. Reso et al.，“Temporally Consistent Superpixels”，International Conference on Computer Vision (ICCV)，2013，pp.385-392（非特許文献５）において、この要求を実現するアプローチが記載されており、ビデオシーケンス内でトレース可能なスーパーピクセルを提供する。

G. Freedman et al.，"Image and video upscaling from local self-examples"，ACM Transactions on Graphics，Vol.30 (2011)，pp.12:1-12:11 J. M. Salvador et al.，"Patch-based spatio-temporal super-resolution for video with non-rigid motion"，Journal of Image Communication，Vol.28 (2013)，pp.483-493 X. Ren et al.，"Learning a classification model for segmentation"，IEEE International Conference on Computer Vision (ICCV) 2003，pp.10-17 R. Achanta et al.，"SLIC superpixels compared to state-of-the-art superpixel methods"，IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.34 (2012)，pp.2274-2282 M. Reso et al.，"Temporally Consistent Superpixels"，International Conference on Computer Vision (ICCV)，2013，pp.385-392

イメージのアップスケーリングのための改善された解決法であって、品質低下を小さくすることを達成することができる解決法を記載すること目的とする。

一実施形態に従って、入力イメージをアップスケーリングする方法であって、スーパーピクセルを使用したクロススケール（cross-scale）自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記方法は：
− 前記入力イメージ及び１つ以上の補助入力イメージのために、一貫性のあるスーパーピクセルを生成することと、
− 前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成することと、
− 前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施することと、
− 前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成することと
を有する。

然るに、コンピュータ可読記憶媒体は、入力イメージをアップスケーリングすることを可能にする命令を記憶しており、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる。前記命令は、コンピュータによって実行される場合に、該コンピュータに：
− 前記入力イメージ及び１つ以上の補助入力イメージのために、一貫性のあるスーパーピクセルを生成させ、
− 前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成させ、
− 前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施させ、
― 前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成させる。

また、一実施形態において、入力イメージをアップスケーリングするよう構成される装置であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記装置は：
− 前記入力イメージ及び１つ以上の補助入力イメージのために、一貫性のあるスーパーピクセルを生成し、該一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成するよう構成されるスーパーピクセルベクトル生成部と、
− 前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施するよう構成されるマッチングブロックと、
− 前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成するよう構成される出力イメージ生成部と
を有する。

他の実施形態において、入力イメージをアップスケーリングするよう構成される装置であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記装置は、プロセッシングデバイス及びメモリデバイスを有し、前記メモリデバイスには、前記プロセッシングデバイスによって実行される場合に、当該装置に：
− 前記入力イメージ及び１つ以上の補助入力イメージのために、一貫性のあるスーパーピクセルを生成させ、
− 前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成させ、
− 前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施させ、
− 前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成させる
命令が記憶されている。

提案されている超解像度方法は、生成された時間的又は多視点的な一貫性があるスーパーピクセルを解析することによって、捕捉されたオブジェクトを追跡する。イメージ素材におけるオブジェクト、及び時間における又は異なったビューにおけるそれらの所在、に関する認識は、関連するマルチイメージのクロススケール自己相似性を見つけるために、アドバンストサーチストラテジへ渡される。異なる時間フェーズ又は異なるビューについて見つけられた複数の有意な自己相似性を組み込むことによって、より適切な超解像度エンハンスメント信号が生成され、改善されたピクチャ品質をもたらす。提案されている超解像度アプローチは、グランドトルス（ground truth）データとの比較によってピーク信号対雑音比において測定され得るイメージ品質の改善を提供する。加えて、主観テスト（subjective testing）は、結果として現れるピクチャ品質の視覚的改善を確かめる。これは、ピーク信号対雑音比の計測が人間の視覚認知と必ずしも一致しないので、有用である。

超解像度アプローチは複数のイメージに作用する。複数のイメージは、時間におけるイメージシーケンス（例えば、ビデオ）、マルチビューショット（例えば、複数の角度を保持するライトフィールドカメライメージ）、又はマルチビューショットの時間シーケンスにさえ相当してよい。それらの適用は交換可能であり、このことは、マルチビューイメージ及び時間イメージが同等物として扱われ得ることを意味する。

一実施形態において、解決法は：
− 高解像低周波イメージを得るよう入力イメージをアップスケーリングすることと、
− 前記入力イメージと前記高解像低周波イメージとの間、及び１つ以上の補助入力イメージと前記高解像低周波イメージとの間で、一致位置を特定することと、
− 前記一致位置を用いて、前記入力イメージ及び前記１つ以上の補助入力イメージから、高解像高周波合成イメージを構成することと、
前記高解像低周波イメージ及び前記高解像高周波合成イメージを高解像のアップスケーリングされた出力イメージへと結合することと
を有する。通常、アップスケーリングされたイメージは、不足しているディテールにより悲惨な品質低下を有している。しかし、それら不足しているディテールは、入力イメージ及び１つ以上の補助入力イメージからのイメージブロックを用いて置き換えられる。それらのイメージは、限られた数の適切なイメージブロックしか含まないが、それらのブロックは、一般的に、より関連性がある（すなわち、より良く適合する）。

一実施形態において、前記入力イメージは、低解像低周波イメージ及び低解像高周波イメージに分けられたバンドであり、前記低解像低周波イメージは、前記クロススケール自己相似性マッチングのために使用され、前記低解像高周波イメージは、前記アップスケーリングされた出力イメージを生成するために使用される。このようにして、自己相似性の効率的な解析は確かにされ、アップスケーリングされた出力イメージのための必要な高周波ディテールは確実に取得され得る。

一実施形態において、前記アップスケーリングされた出力イメージを生成するイメージブロックは、前記クロススケール自己相似性マッチングの最良の一致によって定義される単一のイメージブロックを選択すること、前記クロススケール自己相似性マッチングの一致によって定義されるブロックの全て又は一部の線形結合を生成すること、及び前記クロススケール自己相似性マッチングの一致によって定義される全てのイメージブロックにわたる平均を生成すること、のうちの少なくとも１つを実施することによって、生成される。最初の２つの解決法は、必要とされるプロセッシングパワーがより小さくて済み、一方、最後の解決法は、ピーク信号対雑音比について最良の結果を示す。

より良い理解のために、解決法は、これより、図を参照して以下の記載において更に詳細に説明される。解決法は、この例となる実施形態に制限されないこと、及び特定の特徴は、添付の特許請求の範囲において定義されている本解決法の適用範囲から逸脱することなしに、便宜上結合及び／又は変更されてもよいこと、が理解される。

既知の超解像度アプローチのブロック図を示す。 図１のブロック図の拡張された、よりコンパクトなバージョンを示す。 スーパーピクセルに使用した超解像マルチイメージ自己相似性マッチングを表す。 結合重みが線形回帰により決定される、イメージブロックの線形結合を表す。 スーパーピクセルへのセグメンテーションの前のイメージの例を示す。 スーパーピクセルへのセグメンテーションの後の図５のイメージを示す。 ３つのイメージの期間にわたって追跡される単一の時間的に一貫性のあるスーパーピクセルの例を示す。 種々のアップスケーリングアルゴリズムについて得られた平均ピーク信号対雑音比を示す。 種々のアップスケーリングアルゴリズムについて得られた平均構造類似性を示す。 イメージをアップスケーリングするための、実施形態に従う方法を表す。 イメージをアップスケーリングする方法を実施するよう構成された装置の第１の実施形態を概略的に表す。 イメージをアップスケーリングする方法を実施するよう構成された装置の第２の実施形態を概略的に表す。

以下で、解決法は、時間的なイメージシーケンス、例えば、ビデオシーケンスのイメージ、に重きを置いて説明される。しかし、記載されているアプローチは、空間的に関連するイメージ、例えば、マルチビューイメージ、に同様に適用可能である。

以下で記載されているアプローチは、図１のブロック図によって示されるような、G. Freedman et al.（非特許文献１）による超解像度アルゴリズムに基づく。当然、一般的な考えは、他の超解像度アルゴリズムに同様に適用可能である。簡単のために、ブロック図は、単一のイメージのみに有効である解決法について記載するが、提案されているアプローチは、複数のイメージのための解決法を提供する。全ての対応する必要な拡張は、別のブロック図において後で説明される。

図１において、低解像度の入力イメージＩ１は、３つの異なるフィルタ、すなわち、低周波高解像イメージＯ１．１を生成するアップサンプリングフィルタ１、低周波低解像イメージＩ１．１を生成するローパスフィルタ２、及び高周波低解像イメージＩ１．２を生成するハイパスフィルタ３、によって処理される。

通常、アップサンプリングされたイメージＯ１．１は、バイキュービック（bi-cubic）又は代替的により複雑なアップスケーリングによって引き起こされるディテールの欠如に起因して、悲惨な品質低下を有している。以降のステップでは、それらの不足しているディテールを代用するものが、自然オブジェクトの固有のクロススケール自己相似性を利用することによって、生成される。不足しているディテールを生成するプロセスは、高周波高解像イメージＯ１．２をもたらす。高周波高解像イメージＯ１．２は、最終的な高解像出力イメージＯ１を生成するよう、処理ブロック４で低周波高解像イメージＯ１．１と結合され得る。

クロススケール自己相似性は、マッチングプロセスブロック５によって検出される。このマッチングプロセスブロック５は、高解像イメージＯ１．１における全てのピクセルについて、低解像イメージＩ１．１内の適切な一致を探す。マッチングプロセスの最先端は、長方形の探索窓の一定の拡張範囲内を探すことである。マッチングプロセスブロック５は、Ｉ１．１を指し示しているＯ１．１における全てのピクセルについて最良の一致位置を生成する。それら最良の一致位置は、合成ブロック６へ渡される。合成ブロック６は、示されているブロックを、高周波低解像イメージＩ１．２から高周波高解像ブロックＯ１．２にコピーする。

図２におけるブロック図は、図１のブロック図のよりコンパクトなバージョンを示し、アドバンストマッチング技術によって拡張されている。図２における追加のブロックは、スーパーピクセルベクトル生成部７である。スーパーピクセルベクトル生成部７は、スーパーピクセルを計算するために入力イメージＩ１を処理し、且つ、マッチングブロック５のために使用されるテストベクトルを選択する。スーパーピクセルのテストベクトル生成は、図１において使用された矩形の探索窓に取って代わる。

図３におけるブロック図は、スーパーピクセルベクトル生成の更なる拡張、すなわち、スーパーピクセルを使用した超解像マルチイメージ自己相似性マッチング、を説明する。図２におけるその先行物として、図３のブロック図は、イメージ素材におけるオブジェクトに気付いている。考えは、オブジェクトが複数のイメージにわたって追跡されることであり、オブジェクトは、ベクトル生成ブロック７において複数の入力イメージにわたるマッチングのためのテストベクトルを生成するのに役立つ。図３において、入力イメージの数は３であるが、この数は強制的ではなく、将来又は過去の方向において位置するイメージを含めること又は除くことによって増減され得る。同様に、マルチビューアプリケーションは、更なるビュー／角度を含めること又は除くことができ、あるいは、マルチビューイメージの時間シーケンスは、更なるビュー／角度及び／又は時間的に後若しくは先に起こるイメージを含めること又は除くことができる。

図３で与えられている例は、時間ｔ_ｔで出力イメージＯ２を更に生成するために時間ｔ_ｔでのイメージＩ２に対して実行される、提案されている方法を示す。時間ｔ_ｔ−１及びｔ_ｔ＋１での入力イメージＩ１及びＩ３は、出力イメージＯ２のために、関連するクロススケール自己相似性を見つけるための追加ソースである。

マッチングブロック５は、全ての入力イメージについてのスーパーピクセルテストベクトル（この例では、｛ｖ_ｔ−１，ｖ_ｔ，ｖ_ｔ＋１｝である。）を受け取り、Ｉ１．１、Ｉ２．１及びＩ３．１を夫々指し示しているＯ２．１における全てのピクセルについて最良の一致位置を生成する。図中、これは、最良の一致位置の３つの完全なセットを表す｛ｐ_ｔ−１，ｐ_ｔ、ｐ_ｔ＋１｝によって示されている。通常、セットの次元は、入力イメージの数に等しい。合成ブロック６は、Ｉ１．２、Ｉ２．２及びＩ３．２からの示されているブロックを結合し、結合結果を高周波高解像イメージＯ２．２にコピーする。

以下で、ベクトル生成ブロック７及び合成ブロック６のより詳細な記載が与えられる。

マルチイメージスーパーピクセルベクトル生成ブロック７は、次のステップを実施することによって、スーパーピクセルテストベクトルセット｛ｖ_ｔ−１，ｖ_ｔ，ｖ_ｔ＋１｝を生成する：
ステップ１：一貫性のあるスーパーピクセル｛ＳＰ_ｔ−１（ｍ），ＳＰ_ｔ（ｎ），ＳＰ_ｔ＋１（ｒ）｝を生成する。インデックス｛ｍ，ｎ，ｒ｝は、イメージ内の全てのスーパーピクセルの範囲を走る。語「時間的に一貫性のある（temporally consistent）」は、マルチビューアプリケーションにとって一貫性のあるマルチビューにより置き換えられ得る。時間的に一貫性のあるスーパーピクセルを生成するアプローチは、非特許文献５において記載されている。図５は、図６に表されているスーパーピクセルエリアに分けられるイメージの例を示す。図６において、各スーパーピクセルは、異なるグレー値（grey value）を用いて表されている。図６は、スーパーピクセルラベルマップと呼ばれる。図７は、３つのイメージの期間にわたって追跡される単一の時間的に一貫性のあるスーパーピクセルの例を示す。スーパーピクセルは、時間ｔ_ｔ−１、ｔ_ｔ及びｔ_ｔ＋１でのイメージにおいて表されるビデオシーンにおける移動オブジェクトに追随する。

ステップ２：全てのスーパーピクセルイメージについて別々に検索ベクトル｛ｓ_ｔ−１（ζ），ｓ_ｔ（ζ），ｓ_ｔ＋１（ζ）｝を生成する。インデックスζは、全てのイメージ位置にわたって走る。そのような検索ベクトルを生成する１つのアプローチは、例えば、同時係属の欧州特許出願第１４３０６１３０号において記載されている。

ステップ３：全てのスーパーピクセルについて、オブジェクトに関連したピクセル割り当てを生成する：

ＳＰ_ｔ → ＳＰ_ｔ＋１ ＳＰ_ｔ → ＳＰ_ｔ−１
ＳＰ_ｔ → ＳＰ_ｔ＋２ 及び ＳＰ_ｔ → ＳＰ_ｔ−２，
・・・ → ・・・ ・・・ → ・・・

なお、関連の数は、入力イメージの数に依存する。そのようなオブジェクトに関連したピクセル割り当てを生成する１つのアプローチは、例えば、同時係属の欧州特許出願第１４３０６１２６号において記載されている。図３における例では、本当に最初のラインのみが使用されている。

ステップ４：最終的なスーパーピクセルテストベクトル｛ｖ_ｔ−１，ｖ_ｔ，ｖ_ｔ＋１｝が、ステップ３で見つけられたピクセル割り当てを適用することによって決定される。図３における例に関して、時間ｔ_ｔでのイメージにおける夫々の別個のスーパーピクセルＳＰ_ｔ（ｎ）≡ＳＰ_ｔ，ｎは、ＳＰ_ｔ−１（ｍ）≡ＳＰ_{ｔ−１，ｍ}へのピクセル個別割り当て、及びＳＰ_ｔ＋１（ｒ）≡ＳＰ_{ｔ＋１，ｒ}へのピクセル個別割り当てを有しており、それらは、ｉ∈｛１，・・・Ｉ｝、ｊ∈｛１，・・・Ｊ｝及びｋ∈｛１，・・・Ｋ｝として、ｐ_ｔ，ｎ（ｉ）→ｐ_{ｔ−１，ｍ}（ｊ）及びｐ_ｔ，ｎ（ｉ）→ｐ_{ｔ＋１，ｒ}（ｋ）によって表され得る。言い換えれば、時間ｔ_ｔでのイメージにおける原スーパーピクセルＳＰ_ｔ，ｎに位置する夫々のピクセルｐ_ｔ，ｎ（ｉ）について、対応するピクセルｐ_{ｔ−１，ｍ}（ｊ）及びｐ_{ｔ＋１，ｒ}（ｋ）が必要とされ、それらは、時間ｔ_ｔ−１でのイメージにおけるＳＰ_{ｔ−１，ｍ}及び時間ｔ_ｔ＋１でのイメージにおけるＳＰ_{ｔ＋１，ｒ}内に位置する。Ｉは、ＳＰ_ｔ，ｎに含まれるピクセルの数であり、Ｊは、ＳＰ_{ｔ−１，ｍ}に含まれるピクセルの数であり、Ｋは、ＳＰ_{ｔ＋１，ｒ}に含まれるピクセルの数である。一般に、ピクセルの数Ｉ、Ｊ及びＫは異なる。そのため、結果として現れるピクセルマッピングは、一対多、一対一、多対一、及びそれらの組み合わせであることができる。テストベクトルｖ_ｔは、それらが直接に取り込まれ得るので、割り当てを必要としない。すなわち、ｖ_ｔ（ζ）＝ｓ_ｔ（ζ）。テストベクトルｖ_ｔ−１及びｖ_ｔ＋１は、夫々、ｖ_ｔ−１（ζ）＝ｓ_ｔ−１（ｐ_ｔ，ｎ（ζ）→ｐ_{ｔ−１，ｍ}（ζ））及びｖ_ｔ＋１（ζ）＝ｓ_ｔ＋１（ｐ_ｔ，ｎ（ζ）→ｐ_{ｔ＋１，ｒ}（ζ））に従う割り当てを使用する。より多数の入力イメージは然るべく扱われる。

合成ブロック６によって実施されるブロック結合は、例えば、次のアプローチのうちの１つを用いて、実施され得る：
ａ）最善の一致、すなわち、見つけられた全ての最良の一致の中でも最も良いもの、によってのみ定義される単一ブロックの選択。

ｂ）ブロックの全て又は一部の線形結合。重み（線形係数）は、図４に示されるように、線形回帰（linear regression）により決定される。

ｃ）見つけられた全ての最良の一致にわたる平均を生成する。このアプローチは、それがＰＳＮＲ（ピーク信号対雑音比；Peak Signal-to-Nose Ratio）について最良の結果を示すので、好ましい。

図４は、合成ブロック６内で実行される、高周波高解像イメージＯ２．２を構成するための線形回帰アプローチを示す。線形回帰は、最良の一致位置｛ｐ_ｔ−１，ｐ_ｔ，ｐ_ｔ＋１｝を取り、回帰方程式
［外１］

を形成することで最良一致ブロックデータ
［外２］

を及び対象ブロック
［外３］

をフェッチすることによって、Ｏ２．１における各ピクセル位置ζについて個々に処理される。このとき、ｑは、マッチングブロックにおけるピクセルの数である。この方程式は、入力イメージの数がマッチングブロックにおけるピクセルの数以下である場合に、解くことができる。入力イメージの数がより多い場合には、それは、最も良く一致するブロック、すなわち、最小距離測度を有するブロック、を選択することによって、行列Ｄの水平次元を減らすよう処理される。

図８及び９における２つのグラフは、アップスケーリングされたイメージをグランドトルスデータと比較することによって６４個のイメージのシーケンスにわたって解析された平均ＰＳＮＲ及びＳＳＩＭ（構造類似性；Structural SIMilarity）を示す。次のアルゴリズムの間の比較が示されている：
バイキュービック：バイキュービック補間によるアップスケーリング。

ＳＩＳＲ：シングルイメージ超解像度（Single Image Super Resolution）。マッチングプロセスは、長方形の探索窓の一定の拡張範囲内を探す。

ＳＲｍ２５：ベクトルに基づく自己相似性マッチングを使用するシングルイメージ超解像度。検索ベクトル長さが２５である。

ＳＲｕＳＰｔ１：項目ｃ）において上述されたように平均化することによって３つのイメージ｛ｔ_ｔ−１，ｔ_ｔ，_ｔ＋１｝（すなわち、１つは前のイメージであり、１つは将来のイメージである。）にわたるスーパーピクセルを使用するマルチイメージ自己相似性マッチング。

ＳＲｕＳＰｔ５：項目ｃ）において上述されたように平均化することによって１１個のイメージ｛ｔ_ｔ−５，・・・，ｔ_ｔ−１，ｔ_ｔ，ｔ_ｔ＋１，・・・，ｔ_ｔ＋５｝（すなわち、５つは前のイメージであり、５つは将来のイメージである。）にわたるスーパーピクセルを使用するマルチイメージ自己相似性マッチング。

ＳＲｕＳＰｔ１ｓ：項目ａ）において上述されたように最も良く一致するブロックを選択しながら、３つのイメージ｛ｔ_ｔ−１，ｔ_ｔ，_ｔ＋１｝（すなわち、１つは前のイメージであり、１つは将来のイメージである。）にわたるスーパーピクセルを使用するマルチイメージ自己相似性マッチング。

ＳＲｕＳＰｔ５ｓ：項目ａ）において上述されたように最も良く一致するブロックを選択しながら、１１個のイメージ｛ｔ_ｔ−５，・・・，ｔ_ｔ−１，ｔ_ｔ，ｔ_ｔ＋１，・・・，ｔ_ｔ＋５｝（すなわち、５つは前のイメージであり、５つは将来のイメージである。）にわたるスーパーピクセルを使用するマルチイメージ自己相似性マッチング。

２つのグラフは、スーパーピクセルにより制御された自己相似性マッチングを使用する全ての方法が一定の探索エリア内のマッチングより優れていることを示す。それらはまた、入力イメージの増大がＰＳＮＲ及びＳＳＩＭ値の改善をもたらすことを明らかにする。最後に、１１個の入力イメージを解析するＳＲｕＳＰｔ５アルゴリズムは、優れたＰＳＮＲ及びＳＳＩＭ値をもたらすことが分かる。

図１０は、イメージをアップスケーリングする方法の一実施形態を概略的に表す。この方法において、スーパーピクセルを使用したクロススケール自己相似性マッチングは、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる。第１のステップで、一貫性のあるスーパーピクセルが、入力イメージＩ２及び１つ以上の補助入力イメージＩ１、Ｉ３について生成される（１０）。そのような一貫性のあるスーパーピクセルに基づき、次いで、スーパーピクセルテストベクトルが生成される（１１）。スーパーピクセルテストベクトルを用いて、クロススケール自己相似性マッチング（１２）が、入力イメージＩ２及び１つ以上の補助入力イメージＩ１、Ｉ３に対して実施される。最後に、アップスケーリングされた出力イメージＯ２が、クロススケール自己相似性マッチング（１２）の結果を用いて生成される（１３）。

図１１は、入力イメージＩ２をアップスケーリングする装置２０の一実施形態を表す。装置２０は、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために、スーパーピクセルを使用したクロススケール自己相似性マッチングを用いる。このために、装置２０は、アップスケーリングされる入力イメージＩ２、及び１つ以上の補助入力イメージＩ１、Ｉ３を受ける入力部２１を有する。スーパーピクセルベクトル生成部７は、入力イメージＩ２及び１つ以上の補助入力イメージＩ１、Ｉ２のために、一貫性のあるスーパーピクセルを生成し（１０）、更には、一貫性のあるスーパーピクセルに基づき、スーパーピクセルテストベクトルを生成する（１１）。当然、それら２つの機能は、別個の処理ブロックによって同様に実施されてよい。マッチングブロック５は、スーパーピクセルテストベクトルを用いて、入力イメージＩ２及び１つ以上の補助入力イメージＩ１、Ｉ３に対してクロススケール自己相似性マッチング（１２）を行う。出力イメージ生成部２２は、クロススケール自己相似性マッチング（１２）の結果を用いて、アップスケーリングされた出力イメージＯ２を生成する（１３）。一実施形態において、出力イメージ生成部２２は、先に更に記載されたように、合成ブロック６及び処理ブロック４を有する。結果として現れる出力イメージＯ２は、出力部２３で利用可能にされ、且つ／あるいは、ローカルストレージに格納される。スーパーピクセルベクトル生成部７、マッチングブロック５、及び出力イメージ生成部２２は、専用のハードウェアとして、又はプロセッサで実行されるソフトウェアとして、実装される。それらはまた、部分的に又は完全に、単一ユニットにおいて結合されてよい。また、入力部２１及び出力部２３は、単一の双方向インターフェイスにまとめられてよい。

イメージをアップスケーリングする方法を実施するよう構成された装置３０の他の実施形態は、図１２において概略的に表されている。装置３０は、プロセッシングデバイス３１と、実行される場合に、記載されている方法の１つに従うステップを装置に実施させる命令を記憶しているメモリデバイス３２とを有する。

例えば、プロセッシングデバイス３１は、記載されている方法の１つに従うステップを実施するよう適応されたプロセッサであることができる。実施形態において、前記の適応は、プロセッサが、記載されている方法の１つに従うステップを実施するよう構成（例えば、プログラム）されることを有する。

ステップ２：全てのスーパーピクセルイメージについて別々に検索ベクトル｛ｓ_ｔ−１（ζ），ｓ_ｔ（ζ），ｓ_ｔ＋１（ζ）｝を生成する。インデックスζは、全てのイメージ位置にわたって走る。そのような検索ベクトルを生成する１つのアプローチは、例えば、同時係属の欧州特許出願第１４３０６１３０号（欧州特許出願公開第２９６６６１３（Ａ１）号として公開）において記載されている。

ステップ３：全てのスーパーピクセルについて、オブジェクトに関連したピクセル割り当てを生成する：

ＳＰ_ｔ → ＳＰ_ｔ＋１ ＳＰ_ｔ → ＳＰ_ｔ−１
ＳＰ_ｔ → ＳＰ_ｔ＋２ 及び ＳＰ_ｔ → ＳＰ_ｔ−２，
・・・ → ・・・ ・・・ → ・・・

なお、関連の数は、入力イメージの数に依存する。そのようなオブジェクトに関連したピクセル割り当てを生成する１つのアプローチは、例えば、同時係属の欧州特許出願第１４３０６１２６号（欧州特許出願公開第２９６６６１６（Ａ１）号に対応）において記載されている。図３における例では、本当に最初のラインのみが使用されている。

例えば、プロセッシングデバイス３１は、記載されている方法の１つに従うステップを実施するよう適応されたプロセッサであることができる。実施形態において、前記の適応は、プロセッサが、記載されている方法の１つに従うステップを実施するよう構成（例えば、プログラム）されることを有する。
上記の実施形態に加えて、以下の付記を開示する。
［付記１］
入力イメージ（Ｉ２）をアップスケーリングする方法であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記方法において、
前記入力イメージ（Ｉ２）及び１つ以上の補助入力イメージ（Ｉ１，Ｉ３）のために、一貫性のあるスーパーピクセルを生成すること（１０）と、
前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成すること（１１）と、
前記スーパーピクセルテストベクトルを用いて前記入力イメージ（Ｉ２）及び前記１つ以上の補助入力イメージ（Ｉ１，Ｉ３）に対してクロススケール自己相似性マッチング（１２）を実施することと、
前記クロススケール自己相似性マッチング（１２）の結果を用いて、アップスケーリングされた出力イメージ（Ｏ２）を生成すること（１３）と
を有する、ことを特徴とする方法。
［付記２］
高解像低周波イメージ（Ｏ２．１）を得るよう前記入力イメージ（Ｉ２）をアップスケーリングすることと、
前記入力イメージ（Ｉ２）と前記高解像低周波イメージ（Ｏ２．１）との間、及び前記１つ以上の補助入力イメージ（Ｉ１，Ｉ３）と前記高解像低周波イメージ（Ｏ２．１）との間で、一致位置を特定することと、
前記一致位置を用いて、前記入力イメージ（Ｉ２）及び前記１つ以上の補助入力イメージ（Ｉ１，Ｉ３）から、高解像高周波合成イメージ（Ｏ２．２）を構成することと、
前記高解像低周波イメージ（Ｏ２．１）及び前記高解像高周波合成イメージ（Ｏ２．２）を高解像のアップスケーリングされた出力イメージ（Ｏ２）へと結合することと
を有する付記１に記載の方法。
［付記３］
前記入力イメージ（Ｉ２）及び前記１つ以上の補助入力イメージ（Ｉ１，Ｉ３）は、一連のイメージの中の連続したイメージ、又はシーンのマルチビューイメージである、
付記１又は２に記載の方法。
［付記４］
前記入力イメージ（Ｉ１，Ｉ２，Ｉ３）は、低解像低周波イメージ（Ｉ１．１，Ｉ２．１，Ｉ３．１）及び低解像高周波イメージ（Ｉ１．２，Ｉ２．２，Ｉ３．２）に分けられたバンドであり、
前記低解像低周波イメージ（Ｉ１．１，Ｉ２．１，Ｉ３．１）は、前記クロススケール自己相似性マッチングのために使用され、前記低解像高周波イメージ（Ｉ１．２，Ｉ２．２，Ｉ３．２）は、前記アップスケーリングされた出力イメージを生成するために使用される、
付記１乃至３のうちいずれか一つに記載の方法。
［付記５］
前記アップスケーリングされた出力イメージ（Ｏ２）を生成（１３）するイメージブロックは、
前記クロススケール自己相似性マッチング（１２）の最良の一致によって定義される単一のイメージブロックを選択すること、
前記クロススケール自己相似性マッチング（１２）の一致によって定義されるブロックの全て又は一部の線形結合を生成すること、及び
前記クロススケール自己相似性マッチング（１２）の一致によって定義される全てのイメージブロックにわたる平均を生成すること
のうちの少なくとも１つを実施することによって、生成される、
付記１乃至４のうちいずれか一つに記載の方法。
［付記６］
入力イメージ（Ｉ２）をアップスケーリングすることを可能にする命令を記憶しているコンピュータ可読記憶媒体であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記コンピュータ可読記憶媒体において、
前記命令は、コンピュータによって実行される場合に、該コンピュータに、
前記入力イメージ（Ｉ２）及び１つ以上の補助入力イメージ（Ｉ１，Ｉ３）のために、一貫性のあるスーパーピクセルを生成させ（１０）、
前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成させ（１１）、
前記スーパーピクセルテストベクトルを用いて前記入力イメージ（Ｉ２）及び前記１つ以上の補助入力イメージ（Ｉ１，Ｉ３）に対してクロススケール自己相似性マッチング（１２）を実施させ、
前記クロススケール自己相似性マッチング（１２）の結果を用いて、アップスケーリングされた出力イメージ（Ｏ２）を生成させる（１３）、
コンピュータ可読記憶媒体。
［付記７］
入力イメージ（Ｉ２）をアップスケーリングするよう構成される装置（２０）であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記装置（２０）において、
前記入力イメージ（Ｉ２）及び１つ以上の補助入力イメージ（Ｉ１，Ｉ３）のために、一貫性のあるスーパーピクセルを生成し（１０）、該一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成する（１１）よう構成されるスーパーピクセルベクトル生成部（７）と、
前記スーパーピクセルテストベクトルを用いて前記入力イメージ（Ｉ２）及び前記１つ以上の補助入力イメージ（Ｉ１，Ｉ３）に対してクロススケール自己相似性マッチング（１２）を実施するよう構成されるマッチングブロック（５）と、
前記クロススケール自己相似性マッチング（１２）の結果を用いて、アップスケーリングされた出力イメージ（Ｏ２）を生成する（１３）よう構成される出力イメージ生成部（２２）と
を有する装置（２０）。
［付記８］
入力イメージ（Ｉ２）をアップスケーリングするよう構成される装置（３０）であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記装置（３０）において、
プロセッシングデバイス（３１）及びメモリデバイス（３２）を有し、
前記メモリデバイス（３２）には、
前記プロセッシングデバイス（３１）によって実行される場合に、当該装置（３０）に、
前記入力イメージ（Ｉ２）及び１つ以上の補助入力イメージのために、一貫性のあるスーパーピクセルを生成させ（１０）、
前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成させ（１１）、
前記スーパーピクセルテストベクトルを用いて前記入力イメージ（Ｉ２）及び前記１つ以上の補助入力イメージ（Ｉ１，Ｉ３）に対してクロススケール自己相似性マッチング（１２）を実施させ、
前記クロススケール自己相似性マッチング（１２）の結果を用いて、アップスケーリングされた出力イメージ（Ｏ２）を生成させる（１３）
命令が記憶されている、装置（３０）。

Claims (8)

1. 入力イメージをアップスケーリングする方法であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記方法において、
   前記入力イメージ及び１つ以上の補助入力イメージのために、一貫性のあるスーパーピクセルを生成することと、
   前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成することと、
   前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施することと、
   前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成することと
   を有する、ことを特徴とする方法。
2. 高解像低周波イメージを得るよう前記入力イメージをアップスケーリングすることと、
   前記入力イメージと前記高解像低周波イメージとの間、及び前記１つ以上の補助入力イメージと前記高解像低周波イメージとの間で、一致位置を特定することと、
   前記一致位置を用いて、前記入力イメージ及び前記１つ以上の補助入力イメージから、高解像高周波合成イメージを構成することと、
   前記高解像低周波イメージ及び前記高解像高周波合成イメージを高解像のアップスケーリングされた出力イメージへと結合することと
   を有する請求項１に記載の方法。
3. 前記入力イメージ及び前記１つ以上の補助入力イメージは、一連のイメージの中の連続したイメージ、又はシーンのマルチビューイメージである、
   請求項１又は２に記載の方法。
4. 前記入力イメージは、低解像低周波イメージ及び低解像高周波イメージに分けられたバンドであり、
   前記低解像低周波イメージは、前記クロススケール自己相似性マッチングのために使用され、前記低解像高周波イメージは、前記アップスケーリングされた出力イメージを生成するために使用される、
   請求項１乃至３のうちいずれか一項に記載の方法。
5. 前記アップスケーリングされた出力イメージを生成するイメージブロックは、
   前記クロススケール自己相似性マッチングの最良の一致によって定義される単一のイメージブロックを選択すること、
   前記クロススケール自己相似性マッチングの一致によって定義されるブロックの全て又は一部の線形結合を生成すること、及び
   前記クロススケール自己相似性マッチングの一致によって定義される全てのイメージブロックにわたる平均を生成すること
   のうちの少なくとも１つを実施することによって、生成される、
   請求項１乃至４のうちいずれか一項に記載の方法。
6. 入力イメージをアップスケーリングすることを可能にする命令を記憶しているコンピュータ可読記憶媒体であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記コンピュータ可読記憶媒体において、
   前記命令は、コンピュータによって実行される場合に、該コンピュータに、
   前記入力イメージ及び１つ以上の補助入力イメージのために、一貫性のあるスーパーピクセルを生成させ、
   前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成させ、
   前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施させ、
   前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成させる、
   コンピュータ可読記憶媒体。
7. 入力イメージをアップスケーリングするよう構成される装置であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記装置において、
   前記入力イメージ及び１つ以上の補助入力イメージのために、一貫性のあるスーパーピクセルを生成し、該一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成するよう構成されるスーパーピクセルベクトル生成部と、
   前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施するよう構成されるマッチングブロックと、
   前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成するよう構成される出力イメージ生成部と
   を有する装置。
8. 入力イメージをアップスケーリングするよう構成される装置であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記装置において、
   プロセッシングデバイス及びメモリデバイスを有し、
   前記メモリデバイスには、
   前記プロセッシングデバイスによって実行される場合に、当該装置に、
   前記入力イメージ及び１つ以上の補助入力イメージのために、一貫性のあるスーパーピクセルを生成させ、
   前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成させ、
   前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施させ、
   前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成させる
   命令が記憶されている、装置。

Images