JP2017527011A5 - - Google Patents

Claims (8)

1. 入力イメージをアップスケーリングする方法であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられ、前記スーパーピクセルは、意味記述によって定義される前記入力イメージのオブジェクトに対応する、前記方法において、
   前記入力イメージ及び１つ以上の補助入力イメージのために、前記入力イメージと前記１つ以上の補助入力イメージの間において一貫性のあるスーパーピクセルを生成することと、
   前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成し、該スーパーピクセルテストベクトルは、前記入力イメージ及び前記１つ以上の補助入力イメージにおいて適切なクロススケール自己相似性一致を探すよう適応されることと、
   前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施することと、
   前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成することと
   を有する方法。
2. 高解像低周波イメージを得るよう前記入力イメージをアップスケーリングすることと、
   前記入力イメージと前記高解像低周波イメージとの間、及び前記１つ以上の補助入力イメージと前記高解像低周波イメージとの間で、一致位置を特定することと、
   前記一致位置を用いて、前記入力イメージ及び前記１つ以上の補助入力イメージから、高解像高周波合成イメージを構成することと、
   前記高解像低周波イメージ及び前記高解像高周波合成イメージを高解像のアップスケーリングされた出力イメージへと結合することと
   を有する請求項１に記載の方法。
3. 前記入力イメージ及び前記１つ以上の補助入力イメージは、一連のイメージの中の連続したイメージ、又はシーンのマルチビューイメージである、
   請求項１又は２に記載の方法。
4. 前記入力イメージ及び前記１つ以上の補助入力イメージは、低解像低周波イメージ及び低解像高周波イメージに分けられたバンドであり、
   前記低解像低周波イメージは、前記クロススケール自己相似性マッチングのために使用され、前記低解像高周波イメージは、前記アップスケーリングされた出力イメージを生成するために使用される、
   請求項１乃至３のうちいずれか一項に記載の方法。
5. 前記アップスケーリングされた出力イメージを生成するイメージブロックは、
   前記クロススケール自己相似性マッチングの最良の一致によって定義される単一のイメージブロックを選択すること、
   前記クロススケール自己相似性マッチングの一致によって定義されるブロックの全て又は一部の線形結合を生成すること、及び
   前記クロススケール自己相似性マッチングの一致によって定義される全てのイメージブロックにわたる平均を生成すること
   のうちの少なくとも１つを実施することによって、生成される、
   請求項１乃至４のうちいずれか一項に記載の方法。
6. 入力イメージをアップスケーリングすることを可能にする命令を記憶しているコンピュータ可読記憶媒体であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられ、前記スーパーピクセルは、意味記述によって定義される前記入力イメージのオブジェクトに対応する、前記コンピュータ可読記憶媒体において、
   前記命令は、コンピュータによって実行される場合に、該コンピュータに、
   前記入力イメージ及び１つ以上の補助入力イメージのために、前記入力イメージと前記１つ以上の補助入力イメージの間において一貫性のあるスーパーピクセルを生成させ、
   前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成させ、該スーパーピクセルテストベクトルは、前記入力イメージ及び前記１つ以上の補助入力イメージにおいて適切なクロススケール自己相似性一致を探すよう適応され、
   前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施させ、
   前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成させる、
   コンピュータ可読記憶媒体。
7. 入力イメージをアップスケーリングするよう構成される装置であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられ、前記スーパーピクセルは、意味記述によって定義される前記入力イメージのオブジェクトに対応する、前記装置において、
   前記入力イメージ及び１つ以上の補助入力イメージのために、前記入力イメージと前記１つ以上の補助入力イメージの間において一貫性のあるスーパーピクセルを生成し、該一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成するよう構成されるスーパーピクセルベクトル生成部であり、前記スーパーピクセルテストベクトルは、前記入力イメージ及び前記１つ以上の補助入力イメージにおいて適切なクロススケール自己相似性一致を探すよう適応される、前記スーパーピクセルベクトル生成部と、
   前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施するよう構成されるマッチングブロックと、
   前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成するよう構成される出力イメージ生成部と
   を有する装置。
8. 入力イメージをアップスケーリングするよう構成される装置であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記装置において、
   プロセッシングデバイス及びメモリデバイスを有し、
   前記メモリデバイスには、
   前記プロセッシングデバイスによって実行される場合に、当該装置に、
   前記入力イメージ及び１つ以上の補助入力イメージのために、一貫性のあるスーパーピクセルを生成させ、
   前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成させ、
   前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施させ、
   前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成させる
   命令が記憶されている、装置。