JP2015513151A5 - - Google Patents

Description

明細書、特許請求の範囲、及び図面に開示した各特徴は、独立に設けることもできるし、適切に組み合わせて設けることもできる。必要に応じて、ハードウェア、ソフトウェア、またはこれらの組み合わせで本発明の特徴を実現することができる。接続は場合に応じて無線接続でも有線接続でもよく、必ずしも直接的または専用の接続でなくてもよい。
実施形態に関して次の付記を記す。
（付記１） 入力画像の階層的超解像を実行する方法であって、
前記入力画像を複数のパッチに分割するステップと、
前記入力画像の、少なくとも２つの下位分解レベルへの空間的分解を実行するステップであって、少なくとも２つの下位分解レベル画像が得られるステップと、
アップサンプルされた空のフレームを生成するステップであって、前記入力画像の各パッチについて、アップサンプルされたフレーム中の対応するアップサンプルされたパッチが生成されるステップと、
前記入力画像の各現在パッチについて、
前記下位分解レベル画像において、前記現在パッチと同じサイズの一以上の類似パッチを検索するステップと、
前記検索ステップにおいて見つかった類似パッチのそれぞれについて、次の高位分割レベル中のペアレントパッチを決定するステップであって、ペアレントパッチは現在パッチより大きいステップと、
前記決定されたペアレントパッチを加重するステップであって、パッチの加重に用いる加重値は前記パッチのスパース性から決定され、前記スパース性は前記パッチの非ゼロＤＣＴ係数の数に対応する、決定され加重されたペアレントパッチが得られるステップと、
前記決定され加重されたペアレントパッチを集積するステップであって、アップサンプルされた高解像度パッチが得られるステップと、
前記アップサンプルされたフレームにおいて、前記現在パッチに対応するアップサンプルされたパッチを、前記アップサンプルされた高解像度パッチで置換するステップとを実行する、
方法。
（付記２） 前記下位分解レベル画像において一以上の類似パッチを検索するステップにおいて、各現在パッチの平均と各類似パッチの平均とを計算し、それぞれのパッチの各画素値から減算し、前記パッチを置換するステップにおいて、各現在パッチの平均を、その現在パッチに対応するアップサンプルされたパッチの各画素値に加算する、
付記１に記載の方法。
（付記３） 前記下位分解レベル画像において、一以上の類似パッチを検索し、そのパッチ中の画素の輝度値に応じて類似性を決定する、
付記１または２に記載の方法。
（付記４） 前記下位分解レベル画像において、一以上の類似パッチを検索し、そのパッチ中の画素の輝度値により類似性を決定する、
付記１または２に記載の方法。
（付記５） 前記入力画像のパッチは部分的にオーバーラップし、対応するアップサンプルされたパッチは部分的にオーバーラップしている、
付記１ないし４いずれか一項に記載の方法。
（付記６） 前記加重するステップと集積するステップは、加重された組み合わせを計算するステップを有し、前記加重された組み合わせの加重値は制約下の最小二乗問題を解くことにより決定される、
付記１ないし５いずれか一項に記載の方法。
（付記７） ピラミッド型超解像アルゴリズムは近傍エンベディングアルゴリズムである、
付記１ないし６いずれか一項に記載の方法。
（付記８） 後方投影を実行する追加的ステップをさらに有する、
付記１ないし７いずれか一項に記載の方法。
（付記９） 前記次の上位分解レベルのペアレントパッチはその相対座標により決定される、
付記１ないし８いずれか一項に記載の方法。
（付記１０） ブロックベース予測を用いることにより超解像を実行するときに画素をアベレージングする、ローカルリニアエンベディングを用い、前記画素はオーバーラップしているソースブロックからのものである方法は、
前記ソースブロックのスパース性係数を決定するステップと、
加重係数により前記ソースブロックからの画素を結合する、各ソースブロックのスパース性係数がその画素の加重係数として用いられるステップとを有する、
方法。
（付記１１） 複数のパッチに分割された入力画像の階層的超解像を実行する装置であって、
前記入力画像の、少なくとも２つの下位分解レベルへの空間的分解を実行する、少なくとも２つの下位分解レベル画像が得られる空間的分解ユニットと、
アップサンプルされた空のフレームを生成する、入力画像の各パッチについて、アップサンプルされたフレーム中の対応するアップサンプルされたパッチが生成されるアップサンプリングユニットと、
前記入力画像の各現在パッチについて、
検索ユニットにおいて、前記下位分解レベル画像において、前記現在パッチと同じサイズの一以上の類似パッチを検索するステップと、
前記検索ステップにおいて見つかった類似パッチのそれぞれについて、ペアレントパッチ決定ユニットにおいて、次の高位分割レベル中のペアレントパッチを決定するステップであって、ペアレントパッチは現在パッチより大きいステップと、
加重ユニットにおいて、前記決定されたペアレントパッチを加重するステップであって、パッチの加重に用いる加重値は前記パッチのスパース性から決定され、前記スパース性は前記パッチの非ゼロＤＣＴ係数の数に対応する、決定され加重されたペアレントパッチが得られるステップと、
集積ユニットにおいて、前記決定され加重されたペアレントパッチを集積するステップであって、アップサンプルされた高解像度パッチが得られるステップと、
挿入ユニットにおいて、前記アップサンプルされたフレームにおいて、前記現在パッチに対応するアップサンプルされたパッチを、前記アップサンプルされた高解像度パッチで置換するステップとを実行する、処理ユニットとを有する、
装置。
（付記１２） 前記下位分解レベル画像において一以上の類似パッチを検索する検索ユニットにおいて、各現在パッチの平均と各類似パッチの平均とを計算し、それぞれのパッチの各画素値から減算し、前記挿入ユニットにおいて、各現在パッチの平均を、その現在パッチに対応するアップサンプルされたパッチの各画素値に加算する、
付記１１に記載の装置。
（付記１３） 前記入力画像のパッチは部分的にオーバーラップし、対応するアップサンプルされたパッチは部分的にオーバーラップしている、
付記１１に記載の装置。
（付記１４） ブロックベース予測を用いることにより超解像を実行するときに画素をアベレージングする、ローカルリニアエンベディングを用い、前記画素はオーバーラップしているソースブロックからのものである装置であって、
前記ソースブロックのスパース性係数を決定する第１の処理ユニットと、
加重係数により前記ソースブロックからの画素を結合する、各ソースブロックのスパース性係数がその画素の加重係数として用いられる、第２の処理ユニットとを有する、
装置。
（付記１５） プロセッサ上で実行されると、付記１ないし１０いずれか一項に記載の方法を前記プロセッサに実行させるプログラムデータを有するコンピュータ読み取り可能記憶媒体。

Claims (15)

1. 入力画像の階層的超解像を実行する方法であって、
   前記入力画像を複数のパッチに分割するステップと、
   前記入力画像の、少なくとも２つの下位分解レベルへの空間的分解を実行するステップであって、少なくとも２つの下位分解レベル画像が得られるステップと、
   アップサンプルされた空のフレームを生成するステップであって、前記入力画像の各パッチについて、アップサンプルされたフレーム中の対応するアップサンプルされたパッチが生成されるステップと、
   前記入力画像の各現在パッチについて、
   前記下位分解レベル画像において、前記現在パッチと同じサイズの一以上の類似パッチを検索するステップと、
   前記検索ステップにおいて見つかった類似パッチのそれぞれについて、次の高位分割レベル中のペアレントパッチを決定するステップであって、ペアレントパッチは現在パッチより大きいステップと、
   前記決定されたペアレントパッチを加重するステップであって、パッチの加重に用いる加重値は前記パッチのスパース性から決定され、前記スパース性は前記パッチの非ゼロＤＣＴ係数の数に対応する、決定され加重されたペアレントパッチが得られるステップと、
   前記決定され加重されたペアレントパッチを集積するステップであって、アップサンプルされた高解像度パッチが得られるステップと、
   前記アップサンプルされたフレームにおいて、前記現在パッチに対応するアップサンプルされたパッチを、前記アップサンプルされた高解像度パッチで置換するステップとを実行する、
   方法。
2. 前記下位分解レベル画像において一以上の類似パッチを検索するステップにおいて、各現在パッチの平均と各類似パッチの平均とを計算し、それぞれのパッチの各画素値から減算し、前記パッチを置換するステップにおいて、各現在パッチの平均を、その現在パッチに対応するアップサンプルされたパッチの各画素値に加算する、
   請求項１に記載の方法。
3. 前記下位分解レベル画像において、一以上の類似パッチを検索し、そのパッチ中の画素の輝度値に応じて類似性を決定する、
   請求項１または２に記載の方法。
4. 前記下位分解レベル画像において、一以上の類似パッチを検索し、そのパッチ中の画素の輝度値により類似性を決定する、
   請求項１または２に記載の方法。
5. 前記入力画像のパッチは部分的にオーバーラップし、対応するアップサンプルされたパッチは部分的にオーバーラップしている、
   請求項１ないし４いずれか一項に記載の方法。
6. 前記加重するステップと集積するステップは、加重された組み合わせを計算するステップを有し、前記加重された組み合わせの加重値は制約下の最小二乗問題を解くことにより決定される、
   請求項１ないし５いずれか一項に記載の方法。
7. ピラミッド型超解像アルゴリズムは近傍エンベディングアルゴリズムである、
   請求項１ないし６いずれか一項に記載の方法。
8. 後方投影を実行する追加的ステップをさらに有する、
   請求項１ないし７いずれか一項に記載の方法。
9. 前記次の上位分解レベルのペアレントパッチはその相対座標により決定される、
   請求項１ないし８いずれか一項に記載の方法。
10. ブロックベース予測を用いることにより超解像を実行するときに画素をアベレージングする、ローカルリニアエンベディングを用い、前記画素はオーバーラップしているソースブロックからのものである方法は、
    前記ソースブロックのスパース性係数を決定するステップと、
    加重係数により前記ソースブロックからの画素を結合する、各ソースブロックのスパース性係数がその画素の加重係数として用いられるステップとを有する、
    方法。
11. 複数のパッチに分割された入力画像の階層的超解像を実行する装置であって、
    前記入力画像の、少なくとも２つの下位分解レベルへの空間的分解を実行する、少なくとも２つの下位分解レベル画像が得られる空間的分解ユニットと、
    アップサンプルされた空のフレームを生成する、入力画像の各パッチについて、アップサンプルされたフレーム中の対応するアップサンプルされたパッチが生成されるアップサンプリングユニットと、
    前記入力画像の各現在パッチについて、
    検索ユニットにおいて、前記下位分解レベル画像において、前記現在パッチと同じサイズの一以上の類似パッチを検索するステップと、
    前記検索ステップにおいて見つかった類似パッチのそれぞれについて、ペアレントパッチ決定ユニットにおいて、次の高位分割レベル中のペアレントパッチを決定するステップであって、ペアレントパッチは現在パッチより大きいステップと、
    加重ユニットにおいて、前記決定されたペアレントパッチを加重するステップであって、パッチの加重に用いる加重値は前記パッチのスパース性から決定され、前記スパース性は前記パッチの非ゼロＤＣＴ係数の数に対応する、決定され加重されたペアレントパッチが得られるステップと、
    集積ユニットにおいて、前記決定され加重されたペアレントパッチを集積するステップであって、アップサンプルされた高解像度パッチが得られるステップと、
    挿入ユニットにおいて、前記アップサンプルされたフレームにおいて、前記現在パッチに対応するアップサンプルされたパッチを、前記アップサンプルされた高解像度パッチで置換するステップとを実行する、処理ユニットとを有する、
    装置。
12. 前記下位分解レベル画像において一以上の類似パッチを検索する検索ユニットにおいて、各現在パッチの平均と各類似パッチの平均とを計算し、それぞれのパッチの各画素値から減算し、前記挿入ユニットにおいて、各現在パッチの平均を、その現在パッチに対応するアップサンプルされたパッチの各画素値に加算する、
    請求項１１に記載の装置。
13. 前記入力画像のパッチは部分的にオーバーラップし、対応するアップサンプルされたパッチは部分的にオーバーラップしている、
    請求項１１に記載の装置。
14. ブロックベース予測を用いることにより超解像を実行するときに画素をアベレージングする、ローカルリニアエンベディングを用い、前記画素はオーバーラップしているソースブロックからのものである装置であって、
    前記ソースブロックのスパース性係数を決定する第１の処理ユニットと、
    加重係数により前記ソースブロックからの画素を結合する、各ソースブロックのスパース性係数がその画素の加重係数として用いられる、第２の処理ユニットとを有する、
    装置。
15. プロセッサ上で実行されると、請求項１ないし１０いずれか一項に記載の方法を前記プロセッサに実行させるプログラムデータを有するコンピュータ読み取り可能記憶媒体。