JP2009134350A - 画像の高品質化方法及び装置 - Google Patents
画像の高品質化方法及び装置 Download PDFInfo
- Publication number
- JP2009134350A JP2009134350A JP2007307746A JP2007307746A JP2009134350A JP 2009134350 A JP2009134350 A JP 2009134350A JP 2007307746 A JP2007307746 A JP 2007307746A JP 2007307746 A JP2007307746 A JP 2007307746A JP 2009134350 A JP2009134350 A JP 2009134350A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- image
- block
- feature amount
- energy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000006872 improvement Effects 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims description 17
- 230000000903 blocking effect Effects 0.000 claims description 2
- 239000013598 vector Substances 0.000 description 22
- 230000002708 enhancing effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】画像の特徴量の輝度変動が小さい場合でも、高品質化に適した特徴量を選択できるようにして画像のさらなる高品質化を可能とする。
【解決手段】画像高品質化装置は、第1の画像を高品質化するための、輝度成分を有する複数の特徴量候補を記憶した記憶部102と;第1の画像を互いに隣接する第1ブロックと第2ブロック間に重複領域が生じるように複数のブロックに分割し、第1ブロック及び第2ブロックに選択された複数の第1特徴量候補及び複数の第2特徴量候補をそれぞれ割り当てる割り当て部103と;重複領域における第1特徴量候補が持つ第1輝度パターンと重複領域における第2特徴量候補が持つ第2輝度パターンとの間の類似度を表す第1エネルギーを算出する算出部104と;第1エネルギーを用いて第1特徴量候補及び複数の第2特徴量候補から一つの第1特徴量及び一つの第2特徴量を選択する選択部105等を有する。
【選択図】図1
【解決手段】画像高品質化装置は、第1の画像を高品質化するための、輝度成分を有する複数の特徴量候補を記憶した記憶部102と;第1の画像を互いに隣接する第1ブロックと第2ブロック間に重複領域が生じるように複数のブロックに分割し、第1ブロック及び第2ブロックに選択された複数の第1特徴量候補及び複数の第2特徴量候補をそれぞれ割り当てる割り当て部103と;重複領域における第1特徴量候補が持つ第1輝度パターンと重複領域における第2特徴量候補が持つ第2輝度パターンとの間の類似度を表す第1エネルギーを算出する算出部104と;第1エネルギーを用いて第1特徴量候補及び複数の第2特徴量候補から一つの第1特徴量及び一つの第2特徴量を選択する選択部105等を有する。
【選択図】図1
Description
本発明は、低品質の画像を高品質化する方法及び装置に関する。
低品質の入力画像、例えば低解像度画像あるいはぼやけた画像に対して、高解像度化あるいは鮮鋭化等の処理を行い、高品質の画像を生成する技術が注目されている。非特許文献1には、このような画像高品質化技術のうち特に学習データを用いる手法が開示されている。
非特許文献1の手法では、まず学習段階で画像を高品質化するための特徴量(例えば、画像の高周波成分を表すパッチ)を格納した辞書を作成する。一方、高品質化段階では低品質の入力画像を仮に高品質化して仮高品質化画像を作成し、仮高品質化画像について画像ブロック毎に辞書中の特徴量を用いて高品質化を行う。
高品質化に際しては、まず仮高品質化画像を隣接ブロック間で重複領域が生じるようにブロック化し、各ブロックに複数の特徴量を割り当てる。この後、隣接する第1及び第2ブロックにそれぞれ割り当てられている第1及び第2特徴量同士の適合度を表すエネルギーと、仮高品質化画像への特徴量の適合度を表すエネルギーとからなるエネルギー関数を設定する。本明細書では前者のエネルギーを隣接エネルギーと呼び、後者のエネルギーを生起エネルギーと呼ぶ。次に、仮高品質化画像全体でエネルギー関数が最小となる組み合わせの第1特徴量及び第2特徴量を選択する。こうして選択された特徴量を用いて、仮高品質化画像について高品質化を行う。
W. T. Freeman, E. C. Pasztor, and O. T. Carmichael, "Learning low-level vision", International Journal of Computer Vision, vol. 40, no. 1, pp.25-47, 2000.
W. T. Freeman, E. C. Pasztor, and O. T. Carmichael, "Learning low-level vision", International Journal of Computer Vision, vol. 40, no. 1, pp.25-47, 2000.
非特許文献1の技術では、隣接エネルギーは重複領域において第1ブロックに割り当てられている第1特徴量の輝度値と第2ブロックに割り当てられている第2特徴量の輝度値との差の2乗和(Sum of Squared Difference:SSD)に基づいて算出される。こうして算出される隣接エネルギーは、通常は第1及び第2特徴量のパターン(模様)が類似するほど小さな値を示す。
しかしながら、特徴量の輝度の変動が小さい場合には、第1及び第2特徴量のパターンが類似していなくとも隣接エネルギーの値は小さくなる。このため、結果としてエネルギー最適化により輝度変動の小さい特徴量が優先して選択されてしまい、画像の高品質化の効果が十分得られない。
本発明は、画像の特徴量の輝度変動が小さい場合でも、高品質化に適した特徴量を選択できるようにして画像のさらなる高品質化を可能とすることを目的とする。
本発明の第1の観点によると、第1の画像を高品質化するための、輝度成分を有する複数の特徴量を記憶するステップと;前記第1の画像を互いに隣接する第1ブロックと第2ブロック間に重複領域が生じるようにブロック化するステップと;前記第1ブロック及び第2ブロックに前記複数の特徴量候補から選択された複数の第1特徴量候補及び複数の第2特徴量候補をそれぞれ割り当てるステップと;前記重複領域における前記第1特徴量候補が持つ第1輝度パターンと前記重複領域における前記第2特徴量候補が持つ第2輝度パターンとの間の類似度を表す第1エネルギーを算出するステップと;前記第1エネルギーを用いて前記複数の第1特徴量候補及び複数の第2特徴量候補から一つの第1特徴量及び一つの第2特徴量を選択するステップと;前記第1特徴量及び第2特徴量を用いて前記第1ブロック及び第2ブロックを高品質化して第2の画像を生成するステップと;を具備することを特徴とする画像高品質化方法が提供される。
本発明の第2の観点によれば、第1の画像を高品質化するための、輝度成分を有する複数の特徴量を記憶した記憶部と;前記第1の画像を互いに隣接する第1ブロックと第2ブロック間に重複領域が生じるように複数のブロックに分割し、前記第1ブロック及び第2ブロックに前記複数の特徴量から選択された複数の第1特徴量候補及び複数の第2特徴量候補をそれぞれ割り当てる割り当て部と;前記重複領域における前記第1特徴量候補が持つ第1輝度パターンと前記重複領域における前記第2特徴量候補が持つ第2輝度パターンとの間の類似度を表す第1エネルギーを算出する第1エネルギー算出部と;前記第1エネルギーを用いて前記複数の第1特徴量候補及び複数の第2特徴量候補から一つの第1特徴量及び一つの第2特徴量を選択する選択部と;前記第1特徴量及び第2特徴量を用いて前記第1ブロック及び第2ブロックを高品質化して第2の画像を生成する高品質化部と;を具備することを特徴とする画像高品質化装置が提供される。
本発明の第3の観点によれば、第1の画像を互いに隣接する第1ブロックと第2ブロック間に重複領域が生じるようにブロック化する処理と;前記第1ブロック及び第2ブロックに前記第1の画像を高品質化するための、輝度成分を有する複数の特徴量から選択された複数の第1特徴量候補及び複数の第2特徴量候補をそれぞれ割り当てる処理と;前記重複領域における前記第1特徴量候補が持つ第1輝度パターンと前記重複領域における前記第2特徴量候補が持つ第2輝度パターンとの間の類似度を表す第1エネルギーを算出する処理と;前記第1エネルギーを用いて前記複数の第1特徴量候補及び複数の第2特徴量候補から一つの第1特徴量及び一つの第2特徴量を選択する処理と;前記第1特徴量及び第2特徴量を用いて前記第1ブロック及び第2ブロックを高品質化して第2の画像を生成する処理と;を含む画像高品質化処理をコンピュータに行わせるためのプログラムが提供される。
本発明によれば、輝度変動の小さい特徴量が選択されやすくなる課題を解決して画像の高品質化を効果的に行うことができる。
以下、図面を参照して本発明の実施形態について説明する。
(第1の実施形態)
図1に示されるように、本発明の第1の実施形態に従う画像高品質化装置は、仮高品質化部101、特徴量メモリ102、特徴量候補割り当て部103、隣接エネルギー算出部104、選択部105及び本高品質化部106を有する。
(第1の実施形態)
図1に示されるように、本発明の第1の実施形態に従う画像高品質化装置は、仮高品質化部101、特徴量メモリ102、特徴量候補割り当て部103、隣接エネルギー算出部104、選択部105及び本高品質化部106を有する。
画像高品質化装置の入力画像110は低品質画像であり、仮高品質化部101及び本高品質化部106を経て高品質化されることにより出力画像117が生成される。仮高品質化部101では入力画像110に対して仮の高品質化が行われ、仮高品質化画像111が作成される。仮高品質化画像111は、特徴量候補割り当て部103に入力される。
特徴量候補割り当て部103では、仮高品質化画像111がブロック化され、ブロック毎に仮高品質化画像111を高品質化するための複数の特徴量候補が割り当てられる。後述するように、ここでいうブロック化は仮高品質化画像111を複数の画素を有するブロックに単純に分割されるのではなく、隣接するブロック間に重複領域が生じるように複数のブロックに分割される。仮高品質化部101以降の処理は、ブロック単位で行われる。そこで、以下では処理中のブロックを処理ブロックという。
仮高品質化画像111を高品質化するための特徴量は、特徴量メモリ102に予め記憶されている。特徴量候補割り当て部103における特徴量候補の割り当ては、実際にはインデックスの割り当てによってなされる。すなわち、仮高品質化画像111の処理ブロックに、特徴量メモリ102から特徴量候補として読み出される特徴量を示す特徴量インデックス112が割り当てられる。この結果、特徴量候補割り当て部103から、処理ブロックに割り当てられた特徴量候補を表す候補インデックス114が出力される。
特徴量メモリ102からは、特徴量インデックス112と共にインデックス112によって示される特徴量データ113が読み出され、この特徴量データ113は隣接エネルギー算出部104に与えられる。隣接エネルギー算出部104では、特徴量候補割り当て部103からの候補インデックス114及び特徴量メモリ102からの特徴量データ113に基づいて、仮高品質化画像111の重複領域における隣接2ブロック、つまり第1ブロックに割り当てられている第1特徴量候補と第2ブロックに割り当てられている第2特徴量候補との間の類似度を表すエネルギー(これを隣接エネルギーという)が算出される。隣接エネルギー算出部104から出力される隣接エネルギー情報115は、選択部105に与えられる。
選択部105では隣接エネルギーに従って、隣接2ブロックにそれぞれ割り当てられた特徴量候補からそれぞれ一つの特徴量が選択される。例えば、隣接エネルギーが極小(好ましくは最小)となる特徴量が隣接2ブロックに割り当てられた特徴量候補から選択される。本高品質化部106では、選択部105により選択された特徴量によって仮出力画像111の高品質化が行われ、出力画像117が生成される。
次に、図2を用いて図1の画像高品質化装置の概略的な動作の流れを説明する。以下の説明では、低解像度の入力画像110を高解像度化して高解像度の出力画像117を生成する例について述べる。なお、高品質化として高解像度化のほかに、例えばボケ復元、画像圧縮歪除去及び輝度の高階調化などを行う場合についても、基本的に同様の実施が可能である。
まず、仮高品質化部101によって低解像度画像である入力画像110を要求される解像度に高解像度化し、仮高解像度化画像である仮高品質化画像111を作成する(ステップS11)。ステップS11での高解像度化処理には、例えば最近傍拡大などによる画像拡大や、双直線補間法や3次畳込み内挿法などによる補間を用いることができる。仮高品質化画像111は、特徴量候補割り当て部103に入力される。
次に、特徴量候補割り当て部103において仮高品質化画像111をブロック化し、各ブロックに対して特徴量メモリ102から選択された複数の特徴量を特徴量候補として割り当てる(ステップS20)。
次に、隣接エネルギー算出部104によって仮高品質化画像111の隣接2ブロックにそれぞれ割り当てられた特徴量候補間の類似度を示す隣接エネルギーを算出する(ステップS30)。
次に、選択部105によって仮高品質化画像111の各ブロックに割り当てられた特徴量候補の中から、隣接エネルギー算出部104で計算された隣接エネルギーが極小となる組み合わせの特徴量を決定し、それらの特徴量を示す特徴量インデックス116を出力する(ステップS40)。
最後に、本高品質化部106において選択部105により選択された特徴量、すなわち特徴量インデックス116で示される、特徴量メモリ102に記憶された特徴量を用いて仮高品質化画像111を高品質化し、高品質化された出力画像117を生成する(ステップS50)。
(特徴量メモリ102について)
ここで、特徴量メモリ102について説明する。特徴量メモリ102には、事前の学習により得られた、仮高品質化画像111を高品質化するための特徴量が記憶されている。図3は、特徴量メモリ102の構造の一例を模式的に示している。
ここで、特徴量メモリ102について説明する。特徴量メモリ102には、事前の学習により得られた、仮高品質化画像111を高品質化するための特徴量が記憶されている。図3は、特徴量メモリ102の構造の一例を模式的に示している。
図3に示されるように、特徴量メモリ102には仮高品質化画像111の画像ブロックから抽出された複数(N)の低品質画像特徴量li(i=1,2,…,N)と仮高品質化画像111の画像ブロックを高品質化するための高品質化用特徴量hi(i=1,2,…,N)とのペアが記憶されている。
図4によりli−hiペアの作り方の例を説明する。学習用画像から抜き出した高解像度画像ブロックxを入力画像110と同程度の画質になるように一度劣化させることによって、低解像度画像ブロックyを作成する。次に、低解像度画像ブロックyに対して仮高品質化部101でなされる仮高品質化と同様の高品質化(高解像度化)を行い、仮高解像度画像ブロックgを作成する。同時に、低解像度画像ブロックyについて最近傍拡大を行って拡大画像zを作成する。
次に、仮高解像度画像ブロックgから拡大画像zを減算して低品質画像特徴量lを生成し、高解像度化画像ブロックxから仮高解像度画像ブロックgを減算して高品質化用特徴量hを生成する。こうして得られる低品質画像特徴量lと高品質化用特徴量hを一つのペアとする。このようにペアを作成しておけば、入力画像110から抜き出したブロックを仮高品質化させてg′を作り、適当なhを選択することでg′+hにより高品質の高解像度画像を生成することができる。なお、低品質画像特徴量lとして低解像度画像ブロックyを代用してもよいし、高品質化用画像特徴量hと相関の高い低解像度画像ブロックyを選んで作成してもよい。また、計算時間の短縮や特徴量メモリ102の容量削減のために、主成分分析などを用いて次元圧縮してもよい。
以上のように高品質化用特徴量hは、例えば仮高品質化画像111中に存在しない高周波数成分である。本実施形態によれば、仮高品質化部101では復元することのできない情報を高品質化用特徴量で補うことにより、画像の高解像度化さらには鮮鋭化などの高品質化を行うことができる。
(特徴量候補割り当て部103について)
次に、図5を用いて特徴量候補割り当て部103の処理について説明する。図5は、図2中のステップS20の詳細な処理例を示している。
次に、図5を用いて特徴量候補割り当て部103の処理について説明する。図5は、図2中のステップS20の詳細な処理例を示している。
特徴量候補割り当て部103では、まず仮高品質化画像111をブロック化する(ステップS21)。このとき、各ブロックは仮高品質画像111中で互いに重複領域があるように設定する。
次に、ステップS21で得られた複数のブロックから1つのブロックを処理ブロックとして選択する(ステップS22)。次に、選択されたブロックから低品質画像特徴量lqueryを抽出する(ステップS23)。低品質画像特徴量lqueryの作成方法は、図4に従う。つまり、ステップS22で選択したブロックを図4におけるgとする。そして、対応する位置の入力画像のブロックをyとし、g−zによりlqueryを作成する。
次に、ステップS24で抽出された低品質画像特徴量lqueryに類似する低品質画像特徴量liを特徴量メモリ102から一つ以上探索する(ステップS24)。すなわち、低品質画像特徴量liのうち抽出された低品質画像特徴量lqueryとの類似度が最大の特徴量、または類似度が大きい順から幾つかの数の特徴量を特徴量メモリ102から探索する。この場合、類似度としては例えばステップS24で抽出された低品質画像特徴量lqueryと特徴量メモリ102中の低品質特徴量liとの間の距離‖li−lquery‖を用いることができる。
次に、ステップS24で探索された一つ以上の低品質画像特徴量liに対応付けられている全ての高品質化用特徴量hiのインデックス114を読み出して記録する(ステップS25)。
以上のステップS21〜S25の処理をステップS26で全てのブロックが処理されたと判断されるまで繰り返し行い、特徴量候補割り当て部103の処理が終了する。
(隣接エネルギー算出部104について)
次に、図6を用いて隣接エネルギー算出部104の処理について説明する。図6は、図2中のステップS30の具体的な処理例を示している。まず、隣接する2つのブロック(A,Bとする)を選択する(ステップS31)。
次に、図6を用いて隣接エネルギー算出部104の処理について説明する。図6は、図2中のステップS30の具体的な処理例を示している。まず、隣接する2つのブロック(A,Bとする)を選択する(ステップS31)。
次に、選択された2つのブロックA,Bにそれぞれ割り当てられている特徴量候補を示す候補インデックス114を特徴量候補割り当て部103から読み込み(ステップS32)、さらに特徴量メモリ102から候補インデックス114に対応する特徴量データ113を読み込む(ステップS33)。
ここで、ブロックAについて読み込んだNA個の特徴量データを{hA,1, hA,2,…, hA,NA}とし、ブロックBについて読み込んだNB個の特徴量データを{hB,1, hB,2,…, hB,NB}とする。
次に、特徴量データ{hA,1, hA,2,…, hA,NA}及び{hB,1, hB,2,…, hB,NB}を増分符号ベクトルに変換する(ステップS34)。
説明を簡単にするため、以下に示す条件を例にとって説明する。特徴量候補割り当て部103において仮高品質化画像111をブロック化する際、ブロックサイズは8×8画素であり、また全てのブロックには水平方向及び垂直方向共に4画素ずつ重複領域が存在するように配置されているとする。さらに、ブロックAとブロックBはそれぞれ左右に隣り合っているとする。ここで挙げたブロックのサイズと形状及び重複領域のサイズと形状はあくまで一例であり、任意に決めることができる。
ブロックA及びブロックBは、図7に破線で示すように水平方向4画素×垂直方向8画素の重複領域Rを有する。この重複領域Rについて、ブロックA及びブロックBに割り当てられている特徴量候補同士の空間的な輝度パターンの類似度を算出することで、隣接エネルギーを算出することができる。ここでは、ブロックAとブロックBが水平方向に隣り合っている場合を説明したが、垂直方向に隣り合っている場合についても同様に隣接エネルギーを算出できる。
隣接エネルギーを算出するため、まずステップS34では特徴量候補の特徴量データ{hA,1, hA,2,…, hA,NA}及び{hB,1, hB,2,…, hB,NB}について、重複領域Rの輝度値から図8A及び図8Bに示すように増分符号ベクト{sA,1, sA,2,…, sA,NA}及{sB,1, sB,2,…, sB,NB}をそれぞれ作成する。それぞれ2画素(2画素a,bの輝度値をそれぞれIa,Ibとする)の増分符号sは、例えば次式(1)により求められる。
ここで、σは輝度値IaとIbの差を有効と認める閾値である。
ここでは、輝度値IaとIbの差に対して3つのクラス(0,1,2)を割り当てたが、2つ以上の任意の数のクラスを割り当てることができる。さらに、増分符号ベクトルは図8A及び図8Bに示したように32画素の496通りの全ての組合せについての増分符号から生成してもよいが、一部の組合せについての増分符号から生成してもよい。つまり、増分符号ベクトルの次元数は496次元より少なくともよい。例えば、水平方向に隣接した画素のペアだけから増分符号ベクトルを求めれば、次元数は24次元となる。
増分符号ベクトルとしては、他に輝度勾配を表現するベクトルや、ラプラシアンオペレータによるエッジ強度を表現するベクトルなど、空間的な輝度パターンの類似度を算出できるベクトルであれば、それらを用いることができる。さらに、増分符号ベクトルは特徴量を用いて高品質化した画像ブロックから作成してもよい。すなわち、特徴量をh、仮高品質化画像111から切り出したブロックをgとすると、g+hから増分符号ベクトルを作成してもよい。
次に、上述のようにして生成された増分符号ベクトルを用いて特徴量候補hA,iと特徴量候補hB,jとの間の類似度を表す隣接エネルギーVA,B,I,jをブロックA及びブロックBに割り当てられている全ての特徴量候補の組合せについて算出する(ステップS35)。具体的には、例えば次式(2)により増分符号ベクトルsA,iとsB,jの一致度を隣接エネルギーVA,B,I,jとして算出する。
ただし、sA,i(k)は増分符号ベクトルsA,iのk番目の成分、sB,j(k)は増分符号ベクトルsB,jのk番目の成分である。
式(2)では、増分符号ベクトルsA,iとsB,jとの差分絶対値和(Sum of Absolute Difference:SAD)をsA,iとsB,jとの一致度としているが、次式(3)に示すように増分符号ベクトルsA,iとsB,jとの差の2乗和(Sum of Squared Difference:SSD)をsA,iとsB,jとの一致度としてもよい。
ただし、δ(x)はx=0のとき1、それ以外のとき0の値をとる関数である。すなわち、式(4)の右辺第2項は、sA,iとsB,jの符号が一致する数を増分符号ベクトルの次元数496で除した値であるから、式(3)及び式(4)と同様に特徴量候補hA,iと特徴量候補hB,jとの間の類似度を表す。
このように増分符号ベクトルを用いて算出される隣接エネルギーVA,B,I,jは、特徴量hA,iと特徴量hB,jとの間の類似度が高いほど値が小さくなる関数になっている。隣接エネルギーVA,B,I,jは式(3)及び(4)に示したような1つの項からなる必要はなく、例えば次式(5)のように2つ以上の項の組合せ(加重和)により計算してもよい。
ただし、λは緩和パラメタであり、hA,i(pm)及びhB,j(pm)はhA,i及びhB,j(pmが重なった時に、重複領域R内でm番目の同一画素位置に配置される画素である。式(5)の右辺第1項は式(3)に示したSADに相当し、重複領域RのブロックA及びブロックBにそれぞれ割り当てられている特徴量候補についての増分符号間の一致度を表す。式(5)の右辺第2項は非特許文献1に開示されたSSDに相当し、重複領域RのブロックA及びブロックBに割り当てられている特徴量候補の輝度値の差の2乗和を表す。式(5)では、緩和パラメタλを重み係数として、第1項の一致度と第2項の2乗和との加重和を隣接エネルギーVA,B,I,jとして算出している。
式(5)の隣接エネルギーVA,B,I,jを用いると、第1項で重複領域RのブロックA及びブロックBにそれぞれ割り当てられている特徴量候補同士の輝度パターンの類似度を評価しつつ、第2項で大幅な輝度の開きを抑制することができるため、アーチファクトノイズの少ない画像を生成する効果がある。
以上のステップS31〜S35の処理をステップS36で全ての隣接するブロックについて処理されたと判断されるまで繰り返し行い、隣接エネルギー算出部104の処理が終了する。
(選択部105について)
次に、図9を用いて選択部105の処理について説明する。図2中のステップS40では、前述したように仮高品質化画像111の隣接2ブロックにそれぞれ割り当てられた特徴量候補の中から、隣接エネルギー算出部104で計算された隣接エネルギーが極小、好ましくは最小となる特徴量候補の組合せを決定してその組み合わせの特徴量を選択し、その組み合わせを示す特徴量インデックス116を出力する。組合せの決定方法としては、(a)隣接エネルギーの総和を局所的に最適化する方法と、(b)隣接エネルギーの総和を大域的または全てのブロックで最適化する方法が考えられる。
次に、図9を用いて選択部105の処理について説明する。図2中のステップS40では、前述したように仮高品質化画像111の隣接2ブロックにそれぞれ割り当てられた特徴量候補の中から、隣接エネルギー算出部104で計算された隣接エネルギーが極小、好ましくは最小となる特徴量候補の組合せを決定してその組み合わせの特徴量を選択し、その組み合わせを示す特徴量インデックス116を出力する。組合せの決定方法としては、(a)隣接エネルギーの総和を局所的に最適化する方法と、(b)隣接エネルギーの総和を大域的または全てのブロックで最適化する方法が考えられる。
図9は、図2中のステップS40の具体的な処理例として、前記(a)の隣接エネルギーが局所的に小さくなる特徴量を選択する例を示している。まず、左上端ブロックの特徴量を決定する(ステップS41)。すなわち、左上端ブロックに割り当てられている特徴量候補の中から一つの特徴量を選択する。特徴量の選択は無作為に行ってもよいし、特徴量候補割り当て部103で計算した‖li−lquery‖に基づく類似度が最も高かった候補を選択してもよい。
次に、左上端ブロックに対して右隣接ブロックを処理ブロックに設定する。すなわち、右隣接ブロックがあるかどうかを調べ(ステップS42)。右隣接ブロックがあればそれを処理ブロックとして選択する(ステップS43)。右隣接ブロックがなく、処理の途中で画像の右端ブロックに到達すれば、1つ下段の最左ブロックを処理ブロックとして選択する(ステップS44)。
次に、ステップS43またはS44で選択された処理ブロックに割り当てられている特徴量候補のインデックスを読み込む(ステップS45)。次に、処理ブロックに割り当てられている特徴量候補と上隣接ブロックに割り当てられている特徴量との間の隣接エネルギーと、左隣接ブロックに割り当てられている特徴量との間の隣接エネルギーとの和が最小となる特徴量を特徴量候補の中から選択し、これを処理ブロックのための高品質化用特徴量とする(ステップS46)。ステップS46の処理時には、処理ブロックに対して上隣接ブロック及び左隣接ブロックは既に処理されており、上隣接ブロック及び左隣接ブロックに割り当てられている特徴量は一意に決定されている。
以上のステップS42〜S46の処理をステップS47で全てのブロックが処理されたと判断されるまで繰り返し行い、選択部105の処理が終了する。
隣接エネルギーVA,B,I,jの総和の最適化は、例えばビリーフプロパゲーション(Belief Propagation)のような最適化アルゴリズムを用いることで行うことができる。図10は、図2中のステップS40の具体的な処理例として、前記(b)のうち隣接エネルギーの総和を全ブロックで最適化する例を示している。
まず、処理ブロックAを選択する(ステップS51)。次に、処理ブロックAに隣接する一つのブロック(隣接ブロック)Bを選択する(ステップS52)。次に、処理ブロックAから隣接ブロックBの各候補に対して、信頼度(適合度)を表現するメッセージを次式(6)により計算する(ステップS53)。
式(6)の左辺はt回目の反復における処理ブロックAから隣接ブロックBのj番目の候補へのメッセージであり、全てのメッセージは初期値として“0”が与えられる。Nei(A)は、処理ブロックAに隣接するブロックの集合である。つまり、式(6)におけるCは処理ブロックAに隣接するブロックの集合のうち、隣接ブロックB以外のブロックを表している。
式(6)からわかるように、t回目の反復におけるメッセージは、前回の反復で計算された他ブロックのメッセージから計算されるため、反復を繰り返すとメッセージは全てのブロックに対して伝搬していく。また、伝搬されるメッセージは処理ブロックAから隣接ブロックBへ伝搬されるメッセージの総和が”0”となるように、次式(7)により正規化されていてもよい。
ここで、式(7)の左辺は正規化されたメッセージを表す。
ステップS52〜S53の操作をステップS54で処理ブロックAに隣接する全てのブロックが処理されたと判断されるまで繰り返し行う。さらに、SS52〜S54の操作をステップS55で全てのブロックが処理されたと判断されるまで繰り返し行う。ステップS51〜S55の処理が一回の反復になる。
ステップS51〜S35の反復処理をステップS56で反復終了基準が満足されるまで行うる。反復終了基準としては、反復回数が一定回数に達したこと、または全てのメッセージの値の大小関係が変化しなくなるなどの基準を利用できる。最後に、各ブロックについて候補の中から選択する一つの特徴量を次式(8)に基づいて決定し、その特徴量を選択する(ステップS57)。
(本高品質化部106について)
本高品質化部106は、前述したように選択部105によって選択された特徴量を用いて仮高品質化画像111を高品質化し、出力画像117を生成する。ここでは、仮高品質化画像111の各ブロックは水平及び垂直方向に4画素ずつ重複しているので、高品質化された出力画像117の各画素に対して4つの特徴量が関連することになる。そこで、本高品質化部106では、出力画像117の各画素の輝度値は例えば仮高品質化画像111の輝度値に4つの特徴量の輝度値の平均値を加算することにより算出される。
本高品質化部106は、前述したように選択部105によって選択された特徴量を用いて仮高品質化画像111を高品質化し、出力画像117を生成する。ここでは、仮高品質化画像111の各ブロックは水平及び垂直方向に4画素ずつ重複しているので、高品質化された出力画像117の各画素に対して4つの特徴量が関連することになる。そこで、本高品質化部106では、出力画像117の各画素の輝度値は例えば仮高品質化画像111の輝度値に4つの特徴量の輝度値の平均値を加算することにより算出される。
(第2の実施形態)
図11は、本発明の第2実施形態に従う画像高品質化装置を示している。第1の実施形態に従う図1に示した画像高品質化装置に対して、生起エネルギー算出部107が追加されている。
図11は、本発明の第2実施形態に従う画像高品質化装置を示している。第1の実施形態に従う図1に示した画像高品質化装置に対して、生起エネルギー算出部107が追加されている。
第1の実施形態では、選択部105において隣接エネルギーを最適化するように特徴量を選択する例を説明した。これに対し、第2の実施形態では生起エネルギー算出部107によって特徴量候補の入力画像110への適合度を示すエネルギー(これを生起エネルギーという)を別途計算する。選択部105では、隣接エネルギー算出部104からの隣接エネルギー情報115及び生起エネルギー算出部107からの生起エネルギー情報118を受け、次式(9)で表わされる、隣接エネルギーと生起エネルギーとの加重和を最適化するように特徴量を選択する。
ただし、μは緩和パラメタ、Ωは全ての隣接するブロックの集合である。また、DA,iは特徴量候補hA,iについて定義される生起エネルギーである。式(9)では、緩和パラメタμを重み係数として、第1項の生起エネルギーと第2項の隣接エネルギーとの加重和を算出している。生起エネルギーDA,iは、例えば次式(10)で定義する。
ただし、lA,iは特徴量メモリ102中でhA,iに対応付けられていた低品質画像特徴量であり、lA,queryはブロックAから抽出された低品質画像特徴量である。
本実施形態によると、入力画像に適した高周波成分が選択され、画質が向上する、あるいはアーチファクトノイズの発生が抑制されるという効果がある。
(実験例)
図12A、図12B、図12C及び図12Dにより、発明者が第1の実施形態に従って高品質化画像を生成した結果について説明する。図12Aは原画像であり、これを縦横それぞれ1/4倍に縮小して擬似的に入力画像110を作成した。この入力画像110を縦横それぞれ4倍の大きさに拡大する高解像度化を行った結果が図12B、図12C及び図12Dである。図12Bは従来の隣接エネルギーを用いて得られる高品質化画像、図12Cは仮高品質化画像111、図12Dは出力画像117をそれぞれ示している。
図12A、図12B、図12C及び図12Dにより、発明者が第1の実施形態に従って高品質化画像を生成した結果について説明する。図12Aは原画像であり、これを縦横それぞれ1/4倍に縮小して擬似的に入力画像110を作成した。この入力画像110を縦横それぞれ4倍の大きさに拡大する高解像度化を行った結果が図12B、図12C及び図12Dである。図12Bは従来の隣接エネルギーを用いて得られる高品質化画像、図12Cは仮高品質化画像111、図12Dは出力画像117をそれぞれ示している。
実験の条件としては、高品質化用特徴量は仮高品質化画像111に存在しない高周波数成分を表す画像パッチとし、また仮高品質化画像111の各ブロックに対してそれぞれ16個の特徴量候補を割り当てた。選択部105における隣接エネルギーの最適化には、Belief Propagationを用いた。
図12B、図12C及び図12Dの各画像と原画像との誤差をPSNR(Peak Signal to Noise Ratio)で測定したところ、それぞれ31.6dB、30.6dB及び32.1dBという値が得られた。これらの結果からも理解されるように、実施形態は従来技術による出力画像よりも鮮鋭で高品質の出力画像を生成できる。
このように、本発明の各実施形態に従う画像高品質化装置によれば、特徴量の輝度パターンの類似度に基づいた隣接エネルギーの評価を行うことにより、従来技術の課題が解決され、鮮鋭で高品質の画像を生成することができる。
なお、本発明の実施形態に従う画像高品質化装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、低品質化手段、分離手段、学習手段、画像作成手段は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像高品質化装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、CD−ROMなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、記憶手段は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはCD−R、CD−RW、DVD−RAM、DVD−Rなどの記憶媒体などを適宜利用して実現することができる。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
101・・・仮高品質化部
102・・・特徴量メモリ
103・・・特徴量候補割り当て部
104・・・隣接エネルギー算出部
105・・・選択部
106・・・本高品質化部
107・・・生起エネルギー算出部
102・・・特徴量メモリ
103・・・特徴量候補割り当て部
104・・・隣接エネルギー算出部
105・・・選択部
106・・・本高品質化部
107・・・生起エネルギー算出部
Claims (14)
- 第1の画像を高品質化するための、輝度成分を有する複数の特徴量を記憶するステップと;
前記第1の画像を互いに隣接する第1ブロックと第2ブロック間に重複領域が生じるようにブロック化するステップと;
前記第1ブロック及び第2ブロックに前記複数の特徴量候補から選択された複数の第1特徴量候補及び複数の第2特徴量候補をそれぞれ割り当てるステップと;
前記重複領域における前記第1特徴量候補が持つ第1輝度パターンと前記重複領域における前記第2特徴量候補が持つ第2輝度パターンとの間の類似度を表す第1エネルギーを算出するステップと;
前記第1エネルギーを用いて前記複数の第1特徴量候補及び複数の第2特徴量候補から一つの第1特徴量及び一つの第2特徴量を選択するステップと;
前記第1特徴量及び第2特徴量を用いて前記第1ブロック及び第2ブロックを高品質化して第2の画像を生成するステップと;を具備することを特徴とする画像高品質化方法。 - 前記特徴量は、画像の高周波成分であることを特徴とする請求項1記載の画像高品質化方法。
- 前記選択するステップは、前記複数の第1特徴量候補及び複数の第2特徴量候補から前記第1エネルギーが極小となる第1特徴量及び第2特徴量を選択する請求項1記載の画像高品質化方法。
- 前記第1の画像に対する前記複数の第1特徴量候補の適合度を表す第2エネルギーを算出するステップをさらに具備し、
前記選択するステップは、前記第1エネルギーと前記第2エネルギーとの加重和が極小となる第1特徴量及び第2特徴量を選択する請求項1記載の画像高品質化方法。 - 第1の画像を高品質化するための、輝度成分を有する複数の特徴量を記憶した記憶部と;
前記第1の画像を互いに隣接する第1ブロックと第2ブロック間に重複領域が生じるように複数のブロックに分割し、前記第1ブロック及び第2ブロックに前記複数の特徴量から選択された複数の第1特徴量候補及び複数の第2特徴量候補をそれぞれ割り当てる割り当て部と;
前記重複領域における前記第1特徴量候補が持つ第1輝度パターンと前記重複領域における前記第2特徴量候補が持つ第2輝度パターンとの間の類似度を表す第1エネルギーを算出する第1エネルギー算出部と;
前記第1エネルギーを用いて前記複数の第1特徴量候補及び複数の第2特徴量候補から一つの第1特徴量及び一つの第2特徴量を選択する選択部と;
前記第1特徴量及び第2特徴量を用いて前記第1ブロック及び第2ブロックを高品質化して第2の画像を生成する高品質化部と;を具備することを特徴とする画像高品質化装置。 - 前記選択部は、前記複数の第1特徴量候補及び複数の第2特徴量候補から前記第1エネルギーが極小となる第1特徴量及び第2特徴量を選択することを特徴とする請求項5記載の画像高品質化方法。
- 前記第1の画像に対する前記複数の第1特徴量候補の適合度を表す第2エネルギーを算出する第2エネルギー算出部をさらに具備し、
前記選択部は、前記第1エネルギーと前記第2エネルギーとの加重和が極小となる第1特徴量及び第2特徴量を選択することを特徴とする請求項5記載の画像高品質化装置。 - 前記第1エネルギー算出部は、前記重複領域における前記第1特徴量候補についての第1増分符号と前記重複領域における前記第2特徴量候補についての第2増分符号との間の一致度を前記第1エネルギーとして算出することを特徴とする請求項5記載の画像高品質化装置。
- 前記第1エネルギー算出部は、前記重複領域における前記第1特徴量候補についての第1増分符号と前記重複領域における前記第2特徴量候補についての第2増分符号との間の一致度、及び前記重複領域における前記第1特徴量候補の第1輝度値と前記重複領域における前記第2特徴量候補の第2輝度値との差の2乗和を算出し、前記一致度と前記2乗和との加重和を前記第1エネルギーとして算出することを特徴とする請求項5記載の画像高品質化装置。
- 前記第1エネルギー算出部は、前記重複領域における前記第1特徴量候補の全ての画素の組み合わせについて前記第1増分符号を求め、前記重複領域における前記第2特徴量候補の全ての画素の組み合わせについて前記第2増分符号を求めることを特徴とする請求項5記載の画像高品質化装置。
- 前記第1エネルギー算出部は、前記重複領域における前記第1特徴量候補の一部の画素の組み合わせについて前記第1増分符号を求め、前記重複領域における前記第2特徴量候補の一部の画素の組み合わせについて前記第2増分符号を求めることを特徴とする請求項5記載の画像高品質化装置。
- 前記第1エネルギー算出部は、前記重複領域における前記第1特徴量候補の2つの画素間の輝度値の差に対して2つ以上の種類の符号を割り当てて前記第1増分符号を求め、前記重複領域における前記第2特徴量候補の2つの画素間の輝度値の差に対して2つ以上の種類の符号を割り当てて前記第2増分符号を求めることを特徴とする請求項8乃至11のいずれか1項記載の画像高品質化装置。
- 前記選択部は、全ての第1ブロック及び第2ブロックの組合せで計算される第1エネルギーの総和が極小となる特徴量の組合せを選択することを特徴とする請求項5記載の画像高品質化装置。
- 第1の画像を互いに隣接する第1ブロックと第2ブロック間に重複領域が生じるようにブロック化する処理と;
前記第1ブロック及び第2ブロックに前記第1の画像を高品質化するための、輝度成分を有する複数の特徴量から選択された複数の第1特徴量候補及び複数の第2特徴量候補をそれぞれ割り当てる処理と;
前記重複領域における前記第1特徴量候補が持つ第1輝度パターンと前記重複領域における前記第2特徴量候補が持つ第2輝度パターンとの間の類似度を表す第1エネルギーを算出する処理と;
前記第1エネルギーを用いて前記複数の第1特徴量候補及び複数の第2特徴量候補から一つの第1特徴量及び一つの第2特徴量を選択する処理と;
前記第1特徴量及び第2特徴量を用いて前記第1ブロック及び第2ブロックを高品質化して第2の画像を生成する処理と;を含む画像高品質化処理をコンピュータに行わせるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007307746A JP2009134350A (ja) | 2007-11-28 | 2007-11-28 | 画像の高品質化方法及び装置 |
US12/233,097 US20090136132A1 (en) | 2007-11-28 | 2008-09-18 | Method for improving quality of image and apparatus for the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007307746A JP2009134350A (ja) | 2007-11-28 | 2007-11-28 | 画像の高品質化方法及び装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009134350A true JP2009134350A (ja) | 2009-06-18 |
Family
ID=40669770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007307746A Withdrawn JP2009134350A (ja) | 2007-11-28 | 2007-11-28 | 画像の高品質化方法及び装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20090136132A1 (ja) |
JP (1) | JP2009134350A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013026659A (ja) * | 2011-07-15 | 2013-02-04 | Univ Of Tsukuba | 超解像画像処理装置及び超解像画像処理用辞書作成装置 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5544764B2 (ja) * | 2009-06-09 | 2014-07-09 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP2012234257A (ja) * | 2011-04-28 | 2012-11-29 | Sony Corp | 画像処理装置と画像処理方法およびプログラム |
CN104969257B (zh) * | 2012-12-06 | 2018-08-28 | 日本电气株式会社 | 图像处理设备和图像处理方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6477269B1 (en) * | 1999-04-20 | 2002-11-05 | Microsoft Corporation | Method and system for searching for images based on color and shape of a selected image |
US6868193B1 (en) * | 2000-09-08 | 2005-03-15 | Corel Inc. | Method and apparatus for varying automated data processing |
US6925593B1 (en) * | 2000-09-08 | 2005-08-02 | Corel Corporation | Method and apparatus for transferring data during automated data processing |
US6850956B1 (en) * | 2000-09-08 | 2005-02-01 | Corel Inc. | Method and apparatus for obtaining and storing data during automated data processing |
US6919892B1 (en) * | 2002-08-14 | 2005-07-19 | Avaworks, Incorporated | Photo realistic talking head creation system and method |
WO2004051990A1 (ja) * | 2002-11-29 | 2004-06-17 | Matsushita Electric Industrial Co., Ltd. | 映像再生装置及び映像再生方法 |
US7528844B2 (en) * | 2005-11-10 | 2009-05-05 | Harris Corporation | Interpolation of plotted points between sample values |
-
2007
- 2007-11-28 JP JP2007307746A patent/JP2009134350A/ja not_active Withdrawn
-
2008
- 2008-09-18 US US12/233,097 patent/US20090136132A1/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013026659A (ja) * | 2011-07-15 | 2013-02-04 | Univ Of Tsukuba | 超解像画像処理装置及び超解像画像処理用辞書作成装置 |
Also Published As
Publication number | Publication date |
---|---|
US20090136132A1 (en) | 2009-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9652830B2 (en) | Method and apparatus for performing hierarchical super-resolution of an input image | |
JP6075295B2 (ja) | 辞書作成装置、画像処理装置、画像処理システム、辞書作成方法、画像処理方法及びプログラム | |
US20060193535A1 (en) | Image matching method and image interpolation method using the same | |
JP2005317011A (ja) | 高解像度画像を発生する方法、デジタル画像編集ツールおよび媒体 | |
CN114731408A (zh) | 使用结构化神经网络进行视频帧插值的系统、设备和方法 | |
JP6015670B2 (ja) | 画像処理装置及び画像処理方法 | |
KR101855980B1 (ko) | 홀 채우기 방법 및 장치 | |
JP2009212969A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2009134350A (ja) | 画像の高品質化方法及び装置 | |
JP6624061B2 (ja) | 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体 | |
KR20160038554A (ko) | 영상의 영역 별로 선명화하는 고해상도 영상 생성 장치 및 방법 | |
WO2013089261A1 (ja) | 画像処理システム及び画像処理方法 | |
JP2010154269A (ja) | 画像高品質化方法、装置およびプログラム | |
JP2006279442A (ja) | 画像処理方法および装置並びにプログラム | |
CN108986155B (zh) | 多视点图像的深度估计方法和深度估计设备 | |
JP2020014042A (ja) | 画質評価装置、学習装置及びプログラム | |
JP2008299618A (ja) | 画像高品質化装置、方法およびプログラム | |
JP5198500B2 (ja) | 信号処理装置及びプログラム | |
JP2010257179A (ja) | 画像処理装置及び画像処理プログラム | |
Mahmoudi et al. | Sparse representations for three-dimensional range data restoration | |
JP2015197818A (ja) | 画像処理装置およびその方法 | |
JP6955386B2 (ja) | 超解像装置及びプログラム | |
JP5076758B2 (ja) | 画像処理方法およびプログラム | |
KR20160063792A (ko) | 영상 복원 방법 및 상기 방법을 수행하는 영상 복원 장치 | |
JP5085589B2 (ja) | 画像処理装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20110201 |