JP2019204167A - 画像超解像装置およびそのプログラム、ならびに、パラメータ学習装置およびそのプログラム - Google Patents
画像超解像装置およびそのプログラム、ならびに、パラメータ学習装置およびそのプログラム Download PDFInfo
- Publication number
- JP2019204167A JP2019204167A JP2018097195A JP2018097195A JP2019204167A JP 2019204167 A JP2019204167 A JP 2019204167A JP 2018097195 A JP2018097195 A JP 2018097195A JP 2018097195 A JP2018097195 A JP 2018097195A JP 2019204167 A JP2019204167 A JP 2019204167A
- Authority
- JP
- Japan
- Prior art keywords
- image
- block
- resolution
- super
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 claims description 90
- 230000006870 function Effects 0.000 claims description 62
- 238000000354 decomposition reaction Methods 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 18
- 230000008878 coupling Effects 0.000 claims description 9
- 238000010168 coupling process Methods 0.000 claims description 9
- 238000005859 coupling reaction Methods 0.000 claims description 9
- 230000001902 propagating effect Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 24
- 230000004913 activation Effects 0.000 description 37
- 238000004364 calculation method Methods 0.000 description 17
- 238000001228 spectrum Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 230000003595 spectral effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
Description
そして、この手法は、入力画像が予め原画像を低解像度化した画像であって、原画像をオクターブ分解した帯域別のスペクトルパワー代表値を既知の情報として外部から入力する。あるいは、この手法は、自己相似性を前提として、入力画像をオクターブ分解した帯域別のスペクトルパワー代表値を、そのまま、水平・垂直方向に2倍した帯域のスペクトルパワー代表値とする。
そして、この手法は、入力画像のスペクトルと空間高周波スペクトルとを、外部から入力したスペクトルパワー代表値、あるいは、帯域別に入力画像から求めたスペクトルパワー代表値となるように補正する。
そして、この手法は、補正した入力画像のスペクトルと空間高周波スペクトルとに対して、逆直交変換を行うことで、高解像度化した画像を生成する。
しかし、このような原画像に対する情報は、必ずしも得られるわけではない。そのため、この手法では、元となる原画像がない画像からは、高解像度の画像を生成することができないという問題がある。
しかし、この場合、従来の手法は、スペクトルパワーの調整のみでしか、空間高周波スペクトルを推定することができない。このように、スペクトルパワー代表値を用いたスペクトルパワーの調整のみでは、細かい空間周波数単位でのスペクトルの調整には限界がある。そのため、従来の手法に対して、さらなる高画質化の要望があった。
そして、画像超解像装置は、畳み込みニューラルネットワーク手段によって、切り出したブロックを低域成分として、畳み込みニューラルネットワークを用いて当該ブロックに対応する高域成分を推定する。
なお、画像超解像装置は、コンピュータを、前記した各手段として機能させるための画像超解像プログラムで動作させることができる。
そして、パラメータ学習装置は、ウェーブレット分解手段によって、ブロックをウェーブレット分解した水平方向および垂直方向の両方が低域である低域成分と、水平方向および垂直方向のいずれか一方または両方が高域である高域成分とを生成する。
さらに、パラメータ学習装置は、誤差演算手段によって、ウェーブレット分解手段で生成された高域成分と、学習用畳み込みニューラルネットワーク手段で推定された高域成分との誤差を演算する。
これによって、パラメータ学習装置は、画像超解像装置が用いる畳み込みニューラルネットワークのパラメータである結合重み係数を学習する。
なお、パラメータ学習装置は、コンピュータを、前記した各手段として機能させるためのパラメータ学習プログラムで動作させることができる。
本発明にかかる画像超解像装置によれば、畳み込みニューラルネットワークを用いて、入力画像に対して高域成分を合成することで、超解像画像を生成することができる。この高域成分は、種々の波形の高域成分を学習したものである。そのため、本発明は、従来のような高域成分のパワー調整のみではないため、高画質な超解像画像を生成することができる。
本発明にかかるパラメータ学習装置によれば、学習用の画像を用いて、画像超解像装置が用いる畳み込みニューラルネットワークのパラメータを学習することができる。そのため、本発明は、画像超解像装置が対象とする画像に応じて、学習用の画像を変えることができ、画像超解像装置が用いる畳み込みニューラルネットワークを最適化することができる。
<発明の概要>
まず、図1を参照して、本発明の概要について説明する。図1(a)は、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を用いた本発明の画像超解像装置1(図2)の処理概要を示す図である。図1(b)は、本発明の画像超解像装置1(図2)で用いるCNNのパラメータを学習するパラメータ学習装置(図7)の処理概要を示す図である。
図1(a)に示すように、画像超解像装置1は、画像LのブロックB(例えば、8×8画素)を順次切り出し、当該ブロックBを、2次元ウェーブレット分解における水平、垂直ともに低域成分であるLL画像(LL1)とする。また、画像超解像装置1は、LL画像(LL1)から、予めパラメータPaを学習したCNNによって、高域3成分として、LL画像(LL1)に対応する水平が高域成分、垂直が低域成分であるHL画像(HL1^)と、水平が低域成分、垂直が高域成分であるLH画像(LH1^)と、水平、垂直ともに高域成分であるHH画像(HH1^)とを推定する。
このように、画像超解像装置1は、ブロックBごとにCNNを用いた高解像度化を行うことで、低解像度の画像Lから高解像度(超解像)の画像Hを生成する。
図1(b)に示すように、パラメータ学習装置2は、学習用画像DのブロックE(例えば、16×16画素)を順次切り出す。そして、パラメータ学習装置2は、2次元ウェーブレット分解により、ブロックE(LL0′)を、LL画像(LL1′)と、HL画像(HL1′)と、LH画像(LH1′)と、HH画像(HH1′)とに分解する。
そして、パラメータ学習装置2は、LL画像(LL1′)をCNNに入力し、その出力であるHL画像(HL1^)、LH画像(LH1^)およびHH画像(HH1^)と、正解データであるウェーブレット分解後のHL画像(HL1′)、LH画像(LH1′)およびHH画像(HH1′)との誤差をなくすように誤差逆伝播法により、CNNのパラメータPaを学習する。
また、パラメータ学習装置2は、学習用画像Dとして、汎用的な画像を用いれば、汎用的な画像を高解像度化するための画像超解像装置1が用いるCNNを学習することができる。
なお、学習用画像Dは、1枚である必要なく、複数枚の画像を用いてもよい。
以下、画像超解像装置1およびパラメータ学習装置2の構成および動作について詳細に説明する。
図2を参照して、画像超解像装置1の構成について説明する。なお、ここでは、画像超解像装置1に入力する画像Lの解像度を水平Ax画素、垂直Ay画素とする。また、画像超解像装置1が出力する画像Hの解像度を、画像Lを水平方向および垂直方向にそれぞれ2倍した水平2Ax画素、垂直2Ay画素とする。
図2に示すように、画像超解像装置1は、ブロック切り出し手段10と、ブロック走査手段11と、畳み込みニューラルネットワーク手段12と、ウェーブレット再構成手段13と、ブロック配置手段14と、を備える。
ブロック切り出し手段10は、水平P画素および垂直Q画素(P×Q画素)の矩形領域のブロックを画像Lから切り出す。ここで、PおよびQはともに自然数とし、かつ、P×Qは2以上とする。例えば、P=8およびQ=8である。
ブロック切り出し手段10は、切り出したブロックを畳み込みニューラルネットワーク手段12と、ウェーブレット再構成手段13とに出力する。
具体的には、ブロック切り出し手段10は、以下の式(1)により正規化を行いブロックBの画素値(x,y,c)とする。
あるいは、ブロック走査手段11は、例えば、時点u(uは0以上の整数)において、以下の式(3)により、時間の前後で切り出し画像が重なり合うように、水平方向P/2画素および垂直方向Q/2画素の間隔で、ラスタ走査の順序に座標(p,q)を生成することとしてもよい。
例えば、畳み込みニューラルネットワーク手段12は、ブロック切り出し手段10から、P×Q画素の矩形のブロックが入力された場合、P×Q画素の画像を3チャンネル分出力する。
畳み込みニューラルネットワーク手段12は、例えば、1個以上の畳込手段120と、1個以上の活性化関数適用手段121とを交互に縦続接続した構成とすることができる。
図2に示すように、畳み込みニューラルネットワーク手段12は、L個の畳込手段120(1201,1202,…,120L)と、L個の活性化関数適用手段121(1211,1212,…,121L)と、を備える。
畳込手段120i(iは1以上L以下の整数)は、カーネルサイズMi×Ni×Ki−1の3階テンソルの畳み込み演算器(カーネル:不図示)をKi種類(Ti (0)(r,s,t)〜Ti (Ki−1)(r,s,t))備え、サイズP×Q×Ki−1の3階テンソルIi−1(r,s,t)の入力に対して、畳み込み演算を行い、サイズP×Q×Kiの3階テンソルJi(r,s,t)として出力する。
具体的には、畳込手段120iは、以下の式(4)により、Ji(r,s,t)を算出する。
なお、ri (0)、ri (1)、si (0)およびsi (1)は、例えば、以下の式(5)、あるいは、式(6)により定義した値を用いる。
また、例えば、Mi=4、Ni=4の場合、式(5)によれば、ri (0)=−1、ri (1)=+2、si (0)=−1、si (1)=+2となり、式(6)によれば、ri (0)=−2、ri (1)=+1、si (0)=−2、si (1)=+1となる。
また、畳込手段1201への入力であるI0(r,s,t)には、以下の式(7)に示すように、ブロック切り出し手段10から入力されるブロックB(r,s,t)を設定する。
活性化関数適用手段121i(iは1以上L以下の整数)は、以下の式(8)に示すように、畳込手段120iから入力されるサイズP×Q×Kiの3階テンソルJi(r,s,t)の各成分に対して、活性化関数φを適用し、その適用結果を、サイズP×Q×Kiの3階テンソルIi(r,s,t)として出力する。
例えば、i=1,2,…,L−1については、ReLU(Rectified Linear Unit:正規化線形関数)を用い(式(9)参照)、i=Lについては活性化関数を用いない(式(13)参照)等である。以下に、活性化関数適用手段121で適用する活性化関数の具体例である関数φを示す。
例えば、関数φは、以下の式(9)に示すReLUを用いることができる。
なお、最終段の畳込手段120L以外の畳込手段120に接続される活性化関数適用手段121には、ニューラルネットワークの滑らかな表現を学習するため、非線形な活性化関数(式(13)以外)を用いることする。
最終段の畳込手段120Lの後段に接続される活性化関数適用手段121Lには、すべての出力を活性化させるため、正、負および零の値をとり得る活性化関数(例えば、式(11)の双曲線正接関数、式(12)のソフトサイン関数)を用いるか、活性化関数を適用しない関数(式(13))を用いるか、あるいは、活性化関数適用手段121Lそのものを省略するものとする。
畳み込みニューラルネットワーク手段12は、畳み込みニューラルネットワークによる処理を実行した最終段の演算結果JLを、ウェーブレット再構成手段13に出力する。
ウェーブレット再構成手段13は、色成分ごとにウェーブレット再構成を行う第1ウェーブレット再構成手段131と、第2ウェーブレット再構成手段132と、第3ウェーブレット再構成手段133と、を有し、ブロック切り出し手段10で切り出されるブロックBと、畳み込みニューラルネットワーク手段12で演算されたブロックBの3倍の標本数のデータJLとに基づいて、ウェーブレット再構成を行い、超解像ブロックSを生成するものである。なお、以下では、超解像ブロックSの座標(x,y)における色成分cの画素値をS(x,y,c)と表す。ただし、入力画像Lがモノクロ画像の場合には、色成分cは、c=0のみとする。この場合、ウェーブレット再構成手段13は図2に示すように1つの構成とすればよい。
例えば、入力画像Lがモノクロ画像で、基底関数がハール基底の場合、ウェーブレット再構成手段13は、ブロック切り出し手段10の出力であるブロックB(r,s,0)と、畳み込みニューラルネットワーク手段12の出力であるJL(r,s,0)、JL(r,s,1)およびJL(r,s,2)とに基づいて、以下の式(14)により、超解像ブロックSを生成する。
また、ブロック走査手段11が生成する座標を、ブロックが重なる切り出し座標(p,q)とする場合、ブロック配置手段14は、切り出し座標(p,q)に応じて、超解像ブロックSをブレンディングにより合成することで、超解像画像を生成する
具体的には、ブロック配置手段14は、ブロックが重なり合わない切り出し座標の場合(前記式(2)参照)、以下の式(16)により、ブロック走査手段11の走査に応じた座標(p,q)に対応して、超解像ブロックSを超解像画像Hに配置する。
また、ブロック配置手段14は、ブロックが重なり合う切り出し座標の場合(前記式(3)参照)、以下の式(17)により、所定の重みWp,q(ρ,σ,c)を付加して、オーバーラップ部分のブレンディングを行い、超解像画像Hを合成する。
重みWp,qには、以下の式(18)、式(19)に示すように、水平方向の因子Wp,q (Hor)と垂直方向の因子Wp,q (Ver)の積を用いることができる。
ブロック配置手段14は、ブロック走査手段11が入力画像Lの走査を終えた時点で、入力画像Lの4倍(水平2倍、垂直2倍)の解像度を有する出力画像(超解像画像)Hを生成することができる。
このとき、入力画像Lが原画像を縮小して生成したものであっても、画像超解像装置1は、原画像を参照することなく、入力画像Lに対するウェーブレット再構成可能な空間高周波スペクトルを推定し、超解像画像Hを生成することができる。
なお、画像超解像装置1は、コンピュータを、前記した各手段として機能させるためのプログラム(画像超解像プログラム)により動作させることができる。
図4を参照(構成については、適宜図2参照)して、画像超解像装置1の動作について説明する。なお、畳み込みニューラルネットワーク手段12の畳込手段120の結合重み係数は、予めパラメータ学習装置2(図7)によって学習されたパラメータが設定されているものとする。
なお、ブロックの切り出し位置は、ブロックが重ならない位置としてもよいし、ブロックが重複する位置としてもよく、予め定めたいずれか一方の切り出し位置とする。
この畳み込みニューラルネットワーク手段12が出力するデータは、図1(a)に示したHL画像(HL1^)、LH画像(LH1^)およびHH画像(HH1^)に相当する。
ここで、入力画像Lのすべてのブロックを走査していない場合(ステップS6でNo)、画像超解像装置1は、ステップS1に戻って、動作を継続する。
以上の動作により、画像超解像装置1は、畳み込みニューラルネットワークによって、高解像度の画像(超解像画像)を生成することができる。
ここで、画像超解像装置1が用いる畳み込みニューラルネットワークの一例について説明する。
図5は、画像超解像装置1の具体例を示すブロック構成図であって、畳み込みニューラルネットワークN1として、5層CNNの例を示している。図5で、Conv.(5,5,16)は、畳込手段120を示し、5×5のカーネルを16種類備えていることを示している。また、ReLUは、正規化線形関数を用いた活性化関数適用手段121を示している。
最終段の畳込手段であるConv.(5,5,3)は、5×5のカーネルを3種類備えていることを示している。また、ここでは、最終段に、活性化関数適用手段121を用いない例を示している。なお、Conv.が使用するカーネルの結合重み係数は、パラメータ学習装置2(図7)からパラメータPaとして与えられる。
これによって、画像超解像装置1は、ブロックBをLL画像(LL1)とし、畳み込みニューラルネットワークN1の出力であるHL画像(HL1^)、LH画像(LH1^)およびHH画像(HH1^)とを、ウェーブレット再構成することで、超解像ブロックS(LL0^)を生成することができる。
なお、ここでは、図5の畳み込みニューラルネットワークN1と層数が異なる以外に、各層間に適宜加算器Aを備え、直前の層の出力に、その層よりも前の層の出力を加算する構成としている。
このように、畳み込みニューラルネットワークN2は、ResNet(Residual Network)の構成としてもよい。これによって、少ない層数でも層の深度を深めることで、より推定精度の高い畳み込みニューラルネットワークを構成することができる。
次に、図7を参照して、パラメータ学習装置2の構成について説明する。なお、ここでは、パラメータ学習装置2に入力される画像Dの解像度を水平Dx画素、垂直Dy画素とする。
図7に示すように、パラメータ学習装置2は、ブロック切り出し手段20と、ブロック走査手段21と、ウェーブレット分解手段22と、学習用畳み込みニューラルネットワーク手段23と、誤差演算手段24と、パラメータ出力手段25と、を備える。
ブロック切り出し手段20は、切り出したブロックをウェーブレット分解手段22に出力する。
具体的には、ブロック切り出し手段20は、以下の式(20)により正規化を行いブロックEの画素値(x,y,c)とする。
ブロック走査手段21は、画像D内を所定の画素間隔でラスタスキャンするように走査しても構わないし、乱数により座標(p,q)を生成することとしても構わない。
ブロック走査手段21が乱数により座標(p,q)を生成する場合、例えば、pは0以上(Dx−2P)以下の一様乱数、また、qは0以上(Dy−2Q)以下の一様乱数とする。なお、この一様乱数は、それを近似する疑似乱数としても構わない。
ブロック走査手段21は、生成した切り出し座標(p,q)を、ブロック切り出し手段20に出力する。
ウェーブレット分解手段22は、色成分ごとにウェーブレット分解を行う第1ウェーブレット分解手段221と、第2ウェーブレット分解手段222と、第3ウェーブレット分解手段223と、を有し、ブロック切り出し手段20で切り出したブロックを入力して、ウェーブレット分解を行うものである。なお、入力画像Dがモノクロ画像の場合には、ウェーブレット分解手段22は図7に示すように1つの構成とすればよい。
例えば、基底関数としてハール基底を用いる場合、ウェーブレット分解手段22は、以下の式(21)により、ブロック切り出し手段20で切り出したブロックEから、LL画像(LL(r,s,t))、HL画像(HL(r,s,t))、LH画像(LH(r,s,t))およびHH画像(HH(r,s,t))を生成する。
ウェーブレット分解手段22は、生成したLL画像を、学習用畳み込みニューラルネットワーク手段23に出力し、HL画像、LH画像およびHH画像を、誤差演算手段24に出力する。
図7に示すように、学習用畳み込みニューラルネットワーク手段23は、L個の畳込手段230(2301,2302,…,230L)と、L個の活性化関数適用手段231(2311,2312,…,231L)と、を備える。畳込手段230および活性化関数適用手段231は、画像超解像装置1の畳み込みニューラルネットワーク手段12(図2)の畳込手段120および活性化関数適用手段121と同じ接続構成とする。
畳込手段230i(iは1以上L以下の整数)は、サイズP×Q×Ki−1の3階テンソルIi−1(r,s,t)の入力に対して、畳み込み演算を行い、サイズP×Q×Kiの3階テンソルJi(r,s,t)として出力する(前記式(4)参照)。
なお、畳込手段230iが用いるカーネルのサイズおよび種類は、畳込手段120i(図2)と同じとする。
また、畳込手段2301への入力であるI0(r,s,t)には、以下の式(22)に示すように、ウェーブレット分解手段22から入力されるLL画像(LL(r,s,t))を設定する。
活性化関数適用手段231i(iは1以上L以下の整数)は、畳込手段230iから入力されるサイズP×Q×Kiの3階テンソルJi(r,s,t)の各成分に対して、活性化関数φを適用し、その適用結果を、サイズP×Q×Kiの3階テンソルIi(r,s,t)として出力する。なお、活性化関数適用手段231iが用いる活性化関数は、活性化関数適用手段121iと同じとする。
学習用畳み込みニューラルネットワーク手段23は、算出した3階テンソルJLを誤差演算手段24に出力する。
学習用畳み込みニューラルネットワーク手段23は、誤差逆伝播法による結合重み係数の更新を完了(学習完了)した後、それぞれの畳込手段230の結合重み係数をパラメータ出力手段25に出力する。
誤差演算手段24は、以下の式(23)に示すように、3階テンソルJL(r,s,t)と、HL画像(HL(r,s,t))、LH画像(LH(r,s,t))およびHH画像(HH(r,s,t))とから、サイズP×Q×3Cの3階テンソル値である誤差テンソルΔを演算し、学習用畳み込みニューラルネットワーク手段23に出力する。
このパラメータ出力手段25が出力するパラメータは、画像超解像装置1(図2)の畳み込みニューラルネットワーク手段12を構成する畳込手段120(1201,1202,…,120L)に設定されることで、画像超解像装置1を最適な状態で動作させることができる。
なお、パラメータ学習装置2は、コンピュータを、前記した各手段として機能させるためのプログラム(パラメータ学習プログラム)により動作させることができる。
図9を参照(構成については、適宜図7参照して、パラメータ学習装置2の動作について説明する。なお、畳み込みニューラルネットワーク手段12の畳込手段120の結合重み係数は、予めパラメータ学習装置2(図7)によって学習されたパラメータが設定されているものとする。
ステップS16において、学習用畳み込みニューラルネットワーク手段23は、予め定めた繰り返し回数等によって、学習が完了したか否かを判定する。
ここで、学習が完了していない場合(ステップS16でNo)、パラメータ学習装置2は、ステップS10に戻って、動作を継続する。
以上の動作により、パラメータ学習装置2は、画像超解像装置1が用いる畳み込みニューラルネットワークのパラメータを学習することができる。
また、画像超解像装置1の製造後、適宜の時期にパラメータ学習装置2におけるパラメータの学習を行い、画像超解像装置1のパラメータを再設定することとしてもよい。
また、例えば、パラメータ学習装置2が画像超解像装置1と同一の入力画像で学習を行う場合、画像超解像装置1の動作中の適宜の時期(例えば、入力画像の毎入力時)に、パラメータ学習装置2を動作させ、学習後のパラメータを画像超解像装置1に設定することとしてもよい。
10 ブロック切り出し手段
11 ブロック走査手段
12 畳み込みニューラルネットワーク手段
120 畳込手段
121 活性化関数適用手段
13 ウェーブレット再構成手段
14 ブロック配置手段
2 パラメータ学習装置
20 ブロック切り出し手段
21 ブロック走査手段
22 ウェーブレット分解手段
23 学習用畳み込みニューラルネットワーク手段
230 畳込手段
231 活性化関数適用手段
24 誤差演算手段
25 パラメータ出力手段
Claims (9)
- 画像をウェーブレット分解した低域成分から当該画像の高域成分を推定する畳み込みニューラルネットワークを用いて、入力画像を高解像度化する画像超解像装置であって、
前記入力画像から予め定めたサイズのブロックを切り出すブロック切り出し手段と、
前記ブロックを前記低域成分として、前記畳み込みニューラルネットワークを用いて前記ブロックに対応する前記高域成分を推定する畳み込みニューラルネットワーク手段と、
前記高域成分をウェーブレット再構成し、前記ブロックを超解像した超解像ブロックを生成するウェーブレット再構成手段と、
前記ブロックを切り出した位置に前記超解像ブロックを再配置し、前記入力画像に対する超解像画像を生成するブロック配置手段と、
を備えることを特徴とする画像超解像装置。 - 前記畳み込みニューラルネットワークは、色に関して1以上のチャンネル分の画像から前記チャンネル分の高域成分を推定することを特徴とする請求項1に記載の画像超解像装置。
- 前記ブロック切り出し手段は、前記チャンネル分の画像から前記チャンネル分のブロックを切り出して、前記畳み込みニューラルネットワーク手段への入力とし、
前記ウェーブレット再構成手段は、前記チャンネル分のブロックと、前記畳み込みニューラルネットワーク手段で推定される前記チャンネル分の高域成分とから、前記チャンネル分の超解像ブロックを生成し、
前記ブロック配置手段は、前記チャンネル分の超解像ブロックをチャンネル別に配置することで、チャンネルの数に対応した超解像画像を生成することを特徴とする請求項2に記載の画像超解像装置。 - 前記ブロック切り出し手段は、前記入力画像において、領域が重複するように切り出し、
前記ブロック配置手段は、前記超解像ブロックの重複した領域を合成して前記超解像画像を生成することを特徴とする請求項1から請求項3のいずれか一項に記載の画像超解像装置。 - 請求項1から請求項4のいずれか一項に記載の画像超解像装置で用いる畳み込みニューラルネットワークのパラメータを学習するパラメータ学習装置であって、
入力画像から、前記畳み込みニューラルネットワークの入力となる画像の水平方向および垂直方向に2倍の解像度のブロックを順次切り出すブロック切り出し手段と、
前記ブロックをウェーブレット分解した低域成分と、高域成分とを生成するウェーブレット分解手段と、
前記低域成分を入力し、前記畳み込みニューラルネットワークにおいて順方向に伝播させることで高域成分を推定する学習用畳み込みニューラルネットワーク手段と、
前記ウェーブレット分解手段で生成された高域成分と、前記学習用畳み込みニューラルネットワーク手段で推定された高域成分との誤差を演算する誤差演算手段と、を備え、
前記学習用畳み込みニューラルネットワーク手段は、前記誤差を誤差逆伝播法により、前記畳み込みニューラルネットワークにおいて逆方向に伝播させることで、前記畳み込みニューラルネットワークの結合重み係数を前記パラメータとして学習することを特徴とするパラメータ学習装置。 - 前記畳み込みニューラルネットワークは、色に関して1以上のチャンネル分の画像から前記チャンネル分の高域成分を推定することを特徴とする請求項5に記載のパラメータ学習装置。
- 前記ブロック切り出し手段は、前記チャンネル分の画像から前記チャンネル分のブロックを切り出し、
前記ウェーブレット分解手段は、前記チャンネル分のブロックから、前記チャンネル分の低域成分と高域成分とを生成することを特徴とする請求項6に記載のパラメータ学習装置。 - コンピュータを、請求項1から請求項4のいずれか一項に記載の画像超解像装置として機能させるための画像超解像プログラム。
- コンピュータを、請求項5から請求項7のいずれか一項に記載のパラメータ学習装置として機能させるためのパラメータ学習プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018097195A JP7122155B2 (ja) | 2018-05-21 | 2018-05-21 | 画像超解像装置およびそのプログラム、ならびに、パラメータ学習装置およびそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018097195A JP7122155B2 (ja) | 2018-05-21 | 2018-05-21 | 画像超解像装置およびそのプログラム、ならびに、パラメータ学習装置およびそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019204167A true JP2019204167A (ja) | 2019-11-28 |
JP7122155B2 JP7122155B2 (ja) | 2022-08-19 |
Family
ID=68726915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018097195A Active JP7122155B2 (ja) | 2018-05-21 | 2018-05-21 | 画像超解像装置およびそのプログラム、ならびに、パラメータ学習装置およびそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7122155B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111355965A (zh) * | 2020-02-28 | 2020-06-30 | 中国工商银行股份有限公司 | 一种基于深度学习的图像压缩还原方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030053717A1 (en) * | 2001-08-28 | 2003-03-20 | Akhan Mehmet Bilgay | Image enhancement and data loss recovery using wavelet transforms |
JP2016091060A (ja) * | 2014-10-29 | 2016-05-23 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2018
- 2018-05-21 JP JP2018097195A patent/JP7122155B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030053717A1 (en) * | 2001-08-28 | 2003-03-20 | Akhan Mehmet Bilgay | Image enhancement and data loss recovery using wavelet transforms |
JP2016091060A (ja) * | 2014-10-29 | 2016-05-23 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Non-Patent Citations (3)
Title |
---|
CHAO DONG, 外3名: ""Image Super-Resolution Using Deep Convolutional Networks"", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 第38巻, 第2号, JPN6022012144, 1 June 2015 (2015-06-01), US, pages 295 - 307, ISSN: 0004741967 * |
TINGWEI WANG, 外3名: ""Aerial Image Super Resolution via Wavelet Multiscale Convolutional Neural Networks"", IEEE GEOSCIENCE AND REMOTE SENSING LETTERS, vol. 第15巻, 第5号, JPN6022012145, 15 March 2018 (2018-03-15), US, pages 769 - 773, ISSN: 0004741966 * |
河畑則文: ""CNNの構造に基づいた多視点超解像画像の最適設計と符号化画質評価"", 電子情報通信学会技術研究報告, vol. 第118巻, 第65号, JPN6022012143, 18 May 2018 (2018-05-18), JP, pages 15 - 20, ISSN: 0004741968 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111355965A (zh) * | 2020-02-28 | 2020-06-30 | 中国工商银行股份有限公司 | 一种基于深度学习的图像压缩还原方法及装置 |
CN111355965B (zh) * | 2020-02-28 | 2022-02-25 | 中国工商银行股份有限公司 | 一种基于深度学习的图像压缩还原方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7122155B2 (ja) | 2022-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5734475B2 (ja) | 変換の高速でメモリ効率の良い実施のための方法 | |
JP6106897B2 (ja) | ぼやけた画像に基づいて鮮明な画像を生成する方法および装置 | |
JPH05502534A (ja) | ディジタル画像のノイズ除去システムおよび方法 | |
JP2019500667A (ja) | 画像アップスケーリング | |
JPWO2006041127A1 (ja) | 劣化情報復元方法と復元装置 | |
KR20070085363A (ko) | 열화 정보 복원 방법, 복원 장치 및 프로그램이 기록된 기록 매체 | |
Li et al. | Adaptive inpainting algorithm based on DCT induced wavelet regularization | |
JP5362130B2 (ja) | イメージ処理方法及びそのための装置 | |
JP2012009053A (ja) | ランク−1格子による画像合成 | |
JPH08294001A (ja) | 画像処理方法および画像処理装置 | |
JP2019204167A (ja) | 画像超解像装置およびそのプログラム、ならびに、パラメータ学習装置およびそのプログラム | |
JP7002213B2 (ja) | 空間・階調超解像装置及びプログラム | |
WO2020022519A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6532151B2 (ja) | 超解像装置およびプログラム | |
US20230060988A1 (en) | Image processing device and method | |
Van De Ville et al. | Least-squares spline resampling to a hexagonal lattice | |
KR20130104410A (ko) | 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법 | |
US20180218477A1 (en) | Data interpolation device, method therefor, and image processing apparatus | |
WO2016006554A1 (ja) | 超音波診断装置 | |
WO2011087083A1 (ja) | データ処理方法、データ処理装置、及びデータ処理プログラム | |
Kishan et al. | Patch-based and multiresolution optimum bilateral filters for denoising images corrupted by Gaussian noise | |
US20060245667A1 (en) | 1-D image restoration using a sliding window method | |
Dar et al. | Modular admm-based strategies for optimized compression, restoration, and distributed representations of visual data | |
JP2004304543A (ja) | ハーフトーン化処理方法及びハーフトーン化処理システム | |
Zhou et al. | Low cost implementation for the multi-xcale Retinex filter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210409 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220808 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7122155 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |