JP2010257179A - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】受け付けた画像よりも高解像度の画像を復元する場合にあって、従来から知られている高速手法よりも限定条件を少なくして画質を向上させるようにした画像処理装置を提供する。
【解決手段】画像処理装置は、複数の画像と各画像の移動量を受け付け、画像と移動量に基づいて、初期の推定画像を生成し、移動縮小手段は、推定画像を移動し、縮小し、差分抽出手段は、その結果画像と受け付けられた画像との差分を抽出し、移動拡大手段は、その結果画像を前記移動縮小手段とは逆方向に移動し、拡大し、蓄積加算手段は、その結果画像を蓄積してある画像に加算して蓄積し、係数乗算手段は、その結果画像に予め定められた係数を乗算し、反復手段は、その結果画像を前記推定画像として、前記移動縮小手段から前記係数乗算手段までの処理を、予め定められた条件に応じて反復して行わせる処理を行う。
【選択図】図１

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

互いに類似した複数の画像を受け付けて、その画像よりも高解像度の画像を復元する処理は超解像処理と呼ばれる。

これに関連する技術として、例えば、特許文献１には、高解像度の画像情報を高画質化し、処理を高速化させた画像処理方法及び装置を提供することを目的として、低解像度のカラー画像を、例えばＲＧＢやＹＵＶ、Ｌａｂ等の色空間を利用してビットプレーンに分離し、分離された多値画像の１ビット目から４ビット目に対して線形補間処理を行い、また人間の視覚にとって目立ちやすい５ビット目から８ビット目に対しては輪郭抽出、解像度変換、及び描画処理を行った後、これらの処理を各プレーンに対して行い、色空間を結合し、高解像度のカラー画像を得ることが開示されている。

また、例えば、特許文献２には、軽い処理負荷で、高画質な拡大画像を高速に得ることができる画像処理装置を提供することを課題として、画像拡大プログラムの画像ブロック特徴量算出部は、画像ブロック中の注目領域のエッジ強度を算出し、この注目領域が特徴ブロックであるか非特徴ブロックであるかを判定し、ブロック重畳度を算出し、高画質画像ブロック生成部は、注目領域及びその周辺領域の画像データに対して、コントラスト強調処理を施し、注目領域のエッジパターン及び注目領域の推定エッジ方向等に基づいて、注目領域に対する拡大画像ブロックを生成し、高速拡大処理部は、入力画像データに対して拡大処理を行い、拡大画像生成部は、算出されたブロック重畳度に基づいて、高画質画像ブロック生成部により生成された拡大画像と、高速拡大処理部により拡大された拡大画像を統合することが開示されている。

また、例えば、非特許文献１には、超解像処理を高速に行う手法が開示されている。この手法については後述する。

特開平０８−２５１３９７号公報 特開２００６−３４４００２号公報

「Ａ Ｆａｓｔ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｐｕｒｅ Ｔｒａｎｓｌａｔｉｏｎａｌ Ｍｏｔｉｏｎ ａｎｄ Ｃｏｍｍｏｎ Ｓｐａｃｅ−Ｉｎｖａｒｉａｎｔ Ｂｌｕｒ」，ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ，ＶＯＬ． １０，ＮＯ． ８，ＡＵＧＵＳＴ ２００１，ｐｐ． １１８７−１１９３

本発明は、受け付けた画像よりも高解像度の画像を復元する場合にあって、従来から知られている高速手法よりも限定条件を少なくして画質を向上させるようにした画像処理装置及び画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、複数の画像を受け付ける画像受付手段と、前記画像受付手段によって受け付けられた各画像の移動量を受け付ける移動量受付手段と、前記画像受付手段によって受け付けられた画像と前記移動量受付手段によって受け付けられた移動量に基づいて、初期の推定画像を生成する初期推定画像生成手段と、推定画像を移動し、縮小する移動縮小手段と、前記移動縮小手段による処理結果である画像と前記画像受付手段によって受け付けられた画像との差分を抽出する差分抽出手段と、前記差分抽出手段による処理結果である画像を前記移動縮小手段とは逆方向に移動し、拡大する移動拡大手段と、前記移動拡大手段による処理結果である画像を蓄積してある画像に加算して蓄積する蓄積加算手段と、前記蓄積加算手段による処理結果である画像に予め定められた係数を乗算する係数乗算手段と、前記係数乗算手段による処理結果である画像を前記推定画像として、前記移動縮小手段、前記差分抽出手段、前記移動拡大手段、前記蓄積加算手段、前記係数乗算手段による処理を、予め定められた条件に応じて反復して行わせる反復手段と、前記反復手段により反復して処理した結果の画像を出力する出力手段を具備することを特徴とする画像処理装置である。

請求項２の発明は、前記反復手段により反復して処理した結果の画像に対して高域を強調する処理を行う高域強調手段をさらに具備し、前記出力手段は、前記高域強調手段による処理結果である画像を出力することを特徴とする請求項１に記載の画像処理装置である。

請求項３の発明は、前記推定画像に対してコンボリューション演算を行うコンボリューション演算手段と、前記コンボリューション演算手段による処理結果である画像と前記係数乗算手段による処理結果である画像を加算する加算手段をさらに具備し、前記反復手段は、前記加算手段による処理結果である画像を前記推定画像として、前記移動縮小手段、前記差分抽出手段、前記移動拡大手段、前記蓄積加算手段、前記係数乗算手段、前記加算手段による処理を、予め定められた条件に応じて反復して行わせることを特徴とする請求項１又は２に記載の画像処理装置である。

請求項４の発明は、前記移動拡大手段は、前記移動縮小手段によって抽出されなかった画素はゼロを挿入して拡大することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置である。

請求項５の発明は、前記移動拡大手段は、前記差分抽出手段による処理結果である画像を拡大補間することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置である。

請求項６の発明は、コンピュータを、複数の画像を受け付ける画像受付手段と、前記画像受付手段によって受け付けられた各画像の移動量を受け付ける移動量受付手段と、前記画像受付手段によって受け付けられた画像と前記移動量受付手段によって受け付けられた移動量に基づいて、初期の推定画像を生成する初期推定画像生成手段と、推定画像を移動し、縮小する移動縮小手段と、前記移動縮小手段による処理結果である画像と前記画像受付手段によって受け付けられた画像との差分を抽出する差分抽出手段と、前記差分抽出手段による処理結果である画像を前記移動縮小手段とは逆方向に移動し、拡大する移動拡大手段と、前記移動拡大手段による処理結果である画像を蓄積してある画像に加算して蓄積する蓄積加算手段と、前記蓄積加算手段による処理結果である画像に予め定められた係数を乗算する係数乗算手段と、前記係数乗算手段による処理結果である画像を前記推定画像として、前記移動縮小手段、前記差分抽出手段、前記移動拡大手段、前記蓄積加算手段、前記係数乗算手段による処理を、予め定められた条件に応じて反復して行わせる反復手段と、前記反復手段により反復して処理した結果の画像を出力する出力手段として機能させることを特徴とする画像処理プログラムである。

請求項１の画像処理装置によれば、受け付けた画像よりも高解像度の画像を復元する場合にあって、従来から知られている高速手法よりも限定条件を少なくして画質を向上させることができる。

請求項２の画像処理装置によれば、本構成を有していない場合に比較して、より高画質な画像とすることができる。

請求項３の画像処理装置によれば、本構成を有していない場合に比較して、より高画質な画像とすることができる。

請求項４の画像処理装置によれば、本構成を有していない場合に比較して、より高速に処理を行うことができる。

請求項５の画像処理装置によれば、本構成を有していない場合に比較して、より高画質な画像とすることができる。

請求項６の画像処理プログラムによれば、受け付けた画像よりも高解像度の画像を復元する場合にあって、従来から知られている高速手法よりも限定条件を少なくして画質を向上させることができる。

本実施の形態の構成例についての概念的なモジュール構成図である。 ｚ更新処理モジュール内の構成例についての概念的なモジュール構成図である。 シフト＋縮小サンプリングモジュールによる処理例を示す説明図である。 シフト＋縮小サンプリングモジュールによる処理例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

＜１． 超解像処理の一般手法と高速手法＞
まず、本実施の形態の理解を容易にするために、主に非特許文献１に記載されている超解像処理について説明する。なお、画像、ベクトル、行列、オペレータを数式内では太字で表記する。

＜１．１． 一般手法＞
まずは、高速手法ではない一般的な超解像処理について説明する。なお、この一般的な手法も非特許文献１に記載されているものである。
（１）まず、解像度の低い画像がＮ枚あるとする。これらは互いに類似する画像を含んでいる。
（２）これらの画像をラスタ順に１次元に並べた列ベクトルｙ_ｋとする。ここで、ｋ＝１，２，．．．，Ｎである。
（３）これらの画像ｙ_ｋの画素数（ベクトルの次元数）をＭ_ｋとする。すなわち縦画素数×横画素数＝Ｍ_ｋである。
（４）求めたい解像度の高い理想的な画像（以下、理想的画像ともいう）をｘとする。
（５）理想的画像ｘの画素数（ベクトルの次元数）をＬとする。すなわち縦画素数×横画素数＝Ｌである。

ここで、理想的画像ｘは、幾何的に歪められ、ボケて、さらに、縮小サンプリングされ、さらにノイズが付与されて、解像度の低い（すなわち、画素数の小さな）画像ｙ_ｋとなると仮定する。超解像処理は、この仮定を用いて、理想的画像ｘを求めるものである。この仮定を式で表すと（１）式のように書くことができる。

ここで、Ｆ_ｋは、画像ｘの幾何歪みを表すＬ×Ｌの行列である。ここで、幾何歪みとは、画像のアフィン変換や射影変換、その他のシフトや歪みなどを表している。
Ｈ_ｋは、ボケ（線形時変フィルタ）を表すＬ×Ｌの行列である。
Ｄ_ｋは、縮小サンプリングを表すＭ_ｋ×Ｌの行列である。
ｖ_ｋは、自己相関行列が（２）式のようであり、加法性ゼロ平均ガウシアンノイズを表すＬ次元のベクトルである。

以上の条件下で、xを最尤推定する。推定値の（３）式は、（４）式のように表される。

この（４）式を解くと、（５）式のようになる。

（５）式では、一般に、ｘの次元数が大きく、（５）式の方程式を直接解くのは困難であるため、（６）式に示す反復法（最急降下法）で収束演算する。なお、μは、収束速度を制御する係数である。

（６）式は、Ｒが正則で、μが十分に小さい正の値であれば、ユニークな解に収束することが保証されている。

（５）式を用いて（６）式を変形すると、（７）式のようになる。

通常は、加法性ノイズを分散が同一の白色雑音、すなわち、（８）式（ただし、Ｉは単位行列）を仮定して、（９）式を用いる。

ただし、（９）式では、σを含めた新たな係数μを定義している。すなわち、μ’＝μ／σ^２とし、さらに、μ’をμに書き換えたものである。

＜１．２． 高速手法＞
前述の一般手法は、複数回反復が必要であり、かつ、一回の反復に必要なＲやｐの演算量が多いため、総演算量が多くなってしまうという。
そこで、非特許文献１に記載の高速手法では、幾何歪み、ボケ、縮小サンプリングに限定を加えることで、高速に演算可能な手法を提案している。
（限定条件１）まず、幾何歪みは平行移動のみに限定する。
（限定条件２）さらに、異なる入力画像や、異なる画像部分に対しても、ボケの程度は一定であるとする（線形時不変）。すなわち、（１０）式とする。

（限定条件３）幾何歪みの平行移動は整数移動に限定する。なお、これは、ニアレストネイバ方式で幾何変換することに対応する。
（限定条件４）また、縮小サンプリングレートは、一定である（すなわち、（１１）式）とする限定を行う。

これらの限定条件より、（９）式を変形すると、（１２）式のようになる。

ここで、限定条件１と、限定条件２から、Ｆ_ｋとＨは可換であることを示すことができる。これを利用して変形すると（１３）式のようになる。

さらに、両辺に左からＨを乗じて、（１４）式とすると、（１５）式を得る。

（１５）式は、（１６）式に収束する。

さらに、限定条件３と限定条件４を用いると、（１７）式が対角行列となる。対角行列の逆行列は簡単に求めることができるため、（１６）式は極めて高速に計算できる。

以上で、非特許文献１に記載されている超解像処理の説明を終える。

＜２．本実施の形態における課題＞
一般手法は、処理負荷が大きい。
一方、高速手法は、限定条件が多い。すなわち、前述のように限定条件３（幾何歪みの平行移動は整数移動に限定する）を付与するということは、ニアレストネイバ方式で拡大を行うことに対応する。一般に線形補間方式やキュービックコンボリューション方式等の他の整数よりも精度の高い移動を許す方式と比較して、ニアレストネイバ方式を用いた拡大は、画質が低くなってしまう。
また、前述のように限定条件４（縮小サンプリングレート一定）を課すと、同じ縮小率の画像だけを用いることになって、方式の柔軟性が失われる。
さらに、高速手法では、行列の（１７）式が非正則である場合には、（１７）式の逆行列を求めることができず、（１６）式を実際には解くことができないという場合がある。
そこで、本実施の形態は、幾何歪みの平行移動は整数移動に限定するという限定を与えない。また、縮小サンプリングレート一定という限定を与えない。また、行列の（１７）式を正則化させる。その上で、一般手法よりも処理負荷を軽減できる方式を示すものである。

＜３． 実施の形態＞
＜３．１． 本実施の形態の考え方＞
本実施の形態では、前述の限定条件３と、限定条件４を課さない。これによって、画質と柔軟性を確保する。
限定条件１と限定条件２は、画像をスキャナで取得する場合には、妥当な前提条件となるため、そのまま用いることとする。つまり、紙の文書の画像をスキャナで取得する場合には、幾何歪みとしては、紙の位置が上下左右にずれるだけであることが仮定できる。また、スキャナの全面でボケ度合いが一定であることが仮定できる。

限定条件３と限定条件４を用いない場合、（９）式は、（１８）式のようになる。

この（１８）式は、（１９）式を満たす（２０）式に収束するため、（２１）式を解けばよいことになる。

ここで、（２１）式を解くためには、（１７）式の正則性が問題となる。（１７）式が正則であれば（２１）式は単一の解に収束する。しかし、（１７）式が非正則であれば、（２１）式の解は不定の画素値を含み、複数ある解のひとつに収束することになる。例えば、受け付けた画像数Ｎが小さい場合や、倍率が大きな場合に非正則となる。
そこで、本実施の形態では、画像が滑らかであるという事前情報を用いた一般的な拘束項を付与して、（１７）式を正則化する。
（２１）式は、（２２）式を解いた結果であるとみなせる。

ここで、事前知識をあらわすオペレータＣを導入し、画像の滑らかさを示す拘束項として（２３）式を付与した結果を最小化する（オペレータＣは、高域通過特性を持つオペレータである）。

すなわち、（２４）式を解くことになる。

この（２４）式を解くと、（２５）式のようになる。

ここでは、限定条件３や限定条件４を外したこと、あるいは、拘束項を導入したことが理由となり、（２５）式内の（２６）式は非特許文献１に記載されたものとは異なり、対角行列にはならない。そこで、本実施の形態では、反復演算を採用する。

すなわち、（２７）式で反復演算を行う。なお、（２７）式でμβ＝νとした。

さらに、幾何歪みと縮小サンプリングを同時に行う変換Ｓ_ｋとして、（２８）式を用いる。

この（２８）式を用いて、（２７）式を変形すると、（２９）式となる。

本実施の形態は（２９）式を用いて超解像画像を決定するものである。
ここで、事前知識オペレータＣを用いない場合は、（３０）式を用いればよい。

又は、さらに滑らかな画像生成を目的として、（３１）式の代わりに、画像を拡大するオペレータＧ_ｋを用いてもよい。画像を拡大するオペレータＧ_ｋとは、例えば、バイリニア（線形補間）手法やバイキュービック（キュービックコンボリューション）手法を用いて拡大する操作を示す。（３１）式はゼロ埋め＋拡大の操作であるため、滑らかさに欠ける。

ゼロ埋めではなく通常の拡大画素値を加算することで滑らかな収束値を得ることができる。この場合、（２９）式は（３２）式に、（３０）式は（３３）式となる。

＜３．２． 実施の形態＞
まずは、（２９）式を用いた実施の形態を示す。

＜３．２．１． 実施の形態の全体構成＞
以下、図面に基づき本発明を実現するにあたっての好適な実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、コンピュータ・プログラム、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。

ここでは、画像の位置合わせは何らかの手法で行われているとする。例えば、パターンマッチングによって差異が少なくなる位置を探索して、その位置に合わせるようにしてもよい。
基準画像（例えばｙ_１）に対するサブピクセル単位での位置合わせを行う。
ここで、画像シフトベクトルｄ_ｋを用いる。
ベクトルｄ_ｋは、２次元ベクトルであり、受付画像ｙ_ｋを２次元空間内で、ｄ_ｋ動かすと基準画像ともっとも一致するという量であるとする。

図１に示した実施の形態のモジュール構成例は、ｚ更新処理モジュール１１０、終了判断モジュール１２０、ボケ復元フィルタモジュール１３０を有している。
ｚ更新処理モジュール１１０は、終了判断モジュール１２０と接続されている。ｚ更新処理モジュール１１０は、画像１０２（ｙ_ｋ）と、その画像１０２の画像シフト量１０１（ｄ_ｋ）を受け付ける。画像１０２は複数の画像である。画像シフト量１０１は、画像１０２の各画像に対応したシフト量である。

ｚ更新処理モジュール１１０では、画像１０２と画像シフト量１０１を用いて、（３４）式で表される推定画像を更新して、（３５）式で表される推定画像を求める。

ここで、ｊ＝０のとき、（３６）式で表される推定画像は存在していないので、ｚ更新処理モジュール１１０内で画像１０２と画像シフト量１０１を用いて（３６）式で表される推定画像を生成する。（３６）式は任意の画素値で構わないが、例えば（３７）式を用いて生成する。

ただし、各受付画像ｙ_ｋに対して、画像の拡大処理を行うオペレータをＧ_ｋとする。Ｇ_ｋは、受付画像ｙ_ｋを出力する超解像画像１０３ｘと同じ大きさになるまで拡大を行う処理である。また、（４９）式は、画像シフト量１０１を用いて、元の位置に画素位置をシフトさせる操作である。

前述の初期値は、受付画像の拡大画像を位置合わせして平均値を取ったものであり、理想画像の推定初期値として用いることができる。

終了判断モジュール１２０は、ｚ更新処理モジュール１１０、ボケ復元フィルタモジュール１３０と接続されている。終了判断モジュール１２０で、ループ（ｚ更新処理モジュール１１０による処理の繰り返し）を終了すると判断した場合、出力の（３５）式の画像をボケ復元フィルタモジュール１３０に渡す。また、終了ではないと判断した場合は、ｚ更新処理モジュール１１０に対して、ｚ更新処理モジュール１１０の出力画像（（３５）式）を次の処理に対する推定画像（（３４）式）として渡す。
ループの終了は、例えば、（２９）式の補正項である（３８）式が、予め定められた閾値よりも小さければ終了とする。

（３８）式はベクトルであるため、ベクトル要素の絶対値和や２乗和、又は、要素の絶対値の最大値、等と予め定められた閾値と比較し閾値以下であれば、終了する。
又は、「（２９）式の補正項の改善度合いが予め定められた閾値以下であれば、終了する」等の一般的な手法を用いればよい。
又は、予めループ回数を定めておいて、予め定められた回数の処理を行って終了させてもよい。

ボケ復元フィルタモジュール１３０は、終了判断モジュール１２０と接続されている。終了判断モジュール１２０から（３５）式の画像（つまり、ｚ更新処理モジュール１１０によって反復して処理された結果の画像）を受け取り、高域を強調する処理を施して、超解像画像１０３（（３）式）を外部に出力する。高域を強調する処理としてボケ復元処理がある。ボケ復元フィルタモジュール１３０は、ボケのＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）がわかっていればその逆関数をかければよい。又は、その他の高周波領域強調フィルタをかけてもよい。その他一般的な復元手法を用いることができる。
又は、ボケの程度が小さいとして、省略してもよい。この場合、ボケ復元フィルタモジュール１３０は終了判断モジュール１２０から受け取った画像を外部に出力することとなる。

＜３．２．２． ｚ更新処理モジュール１１０の詳細例＞
次にｚ更新処理モジュール１１０のより具体的な処理内容を示す。
ｚ更新処理モジュール１１０では、（２９）式の計算を行う。
図２は、ｚ更新処理モジュール１１０内の構成例についての概念的なモジュール構成図である。
ｚ更新処理モジュール１１０は、シフト＋縮小サンプリングモジュール１１１、差分モジュール１１２、逆シフト＋拡大サンプリングモジュール１１３、蓄積加算モジュール１１４、乗算モジュール１１５、フィルタ演算モジュール１１６、加算モジュール１１７を有している。
ここでは、ｚの初期値（（３６）式）生成に関する部分は省略している。
また、ここでは、超解像処理後の画像と受付画像ｙ_ｋとの解像度の比（又は拡大率）は一定であるとする。

シフト＋縮小サンプリングモジュール１１１は、差分モジュール１１２と接続されている。シフト＋縮小サンプリングモジュール１１１は、画像シフト量１０１を受け取って、推定画像（（３４）式）のシフト処理と縮小処理（縮小サンプリング処理ともいう）を行う。これは、（２９）式のオペレータＳ_ｋの処理に相当する。本処理では、画素数Ｌの画像（（３４）式）から、画素数Ｍ_ｋの画像を生成する。より具体的には、画像（（３４）式）の画素値を用いて、画像ｙ_ｋの画素グリッド位置の画素値を生成し、出力する。
拡大率と受付画像のシフト量がわかっているため、画像（（３４）式）の画素グリッドと、画像ｙ_ｋの画素グリッドとの位置関係は一意に定まる。画像（（３４）式）の画素数は、画像ｙ_ｋの画素数よりも等しいか大きいため、相対的な位置関係は、図３の例に示すようになる。図３は、シフト＋縮小サンプリングモジュール１１１による処理例を示す説明図である。

図３において、「○」を画像（（３４）式）の画素グリッド、「×」を画像ｙ_ｋの画素グリッドとする。
いま、○の画素値を用いて、×の位置の画素値を求めたい。この演算は、例えば、２次元線形補間処理で求め得る。
例えば、画像ｙ_ｋの画素グリッド位置×の周囲４個の画像（（３４）式）の画素値を用いて、画像ｙ_ｋの画素グリッド位置の画素値を生成し得る。

より具体的には、図４の例に示すように、グリッド位置×の周囲４点の画素（黒丸）を用いて、×の位置の画素値を求める。図４は、シフト＋縮小サンプリングモジュール１１１による処理例を示す説明図である。
例えば、線形補間処理では、×の位置に応じて重み付け加算を行う。図４の例では、１／９（左上画素），２／９（右上画素），２／９（左下画素），４／９（右下画素）のような重みが与えられる。重み付け係数は補間アルゴリズムにしたがって、生成することになる。
線形補間処理では、周囲４点の画素値を用いればよいし、キュービックコンボリューション処理では周囲１６点の画素値を用いればよい。投影法を用いる場合、拡大倍率が２であれば、周囲９点の画素値を用いればよい。拡大倍率が３であれば、周囲１６点の画素値を用いればよい。この補間手法としては、様々な手法を用い得る。
シフト＋縮小サンプリングモジュール１１１によって、画像ｙ_ｋと同じ画素数の画像が生成される。

差分モジュール１１２は、シフト＋縮小サンプリングモジュール１１１、逆シフト＋拡大サンプリングモジュール１１３と接続されている。差分モジュール１１２では、シフト＋縮小サンプリングモジュール１１１から受け取った画像と画像１０２（ｙ_ｋ）の差分値を算出する。つまり、（３９）式の処理を行う。

逆シフト＋拡大サンプリングモジュール１１３は、差分モジュール１１２、蓄積加算モジュール１１４と接続されている。逆シフト＋拡大サンプリングモジュール１１３は、画像シフト量１０１を受け取って、差分モジュール１１２による差分結果を拡大（拡大サンプリング処理ともいう）して、画像（（３４）式）の画素数に戻す。つまり、差分モジュール１１２による処理結果である画像をシフト＋縮小サンプリングモジュール１１１とは逆方向に移動し、拡大する。
逆シフト＋拡大サンプリングモジュール１１３では、（２９）式又は（３０）式を用いる場合、オペレータ（４０）式の処理を行うことになる。オペレータ（４０）式では、オペレータＳ_ｋと逆の処理が行われる。

図４に示す例において、オペレータＳ_ｋでは、黒丸から×への重み付け加算が行われたが、オペレータ（４０）式では×から黒丸へ、×の画素値を分散させる処理が行われる。すなわち、黒丸の画素値の初期値は０としておいて、×の画素値に（縮小サンプリング時と同じ）重み付け係数を乗じて、黒丸の画素値に加算していく。ある黒丸の周囲に複数の×の画素があれば、その重み付け係数を乗じた加算値が最終的な逆シフト＋拡大サンプリングモジュール１１３の出力値となる。
逆シフト＋拡大サンプリングモジュール１１３の処理結果は、各ｋ毎に得ることができる。

蓄積加算モジュール１１４は、逆シフト＋拡大サンプリングモジュール１１３、乗算モジュール１１５と接続されている。蓄積加算モジュール１１４では、逆シフト＋拡大サンプリングモジュール１１３の処理結果を加算する。つまり、逆シフト＋拡大サンプリングモジュール１１３による処理結果である画像を蓄積してある画像に加算して蓄積する。例えば、蓄積加算モジュール１１４内の記憶装置（メモリ、ハードディスク等）に、最初は逆シフト＋拡大サンプリングモジュール１１３の処理結果の画像を記憶させておき、次回以降は、記憶しておいた画像と逆シフト＋拡大サンプリングモジュール１１３の処理結果の画像を加算して、その加算結果の画像を記憶装置に記憶させるようにする。もちろん記憶装置には各画素値がゼロの画像を予め記憶しておき、その画像に逆シフト＋拡大サンプリングモジュール１１３の処理結果の画像を加算して記憶させるようにしてもよい。この操作は、（２９）式、（３０）式、（３２）式、（３３）式におけるΣの計算に相当する。

乗算モジュール１１５は、蓄積加算モジュール１１４、加算モジュール１１７と接続されている。乗算モジュール１１５は、蓄積加算モジュール１１４による処理結果である画像に予め定められた係数μを乗算して、その結果を加算モジュール１１７へ渡す。

フィルタ演算モジュール１１６は、加算モジュール１１７と接続されている。フィルタ演算モジュール１１６は、（４１）式による計算を行う。これは画像に対するコンボリューション演算となる。通常のＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ演算である。ただし（４１）式でのＩは、単位行列である。

加算モジュール１１７は、乗算モジュール１１５、フィルタ演算モジュール１１６と接続されている。加算モジュール１１７では、乗算モジュール１１５による処理結果である画像とフィルタ演算モジュール１１６による処理結果である画像を加算して、ｚ更新処理モジュール１１０の出力である（３５）式を求める。

この後、ｚ更新処理モジュール１１０内の処理（シフト＋縮小サンプリングモジュール１１１、差分モジュール１１２、逆シフト＋拡大サンプリングモジュール１１３、蓄積加算モジュール１１４、乗算モジュール１１５、フィルタ演算モジュール１１６、加算モジュール１１７）を繰り返すように終了判断モジュール１２０が制御する。より具体的には、加算モジュール１１７による処理結果の画像をシフト＋縮小サンプリングモジュール１１１における処理対象の画像として、前述のループ終了判断にしたがって繰り返し処理を行わせる。

＜３．３． その他の実施の形態＞
＜３．３．１． 超解像後の画像と受付画像ｙ_ｋとの解像度の比が受付画像毎に異なっていてもよい＞
前述の実施の形態では、超解像後の画像と受付画像ｙ_ｋとの解像度の比（あるいは拡大率）は一定であるとして、説明を行った。
しかし、超解像後の画像と受付画像ｙ_ｋとの解像度の比が受付画像毎に異なっていても、前述の実施の形態の説明はそのまま利用することができる。変更点は、受け付けるデータとして、受付画像ｙ_ｋと受付画像シフト量ｄ_ｋに、受付画像の解像度（受付画像の縦横の画素数、受付画像と超解像後の画像の解像度の比、又は受付画像と超解像後の画像の縦横の画素数の比等であってもよい）を加えればよい。これらの情報を利用して、シフト＋縮小サンプリングモジュール１１１や逆シフト＋拡大サンプリングモジュール１１３において、画像（（３４）式）の画素グリッドと、画像ｙ_ｋの画素グリッドとの位置関係を一意に定めることができる。そのため、前述の実施の形態をそのまま変更せずに利用することができる。

＜３．３．２． 拡大オペレータの変更＞
逆シフト＋拡大サンプリングモジュール１１３において、（３２）式又は（３３）式を用いる場合、差分モジュール１１２による処理結果の画像を拡大補間、つまり（４２）式によるオペレータの処理を行うことになる。

この（４２）式によるオペレータでは、シフト演算と拡大演算が行われる。これは、一般的な２次元補間処理（例えば、バイリニア補間（線形補間）、バイキュービック補間（キュービックコンボリューション補間）など）を用いればよい。（３９）式の差分値は、画素数Ｍ_ｋの画像であるから、この画像を、画素数Ｌの画像に拡大すればよい。拡大時には、画素数Ｌの画像の拡大画像の画素位置の画素値を求めるようにすればよい。

＜３．３．３． ループの終了評価＞
＜３．２ 実施の形態＞で示した実施の形態は、（２９）式を実現させるものであったが、（３０）式、（３２）式、（３３）式を用いる場合はループの終了評価（判断）は、以下のようになる。
＜３．３．３．１． （３０）式を用いる場合＞
（３０）式を用いる場合のループの終了は、（４３）式を用いて評価する。

＜３．３．３．２． （３２）式を用いる場合＞
（３２）式を用いる場合のループの終了は、（４４）式を用いて評価する。

＜３．３．３．３． （３３）式を用いる場合＞
（３３）式を用いる場合のループの終了は、（４５）式を用いて評価する。

＜３．３．４． フィルタ演算モジュール１１６、加算モジュール１１７の省略＞
（３０）式又は（３３）式を用いる場合は、フィルタ演算モジュール１１６、加算モジュール１１７が省略される。つまり、ｚ更新処理モジュール１１０内の処理は、シフト＋縮小サンプリングモジュール１１１、差分モジュール１１２、逆シフト＋拡大サンプリングモジュール１１３、蓄積加算モジュール１１４、乗算モジュール１１５によって行われ、これらのモジュールによる処理を繰り返すように終了判断モジュール１２０が制御する。より具体的には、乗算モジュール１１５による処理結果の画像をシフト＋縮小サンプリングモジュール１１１における処理対象の画像として、前述のループ終了評価にしたがって繰り返し処理を行わせる。

＜３．３．５． その他＞
さらに、前述の構成は、一例である。実際には（２９）式、（３０）式、（３２）式、（３３）式のうちのいずれかの式の計算が実現できる構成のどれであっても構わない。
例えば、フィルタ演算モジュール１１６を、（４６）式のように４回の演算に分割して行うなどとしてもよい。

さらに、前述の説明では、縮小サンプリング又は拡大サンプリングという文言を使っているが、この縮小率や拡大率は１であっても構わない。つまり、縮小、拡大という文言は、縮小率や拡大率は１の場合を含み、これらの場合は何もしないことになる。

＜４． 非特許文献１に記載の手法との比較＞
非特許文献１に記載の高速手法と比較すると、汎用性の面でメリットがある。各受付画像が相対的に実数精度で位相ずれが起こっている場合でも対応し得る。また、各受付画像の縮小率が異なる場合でも対応し得る。さらに、Ｒが正則ではない場合でも滑らかな画像を生成し得る。

非特許文献１に記載の一般手法とは高速性の面でメリットがある。（９）式と（２９）式を比較する。
（９）式では、一回の反復演算あたり、以下の演算を行う必要がある。以下では、おおよその演算負荷の見積として、積算数を採用した。
（Ａ）画像の平行移動演算Ｆ_ｋ
平行移動量は、実数精度であるため、複数の画素を用いて画素グリッド間に存在する画素位置の画素値を演算する必要がある。１画素の平行移動後の画素値を演算するのに必要な積算数をｆとする。全部でｆＬ回の演算が必要である。例えば、２次元線形補間を行う場合、１画素あたり、ｆ＝４回の積算を行うため、４Ｌ回の演算が必要である。
（Ｂ）演算Ｈ_ｋ
線形コンボリューション演算となる。例えば、ｈ×ｈカーネルのフィルタを用いる場合、ｈ^２Ｌ回の積算が必要である。ただし、出力値は縮小後のデータ分だけあればよい。縮小サンプリングと組み合わせることで、演算回数は、ｈ^２Ｍ_ｋ回となる。
（Ｃ）縮小サンプリングＤ_ｋ
（Ｄ）受付画像ｙ_ｋとの差分を計算
（Ｅ）拡大ゼロ埋めサンプリング（（４７）式）

縮小サンプリング時にサンプリングを行った画素に前述の差分値を戻す処理である。縮小サンプリング時にサンプリングを行わなかった画素はゼロ埋めする。
（Ｆ）演算（（４８）式）

線形コンボリューション演算となる。演算Ｈ_ｋと同様に、ｈ^２Ｌ回の積算が必要である。
（Ｇ）画像の平行移動演算（（４９）式）

Ｆ_ｋで行った移動を元に戻す演算である。これも、例えば、２次元線形補間等の演算が必要である。Ｆ_ｋと同様に、ｆＬ回の演算が必要である。
さらに、前述の（Ａ）〜（Ｇ）を各ｋに対して演算する必要がある。

反復回数Ｑのとき、積算の総数Ｊｏは、（５０）式のようになる。

これに対して、（２９）式で１回の反復あたりに行う必要のある演算は以下の通りである。
１．画像の平行移動＋縮小サンプリング演算Ｓ_ｋ
縮小画素に対してのみ補間を行えばよいため、ｆＭ_ｋ回の積算が必要である。
２．受付画像ｙ_ｋとの差分を計算。
３．画像の平行移動＋拡大サンプリング演算（（５１）式）

ｆＭ_ｋ回の積算が必要である。
４．フィルタ演算。
１画素あたりｇタップのフィルタとすると、２ｇＬ回の演算が必要である。
さらに、反復終了後に行う、ボケ復元フィルタの演算回数をｈ２Ｌ回とする。
積算の総数Ｊｐは、（５２）式となる。

ここで、典型的な数値例を示す。
ここで、Ｍ_ｋを一定として、拡大倍率α＝Ｌ／Ｍ_ｋとする。
積算回数の比Ｊｏ／Ｊｐは（５３）式となる。

受付画像枚数Ｎ＝８，縦横２倍拡大（すなわちα＝４）、２次元線形補間ｆ＝４、ボケフィルタタップ数ｈ＝５、ハイパスフィルタタップ数ｇ＝４とする。反復回数Ｑを１０回とする。この場合、積算回数の比Ｊｏ／Ｊｐは（５４）式となる。

つまり、実施の形態では、演算量を約１／１２に削減することになる。

図５を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図５に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部５１７と、プリンタなどのデータ出力部５１８を備えたハードウェア構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、前述の実施の形態において説明した各種のモジュール、すなわち、ｚ更新処理モジュール１１０、終了判断モジュール１２０、ボケ復元フィルタモジュール１３０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２は、ＣＰＵ５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。

ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス５０６に接続されている。

キーボード５０８、マウス等のポインティングデバイス５０９は、操作者により操作される入力デバイスである。ディスプレイ５１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などがあり、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）５１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ５０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、対象の画像や超解像画像などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体５１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース５０７、外部バス５０６、ブリッジ５０５、及びホストバス５０４を介して接続されているＲＡＭ５０３に供給する。リムーバブル記録媒体５１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート５１４は、外部接続機器５１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート５１４は、インタフェース５０７、及び外部バス５０６、ブリッジ５０５、ホストバス５０４等を介してＣＰＵ５０１等に接続されている。通信部５１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部５１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部５１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図５に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図５に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図５に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

なお、前述の実施の形態では数式を用いて説明したが、数式には、その数式と同等のものが含まれる。同等のものとは、その数式そのものの他に、最終的な結果に影響を及ぼさない程度の数式の変形、又は数式をアルゴリズミックな解法で解くこと等が含まれる。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

１０１…画像シフト量
１０２…画像
１０３…超解像画像
１１０…ｚ更新処理モジュール
１１１…シフト＋縮小サンプリングモジュール
１１２…差分モジュール
１１３…逆シフト＋拡大サンプリングモジュール
１１４…蓄積加算モジュール
１１５…乗算モジュール
１１６…フィルタ演算モジュール
１１７…加算モジュール
１２０…終了判断モジュール
１３０…ボケ復元フィルタモジュール

Claims (6)

1. 複数の画像を受け付ける画像受付手段と、
   前記画像受付手段によって受け付けられた各画像の移動量を受け付ける移動量受付手段と、
   前記画像受付手段によって受け付けられた画像と前記移動量受付手段によって受け付けられた移動量に基づいて、初期の推定画像を生成する初期推定画像生成手段と、
   推定画像を移動し、縮小する移動縮小手段と、
   前記移動縮小手段による処理結果である画像と前記画像受付手段によって受け付けられた画像との差分を抽出する差分抽出手段と、
   前記差分抽出手段による処理結果である画像を前記移動縮小手段とは逆方向に移動し、拡大する移動拡大手段と、
   前記移動拡大手段による処理結果である画像を蓄積してある画像に加算して蓄積する蓄積加算手段と、
   前記蓄積加算手段による処理結果である画像に予め定められた係数を乗算する係数乗算手段と、
   前記係数乗算手段による処理結果である画像を前記推定画像として、前記移動縮小手段、前記差分抽出手段、前記移動拡大手段、前記蓄積加算手段、前記係数乗算手段による処理を、予め定められた条件に応じて反復して行わせる反復手段と、
   前記反復手段により反復して処理した結果の画像を出力する出力手段
   を具備することを特徴とする画像処理装置。
2. 前記反復手段により反復して処理した結果の画像に対して高域を強調する処理を行う高域強調手段
   をさらに具備し、
   前記出力手段は、前記高域強調手段による処理結果である画像を出力する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記推定画像に対してコンボリューション演算を行うコンボリューション演算手段と、
   前記コンボリューション演算手段による処理結果である画像と前記係数乗算手段による処理結果である画像を加算する加算手段
   をさらに具備し、
   前記反復手段は、前記加算手段による処理結果である画像を前記推定画像として、前記移動縮小手段、前記差分抽出手段、前記移動拡大手段、前記蓄積加算手段、前記係数乗算手段、前記加算手段による処理を、予め定められた条件に応じて反復して行わせる
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記移動拡大手段は、前記移動縮小手段によって抽出されなかった画素はゼロを挿入して拡大する
   ことを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記移動拡大手段は、前記差分抽出手段による処理結果である画像を拡大補間する
   ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. コンピュータを、
   複数の画像を受け付ける画像受付手段と、
   前記画像受付手段によって受け付けられた各画像の移動量を受け付ける移動量受付手段と、
   前記画像受付手段によって受け付けられた画像と前記移動量受付手段によって受け付けられた移動量に基づいて、初期の推定画像を生成する初期推定画像生成手段と、
   推定画像を移動し、縮小する移動縮小手段と、
   前記移動縮小手段による処理結果である画像と前記画像受付手段によって受け付けられた画像との差分を抽出する差分抽出手段と、
   前記差分抽出手段による処理結果である画像を前記移動縮小手段とは逆方向に移動し、拡大する移動拡大手段と、
   前記移動拡大手段による処理結果である画像を蓄積してある画像に加算して蓄積する蓄積加算手段と、
   前記蓄積加算手段による処理結果である画像に予め定められた係数を乗算する係数乗算手段と、
   前記係数乗算手段による処理結果である画像を前記推定画像として、前記移動縮小手段、前記差分抽出手段、前記移動拡大手段、前記蓄積加算手段、前記係数乗算手段による処理を、予め定められた条件に応じて反復して行わせる反復手段と、
   前記反復手段により反復して処理した結果の画像を出力する出力手段
   として機能させることを特徴とする画像処理プログラム。

Images