JP2008243037A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】高解像度画像の画素値の精度を高める。
【解決手段】画像処理装置１０は、副画素単位でシフトした複数の原画像を取得する画像取得部１６ａと、画像取得部により取得された原画像において副画素の画素値が一様となる一部領域の画素値を、副画素の画素値の初期値として設定する初期値設定部１６ｂと、画像取得部により取得された原画像の画素値と、初期値設定部により設定された副画素の画素値の初期値とに基づいて、副画素に隣接する副画素の画素値を順次推定し、多数の副画素を含んでなる高解像度画像を演算する高解像度化処理部１６ｃと、を備える。
【選択図】図１

Description

本発明は、原画像を高解像度化する画像処理装置、画像処理方法および画像処理プログラムに関する。

特許文献１〜４には、画像を高解像度化する技術が示されている。
特開２００５‐１０９８４１号公報（特願２００３‐３４０１１１号） 特許２７７７９７４号 特開２００５‐１６７４８４号公報 特開２００６‐１２７２４１号公報

高解像度画像は、デジタルアーカイブ、リモートセンシング、生産技術、計測機器、その他様々な用途に用いられる。しかし、撮像素子の解像度には限界があるため、画像処理により高解像度画像を得る方法が提案されている。このような画像処理方法の一つとして、副画素単位でシフトされた複数の原画像を用いて、原画像よりも高解像度の画像を得る方法がある。そして、このような画像処理においては、高解像度画像の画素値の精度を高める要求がある。

本発明は、上記の課題を解決するためになされたもので、高解像度画像の画素値の精度を高めることが可能な画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上述した目的を達成するために、本発明に係る画像処理装置は、副画素単位でシフトした複数の原画像を取得する画像取得部と、画像取得部により取得された原画像において副画素の画素値が一様となる一部領域の画素値を、副画素の画素値の初期値として設定する初期値設定部と、画像取得部により取得された原画像の画素値と、初期値設定部により設定された副画素の画素値の初期値とに基づいて、副画素に隣接する副画素の画素値を順次推定し、多数の副画素を含んでなる高解像度画像を演算する高解像度化処理部と、を備えることを特徴とする。

また、本発明に係る画像処理方法は、副画素単位でシフトした複数の原画像を取得し、取得された原画像において副画素の画素値が一様となる一部領域の画素値を、副画素の画素値の初期値として設定し、取得された原画像の画素値と、設定された副画素の画素値の初期値とに基づいて、副画素に隣接する副画素の画素値を順次推定し、多数の副画素を含んでなる高解像度画像を演算する、画像処理方法である。

また、本発明に係る画像処理プログラムは、副画素単位でシフトした複数の原画像を取得する画像取得機能と、取得された原画像において副画素の画素値が一様となる一部領域の画素値を、副画素の画素値の初期値として設定する初期値設定機能と、取得された原画像の画素値と、設定された副画素の画素値の初期値とに基づいて、副画素に隣接する副画素の画素値を順次推定し、多数の副画素を含んでなる高解像度画像を演算する高解像度化処理機能と、をコンピュータに実現させる画像処理プログラムである。

本発明によれば、高解像度画像の画素値の精度を高めることが可能な画像処理装置、画像処理方法および画像処理プログラムを提供することができる。

以下、添付図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。

図１には、本発明の実施形態に係る画像処理装置１０が示されている。画像処理装置１０は、撮像装置１２、画像蓄積装置１４、画像演算装置１６および表示装置１８を備えている。

撮像装置１２は、対象物を撮像するためのカメラであり、ＣＣＤ（ChargeCoupled Device）画像センサおよびＣＭＯＳ（Complementary Metal Oxide Semiconductor）画像センサ等を有するものである。撮像装置１２は、同一対象物を撮影する時に、撮影される画像を副画素（サブピクセル）単位で縦方向および横方向にシフトするための画像シフト機構を有している。画像シフト機構としては、例えば、次の（１）レンズとＣＣＤセンサとの間に透光性の平行平板を配置し、平行平板の傾きを変える方式のもの（特開２００５‐１０９８４１号公報を参照）、（２）ＣＣＤセンサを副画素単位で縦方向および横方向にシフトさせる方式のもの、（３）カメラ全体を副画素単位で縦方向および横方向にシフトさせる方式のもの、がある。

なお、画像を縦方向にｎ倍化するためには、ピクセル間距離の１／ｎ単位で縦方向にシフトした画像がｎ枚必要となる。また同様に、画像を横方向にｎ倍化するためには、ピクセル間距離の１／ｎ単位で横方向にシフトした画像がｎ枚必要となる。よって、画像を縦方向および横方向ともにｎ倍化するためには、ピクセル間距離の１／ｎ単位でシフトされた画像が合計ｎ^２枚必要となる。例えば、図２に示されるように、縦方向および横方向ともに５倍化された高解像度画像を得るためには、ピクセル間距離の１／５単位でシフトされた画像が合計２５枚必要となる。

画像蓄積装置１４は、一般的に利用されている記憶装置であり、例えば、ハードディスクやメモリカードなどである。画像蓄積装置１４は、副画素単位で縦方向および横方向にシフトされた多数枚の画像を記憶して蓄積する。

画像演算装置１６は、画像蓄積装置１４に記憶された多数枚の画像を読み出す原画像取得部１６ａと、高解像度画像の一部領域に輝度値（画素値）の初期値を設定する初期値設定部１６ｂと、原画像よりも高解像度化された高解像度画像を生成する高解像度化処理部１６ｃとを有している。画像演算装置１６としては一般的なコンピュータのＣＰＵ（Central Processing Unit）を用いることができる。なお、本実施形態では、画像演算装置１６は、輝度値が高解像度化された高解像度画像を生成しているが、他の種類の画素値が高解像度化された高解像度画像を生成してもよい。

画像演算装置１６の高解像度化処理部１６ｃは、推定法および平均法と呼ばれる手法を用いて、原画像の画像データを元に高解像度画像の画像データを生成する。図２に示されるように、画像演算装置１６は、推定法および平均法を用いて横方向の解像度を高め、続いて、推定法および平均法を用いて縦方向の解像度を高める。なお、本実施形態では、画像演算装置１６は、主に推定法を用い、補助的に平均法を用いる。以下に、推定法および平均法について説明する。

推定法による高解像度画像の演算方法について説明する。推定法では、高解像度画像の一部領域を構成する複数画素の輝度値に初期値を設定し、初期値が設定された高解像度画像の一部領域を起点として、その領域に隣接する隣接領域の輝度値を次々と演算する。推定法では、画像中の同一位置において、原画像のある一つの画素の輝度値ｉ_ｋと、高解像度画像の複数の画素（言い換えれば、原画像の副画素）の輝度値ｏ_ｎの平均値とが等しいことを示す関係式（１）を利用している。すなわち、推定法では、関係式（１）を変形した演算式（２）により高解像度画像の輝度値ｏ_ｎｍｏｇを演算する。

なお、本実施形態では、画像演算装置１６は、高解像度画像の輝度値の初期値として、原画像において画素値が一様な一部領域の輝度値を設定する。より詳しく説明すると、画像演算装置１６は、原画像の一部領域の輝度値であって、高解像度化された後でも輝度値が一様となる一部領域の輝度値を、高解像度画像の輝度値の初期値として設定する。ここで、「輝度値が一様」とは、その一部領域において輝度値がほぼ等しい値であることを意味しており、例えば、高解像度化後においても輝度値がその平均値近傍の所定範囲内に収まる程度であったり、高解像度化後においても輝度値の分散が所定の閾値よりも小さくなる程度であればよい。本実施形態では、原画像において画素値が一様な一部領域の輝度値を初期値として設定することにより、高解像度画像に筋状の誤演算部分が発生することを抑制している。この初期値の設定方法については、後に詳述する。

図３に示される簡略化された一例を参照して推定法を説明する。推定法では、原画像の輝度値ｉ_１と高解像度画像の輝度値ｏ_１，ｏ_２，ｏ_３，ｏ_４，ｏ_５との関係式（３）を利用する。推定法では、高解像度画像の複数の画素の輝度値ｏ_１，ｏ_２，ｏ_３，ｏ_４に初期値が設定されているか、またはこれら複数の画素の輝度値ｏ_１，ｏ_２，ｏ_３，ｏ_４が既に求められている状況で、次の演算を行う。すなわち、推定法では、これら複数の画素の輝度値ｏ_１，ｏ_２，ｏ_３，ｏ_４と、これらの高解像度画像の画素と同一位置にある原画像の画素の輝度値ｉ_１とを、関係式（３）を変形した演算式（４）に適用することで、高解像度画像においてこれら複数の画素（副画素）に隣接する画素（副画素）の輝度値ｏ_５を演算する。同様に、高解像度画像の複数の画素の輝度値ｏ_２，ｏ_３，ｏ_４，ｏ_５と、これらの高解像度画像の画素と同一位置にある原画像の画素の輝度値ｉ_２とを、演算式（４）に適用することで隣接画素の輝度値ｏ_６を演算する。また同様に、高解像度画像の複数の画素の輝度値ｏ_３，ｏ_４，ｏ_５，ｏ_６と、これらの高解像度画像の画素と同一位置にある原画像の画素の輝度値ｉ_３とを、演算式（４）に適用することで隣接画素の輝度値ｏ_７を演算する。このような演算処理を繰り返すことにより、高解像度画像の全域において輝度値を求める。例えば、図４に示される原画像に推定法を適用することにより、図５に示される高解像度画像を生成することができる。

なお、推定法により高解像度画像の輝度値を算出する際には、マイクロレンズの影響を考慮することが好適である。マイクロレンズとは、撮像装置のＣＣＤセンサにおいて各センサ素子の表面に形成された凸レンズである。このように各センサ素子の表面にはマイクロレンズが形成されているため、原画像の各画素の輝度値には若干の誤差が含まれている。よって、関係式（５）および（６）のように、マイクロレンズの影響を考慮して、高解像度画像の各画素の輝度値にその画素位置に応じた重みｗ_ｎを付けることにより、マイクロレンズの影響を緩和して高解像度画像を精度良く求めることができる。推定法により解像度を５倍以上に向上させる場合に高解像度画像におけるマイクロレンズの影響が大きくなるため、このような状況に応じてマイクロレンズに応じた重み付けを行うことが好適である。なお、マイクロレンズに応じた重み付け値ｗ_ｎは、理論または実験により最適値を求めればよい。ちなみに、レンズの中央では重み付け値ｗ_ｎが大きくし、レンズの端では重み付け値ｗ_ｎが小さくすると良い。

次に、平均法による高解像度画像の演算方法について説明する。平均法では、複数枚の原画像の画素の各々の中から、高解像度画像の演算対象画素と同一位置にある一画素の輝度値を抽出し、これらの抽出された原画像の画素の輝度値の平均値を演算し、この平均値を高解像度画像の輝度値とする。例えば、図６に示されるように、高解像度画像の画素ｏ_５の輝度値を求める場合には、１枚目の画像において高解像度画像の画素ｏ_５を含む原画像の輝度値ｉ_１、２枚目の画像において高解像度画像の画素ｏ_５を含む原画像の輝度値ｉ_２、３枚目の画像において高解像度画像の画素ｏ_５を含む原画像の輝度値ｉ_３、４枚目の画像において高解像度画像の画素ｏ_５を含む原画像の輝度値ｉ_４、および５枚目の画像において高解像度画像の画素ｏ_５を含む原画像の輝度値ｉ_５の平均値を求め、この平均値を高解像度画像の演算対象画素の輝度値ｏ_５とする。次の数式（７）は、平均法による輝度値の演算式である。

画像演算装置１６は、画素の輝度値変化に応じて、推定法のみを用いて高解像度画像を生成する場合もあるし、推定法および平均法を併用（融合）して高解像度画像を生成する場合もある。画像演算装置１６は、画素の輝度値の変化が予め設定された閾値よりも小さい領域では、推定法のみを用いても高解像度画像を精度良く求められるため、推定法のみを用いて高解像度画像を生成する。一方、画像演算装置１６は、画素の輝度値の変化が予め設定された閾値よりも大きい領域では、推定法のみでは高解像度画像を精度良く求められないため、推定法および平均法を併用して高解像度画像を生成する。例えば、画像演算装置１６は、推定法により求めた画素値および平均法により求めた画素値の重み付け平均を求めて、高解像度画像を生成すればよい。より具体的には、画像演算装置１６は、高解像度画像の画素の輝度値の変化が小さい状況では、推定法により求めた画素値の重み付け値を大きく設定すると共に、平均法により求めた画素値の重み付け値を小さく設定する。そして、高解像度画像の画素の輝度値の変化が大きくなるに応じて、推定法により求めた画素値の重み付け値を小さくすると共に、平均法により求めた画素値の重み付け値を大きくするようにすればよい。このような処理により、ノイズの少ない高解像度画像を生成することができる。

なお、画像演算装置１６は、原画像においてフォーカスが合っていない一部領域の画素値を初期値として設定する。仮に、原画像においてフォーカスが合っている一部領域の画素値を初期値として設定すると、その一部領域は高解像度化した場合に輝度値の変化が大きい可能性がある。高解像度化した場合に輝度値の変化が大きい一部領域の輝度値を初期値として設定すると、後述する筋状の誤演算部分が発生する場合がある。画像演算装置１６は、原画像においてフォーカスが合っていない一部領域の画素値を初期値として設定することで、高解像度化した場合でも輝度値の変化が小さい一部領域の輝度値を初期値として設定し、後述する筋状の誤演算部分の発生を抑制している。

表示装置１８は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（CathodeRay Tube）などの一般的なディスプレイである。表示装置１８は、画像演算装置１６により生成された高解像度画像を表示する。

なお、画像演算装置１６が高解像度画像を生成する場合に、誤った初期値を設定して推定法を適用すると、生成された高解像度画像には多数の筋状の誤演算部分が生じてしまう。例えば、高解像度化すると輝度値変化が大きくなる領域の輝度値を初期値として、図４に示される原画像が高解像度化されると、図７に示される多数の筋状の誤演算部分を含んだ高解像度画像が生成される。このような誤演算部分は、高解像度化すると輝度値変化が大きくなる領域の輝度値が初期値として設定されたことに起因している。

図８（ａ）には、高解像度化しても輝度値変化が大きくならない領域の輝度値を初期値として設定して推定法が適用された場合の高解像度画像の輝度値変化を示している。一方、図８（ｂ）は、高解像度化すると輝度値変化が大きくなる領域の輝度値を初期値として設定して推定法が適用された場合の高解像度画像の輝度値変化を示している。図８（ａ）および図８（ｂ）において、横軸は画素位置を示しており、縦軸は輝度値を示している。図８（ａ）に示されるように適正な初期値を設定して推定法が適用された場合には、高解像度画像の輝度値変化が安定している。その一方で、図８（ｂ）に示されるように誤った初期値を設定して推定法が適用された場合には、高解像度画像の輝度値変化には、筋状の誤演算部分に対応する高周波成分が含まれている。

次に、筋状の誤演算部分の発生を防止する画像処理について説明する。本実施形態の高解像度画像の生成処理では、高解像度画像に筋状の誤演算部分が発生することを抑制するか、または完全に防止している。図９には、画像処理のフローチャートが示されている。

撮像装置１２は、副画素単位で縦方向および横方向にシフトされた多数枚の原画像を撮影して、多数の原画像の画像データを生成する（Ｓ９０１）。画像蓄積装置１４は、撮像装置１２により生成された多数の画像データを記憶して蓄積する（Ｓ９０２）。画像演算装置１６は、画像蓄積装置１４から原画像の画像データを読み出し、原画像の画像データを処理して高解像度画像の画像データを生成し、生成された高解像度画像の画像データを出力する（Ｓ９０３）。表示装置１８は、画像演算装置１６により出力された高解像度画像の画像データを表示する（Ｓ９０４）。

図１０、図１２および図１４には、上記のステップ９０３に相当する高解像度画像の生成処理が、より詳細に示されている。図１０、図１２および図１４に示される高解像度画像の生成処理はそれぞれ異なる処理であり、画像演算装置１６は、これらの処理を併用するか、またはいずれか１つの処理を実行する。なお、図１０、図１２および図１４の処理は、画像演算装置１６が画像処理プログラムを実行することにより実現される。

図１０に示される第１の高解像度画像の生成処理（パターン１）について説明する。第１の処理は、原画像に、輝度値が一様な一部領域（例えば、原画像の一部に挿入された輝度値が一様な特殊模様であるターゲットＭなど、図１１参照）が含まれている場合の処理である。先ず、画像演算装置１６は、原画像からターゲットＭの位置の輝度値を、高解像度画像の初期値として設定する（Ｓ１００１）。そして、画像演算装置１６は、原画像の輝度値と、設定された初期値とに基づいて、推定法により高解像度画像の輝度値を演算する（Ｓ１００２）。次に、画像演算装置１６は、輝度値の変化が大きい領域に関しては平均法により高解像度画像の輝度値を演算し、推定法による輝度値の演算結果と平均法による輝度値の演算結果を融合する（Ｓ１００３）。第１の高解像度画像の生成処理によれば、高解像度画像の輝度値の初期値として一様な輝度値を設定することができるため、高解像度画像に筋状の誤演算部分が発生することを確実に防止することができる。ちなみに、美術品のアーカイブなどでは、標準カラーチャートが原画像の一部に付けられているため、この標準カラーチャートをターゲットとして利用すればよい。

図１２に示される第２の高解像度画像の生成処理（パターン２）について説明する。先ず、画像演算装置１６は、原画像において異なる位置にある複数の画素の輝度値の各々を、高解像度画像の輝度値の初期値として設定する（Ｓ１２０１）。ここで、画像演算装置１６は、例えば図１３に示されるように、原画像の左下領域、右下領域、左上領域、右上領域および中央領域の各々の輝度値を初期値として設定する。次に、画像演算装置１６は、設定された複数の初期値の各々を用いて高解像度画像を演算し、複数枚の高解像度画像を演算する（Ｓ１２０２）。次に、画像演算装置１６は、複数枚の高解像度画像において同一位置にある画素の輝度値を平均等し、その平均値を輝度値とした一つの高解像度画像を生成する（Ｓ１２０３）。次に、画像演算装置１６は、輝度値の変化が大きい領域に関しては平均法により高解像度画像の輝度値を演算し、推定法による輝度値の演算結果と平均法による輝度値の演算結果を融合する（Ｓ１２０４）。第２の高解像度画像の生成処理によれば、原画像の複数位置の輝度値を初期値として用いて複数の高解像度画像を演算するため、これらの高解像度画像に筋状の誤演算部分を含む高解像度画像があっても、筋状の誤演算部分を含まない他の高解像度画像と平均化等することにより、筋状の誤演算部分による影響を抑制することができる。なお、画像演算装置１６は、複数枚の高解像度画像を平均等して一つの高解像度画像を生成したが、複数枚の高解像度画像を用いるものであれば他の演算処理により一つの高解像度画像を生成してもよい。例えば、画像演算装置１６は、複数枚の高解像度画像において同一位置にある画素の輝度値の中央値を演算し、その中央値を輝度値とした一つの高解像度画像を生成してもよい。

図１４に示される第３の高解像度画像の生成処理（パターン３）について説明する。先ず、画像演算装置１６は、原画像の一部領域の輝度値を初期値として設定する（Ｓ１４０１）。次に、画像演算装置１６は、推定法により高解像度画像を演算する（Ｓ１４０２）。次に、画像演算装置１６は、演算された高解像度画像に誤演算部分が含まれているか否かを判定する（Ｓ１４０３）。ここで、画像演算装置１６は、例えば、フーリエ変換により求めた輝度値の空間周波数の強度、輝度値の移動平均、輝度値の分散などのパラメータを算出し、これらのパラメータに基づいて筋状の誤演算部分があるか否かを判定すればよい。また、画像演算装置１６は、高解像度画像の演算中に、高解像度画像の輝度値がマイナス値となった場合に、高解像度画像に誤演算部分が含まれていることを判定してもよい。なお、画像演算装置１６は、高解像度画像の全領域について誤演算部分の有無を判定しなくてもよく、高解像度画像の一部領域について誤演算部分の有無を判定するだけでも、誤演算部分の有無を精度良く判定できる。

画像演算装置１６は、高解像度画像に誤演算部分が含まれていると判定した場合には、原画像において位置の異なる別の一部領域の輝度値を初期値として設定し、推定法により高解像度画像を演算する（Ｓ１４０１，Ｓ１４０２）。一方、画像演算装置１６は、原画像に誤演算部分が含まれていないと判定した場合には、その高解像度画像を採用する。次に、画像演算装置１６は、輝度値の変化が大きい領域に関しては平均法により高解像度画像の輝度値を演算し、推定法による輝度値の演算結果と平均法による輝度値の演算結果を融合する（Ｓ１４０４）。第３の高解像度画像の生成処理によれば、高解像度画像に誤演算部分が含まれているか否かを判定して、誤演算部分が含まれない高解像度画像を採用するため、語演算部分を確実に含まない高解像度画像を生成することができる。

なお、前述のとおり、本実施形態の画像演算装置は、マイクロレンズによる影響を考慮している。仮に、このようにマイクロレンズによる影響を考慮しないとすると、第１〜第３の高解像度画像の生成処理により筋状の誤演算部分の発生に対処しようとしても、マイクロレンズによる影響で筋状の誤演算部分が発生してしまう場合がある。よって、本実施形態の画像演算装置のように、マイクロレンズによる影響を考慮することが、筋状の誤演算部分を抑制または防止するためには有効である。

なお、本実施形態の画像処理技術は、デジタルアーカイブ、リモートセンシング、生産技術、計測機器、その他広い範囲に適用することができる。

本実施形態の画像処理装置を示すブロック図である。 高解像度画像の生成処理の概要を示す概略図である。 推定法による画像の高解像度化を示す模式図である。 高解像度化前の画像の一例である。 高解像度化後の画像の一例である。 平均法による画像の高解像度化を示す模式図である。 筋状の語演算部分を含む高解像度画像の一例である。 筋状の語演算部分を含まない場合の輝度値変化と、筋状の語演算部分を含む場合の輝度値変化を示すグラフである。 本実施形態の画像処理を示すフローチャートである。 図９のステップ９０３の処理を詳細に示す第１のフローチャートである。 ターゲットを含む原画像の一例である。 図９のステップ９０３の処理を詳細に示す第２のフローチャートである。 複数の初期値設定位置が示される原画像の一例である。 図９のステップ９０３の処理を詳細に示す第３のフローチャートである。

符号の説明

１０…画像処理装置、１２…撮像装置、１４…画像蓄積装置、１６…画像演算装置、１６ａ…原画像取得部、１６ｂ…初期値設定部、１６ｃ…高解像度化処理部、１８…表示装置。

Claims (12)

1. 副画素単位でシフトした複数の原画像を取得する画像取得部と、
   前記画像取得部により取得された前記原画像において副画素の画素値が一様となる一部領域の画素値を、副画素の画素値の初期値として設定する初期値設定部と、
   前記画像取得部により取得された前記原画像の画素値と、前記初期値設定部により設定された副画素の画素値の初期値とに基づいて、前記副画素に隣接する副画素の画素値を順次推定し、多数の副画素を含んでなる高解像度画像を演算する高解像度化処理部と、
   を備えることを特徴とする画像処理装置。
2. 前記初期値設定部は、前記原画像の一部に挿入された画素値が一様な特殊模様の画素値を初期値として設定することで、前記原画像において副画素の画素値が一様となる一部領域の画素値を、副画素の画素値の初期値として設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記初期値設定部は、前記原画像において位置の異なる複数領域の画素値の各々を初期値として設定することで、前記原画像において副画素の画素値が一様となる一部領域の画素値を、副画素の画素値の初期値として設定し、
   前記高解像度化処理部は、前記初期値設定部により設定された初期値の各々に基づいて前記高解像度画像を演算し、演算された複数の高解像度画像に基づいて一つの高解像度画像を演算することを特徴とする請求項１に記載の画像処理装置。
4. 前記高解像度化処理部は、演算された複数の高解像度画像を平均することで一つの高解像度画像を演算することを特徴とする請求項３に記載の画像処理装置。
5. 前記高解像度化処理部は、演算された複数の高解像度画像の中央値を演算することで一つの高解像度画像を演算することを特徴とする請求項３に記載の画像処理装置。
6. 前記高解像度化処理部は、演算された高解像度画像に誤演算部分が含まれるか否かを判定し、当該高解像度画像に誤演算部分が含まれない場合に、当該高解像度画像を採用することを特徴とする請求項１に記載の画像処理装置。
7. 前記初期値設定部は、前記高解像度画像に誤演算部分が含まれる場合に、前記原画像の別の一部領域の画素値を初期値として設定することで、前記原画像において副画素の画素値が一様となる一部領域の画素値を、副画素の画素値の初期値として設定することを特徴とする請求項５に記載の画像処理装置。
8. 前記高解像度化処理部は、
   原画像の画素値と副画素の初期値とに基づいて前記副画素に隣接する副画素の画素値を順次推定して多数の副画素を含んでなる高解像度画像を演算する推定法と、
   原画像の画素値を平均して副画素の画素値を演算して多数の副画素を含んでなる高解像度画像を演算する平均法と、
   を併用して高解像度画像を生成することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
9. 前記高解像度化処理部は、高解像度画像を生成する際に、マイクロレンズに応じた重み付け処理を行うことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
10. 前記初期値設定部は、原画像においてフォーカスが合っていない一部領域の画素値を初期値として設定することを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
11. 副画素単位でシフトした複数の原画像を取得し、
    前記取得された原画像において副画素の画素値が一様となる一部領域の画素値を、副画素の画素値の初期値として設定し、
    前記取得された原画像の画素値と、前記設定された副画素の画素値の初期値とに基づいて、前記副画素に隣接する副画素の画素値を順次推定し、多数の副画素を含んでなる高解像度画像を演算する、画像処理方法。
12. 副画素単位でシフトした複数の原画像を取得する画像取得機能と、
    前記取得された原画像において副画素の画素値が一様となる一部領域の画素値を、副画素の画素値の初期値として設定する初期値設定機能と、
    前記取得された原画像の画素値と、前記設定された副画素の画素値の初期値とに基づいて、前記副画素に隣接する副画素の画素値を順次推定し、多数の副画素を含んでなる高解像度画像を演算する高解像度化処理機能と、
    をコンピュータに実現させる画像処理プログラム。