JP5788551B1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】静止領域の解像度を向上させつつ、動体領域のアーティファクトを抑制する。【解決手段】時系列的に取得された複数の画像間の位置ずれ量を検出する位置ずれ検出部９と、位置ずれ量に基づいて複数の画像を該複数の画像よりも解像度の高い高解像度空間上で合成する高解像度合成部１０と、該高解像度合成部１０により生成された高解像度合成画像を再サンプリングによって縮小して変換画像を生成する画像変換部１１と、複数の画像の基準となる基準画像と変換画像との相関を領域毎に算出する相関算出部１２と、該相関算出部１２により算出された相関が高い程、基準画像の合成比率が小さくなるように高解像度合成画像を補正する画像補正部１３とを備える画像処理装置１を提供する。【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関するものである。

従来、撮影した複数の画像において基準となる１枚の基準画像と、複数の画像のうち基準画像以外の画像との間の相関量を算出し、この相関量が小さくなるにつれて複数の画像のうち基準画像以外の画像の合成比率を小さくして画像を合成する画像処理装置が知られている（例えば、特許文献１参照）。

特開２０１１−１９９７８６号公報

しかしながら、被写体が細かい模様を有する場合は、被写体が動く領域（以下、単に動体領域という。）においては画像間の差分が大きいと正しく判定されて相関量が小さくなるが、被写体が静止している領域（以下、単に静止領域という。）においてはエイリアシングを有することにより、画像間の差分が大きいと誤って判定されて相関量が小さくなるという不都合がある。すなわち、動体領域においては、被写体の動きや画素の位置ずれによるアーティファクトを抑制することができるが、エイリアシングを有する静止領域においては、画素位置が合っているにも関わらず不正確な相関量が算出されて高解像度化できないという不都合がある。

本発明は、上述した事情に鑑みてなされたものであって、静止領域の解像度を向上させつつ、動体領域のアーティファクトを抑制することができる画像処理装置および画像処理方法を提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、時系列的に取得された複数の画像間の位置ずれ量を検出する位置ずれ検出部と、前記位置ずれ量に基づいて前記複数の画像を該複数の画像よりも解像度の高い高解像度空間上で合成する高解像度合成部と、該高解像度合成部により生成された高解像度合成画像を再サンプリングによって縮小して変換画像を生成する画像変換部と、前記複数の画像の基準となる基準画像と前記変換画像との相関を領域毎に算出する相関算出部と、該相関算出部により算出された前記相関が高い程、前記基準画像の合成比率が小さくなるように前記高解像度合成画像を補正する画像補正部とを備える画像処理装置を提供する。

本態様によれば、時系列的に取得された複数の画像間の位置ずれ量に基づいて複数の画像を高解像度空間上で合成することにより、高解像度合成画像が生成される。そして、生成された高解像度合成画像が、画像変換部において再サンプリングによって縮小された変換画像に変換され、基準画像と変換画像との相関が相関算出部において算出される。その後、算出された相関が高いほど基準画像の合成比率が小さくなるように、画像補正部において高解像度合成画像が補正される。

高解像度合成画像が再サンプリングされることにより得られた低解像度の変換画像と基準画像との相関が算出されることにより、動く被写体の部分においてのみ低い相関分布を得ることができ、相関の低い動く被写体の部分においては基準画像の合成比率を高くし、それ以外の部分においては高解像度合成画像の合成比率を高くして、エイリアシングの有無に関わらず静止領域の解像度を向上させ、動体領域における多重像等のアーティファクトを抑制することができる。

また、上記態様においては、時系列的に前記複数の画像を取得する画像取得部を備えていてもよい。
また、上記態様においては、前記画像取得部が、被写体の像を結像させて画像を取得する撮像素子と、複数の前記画像を取得する際に、前記撮像素子に対して該撮像素子上に結像される像の位置を相対的にずらすことが可能なセンサシフト機構と、前記像のシフト方向およびシフト量を制御するセンサシフト制御部とを備えていてもよい。

このようにすることで、センサシフト制御部によって制御されたシフト方向およびシフト量に従って、センサシフト機構が撮像素子に対する像の位置を相対的にずらすことで、被写体の位置がずらされた複数の画像を取得することができる。センサシフト機構は、撮像素子を移動させてもよいし、撮像素子の前段に配置される光学系を撮像素子に対してずらすことにしてもよい。

また、上記態様においては、前記位置ずれ検出部が、前記センサシフト制御部で制御されたシフト方向およびシフト量に基づいて、前記基準画像と前記複数の画像のうち前記基準画像以外の画像である参照画像との位置ずれ量を算出してもよい。
このようにすることで、基準画像と参照画像との位置ずれ量をより正確に算出することができる。

また、上記態様においては、前記位置ずれ検出部が、前記基準画像と、前記複数の画像のうち前記基準画像以外の画像である参照画像との位置ずれ量を領域毎に算出してもよい。

また、上記態様においては、前記高解像度合成部が、前記位置ずれ量に基づいて前記高解像度空間上に前記複数の画像の各画素を配置してもよい。
このようにすることで、簡易に高解像度合成画像を生成することができる。

また、上記態様においては、前記高解像度合成部が、前記高解像度空間上に配置された画素情報に基づいて、配置されてない画素を補間してもよい。
このようにすることで、複数の画像を画素配置により合成した１枚の高解像度合成画像の各画素間に存在する画素配置がされていない画素の画素情報を埋めることができ、解像度をより向上させることができる。

また、上記態様においては、前記画像変換部が、前記高解像度合成画像をローパスフィルタ処理してから縮小してもよい。
このようにすることで、基準画像をそのまま再サンプリングにより間引いて基準画像の画素情報と同一の画素情報になってしまうことを防止し、相関算出時に変換画像と基準画像との相関を正確に算出することができる。

また、上記態様においては、前記画像変換部が、前記高解像度合成部で前記高解像度空間上に前記複数の画像の画素を配置した際に、領域毎の画素の埋まり具合に基づいてローパスフィルタのローパス強度を調整してもよい。
このようにすることで、画素の埋まり具合が低いほどローパスの強度を強くすることで解像度をより向上することができる。

また、上記態様においては、前記画像変換部が、前記画像補正部の補正結果を制御する制御パラメータに基づいてローパスフィルタのローパス強度を調整してもよい。
このようにすることで、解像度が重視される場合にはローパス強度を強くし、アーティファクト抑制が重視される場合にはローパス強度を弱くするなどの調整を行うことができる。

また、上記態様においては、前記相関算出部が、算出した前記相関の分布画像を前記高解像度合成画像の解像度に拡張してもよい。
このようにすることで、低解像画像を用いて算出された相関の分布画像のサイズを高解像度合成画像と一致させて、画像補正部における補正を容易にすることができる。

また、上記態様においては、前記画像補正部が、前記基準画像を前記高解像度合成画像と同じサイズに拡大して拡大画像を生成し、生成された拡大画像と前記高解像度合成画像とを前記相関に基づいて決定された合成比率で合成してもよい。
このようにすることで、画像サイズが一致している変換画像と基準画像との相関情報に応じて決定された合成比率を用いて容易に合成することができる。

また、本発明の他の態様は、時系列的に取得された複数の画像間の位置ずれ量を検出するステップと、前記位置ずれ量に基づいて前記複数の画像を該複数の画像よりも解像度の高い高解像度空間上で合成して高解像度合成画像を生成するステップと、前記高解像度合成画像を再サンプリングによって縮小して変換画像を生成するステップと、前記複数の画像の基準となる基準画像と前記変換画像との相関を領域毎に算出するステップと、前記相関が高い程、前記基準画像の合成比率が小さくなるように前記高解像度合成画像を補正するステップとを含む画像処理方法を提供する。

本発明によれば、静止領域で画素の位置が合っている領域の解像度を向上させつつ、動体領域で画素の位置が合ってない領域のアーティファクトを抑制することができるという効果を奏する。

本発明の一実施形態に係る画像処理装置を示すブロック構成図である。 図１の画像処理装置において処理される画像のイメージ図である。 図１の画像処理装置の画像変換部による高解像度合成画像のＧｒチャネルの再サンプリングを示すイメージ図である。 図１の画像処理装置の画像補正部を示すブロック構成図である。 図１の画像処理装置の合成比率算出部による画像補正時の基準拡大画像と高解像度合成画像との合成比率の関係を示すグラフである。 図１の画像処理装置の高解像度合成部により生成された高解像度合成画像のＧｒチャネルを示すイメージ図である。 図３の画像変換部による再サンプリングの第１の変形例を示すイメージ図である。 図３の画像変換部による再サンプリングの第２の変形例を示すイメージ図である。

本発明の一実施形態に係る画像処理装置および画像処理方法について、図面を参照して以下に説明する。本実施形態に係る画像処理装置１は、例えば、カメラであって、図１に示されるように、被写体を撮影して複数の画像Ｐを取得する画像取得部２と、該画像取得部２により取得された複数の画像Ｐを処理する装置本体部３とを備えている。

画像取得部２は、光を集光する光学系４と、該光学系４により集光された光を撮影する撮像素子５と、該撮像素子５を撮像面に平行な方向にシフトさせるセンサシフト機構６と、撮像素子５のシフト方向およびシフト量を制御するセンサシフト制御部７とを備えている。

光学系４は、例えば、撮像レンズであって、被写体からの光を集光し、撮像素子５の撮像面上に被写体の光学像を形成するようになっている。
撮像素子５は、例えば、図２に示されるような画素配列（いわゆるベイヤー配列）を有し、その撮像面が光学系４の光軸に略直交して配置されており、撮像面に結像された被写体の光学像を撮影して画像を取得するようになっている。

センサシフト機構６は、撮像素子５を撮像面に平行でかつ相互に直交する２方向にサブピクセル単位で２次元的にシフトさせることができるようになっている。
センサシフト制御部７は、複数の画像Ｐを撮影する際に、センサシフト機構６を制御して撮像素子５をシフトさせるとともに、撮像素子５のシフト方向およびシフト量の情報（以下、単にセンサシフト制御情報という。）を装置本体部３に出力するようになっている。

装置本体部３は、撮像素子５により取得された複数の画像Ｐを保存するフレームメモリ８と、複数の画像Ｐ間の位置ずれ量を検出する位置ずれ検出部９と、複数の画像Ｐを合成する高解像度合成部１０と、該高解像度合成部１０により生成された高解像度合成画像Ｖを再サンプリングして変換画像Ｕを生成する画像変換部１１と、複数の画像Ｐの基準となる基準画像Ｓと変換画像Ｕとの相関を領域毎に算出する相関算出部１２と、算出された相関に基づいて高解像度合成画像Ｖを補正する画像補正部１３とを備えている。

位置ずれ検出部９は、センサシフト制御部７からのセンサシフト制御情報が入力されると、基準画像Ｓと、複数の画像Ｐのうち基準画像Ｓ以外の画像（以下、単に参照画像Ｔという。）との間の位置ずれ量を検出し、検出された位置ずれ量を高解像度合成部１０に出力するようになっている。

高解像度合成部１０は、フレームメモリ８に保存されている複数の画像Ｐを、位置ずれ検出部９から入力された位置ずれ量に基づいて、位置合わせしながら色チャネル（例えば、Ｒ、Ｇｒ、Ｇｂ、Ｂ）毎に画像Ｐよりも解像度の高い高解像度空間上に複数の画像Ｐを配置するようになっている。

具体的には、まず基準画像Ｓの画素を高解像度空間上に配置し、次に、位置ずれ検出部９で取得された基準画像Ｓと一の参照画像Ｔとの間の位置ずれ量だけ、当該参照画像Ｔを移動させた位置に配置する。
画素を配置する際には、配置する画素の色と同色の画素が、既に基準画像Ｓの画素や別の参照画像Ｔの画素で配置されていれば、新たに画素配置しなくてもよいし、既に配置されている同色画素と加算平均して画素値を更新してもよい。

更に高解像度合成部１０は、全ての画像の画素を配置した後、高解像度空間上に配置された画素の情報に基づいて、各画素間に存在する、まだ配置されていない画素の情報を補間して埋める処理を行う。
補間の方法としては、例えば、周囲に配置されている画素を用いてエッジ方向を考慮した方向判別補間を施したり、最近傍に存在する画素をコピーして補間したりすればよい。

画像変換部１１は、図３に示されるように、高解像度合成部１０から出力されてきた色チャネル毎の高解像度合成画像Ｖを再サンプリングするようになっている。再サンプリングは、例えば画素の情報を埋めた補間後の高解像度合成画像Ｖについて、基準画像Ｓの位置周辺の領域Ａ部をサンプリングして画素を間引いて縮小する処理である。

また、画像変換部１１は、再サンプリングによって間引く前に、高解像度合成画像Ｖの再サンプリング位置の周辺画素を用いて弱いローパスフィルタをかける（以下、単にローパスフィルタ処理という。）ようになっている。ローパスフィルタの強度は調整可能とし、画像の枚数や補間前の領域毎の画素の埋め具合（被覆率）が低い程、ローパス強度を強く調整するようになっている。

また、ローパスフィルタ処理は、再サンプリングの際に、基準画像Ｓの位置をそのままサンプリングして間引いてしまうと、再サンプリングにより生成された画像が基準画像Ｓの画素情報と全く同じ画素情報となり相関算出部１２で相関が算出されないので、基準画像Ｓとは別に撮影された参照画像Ｔの画素を混ぜるように行う必要がある。
画像変換部１１は、図３に示されるように、高解像度合成画像Ｖをローパスフィルタ処理してから縮小することにより、低解像度に変換された変換画像Ｕを生成することができる。

相関算出部１２は、画像変換部１１から出力されてきた変換画像Ｕと、フレームメモリ８から出力されてきた基準画像Ｓとの間で合わせたフォーマットで領域毎に差分値絶対値和や差分二乗和などにより相関を算出するようになっている。

また、相関算出部１２は、基準画像Ｓと再サンプリングされた変換画像Ｕとの間で算出された相関の情報を、高解像度合成画像Ｖの画像サイズとなるように拡張して画像補正部１３に出力するようになっている。このとき、相関算出部１２による相関の情報のスケール変換は、ニアレストネイバーのような拡大コピーや、バイキュービック拡大のような補間拡大により行われればよい。

画像補正部１３は、図４に示されるように、基準画像Ｓを色補間する色補間処理部１４と、該色補間処理部１４により色補間された基準画像Ｓを拡大して基準拡大画像Ｗを生成する拡大処理部１５と、相関に基づいて合成比率を算出する合成比率算出部１６と、算出された合成比率に基づいて基準拡大画像Ｗおよび高解像度合成画像Ｖを合成する合成処理部１７とを備えている。

色補間処理部１４は、フレームメモリ８から出力されてきたベイヤー配列の基準画像Ｓを色補間し３板化（または４板化）するようになっている。
拡大処理部１５は、色補間処理部１４から出力されてきた３板化された基準画像Ｓを高解像度合成画像Ｖと同じサイズに拡大して基準拡大画像Ｗを生成するようになっている。

合成比率算出部１６は、相関算出部１２から出力されてきた相関の情報から合成比率を算出するようになっている。この合成比率は、図５に示されるように、相関性が低い（相関が小さい）場合は、基準拡大画像Ｗの合成比率が大きく、相関性が高い（相関が大きい）場合は、基準拡大画像Ｗの合成比率が小さく算出されるようになっている。また、図５は、縦軸が合成比率の大小、横軸が相関性の高低を示している。

合成処理部１７は、合成比率算出部１６から出力されてきた合成比率に基づいて、拡大処理部１５から入力された基準拡大画像Ｗと、高解像度合成部１０から入力された高解像度合成画像Ｖとを合成して補正画像Ｘを生成するようになっている。
生成された補正画像Ｘは、フレームメモリ８に入力されて保存される。

このように構成された本実施形態に係る画像処理装置１を用いた画像処理方法について、図２を参照して以下に説明する。
本実施形態に係る画像処理装置１によれば、まず、撮像レンズ４を介して収集した光を撮像素子５の撮像面上で結像し、センサシフト機構６によって撮像素子５をシフトさせながら、時系列的に複数の画像Ｐを取得してフレームメモリ８に保存する。

フレームメモリ８に複数の画像Ｐが保存されると、位置ずれ検出部９により基準画像Ｓと参照画像Ｔとの間の位置ずれ量が検出される（検出するステップ）。そして、高解像度合成部１０が、検出された位置ずれ量に基づいて高解像度空間上で基準画像Ｓと参照画像Ｔとを位置合わせして合成し、高解像度合成画像Ｖを生成する（高解像度合成画像を生成するステップ）。

高解像度合成部１０により生成された高解像度合成画像Ｖには、図２において、画面右端に細かい白黒模様の被写体Ｑがあるが、撮像素子５により取得された複数の画像Ｐのうち、基準画像Ｓである１枚目と参照画像Ｔである３枚目には、高解像度合成画像Ｖの白黒模様の被写体Ｑの位置に黒い領域がサンプリングされている。また、参照画像Ｔである２枚目と４枚目には、同位置に白い領域がサンプリングされている。この白黒模様の被写体Ｑは、細かい模様の被写体であるため、低解像の画像Ｐにおいてエイリアシング（以下、単に折り返しという。）が発生して、白黒模様の被写体Ｑの結像が不正確になることにより、黒くなったり白くなったりする。

しかしながら、低解像の画像Ｓ，Ｔを位置ずれ検出部９から検出された位置ずれ量に基づいて高解像度合成画像Ｖを生成することにより、静止している被写体が存在する領域（静止領域）が高解像度化されるため、折り返しを有する画像Ｐにおける画面右端の黒いまたは白い領域において白黒模様の被写体Ｑを再現することができる。

図６には、Ｇｒチャネルのみの高解像度合成画像Ｖが示されており、ベイヤー配列の場合には、Ｇｒチャネル以外にＧｂ，Ｒ，Ｂチャネルも存在し、以下説明のように同様の概念である。
図６中に示されているＧｒの後ろの番号は、１マス０．５画素として複数の画像Ｐを撮影した撮影順序を示している。

この例の場合、図６は、１枚目の画素Ｇｒ１の位置を基準として、
この基準から、
２枚目の画素Ｇｒ２は、水平方向に１画素、垂直方向に０画素、
３枚目の画素Ｇｒ３は、水平方向に０画素、垂直方向に１画素、
４枚目の画素Ｇｒ４は、水平方向に１画素、垂直方向に１画素、
５枚目の画素Ｇｒ５は、水平方向に０．５画素、垂直方向に０．５画素、
６枚目の画素Ｇｒ６は、水平方向に１．５画素、垂直方向に０．５画素、
７枚目の画素Ｇｒ７は、水平方向に０．５画素、垂直方向に１．５画素、
８枚目の画素Ｇｒ８は、水平方向に１．５画素、垂直方向に１．５画素、
ずらして画像Ｐを撮影し、基準からの位置ずれ量に基づいて高解像度空間上に各画素を配置した高解像度合成画像Ｖを示している。また、図６中の斜線部の画素は、周辺の配置された画素から補間によって埋められた画素を示している。

そして、画像変換部１１により高解像度合成画像Ｖを再サンプリングすることにより間引いて変換画像Ｕが生成される（変換画像を生成するステップ）と、相関算出部１２が、変換画像Ｕと基準画像Ｓとの間で相関を領域毎に算出する（相関を算出するステップ）。これにより動く被写体の存在する領域（動体領域）のみ相関が低くなり、画面右端の白黒模様の被写体Ｑを含む静止領域では相関が高くなる。

その後、算出された相関の情報が合成比率算出部１６に入力されると、合成比率算出部１６が入力された相関に基づいて、相関が高いほど基準画像Ｓを拡大した基準拡大画像Ｗの合成比率が小さくなるように、基準拡大画像Ｗと高解像度合成画像Ｖとの合成比率を算出する（補正するステップ）。

高解像度合成画像Ｖが再サンプリングされることにより得られた低解像度の変換画像Ｕと基準拡大画像Ｗとの相関が算出されることにより、動体領域においてのみ低い相関分布を得ることができ、相関の低い動体領域においては基準拡大画像Ｗの合成比率を高くし、それ以外の部分においては高解像度合成画像Ｖの合成比率を高くすることができる。
すなわち、折り返しの有無に関わらず静止領域の解像度を向上させ、動体領域における多重像等のアーティファクトを抑制することができるという利点がある。

この場合において、相関算出部１２が、算出した相関の分布画像を高解像度合成画像Ｖの解像度に拡張することにより、低解像の変換画像Ｕを用いて算出された相関の分布画像のサイズを高解像度合成画像Ｖと一致させて、合成比率算出部１６における合成比率の算出を容易にすることができるという利点がある。

なお、本実施形態においては、画像処理装置１として、画像取得部２を備えるカメラとしていたが、本発明は、画像取得部２を備えていない画像処理装置（例えば、ＰＣ）に適用されてもよい。また、上述した画像処理装置１による画像処理は、ハードウェアによる実施に限られるものでなく、これに代えて、ソフトウェアによる実施、或いはハードウェアおよびソフトウェアの組み合せにより実施されてもよい。

また、本実施形態においては、位置ずれ検出部９として、センサシフト制御部７からのセンサシフト制御情報が入力されることにより位置ずれ量を検出していたが、これに限られるものではない。例えば、フレームメモリ８に保存されている複数の画像Ｐのデータ（図２の上部にある基準画像Ｓと参照画像Ｔ）を用いて画像Ｓ，Ｔ間における画像全体のグローバルな動き量、または、領域毎のローカルな動き量を算出することで位置ずれ量を検出するようにしてもよい。

このようにすることで、３２ｘ３２画素を１ブロックとする分割領域毎にブロックマッチング法等を用いて水平方向と垂直方向の動きベクトルを取得して、位置ずれ量を検出することができる。なお、取得する動き情報は、水平方向と垂直方向の動きだけでなく、回転方向や拡大縮小の変化でもよい。

また、本実施形態においては、画像変換部１１として、ローパスフィルタの強度を画像の枚数や補間前の領域毎の画素の埋め具合（被覆率）が低い程、ローパス強度を強く調整するようにしていたがこれに限られるものではない。例えば、ローパスフィルタの強度の調整を、メーカーパラメータとして画質の解像度が重視されるようなパラメータ設定の場合は、ローパスの強度を強くし、アーティファクト抑制重視の場合は、ローパスの強度を弱くするようにしてもよい。

また、本実施形態においては、画像変換部１１として、画像補正部１３の補正結果を制御する制御パラメータに基づいてローパスフィルタのローパス強度を調整するようにしてもよい。
このようにすることで、解像度が重視される場合にはローパス強度を強くし、アーティファクト抑制が重視される場合にはローパス強度を弱くするなどの調整を行うことができる。

また、本実施形態においては、画像変換部１１として、ローパスフィルタによる処理については、画素配置後の補間時に周辺画素が混ざる（以下、単にローパス効果という。）ように補間処理と同時に行ってもよい。また、図７に示すように、再サンプリング時に基準画像Ｓの位置を少しずらして基準画像Ｓ周辺画素の重み付き画素加算によって重要度の高い画素（例えば、Ｇｒ５など）を混ぜてローパス効果を得るようにしてもよい。

この場合において、サンプリングする色チャネルは、相関算出部１２による相関の算出方法によって変更することができる。例えば、相関の算出において基準画像Ｓを色補間処理して３板化したＧ（またはＧｒかＧｂ）の色チャネルで行う場合には、図３および図７に示されるように、Ｇｒ（または、図中のＧｒをＧｂとして置き換えるか、ＧｒとＧｂをそれぞれ再サンプリングしたものを合成してＧの再サンプリング結果としてもよい）を用いてサンプリングしてもよい。また、基準画像Ｓのベイヤー配列と相関を算出する場合には、図８に示されるように、サンプリングされた変換画像Ｕがベイヤー配列になるようにそれぞれ異なる画像Ｐの各色チャネルからサンプリングしてもよい。

また、本実施形態においては、相関算出部１２として、差分値絶対値和や差分二乗和などにより相関を算出しているが、画像Ｓ，Ｕ間の相関性が算出できる演算方法であればこれに限られるものではない。

１ 画像処理装置
２ 画像取得部
３ 装置本体部
４ 光学系（撮像レンズ）
５ 撮像素子
６ センサシフト機構
７ センサシフト制御部
８ フレームメモリ
９ 位置ずれ検出部
１０ 高解像度合成部
１１ 画像変換部
１２ 相関算出部
１３ 画像補正部

Claims (13)

1. 時系列的に取得された複数の画像間の位置ずれ量を検出する位置ずれ検出部と、
   前記位置ずれ量に基づいて前記複数の画像を該複数の画像よりも解像度の高い高解像度空間上で合成する高解像度合成部と、
   該高解像度合成部により生成された高解像度合成画像を再サンプリングによって縮小して変換画像を生成する画像変換部と、
   前記複数の画像の基準となる基準画像と前記変換画像との相関を領域毎に算出する相関算出部と、
   該相関算出部により算出された前記相関が高い程、前記基準画像の合成比率が小さくなるように前記高解像度合成画像を補正する画像補正部とを備える画像処理装置。
2. 時系列的に前記複数の画像を取得する画像取得部を備える請求項１に記載の画像処理装置。
3. 前記画像取得部が、被写体の像を結像させて画像を取得する撮像素子と、複数の前記画像を取得する際に、前記撮像素子に対して該撮像素子上に結像される像の位置を相対的にずらすことが可能なセンサシフト機構と、前記像のシフト方向およびシフト量を制御するセンサシフト制御部とを備える請求項２に記載の画像処理装置。
4. 前記位置ずれ検出部が、前記センサシフト制御部で制御されたシフト方向およびシフト量に基づいて、前記基準画像と前記複数の画像のうち前記基準画像以外の画像である参照画像との位置ずれ量を算出する請求項３に記載の画像処理装置。
5. 前記位置ずれ検出部が、前記基準画像と、前記複数の画像のうち前記基準画像以外の画像である参照画像との位置ずれ量を領域毎に算出する請求項１または請求項２に記載の画像処理装置。
6. 前記高解像度合成部が、前記位置ずれ量に基づいて前記高解像度空間上に前記複数の画像の各画素を配置する請求項１から請求項５のいずれか一項に記載の画像処理装置。
7. 前記高解像度合成部が、前記高解像度空間上に配置された画素情報に基づいて、配置されてない画素を補間する請求項６に記載の画像処理装置。
8. 前記画像変換部が、前記高解像度合成画像をローパスフィルタ処理してから縮小する請求項１から請求項７のいずれか一項に記載の画像処理装置。
9. 前記画像変換部が、前記高解像度合成部で前記高解像度空間上に前記複数の画像の画素を配置した際に、領域毎の画素の埋まり具合に基づいてローパスフィルタのローパス強度を調整する請求項８に記載の画像処理装置。
10. 前記画像変換部が、前記画像補正部の補正結果を制御する制御パラメータに基づいてローパスフィルタのローパス強度を調整する請求項８に記載の画像処理装置。
11. 前記相関算出部が、算出した前記相関の分布画像を前記高解像度合成画像の解像度に拡張する請求項１から請求項１０のいずれか一項に記載の画像処理装置。
12. 前記画像補正部が、前記基準画像を前記高解像度合成画像と同じサイズに拡大して拡大画像を生成し、生成された拡大画像と前記高解像度合成画像とを前記相関に基づいて決定された合成比率で合成する請求項１から請求項１１のいずれか一項に記載の画像処理装置。
13. 時系列的に取得された複数の画像間の位置ずれ量を検出するステップと、
    前記位置ずれ量に基づいて前記複数の画像を該複数の画像よりも解像度の高い高解像度空間上で合成して高解像度合成画像を生成するステップと、
    前記高解像度合成画像を再サンプリングによって縮小して変換画像を生成するステップと、
    前記複数の画像の基準となる基準画像と前記変換画像との相関を領域毎に算出するステップと、
    前記相関が高い程、前記基準画像の合成比率が小さくなるように前記高解像度合成画像を補正するステップとを含む画像処理方法。

Images