JP2012185808A - 画像処理装置、画像処理方法、及びコンピュータプログラム、並びに撮像装置 - Google Patents

Abstract

【課題】 複数の低解像度画像の中から、高画質の高解像度画像を生成するのに適した基準画像を選択できる画像処理装置を提供する。
【解決手段】 画像処理装置１００は、複数の低解像度画像のうちの１つを基準画像候補として選択して、その他の低解像度画像を位置合わせするための変換行列を求める位置合わせ部１０２と、その他の低解像度画像を変換行列で座標変換して、基準画像候補及び座標変換された低解像度画像をマッピング画像にプロットして基準画像選択用再構成画像を生成する再構成処理部１０３と、マッピング画像にプロットされた、基準画像候補及びその他の低解像度画像の画素数が多いほど、また、マッピング画像上の同一の画素に重複してプロットされた画素数が少ないほど、基準画像候補に高い評価値を付与する評価値算出部１０４と、評価値の高い基準画像候補を基準画像として選択する基準画像選択部１０５とを備えている。
【選択図】 図１

Description

本発明は、複数の低解像度画像から高解像度画像を生成する超解像処理を行う画像処理装置、画像処理方法、及びコンピュータプログラム、並びにそれらを利用したに撮像装置に関する。

従来より、複数の低解像度画像を用いて超解像処理を行って高解像度画像を生成する画像処理装置が知られている。この種の画像処理装置は、複数の低解像度のうちの１つを基準画像として、他の低解像度画像の位置合わせの座標変換を行い、座標変換された低解像度画像を１枚のマッピング画像にプロットして再構成画像を生成する。そして、再構成画像中のプロットされていない画素を補間して、高解像度画像を生成する。

ここで、従来の画像処理装置では、複数の低解像度画像のうちの例えば最初の低解像度画像を基準画像としていた。また、別の従来の画像処理装置では、ぼけの量が小さい低解像度画像を基準画像として選択していた（例えば、特許文献１参照）。

特開２００９−１９４８９６号公報

複数の低解像度画像を用いた超解像処理では、基準画像を適切に選択することで、生成される高解像度画像の画質を向上できる。従って、最初の低解像度画像を基準画像とする例のように、画像の内容に基づかないで基準画像を選択すると、必ずしも高画質の高解像度画像を得るための最適な基準画像とはならない。また、特許文献１のように、ぼけ量に基づいて基準画像を選択したとしても、他の低解像度画像との関係を考慮していないので、やはり必ずしも最適な基準画像とはならない。

本発明は、上記の問題に鑑みてなされたものであり、高解像度画像の画質を向上するものである。また、複数の低解像度画像の中から、最適な基準画像を選択し、高画質の高解像度画像を生成する画像処理装置を提供することを目的とする。

上記従来の課題を解決するために、本発明の画像処理装置は、複数の低解像度画像を取得する低解像度画像取得部と、前記複数の低解像度画像から基準画像を選択する基準画像選択部と、前記基準画像以外の複数の低解像度画像と前記基準画像との位置合わせをするための第１変換行列を生成する第１変換行列生成部と、前記基準画像および前記基準画像以外の低解像度画像を所定の座標変換するための第２変換行列を生成する第２変換行列生成部と、前記基準画像を前記第２変換行列で座標変換するとともに、前記基準画像以外の低解像度画像を前記第１および第２変換行列で座標変換し、座標変換された前記基準画像および前記基準画像以外の低解像度画像をマッピング画像にプロットして、高解像度画像を生成する高解像度画像生成部と、を備えた構成を有している。

この構成により、超解像度処理によって高解像度画像を生成する際に、位置合わせのための第１変換行列とともに画像に座標変換を行うための第２変換行列が用いられる。したがって、超解像度処理によって複数の低解像度画像から高解像度画像を生成するときに、座標変換された高解像度画像を生成することが可能になる。このように、超解像度処理のときに他の座標変換処理を一緒に行うことにより、超解像度処理の後に別途他の座標変換処理を別途行う場合に比べて高速に、高い画質の高解像度画像を得ることができる。

また、本発明の画像処理装置では、前記第２変換行列生成部は、ユーザ入力に基づいて設定される回転角の回転を行うための第２変換行列を生成する構成を有している。

この構成により、第２変換行列の回転角は、ユーザ入力に基づいて設定される。例えば、ユーザが所望の回転角を入力すると、その回転角だけ回転された高解像度画像を生成することができる。

また、本発明の画像処理装置では、前記第２変換行列生成部は、前記複数の低解像度画像からユーザにより指定されたユーザ選択画像と前記基準画像の傾きが異なる場合に、前記基準画像の傾きを前記ユーザ選択画像の傾きに合わせる回転角の回転を行うための第２変換行列を生成する構成を有している。

この構成により、複数の低解像度画像において、ユーザ選択画像（ユーザが選択した画像）と基準画像（例えば、最初のフレームの画像）の傾き（回転角）が異なる場合には、ユーザ選択画像の傾きに合わせるように回転された高解像度画像を生成することができる。

また、本発明の画像処理装置では、前記第２変換行列生成部は、前記複数の低解像度画像を幾何学変形させる第２変換行列を生成する構成を有している。

この構成により、超解像度処理によって複数の低解像度画像から高解像度画像を生成するときに、例えば台形補正等の幾何学変形された高解像度画像を生成することが可能になる。

また、本発明の画像処理装置は、複数の低解像度画像を取得する低解像度画像取得部と、前記低解像度画像取得部にて取得した複数の低解像度画像のうちの１つを基準画像候補として選択して、前記基準画像候補以外の低解像度画像を前記基準画像候補の低解像度画像と位置合わせするための変換行列を求める位置合わせ部と、前記基準画像候補以外の低解像度画像を前記変換行列で座標変換して、前記基準画像候補及び座標変換された前記基準画像候補以外の低解像度画像をマッピング画像にプロットして基準画像選択用再構成画像を生成する再構成処理部と、前記基準画像候補に評価値を付与する評価値算出部であって、前記基準画像選択用再構成画像において、前記マッピング画像にプロットされた、前記基準画像候補及び座標変換された前記基準画像候補以外の低解像度画像の画素数が多いほど、高い評価値を付与し、かつ、前記マッピング画像上の同一の画素に重複してプロットされた、座標変換された前記基準画像候補以外の低解像度画像の画素数が少ないほど、高い評価値を付与する評価値算出部と、前記複数の低解像度画像のうち前記基準画像候補として選択する低解像度画像を変えて複数の前記基準画像選択用再構成画像を生成した場合の、選択された複数の前記基準画像候補のうち、前記評価値の高い前記基準画像候補を基準画像として選択する基準画像選択部とを備えた構成を有している。

この構成により、マッピング画像にプロットされた基準画像候補及びその他の低解像度画像の画素数が多く、マッピング画像上の同一の画素に重複してプロットされた、低解像度画像の画素数が少ない基準画像候補が、基準画像として選択される。このように選択された基準画像によれば、マッピング画像にプロットされる画素数が多くなるので、マッピング画像におけるマッピング画素の充填率が高くなり、かつ、マッピング画像上の同一の画素に重複してプロットされる画素数が少なくなるので、マッピング画像におけるマッピング画素の重複率が低くなる。よって、高品質の高解像度画像を得ることができる基準画像を好適に選択できる。

上記の画像処理装置において、前記評価値算出部は、更に、前記基準画像候補の低解像度画像と前記基準画像候補以外の低解像度画像との位置合せの誤差が小さいほど、当該基準画像候補に高い評価値を付与してよい。

この構成により、他の低解像度画像との誤差が小さい低解像度画像が基準画像として選択されるので、高品質の高解像度画像を得ることができる基準画像がより好適に選択される。

上記の画像処理装置において、前記位置合わせ部は、前記複数の低解像度画像の一部の評価領域について、前記変換行列を求めてよく、前記再構成処理部は、前記評価領域について、前記基準画像選択用再構成画像を生成してよい。

この構成により、基準画像を選択するために、画像全体を用いて評価を行なうのではなく、一部領域である評価領域のみを用いて評価を行なうので、処理負担を軽減でき、基準画像の選択を高速化できる。この構成は、特に低解像度画像の数が多い場合に有効である。

上記の画像処理装置において、前記位置合わせ部は、前記複数の低解像度画像のうちの代表画像のみを前記基準画像候補として選択してよい。

この構成により、高解像度画像を生成するための複数の低解像度画像がある場合に、そのうちの一部の低解像度画像（代表画像）のみを基準画像候補とするので、すべての低解像度画像について評価をする必要がなく、基準画像選択のための処理負担を軽減でき、基準画像の選択を高速化できる。この構成も、低解像度画像の数が多い場合に有効である。

上記の画像処理装置において、前記位置合わせ部は、前記複数の低解像度画像をマッチングして、互いに似通った複数の低解像度画像がある場合には、そのうちの１つを前記代表画像として選択してよい。

互いに似通った低解像度画像は、いずれが基準画像として選択されても、高解像度画像の画質に対する影響は大差ないと考えられる。従って、この構成により、互いに似通った低解像度画像は、そのうちの１つの低解像度画像のみを基準画像候補として、基準画像選択のための評価を行なうことで、基準画像選択の処理負担を軽減でき、基準画像の選択を高速化できるとともに、依然として高画質の高解像度画像を得るための基準画像を好適に選択できる。

上記の画像処理装置において、前記位置合わせ部は、順に並んだ前記複数の低解像度画像から等間隔で前記代表画像を選択してよい。

この構成により、簡単な処理で代表画像を選択できる。

上記の画像処理装置において、前記位置合わせ部は、更に、前記低解像度画像取得部にて取得した複数の低解像度画像のうちの前記基準画像選択部にて選択された前記基準画像と位置合わせするために前記基準画像以外の低解像度画像を座標変換するための変換行列を求めてよく、前記再構成処理部は、更に、前記基準画像以外の低解像度画像を前記変換行列で座標変換して、前記基準画像及び座標変換された前記基準画像以外の低解像度画像をマッピング画像にプロットして再構成画像を生成してよく、前記画像処理装置は、更に、前記再構成画像を補間して、高解像度画像を生成する高解像度画像生成部を備えていてよい。

この構成により、好適に選択された基準画像を用いて、高画質の高解像度画像を得ることができる。

上記の画像処理装置は、更に、前記複数の低解像度画像のいずれかにおいて、前記高解像度画像を生成する超解像度処理領域を指定する超解像度処理領域指定部と、前記高解像度画像生成部にて生成された高解像度画像中の前記超解像度処理領域に対応する領域を、前記超解像度指定領域の向きに合致するように回転補正する回転補正部とを備えていてよい。

この構成により、指定された領域について、当該領域に対して傾きのない高解像度画像を得ることができる。

本発明の別の態様は、撮像装置であり、この撮像装置は、上記のいずれかの画像処理装置と、被写体を複数回撮影することで、前記複数の低解像度画像を生成し、前記低解像度画像取得部に提供する撮像部とを備えた構成を有している。

この構成により、撮像装置において低解像度画像の撮影をして、そのままその撮像装置において、好適な基準画像を選択でき、又は高画質の高解像度画像を得ることができる。

本発明の更に別の態様は、複数の低解像度画像から生成する高解像度画像を座標変換する画像処理方法であって、この画像処理方法は、前記複数の低解像度画像を回転させるための変換行列を生成する変換行列生成ステップと、前記複数の低解像度画像を前記変換行列で座標変換し、座標変換された前記複数の低解像度画像をマッピング画像にプロットして回転された高解像度画像を生成する高解像度画像生成ステップと、を含んでいる。

この方法によっても、超解像度処理のための再構成画像を生成するときに、画像を回転させるための変換行列が用いられる。したがって、超解像度処理によって複数の低解像度画像から高解像度画像を生成するときに、回転された高解像度画像を生成することが可能になる。このように、超解像度処理の前に回転処理を行うことにより、超解像度処理の後に回転処理を別途行う場合に比べて高速に、高い画質の高解像度画像を得ることができる。

本発明の更に別の態様は、画像処理方法であって、この画像処理方法は、複数の低解像度画像を取得する低解像度画像取得ステップと、前記低解像度画像取得ステップにて取得した複数の低解像度画像のうちの１つを基準画像候補として選択して、前記基準画像候補以外の低解像度画像を前記基準画像候補との低解像度画像位置合わせするための変換行列を求める位置合わせステップと、前記基準画像候補以外の低解像度画像を前記変換行列で座標変換して、前記基準画像候補及び座標変換された前記基準画像候補以外の低解像度画像をマッピング画像にプロットして基準画像選択用再構成画像を生成する再構成処理ステップと、前記基準画像候補に評価値を付与する評価値算出ステップであって、前記基準画像選択用再構成画像において、前記マッピング画像にプロットされた、前記基準画像候補及び座標変換された前記基準画像候補以外の低解像度画像の画素数が多いほど、高い評価値を付与し、かつ、前記マッピング画像上の同一の画素に重複してプロットされた、座標変換された前記基準画像候補以外の低解像度画像の画素数が少ないほど、高い評価値を付与する評価値算出ステップと、前記複数の低解像度画像のうち前記基準画像候補として選択する低解像度画像を変えて複数の前記基準画像選択用再構成画像を生成した後に、選択された複数の前記基準画像候補のうち、前記評価値の高い前記基準画像候補を基準画像として選択する基準画像選択ステップとを含んでいる。

この構成によっても、マッピング画像にプロットされた基準画像候補及びその他の低解像度画像の画素数が多く、マッピング画像上の同一の画素に重複してプロットされた、低解像度画像の画素数が少ない基準画像候補が、基準画像として選択され、このように選択された基準画像によれば、マッピング画像にプロットされる画素数が多くなるので、マッピング画像におけるマッピング画素の充填率が高くなり、かつ、マッピング画像上の同一の画素に重複してプロット画素数が少なくなるので、マッピング画像におけるマッピング画素の重複率が低くなる。よって、高品質の高解像度画像を得ることができる基準画像が好適に選択される。

本発明の更に別の態様は、上記の画像処理方法をコンピュータに実行させるためのコンピュータプログラムである。

本発明は、超解像度処理と同時に回転等の幾何学変形処理を行うことができ、高い画質の高解像度画像を得ることができるという効果を有する画像処理装置を提供することができるものである。

本発明の第１の実施の形態における画像処理装置の構成を示すブロック図 （ａ）本発明の第１の実施の形態における基準画像候補を超解像の拡大率で拡大してマッピング画像上に離散的に配置した状態を示す図 （ｂ）本発明の第１の実施の形態におけるすべての基準画像候補以外の低解像度画像に対して座標変換及び拡大を行いマッピング画像にプロットした状態を示す図 本発明の実施の形態におけるマッピング画像への複数の低解像度画像の画素のマッピングを説明する図 本発明の第１の実施の形態における画像処理装置の基準画像決定までの動作を示すフロー図 本発明の第１の実施の形態における画像処理装置の基準画像が決定した後の高解像度画像生成の動作を示すフロー図 （ａ）本発明の第１の実施の形態の変形例における画素値平均誤差Ａの平均値ＳＡが比較的小さい場合を説明する図 （ｂ）本発明の第１の実施の形態の変形例における画素値平均誤差Ａの平均値ＳＡが比較的大きい場合を説明する図 本発明の第２の実施の形態における画像処理装置の構成を示すブロック図 本発明の第２の実施の形態における評価領域の例を示す図 本発明の第３の実施の形態における画像処理装置の構成を示すブロック図 本発明の第４の実施の形態における画像処理装置の構成を示すブロック図 本発明の第４の実施の形態における画像処理装置の超解像度処理を説明する図 本発明の第４の実施の形態における高解像度画像回転補正部による回転補正処理を説明する図 本発明の第５の実施の形態における画像処理装置の構成を示すブロック図 本発明の第５の実施の形態における回転補正変換行列Ｂ＝Ｒ・Ａの説明図 本発明の第５の実施の形態における回転補正行列Ｒの他の例を示す図 本発明の第５の実施の形態における再構成処理の説明図 本発明の第５の実施の形態における画像処理装置の動作の流れを説明するフロー図 本発明の第５の実施の形態における画像処理の一例を示す図 本発明の第５の実施の形態における画像処理の他の例を示す図 本発明の第６の実施の形態の撮像装置の構成を示すブロック図

以下、本発明を実施するための形態について、図面を参照しながら説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態における画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、低解像度画像取得部１０１と、位置合わせ部１０２と、再構成処理部１０３と、評価値算出部１０４と、基準画像選択部１０５と、高解像度画像生成部１０６とを備えている。

低解像度画像取得部１０１は、複数回の撮影によって得られた複数の低解像度画像を取得する。低解像度画像取得部１０１は、外部のカメラで複数回の撮影を行なうことで生成された複数の低解像度画像を入力することで複数の低解像度画像を取得してよく、通信ネットワークを介して送信された複数の低解像度画像を受信することで複数の低解像度画像を取得してよく、又は、記録メディアに記録された複数の低解像度画像を読み出すことで複数の低解像度画像を取得してよい。

位置合わせ部１０２（第１変換行列生成部）は、低解像度画像取得部１０１にて取得された複数の低解像度画像のうちの１つを基準画像候補として選択して、その基準画像候補に対して、基準画像候補に位置合わせされるように他の低解像度画像の各々の座標変換を行うための変換行列（第１変換行列）を求める。位置合わせ部１０２は、具体的には、基準画像候補と他の低解像度画像との間で特徴点マッチングを行い、基準画像候補と低解像度画像との間の対応する４点を検出して射影変換行列を算出する。

この射影変換行列は、基準画像候補と低解像度画像との関係を表す変換行列である。この射影変換行列を用いて低解像度画像の座標変換を行うことで、低解像度画像が基準画像候補に位置合わせされる。位置合わせ部１０２（第１変換行列生成部）は、選択した基準画像候補以外のすべての低解像度画像について射影変換行列（第１変換行列）を求める。

再構成処理部１０３は、位置合わせ部１０２（第１変換行列生成部）で算出された変換行列（第１変換行列）を用いてすべての低解像度画像を基準画像候補の座標系に変換する。そして、再構成処理部１０３は、基準画像候補及び座標変換された基準画像候補以外の低解像度画像を超解像の拡大率で拡大する。再構成処理部１０３は、拡大された基準画像候補の画素、及び座標変換して拡大された基準画像候補以外の低解像画像の画素をマッピング画像上にプロットする。

図２（ａ）は、基準画像候補を超解像の拡大率で拡大して、マッピング画像上に離散的に配置した状態を示す図である。図２（ａ）では、マッピング画像にプロットされた基準画像候補の画素が右斜め上方向の斜線で示されている。本実施の形態では、説明を簡単にするために、低解像度画像は、４画素×４画素のサイズを有し、超解像の拡大率は、縦横各４倍であり、従って、マッピング画像は、１６画素×１６画素のサイズを有し、マッピング画像上では、縦方向及び横方向の４画素ごとに基準画像の画素が配置されるものとする。実際には、低解像度画像のサイズは、より大きくてよい。

再構成処理部１０３は、このマッピング画像に、基準画像候補の座標系に変換されたすべての基準画像候補以外の低解像度画像の画素をプロット（マッピング）していく。このように、基準画像を選択するために、基準画像候補を用いてマッピング画像にマッピングを行なうことで生成される再構成画像は、本発明の基準画像選択用再構成画像に相当する。

図２（ｂ）は、基準画像候補以外のすべての低解像度画像に対して、座標変換及び拡大を行い、マッピング画像上にプロットした状態を示す図である。図２（ｂ）において、基準画像候補以外の低解像度画像の画素は、右斜め下方向の斜線で示されている。

図２（ｂ）に示すように、一般的には、すべての低解像度画像の画素をマッピング画像にプロットしても、マッピング画像のすべての画素に低解像度画像の画素がプロットされるわけではなく、マッピング画像中には、低解像度画像の画素がプロットされない画素が存在する。また、マッピング画像中において低解像度画像の画素がプロットされた画素の中には、複数の低解像度画像の画素が重複してプロットされた画素も含まれている。

図３は、マッピング画像への複数の低解像度画像の画素のマッピングを説明する図である。図３に示すように、低解像度画像列ｌ１〜ｌ５があるとき、例えば、低解像画像ｌ１の左下の画素は、座標変換及び拡大によって、マッピング画像（図３の例では、下から２番目、左から１番目の画素）にプロットされる。そして、図３の例では、低解像度画像ｌ２と低解像度画像ｌ３の左から１番目、下から２番目の画素は、座標変換及び拡大をされて、マッピング画像にプロットされる際に、マッピング画像上の同一の画素にプロットされている。

評価値算出部１０４は、マッピング画像上にプロットされた、基準画像候補の画素及び基準画像候補以外の低解像度画像の画素（以下、これらをまとめて「有効画素」という。）の総数Ｐを求める。この有効画素の総数Ｐは、即ち、図２（ｂ）のマッピング画像において、右斜め上方向の斜線が付された画素及び右斜め下方向の斜線が付された画素の総数である。

また、評価値算出部１０４は、マッピングの過程で、上記のように、マッピング画像の同一の画素に重複してプロットされた低解像度画像の画素の数（即ち基準画像候補又はその他の低解像度画像の画素が既にプロットされているマッピング画像の画素に再度プロットされた低解像度画像の画素の総数）Ｎを計上する。そして、マッピング画像の全画素数Ｍ（図２の例では、１６画素×１６画素）を用いて、下式（１）により、基準画像候補に対する評価値Ｅを算出する。
Ｅ＝（Ｐ−Ｎ）／Ｍ ・・・（１）

位置合わせ部１０２、再構成処理部１０３、及び評価値算出部１０４は、低解像度画像取得部１０１にて取得された複数の低解像度画像の各々について、それを基準画像候補として上記の処理を行い、評価値を算出する。

基準画像選択部１０５は、複数の低解像度画像のすべてについて、それを基準画像候補とした評価値が算出されたら、最も高い評価値を付与された基準画像候補を基準画像として選択する。

位置合わせ部１０２は、基準画像選択部１０５が基準画像を選択すると、その選択された基準画像を用いて、その他の低解像度画像の各々につき、変換行列を求める。位置合わせ部１０２は、このとき、基準画像の選択の過程で算出した変換行列を用いてもよい。再構成処理部１０３は、マッピング画像上に、基準画像の画素及びその他の低解像度画像の画素をマッピングしていく。このように、基準画像選択部にて選択された基準画像を用いてマッピング画像にマッピングを行なうことで生成された再構成画像は、本発明の再構成画像に相当する。

なお、このとき、マッピング画像上の同一の画素に複数の低解像度画像の画素が重複してプロットされるときは、最初の画素を採用する。変形例として、再構成処理部１０３は、プロットが重複する場合には、重複してプロットされる画素のうち、基準画像と時間的に最も近いものを採用してよく、又は、重複してプロットされる複数の画素の平均値に最も近いものを採用してもよい。

高解像度画像生成部１０６は、再構成画像を用いて、超解像処理を行い、高解像度画像を生成する。高解像度画像生成部１０６は、具体的には、マッピング画像中のプロットされていない画素を補間処理により穴埋めする。高解像度画像生成部１０６は、更に、画像のぼけ量（ＰＳＦ：Point Spread Function）を推定して、逆変換によりぼけの復元処理
も施して、高解像度画像として出力する。

以上のように構成された画像処理装置における画像処理方法を説明する。図４は、画像処理装置における基準画像決定までの動作を示すフロー図であり、図５は、基準画像が決定した後の高解像度画像生成の動作を示すフロー図である。まず、図４を参照して、基準画像を決定するまでの処理を説明する。

低解像度画像取得部１０１は、複数（ｎ枚）の低解像度画像を取得する（ステップＳ４１）。次に、基準画像候補として選択される低解像度画像の番号ｋを１とする（ステップＳ４２）。即ち、１番目の低解像度画像を基準画像候補として選択する。次に、ｋ＝ｎであるか否かを判断する（ステップＳ４３）。即ち、すべての低解像度画像を基準画像候補として評価値を算出したか否かを判断する。

すべての低解像度画像についてそれを基準画像候補とした評価値の算出が終わっていない場合は（ステップＳ４３でＮＯ）、位置合わせ部１０２は、ｋ番目の低解像度画像を基準画像候補として選択する（ステップＳ４４）。そして、位置合わせ部１０２は、その基準画像候補に位置合わせするための、その他の各低解像度画像の変換行列を求める（ステップＳ４５）。次に、再構成処理部１０３は、基準画像候補の画素をマッピング画像に配置し、かつ、変換行列で変換されて拡大された各低解像度画像の画素をマッピング画像にマッピングして基準画像選択用再構成画像を生成する（ステップＳ４６）。

評価値算出部１０４は、基準画像選択用再構成処理における評価値Ｅを算出する（ステップＳ４７）。その後、ｋをインクリメントして（ステップＳ４８）、ステップＳ４３に戻る。ｋ＝ｎとなるまで、即ち、ｎ枚のすべての低解像度画像について、それを基準画像候補とした評価値の算出処理が終了するまで、ステップＳ４４〜ステップＳ４８を繰り返す。ｎ枚のすべての低解像度画像について、それを基準画像候補とした評価値の算出処理が終了したら（ステップＳ４３でＹＥＳ）、基準画像選択部１０５は、算出された評価値のうちの最大の評価値を得た基準画像候補を基準画像として決定する（ステップＳ４９）。

次に、図５を参照して、基準画像が選択された後に、その基準画像を用いた超解像処理、即ち高解像度画像の生成処理を説明する。位置合わせ部１０２は、選択された基準画像を用いて、その基準画像に対するその他の低解像度画像の各々の変換行列を求める（ステップＳ５１）。上述のように、このとき、位置合わせ部１０２は、基準画像選択の過程で算出した変換行列を用いてもよい。再構成処理部１０３は、変換行列を用いてその他の低解像度画像を座標変換して、基準画像の画素、及び座標変換されたその他の低解像度画像の画素をマッピング画像にマッピングすることで、再構成画像を生成する（ステップＳ５２）。次に、高解像度生成部１０６は、再構成画像を用いて、高解像度画像を生成する（ステップＳ５３）。

以上のように、第１の実施の形態の画像処理装置によれば、マッピング画像にプロットされた基準画像候補及びその他の低解像度画像の画素数が多く、かつ、マッピング画像上の同一の画素に重複してプロットされた低解像度画像の画素数が少ない基準画像候補が、基準画像として選択される。そして、このように選択された基準画像を用いて高解像度画像を生成すれば、マッピング画像にプロットされる画素数が多くなるので、マッピング画像におけるマッピング画素の充填率が高くなり、かつ、マッピング画像上の同一の画素に重複してプロットされる画素数が少なくなるので、マッピング画像におけるマッピング画素の重複率が低くなり、その結果、高品質の高解像度画像を得ることができる。

なお、上記の第１の実施の形態では、マッピング画像におけるマッピング画素の充填率及びマッピング画像におけるマッピング画素の重複率を評価値に反映させたが、本発明の評価値はこれに限られない。以下、変形例を説明する。

（変形例）
上述のように、位置合わせ部１０２は、特徴点マッチングを行なうことで、低解像度画像を基準画像候補の座標系に変換するための変換行列を求める。しかしながら、このマッチングの精度が高くないこともある。位置合わせ部１０２におけるマッチング精度が低い場合には、変換行列による座標変換によっても基準画像とその他の低解像度画像との誤差が残ってしまい、適切な再構成画像が生成できず、不鮮明で画質の低い高解像度画像が生成されることになる。そこで、第１の実施の形態の変形例では、更に、基準画像を選択する際の評価値に、基準画像候補とその他の低解像度画像との間の誤差の大きさを反映させる。

第１の実施の形態の変形例の画像処理装置の評価値算出部１０４は、マッピング画像におけるマッピング画素の充填率及び重複率のほかに、基準画像候補とその他の低解像度画像の画素値の平均誤差を評価値に反映させる。評価値算出部１０４は、具体的には、基準画像候補以外の低解像度画像（以下、「補正画像」という）と基準画像候補との画素値の平均誤差Ａとして、すべての補正画像の画素値平均誤差Ａの平均値ＳＡを求める。

図６は、誤差の例を示す図である。図６（ａ）は、基準画像候補に対する補正画像の誤差が小さい場合を示しており、図６（ｂ）は、基準画像候補に対する補正画像の誤差が大きい場合を示している。即ち、図６（ａ）の例において、補正画像１、２、４の画素値平均誤差Ａは比較的小さく、補正画像３の画素値平均誤差Ａは比較的大きい。この結果、図６（ａ）の場合は、画素値平均誤差Ａのすべての補正画像についての平均値ＳＡは比較的小さくなる。

これに対して、図６（ｂ）の場合には、補正画像１〜４のすべてについて、画素値平均誤差Ａは比較的大きく、その結果、画素値平均誤差Ａのすべての補正画像についての平均値ＳＡは比較的大きくなる。

評価値算出部１０４は、すべての補正画像の画素値平均誤差Ａの平均値ＳＡを用いて、評価値Ｅを下式（２）で算出する。
Ｅ＝｛（Ｐ−Ｎ）／Ｍ｝−ｋＳＡ ・・・（２）
ここで、係数ｋは、マッチング精度を評価値に反映させる度合い（重み）を示す画素値平均誤差調整用パラメータである。式（２）から明らかなように、画素値平均誤差Ａの平均値ＳＡが大きいほど、評価値は小さくなる。

この変形例によれば、他の低解像度画像との誤差が小さい低解像度画像が基準画像として選択されるので、高品質の高解像度画像を得ることができる基準画像をより好適に選択することができる。

（第２の実施の形態）
図７は、本発明の第２の実施の形態の画像処理装置２００の構成を示すブロック図である。図７の画像処理装置２００において、第１の実施の形態の画像処理装置１００の構成と同一の構成要素には同一の符号を付して、その説明を省略する。本実施の形態の画像処理装置２００は、第１の実施の形態の画像処理装置１００の構成に加えて、更に、評価領域指定部２０７を備えている。

評価領域指定部２０７は、低解像度画像取得部１０１にて取得された低解像度画像中の一部領域を評価領域として指定する。位置合わせ部１０２による変換行列の算出、再構成処理部１０３による基準画像選択用再構成画像の生成、及び評価値算出部１０４による評価値の算出は、すべてこの評価領域について行なわれる。なお、このような評価領域を用
いた基準画像の選択によって基準画像が選択された後には、低解像度画像全体について超解像処理が行われて、高解像度画像が生成される。

本実施の形態の評価領域指定部２０７は、低解像度画像の中心点を中心とする一部領域を評価領域として指定する。変形例として、評価領域指定部２０７は、特徴点マッチングにおける特徴点が密集している領域を評価領域として指定してもよいし、ユーザによって指示された領域を評価領域として指定してもよい。評価領域は、矩形であっても、円形であっても、その他の任意の形状であってもよい。

図８は、評価領域の例を示す図である。図中の領域ＡＲ１は、本実施の形態の評価領域指定部２０７によって評価領域として指定された、低解像度画像の中心点を中心とする矩形領域であり、領域ＡＲ２は、変形例の評価領域指定部２０７によって、特徴点マッチングにおける特徴点が密集している領域として指定された評価領域である。

第２の実施の形態の画像処理装置２００によれば、基準画像を選択するために、低解像度画像の全体を用いて評価を行なうのではなく、一部領域である評価領域のみを用いて評価を行なうので、処理負担を軽減でき、基準画像の選択を高速化できる。本実施の形態は、特に低解像度画像取得部１０１にて取得される低解像度画像の数が多い場合に有効である。

（第３の実施の形態）
図９は、本発明の第３の実施の形態の画像処理装置３００の構成を示すブロック図である。図９の画像処理装置３００において、第１の実施の形態の画像処理装置１００の構成と同一の構成要素には同一の符号を付して、その説明を省略する。本実施の形態の画像処理装置３００は、第１の実施の形態の画像処理装置１００の構成に加えて、更に、代表画像選択部３０７を備えている。

代表画像選択部３０７は、低解像度画像取得部１０１にて取得された複数の低解像度画像のうちの代表画像のみを基準画像候補として選択する。代表画像選択部３０７は、具体的には、低解像度画像取得部１０１にて取得された複数の低解像度画像のすべてをマッチングして、互いに似通った複数の低解像度画像がある場合には、そのうちの１つを前記代表画像として選択する。なお、代表画像選択部３０７は、似通った他の低解像度画像がない低解像度画像も代表画像として選択する。

即ち、代表画像選択部３０７は、具体的には、複数の低解像度画像に対してマッチングを行なって、マッチングの結果、互いのマッチングスコアが所定の閾値より高い複数の低解像度画像がある場合に、それらの低解像度画像が互いに似通っていると判断する。代表画像選択部３０７は、互いに似通った複数の低解像度画像のうちの１つの低解像度画像を代表画像として選択する。他の低解像度画像は基準画像候補として選択されず、それを基準画像候補とした評価値も算出されない。

代表画像選択部３０７がこのように代表画像を選ぶのは、次の理由による。即ち、互いのマッチングスコアが高い複数の低解像度画像は、算出される評価値も近くなり、そのいずれが選択画像として選択されても、高解像度画像の画質に与える影響は大差ないと考えられる。よって、マッチングスコアが高い複数の低解像度画像については、そのうちの１つのみを基準画像候補として、それを基準画像とすべきか否かを選択すればよい。

このように、取得された複数の低解像度画像のすべてを基準画像候補として評価値を算出するのではなく、一部の低解像度画像について評価値の算出を省略することで、基準画像選択のための処理負担を軽減でき、基準画像の選択を高速化できる。

なお、上記のように、一部の低解像度画像について評価値の算出を省略することで、基準画像選択のための処理負担を軽減でき、基準画像の選択を高速化できるという観点からは、複数の低解像度画像を任意の方法で間引いて、又は、複数の低解像度画像から任意の方法でその一部を抽出して、一部の低解像度画像のみを基準画像候補として選択して、評価値を算出し、その中から基準画像を選択してもよい。この場合には、低解像度画像取得部１０１にて取得された複数の低解像度画像のうちの基準画像として最適な画像が選択から漏れる可能性はあるものの、選択された複数の低解像度画像の中で最適な画像を基準画像として選択することができる。即ち、本発明による評価値を用いた基準画像の選択を行わない場合と比較すると、より望ましい基準画像を選択できることになる。

よって、本実施の形態の変形例の代表画像選択部３０７は、例えば、順に並んだ複数の低解像度画像から等間隔で抽出した複数の低解像度画像のみを基準画像候補として選択する。このようにして選択される基準画像候補は、本発明の代表画像に相当する。

なお、本実施の形態は、第２の実施の形態と同時に実施されてよい。即ち、本実施の形態によって、取得された複数の低解像度画像の中から一部の低解像度画像を基準画像候補（代表画像）として選択し、かつ、それらの一部領域（評価領域）のみについて、評価値を算出することで、選択された基準画像候補の中から基準画像を選択してもよい。

（第４の実施の形態）
図１０は、本発明の第４の実施の形態の画像処理装置４００の構成を示すブロック図である。図１０の画像処理装置４００において、第１の実施の形態の画像処理装置１００の構成と同一の構成要素には同一の符号を付して、その説明を省略する。本実施の形態の画像処理装置４００は、第１の実施の形態の画像処理装置１００の構成に加えて、更に、超解像度処理領域指定部４０７及び高解像度画像回転補正部４０８を備えている。

図１１は、第４の実施の形態の画像処理装置４００における超解像度処理を説明する図である。超解像度処理領域指定部４０７は、ユーザによる指定に従って、超解像度処理、即ち高解像度画像生成処理を行う領域を指定する。ユーザは、低解像度画像取得部１０１で取得した複数の低解像度画像のうちの任意の低解像度画像を選択する。この画像が、図１１におけるユーザ選択画像である。

図１１に示すように、ユーザは、このユーザ選択画像において、超解像度処理を行う領域を指定する。このとき、超解像度処理領域は、矩形の領域として選択される。一方で、画像処理装置４００は、第１の実施の形態と同様にして、基準画像を選択して、選択された基準画像を用いて超解像処理を行い、高解像度画像を生成する。このようにして生成される高解像度画像における、ユーザが選択した超解像度処理領域に相当する画像は、必ずしもユーザがユーザ選択画像にて選択した超解像度領域と同じ向きではなく、傾いてしまう場合がある。

そこで、高解像度画像回転補正部４０８は、生成された高解像度画像における超解像度処理領域の傾きが、ユーザ選択画像においてユーザが指定した超解像度処理領域の傾きと一致するように、生成された高解像度画像における超解像度処理領域を回転補正する。このようにして得られる画像が、図１１の向き補正画像である。

図１２は、高解像度画像回転補正部４０８における回転補正処理を説明する図である。高解像度画像回転補正部４０８は、ユーザ選択画像における超解像度処理領域の各辺に対する高解像度画像における超解像度処理領域の各辺の傾きの平均を、ユーザ選択画像の超解像度処理領域に対する高解像度画像の超解像度処理領域の傾き（回転角）として、この
回転角度分だけ高解像度画像の超解像度処理領域を逆回転させる。

即ち、高解像度画像回転補正部４０８は、ユーザ選択画像の超解像度処理領域の辺ｉに対する高解像度画像の超解像度処理領域の辺Ｉの傾き、ユーザ選択画像の超解像度処理領域の辺ｉｉに対する高解像度画像の超解像度処理領域の辺ＩＩの傾き、ユーザ選択画像の超解像度処理領域の辺ｉｉｉに対する高解像度画像の超解像度処理領域の辺ＩＩＩの傾き、及びユーザ選択画像の超解像度処理領域の辺ｉｖに対する高解像度画像の超解像度処理領域の辺ＩＶの傾きをそれぞれ求めて、それらの平均をとって、ユーザ選択画像の超解像度処理領域に対する高解像度画像の超解像度処理領域の回転角を求め、この回転角度分だけ高解像度画像の超解像度処理領域を逆回転させることで、高解像度画像の超解像度処理領域の向きをユーザ選択画像の超解像度処理領域と一致させる。

第４の実施の形態の画像処理装置４００によれば、指定された領域について、ユーザが指定した超解像度処理領域に対応し、向きも同じである高解像度画像を得ることができる。なお、第４の実施の形態の画像処理装置４００において、第２の実施の形態における基準画像の選択方法、第３の実施の形態における基準画像の選択方法、又はその両方を採用して基準画像を選択してよい。特に、第２の実施の形態の基準画像の選択方法を採用する場合には、ユーザが指定した超解像度処理領域を評価領域としてもよい。

（第５の実施の形態）
次に、本発明の第５の実施の形態の画像処理装置について説明する。ここでは、第５の実施の形態の画像処理装置が、第４の実施の形態と相違する点を中心に説明する。ここで特に言及しない限り、本実施の形態の構成および動作は、第４の実施の形態と同様である。

図１３は、本実施の形態の画像処理装置の構成を示すブロック図である。図１３に示すように、本実施の形態の画像処理装置には、基準画像評価部５０９と、補正値算出部５１０と、補正変換行列生成部５１１が備えられている。

基準画像評価部５０９は、基準画像候補として選択された入力画像（例えば、ユーザ選択画像）が基準画像として適しているか否かを判定するための評価値を算出する。評価値の算出は、例えば、（１）基準画像候補の画像がぼけているか否か、（２）基準画像候補の画像のサイズが極端に小さいか否か、（３）基準画像候補の画像の傾きが適切か否か、（４）基準画像候補の画像の充填率（マッピング画像の充填率）が低くないか否か、（５）基準画像候補の画像と他の入力画像とのマッチング結果が低くないか否かなどの判定要素をスコア化することにより行われる。なお、この評価値は、上記（１）〜（５）の５つの判定要素から総合的に算出してもよい。また、評価値の算出は、上述の評価値算出部１０４と同様の手法を用いて行われてもよい。

基準画像選択部１０５は、基準画像評価部５０９により最も高い評価値が与えられた入力画像（基準画像候補）を、基準画像として選択する。

補正値算出部５１０は、例えば回転補正処理に用いられる回転角θを算出する機能を備えている。例えば、第４の実施の形態と同様に、超解像度処理領域指定部４０７で選択したユーザ選択画像と基準画像選択部１０５で選択した基準画像の傾きが異なる場合に、補正値算出部５１０は、ユーザ選択画像の超解像度処理領域に対する高解像度画像の超解像度処理領域の傾きを、回転角θとして算出する。この場合、回転角θは、ユーザ選択画像の超解像度処理領域の一辺（例えば、図１２の例における辺ｉ）に対する高解像度画像の超解像度処理領域の対応する一辺（例えば、図１２の例における辺Ｉ）の傾きから算出してもよい。また、回転角θは、ユーザが所望の回転角だけ画像を回転させたいと考えた場合などに、ユーザ入力によって指定されてもよい。また、画像中に文字列が入っており、当該文字列の配列方向を検出して、これに沿うあるいは所定角度傾斜した角度を回転角θとして選択するようにしてもよい。

補正変換行列生成部（第２変換行列生成部）５１１は、基準画像選択部１０５で選択した基準画像および基準画像以外の低解像度画像を回転等させるための変換行列Ｒ（第２変換行列）を生成する。図１４に示すように、この変換行列Ｒは、例えば、回転角θだけ回転させるための回転補正変換行列であってもよい。また、図１５（ａ）に示すように、水平方向にＴｘかつ垂直方向にＴｙの平行移動だけを行う変換行列Ｒが用いられてもよく、あるいは、図１５（ｂ）に示すように、水平方向にＳｘ倍かつ垂直方向にＳｙ倍の倍率変更（拡大縮小）だけを行う変換行列Ｒが用いられてもよい。さらに、図１５（ｃ）に示すように、角度θの回転、ＴｘおよびＴｙの平行移動、ＳｘおよびＳｙの拡大縮小を行う変換行列を合成した変換行列Ｒが用いられてもよい。なお、変換行列Ｒの内容によって、ミラー反転やデフォルメ等の幾何学変形、いわゆるアフィン変換を施すことも可能である。

そして、最終的に補正変換行列生成部５１１は、図１４に示すように、上記のような変換行列Ｒ（例えば、回転角θだけ回転させる回転補正変換行列Ｒ）と、位置合わせ部１０２（第１変換行列生成部）により算出された、基準画像以外の低解像度画像を基準画像に変換する射影変換行列Ａ（第１変換行列）とに基づいて、統合変換行列Ｂ（＝Ｒ・Ａ）を算出する。

再構成処理部１０３は、複数の入力画像（低解像度画像）を補正変換行列生成部５１１で算出した統合変換行列Ｂに超解像の拡大率αを乗じた変換行列α・Ｂで座標変換する。すなわち、基準画像以外の低解像度画像を射影変換行列Ａで座標変換するとともに、基準画像および基準画像以外の低解像度画像を変換行列Ｒで座標変換する。これは表現を変えると、基準画像を変換行列Ｒ（第２変換行列）で座標変換するとともに、基準画像以外の低解像度画像を射影変換行列Ａ（第１変換行列）および変換行列Ｒを用いて座標変換すること、または、基準画像について変換行列Ｒで座標変換し、基準画像以外の低解像画像について統合変換行列Ｂで座標変換していることになる。つまり、図１６に示すように、基準画像（低解像度画像１）については、変換行列Ｒ（回転補正変換行列Ｒ）を用いて、一方の基準画像以外の画像（低解像度画像２、３、・・・）については、射影変換行列Ａと回転補正変換行列を合成した統合変換行列Ｂを用いて１回の座標変換処理のみで入力画像をマッピング画像（高解像度空間）に直接的にプロットして再構成画像を生成する。

高解像度画像生成部１０６は、このようにして再構成処理部１０３で生成されたマッピング画像中のプロット（充填）されていない画素を補間処理により穴埋めをして、例えば回転補正された高解像度画像を生成する。

以上のように構成された第５の実施の形態の画像処理装置について、図１７のフロー図を参照してその動作を説明する。

本実施の形態の画像処理装置を用いて低解像度画像から高解像度画像を生成するときには、まず、ある１枚の入力画像（低解像度画像）で超解像処理領域をユーザが指定する（Ｓ１）。すると、超解像処理に用いられる複数の入力画像（低解像度画像）が取得され（Ｓ２）、それらの複数の低解像度画像と基準画像候補との位置合わせ処理が行われる（Ｓ３）。このとき、位置合わせのための射影変換行列Ａが求められる。そして、それぞれの基準画像候補について算出された評価値に基づいて基準画像の評価が行われ（Ｓ４）、最も高い評価値が与えられた入力画像（基準画像候補）が、基準画像として選択される（Ｓ５）。

上述のように変換行列Ｒによる処理は特定されないが、以降、簡単のため回転補正処理を例にして説明を続ける。

つぎに、回転補正処理に用いられる回転角θが算出される（Ｓ６）。例えば、ユーザ選択画像と基準画像の傾きが異なる場合に、ユーザ選択画像の超解像度処理領域に対する高解像度画像の超解像度処理領域の傾きが、回転角θとして算出される。なお、ユーザが所望の回転角だけ画像を回転させたいと考えた場合などには、回転角θは、ユーザ入力によって指定されてもよい。そして、回転角θの回転を行う変換行列Ｒ（例えば、回転角θだけ回転させる回転補正変換行列Ｒ）と、位置合わせ処理により算出された変換行列Ａ（位置合わせのための射影変換行列Ａ）とに基づいて、統合変換行列Ｂ（＝Ｒ・Ａ）が算出される（Ｓ７）。

つづいて、複数の入力画像（低解像度画像）が統合変換行列Ｂで座標変換され、座標変換された入力画像がマッピング画像（高解像度空間）にプロットされて、再構成画像が生成される（Ｓ８）。そして、このようにして生成された再構成画像を用いて、マッピング画像中のプロットされていない画素を補間処理により穴埋めをして高解像度画像（回転された高解像度画像）が生成される（Ｓ９）。

このような第５の実施の形態の画像処理装置によれば、超解像度処理のための再構成画像を生成するときに、位置合わせのための第１変換行列（射影変換行列Ａ）とともに画像を回転させるための第２変換行列（変換行列Ｒ）が用いられる。したがって、超解像度処理によって複数の低解像度画像から高解像度画像を生成するときに、回転された高解像度画像を生成することが可能になる。このように、超解像度処理のときに回転処理を一緒に行うことにより、超解像度処理の後に回転処理を別途行う場合に比べて高速演算が可能となり、更に演算誤差が累積することなく高い画質の高解像度画像を得ることができる。

例えば、第４の実施の形態と同様に、複数の低解像度画像において、ユーザ選択画像と基準画像候補の傾きが異なる場合がある。本実施の形態では、そのような場合、図１８に示すように、ユーザ選択画像の傾きに合わせるように回転（自動補正）された高解像度画像を自動的に生成することができる。

また、本実施の形態では、第２変換行列の回転角は、ユーザ入力に基づいて設定可能である。例えば、ユーザが所望の回転角だけ画像を回転させたいと考えた場合、図１９に示すように、ユーザがその回転角θ（例えば、５度）を入力すると、その回転角だけ回転（手動補正）された高解像度画像を生成することができる。

また、本実施の形態では、超解像度処理によって複数の低解像度画像から高解像度画像を生成するときに、（回転かつ）平行移動された高解像度画像を生成することが可能になる。例えば、ユーザが所望の移動量だけ画像を平行移動させたいと考えた場合、図１９に示すように、ユーザがその平行移動の移動量（水平方向：Ｔｘ、垂直方向Ｔｙ）を入力すると、その移動量だけ平行移動（手動補正）された高解像度画像を生成することができる。

また、本実施の形態では、超解像度処理によって複数の低解像度画像から高解像度画像を生成するときに、（回転かつ平行移動かつ）倍率変更された高解像度画像を生成することが可能になる。例えば、ユーザが所望の倍率だけ画像を拡大縮小させたいと考えた場合、図１９に示すように、ユーザがその拡大縮小の倍率（水平方向：Ｓｘ、垂直方向Ｓｙ）を入力すると、その倍率だけ拡大縮小（手動補正）された高解像度画像を生成することができる。

また、本実施の形態では、超解像度処理によって複数の低解像度画像から高解像度画像を生成するときに、もとの画像に幾何学変形を施した高解像度画像を生成することが可能となる。例えば、ユーザが台形補正や特定の座標変換に基づくデフォルメをさせたいと考えた場合、図１４の変換行列Ｒにおいて、ｃｏｓθに変えて１を、ｓｉｎθ，−ｓｉｎθに変えて−０．５を指定すると、菱形形状のデフォルメが行われた高解像度画像を生成することができる。

（第６の実施の形態）
図２０は、本発明の第６の実施の形態の撮像装置６００の構成を示すブロック図である。撮像装置６００は、撮影によって低解像度画像を生成する撮像部６０１と、撮像部６０１によって生成された複数の低解像度画像を用いて高解像度画像を生成する画像処理部６０２とを備えている。画像処理部６０２には、第１ないし第５の実施の形態のいずれかの画像処理装置を採用できる。

撮像部６０１は、被写体を複数回撮影することで、複数の低解像度画像を生成して、画像処理部６０２の低解像度画像取得部に提供する。本実施の形態の撮像装置６００によれば、撮像部６０１において低解像度画像の撮影をして、そのまま撮像装置６００において、好適な基準画像を選択して高画質の高解像度画像を得ることができる。

以上のように、本発明は、高品質の高解像度画像を得ることができる基準画像を選択でき、複数の低解像度画像から高解像度画像を生成する超解像処理を行う画像処理装置等として有用である。

１００ 画像処理装置
１０１ 低解像度画像取得部
１０２ 位置合わせ部
１０３ 再構成処理部
１０４ 評価値算出部
１０５ 基準画像選択部
１０６ 高解像度画像生成部
２００ 画像処理装置
２０７ 評価領域指定部
３００ 画像処理装置
３０７ 代表画像選択部
４００ 画像処理装置
４０７ 超解像度処理領域指定部
４０８ 高解像度画像回転補正部
５００ 画像処理装置
５０９ 基準画像評価部
５１０ 補正値算出部
５１１ 補正変換行列生成部
６００ 撮像装置
６０１ 撮像部
６０２ 画像処理部

Claims (17)

1. 複数の低解像度画像を取得する低解像度画像取得部と、
   前記複数の低解像度画像から基準画像を選択する基準画像選択部と、
   前記基準画像以外の複数の低解像度画像と前記基準画像との位置合わせをするための第１変換行列を生成する第１変換行列生成部と、
   前記基準画像および前記基準画像以外の低解像度画像を所定の座標変換するための第２変換行列を生成する第２変換行列生成部と、
   前記基準画像を前記第２変換行列で座標変換するとともに、前記基準画像以外の低解像度画像を前記第１および第２変換行列で座標変換し、座標変換された前記基準画像および前記基準画像以外の低解像度画像をマッピング画像にプロットして、高解像度画像を生成する高解像度画像生成部と、
   を備えたことを特徴とする画像処理装置。
2. 前記第２変換行列生成部は、ユーザ入力に基づいて設定される回転角の回転を行うための第２変換行列を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２変換行列生成部は、前記複数の低解像度画像からユーザにより指定されたユーザ選択画像と前記基準画像の傾きが異なる場合に、前記基準画像の傾きを前記ユーザ選択画像の傾きに合わせる回転角の回転を行うための第２変換行列を生成することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記第２変換行列生成部は、前記複数の低解像度画像を幾何学変形させるための第２変換行列を生成することを特徴とする請求項１ないし請求項３のいずれかに記載の画像処理装置。
5. 複数の低解像度画像から基準画像を選択するための評価値として前記低解像度画像の充填率を算出する基準画像評価部をさらに有し、前記基準画像選択部は前記評価値に基づいて基準画像を選択することを特徴とする請求項１ないし請求項４のいずれかに記載の画像処理装置。
6. 複数の低解像度画像を取得する低解像度画像取得部と、
   前記低解像度画像取得部にて取得した複数の低解像度画像のうちの１つを基準画像候補として選択して、前記基準画像候補以外の低解像度画像を前記基準画像候補の低解像度画像と位置合わせするための変換行列を求める位置合わせ部と、
   前記基準画像候補以外の低解像度画像を前記変換行列で座標変換して、前記基準画像候補及び座標変換された前記基準画像候補以外の低解像度画像をマッピング画像にプロットして基準画像選択用再構成画像を生成する再構成処理部と、
   前記基準画像候補に評価値を付与する評価値算出部であって、前記基準画像選択用再構成画像において、前記マッピング画像にプロットされた、前記基準画像候補及び座標変換された前記基準画像候補以外の低解像度画像の画素数が多いほど、高い評価値を付与し、かつ、前記マッピング画像上の同一の画素に重複してプロットされた、座標変換された前記基準画像候補以外の低解像度画像の画素数が少ないほど、高い評価値を付与する評価値算出部と、
   前記複数の低解像度画像のうち前記基準画像候補として選択する低解像度画像を変えて複数の前記基準画像選択用再構成画像を生成した場合の、選択された複数の前記基準画像候補のうち、前記評価値の高い前記基準画像候補を基準画像として選択する基準画像選択部と、
   を備えたことを特徴とする画像処理装置。
7. 前記評価値算出部は、更に、前記基準画像候補の低解像度画像と前記基準画像候補以外の低解像度画像との位置合せの誤差が小さいほど、当該基準画像候補に高い評価値を付与することを特徴とする請求項６に記載の画像処理装置。
8. 前記位置合わせ部は、前記複数の低解像度画像の一部の評価領域について、前記変換行列を求め、
   前記再構成処理部は、前記評価領域について、前記基準画像選択用再構成画像を生成することを特徴とする請求項６又は請求項７に記載の画像処理装置。
9. 前記位置合わせ部は、前記複数の低解像度画像のうちの代表画像のみを前記基準画像候補として選択することを特徴とする請求項６ないし請求項８のいずれか一項に記載の画像処理装置。
10. 前記位置合わせ部は、前記複数の低解像度画像をマッチングして、互いに似通った複数の低解像度画像がある場合には、そのうちの１つを前記代表画像として選択することを特徴とする請求項９に記載の画像処理装置。
11. 前記位置合わせ部は、順に並んだ前記複数の低解像度画像から等間隔で前記代表画像を選択することを特徴とする請求項９に記載の画像処理装置。
12. 前記位置合わせ部は、更に、前記低解像度画像取得部にて取得した複数の低解像度画像のうちの前記基準画像選択部にて選択された前記基準画像と位置合わせするために前記基準画像以外の低解像度画像を座標変換するための変換行列を求め、
    前記再構成処理部は、更に、前記基準画像以外の低解像度画像を前記変換行列で座標変換して、前記基準画像及び座標変換された前記基準画像以外の低解像度画像をマッピング画像にプロットして再構成画像を生成し、
    前記画像処理装置は、更に、前記再構成画像を補間して、高解像度画像を生成する高解像度画像生成部を備えたことを特徴とする請求項６ないし請求項１１のいずれか一項に記載の画像処理装置。
13. 前記複数の低解像度画像のいずれかにおいて、前記高解像度画像を生成する超解像度処理領域を指定する超解像度処理領域指定部と、
    前記高解像度画像生成部にて生成された高解像度画像中の前記超解像度処理領域に対応する領域を、前記超解像度指定領域の向きに合致するように回転補正する回転補正部と、
    を更に備えたことを特徴とする請求項１２に記載の画像処理装置。
14. 請求項１ないし請求項１３のいずれかに一項に記載の画像処理装置と、
    被写体を複数回撮影することで、前記複数の低解像度画像を生成し、前記低解像度画像取得部に提供する撮像部と、
    を備えたことを特徴とする撮像装置。
15. 複数の低解像度画像から生成する高解像度画像を座標変換する画像処理方法であって、
    前記複数の低解像度画像を回転させるための変換行列を生成する変換行列生成ステップと、
    前記複数の低解像度画像を前記変換行列で座標変換し、座標変換された前記複数の低解像度画像をマッピング画像にプロットして、回転された高解像度画像を生成する高解像度画像生成ステップと、
    を含むことを特徴とする画像処理方法。
16. 複数の低解像度画像を取得する低解像度画像取得ステップと、
    前記低解像度画像取得ステップにて取得した複数の低解像度画像のうちの１つを基準画像候補として選択して、前記基準画像候補以外の低解像度画像を前記基準画像候補の低解像度画像と位置合わせするための変換行列を求める位置合わせステップと、
    前記基準画像候補以外の低解像度画像を前記変換行列で座標変換して、前記基準画像候補及び座標変換された前記基準画像候補以外の低解像度画像をマッピング画像にプロットして基準画像選択用再構成画像を生成する再構成処理ステップと、
    前記基準画像候補に評価値を付与する評価値算出ステップであって、前記基準画像選択用再構成画像において、前記マッピング画像にプロットされた、前記基準画像候補及び座標変換された前記基準画像候補以外の低解像度画像の画素数が多いほど、高い評価値を付与し、かつ、前記マッピング画像上の同一の画素に重複してプロットされた、座標変換された前記基準画像候補以外の低解像度画像の画素数が少ないほど、高い評価値を付与する評価値算出ステップと、
    前記複数の低解像度画像のうち前記基準画像候補として選択する低解像度画像を変えて複数の前記基準画像選択用再構成画像を生成した後に、選択された複数の前記基準画像候補のうち、前記評価値の高い前記基準画像候補を基準画像として選択する基準画像選択ステップと、
    を含むことを特徴とする画像処理方法。
17. 請求項１５または請求項１６に記載の画像処理方法をコンピュータに実行させるためのコンピュータプログラム。