JP2012114520A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】複数の画像を用いて合成する際に、重ね合わせ後の補正処理をすることなく、より良好な画像を得ること。
【解決手段】撮像部により撮像された撮像対象を含む複数の画像を取得する取得部と、取得部により取得された複数の画像に含まれる第一の画像と第二の画像との位置ずれを検出すると共に、該第一の画像が該第二の画像に対する重ね合わせに適した画像であるかを判定する判定部と、判定部による判定結果に基づいて、複数の画像の中から所定数の画像を選択する選択部と、選択部により選択された所定数の画像を合成する合成部と、を備える。
【選択図】図２

Description

本発明は、複数の画像を重ね合わせる画像処理装置、画像処理方法及び画像処理プログラムに関する。

近年、デジタルカメラなどの普及に伴い、デジタル画像処理によって画質の優れた画像を得ることが可能になっている。例えば、デジタルカメラなどの撮像機器では、手振れ補正処理、又はノイズ除去処理などの補正処理が実装され、撮像機器で撮像された画像の画質が向上している。

この手振れ補正の方法として、光学的に手振れを補正する方法と、画像処理によって手振れを補正する方法がある。前者は、機械的にぶれを検出し、光学系を移動して、手振れを補正するものであり、これらの機構のための実装空間をとれる機器に使用される。一方、後者は、画像処理で実現するため、実装空間が制限される小型の機器に好適である。

例えば、デジタルカメラやカメラ付携帯電話では、短い露光時間で連続的に撮影した画像を合成（重ね合わせ）する。短い露光時間の画像は、手振れの影響が少ないが、光量不足であるため、連写した複数の画像を合成して、ノイズの少ない手振れを抑制した画像を生成する。

図１は、従来技術を説明するための図である。図１（Ａ）は、露光時間が長いため、ぶれ幅が大きくなり、結果的にぼけてしまった画像を示す。図１（Ｂ）は、短い露光時間で連写した場合の画像を示す。これらの画像は、短い露光時間で撮像しているため、ぶれ幅は小さいが、十分な光量を得られずに暗い画像となっている。図１（Ｃ）は、図１（Ｂ）に示す画像を重ね合わせた画像を示す。複数の画像を重ね合わせることで、光量不足を補うことができる。

前述した画像処理で手振れを補正する技術では、複数の画像に対して、位置合わせ処理、重ね合わせ処理を行うのが基本処理である。このうち、位置合わせ処理が適切に実行できなかった場合、重ね合わせ処理した画像が滲んだように見えるなどの画質劣化が発生する。

位置合わせ処理が適切にできない理由としては、基本的に平行移動で位置合わせを行う場合が多いので、回転が加わった手振れを適切に位置合わせすることができないからである。基本的に平行移動で位置あわせを行うのは、回転処理を行う場合に比べて処理負荷を軽減するためである。

そこで、良好な合成画像を得るために、例えば、露光中の撮像素子からの出力により像の位置変化を求め、その位置変化に基づいて像を合成して像ぶれ補正を行い、合成されなかった部分の画像データを補正する技術がある（特許文献１）。

さらに、関連する複数画像のうちの２枚の画像間の相対変位を求め、相対変位の信頼性が低い画像を重ね合わせ処理に採用せず、画像間の相対変位の信頼性が高い画像を合成することで、適切な像ぶれ補正を行う技術がある（特許文献２）。

特開２００５−１０１８３７号公報 特開２００７−２７２４５９号公報

しかし、特許文献１では、複数の画像を合成した後に、合成されなかった領域の画像データを補正するため、合成されずに補正を行った領域と、合成された領域とで差異が生じてしまう。特に、詳細な画像ではこの差異が目立ちやすくなる。また、特許文献２に開示の技術により生成された合成画像は、必ずしも、重ねあわせ後の補正処理が不要な画像となっている補償はない。

そこで、開示の画像処理装置は、上記課題に鑑みてなされたものであり、複数の画像を用いて合成する際に、重ね合わせ後の補正処理をすることなく、より良好な画像を得ることを目的とする。

開示の一態様における画像処理装置は、撮像部により撮像された撮像対象を含む複数の画像を取得する取得部と、前記取得部により取得された複数の画像に含まれる第一の画像と第二の画像との位置ずれを検出すると共に、該第一の画像が該第二の画像に対する重ね合わせに適した画像であるかを判定する判定部と、前記判定部による判定結果に基づいて、前記複数の画像の中から所定数の画像を選択する選択部と、前記選択部により選択された所定数の画像を合成する合成部と、を備える。

開示の画像処理装置などは、複数の画像を用いて合成する際に、重ね合わせ後の補正処理をすることなく、より良好な画像を得ることができる。

従来技術を説明するための図。 各実施例に共通する画像処理装置の構成の一例を示すブロック図。 実施例１における補正処理部の構成の一例を示すブロック図。 実施例１における判定部の構成の一例を示すブロック図。 レベル差とエッジ強度との関係を説明する図。 エッジ強度算出対象の画素の一例を示す図。 ノイズ除去を説明するための図。 実施例１における画像合成の一例を示す図。 実施例１における画像処理の一例を示すフローチャート。 実施例１における重ね合わせ判定処理の一例を示すフローチャート。 実施例２における補正処理部の構成の一例を示すブロック図。 実施例２における判定部の構成の一例を示すブロック図。 特徴点の一例を示す図。 平均移動ベクトルと各移動ベクトルとの一致数が少ない例を示す図。 平均移動ベクトルと各移動ベクトルとの一致数が多い例を示す図。 平均ベクトルと各移動ベクトルの一致数が少ない場合の重ね合わせを説明する図。 平均ベクトルと各移動ベクトルの一致数が多い場合の重ね合わせを説明する図。 実施例２における画像処理の一例を示すフローチャート。 実施例２における重ね合わせ判定処理の一例を示すフローチャート。 実施例１、２における画像処理装置のハードウェア構成の一例を示す図。

まず、一般的な画像処理による手振れ補正の前提について説明する。画像処理による手振れ補正では、撮影にかかる時間を極力短くしたいので、必要最低限の連写枚数で手振れ補正を行う。手振れ補正で効果があるのは、６連写程度であり、これ以上の連写は必要ないと考えられている。撮影時間を短くしたい理由は、撮影している間、手によるぶれ幅が大きくならないようするためである。よって、少ない連写枚数で撮影時間を短くしつつ、良好な画像を得る努力が一般的になされていた。

一方、以下に説明する各実施例では、撮影時間を短くすることにこだわらない。各実施例では、連写された複数の画像の中から、適切に合成できる所定数の画像を選択し、選択された画像を合成するからである。よって、連写枚数が多いほど、合成に適した画像の組み合わせが多くなる。各実施例では、適切に合成できる所定数が選択できた場合に、撮影を完了するようにしてもよい。以下、添付図面を参照しながら前述した考えに基づく各実施例について詳細に説明する。

［実施例１］
＜構成＞
図２は、各実施例に共通する画像処理装置１０の構成の一例を示すブロック図である。図２において、画像処理装置１０は、レンズ１０１、イメージセンサ１０２、撮影制御部１０３、ＡＧＣ（Auto Gain Control）回路１０４、ＡＤ変換器（Analog Digital Converter、ＡＤＣ）１０５、画像処理部（イメージシグナルプロセッサ（ＩＳＰ）ともいう）１０６、画像記憶部１０７、補正処理部１０８を含む。

レンズ１０１は、撮像対象（被写体）からの光をイメージセンサ１０２上に集光する。イメージセンサ１０２は、撮像対象からレンズ１０１を介して受光された光を電荷に光電変換して蓄積する受光部（不図示）と、蓄積された電荷を光電変換データとして出力する信号出力部（不図示）を備える。

ＡＧＣ回路１０４は、イメージセンサ１０２から出力された光電変換データのゲインを制御する。

ＡＤＣ１０５は、ゲインが制御された光電変換データをアナログからデジタルに変換する。

画像処理部１０６は、ＡＤＣ１０５の出力を基に、画像データを生成する。例えば、画像処理部１０６は、ＡＤＣ１０５から入力した信号（「生データ」ともいう）を基に、色分離処理、ディスプレイにおいて明るさをリニアに表現するためのガンマ補正処理、光源の温度によらず白を白として表現するためのホワイトバランス制御処理、等を行う。色分離処理を介して、入力信号は、ＹＵＶ信号、ＲＧＢ信号、等の要求される形式へ変換される。

画像処理部１０６は、連写撮影により撮像された画像に対し、輝度調節を行って明るい画像に変換する。例えば、画像処理部１０６は、画像内で一番大きい輝度値を所定の輝度値になるようゲイン調整し、そのゲイン調整を画像全体に対して行うことで明るさを調整する。

撮影制御部１０３は、撮影指示に対応して、撮像対象に対して算出された露光制御情報を含む制御信号をイメージセンサ１０２に出力する。イメージセンサ１０２は、撮像処理（上記受光部および上記信号出力部による処理）を介して、複数枚の画像データを取り込む。撮影制御部１０３は、補正処理部１０８から制御信号を取得した場合、連写撮影を終了するよう制御する。

イメージセンサ１０２による撮像処理を介して取り込まれた複数枚の画像データは、ＡＧＣ１０４、ＡＤＣ１０５、画像処理部１０６を介して画像記憶部１０７に格納される。

補正処理部１０８は、画像記憶部１０７に格納された複数枚の画像データを読み込んで、それらを基に手ぶれ補正された（合成された）１枚の画像データを生成する。補正処理部１０８は、生成した画像データを、後段の画像データ格納用メモリ（不図示）に出力する。補正処理部１０８の動作は、後述するそれぞれの実施例で異なる。

補正処理部１０８は、連写撮影されている場合、所定の条件を満たした場合に撮影を終了するための制御信号を撮影制御部１０３に出力してもよい。補正処理部１０８は、画像処理チップとして実装されてもよい。

撮影制御部１０３、画像処理部１０６、補正処理部１０８がプログラムとして実現される場合、撮影制御部１０３、画像処理部１０６の処理を実行する中央処理装置（Central Processing Unit、ＣＰＵ）と、補正処理部１０８の処理を実行するＣＰＵとは一致してもよいし、別でもよい。補正処理部１０８による処理は、画像処理プログラムとして実現されてもよい。

図３は、実施例１における補正処理部１０８の構成の一例を示すブロック図である。図３に示すように、補正処理部１０８は、取得部２００、判定部２０１、選択部２０２、合成部２０３を含む。

取得部２００は、画像記憶部１０７に記憶された複数の画像を取得する。取得される画像は、例えば連写撮影された複数の画像である。また、取得部２００は、複数の画像を取得する際、所定数（例えば２）の組み合わせの画像、又は連続する所定数（例えば２）の組み合わせの画像を順に取得してもよい。

判定部２０１は、取得部２００により取得された複数の画像に対して、重ね合わせに適している画像であるか否かを判定する。重ね合わせの適否の具体的な判定方法については、判定部２０１の構成（図４）を説明する際に合わせて説明する。

選択部２０２は、判定部２０１により重ね合わせに適していると判定された所定数の画像を選択する。所定数は、例えば２〜６のうちのいずれかとする。選択部２０２は、所定数の画像を選択した時点で、撮影制御部１０３に撮影終了を示す制御信号を出力してもよい。撮影制御部１０３は、この制御信号を取得した場合に、連写撮影を終了するようにする。

合成部２０３は、選択部２０２により選択された所定数の画像を合成する。合成部２０３は、例えば、所定数の画像内の対応する画素の平均をとる。これにより、合成画像が生成される。この合成画像は、連写撮影の際に予め短露光にて撮影しておけば、露光中の手ぶれが少なくなるとともに合成により露光時間も確保できるので手振れ補正画像でもある。また、この合成画像は、ノイズを平均化して目立たなくするという意味ではノイズ補正画像でもある。

次に、判定部２０１の構成と判定処理について説明する。図４は、実施例１における判定部２０１の構成の一例を示すブロック図である。図４に示すように、判定部２０１は、レベル差算出部３０１、エッジ強度算出部３０２、ノイズ除去部３０３、カウント部３０４を含む。判定部２０１の各構成については、（１）レベル差のみで判定、（２）レベル差及びエッジ強度で判定、（３）ノイズ除去後のレベル差で判定、の３つの判定例を用いてその処理を説明する。

（１）レベル差のみで判定
レベル差算出部３０１は、複数の画像のうちの所定数（例えば２枚）の画像に対し、画像間の各画素のレベル差を算出する。レベル差は、例えば画素差分値である。レベル差算出部３０１は、例えば、複数の画像のうちから２枚を選ぶ全ての組み合わせに対してレベル差を算出する。例えば、１０枚の画像から２枚の組み合わせを選ぶのに、_１０Ｃ_２通りの組み合わせが存在する。

しかし、一般的には、連続する２枚の組み合わせの画像同士が類似する可能性が高いため、取得部２００は連続する２枚の組み合わせを順に取得するとする。このとき、レベル算出部３０１は、取得部２００により取得した連続する２枚の組み合わせに対してレベル差を算出するようにしてもよい。例えば、１枚目及び２枚目の画像、２枚目及び３枚目の画像、・・・の順にレベル差が算出される。レベル差算出部３０１は、算出したレベル差をカウント部３０４に出力する。取得部２００は、連続する３枚以上の組み合わせの画像を取得するようにしてもよい。

レベル差算出部３０１は、画像１、２の対応位置にある各画素のレベル差Δａを算出する。カラー画像ＲＧＢの場合、画像１の各画素をＲ１、Ｇ１、Ｂ１とし、画像２
の各画素をＲ２、Ｇ２、Ｂ２とし、画素位置をｘ、ｙとすれば、以下の式（１）によりレベル差Δａが算出できる。

レベル差算出部３０１は、各組み合わせにおける各画素位置のレベル差をカウント部３０４に出力する。

カウント部３０４は、各組み合わせにおける画像間の各画素のレベル差が閾値（例えば５）以上の場合をカウントする。カウント部３０４は、各組み合わせに対するカウント値を、重ね合わせの適否判定の判定結果として選択部２０２に出力する。カウント値が大きければ重ね合わせに適していないことを表し、カウント値が小さければ重ね合わせに適していることを表す。

選択部２０２は、例えば、判定部２０１から取得したカウント値が一番小さい組み合わせの画像を、重ね合わせ対象の画像として選択する。この場合、所定数は２とする。また、所定数は２である必要はなく、取得部２００により連続する３枚の画像が取得されていれば、所定数は３などでもよい。所定数が３の場合、カウント部３０４は、連続する３枚について１枚目と２枚目、１枚目と３枚目に対するレベル差のうち、閾値（例えば５）を超える画素を重複せずにカウントすればよい。これにより、簡易な方法で、処理負荷をかけずに重ね合わせに適した画像を選択することができる。

（２）レベル差及びエッジ強度で判定
レベル差算出部３０１は、前述した通り、複数の画像のうちの所定数（例えば２枚）の画像に対し、画像間の各画素のレベル差を算出する。レベル差算出部３０１は、算出した各画素のレベル差をカウント部３０４に出力する。

エッジ強度算出部３０２は、取得部２００から取得した画像のエッジ強度を算出する。エッジ強度は、エッジの強い部分であるかどうかを示す尺度である。

図５は、レベル差とエッジ強度との関係を説明する図である。図５を用いてレベル差とエッジ強度とを説明すると、画像１と画像２とのレベル差を、Δａ（ＲＧＢ値の差分の絶対値の和）とし、画像２のある位置（ｘ，ｙ）と１画素隣（ｘ＋１，ｙ）の画素とのレベル差をエッジ強度Δｂとする。

この時、エッジ強度Δｂが大きい場合には、少し位置がずれるだけでレベル差Δａが大きくなるため、エッジ強度を考慮すると、より適切な画像間のレベル差を求めることができる。例えば、エッジ強度が大きい場合には閾値を大きくし、エッジ強度が小さい場合には閾値を小さくする。これにより、エッジ強度が大きいためにレベル差が大きくなっている画素をカウント値から除外することができる。

エッジ強度算出部３０２は、例えば、対象画素とその周囲４近傍の画素とのエッジ強度Δｂを算出する。図６は、エッジ強度算出対象の画素の一例を示す図である。図６に示すように、３×３の画素マトリックスを仮定し、中心を、対象画素Ｔとすると、中心画素Ｔから、それぞれ、ｘ、ｙ方向に前後する４つの画素Ｐ１〜Ｐ４を、評価対象とする。エッジ強度算出部３０２は、ＲＧＢ画像の場合、画像２をＲ２，Ｇ２，Ｂ２とし、対象画素位置を、ｘ、ｙ、１つの隣接画素位置を、ｘ＋１、ｙとすると、以下の式（２）で、エッジ強度Δｂを計算する。

エッジ強度Δｂは、隣接画素の差分でもある。エッジ強度Δｂが大きいほど、エッジが大きいことを表す。また、図６に示したように、エッジ強度Δｂは、対象画素Ｔを中心に、４つの隣接画素Ｐ１〜Ｐ４の各々に対して計算される。対象画素Ｔのエッジ強度としては、これらの４つの値の平均値などを用いてもよい。エッジ強度算出部３０２は、求めたエッジ強度Δｂをカウント部３０４に出力する。エッジ強度の詳細な算出については、特許第４５５３９４２号公報を参照されたい。

カウント部３０４は、各画素のレベル差が閾値より大きいか否かを判定する際、閾値をエッジ強度により変更する。例えば、エッジ強度が大きい場合、カウント部３０４は、閾値を大きな値に変更してレベル差と閾値との比較を行う。これにより、エッジ部分であるために、少しの位置ずれでレベル差が大きくなりやすい画素を、カウント値から除外することができる。閾値については、エッジ強度が大きくなるにつれ、閾値も大きくなるような関数などで表現しておけばよい。この関数などは、実験により適切な式を求めて適用すればよい。カウント部３０４は、エッジ部分を考慮したカウント値を選択部２０２に出力する。

選択部２０２は、例えば、カウント部３０４により取得したカウント値が一番小さい組み合わせの画像を選択する。これにより、エッジ部分を考慮して変動する閾値を用いてカウントした値に基づき、重ね合わせに適した画像を選択することができる。

（３）レベル差の分布に生じるノイズ除去後に判定
レベル差算出部３０１は、前述した通り、複数の画像のうちの所定数（例えば２枚）の画像に対し、画像間の各画素のレベル差を算出する。レベル差算出部３０１は、算出した各画素のレベル差をノイズ除去部３０３に出力する。

ノイズ除去部３０３は、連写して撮像した画像に点在して発生したノイズに対し、孤立点除去処理を行って除去する。このノイズは、短時間露光で撮像された画像を輝度調整して明るくした場合に発生するノイズである。レベル差が大きい領域が大きければ位置ずれにより生じたレベル差である可能性が高く、レベル差が大きい領域が小さければノイズによるレベル差である可能性が高い。これにより、ノイズ除去部３０３は、レベル差が大きい領域が小さい場合、このレベル差がカウント値から除外されるようにする。

ノイズ除去の方法について図７を用いて説明する。図７は、孤立点除去処理におけるノイズ除去を説明するための図である。図７に示す例では、ノイズ除去部３０３は、閾値（例えば５）よりレベル差が大きいと判定された画素に対し、上下左右の４画素の少なくとも１つに、レベル差が閾値より大きい画素ではない画素が含まれる場合、その画素にフラグを立てる。フラグは、この例では分かりやすくするため「×」とする。また、図７では、レベル差が閾値より大きい画素のみを表示する。

図７（Ａ）は、レベル差が大きい領域が小さい場合の例を示す。図７（Ａ）に示すように、ノイズ除去部３０３は、フラグを立てる条件に該当する画素にフラグ「×」を立てる。図７（Ａ）では、領域全てに「×」のフラグがつく。この場合、ノイズ除去部３０３は、この領域を孤立点として除去するため、フラグが立てられた画素のレベル差を小さくする（例えば０にする）。これにより、この領域はカウント部３０４でカウントされないようにする。

図７（Ｂ）は、レベル差が大きい領域が大きい場合の例を示す。図７（Ｂ）に示すように、ノイズ除去部３０３は、フラグを立てる条件に該当する画素にフラグ「×」を立てる。図７（Ｂ）では、領域内で、フラグが立たない画素が４つ存在する。ノイズ除去部３０３は、フラグが立てられた画素のレベル差を小さくし、フラグが立たない画素のみがカウント部３０４でカウントされるようにする。

カウント部３０４は、ノイズ除去部３０３から取得した、ノイズが除去された各画素のレベル差をカウントする。これにより、カウント部３０４は、ノイズが除去されたレベル差をカウントすることで、純粋に位置ずれで生じたレベル差のみをカウントできる可能性が高くなる。カウント部３０４は、カウント値を選択部２０２に出力する。

なお、カウント部３０４は、エッジ強度算出部３０２により算出されたエッジ強度を考慮して、（２）で説明したように閾値を変更してもよい。

また、ノイズ除去部３０３は、カウント部３０４から、レベル差が大きいとしてカウントされた画素を取得し、この画素に対して孤立点除去処理を行い、残った画素をカウントし、このカウント値を選択部２０２に出力するようにしてもよい。

選択部２０２は、例えば、カウント部３０４により取得したカウント値が一番小さい組み合わせの画像を選択する。これにより、ノイズ部分を除去してカウントした値に基づき、重ね合わせに適した画像を選択することができる。

判定部２０１は、前述した（１）〜（３）のいずれかの判定方法を用いて重ね合わせに適するか否かを判定すればよい。判定部２０１は、例えばカウント値を判定結果として出力する。

図８は、実施例１における画像合成の一例を示す図である。図８に示す例では、選択部２０２は、図８（Ａ）に示す画像と図８（Ｂ）に示す画像との組み合わせが、重ね合わせに一番適しているとして選択したとする。

合成部２０３は、図８（Ａ）に示す画像と図８（Ｂ）に示す画像とを重ね合わせて、合成画像を生成する。例えば、合成部２０３は、画像間の対応する画素の平均をとって合成画像を生成する。図８（Ｃ）は、合成画像を示す。合成部２０３は、複数の画像の中から類似する画像同士を合成するので、図８（Ｃ）に示すように良好な合成画像を得ることができる。

＜動作＞
次に、実施例１における画像処理装置１０の動作について説明する。図９は、実施例１における画像処理の一例を示すフローチャートである。図９に示すステップＳ１０１で、撮影制御部１０３による制御で、イメージセンサ１０２は、短時間露光の光電変換データを取得する。取得された光電変換データは、前述した処理がなされて画像記憶部１０７に記憶される。

ステップＳ１０２で、判定部２０１は、取得部２００から複数の画像を取得し、所定枚数の組み合わせに対して重ね合わせ判定を行う。複数の画像は、例えば数秒間連写撮像して得られた画像である。判定部２０１は、重ね合わせの判定方法について、前述した（１）〜（３）のいずれを用いてもよい。この重ね合わせ判定の処理は、図１０を用いて後述する。

ステップＳ１０３で、選択部２０２は、判定部２０１により重ね合わせ判定された組み合わせのうち、一番重ね合わせに適している組み合わせを選択する。例えば、選択部２０２は、判定部２０１によりカウントされたカウント値を、重ね合わせの判定結果として取得し、このカウント値が一番小さい組み合わせの画像を選択する。

ステップＳ１０４で、合成部２０３は、選択部２０２により選択された画像同士を重ね合わせ、合成画像を生成する。重ね合わせる枚数は２枚に限られず、実験などにより求められた適切な値が予め設定されていればよい。

これにより、最初から手振れ補正用に合成する枚数分のみを撮影して合成画像を生成するのではなく、重ね合わせに適した画像を選択して合成画像を生成することができる。画質劣化の原因となる、所定の画像に対して位置ずれが大きい画像は、重ね合わせの対象から外れるので、良好な合成画像を生成することができる。

図１０は、実施例１における重ね合わせ判定処理の一例を示すフローチャートである。図１０に示す例では、前述した（３）の判定方法を用いるがこれに限られない。

ステップＳ２０１で、レベル差算出部３０１は、ある組み合わせにおける画像間の各画素のレベル差を算出する。

ステップＳ２０２で、エッジ強度算出部３０２は、例えば画像間のＲＧＢを用いてエッジ強度を算出する。

ステップＳ２０３で、ノイズ除去部３０３は、画像間の各画素のレベル差において、点在する閾値より大きいレベル差をノイズと判断して除去する（図７参照）。なお、ステップＳ２０２とステップＳ２０３の順序は問わない。

ステップＳ２０４で、カウント部３０４は、各画素に対し、ノイズ除去部２０４から取得した画像間における各画素のレベル差が、閾値よりも大きい場合をカウントする。この閾値は、エッジ強度算出部３０２から取得したその画素のエッジ強度に応じて変更される。

ステップＳ２０５で、判定部２０１は、全ての組み合わせの画像についてステップＳ２０１〜Ｓ２０４の処理を行ったか否かを判定する。全ての組み合わせについて処理が終了していれば（ステップＳ２０５−ＹＥＳ）ステップＳ２０６に進み、全ての組み合わせについて処理が終了していなければ（ステップＳ２０５−ＮＯ）ステップＳ２０１に戻り、別の組み合わせに対して処理を行う。

ステップＳ２０６で、カウント部３０４は、全ての組み合わせに対してカウントしたカウント値を選択部２０２に出力する。なお、判定部２０１は、複数の画像に対して全ての組み合わせについてレベル差を求めるのではなく、連続する所定数（例えば２）の組み合わせのみについてレベル差を求めてもよい。連続する２枚の方が類似する画像である可能性が高いからである。これにより、処理を高速化することができる。

以上、実施例１によれば、複数の画像を用いて合成する際に、重ね合わせ後の補正処理をすることなく、より良好な画像を得ることができる。また、実施例１によれば、画像間のレベル差のみを用いて重ね合わせ判定を行うことで、簡易な方法で重ね合わせに適した画像を選択することができる。また、実施例１によれば、エッジ強度を用いてレベル差比較を行って重ね合わせ判定を行うことで、重ね合わせにさらに適した画像を選択することができる。また、実施例１によれば、画像間のレベル差が大きい領域が所定の条件を満たす領域である場合に、そのレベル差が生じた画素をカウント対象とすることで、ノイズ除去した正確なカウント値に基づいて重ね合わせの適否を判定することができる。

［実施例２］
次に、実施例２における画像処理装置１０について説明する。実施例２における画像処理装置１０は、位置ずれ補正を行って重ね合わせ処理を行う。これにより、より良好な合成画像を生成することができる。

＜構成＞
実施例２における画像処理装置１０の構成は、図２に示す実施例１の構成と同様である。実施例２では、補正処理部１０８の処理内容が実施例１とは異なるので、以下、補正処理部１０８について説明する。

図１１は、実施例２における補正処理部１０８の構成の一例を示すブロック図である。図１１に示すように、実施例２における補正処理部１０８は、取得部４００、判定部４０１、選択部４０２、位置補正部４０３、合成部４０４を含む。

取得部４００は、実施例１における取得部２００とその機能は同様であるため、その説明を省略する。

判定部４０１は、取得部４００から取得した複数の画像に対して、重ね合わせに適している画像であるか否かを判定する。重ね合わせの適否の具体的な判定方法については、判定部４０１の構成（図１２）を説明する際に合わせて説明する。

選択部４０２は、実施例１同様、判定部４０１により重ね合わせに適していると判定された所定数の画像を選択する。選択部４０２は、実施例１同様、所定数の画像を選択した時点で、撮影制御部１０３に撮影終了を示す制御信号を出力してもよい。

位置補正部４０３は、選択部４０２により選択された画像に対し、判定部４０１により位置ずれ検出を行って求められた画像間の移動ベクトルを用いて、画像間の位置ずれ補正を行う。位置ずれ補正は、位置合わせ処理ともいう。

合成部４０４は、選択部４０２により選択された所定数の画像であり、所定の画像に対し位置ずれ補正が行われた画像を所定の画像に合成する。合成部４０４は、例えば、所定数の画像内の対応する画素の平均をとる。

次に、判定部４０１の構成と判定処理について説明する。図１２は、実施例２における判定部４０１の構成の一例を示すブロック図である。図１２に示すように、判定部４０１は、特徴点抽出部５０１、特徴点強度算出部５０２、移動ベクトル算出部５０３、カウント部５０４を含む。判定部４０１の各構成については、（４）特徴点の数で判定、（５）特徴点強度を用いて判定、（６）移動ベクトル数で判定、（７）移動ベクトルと平均移動ベクトルを用いて判定、の４つの判定例を用いてその処理を説明する。

（４）特徴点の数で判定
特徴点抽出部５０１は、複数の画像に対し、各画像の画素における特徴量を算出し、その特徴量が閾値を超える画素を特徴点として抽出する。特徴点とは、例えば、エッジの曲率が大きい点や、エッジが交差する点が特徴点となる。特徴点の抽出については、Ｍｏｒａｖｅｃ、Ｈａｒｒｉｓ、ＳＵＳＡＮといった作用素やＫＬＴ（Ｋａｎｅｄａ−Ｌｕｃａｓ−Ｔｏｍａｓｉ）が提案されている。特徴点抽出部５０１は、これらの公知技術の特徴点抽出方法を用いて特徴点を抽出する。なお、特徴点抽出部５０１は、特徴点が抽出できればいずれの方法を用いてもよい。

図１３は、特徴点の一例を示す図である。図１３では、わかりやすいように特徴点を丸で表している。図１３に示すように、角の部分などが特徴点として抽出される。図１３に示す例は、特徴点の一例を示すだけであって、その他の部分が特徴点として抽出されてもよい。

特徴点抽出部５０１は、抽出した特徴点をカウント部５０４及び移動ベクトル算出部５０３に出力する。

カウント部５０４は、各画像の特徴点の数をカウントし、各画像に対するカウント値を選択部４０２に出力する。このカウント値は、重ね合わせの適否を判定した判定結果となる。カウント値が大きければ重ね合わせに適することを表し、カウント値が小さければ重ね合わせに適しないことを表す。

選択部４０２は、カウント部５０４から取得したカウント値に基づいて、カウント値が多い上位の所定数（例えば２）の画像を、重ね合わせに適した画像として選択する。特徴点が多い画像はクリアな画像であるため、特徴点の数のみで重ね合わせの適否を判定する方法は、簡易でありかつ処理の高速化を図る判定方法として有効である。

（５）特徴点強度を用いて判定
特徴点抽出部５０１は、前述したように、いずれかの特徴点抽出方法を用いて特徴点を抽出する。特徴点抽出部５０１は、抽出した特徴点をカウント部５０４及び特徴点強度算出部５０２に出力する。

特徴点強度算出部５０２は、特徴点抽出部５０１から取得した特徴点の特徴量に対して強度を算出する。特徴点強度算出部５０２は、例えば、期待値マップを作成して特徴点の強度を算出することができる。特徴点強度算出部５０２は、期待値マップの画素数と同数のブロックに特徴量を分割し、各ブロックの特徴量の最大値をこのブロックの期待値とする。期待値マップの大きさは、画像サイズよりも小さく、例えば画像の１／４サイズとする。この場合、縦横４ピクセルの特徴量の最大値が期待値マップの１画素の期待値となる。この期待値マップの期待値が、特徴点強度を表す。この特徴点強度の詳細な算出方法については、特許第４１４２７３２号公報を参照されたい。

特徴点強度算出部５０２は、この期待値マップの期待値に応じて特徴点の数を表す「１」に重みをつけて、カウント部５０４にカウントさせてもよい。特徴点強度算出部５０２は、例えば、期待値が大きい画素に対応する画像のブロック内の特徴点には特徴点数「１」に大きな重みをつけ、期待値が小さい画素に対応する画像のブロック内の特徴点には特徴点数「１」に小さな重みをつける。特徴点強度算出部５０２は、重み付けされた特徴点数をカウント部５０４に出力する。

カウント部５０４は、各画像の重み付けされた特徴点数をカウントし、各画像に対するカウント値を選択部４０２に出力する。このカウント値は、重ね合わせの適否を判定した判定結果となる。カウント値が大きければ重ね合わせに適することを表し、カウント値が小さければ重ね合わせに適しないことを表す。

選択部４０２は、カウント部５０４から取得した重み付けされた特徴点数のカウント値に基づいて、カウント値が多い上位の所定数（例えば２）の画像を、重ね合わせに適した画像として選択する。これにより、特徴量が大きい特徴点が多い画像が選択されやすくなるため、より重ね合わせに適した画像を選択することが可能になる。

（６）移動ベクトル数で判定
特徴点抽出部５０１は、前述したように、いずれかの特徴点抽出方法を用いて特徴点を抽出する。特徴点抽出部５０１は、抽出した特徴点をカウント部５０４及び移動ベクトル算出部５０３に出力する。

移動ベクトル算出部５０３は、各画像に対して、特徴点抽出部５０１により抽出された特徴点を取得する。移動ベクトル算出部５０３は、２枚の画像間において対応する特徴点の追跡を行い、移動ベクトルを算出する。特徴点の追跡の方法は、例えば、著者 Carlo Tomasi and Takeo Kanedaによる文献「Good Features to Track」（IEEE Conference on Computer Vision and Pattern Recognition, page 593-600）などに示されている。

移動ベクトル算出部５０３は、画像毎に算出した移動ベクトルをカウント部５０４及び位置補正部４０３に出力する。

カウント部５０４は、移動ベクトル算出部５０３から取得した移動ベクトルを、画像の組み合わせ毎にカウントする。このカウント値が重ね合わせの適否を判定した判定結果となる。カウント値が大きければ重ね合わせに適することを表し、カウント値が小さければ重ね合わせに適しないことを表す。

選択部４０２は、カウント部５０４から取得した移動ベクトルのカウント値に基づいて、カウント値が一番多い画像の組み合わせを、重ね合わせに適した画像として選択する。これにより、移動ベクトル数が多い画像同士で、後述する位置ずれ補正を行い、合成することができる。

（７）移動ベクトルと平均移動ベクトルを用いて判定
特徴点抽出部５０１は、前述したように、いずれかの特徴点抽出方法を用いて特徴点を抽出する。特徴点抽出部５０１は、抽出した特徴点をカウント部５０４及び移動ベクトル算出部５０３に出力する。

移動ベクトル算出部５０３は、各画像に対して、特徴点抽出部５０１により抽出された特徴点を取得する。移動ベクトル算出部５０３は、２枚の画像間において対応する特徴点の追跡を行い、移動ベクトルを算出する。

移動ベクトル算出部５０３は、画像の組み合わせ毎に、算出した移動ベクトルから全体の平均移動ベクトルを求める。全体の平均移動ベクトルは、例えば、画像内の移動ベクトルの平均とする。移動ベクトル算出部５０３は、求めた平均移動ベクトルを画像毎にカウント部５０４に出力する。

カウント部５０４は、画像の組み合わせ毎に、移動ベクトル算出部５０３から取得した平均移動ベクトルと同じ移動ベクトルがいくつあるかをカウントする。このカウント値は、選択部４０２に出力される。このカウント値は、重ね合わせの適否を判定した判定結果となる。カウント値が大きければ重ね合わせに適することを表し、カウント値が小さければ重ね合わせに適しないことを表す。

選択部４０２は、カウント部５０４から取得した移動ベクトルのカウント値に基づいて、
カウント値が一番多い画像の組み合わせを、重ね合わせに適した画像として選択する。これは、平均移動ベクトルに各移動ベクトルが一致するということは、これらの画像は平均移動していることを意味するので、位置補正部４０３で位置合わせしやすいことになる。適切に位置合わせされた画像同士を重ね合わせると、良好な合成画像が得られる。

図１４は、平均移動ベクトルと各移動ベクトルとの一致数が少ない例を示す図である。図１４（Ａ）は１枚目の撮像画像を示し、図１４（Ｂ）は２枚目の撮像画像を示すとする。図１４（Ａ）（Ｂ）に示すように、１枚目の画像に対し、２枚目の画像は回転成分が含まれてずれが発生している。図１４（Ｃ）は、図１４（Ａ）に示す画像と図１４（Ｂ）に示す画像とから、移動ベクトル及び平均移動ベクトルを求めた例である。図１４（Ｃ）に示すように、画像全体の平均移動ベクトルＭＶと、各移動ベクトルｍｖとの一致数が少ない。

図１５は、平均移動ベクトルと各移動ベクトルとの一致数が多い例を示す図である。図１５（Ａ）は１枚目の撮像画像を示し、図１５（Ｂ）は２枚目の撮像画像を示すとする。図１５（Ａ）（Ｂ）に示すように、１枚目の画像に対し、２枚目の画像は平行移動でずれが発生している。図１５（Ｃ）は、図１５（Ａ）に示す画像と図１５（Ｂ）に示す画像とから、移動ベクトル及び平均移動ベクトルを求めた例である。図１５（Ｃ）に示すように、画像全体の平均移動ベクトルＭＶと、各移動ベクトルｍｖとの一致数が多い。この場合、図１５（Ａ）（Ｂ）に示す画像の組み合わせが選択部４０２により選択されうる。

次に、合成部４０４による重ね合わせの例について説明する。図１６は、平均ベクトルと各移動ベクトルの一致数が少ない場合の重ね合わせを説明する図である。図１６（Ａ）〜（Ｃ）は、図１４（Ａ）〜（Ｃ）に示す画像と同様である。図１６（Ｄ）に示す画像は、図１６（Ａ）と図１６（Ｂ）とに示す画像を、平均移動ベクトルで重ね合わせた画像である。図１６（Ａ）に示す画像と図１６（Ｂ）に示す画像とは回転成分の位置ずれが生じているため、位置補正部４０３は適切に位置ずれ補正ができない。その結果、合成部４０４による合成画像は、境界が滲んだようになっている。

図１７は、平均ベクトルと各移動ベクトルの一致数が多い場合の重ね合わせを説明する図である。図１７（Ａ）〜（Ｃ）は、図１５（Ａ）〜（Ｃ）に示す画像と同様である。図１７（Ｄ）に示す画像は、図１７（Ａ）と図１７（Ｂ）とに示す画像を、平均移動ベクトルで重ね合わせた画像である。図１７（Ａ）に示す画像と図１７（Ｂ）に示す画像とは平行移動の位置ずれが生じているため、位置補正部４０３は適切に位置ずれ補正を行うことができる。これにより、合成部４０４は良好な合成画像を得ることができる（図１７（Ｄ）参照）。

なお、前述した（４）と（５）の判定方法を用いる場合でも、移動ベクトル算出部５０３は、位置ずれ補正を行うための移動ベクトルを算出し、位置補正部４０３に移動ベクトルを出力する。

＜動作＞
次に、実施例２における画像処理装置１０の動作について説明する。図１８は、実施例２における画像処理の一例を示すフローチャートである。図１８に示すステップＳ３０１で、撮影制御部１０３による制御で、イメージセンサ１０２は、短時間露光の光電変換データを取得する。取得された光電変換データは、前述した処理がなされて画像記憶部１０７に記憶される。

ステップＳ３０２で、判定部４０１は、取得部４００から複数の画像を取得し、所定枚数の組み合わせに対して重ね合わせ判定を行う。複数の画像は、例えば数秒間連写撮像して得られた画像である。判定部４０１は、重ね合わせの判定方法について、前述した（４）〜（７）のいずれを用いてもよい。この重ね合わせ判定の処理は、図１９を用いて後述する。

ステップＳ３０３で、選択部４０２は、判定部４０１により重ね合わせ判定された組み合わせのうち、一番重ね合わせに適している組み合わせを選択する。例えば、選択部４０２は、判定部４０１によりカウントされたカウント値を、重ね合わせの判定結果として取得し、このカウント値が一番小さい組み合わせの画像を選択する。

ステップＳ３０４で、位置補正部４０３は、選択部４０２により選択された画像の組み合わせに対し、位置ずれ補正を行う。

ステップＳ３０５で、合成部４０４は、選択部４０２により選択された画像の組み合わせに対し、位置補正部４０３により位置合わせが行われた後に重ね合わせ、合成画像を生成する。重ね合わせる枚数は、例えば２枚である。

これにより、実施例１同様、手振れ補正用に撮像された複数の画像全てを用いて合成画像を生成するのではなく、重ね合わせに適した画像を選択して合成画像を生成することができる。なお、以上の処理により、合成画像を生成する際、位置合わせを行って重ね合わせるので、より良好な合成画像を生成することができる。

図１９は、実施例２における重ね合わせ判定処理の一例を示すフローチャートである。図１９に示す例では、前述した（７）の判定方法を用いるが、これに限られない。

ステップＳ４０１で、特徴点抽出部５０１は、ある組み合わせの２枚の画像に対し、各画素の特徴量を算出し、特徴量に基づいて特徴点を抽出する。

ステップＳ４０２で、移動ベクトル算出部５０３は、２枚の画像間の特徴点の追跡を行って、移動ベクトルを算出する。

ステップＳ４０３で、移動ベクトル算出部５０３は、求めた移動ベクトルの平均移動ベクトルを求める。

ステップＳ４０４で、カウント部５０４は、平均移動ベクトルと一致する各移動ベクトルの数をカウントする。

ステップＳ４０５で、判定部４０１は、全ての組み合わせの画像についてステップＳ４０１〜Ｓ４０４の処理を行ったか否かを判定する。全ての組み合わせについて処理が終了していれば（ステップＳ４０５−ＹＥＳ）ステップＳ４０６に進み、全ての組み合わせについて処理が終了していなければ（ステップＳ４０５−ＮＯ）ステップＳ４０１に戻り、別の組み合わせに対して処理を行う。

ステップＳ４０６で、カウント部５０４は、全ての組み合わせに対してカウントしたカウント値を選択部４０２に出力する。なお、判定部４０１は、複数の画像に対して全ての組み合わせについて判定処理を行うのではなく、連続する所定数（例えば２）の組み合わせのみについて判定処理を行ってもよい。連続する２枚の方が類似する画像である可能性が高いからである。これにより、処理を高速化することができる。

以上、実施例２によれば、複数の画像を用いて合成する際に、重ね合わせに適した画像を用いて位置合わせ処理をすることで、より良好な画像を得ることができる。また、実施例２によれば、画像の特徴点の数のみを用いて重ね合わせ判定を行うことで、簡易な方法で重ね合わせに適した画像を選択することができる。また、実施例２によれば、特徴点強度を用いて重ね合わせ判定を行うことで、特徴量の大きい特徴点が多い画像を選択することができる。また、実施例２によれば、画像間の移動ベクトルの数のみを用いて重ね合わせ判定を行うことで、簡易な方法で重ね合わせに適した画像を選択することができる。また、実施例２によれば、画像間の移動ベクトルと平均移動ベクトルとを用いて重ね合わせ判定を行うことで、平均移動のずれが生じている画像同士を重ね合わせ対象とすることができ、良好な合成画像を生成することができる。

図２０は、実施例１、２における画像処理装置１０のハードウェア構成の一例を示す図である。図２０に示す画像処理装置１０は、ＣＰＵ６０１、記憶装置６０２、メモリ６００３、読み取り装置６０４、通信インタフェース６０６、入出力装置６０７を含む。

ＣＰＵ６０１は、各装置の制御やデータの演算、加工を行う。ＣＰＵ６０１は、メモリ６０３を利用して画像処理プログラムを実行する。

記憶装置６０２は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。記憶装置６０２は、例えば画像処理プログラムを格納する。なお、記憶装置６０２は、外部記録装置であってもよい。

メモリ６０３は、例えばＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。メモリ６０３は、例えばＣＰＵ６０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

読み取り装置６０４は、ＣＰＵ６０１の指示に従って可搬型記録媒体６０５にアクセスする。可搬性記録媒体６０５は、例えば、半導体デバイス（ＰＣカード等）、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体を含むものとする。

通信インタフェース６０６は、ＣＰＵ６０１の指示に従って、ネットワークを介してデータを送受信する。入出力装置６０７は、前述した各実施例では、カメラ、表示装置、ユーザからの指示を受け付けるデバイス等に相当する。

なお、各実施例における構成で、撮影制御部１０３、画像処理部１０６、補正処理部１０８は、例えばＣＰＵ６０１やワークメモリとしてのメモリ６０３により実現され、画像記憶部１０７は、例えば記憶装置６０２やメモリ６０３により実現されうる。この画像処理装置１０は、デジタルカメラやカメラ付携帯端末装置、カメラ付タブレットＰＣに適用することができる。

各実施例に係わる画像処理プログラムは、例えば、下記の形態で提供される。
・記憶装置６０２に予めインストールされている。
・可搬型記録媒体６０５により提供される。
・プログラムサーバ６１０からダウンロードする。
上記構成の画像処理装置１０で画像処理プログラムを実行することにより、各実施例に係わる画像処理装置が実現される。

［変形例］
前述した実施例では、位置ずれ補正について、平行移動成分を検出することを前提に説明したが、判定部及び位置補正部は、回転成分や拡大／縮小成分を検出してもよい。

例えば、画像間の回転角、拡大／縮小率に応じて画像変換するアフィン変換を行う。アフィン変換は以下の式（３）により行われる。

ここで、「ｄｘ」は水平方向ずれ量であり、「ｄｙ」は垂直方向ずれ量である。「θ」はカメラのＲＯＬＬ方向のずれの回転角である。「Ｓ」は、カメラが遠近方向に動くことにより発生する拡大／縮小率である。（ｘ，ｙ）は、変換前の画像の座標であり、（ｘ'，ｙ'）は、変換後の画像の座標である。アフィン変換を行って画像合成する技術の詳細は、特開２０１０−２３２７１０号公報を参照されたい。

また、平行移動成分、回転成分、拡大／縮小成分を精度よく分離する技術を用いてもよい。この技術は、第１画像の中心点に対して対称な位置に存在する第１及び第２の特徴点を抽出し、第２画像においてこの第１及び第２の特徴点を探索する。この技術は、次に、第１画像で抽出された第１及び第２画像の特徴点の座標と、第２画像において探索された第１及び第２画像の特徴点の座標とを用いてずれ量を検出する。この技術の詳細は、特願２００９−００１０１０を参照されたい。

回転成分を算出することで、例えば、移動ベクトル算出部５０３は、算出した回転成分を平均移動ベクトルに加えてから、カウント部５０４に出力するようにしてもよい。具体的には、［数３］のｄｘ、ｄｙを０として、θとＳのみに関して座標を補正した後のベクトルを使用すればよい。これにより、カウント部５０４は、回転成分を考慮した平均移動ベクトルと各移動ベクトルとが一致する数をカウントできるので、選択部４０２は、回転成分を有する画像の組み合わせでも、重ね合わせに適した画像であるとして選択することができるようになる。

また、各実施例では、手振れ補正をするために、連写された複数の画像を対象にしていたが、記憶部に記憶された複数の画像の中から、合成に適した所定数の画像を選択する場合にも適用することができる。

また、実施例２における位置合わせを行った画像間に対して、実施例１を適用することで、より類似する画像同士を重ね合わせ対象とすることができる。

また、各実施例では、短時間露光で撮像した各画像を明るくしてから合成することについて説明したが、短時間露光で撮像した複数の画像を加算して明るい画像に合成する技術にも適用することができる。この場合、暗い画像同士を単純に加算せずに、最大輝度値を超えないように輝度調整を行ってから複数の画像を加算するとよい。

前述した各実施例における画像処理装置は、例えば、書類を撮影して書類内容を正確に把握できる画像を取得するために用いることができる。ユーザは、この画像処理装置を用いて、書類を一定時間撮影する。このとき、画質が良好な合成画像が生成されるため、この合成画像をＰＤＦに変換するなどして保存しておくと、この画像が書類のコピー代わりとなる。前述した撮影を一つの撮影モードとすれば、この撮影モードを選択したユーザは、短時間撮影をあまり期待せず、それよりも画質が良い画像を得ることを期待すると考えられる。

各実施例における画像処理装置は、数秒間の連写により数十枚の画像を取得することができるため、重ね合わせに適した画像を選択して合成することで、画質が良好な合成画像を生成することができる。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。

なお、以上の実施例に関し、さらに以下の付記を開示する。
（付記１）
撮像部により撮像された撮像対象を含む複数の画像を取得する取得部と、
前記取得部により取得された複数の画像に含まれる第一の画像と第二の画像との位置ずれを検出すると共に、該第一の画像が該第二の画像に対する重ね合わせに適した画像であるかを判定する判定部と、
前記判定部による判定結果に基づいて、前記複数の画像の中から所定数の画像を選択する選択部と、
前記選択部により選択された所定数の画像を合成する合成部と、
を備える画像処理装置。
（付記２）
前記選択部は、
前記所定数の画像を選択した場合、前記撮像部に対し、前記撮像対象の撮像を終了するための制御信号を出力する付記１記載の画像処理装置。
（付記３）
前記判定部は、
前記第一の画像における第一の画素と、該第一の画素の位置と対応する前記第二の画像における第二の画素とのレベル差を求め、画像間のエッジ強度に応じて変更される閾値よりも大きい前記レベル差をカウントし、
前記選択部は、
前記判定部によりカウントされたカウント値に基づいて前記所定数の画像を選択する付記１又は２に記載の画像処理装置。
（付記４）
前記判定部は、
前記閾値よりも大きい前記レベル差を有する画素に対し、孤立点除去処理を行ってカウントする付記３記載の画像処理装置。
（付記５）
前記判定部は、
前記位置ずれを検出する際に画像の特徴点を抽出し、抽出結果に基づいて前記画像の重ね合わせの適否を判定する付記１記載の画像処理装置。
（付記６）
前記判定部は、
抽出された前記特徴点の数をカウントし、
前記選択部は、
前記判定部によりカウントされたカウント値に基づいて前記所定数の画像を選択する付記５記載の画像処理装置。
（付記７）
前記判定部は、
抽出された前記特徴点の特徴量に基づいて特徴点の強度を算出し、該特徴点の強度により重み付けされた特徴点数をカウントし、
前記選択部は、
前記判定部によりカウントされたカウント値に基づいて前記所定数の画像を選択する付記５記載の画像処理装置。
（付記８）
前記判定部は、
各画像間の前記特徴点の移動ベクトルを求め、該移動ベクトルの数をカウントし、
前記選択部は、
前記判定部によりカウントされたカウント値に基づいて前記所定数の画像を選択する付記５記載の画像処理装置。
（付記９）
前記判定部は、
前記第一の画像における複数の特徴点と、前記第二の画像における複数の特徴点とに基づいて、該複数の特徴点の移動ベクトルを各々求めると共に、各々求めた前記移動ベクトルの大きさの分布および向きの分布に基づいて判定を行う付記５記載の画像処理装置。
（付記１０）
前記判定部は、
各画像間の前記特徴点の移動ベクトル、該移動ベクトルの平均を表す平均移動ベクトルを求め、該平均移動ベクトルと該移動ベクトルとが一致する数をカウントし、
前記選択部は、
前記判定部によりカウントされたカウント値に基づいて前記所定数の画像を選択する付記５記載の画像処理装置。
（付記１１）
画像処理装置における画像処理方法であって、
撮像部により撮像された撮像対象を含む複数の画像を取得し、
取得された前記複数の画像に含まれる第一の画像と第二の画像との位置ずれを検出すると共に、該第一の画像が該第二の画像に対する重ね合わせに適した画像であるかを判定し、
判定結果に基づいて、前記複数の画像の中から所定数の画像を選択し、
選択された前記所定数の画像を合成する画像処理方法。
（付記１２）
画像処理装置に実行されるための画像処理プログラムであって、
撮像部により撮像された撮像対象を含む複数の画像を取得し、
取得された前記複数の画像に含まれる第一の画像と第二の画像との位置ずれを検出すると共に、該第一の画像が該第二の画像に対する重ね合わせに適した画像であるかを判定し、
判定結果に基づいて、前記複数の画像の中から所定数の画像を選択し、
選択された所定数の画像を合成する画像処理プログラム。

１０１ レンズ
１０２ イメージセンサ
１０３ 撮影制御部
１０６ 画像処理部
１０７ 画像記憶部
１０８ 補正処理部
２００、４００ 取得部
２０１、４０１ 判定部
２０２、４０２ 選択部
２０３、４０４ 合成部
３０１ レベル差算出部
３０２ エッジ強度算出部
３０３ ノイズ除去部
３０４、５０４ カウント部
４０３ 位置補正部
５０１ 特徴点抽出部
５０２ 特徴点強度算出部
５０３ 移動ベクトル算出部

移動ベクトル算出部５０３は、各画像に対して、特徴点抽出部５０１により抽出された特徴点を取得する。移動ベクトル算出部５０３は、２枚の画像間において対応する特徴点の追跡を行い、移動ベクトルを算出する。特徴点の追跡の方法は、例えば、著者 Jianbo Shi and Carlo Tomasiによる文献「Good Features to Track」（IEEE Conference on Computer Vision and Pattern Recognition, pages 593-600,1994）などに示されている。

Claims (10)

1. 撮像部により撮像された撮像対象を含む複数の画像を取得する取得部と、
   前記取得部により取得された複数の画像に含まれる第一の画像と第二の画像との位置ずれを検出すると共に、該第一の画像が該第二の画像に対する重ね合わせに適した画像であるかを判定する判定部と、
   前記判定部による判定結果に基づいて、前記複数の画像の中から所定数の画像を選択する選択部と、
   前記選択部により選択された所定数の画像を合成する合成部と、
   を備える画像処理装置。
2. 前記選択部は、
   前記所定数の画像を選択した場合、前記撮像部に対し、前記撮像対象の撮像を終了するための制御信号を出力する請求項１記載の画像処理装置。
3. 前記判定部は、
   前記第一の画像における第一の画素と、該第一の画素の位置と対応する前記第二の画像における第二の画素とのレベル差を求め、画像間のエッジ強度に応じて変更される閾値よりも大きい前記レベル差をカウントし、
   前記選択部は、
   前記判定部によりカウントされたカウント値に基づいて前記所定数の画像を選択する請求項１又は２に記載の画像処理装置。
4. 前記判定部は、
   前記閾値よりも大きい前記レベル差を有する画素に対し、孤立点除去処理を行ってカウントする請求項３記載の画像処理装置。
5. 前記判定部は、
   前記位置ずれを検出する際に画像の特徴点を抽出し、抽出結果に基づいて前記画像の重ね合わせの適否を判定する請求項１記載の画像処理装置。
6. 前記判定部は、
   抽出された前記特徴点の数をカウントし、
   前記選択部は、
   前記判定部によりカウントされたカウント値に基づいて前記所定数の画像を選択する請求項５記載の画像処理装置。
7. 前記判定部は、
   各画像間の前記特徴点の移動ベクトルを求め、該移動ベクトルの数をカウントし、
   前記選択部は、
   前記判定部によりカウントされたカウント値に基づいて前記所定数の画像を選択する請求項５記載の画像処理装置。
8. 前記判定部は、
   前記第一の画像における複数の特徴点と、前記第二の画像における複数の特徴点とに基づいて、該複数の特徴点の移動ベクトルを各々求めると共に、各々求めた前記移動ベクトルの大きさの分布および向きの分布に基づいて判定を行う請求項５記載の画像処理装置。
9. 画像処理装置における画像処理方法であって、
   撮像部により撮像された撮像対象を含む複数の画像を取得し、
   取得された前記複数の画像に含まれる第一の画像と第二の画像との位置ずれを検出すると共に、該第一の画像が該第二の画像に対する重ね合わせに適した画像であるかを判定し、
   判定結果に基づいて、前記複数の画像の中から所定数の画像を選択し、
   選択された前記所定数の画像を合成する画像処理方法。
10. 画像処理装置に実行されるための画像処理プログラムであって、
    撮像部により撮像された撮像対象を含む複数の画像を取得し、
    取得された前記複数の画像に含まれる第一の画像と第二の画像との位置ずれを検出すると共に、該第一の画像が該第二の画像に対する重ね合わせに適した画像であるかを判定し、
    判定結果に基づいて、前記複数の画像の中から所定数の画像を選択し、
    選択された所定数の画像を合成する画像処理プログラム。