JP2012235255A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】マルチプレーン加算方式に従った画像処理後の合成画像において、手ブレ等に起因するボケと、被写体ブレとを共に低減させて画質を向上させること。
【解決手段】画像取得部４２は、同一の被写体を含む複数の撮像画像のデータを取得する。条件判定部５１は、複数の撮像画像のデータ毎に、被写体の動きに関する所定の条件を満たすか否かを判定する。合成基準画像選択部４４は、条件判定部５１の判定結果に基づいて、複数の撮像画像のデータの中から合成参照用の合成基準画像のデータを選択する。合成部５２は、複数の撮像画像のデータのうち、合成基準画像のデータを含む２以上の撮像画像のデータを処理対象として、マルチプレーン加算方式に従った画像処理を実行することによって、合成画像のデータを生成する。
【選択図】図２

Description

本発明は、画像処理装置及びプログラムに関する。

近年のデジタルカメラは、撮像時間内に発生した手ブレにより生ずる画像のボケを、撮影条件の調整や画像処理等様々な手段で抑制している。以下、このような補正を「手ブレ補正」と呼ぶ。
このような手ブレ補正の手法として、動画像のうちの何枚かの連続するフレーム群や、連写により連続して得られた何枚かのシャッタ時間の短い静止画像群を処理対象にして、処理対象の各画素のデータを位置合わせし、それぞれ加算平均することで、処理対象を合成する手法、即ちいわゆるマルチプレーン加算方式が用いられている。
なお、以下、マルチプレーン加算方式により処理対象（フレーム群や静止画像群）が合成された結果得られる画像を、「合成画像」と呼ぶ。

ここで、マルチプレーン加算方式において、フレーム群や静止画像群の全画素（全領域）が加算平均の対象になると、その結果得られる合成画像においては、手ブレの領域は有効に補正されているが、動被写体の領域では、単純に合成されたことに起因してボケが生じてしまう。
そこで、このような動被写体のボケを低減すべく、動被写体以外の領域のみを加算平均する一方、動被写体の領域については加算平均しない手法が、特許文献１に開示されている。

特開２００９−２９０８２７号公報

しかしながら、特許文献１に記載の手法では、動被写体の領域の処理として、フレーム群や静止画像群内の所定の１枚を基準画像として、基準画像内の動被写体の領域をそのまま採用して張り付ける処理が採用される。このような基準画像内の動被写体の領域で、被写体ブレが生じている場合が多い。
ここで、被写体ブレとは、１枚の静止画像を撮像するための露光時間（シャッタ時間）に撮像素子の各画素に蓄積された光量の積分により、各画素のデータ（画素値）が得られるが、露光時間内に被写体が動いてしまうと、動く前後の光が混在して積分されてしまうため、被写体の領域にボケが生ずることをいう。
このため、特許文献１に記載の手法を適用しても、被写体ブレは回避できずに、マルチプレーン加算方式に従った画像処理後の合成画像の画質が劣化してしまう。

本発明は、このような状況に鑑みてなされたものであり、マルチプレーン加算方式に従った画像処理後の合成画像において、手ブレ等に起因するボケと、被写体ブレとを共に低減させて画質を向上させることを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、同一の被写体を含む複数の撮像画像のデータを取得する画像取得手段と、前記画像取得手段により取得された前記複数の撮像画像のデータ毎に、前記被写体の動きに関する所定の条件を満たすか否かを判定する条件判定手段と、前記条件判定手段の判定結果に基づいて、前記画像取得手段により取得された前記複数の撮像画像のデータの中から、画像合成用の合成基準画像のデータを選択する合成基準画像選択手段と、前記画像取得手段により取得された前記複数の撮像画像のデータのうち、前記合成基準画像選択手段により選択された前記合成基準画像のデータを含む２以上の撮像画像のデータを処理対象として、マルチプレーン加算方式に従った画像処理を実行することによって、合成画像のデータを生成する合成手段と、を備えることを特徴とする。

本発明によれば、マルチプレーン加算方式に従った画像処理後の合成画像において、手ブレ等に起因するボケと、被写体ブレとを共に低減させて画質を向上させることができる。

本発明の画像処理装置の一実施形態としての撮像装置のハードウェアの構成を示すブロック図である。 このような撮像装置の機能的構成のうち、撮像処理を実行するための機能的構成を示す機能ブロック図である。 図２の機能的構成を有する図１の撮像装置が実行する撮影処理の流れを説明するフローチャートである。 マルチプレーン加算方式に従った画像処理の処理対象の選択手法の一例を示す模式図である。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の画像処理装置の一実施形態としての撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムにしたがって各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。
例えば、画像処理部１４は、撮像部１７から連続して出力される複数の撮像画像のデータに対して、マルチプレーン加算方式に従った画像処理を施し、その結果得られる合成画像のデータを出力する。

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

撮像部１７は、図示はしないがフォーカスレンズやズームレンズを含む光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、フォーカスレンズやズームレンズ等の各種レンズで構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
本明細書では、このような撮像部１７の出力信号を、以下、「撮像画像のデータ」と呼んでいる。撮像画像のデータは、ＣＰＵ１１に適宜供給される。

このような撮像部１７の動作は、後述の図２を参照して説明する撮像制御部４１によって制御される。例えば、撮像制御部４１は、撮像部１７の各種撮像条件を設定する。例えば撮像制御部４１は、撮像条件の１つとしてズーム倍率を設定し、設定したズーム倍率になるように、図示せぬレンズ駆動部を制御してズームレンズを駆動する。

入力部１８は、電源ボタン、シャッタボタン等、各種ボタンで構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

図２は、このような撮像装置１の機能的構成のうち、撮像処理を実行するための機能的構成を示す機能ブロック図である。
ここでいう「撮像処理」とは、いわゆる連写により繰り返し連続して複数の撮像画像を撮像し、当該複数の撮像画像のデータに対してマルチプレーン加算方式に従った画像処理を施し、その結果得られる合成画像のデータを記録するまでの一連の処理をいう。

撮像処理の実行が制御される場合、ＣＰＵ１１においては、撮像制御部４１と、画像取得部４２と、表示制御部４３と、合成基準画像選択部４４と、が機能する。画像処理部１４においては、条件判定部５１と、合成部５２と、が機能する。

撮像制御部４１は、ユーザによる入力部１８に対する各種操作等に応じて各種撮像条件を設定し、当該各種撮像条件に基づいて撮像部１７の撮像動作を制御する。撮像部１７は、撮像制御部４１の制御に基づいて撮像動作をし、その結果得られる撮像画像のデータを出力して記憶部２０に一旦記録させる。

画像取得部４２は、入力部１８のシャッタボタンの押下による記録指示操作の前の段階では、撮像部１７から出力されて、入出力インターフェース１６を介して記憶部２０に一旦記憶された撮像画像のデータを、ライブビュー画像のデータとして取得する。
即ち、画像取得部４２の他、撮像制御部４１及び表示制御部４３としても機能しているＣＰＵ１１は、撮像処理中、ライブビュー撮像処理及びライブビュー表示処理を実行することで、ライブビュー画像を出力部１９（撮像装置１のディスプレイ）に表示させる。
具体的には、撮像制御部４１は、撮像処理が開始すると、撮像部１７による撮像動作を継続させる。そして、撮像制御部４１は、撮像部１７による撮像動作が継続されている間、当該撮像部１７から順次出力される撮像画像のデータを、メモリ（本実施形態では記憶部２０）に一時的に記憶させる。このような一連の制御処理が、ここでいう「ライブビュー撮像処理」である。
また、画像取得部４２は、ライブビュー撮像処理の最中にメモリ（本実施形態では記憶部２０）に一時的に記録された各撮像画像のデータを順次読み出して、表示制御部４３に供給する。表示制御部４３は、当該撮像画像を出力部１９に順次表示させる。このような一連の制御処理が、ここでいう「ライブビュー表示処理」である。そして、ライブビュー表示処理により出力部１９に表示されている撮像画像が、ここでいう「ライブビュー画像」である。

その後、入力部１８のシャッタボタンの押下操作による記録指示操作がなされると、撮像部１７は、撮像制御部４１の制御の下、いわゆる連写動作を行い、複数の撮像画像のデータを出力して記憶部２０に一旦記憶させる。画像取得部４２は、これらの複数の撮像画像のデータを、マルチプレーン加算方式に従った画像処理を実行する上での処理対象として取得して、条件判定部５１に供給する。

条件判定部５１は、画像取得部４２により処理対象として取得された複数の撮像画像のデータ毎に、後述の合成基準画像を選択するための各種条件を満たすか否かを判定する。
このような条件は、種類や個数は特に限定されないが、本実施形態では、手ブレ及び大きな被写体ブレが生じていないという第１条件、人物の顔（特に目）の被写体ブレが生じていないという第２条件、人物の目がつぶっていないという第３条件、及び所定基準に対してシャッタ時間が短い等所定の撮像条件を満たすという第４条件が採用されている。
このため、条件判定部５１には、第１条件を判定するブレ判定部６１と、第２条件を判定する顔判定部６２と、第３条件を判定する目判定部６３と、第４条件を判定する撮像条件判定部６４と、が設けられている。

合成基準画像選択部４４は、条件判定部５１による各種条件の判定結果を総合的に判断して、画像取得部４２により処理対象として取得された複数の撮像画像のデータから、所定の１枚のデータを、後述の合成部５２において基準として用いられる画像のデータ（以下、「合成基準画像のデータ」と呼ぶ）として採用する。

合成部５２は、画像取得部４２により処理対象として取得された複数の撮像画像のデータに対して、マルチプレーン加算方式に従った画像処理を施し、その結果得られる合成画像のデータを、ドライブ２２を介してリムーバブルメディア３１として記憶させる。
この場合、動被写体以外の領域のみが加算平均され、動被写体の領域については加算平均されずに、合成基準画像選択部４４により選択された合成基準画像に含まれるものが合成画像においてそのまま採用される。
より正確には、合成部５２は、合成基準画像のデータについて、他の撮像画像のデータと画素毎に相関を計算し、相関の高い画素（主に動被写体以外の画素）のみについて他の撮像画像の各画素値と加算平均し、相関の低い画素（主に動被写体の画素）の画素値については加算平均しないでそのまま採用する。
ここで、合成基準画像選択部４４は、条件判定部５１による各種条件の判定結果を総合的考慮することで、動被写体について被写体ブレが無い又は最小の撮像画像を、合成基準画像として選択することができる。このような合成基準画像に含まれる動被写体、即ち、被写体ブレが無い又は最小の動被写体が合成画像においてそのまま採用されるので、結果として、被写体ブレが最小限に抑制されると共に、被写体ブレの発生していない領域では、加算平均によりノイズの低減が図られる。

次に、図３を参照して、上述の図２の機能的構成の撮像装置１が実行する撮像処理について説明する。
図３は、図２の機能的構成を有する図１の撮像装置１が実行する撮影処理の流れを説明するフローチャートである。

撮像処理は、ユーザによる入力部１８の所定の操作がなされて、撮像装置１の動作モードが例えば撮像モードに切り替えられ、かつ、被写体ブレを軽減するための連写合成画像モードが選択されたことを契機として開始され、次のような処理が実行される。

ステップＳ１１において、撮像制御部４１は、連写合成画像モードを設定する。

ステップＳ１２において、表示制御部４３は、ライブビュー画像表示処理を開始する。これにより、ライブビュー画像が出力部１９のディスプレイに表示される。
なお、本実施形態では、撮像処理が終了されるまでの間、ライブビュー画像が出力部１９のディスプレイに表示され続けるものとする。

ステップＳ１３において、撮像制御部４１は、入力部１８のシャッタボタンの押下による記録指示操作がなされたか否かを判定する。
記録指示操作がなされていない場合、ステップＳ１３においてＮＯであると判定されて、処理は再度ステップＳ１３に戻される。即ち、記録指示操作がなされるまでの間、ステップＳ１３の判定処理が繰り返し実行される。

ここで、本実施形態では、入力部１８のシャッタボタンの押下操作として、次の２種類の操作が採用されている。
即ち、１つ目の操作は、入力部１８のシャッタボタンが途中（下限に至らない所定の位置）まで押下される操作であり、「半押し操作」又は単に「半押し」と呼ばれている。半押しがなされると、撮像制御部４１は、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）処理等を実行する。
２つ目の操作は、入力部１８のシャッタボタンが下限まで押下される操作であり、「全押し操作」又は単に「全押し」と呼ばれている。この全押しが、本実施形態では、記録指示操作として採用されている。
従って、全押しがされると、ステップＳ１３においてＹＥＳであると判定されて、処理はステップＳ１４に進む。

ステップＳ１４において、撮像制御部４１は、適正露出と判断した撮像条件（当該撮像条件で特定されるシャッタ時間に対して２段シャッタ時間を下げたシャッタ時間を所定基準とした場合）に対して、２段シャッタ時間を下げた（短くした）画像と、３段シャッタ時間を下げた（短くした）画像とを交互に４セット、計８枚の撮像画像を得るために、撮像部１７に連写動作をさせる。
これにより、計８枚の撮像画像のデータが撮像部１７から出力されて記憶部２０に一旦記憶される。これらの計８枚の撮像画像のデータが、画像取得部４２により取得され条件判定部５１に供給されると、処理はステップＳ１５に進む。

ステップＳ１５において、条件判定部５１は、計８枚の撮像画像の各データに対してデモザイク処理を施し、その形態をＲＡＷデータからＹＵＶデータに変換する。

ステップＳ１６において、条件判定部５１は、計８枚の撮像画像の各データの位置合わせを行う。
具体的には、条件判定部５１は、時間的に中央の撮像画像のデータを位置合わせ基準として設定し、その位置合わせ合成基準画像のデータの位置への射影変換行列を、位置合わせ合成基準画像以外の各撮像画像のデータに対して求める。そして、条件判定部５１は、当該射影変換行列を各撮像画像のデータに対してかけることで、各データの位置合わせを行う。

ステップＳ１７において、条件判定部５１は、計８枚の撮像画像の各データから顔検出を試みて、顔が存在するか否かを判定する。

顔が存在しない場合、ステップＳ１７においてＮＯであると判定されて、処理はステップＳ１８に進む。
ステップＳ１８において、条件判定部５１は、計８枚の撮像画像の各データのうち、３段シャッタ時間を下げた計４枚の撮像画像各データを対象として、ブレ判定を行う。
ここで、計８枚の撮像画像の各データのうち、所定基準（当該撮影条件で特定されるシャッタ時間に対して２段シャッタ時間を下げたシャッタ時間）に対して３段シャッタ時間を下げた計４枚の撮像画像各データを対象とすることは、撮像条件として、所定基準に対してシャッタ時間が短いことという第４条件を満たすか否かが撮像条件判定部６４により判定されたことを意味する。
また、ブレ判定とは、手ブレ及び大きな被写体ブレが生じていないという第１条件を満たすか否かを判定することを意味する。即ち、ブレ判定部６１が、３段シャッタ時間を下げた計４枚の撮像画像各データを対象として、当該第１条件を満たすか否かを判定することで、ブレ判定を行う。ブレの判定では、微分画像のデータが生成され、その画素値を用いた判定がなされる。
このように、被写体ブレの識別に、画像間の動きベクトルではなく、識別の対象画像のみの微分画像を用いることで、より正確な判断が可能となる。画像間の動きベクトルを用いると、２画像の間の平均の動きであり、動きが直線的でなければ、正確な判断ができなくなるからである。なお、微分画像のデータの生成の手法は、特に限定されず、例えば、Ｓｏｂｅｌ、Ｒｏｂｉｎｓｏｎ，Ｐｒｅｗｉｔｔ演算子等の一次微分や、Ｌａｐｌａｃｉａｎ演算子等の２次微分等を用いる手法が適用可能である。
ステップＳ１９において、合成基準画像選択部４４は、このようなステップＳ１８のブレ判定の結果に基づいて、３段シャッタ時間を下げた画像群（４枚の撮像画像）の中から、被写体ブレ及び手ブレが一番少ないものを、合成基準画像として選択する。

このようにして、計８枚の撮像画像の各データに顔が存在しない場合、ステップＳ１７においてＮＯであると判定されて、ステップＳ１８及びＳ１９の処理により、合成基準画像が選択される。
これに対して、計８枚の撮像画像の各データに顔が存在する場合、ステップＳ１７においてＹＥＳであると判定されて、処理はステップＳ２０に進み、次のような処理が実行される。

ステップＳ２０において、条件判定部５１は、計８枚の撮像画像の各データのうち、３段シャッタ時間を下げた計４枚の撮像画像各データを対象として、顔判定及び目判定を行う。
ここで、計８枚の撮像画像の各データのうち、３段シャッタ時間を下げた計４枚の撮像画像各データを対象とすることは、ステップＳ１８と同様に、撮像条件としてシャッタ時間が短いことという第４条件を満たすか否かが撮像条件判定部６４により判定されたことを意味する。
また、顔判定とは、人物の顔（特に目）の被写体ブレが生じていないという第２条件を満たすか否かを判定することを意味する。即ち、顔判定部６２が、３段シャッタ時間を下げた計４枚の撮像画像各データを対象として、当該第２条件を満たすか否かを判定することで、顔判定を行う。なお、目の被写体ブレが判定される場合には、目検出が行われる。また、被写体ブレの判定では、微分画像のデータが生成され、その画素値を用いた判定がなされる。
また、目判定とは、人物の目がつぶっていないという第３条件を満たすか否かを判定することを意味する。即ち、目判定部６３が、３段シャッタ時間を下げた計４枚の撮像画像各データを対象として、当該第３条件を満たすか否かを判定することで、目判定を行う。なお、目判定のためには、その前提として、目検出が行われる。
ステップＳ２１において、合成基準画像選択部４４は、このようなステップＳ２０の顔判定及び目判定の結果に基づいて、３段シャッタ時間を下げた画像群（４枚の撮像画像）の中から、目をつぶってなくて顔（目）の被写体ブレが一番少ないものを、合成基準画像として選択する。

このようにして、ステップＳ１９又はＳ２１の処理で合成基準画像が選択されると、処理はステップＳ２２に進む。

ステップＳ２２において、合成部５２は、計８枚の撮像画像のデータのうち、合成基準画像を含む４枚の撮像画像のデータを処理対象として選択して、処理対象に対してマルチプレーン加算方式に従った画像処理を施す。

ここで、マルチプレーン加算方式に従った画像処理の処理対象の選択手法は、合成基準画像を含むように選択すれば足り、特に限定されないが、本実施形態では図４に示す選択手法が採用されている。
図４は、マルチプレーン加算方式に従った画像処理の処理対象の選択手法の一例を示している。
合成基準画像７２は、上述のごとく、３段シャッタ時間を短くした計４枚の撮像画像から選択されたものである。このため、図４の例では、残りの３枚の処理対象として、２段シャッタ時間を短くした計４枚の撮像画像のうち、１番目に撮像された撮像画像７１、３番目に撮像された撮像画像７３、及び撮像画像７４が選択されている。
この場合、合成基準画像７２のうち、撮像画像７１，７３，７４と相関の高い領域についてのみ、処理対象の各画素値が加算平均されることによって、マルチプレーン加算方式に従った画像処理が実行される。その結果、被写体がブレず（ボケず）、背景のノイズが少ない合成画像８１のデータが得られる。

図３に戻り、ステップＳ２３において、合成部５２は、このようにしてステップＳ２２の処理で生成した合成画像のデータを、リムーバブルメディア３１に記録させる。
これにより、撮像処理は終了になる。

以上説明したように、本実施形態の撮像装置１は、画像取得部４２と、条件判定部５１と、合成基準画像選択部４４と、合成部５２と、を備える。
画像取得部４２は、同一の被写体を含む複数の撮像画像のデータを取得する。
条件判定部５１は、画像取得部４２により取得された複数の撮像画像のデータ毎に、被写体の動きに関する所定の条件を満たすか否かを判定する。
合成基準画像選択部４４は、条件判定部５１の判定結果に基づいて、画像取得部４２により取得された複数の撮像画像のデータの中から、合成基準画像のデータを選択する。
合成部５２は、画像取得部４２により取得された複数の撮像画像のデータのうち、合成基準画像選択部４４により選択された合成基準画像のデータを含む２以上の撮像画像のデータを処理対象として、マルチプレーン加算方式に従った画像処理を実行することによって、合成画像のデータを生成する。
ここで、所定の条件として適切なものを採用することで、目つぶり画像や、被写体ブレ画像を合成基準画像として選択してしまうというリスクを最小限にすることができる。また、被写体ブレが発生していない領域については、手ブレ抑制用にシャッタ時間を短くしていること等に起因するノイズ低減を図ることができる。
また、条件判定部５１は、複数の撮像画像が撮像されたときの撮像条件に関する条件を満たすか否かを判定する。そして、条件判定部５１は、撮像条件に関する条件として、シャッタ時間に関する条件を満たすか否かを判定することで、被写体ブレ画像を合成基準画像として選択してしまうというリスクを最小限にすることができる。
即ち、マルチプレーン加算方式に従った画像処理後の合成画像において、手ブレ抑制用にシャッタ時間を短くしていること等に起因するノイズと、被写体ブレとを共に低減させて画質を向上させることができる。
特に、シャッタ時間に関する条件として、所定基準に対してシャッタ時間が短いという条件を採用することにより、合成基準画像のデータとして、シャッタ時間が短い分だけ、被写体ブレや手ブレの影響がより少ない画像のデータを選択することが可能となる。
しかも、合成する画像データとしては、所定基準で撮影された画像データを含むので、所定基準よりも短いシャッタ時間で撮影された画像データだけを合成する場合と比べて、必要な明るさを確保するために必要な画像データの合成回数を少なくすることが可能になり、処理時間の短縮や、合成処理にともなうノイズ等も低減することが可能となる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、条件判定部５１により判定される条件は、手ブレ及び大きな被写体ブレが生じていないという第１条件、人物の顔（特に目）の被写体ブレが生じていないという第２条件、人物の目がつぶっていないという第３条件、及び所定基準よりシャッタ時間が短い等所定の撮像条件を満たすという第４条件が採用されていた。
しかしながら、条件判定部５１により判定される条件は、被写体の動きに関する条件であれば足り、種類及び個数は特に限定されない。
例えば、画像取得部４２が、シャッタの全押しのタイミングの前後にわたって複数の撮像画像のデータを取得するものとして、当該複数の撮像画像のデータのうち、シャッタの全押しのタイミングに近いものを、合成基準画像として選択するという条件を採用することもできる。

また、上述の実施形態では、合成基準画像選択部４４は、各条件を同一重要度として取り扱って総合的に、合成基準画像を選択していた。
しかしながら、各条件を同一重要度にする必要は特になく、合成基準画像選択部４４は、各条件に対して重要度に応じた重み付けをして、重み付け後の条件に基づいて合成基準画像を選択してもよい。

また、上述の実施形態では、マルチプレーン加算方式に従った画像処理の対象は、図４に示すように、所定基準より３段シャッタ時間を短くした４枚の撮像画像群の中から選択された合成基準画像７２と、所定基準より２段シャッタ時間を短くした３枚の撮像画像７１，７３，７４とが採用された。
しかしながら、マルチプレーン加算方式に従った画像処理の対象は、特に限定されず、逆に、所定基準より２段シャッタ時間を短くした撮像画像群の中から選択された合成基準画像と、所定基準より３段シャッタ時間を短くした１枚以上の撮像画像とが採用されてもよい。
或いは、シャッタ時間の変化も、特に２段や３段に限定されず、任意の段の任意の組み合わせとしてもよい。即ち、２段、３段とシャッタ時間を短くすることは、シャッタ時間を、例えば１／２、１／４と段階的に短くすることを意味する。ただし、シャッタ時間を短くする段階や程度については、実装に応じ適宜設定可能である。この場合、任意の１枚の合成基準画像と、任意の１枚以上の撮像画像とを、マルチプレーン加算方式に従った画像処理の対象とすることができる。
さらに、シャッタ時間の所定基準としては、上述の実施形態では、２段シャッタ時間を下げたシャッタ時間が採用されたが、特にこれに限定されず、例えば１段、３段、或いはその他の段数だけシャッタ時間を下げたシャッタ時間や、予め決定された固定値を採用することもできるし、所定のアルゴリズムにより演算される可変値を採用することもできる。

また、本実施形態の画像処理装置は、撮像装置１に適用しているがこれに限られるものではなく、画像処理を行うことができる装置であれば、任意の装置にも適用することができる。
例えば、本発明は、電子機器一般に適用することができる。具体的には例えば、本発明は、スマートフォン、ノート型のパーソナルコンピュータ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
同一の被写体を含む複数の撮像画像のデータを取得する画像取得手段と、
前記画像取得手段により取得された前記複数の撮像画像のデータ毎に、前記被写体の動きに関する所定の条件を満たすか否かを判定する条件判定手段と、
前記条件判定手段の判定結果に基づいて、前記画像取得手段により取得された前記複数の撮像画像のデータの中から、画像合成用の合成基準画像のデータを選択する合成基準画像選択手段と、
前記画像取得手段により取得された前記複数の撮像画像のデータのうち、前記合成基準画像選択手段により選択された前記合成基準画像のデータを含む２以上の撮像画像のデータを処理対象として、マルチプレーン加算方式に従った画像処理を実行することによって、合成画像のデータを生成する合成手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記条件判定手段は、前記所定の条件の少なくとも１つとして、被写体ブレに関する条件を満たすか否かを判定する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記条件判定手段は、前記複数の撮像画像の微分画像のデータを用いて、前記被写体ブレの識別を行い、当該識別の結果に基づいて、前記被写体ブレに関する条件を満たすか否かを判定する、
ことを特徴とする付記２に記載の画像処理装置。
［付記４］
前記条件判定手段は、前記被写体が人物である場合、当該人物の目における被写体ブレについて、前記被写体ブレに関する条件を満たすか否かを判定する、
ことを特徴とする付記２又は３に記載の画像処理装置。
［付記５］
前記条件判定手段は、前記被写体が人物である場合、当該人物の目をつぶっていないという条件を満たすか否かを判定する、
ことを特徴とする付記１乃至４のうち何れか１つに記載の画像処理装置。
［付記６］
前記条件判定手段は、前記複数の撮像画像が撮像されたときの撮像条件に関する条件を満たすか否かを判定する、
ことを特徴とする付記１乃至５のうち何れか１つに記載の画像処理装置。
［付記７］
前記条件判定手段は、前記撮像条件に関する条件として、シャッタ時間に関する条件を満たすか否かを判定する、
ことを特徴とする付記６に記載の画像処理装置。
［付記８］
前記画像取得手段は、前記複数の撮影画像の各々を撮像する際のシャッタ時間を、適正露出に対応するシャッタ時間に対して所定の割合で短くした撮影条件を設定し、
前記条件判定手段は、前記撮像条件に関する条件として、所定基準に対してシャッタ時間が短いという条件を満たすか否かを判定することを特徴とする付記７に記載の画像処理装置。
［付記９］
前記画像取得手段は、前記複数の撮影画像をシャッタ時間が異なる複数の撮影条件で撮像し、
前記条件判定手段は、前記複数の撮影条件の中で、最も短いシャッタ時間に対応する撮影条件か否かを判定することを特徴とする付記８に記載の画像処理装置。
［付記１０］
同一の被写体を含む複数の撮像画像のデータに対して施す画像処理を制御するコンピュータを、
前記複数の撮像画像のデータ毎に、前記被写体の動きに関する所定の条件を満たすか否かを判定する条件判定手段、
前記条件判定手段の判定結果に基づいて、前記複数の撮像画像のデータの中から、画像合成用の合成基準画像のデータを選択する合成基準画像選択手段、
前記複数の撮像画像のデータのうち、前記合成基準画像選択手段により選択された前記合成基準画像のデータを含む２以上の撮像画像のデータを処理対象として、マルチプレーン加算方式に従った画像処理を実行することによって、合成画像のデータを生成する合成手段、
として機能させることを特徴とするプログラム。

１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・画像処理部、１５・・・バス、１６・・・入出力インターフェース、１７・・・撮像部、１８・・・入力部、１９・・・出力部、２０・・・記憶部、２１・・・通信部、２２・・・ドライブ、３１・・・リムーバブルメディア、４１・・・撮像制御部、４２・・・画像取得部、４３・・・表示制御部、４４・・・合成基準画像選択部、５１・・・条件判定部、５２・・・合成部、６１・・・ブレ判定部、６２・・・顔判定部、６３・・・目判定部、６４・・・撮像条件判定部

Claims (10)

1. 同一の被写体を含む複数の撮像画像のデータを取得する画像取得手段と、
   前記画像取得手段により取得された前記複数の撮像画像のデータ毎に、前記被写体の動きに関する所定の条件を満たすか否かを判定する条件判定手段と、
   前記条件判定手段の判定結果に基づいて、前記画像取得手段により取得された前記複数の撮像画像のデータの中から、画像合成用の合成基準画像のデータを選択する合成基準画像選択手段と、
   前記画像取得手段により取得された前記複数の撮像画像のデータのうち、前記合成基準画像選択手段により選択された前記合成基準画像のデータを含む２以上の撮像画像のデータを処理対象として、マルチプレーン加算方式に従った画像処理を実行することによって、合成画像のデータを生成する合成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記条件判定手段は、前記所定の条件の少なくとも１つとして、被写体ブレに関する条件を満たすか否かを判定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記条件判定手段は、前記複数の撮像画像の微分画像のデータを用いて、前記被写体ブレの識別を行い、当該識別の結果に基づいて、前記被写体ブレに関する条件を満たすか否かを判定する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記条件判定手段は、前記被写体が人物である場合、当該人物の目における被写体ブレについて、前記被写体ブレに関する条件を満たすか否かを判定する、
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記条件判定手段は、前記被写体が人物である場合、当該人物の目をつぶっていないという条件を満たすか否かを判定する、
   ことを特徴とする請求項１乃至４のうち何れか１項に記載の画像処理装置。
6. 前記条件判定手段は、前記複数の撮像画像が撮像されたときの撮像条件に関する条件を満たすか否かを判定する、
   ことを特徴とする請求項１乃至５のうち何れか１項に記載の画像処理装置。
7. 前記条件判定手段は、前記撮像条件に関する条件として、シャッタ時間に関する条件を満たすか否かを判定する、
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記画像取得手段は、前記複数の撮影画像の各々を撮像する際のシャッタ時間を、適正露出に対応するシャッタ時間に対して所定の割合で短くした撮影条件を設定し、
   前記条件判定手段は、前記撮像条件に関する条件として、所定基準に対してシャッタ時間が短いという条件を満たすか否かを判定することを特徴とする請求項７に記載の画像処理装置。
9. 前記画像取得手段は、前記複数の撮影画像をシャッタ時間が異なる複数の撮影条件で撮像し、
   前記条件判定手段は、前記複数の撮影条件の中で、最も短いシャッタ時間に対応する撮影条件か否かを判定することを特徴とする請求項８に記載の画像処理装置。
10. 同一の被写体を含む複数の撮像画像のデータに対して施す画像処理を制御するコンピュータを、
    前記複数の撮像画像のデータ毎に、前記被写体の動きに関する所定の条件を満たすか否かを判定する条件判定手段、
    前記条件判定手段の判定結果に基づいて、前記複数の撮像画像のデータの中から、画像合成用の合成基準画像のデータを選択する合成基準画像選択手段、
    前記複数の撮像画像のデータのうち、前記合成基準画像選択手段により選択された前記合成基準画像のデータを含む２以上の撮像画像のデータを処理対象として、マルチプレーン加算方式に従った画像処理を実行することによって、合成画像のデータを生成する合成手段、
    として機能させることを特徴とするプログラム。

Images