JP2012160852A - 画像合成装置、撮像装置、画像合成方法、および、画像合成プログラム - Google Patents

Abstract

【課題】連写撮影した複数枚画像の合成技術において、低いコストでフリッカの影響を抑制する。
【解決手段】複数の画像を撮影する際の撮影条件に基づいて、最長露光画像の撮影条件がフリッカを発生させる条件であるか否かを判定し（Ｓ１２）、判定を肯定すると、フリッカが発生しない画像を少なくとも１つ追加して撮影するために、撮影条件を修正する（Ｓ１３）。続いて、複数の画像を撮影した際の撮影条件に基づいて、最長露光画像とそれ以外の画像との間の輝度レベルを合わせるための補正を行うとともに、補正された最長露光画像とそれ以外の画像の信号値の差に基づいて、最長露光画像とそれ以外の画像との間の輝度レベルを合わせるための補正を行う（Ｓ１５）。そして、信号差に基づいて補正された最長露光画像とそれ以外の画像の間の位置ズレを補正し（Ｓ１６）、位置ズレ補正後の画像を合成することによって、合成画像を生成する（Ｓ１７）。
【選択図】図２

Description

本発明は、複数の画像を合成することによって、ダイナミックレンジを拡大した画像を作成する技術に関する。

デジタルスチルカメラまたはデジタルビデオカメラで撮影された複数枚の画像を合成することによって、所望の画像を得る技術として、ノイズ低減（加算式）、電子式ブレ補正（加算式）、ダイナミックレンジ拡大（加算式）などがある。ノイズ低減（加算式）は、シャッタ速度、絞り値、ＩＳＯ感度などの露光条件が同一条件で撮影された複数枚の画像を合成することにより、ショットノイズなどのランダムに発生するノイズを低減させる技術である。電子式ブレ補正（加算式）は、高速シャッタで分割露光を行い、得られた複数枚画像の位置ズレを補償しながら合成することによって、像ブレを抑制した画像を得る技術である。ダイナミックレンジ拡大（加算式）は、異なる露光条件で撮影された複数枚の画像を合成することによって、ダイナミックレンジを拡大した画像を得る技術である。

上述した複数枚の画像を合成する技術では、合成対象の複数枚のフレーム間の位置ズレを補償する必要がある。フレーム間の位置ズレ量を求める技術として、ブロックマッチング法が一般的に知られている。ブロックマッチング法は、基準フレームにおいて一定の大きさのブロック（例えば、８画素×８ライン）を定義し、比較対象フレームの該当箇所から所定範囲において一致指標値を計算し、その一致指標値が最も大きくなる（一致指標値によっては、最も小さくなる）位置を求めて、フレーム間の相対的ズレ量を計算する手法である。一致指標値としては、自乗誤差ＳＳＤ（Sum of Squared intensity Difference）、誤差の絶対値ＳＡＤ（Sum of Absolute intensity Difference）、正規化相互相関ＮＣＣ（Normalized Cross-Correlation）などがある。

マッチングの基準ブロック領域Ｉおよび対象とするブロック領域Ｉ’において、画素位置ｐ∈Ｉおよび、ｑ∈Ｉ’（ｐ、ｑは２次元の値を持つ量で、Ｉ、Ｉ’は２次元の領域、ｐ∈Ｉは座標ｐが領域Ｉに含まれていることを示す）の画素値をそれぞれＬｐ、Ｌｑとすると、ＳＳＤ、ＳＡＤは、それぞれ次式（１）、（２）で表される。

正規化相互相関ＮＣＣは、マッチングの基準ブロック領域Ｉおよび対象とするブロック領域Ｉ’の各々に含まれる画素ｐ∈Ｉおよび、ｑ∈Ｉ’の平均値Ａｖｅ（Ｌｐ）、Ａｖｅ（Ｌｑ）を算出し、各ブロックに含まれる画素値との差分を次式（３）、（４）により計算する。

続いて、正規化相互相関ＮＣＣを次式（５）により計算する。

正規化相互相関ＮＣＣの大きいブロックを一致度の高い（相関の高い）ブロックと判断し、最も一致度の高いブロックＩ’とＩの間の相対的ズレ量を求める。

上述したノイズ低減（加算式）、および、電子式ブレ補正（加算式）では、同一露光条件の画像を用いて位置あわせを行うので、画像の明るさレベルは一致しているものと仮定している。また、ダイナミックレンジ拡大（加算式）では、撮影条件に応じて画像信号を補正することにより、画像の明るさレベルが一致することを仮定している。多くの撮影シーンでは上記仮定が成り立つが、蛍光灯照明下での撮影では、周期的に照明の明るさが変動するフリッカの影響により、上記仮定が成立しない場合がある。

このフリッカの問題を解決するために、特許文献１および特許文献２に記載の技術がある。特許文献１には、露光時間がフリッカの周期より短い場合は、露光時間の中心と照明光量の極大値を一致させ、露光時間がフリッカの周期より長い場合は、露光時間をフリッカの周期の自然数倍に再設定することにより、連写画像間の輝度変動を抑制する技術が開示されている。また、特許文献２には、標準露光映像信号に発生するフリッカと、短時間露光映像信号に発生するフリッカを別々に除去してから、両映像信号を合成することにより、フリッカの影響を除外したダイナミックレンジの広い映像を得る技術が開示されている。

特開２００６−２２２９３５号公報 特開２００４−１１２４０３号公報

しかしながら、特許文献１に記載の技術では、高分解能で光量を求める必要や、連写間隔を高精度に制御する必要があるため、実装コストが高くなってしまう。また、特許文献２に記載の技術も、フリッカ除去手段が必要となるため、実装コストが高くなってしまう。

本発明は、上記の課題に鑑みてなされたものであり、連写撮影した複数枚画像の合成技術において、低いコストでフリッカの影響を抑制することを目的とする。

本発明のある態様に係る画像合成装置は、複数の画像を合成することによって、合成画像を生成する画像合成装置であって、前記複数の画像を撮影する際の撮影条件に基づいて、前記複数の画像のうちの最長露光画像の撮影条件がフリッカを発生させる条件であるか否かを判定する判定部と、前記最長露光画像の撮影条件がフリッカを発生させる条件であると判定された場合に、フリッカが発生しない画像を少なくとも１つ追加して撮影するために、前記複数の画像を撮影する際の撮影条件を修正する撮影条件修正部と、前記複数の画像を撮影した際の撮影条件に基づいて、最長露光画像と前記最長露光画像以外の画像との間の輝度レベルを合わせるための補正を行う第１補正部と、前記第１補正部によって補正された最長露光画像の信号値と最長露光画像以外の画像の信号値との信号差に基づいて、前記最長露光画像と、前記最長露光画像以外の画像との間の輝度レベルを合わせるための補正を行う第２補正部と、前記第２補正部によって補正された最長露光画像および最長露光画像以外の画像の間の位置ズレを補正する位置ズレ補正部と、前記位置ズレ補正部によって位置ズレを補正された最長露光画像と最長露光画像以外の画像とを合成することによって、合成画像を生成する合成部と、を備える。

本発明の別の態様に係る画像合成方法は、複数の画像を合成することによって、合成画像を生成する画像合成方法であって、前記複数の画像を撮影する際の撮影条件に基づいて、前記複数の画像のうちの最長露光画像の撮影条件がフリッカを発生させる条件であるか否かを判定するステップと、前記最長露光画像の撮影条件がフリッカを発生させる条件であると判定した場合に、フリッカが発生しない画像を少なくとも１つ追加して撮影するために、前記複数の画像を撮影する際の撮影条件を修正するステップと、前記複数の画像を撮影した際の撮影条件に基づいて、最長露光画像と前記最長露光画像以外の画像との間の輝度レベルを合わせるための補正を行うステップと、前記撮影条件に基づいて補正された最長露光画像の信号値と最長露光画像以外の画像の信号値との信号差に基づいて、前記最長露光画像と前記最長露光画像以外の画像との間の輝度レベルを合わせるための補正を行うステップと、前記信号差に基づいて補正された最長露光画像および最長露光画像以外の画像の間の位置ズレを補正するステップと、前記位置ズレを補正された最長露光画像と最長露光画像以外の画像とを合成することによって、合成画像を生成するステップと、を備える。

本発明のさらに別の態様に係る画像合成プログラムは、複数の画像を合成することによって、合成画像を生成するための画像合成プログラムであって、前記複数の画像を撮影する際の撮影条件に基づいて、前記複数の画像のうちの最長露光画像の撮影条件がフリッカを発生させる条件であるか否かを判定するステップと、前記最長露光画像の撮影条件がフリッカを発生させる条件であると判定した場合に、フリッカが発生しない画像を少なくとも１つ追加して撮影するために、前記複数の画像を撮影する際の撮影条件を修正するステップと、前記複数の画像を撮影した際の撮影条件に基づいて、最長露光画像と前記最長露光画像以外の画像との間の輝度レベルを合わせるための補正を行うステップと、前記撮影条件に基づいて補正された最長露光画像の信号値と最長露光画像以外の画像の信号値との信号差に基づいて、前記最長露光画像と前記最長露光画像以外の画像との間の輝度レベルを合わせるための補正を行うステップと、前記信号差に基づいて補正された最長露光画像および最長露光画像以外の画像の間の位置ズレを補正するステップと、前記位置ズレを補正された最長露光画像と最長露光画像以外の画像とを合成することによって、合成画像を生成するステップと、をコンピュータに実行させる。

本発明によれば、フリッカが発生しない撮影条件で撮影された画像を少なくとも１つ含む複数の画像間の輝度レベルを合わせてから位置合わせを行い、その後に合成するので、低いコストでフリッカの影響を抑制した合成画像を生成することができる。

第１の実施形態における画像合成装置を適用したデジタルカメラの構成を示すブロック図である。 第１の実施形態における画像合成装置を適用したデジタルカメラによって行われる合成画像生成処理の内容を示すフローチャートである。 蛍光灯下において、異なるシャッタ速度で３回の連写撮影を行うことにより得られた画像を示す図である。 正規化処理の詳細な内容を示すフローチャートである。 図５（ａ）は、異なるシャッタ速度（露光時間）で撮影された４つの画像を示す図である。また、図５（ｂ）は、図５（ａ）に示す４つの画像を合成することによって得られる合成画像と、合成画像の部分拡大図を、正規化処理の有無に応じてそれぞれ示す図である。 第２の実施形態における画像合成装置を適用したデジタルカメラによって行われる合成画像生成処理の内容を示すフローチャートである。

−第１の実施形態−
図１は、第１の実施形態における画像合成装置１０を適用したデジタルカメラ１の構成を示すブロック図である。デジタルカメラ１は、レンズと本体が一体型のカメラでもよいし、レンズ交換式のカメラでもよい。デジタルカメラ１は、光学系１００と、撮像素子１０１と、画像合成装置１０とを備える。画像合成装置１０は、フレームメモリ１０２と、正規化処理部１０３と、動きベクトル演算部１０４と、合成処理部１０５と、画像処理部１０６と、制御部１０７とを備える。図中、実線の矢印はデータの流れを表しており、点線は制御信号を表している。

撮像素子１０１は、例えば、ＣＣＤやＣＭＯＳであり、レンズなどの光学系１００を介して入力される被写体光を光電変換することによって、電気信号として出力する。撮像素子１０１から出力される電気信号は、画像データとして、フレームメモリ１０２に格納される。フレームメモリ１０２に格納される画像データは、ベイヤ配列に基づいて画素ごとにＲ（Ｒｅｄ）信号、Ｇ（Ｇｒｅｅｎ）信号、Ｂ（Ｂｌｕｅ）信号のうちのいずれか一つの情報を有するＲａｗ形式の画像データである。

正規化処理部１０３は、フレームメモリ１０２から画像データを読み出して、合成対象の複数の画像データ間の信号レベル（輝度レベル）を一致させるための正規化処理を行う。正規化処理後の画像データは、フレームメモリ１０２に格納される。

動きベクトル演算部１０４は、正規化処理後の複数の画像データ間の位置ズレを表す動きベクトルを求める。動きベクトル演算部１０４によって求められた動きベクトルは、フレームメモリ１０２に格納される。

合成処理部１０５は、動きベクトル演算部１０４によって求められた動きベクトルに基づいて、正規化処理後の複数の画像データ間の位置ズレを補正し、位置ズレを補正した複数の画像データを合成することによって、合成画像を生成する。

画像処理部１０６は、合成処理部１０５によって生成された合成画像データの各画素に、Ｒ信号、Ｇ信号、Ｂ信号を割り当てる現像処理（デモザイク処理）を行う。画像処理部１０６は、また、ノイズ低減処理やエッジ強調処理など、所望の画像を得るために必要な各種画像処理を行う。現像処理を含む各種画像処理が施された画像は、例えば、図示しないディスプレイに表示される。

制御部１０７は、デジタルカメラ１の全体制御を行う。

本実施の形態における画像合成装置１０では、露光時間の異なる複数枚の画像データを合成することによって、ダイナミックレンジを拡大した合成画像を生成する。このため、デジタルカメラ１は、露光時間の異なる複数枚の画像データを得るために、露光条件を変えて連写撮影を行う。

図２は、第１の実施形態における画像合成装置１０を適用したデジタルカメラ１によって行われる合成画像生成処理の内容を示すフローチャートである。例えば、デジタルカメラ１が合成画像を生成するための合成画像生成モードに設定されており、ユーザによってレリーズボタンの押圧操作が行われると、ステップＳ１１の処理を開始する。

ステップＳ１１〜ステップＳ１３の処理は、制御部１０７によって行われる。ステップＳ１１では、連写撮影の撮影条件を設定する。ここでは、撮影シーンの明るさに応じて、露光アンダー側から露光オーバー側まで撮影できるように、露光時間の異なるそれぞれの撮影について、シャッタ速度、絞り、ＩＳＯ感度などの撮影条件（露光条件）を決定する。

ステップＳ１２では、ステップＳ１１で決定した撮影条件が、露光時間が最も長い最長露光画像にフリッカが発生する条件であるか否かを判定する。電源周波数は、５０／６０Ｈｚであり、蛍光灯はその２倍の周波数（１００／１２０Ｈｚ）で点滅している。従って、蛍光灯の点滅周期のおよそ２倍以上の露光時間を確保しないと、画像の輝度や色合いに変動が生じる可能性がある。

図３は、蛍光灯下において、異なるシャッタ速度で３回の連写撮影を行うことにより得られた画像を示す図である。図３の一番上の段の画像は、１回目の撮影により得られた画像、真ん中の段の画像は、２回目の撮影により得られた画像、一番下の段の画像は、３回目の撮影により得られた画像である。シャッタ速度は、１／４０（秒）、１／８０（秒）、１／１６０（秒）、１／３２０（秒）としている。

シャッタ速度が１／８０（秒）、１／１６０（秒）、１／３２０（秒）の場合、露光時間が蛍光灯の点滅周期の２倍未満となるため、連写撮影によって得られる画像間の輝度や色合いが変動する。図３では、撮影により得られたカラー画像を白黒画像に変換したものを図示しているため、輝度や色合いの変化が分かりにくいが、実際のカラー画像では違いが顕著である。一方、シャッタ速度が１／４０（秒）の場合には、露光時間が蛍光灯の点滅周期の２倍以上であり、連写撮影によって得られる画像の輝度や色合いは変動しない。

ステップＳ１２では、露光時間（シャッタ速度）が所定の露光時間しきい値未満の場合に、画像にフリッカが発生する（フリッカの影響がある）と判断し、露光時間（シャッタ速度）が所定の露光時間しきい値以上の場合に、画像にフリッカは発生しない（フリッカの影響はない）と判断する。所定の露光時間しきい値は、蛍光灯の点滅周期の２倍（１／５０（秒）または１／６０（秒））を基準として設定してもよいし、ユーザが任意の値を設定するようにしてもよい。

ステップＳ１２において、ステップＳ１１で決定した撮影条件が、最長露光画像にフリッカが発生する条件であると判定するとステップＳ１３に進み、フリッカが発生する条件ではないと判定するとステップＳ１４に進む。

ステップＳ１３では、フリッカが発生しない撮影条件の画像を少なくとも１枚追加して撮影するために、撮影条件を修正する。すなわち、露光時間（シャッタ速度）が所定の露光時間しきい値以上となる撮影条件が少なくとも１つ含まれるように、撮影条件を修正する。

ステップＳ１４では、決定した撮影条件で連写撮影を行う。決定した撮影条件とは、ステップＳ１３の処理を行った場合には、修正後の撮影条件であり、ステップＳ１３の処理を行っていない場合には、ステップＳ１１で設定した撮影条件である。

ステップＳ１５では、正規化処理部１０３によって、ステップＳ１４の連写撮影で得られた複数の画像に対して、画像の輝度レベルを一致させるための正規化処理を行う。正規化処理の詳細な内容を、図４に示すフローチャートを用いて説明する。ここでは、露光時間が最も長い最長露光画像を、露光基準画像と呼ぶ。この露光基準画像は、フリッカが発生しない撮影条件での撮影により得られた画像である。

図４に示すフローチャートのステップＳ４０１では、連写撮影で得られた各画像について、Ｒ信号値、Ｇ信号値、Ｂ信号値それぞれの平均値を求める。

ステップＳ４０２では、露光基準画像以外の各画像のＲ信号値、Ｇ信号値、Ｂ信号値それぞれの平均値を、露光基準画像に対する露光時間の比率に基づいて補正する。具体的には、露光基準画像の露光時間を、露光基準画像以外の画像の露光時間で除算することによって、露光時間比を求め、露光基準画像以外の画像のＲ信号値、Ｇ信号値、Ｂ信号値の平均値のそれぞれに、求めた露光時間比を乗算することによって、補正後のＲ信号値、Ｇ信号値、Ｂ信号値の平均値を求める。この処理を、露光基準画像以外の各画像に対して行う。

画像にフリッカが発生していなければ、露光基準画像以外の各画像を、露光基準画像に対する露光時間比で補正すれば、全ての画像の輝度レベルがほぼ一致するはずであるが、フリッカが存在する場合には、輝度レベルの相違が大きくなる。従って、次のステップＳ４０３では、フリッカが発生した場合でも、全ての画像の輝度レベルを一致させるための補正係数を算出する。

ステップＳ４０３では、ステップＳ４０２で補正した各画像のＲ信号値、Ｇ信号値、Ｂ信号値の平均値のそれぞれに対して、露光基準画像のＲ信号値、Ｇ信号値、Ｂ信号値の平均値に対する補正係数を算出する。具体的には、露光基準画像のＲ信号値の平均値を、ステップＳ４０２で補正した露光基準画像以外の各画像のＲ信号値で除算することによって、Ｒ信号値の補正係数を算出する。同様に、露光基準画像のＧ信号値、Ｂ信号値の平均値を、ステップＳ４０２で補正した露光基準画像以外の各画像のＧ信号値、Ｂ信号値の平均値でそれぞれ除算することによって、Ｇ信号値、Ｂ信号値それぞれの補正係数を算出する。

ステップＳ４０４では、ステップＳ４０２で求めた露光時間比、および、ステップＳ４０３で算出した補正係数に基づいて、露光基準画像以外の各画像のＲ信号値、Ｇ信号値、Ｂ信号値を補正する。具体的には、露光基準画像以外の画像の各画素のＲ信号値、Ｇ信号値、Ｂ信号値に、ステップＳ４０２で求めた露光時間比、および、ステップＳ４０３で算出した補正係数をそれぞれ乗算することによって、正規化処理後の画像を求める。この処理を露光基準画像以外の各画像に対して行う。

上述したステップＳ４０１からステップＳ４０４までの処理（正規化処理）を行うことにより、複数枚の画像の中に、フリッカが存在する画像がある場合でも、全ての画像の輝度レベルを合わせることができる。

図２に示すフローチャートに戻って説明を続ける。ステップＳ１６では、正規化処理後の複数の画像間の位置合わせを行う。このため、動きベクトル演算部１０４は、正規化処理後の画像間の動きベクトルを求め、合成処理部１０５は、動きベクトル演算部１０４によって求められた動きベクトルに基づいて、正規化処理後の画像間の位置ズレを補正する位置合わせ処理を行う。位置合わせ処理では、テンプレートマッチングを利用する。テンプレートマッチングでは、例えば、ＳＳＤ（Sum of Squared intensity Difference）や、ＳＡＤ（Sum of Absolute intensity Difference）を一致指標値として算出することができる。ステップＳ１５で、合成する画像の輝度レベルを一致させる正規化処理を行っているので、フリッカの影響を受けることなく、精度の高い位置合わせを行うことができる。

なお、画像間の位置合わせは、テンプレートマッチング以外の手法、例えば、ＳＩＦＴなどの特徴点マッチングを利用してもよい。また、位置合わせで使用する一致指標値も上述したＳＳＤやＳＡＤに限定されることはなく、正規化相互相関ＮＣＣ等、他の指標値を用いることもできる。

ステップＳ１７では、合成処理部１０５によって、位置合わせ処理後の複数の画像を合成することによって、ダイナミックレンジを拡大した合成画像を生成する。各画像の合成比率は、画像の輝度レベルに応じて設定する。具体的には、低輝度領域では、長露光画像の合成比率を高くすることにより、暗部ノイズを抑制する。また、高輝度領域では、短露光画像の合成比率を高くすることにより、白飛び（飽和）を抑制する。

ただし、連写撮影中に被写体が動いた場合等では、オクルージョン等の影響により、位置合わせ処理で正しい対応点が求められない場合がある。正しい対応点が求められていない状態で合成処理を行うと、二重像などのアーティファクトが発生することがある。

従って、本実施形態では、位置合わせ後の長露光画像および短露光画像の信号値の差が所定値より大きい画素については、その信号値の差に応じて、どちらか一方の画像（例えば、長露光画像）の合成比率を高くする補正処理（画素選択処理）を行う。より具体的には、信号値の差が大きくなるほど、どちらか一方の画像の合成比率を高くする度合いを大きくする。

ステップＳ１８では、画像処理部１０６によって、ステップＳ１７で生成された合成画像について、各画素に、Ｒ信号値、Ｇ信号値、Ｂ信号値を割り当てる現像処理（デモザイク処理）を行う。画像処理部１０６は、また、ノイズ低減処理やエッジ強調処理など、所望の画像を得るために必要な各種画像処理を行う。

図５（ａ）は、異なるシャッタ速度（露光時間）で撮影された４つの画像５１〜５４を示す図である。画像５１〜５４はそれぞれ、シャッタ速度を１／４０（秒）、１／８０（秒）、１／１６０（秒）、１／３２０（秒）とした時の画像を示している。

図５（ｂ）は、図５（ａ）に示す画像５１〜５４を合成することによって得られる合成画像５５、５６と、合成画像５５、５６の部分拡大図５７、５８をそれぞれ示す図である。合成画像５５は、図２のステップＳ１５の正規化処理を行わなかった場合の図であり、合成画像５６は、図２のステップＳ１５の正規化処理を行った場合の図である。また、部分拡大図５７は合成画像５５の一部分を拡大した図であり、部分拡大図５８は合成画像５６の一部分を拡大した図である。

上述したように、合成処理では、位置合わせ後の長露光画像および短露光画像の信号値の差が所定値より大きい画素については、その信号値の差に応じて、どちらか一方の画像の合成比率を高くする補正処理（画素選択処理）を行う。合成画像にフリッカの影響がある場合には、位置合わせ処理で長露光画像と短露光画像の位置合わせを精度良く行っていても、長露光画像と短露光画像の信号値の差が大きくなる。従って、どちらか一方の画像の合成比率を高くする画素選択処理の頻度が高くなり、ダイナミックレンジの拡大効果が抑制されてしまう（合成図５５、部分拡大図５７参照）。

しかしながら、本実施形態によれば、正規化処理によって、長露光画像と短露光画像の輝度レベルを合わせてから、位置合わせ処理を行い、その後に画像合成処理を行うので、画素選択処理の頻度が低くなり、所望のダイナミックレンジ拡大効果を得ることができる（合成画像５６、部分拡大図５８参照）。

なお、画像５１〜５４、合成画像５５，５６、および、部分拡大図５７，５８はそれぞれカラー画像を白黒画像に変換したものであるため、合成画像５５と５６の違い、および、部分拡大図５７と５８の違いが分かりにくいが、カラー画像では違いが明瞭である。

以上、第１の実施形態における画像合成装置によれば、複数の画像を撮影する際の撮影条件に基づいて、最長露光画像の撮影条件がフリッカを発生させる条件であるか否かを判定し、最長露光画像の撮影条件がフリッカを発生させる条件であると判定すると、フリッカが発生しない画像が少なくとも１つ撮影されるように、撮影条件を修正する。続いて、撮影条件に基づいて、最長露光画像と、最長露光画像以外の画像との間の輝度レベルを合わせるための補正を行い、撮影条件に基づいて補正された最長露光画像の信号値と、最長露光画像以外の画像の信号値との信号差に基づいて、最長露光画像と、最長露光画像以外の画像との間の輝度レベルを合わせるための補正を行う。そして、信号差に基づいて補正された最長露光画像および最長露光画像以外の画像の間の位置ズレを補正し、位置ズレ補正後の最長露光画像と、最長露光画像以外の画像とを合成することによって、合成画像を生成する。フリッカの発生していない最長露光画像と、最長露光画像以外の画像との間の輝度レベルを合わせてから位置ズレを補正し、位置ズレ補正後の画像を合成するので、フリッカの影響を排除した合成画像を得ることができる。また、従来技術のように、高分解能で光量を求める必要や、連写間隔を高精度に制御する必要がなく、また、合成前の画像からフリッカを除去するためのフリッカ除去手段を必要としないので、実装コストが増大することもない。

また、最長露光画像の露光時間が所定の露光時間より短い場合に、最長露光画像の撮影条件がフリッカを発生させる条件であると判定するので、フリッカの発生の有無を確実に判断することができる。

さらに、最長露光画像の撮影条件がフリッカを発生させる条件であると判定すると、最長露光画像の露光時間が所定の露光時間より長くなるように、最長露光画像の撮影条件を修正するので、フリッカの発生しない画像を少なくとも１枚は得ることができる。これにより、フリッカの発生しない画像を基準とした輝度レベル合わせを行うことができ、その後に行う位置合わせ処理、および、合成処理を安定的に行うことができる。

また、撮影条件に基づいて補正された最長露光画像の信号値の平均値と、最長露光画像以外の画像の信号値の平均値との信号差に基づいて、最長露光画像と、最長露光画像以外の画像との間の輝度レベルを合わせるための補正を行うので、フリッカが発生した画像が含まれている場合でも、全ての画像間の輝度レベルを精度良く合わせることができる。

−第２の実施形態−
図６は、第２の実施形態における画像合成装置１０を適用したデジタルカメラ１によって行われる合成画像生成処理の内容を示すフローチャートである。図２に示すフローチャートの処理と同じ処理を行うステップについては、同一の符号を付して詳しい説明は省略する。

図６に示すフローチャートが図２に示すフローチャートと異なるのは、ステップＳ１８の処理を行う順番である。すなわち、ステップＳ１４で連写撮影を行うと、ステップＳ１８において、連写撮影で得られた全ての画像の現像処理を行う。続いて、現像処理後の画像に対して、正規化処理を行い（ステップＳ１５）、正規化処理後の画像の位置合わせを行う（ステップＳ１６）。そして、位置合わせ後の画像を合成することによって、ダイナミックレンジを拡大した合成画像を生成する（ステップＳ１７）。

以上、第２の実施形態における画像合成装置によれば、第１の実施形態における画像合成装置と同様に、低い実装コストで、フリッカの影響を排除した合成画像を得ることができる。特に、現像処理後の画像に対して正規化処理を行うので、ＲＧＢ信号値に限らず、ＹＣｂＣｒ信号値を用いて正規化処理を行うことが可能となる。

−第３の実施形態−
第１および第２の実施形態では、露光時間の異なる複数枚の画像データを合成することによって、ダイナミックレンジを拡大した合成画像を生成した。第３の実施形態における画像合成装置では、露光時間の等しい複数枚の画像データを合成することによって、ノイズを低減した合成画像、または、画像間のブレを抑制した合成画像を生成する。この場合、第３の実施形態における画像合成装置の構成は、第１および第２の実施形態における画像合成装置の構成と同じである。

第３の実施形態における画像合成装置を適用したデジタルカメラで行われる処理の流れを簡単に説明しておく。露光時間の等しい複数枚の画像撮影を行う前に、撮影条件が画像にフリッカが発生する条件であるか否かを判定し、フリッカが発生する条件であると判定すると、フリッカが発生しない条件の画像を少なくとも１枚余分に撮影する。そして、フリッカが発生しない撮影条件で撮影された画像を用いて、複数の画像間で正規化処理を行い、正規化処理後の画像を位置合わせした後、合成する。これにより、第１および第２の実施形態における画像合成装置と同様に、低い実装コストで、フリッカの影響を排除した合成画像を得ることができる。

なお、上述した第１〜第３の実施形態の説明では、画像合成装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、コンピュータにて、ソフトウェア処理を行う構成も可能である。この場合、コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像合成プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像合成プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像合成装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像合成プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像合成プログラムを実行するようにしても良い。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。

上述した一実施の形態では、画像合成装置１０をデジタルカメラに適用した例を挙げて説明したが、デジタルビデオカメラや、携帯電話、携帯情報端末などの電子機器に適用することもできる。

１…デジタルカメラ
１０…画像合成装置
１０２…フレームメモリ
１０３…正規化処理部（第１補正部、第２補正部）
１０４…動きベクトル演算部
１０５…合成処理部（位置ズレ補正部、合成部）
１０６…画像処理部
１０７…制御部（判定部、撮影条件修正部）

Claims (9)

1. 複数の画像を合成することによって、合成画像を生成する画像合成装置であって、
   前記複数の画像を撮影する際の撮影条件に基づいて、前記複数の画像のうちの最長露光画像の撮影条件がフリッカを発生させる条件であるか否かを判定する判定部と、
   前記最長露光画像の撮影条件がフリッカを発生させる条件であると判定された場合に、フリッカが発生しない画像を少なくとも１つ追加して撮影するために、前記複数の画像を撮影する際の撮影条件を修正する撮影条件修正部と、
   前記複数の画像を撮影した際の撮影条件に基づいて、最長露光画像と前記最長露光画像以外の画像との間の輝度レベルを合わせるための補正を行う第１補正部と、
   前記第１補正部によって補正された最長露光画像の信号値と最長露光画像以外の画像の信号値との信号差に基づいて、前記最長露光画像と、前記最長露光画像以外の画像との間の輝度レベルを合わせるための補正を行う第２補正部と、
   前記第２補正部によって補正された最長露光画像および最長露光画像以外の画像の間の位置ズレを補正する位置ズレ補正部と、
   前記位置ズレ補正部によって位置ズレを補正された最長露光画像と最長露光画像以外の画像とを合成することによって、合成画像を生成する合成部と、
   を備えることを特徴とする画像合成装置。
2. 前記判定部は、前記最長露光画像の露光時間が所定の露光時間より短い場合に、前記最長露光画像の撮影条件がフリッカを発生させる条件であると判定する、
   ことを特徴とする請求項１に記載の画像合成装置。
3. 前記撮影条件修正部は、露光時間が前記所定の露光時間より長い撮影条件の画像を少なくとも１つ追加して撮影するために、前記複数の画像を撮影する際の撮影条件を修正する、
   ことを特徴とする請求項２に記載の画像合成装置。
4. 前記第２補正部は、第１補正部によって補正された最長露光画像の信号値の平均値と、最長露光画像以外の画像の信号値の平均値との信号差に基づいて、前記最長露光画像と、前記最長露光画像以外の画像との間の輝度レベルを合わせるための補正を行う、
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の画像合成装置。
5. 前記複数の画像を撮影する際の撮影条件は、異なる露光条件で複数の画像を撮影するための撮影条件である、
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の画像合成装置。
6. 前記複数の画像を撮影する際の撮影条件は、同一の露光条件で複数の画像を撮影するための撮影条件である、
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の画像合成装置。
7. 請求項１から請求項６のいずれか一項に記載の画像合成装置を備える撮像装置。
8. 複数の画像を合成することによって、合成画像を生成する画像合成方法であって、
   前記複数の画像を撮影する際の撮影条件に基づいて、前記複数の画像のうちの最長露光画像の撮影条件がフリッカを発生させる条件であるか否かを判定するステップと、
   前記最長露光画像の撮影条件がフリッカを発生させる条件であると判定した場合に、フリッカが発生しない画像を少なくとも１つ追加して撮影するために、前記複数の画像を撮影する際の撮影条件を修正するステップと、
   前記複数の画像を撮影した際の撮影条件に基づいて、最長露光画像と前記最長露光画像以外の画像との間の輝度レベルを合わせるための補正を行うステップと、
   前記撮影条件に基づいて補正された最長露光画像の信号値と最長露光画像以外の画像の信号値との信号差に基づいて、前記最長露光画像と前記最長露光画像以外の画像との間の輝度レベルを合わせるための補正を行うステップと、
   前記信号差に基づいて補正された最長露光画像および最長露光画像以外の画像の間の位置ズレを補正するステップと、
   前記位置ズレを補正された最長露光画像と最長露光画像以外の画像とを合成することによって、合成画像を生成するステップと、
   を備えることを特徴とする画像合成方法。
9. 複数の画像を合成することによって、合成画像を生成するための画像合成プログラムであって、
   前記複数の画像を撮影する際の撮影条件に基づいて、前記複数の画像のうちの最長露光画像の撮影条件がフリッカを発生させる条件であるか否かを判定するステップと、
   前記最長露光画像の撮影条件がフリッカを発生させる条件であると判定した場合に、フリッカが発生しない画像を少なくとも１つ追加して撮影するために、前記複数の画像を撮影する際の撮影条件を修正するステップと、
   前記複数の画像を撮影した際の撮影条件に基づいて、最長露光画像と前記最長露光画像以外の画像との間の輝度レベルを合わせるための補正を行うステップと、
   前記撮影条件に基づいて補正された最長露光画像の信号値と最長露光画像以外の画像の信号値との信号差に基づいて、前記最長露光画像と前記最長露光画像以外の画像との間の輝度レベルを合わせるための補正を行うステップと、
   前記信号差に基づいて補正された最長露光画像および最長露光画像以外の画像の間の位置ズレを補正するステップと、
   前記位置ズレを補正された最長露光画像と最長露光画像以外の画像とを合成することによって、合成画像を生成するステップと、
   をコンピュータに実行させるための画像合成プログラム。