JP2023045299A - 画像処理装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】フリッカ光源を含む環境でＨＤＲ撮影を行う場合の画質の向上を図る。【解決手段】１回の露光でゲインの異なる複数枚の画像を出力可能な撮像素子と、撮像素子を用いて、露光時間の異なる撮像を複数回行い、複数回の撮像のそれぞれでゲインの異なる複数枚の画像を取得する取得部と、取得部で取得された画像を合成する合成部と、を備え、合成部は、フリッカ光源の領域においては、露光時間の異なる複数の撮像のうちの露光時間の長い方の撮像で得られた画像を合成に用いる。【選択図】 図３

Description

本発明は、複数の画像を合成し、画像のダイナミックレンジを拡大する技術に関するものである。

従来より、特許文献１に記載されているように、露出を変えて撮像した複数枚の画像（例えば、高露光画像、適正露光画像、低露光画像）を合成（ＨＤＲ合成：ハイダイナミックレンジ合成））する技術が知られている。これにより、１枚の画像で表現できるダイナミックレンジを拡大することができる。

また、単位画素からの出力信号に対して列回路を２つ持ち、列回路内にある増幅部のゲインを異ならせることにより、ゲインの異なる画像を出力できる撮像素子（ＤＧＯ：Ｄｕａｌ Ｇａｉｎ Ｏｕｔｐｕｔ）が知られている。この撮像素子は、一度の露光で異なるゲインの２枚の画像（ＨｉｇｈゲインとＬｏｗゲインの画像）を出力することができる。ＤＧＯによるゲインの異なる２枚の画像の合成と、時分割露光によって得られた２枚の画像の合成を比較すると、ＤＧＯには位置合わせ処理が不要、移動体に強いというメリットがある。そのため、ダイナミックレンジを拡大する画像を得る方法であるＨＤＲ合成と相性がよい。

また、イルミネーションに代表されるフリッカ光源を撮影する場合、フリッカ光源の周期と露光時間及び撮影タイミングによって、撮影される画像に影響が出ることは知られている。これに対する対策として、特許文献２に記載されているように、検出されたフリッカ成分に応じて画面内の領域を分類し、フリッカ成分を補正する補正値を生成する方法や、その他の様々な手法が提案されている。

特開２０２１－５７６２６号公報 特開２００９－３８６７０号公報

イルミネーションに代表されるフリッカ光源を撮影する場合、複数枚の画像の撮影をシーケンシャルに行うと、フリッカ光源の表現が正しくなされない場合が多い。その原因は、図９（ａ）、図１０に示すように、フリッカ光源の周期よりも露光時間が短い場合に、撮影タイミングによってフリッカ光源の明るさが異なるからである。１枚ずつの画像の明るさの違いはもちろんのこと、複数枚の画像間でのフリッカ光源の明るさの差が撮影時の露出設定と異なってしまうことで、合成した画像に違和感を発生させる。よって、フリッカ光源に関しては、同時露光されることが望ましい。

しかしながら、ＤＧＯなどの手法を用いて同時露光したとしても、タイミングによって、フリッカ光源が見た目より暗く撮影される場合がある。これは、フリッカ周期と露光時間の関係で決まり、特にフリッカ光源の周期よりも短い露光時間で撮影した場合に発生する。この場合、撮像された複数枚の画像の間でフリッカ光源の明るさの変化はないが、想定よりも暗く撮影されることになる。

これらの現象を回避するための方法として、例えば、図９（ｂ）に示すように、フリッカ光源を撮影する場合において、露光時間をフリッカ周期より長くにすることで、１枚ごとの画像におけるフリッカ光源の影響を小さくする方法が知られている。また、同じく図９（ｂ）に示すように、複数枚の画像の撮影タイミングを、フリッカ光源の明るさが最大になるタイミングに合わせて撮影する方法も知られている。

しかしながら、上記のいずれの方法においても、撮影に制約を受けることとなり、撮像装置の使い勝手が悪くなるという問題がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、フリッカ光源を含む環境でＨＤＲ撮影を行う場合の画質の向上を図ることである。

本発明に係わる撮像装置は、１回の露光でゲインの異なる複数枚の画像を出力可能な撮像素子と、前記撮像素子を用いて、露光時間の異なる撮像を複数回行い、該複数回の撮像のそれぞれでゲインの異なる複数枚の画像を取得する取得手段と、前記取得手段で取得された画像を合成する合成手段と、を備え、前記合成手段は、フリッカ光源の領域においては、前記露光時間の異なる複数の撮像のうちの露光時間の長い方の撮像で得られた画像を合成に用いることを特徴とする。

本発明によれば、フリッカ光源を含む環境でＨＤＲ撮影を行う場合の画質の向上を図ることが可能となる。

本発明の撮像装置の第１の実施形態であるデジタルカメラの構成を示すブロック図。 固体撮像素子のブロック構成を示す図。 画像合成動作を示すフローチャート。 信号処理部の構成を示すブロック図。 フリッカ領域のイメージ図。 固体撮像素子の列ＡＭＰの構成を示す図。 第１の実施形態における現像画像と合成画像のイメージ図。 第２の実施形態における現像画像と合成画像のイメージ図。 フリッカ光源と撮影タイミングの関係を示す図。 フリッカ光源に対する撮影画像のイメージ図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態であるデジタルカメラ１００の構成を示すブロック図である。

図１において、光学レンズ１０１は、被写体からの反射光を集光し、撮像素子１０２の撮像面に被写体像を結像させる。

撮像素子１０２は、光学レンズ１０１により結像された被写体像を電気信号に変換し、画像信号として出力する。撮像素子１０２には、ＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）や、ＣＭＯＳイメージセンサなどが用いられる。これらの撮像素子１０２には、アナログの画像信号を直接出力するものと、撮像素子１０２の内部でＡＤ（アナログデジタル）変換処理を行い、ＬＶＤＳ（Ｌｏｗ ｖｏｌｔａｇｅ ｄｉｆｆｅｒｅｎｔｉａｌ ｓｉｇｎａｌｉｎｇ）をはじめとするデジタルデータを出力するものがある。

ここで、図２は、本実施形態で用いる撮像素子１０２のブロック構成を示す図である。

タイミングパルス制御部２０１は、この撮像素子１０２の各ブロックに対して動作クロックＣＬＫを供給したり、各ブロックにタイミング信号を供給したりして、撮像素子１０２の動作を制御する。

垂直走査回路２０２は、複数の画素が２次元に配置された画素部２０３からの画素信号電圧を、１フレーム中に順次読み出すためのタイミング制御を行う。画像信号は、１フレーム中に上部の行から下部の行にかけて、行単位で順次読み出される。

画素部２０３の各画素は、入射光を光電変換し光量に応じた電圧として出力する光電変換素子である。本実施形態では、画素部２０３は入射した光を電荷に変換し、容量ＦＤ（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）に電圧として蓄積する。ＦＤの容量の大きさは、大小変更可能で、ＩＳＯ感度に応じて容量を変更することによりＳＮを改善することができる。基本的に、低ＩＳＯ感度では容量を大きく設定し、高ＩＳＯ感度では容量を小さく設定する。なお、後述する２つのゲインの異なる画像の出力時には、２つのゲインで電荷を蓄積する容量は共通となる。また、本実施形態では容量の大きさを大小二種類として説明したが、これに限定されるものではなく、３段階以上の設定が可能であってもよい。

列ＡＭＰ（列アンプ）２０４は、画素部２０３から読み出された信号を電気的に増幅するために用いられる。列ＡＭＰ２０４で信号を増幅することにより、それ以降の列ＡＤＣ（列ＡＤコンバータ）２０５で発生するノイズに対して、画素の信号レベルを増幅し、等価的にＳＮを改善させることができる。また、列ＡＭＰのゲインは、タイミングパルス制御部２０１により変更することができる。本実施形態の撮像素子１０２では、ＨＤＲ画像（ハイダイナミックレンジ画像）生成のために、列ＡＭＰ２０４に入力メモリを２つ備え、列ＡＭＰゲインを変更して２種類の信号を出力することが可能である。入力メモリを２つ備えることにより、ＦＤから読み出されたある時刻の信号に対して異なる２つのゲインをかけて出力できる（出力可能）ため、データ量は増えるものの、同時性を持った２つのゲインの異なる画像を得ることができる。なお、本実施形態では２つの出力としているが、同時出力数は２つに限定されるものではない。

列ＡＤＣ２０５は、列ＡＭＰ２０４から出力される信号をアナログデジタル変換する。デジタル化された信号は水平転送回路２０６により順次読み出される。水平転送回路２０６の出力は、信号処理回路２０７に入力される。信号処理回路２０７は、デジタル的に信号処理を行う回路であり、デジタル処理で一定量のオフセット値を加えるほかに、シフト演算や乗算を行うことにより、簡易にゲイン演算を行うことができる。また、画素部２０３に、意図的に遮光した画素領域を持たせることにより、信号処理回路２０７でこれを利用したデジタルの黒レベルクランプ動作を行うようにしてもよい。

信号処理回路２０７の出力は、外部出力回路２０８に入力される。外部出力回路２０８はシリアライザー機能を有し、信号処理回路２０７からの多ビットの入力パラレル信号をシリアル信号に変換する。また、このシリアル信号を、例えばＬＶＤＳ信号等に変換し、外部デバイスとの画像情報の受け渡し用の信号として出力する。

図１の説明に戻り、画像取得部１０３は、撮像素子１０２から出力された画像信号を取得し各種の処理を行う。撮像素子１０２の内部でＡＤ変換を行わない場合は、アナログデジタル変換を行うアナログフロントエンドも含まれる。画像取得部１０３では、撮像素子１０２の固定パターンノイズの除去や、黒レベルクランプ処理などを行う。そして、記録に使用する画像信号と、撮像素子の制御のための評価用信号に分離する役割も有する。

信号処理部１０４は、デジタルカメラ１００の代表的な画像処理機能となる画素加算機能を有し、ノイズリダクション処理、ガンマ補正処理、ニー補正処理、デジタルゲイン処理、キズ補正処理など各種画像処理を行なう。画像取得部１０３及び信号処理部１０４には、それぞれの補正や画像処理に必要となる設定値を記憶しておく記憶回路も含まれる。また、フリッカ領域の検出も、信号処理部１０４で行われる。詳細は後述する。

画像合成部１０５は、撮像素子１０２から出力されたＨＤＲ生成用の信号から、任意の合成方法を用いてＨＤＲ画像を合成する。例として、通常画像はＨｉｇｈゲインの画像を用い、通常画像のうち明るく白飛びしている部分はＬｏｗゲインの画像を用いて合成を行う手法がある。しかし、本実施形態は２枚のゲインが異なる画像から合成を行う手法であれば、その合成アルゴリズムはこれに限定されるものではない。

信号記録部１０６は、画像合成部１０５から出力された画像信号を記憶装置もしくは記憶媒体へ記録する。露出制御部１０７は、画像取得部１０３から出力された画像信号情報を用いて適正露光量を算出することができる。そして、撮像素子制御部１０８の動作を決定し制御する。

全体制御部１１０は、デジタルカメラの各ブロックに接続されたＣＰＵから成り、メモリ１１１に記憶されたプログラムを実行することにより、デジタルカメラ１００の全体を制御する。

次に、図３は、本実施形態における画像合成の流れを示した図である。以下に図３を用いて、画像合成の処理手順について説明する。

図３（ａ）のステップＳ８０１において、全体制御部１１０は、信号処理部１０４を用いて、フリッカ領域の検出を行う。

フリッカ領域の検出方法について、図３（ｂ）を用いて説明する。ステップＳ８１０において、信号処理部１０４は、画像のブロック分割を行う。図４におけるブロック分割部４０１は、ＣＭＯＳイメージセンサのような、ＸＹアドレス方式の撮像素子によって撮像された画像信号を扱うことを想定している。本実施形態において、画像信号は水平走査により読み出されるものとする。また、１画面分の画像信号に対して水平方向および垂直方向に分割ブロックを設定する。ここでは、水平方向にＭブロック、垂直方向にＮブロックのブロック分割を行い、それぞれのブロックをフリッカ検出枠に設定するものとする。

ステップＳ８１１において、図４のフリッカ検出部４０２は、フリッカ検出を行う。フリッカ検出部４０２の加算平均部４２０は、ブロック分割部４０１が設定したフリッカ検出枠の各々について、画素の輝度レベルの平均値を算出する。また、減算器４２１、乗算器４２２、加算器４２３、メモリ４２４は、以下に示す演算を行うことにより、いわゆる巡回型ローパスフィルタ４２６を形成している。

ｍｅｍ＝ａｖｅ × ｋ ＋ ｍｏｕｔ × (１－ｋ) …（１）
ここで、ａｖｅは加算平均部４２０の出力を示し、ｍｏｕｔはメモリ４２４からの出力を示す。ｍｅｍは加算器４２３からの出力を示し、メモリ４２４に新しく記憶される値を示す。また、ｋは巡回型ローパスフィルタ４２６のフィルタ係数である。
除算器４２５は、加算平均部４２０の出力と、メモリ４２４からの出力を除算することによって、フリッカ検出枠ごとのフリッカ成分を算出して出力する。

ステップＳ８１２において、フリッカ成分判定部４０３は、フリッカ成分を判定する。フリッカ成分判定部４０３の評価部４３０は、フリッカ検出部４０２の検出結果の信頼性を評価する。また、分類部４３１は、評価部４３０の信頼性評価結果を分類する。決定部４３２は、分類部４３１から出力される分類結果を用いて、補正対象とする一種類の垂直方向の信号レベルの変動成分（フリッカ成分）を決定する。記憶部４３３はある特定のフリッカ成分の状態データ（以下、フリッカモデルと呼ぶ）を記憶する。

さらに、評価部４３０は、記憶部４３３からフリッカモデルを読み出す。評価部４３０は、例えば式（２）に示す演算を用い、フリッカ検出部４０２が処理対象のフリッカ検出枠から検出したフリッカ成分と、対応するフリッカモデルとの差分を、両者の相関の程度を表す情報として、検出枠ごとに求める。

｜ａｘｙ－ｂｘｙ｜ …（２）
ここで、ｘ，ｙは、各フリッカ検出枠の座標位置（１≦ｘ≦Ｍ，１≦ｙ≦Ｎ）を表す。また、ａｘｙはフリッカモデルにおける各フリッカ検出枠のフリッカ成分の値を示し、ｂｘｙはフリッカ検出部４０２で検出されたフリッカにおける各フリッカ検出枠のフリッカ成分の値を示す。
そして、評価部４３０は、得られた差分が予め定めた閾値Ｔｈよりも大きいか否かを、フリッカ検出枠ごとに判定する。ここで、差分が閾値Ｔｈ以下であると判定された場合、そのフリッカ枠で検出されたフリッカ成分の信頼性が高いと判定する。この、フリッカ検出枠ごとの信頼性評価は複数のフリッカモデルについて行ってもよい。この場合、フリッカモデルごとに、信頼性の高いフリッカ検出枠に関する情報（例えば位置や数）を例えば記憶部４３３に記憶しておく。
分類部４３１は、記憶部４３３を参照し、評価部４３０が行った信頼性評価結果に基づいて、フリッカ検出枠を分類する。すなわち、フリッカ成分に応じて画面内の領域を分類する。

図５は、３つのフリッカモデルＡ，Ｂ，Ｃに対して信頼性評価を行った場合の分類例を模式的に示す図である。図５の例では、Ｍ＝８，Ｎ＝６として４８のフリッカ検出枠が設定されている。そして、領域ＡはフリッカモデルＡについての信頼性評価において信頼性が高いと判定されたフリッカ検出枠からなる領域である。同様に、領域Ｂ及び領域Ｃは、それぞれフリッカモデルＢ，Ｃについて信頼性が高いと判定されたフリッカ検出枠からなる領域である。なお、領域は重複していても良い。

分類部４３１は、このように、フリッカ検出枠を、信頼性が高いと判定されたフリッカモデルによって分類する。これは、フリッカ検出枠を、検出されたフリッカ成分に応じて分類することに相当する。分類部４３１は、分類結果を示す分類情報を決定部４３２へ出力する。分類情報は、フリッカ検出枠が属する分類、画面全体における位置、同じ分類に属するフリッカ検出枠の数や画面全体に占める割合などであってよい。決定部４３２では、ブロック分割部４０１で分割したそれぞれのブロックに対して、信頼性が高いと判定されたフリッカモデルを決定する。また、そのブロック内にフリッカ光源が存在するか否かを決定する。

この処理をステップＳ８１１～Ｓ８１３を繰り返して、全ブロックのフリッカ領域検出が完了するまで行うことにより、フリッカ光源を持つ領域を知ることができる。なお、フリッカ検出方法は１つの例であり、フリッカ検出方法はこれに限定されるものではない。

次に、図３（ａ）に戻り、ステップＳ８０２とステップＳ８０３において、全体制御部１１０は、ＤＧＯ撮像の１回目と２回目を行う。

この際の撮像素子１０２と画像合成部１０５の動作について説明する。前述したように、本実施形態の撮像素子は、ＨＤＲ画像を生成するために列ＡＭＰ２０４のゲインを変更してゲインの異なる画像信号を同時に出力することができる。

図６は、ＨＤＲ画像生成時の列ＡＭＰ部２０４の動作を示す図である。図６は、列ＡＭＰ部２０４のある列を１つ抜き出した回路を示している。オペアンプＯＰ３０５には、入力容量と帰還容量が接続されている。入力容量Ｃ３０３とＣ３０４には、画素部２０３から読み出された信号がスイッチＳＷ３０１，ＳＷ３０２により接続される。また、帰還容量Ｃ３０６とＣ３０８は、オペアンプＯＰ３０５の帰還容量である。スイッチＳＷ３０７によって帰還容量Ｃ３０８の接続を制御することができる。容量を用いているため、アンプの増幅率は入力容量／帰還容量となる。入力容量を２つ持っているため、スイッチＳＷ３０１を接続しスイッチＳＷ３０２を切り離して、入力容量Ｃ３０３と帰還容量Ｃ３０６とのゲインをかけて列ＡＤＣ２０５へ出力することにより、１枚目の画像を出力できる。また、スイッチＳＷ３０１を切り離し、スイッチＳＷ３０２とＳＷ３０７を接続して入力容量Ｃ３０４と、帰還容量Ｃ３０６及びＣ３０８とのゲインをかけて出力することで、２枚目の画像を出力できる。これらにより、異なったゲインをかけた画像を２枚出力することができる。

図３（ａ）のステップＳ８０２とステップＳ８０３において、全体制御部１１０は、この異なったゲインをかけた画像の２枚出力を、露出条件を変えて複数回実行する（複数回行う）。

ここでは例として、図７（ａ）、図７（ｂ）に示すように、１回目の露出条件によって適正露出画像（Ｈｉｇｈ Ｇａｉｎ画像：図７（ａ））とアンダー露出画像(Ｌｏｗ Ｇａｉｎ画像：図７（ｂ）)を取得するものとする。また、図７（ｃ）、図７（ｄ）に示すように、２回目の露出条件によって適正露出画像(Ｌｏｗ Ｇａｉｎ画像：図７（ｃ）)とオーバー露出画像（Ｈｉｇｈ Ｇａｉｎ画像：図７（ｄ））を取得するものとする。なお、図７（ａ）の画像と図７（ｃ）の画像は、共に適正露出の画像となっているが、これらの画像は露光時間は異なるため、ゲインを調節することにより、実質的にどちらも適正露出（同一露出）の画像となるように処理されている。

また、１回目の露出条件よりも２回目（あるいは２回目以降）の露出条件の方が露光時間は長いものとする。より詳しくは、２回目の撮像における露光時間は、フリッカ光源の明滅の周期よりも長いものとする。この場合、１回目は、フリッカ光源の明滅の周期よりも短い露光時間で撮影されているため、フリッカ光源７０１が図７（ａ）、（ｂ）に示すように、想定よりも暗く撮影される。また、２回目は、フリッカ光源の明滅の周期よりも長い露光時間で撮影されるため、フリッカ光源７０１が正しい明るさ（これを符号７０１’で示す）で撮影される。

次にステップＳ８０４において、信号処理部１０４は、現像を行う。本実施形態では、２回の撮像で計４枚の画像を取得しており、それぞれの画像に対してゲインをかけて入力信号に対してリニアな出力になるように現像する。これにより、図７（ａ）～図７（ｄ）に示すように、同一被写体については同一輝度となる画像を生成することができる。

次にステップＳ８０５において、画像合成部１０５は、ＨＤＲ合成を行う。ＨＤＲ合成について、図３（ｃ）を用いて説明する。

ステップＳ８２０において、画像合成部１０５は、１回目の適正露出画像（図７（ａ））、アンダー露出画像（図７（ｂ））から画像を合成する。適正露出画像に対して、高輝度部分はアンダー露出画像を用いることより、高輝度部のダイナミックレンジを広げることができる。

ステップＳ８２１において、画像合成部１０５は、２回目撮像画像（図７（ｃ）、（ｄ））の１回目撮像画像（図７（ａ）、（ｂ））に対する位置合わせを行う。１回目と２回目の撮像の間に発生する手振れなどによる位置ずれを補正する必要があるためである。

ステップＳ８２２において、画像合成部１０５は、２回目のオーバー露出画像（図７（ｄ））を合成する。ステップＳ８２０の１回目撮像画像の合成から得られた合成画像に対して、低輝度部分に２回目のオーバー露出画像を用いる。これにより、図７（ｈ）に示すように、図７（ａ）～（ｃ）で見えているノイズ７０２が減少できるとともに、低輝度部のダイナミックレンジを広げることができる。

ステップＳ８２３において、画像合成部１０５は、１回目の適正露出画像（図７（ａ））と２回目の適正露出画像（図７（ｃ））の差分抽出を行う。これは、ステップＳ８０２の１回目撮像とステップＳ８０３の２回目撮像の間にタイムラグがあり、移動体及びフリッカ光源の領域に差分が出てしまうためである。より具体的には、差分画像（差分情報）は図７（ｅ）に示すようになり、フリッカ光源７０１と移動体である人物７０３の部分が差分として抽出される。

ステップＳ８２３の差分抽出の結果、ステップＳ８２４で差分がありと判定された場合、ステップＳ８２５において、差分が検出された領域（フリッカ光源７０１と人物７０３の領域）をステップＳ８２０の１回目撮像画像の合成で得られた出力画像で上書きする。図７の例では、図７（ｈ）のフリッカ光源７０１と人物７０３の領域を、図７（ａ）と図７（ｂ）の合成画像で上書きする。上書きした結果の画像は、図７（ｉ）のようになる。

この際、図７（ｉ）に示すように、移動体である人の部分の画像は改善するものの、フリッカ光源７０１の部分も上書きされてしまうため、フリッカ光源７０１の部分は所望より暗くなってしまう。以下では、このフリッカ光源７０１の部分をさらに置き換える処理について説明する。

図３（ａ）のステップＳ８０７において、全体制御部１１０は、フリッカ領域の置き換え処理を行う。フリッカ領域の置き換え処理について、図３（ｄ）を用いて説明する。

ステップＳ８３１において、ステップＳ８０１で、図７（ｆ）に示すようにフリッカ領域が検出されている場合に処理を行う。

ステップＳ８３２において、画像合成部１０５は、ステップＳ８１０でフリッカ検出のために行ったブロック分割の粗さを判定する。ブロック分割が所定より荒い場合は、ステップＳ８３３において、１回目の適正露出画像（図７（ａ））と２回目の適正露出画像（図７（ｃ））の差分抽出を行う。

ステップＳ８３４において、画像合成部１０５は、図７（ｇ）に示すように、ステップＳ８３３で抽出された差分とステップＳ８０１で検出されたフリッカ領域とで後に置き換えを行う領域であるマスク領域を生成する。このようにすれば、粗く分割されたブロックにフリッカ領域以外の領域が含まれた場合でも、差分領域とフリッカ領域の重複部分のみをマスク領域とすることで、フリッカ領域以外の領域をマスク領域から除外することができる。

ステップＳ８３２においてブロック分割が細かい（所定以下）場合は、ステップＳ８０１で検出されたフリッカ領域をマスク領域とする。

ステップＳ８３６において、画像合成部１０５は、図７（ｊ）に示すように、このマスク領域を２回目の適正露出画像（図７（ｃ））で置き換える。

以上の処理により、ＨＤＲ画像を生成する場合に、露光時間やフリッカのタイミングに依存することなく、フリッカ光源を明るく撮影することが可能になる。

なお、上記の例は１例であり、撮像は２回に限定されるものではなく、３回以上の撮像を行ってもよい。また、露出条件についても、１回目の露光時間を長くしてもよい。さらに、合成方法についても、順番を限定するものではない。

（第２の実施形態）
第２の実施形態では、フリッカ領域内に移動体が存在している場合について説明する。なお、この第２の実施形態を説明する図８において、図８（ａ）～（ｅ）、図８（ｋ）～（ｍ）は、第１の実施形態の図７（ａ）～（ｊ）と同様であるため、説明を省略する。

フリッカ領域内に移動体が存在している場合、単純にフリッカ領域と適正露出画像の差分領域を２回目の適正露出画像に置き換えると、図８（ｇ）に示すように、そこに存在する移動体がフリッカ光源として判定されてしまう。

しかしながら、フリッカ分割領域内のフリッカ光源の面積が小さかったりフリッカ光源以外の面積が大きかったりする場合、図８（ｆ）に示すように、フリッカ分割領域内の信頼度が下がる。よって、フリッカ分割領域の信頼度が低い場合には処理を変えることによって、移動体やフリッカ光源の表現を改善することができる場合がある。

例として、信頼度が低い場合、図８（ｈ）～（ｊ）に示すように、フリッカ分割領域の領域をさらに分割する。その領域ごとの差分成分の統計情報を用い、隣接ブロックのどのブロックの統計情報に近いかを判定する。この際、差分成分としては、図８（ｈ）、図８（ｉ）に示すように、輝度差分や色差分などが考えられる。

統計情報が近い隣接ブロックがある場合、隣接ブロックに行った処理と同じ処理をすることで、フリッカ領域の信頼度が低い部分の切り分け精度を上げることができる。この例であれば、移動体である人とイルミネーションのフリッカ光源を切り分けることが可能になる。これにより、フリッカ光源の領域の表現を改善することができる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：デジタルカメラ、１０１：光学レンズ、１０２：撮像素子、１０３：画像取得部、１０４：信号処理部、１０５：画像合成部、１０６：信号記録部、１０７：露出制御部、１０８：撮像素子制御部、１１０：全体制御部、１１１：メモリ

Claims (12)

1. １回の露光でゲインの異なる複数枚の画像を出力可能な撮像素子と、
   前記撮像素子を用いて、露光時間の異なる撮像を複数回行い、該複数回の撮像のそれぞれでゲインの異なる複数枚の画像を取得する取得手段と、
   前記取得手段で取得された画像を合成する合成手段と、を備え、
   前記合成手段は、フリッカ光源の領域においては、前記露光時間の異なる複数の撮像のうちの露光時間の長い方の撮像で得られた画像を合成に用いることを特徴とする撮像装置。
2. 前記取得手段は、前記複数回の撮像の間で少なくとも１枚の画像が同一露出となるように画像を取得し、前記合成手段は、フリッカ光源の領域においては、前記同一露出の画像のうち、前記露光時間の長い方の撮像で得られた画像を合成に用いることを特徴とする請求項１に記載の撮像装置。
3. 前記取得手段は、露光時間の異なる前記複数回の撮像で得られる画像に対して、ゲインを調節することにより、前記同一露出の画像を取得することを特徴とする請求項２に記載の撮像装置。
4. 前記合成手段は、合成した画像の前記フリッカ光源の領域を、前記同一露出の画像のうち、前記露光時間の長い方の撮像で得られた画像で置き換えることを特徴とする請求項２または３に記載の撮像装置。
5. 前記撮像素子で撮像された画像を複数の領域に分割し、分割領域ごとにフリッカ光源を検出する検出手段をさらに備えることを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. 前記分割領域の分割が所定より荒い場合、前記同一露出の画像の差分情報と、前記分割領域におけるフリッカ光源の情報とに基づいて、フリッカ光源の領域を検出することを特徴とする請求項５に記載の撮像装置。
7. 前記分割領域の分割の細かさが所定以下の場合、前記分割領域におけるフリッカ光源の情報に基づいて、フリッカ光源の領域を検出することを特徴とする請求項５または６に記載の撮像装置。
8. 前記取得手段は、１回目の撮像の露光時間よりも２回目以降の撮像の露光時間を長く設定することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記撮像における長い方の露光時間は、フリッカ光源の明滅の周期よりも長いことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. １回の露光でゲインの異なる複数枚の画像を出力可能な撮像素子を備える撮像装置を制御する方法であって、
    前記撮像素子を用いて、露光時間の異なる撮像を複数回行い、該複数回の撮像のそれぞれでゲインの異なる複数枚の画像を取得する取得工程と、
    前記取得工程で取得された画像を合成する合成工程と、を有し、
    前記合成工程では、フリッカ光源の領域においては、前記露光時間の異なる複数の撮像のうちの露光時間の長い方の撮像で得られた画像を合成に用いることを特徴とする撮像装置の制御方法。
11. 請求項１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
12. 請求項１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images