JP2015023314A - 撮像装置、撮像装置の制御方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】画像信号に輝度変調が発生した場合でも、画像信号を適切に選択して合成できるようにする。【解決手段】低露光の画像信号Ｌ４と高露光の画像信号Ｈ５とを電荷の非蓄積期間を空けて交互に繰り返し撮像する。この際、低露光の画像信号に輝度変調領域（フラッシュバンド４０１）がある場合には、当該低露光の画像信号と時間的に相互に隣り合う高露光の画像信号のうち、当該低露光の画像信号との間の非蓄積期間が長い方の高露光の画像信号と当該低露光の画像信号とを合成する。【選択図】図４

Description

本発明は、撮像装置、撮像装置の制御方法、及びコンピュータプログラムに関し、特に、露光量の異なる画像信号を合成して出力するために用いて好適なものである。

従来から、ＣＭＯＳイメージセンサを備えた撮像装置には、露光量の異なる画像信号を交互に連続して撮像し、それらの画像信号を合成することにより、ダイナミックレンジの広い画像信号を生成するものがある。ここで、動画撮影のレートで絞りを制御することは難しいので、通常、シャッタースピードによって露光量を制御する。

ＣＭＯＳイメージセンサのように、線順次走査方式の撮像素子を用いた撮像装置では、次のような問題がある。すなわち、撮影中に、外部ストロボ（例えば、他の撮像装置に備えられている発光手段）が焚かれると、撮像素子から出力される画像信号に、帯状に信号レベルが変調された領域（フラッシュバンド）が発生し、著しい画質劣化が生じるという問題がある。特に、図７に示すように、合成対象の低露光の画像信号と高露光の画像信号との間の非蓄積期間が短い場合、外部ストロボが焚かれると、フラッシュバンドの発生領域が、低露光の画像信号と高露光の画像信号とでオーバーラップしてしまう（領域ΔＤを参照）。その結果、合成後の画像信号にも、輝度変調領域（フラッシュバンド）が残留し、画質劣化が起きる。

そこで、特許文献１には、連続して撮像された複数の画像信号のうち、外部ストロボの影響を受けているフレームの画像信号を、その前後のフレームの画像信号を合成した画像信号に置き換える撮像装置が開示されている。
また、特許文献２には、所定のフォーマットの整数倍のフレームレートで撮像し、外部ストロボの影響を受けていない画像信号のみを選択して画像信号を合成する撮像装置が開示されている。

特開２００７−３０６２２５号公報 特開２０１１−０１５３８１号公報

しかしながら、特許文献１に記載の撮像装置では、外部ストロボの影響を受けているフレームの画像信号を、その前後のフレームの画像信号を合成した画像信号に置き換える。したがって、連続的な撮像を行っているにも関わらず、撮像している被写体の時間連続性が保たれなくなってしまう問題がある。
また、特許文献２に記載の撮像装置では、部分的に影響を受けている画像信号も、合成する複数の画像信号の対象にはならない。このため、正常に撮像されているラインがあるにも関わらず画像信号全体が使用されない問題がある。また、特許文献２に記載の撮像装置では、外部ストロボの影響を受けていない画像信号のみを選択して合成する際に、合成後の画像信号のレベルを合わせるために欠落フレーム分のレベル補償をしなければならない。したがって、実質的にはゲインアップによるレベル合わせを行う必要があり、Ｓ／Ｎ比の低い画像となってしまう問題がある。
本発明は、このような問題点に鑑みてなされたものであり、画像信号に輝度変調が発生した場合でも、画像信号を適切に選択して合成できるようにすることを目的とする。

本発明の撮像装置は、露光量が異なる状態で撮像素子により得られた画像信号を出力する出力手段と、前記出力手段により出力された画像信号から、合成を行う画像信号を選択する選択手段と、前記選択手段により選択された画像信号を合成する合成手段と、を有し、前記選択手段は、前記合成手段による合成対象の画像信号に輝度変調領域が発生している場合、または、前記合成手段による合成対象の画像信号に輝度変調領域が発生することが想定される場合には、時間的に隣り合う前記合成対象の画像信号の組み合わせのうち、前記合成対象の画像信号が得られるタイミングの時間的な間隔が相対的に長い画像信号の組み合わせを選択し、そうでない場合には、時間的に隣り合う前記合成対象の画像信号の組み合わせのうち、前記合成対象の画像信号が得られるタイミングの時間的な間隔が相対的に短い画像信号の組み合わせを選択することを特徴とする。

本発明によれば、画像信号に輝度変調が発生した場合でも、画像信号を適切に選択して合成することができる。

撮像装置の構成の第１の例を示す図である。 輝度変調領域の判定方法を説明する図である。 撮像装置の動作を説明する図である。 撮像素子から読み出される画像信号を説明する図である。 撮像装置の構成の第２の例を示す図である。 撮像装置の構成の第３の例を示す図である。 一般的な撮像装置の動作を説明する図である。

本発明の実施形態を説明する前に、本発明の実施形態の前提となる技術について説明する。
一般に、異なるタイミングで撮像された複数の画像信号を合成する際には、時間相関が高い画像信号を合成した方が、時間相関が低い画像信号を合成するよりも、移動物体の領域で、ノイズのゴースト発生や、移動物体の多重化といった、合成処理の弊害が出にくいとされる。したがって、このような撮像装置では、図７に示すようにして撮像と画像の合成とを行う。すなわち、相対的に低露光（例えば適正露光未満の露光）の画像信号Ｌ０、Ｌ２、Ｌ４、・・・と、相対的に高露光（例えば適正露光）の画像信号Ｈ１、Ｈ３、・・・を、Ｌ０、Ｈ１、Ｌ２、Ｈ３、Ｌ４・・・の順に交互に撮像する。そして、フレームメモリを介して、画像信号間の時間相関が高くなるような組み合わせ（例えば、画像信号Ｌ０、Ｈ１の組み合わせや、画像信号Ｌ２、Ｈ３の組み合わせ）で合成を行う。
以下の本発明の実施形態は、以上の技術を考慮してなされたものである。

以下、図面を参照しながら、本発明の実施形態を説明する。以下の各実施形態は、露光量の異なる画像を交互に連続して撮影し、それらの画像を合成して、ダイナミックレンジの広い画像を生成する際に、外部ストロボ等の外部発光手段によるフラッシュバンドが、合成後の画像信号に出現することを抑制するものである。

（第１の実施形態）
まず、本発明の第１の実施形態を説明する。
図１は、本実施形態の撮像装置の構成の一例を示すブロック図である。
光学系１００は、レンズおよび絞りを含む。
撮像素子１０１は、光電変換素子を有する画素が行列状（２次元マトリックス状）に配置されて構成される。各画素に備わる光電変換素子は、被写体像を光電変換により電気信号（アナログ信号）に変換する。そして、撮像素子１０１は、光電変換されたアナログ信号を、撮像素子１０１に備わるＡＤ変換部でデジタル信号に変換し、ライン方向に順次出力する。本実施形態では、撮像素子１０１は、ＣＭＯＳセンサを用いて構成されるものとする。
本実施形態では、撮像素子１０１は、異なる露光量の状態で得られた画像信号を出力する。制御部１０７は、このような露光量の異なる画像信号（低露光の画像信号と高露光の画像信号）が撮像素子１０１から交互に出力されるよう、光学系１００に含まれる絞り、撮像素子１０１の感度、シャッタースピードの少なくとも一つ以上を制御する。尚、制御部１０７は、撮像装置の全体の動作を制御する。

撮像素子１０１から出力された画像信号は、輝度変調領域判定部１０４、フレームメモリ１０２、および高露光画像選択部１０３に入力される。
輝度変調領域判定部１０４は、撮像素子１０１から出力される低露光の画像信号を解析して、外部ストロボによる輝度変調領域の有無を判定する。

ここで、図２を参照して、輝度変調領域判定部１０４における輝度変調領域の判定方法の一例を説明する。
画像信号２０１は、撮像素子１０１で撮像された画像信号（画像Ａ）を模式的に示したものである。輝度変調領域判定部１０４は、入力される画像信号の各ラインの積分値を算出する。前述したように本実施形態では、撮像素子１０１はＣＭＯＳセンサである。このため、外部ストロボによって画像信号上に発生する輝度変調領域は、図２の輝度変調領域情報２０３のように、ライン方向（同一のライン上）では一様に発生する。したがって、輝度変調領域判定部１０４は、画像信号の輝度値をライン方向に積分してその積分値であるライン積分値を評価することで輝度変調を受けているか否かを判定することができる。

図２では、輝度変調領域判定部１０４において演算されたライン積分値２０２を画像信号２０１に合わせて示す。横軸は、ライン積分値を表し、縦軸は、ライン数を表す。輝度変調領域判定部１０４は、予め決められた閾値Ｔｈを持ち、算出されたライン積分値が閾値Ｔｈより大きい場合に、当該ライン積分値に対応するラインを輝度変調領域であると判定する。一方、ライン積分値が閾値Ｔｈより大きくない場合、当該ライン積分値に対応するラインは輝度変調領域でないと判定する。尚、閾値Ｔｈを、過去のフレームのライン積分値の結果を参照して決定することで、より精度よく輝度変調領域を判定することもできる。

また、図２では、輝度変調領域判定部１０４から出力される輝度変調領域情報２０３を画像信号２０１に合わせて示す。横軸は、輝度変調領域情報の値を表し、縦軸は、ライン数を表す。輝度変調領域判定部１０４は、輝度変調を受けたラインでは輝度変調領域情報として１を出力し、そうでないラインでは輝度変調領域情報として０（ゼロ）を出力する。

輝度変調領域判定部１０４から出力される輝度変調領域情報は、メモリ１０６で１Ｖ期間（垂直走査期間）だけ遅延されて、後段の高露光画像選択部１０３と画像合成部１０５に入力される。
フレームメモリ１０２は、撮像素子１０１から出力される低露光の画像信号を１Ｖ期間だけ遅延させた第１の画像信号Ｌと、撮像素子１０１から出力される高露光の画像信号を２Ｖ期間だけ遅延させた第２の画像信号Ｈと、を出力する。
高露光画像選択部１０３は、輝度変調領域判定部１０４から出力される輝度変調領域情報に基づいて、画像合成部１０５に出力する高露光の画像信号を選択する。具体的に、輝度変調領域判定部１０４において、合成対象の画像信号に輝度変調領域が存在すると判定された場合、高露光画像選択部１０３は、フレームメモリ１０２から出力される第２の画像信号Ｈを選択する。一方、輝度変調領域判定部１０４において、合成対象の画像信号に輝度変調領域が存在しないと判定された場合、高露光画像選択部１０３は、撮像素子１０１から出力される高露光の画像信号を選択する。
一方、フレームメモリ１０２から出力される第１の画像信号Ｌは、低露光の画像信号として、画像合成部１０５に入力される。

画像合成部１０５は、輝度変調領域判定部１０４での判定結果と、合成対象の画像信号の信号レベルとを参照して、入力された低露光の画像信号と高露光の画像信号とを画素毎に合成する。合成処理の一例を以下に説明する。
まず、画像合成部１０５は、合成前の低露光の画像信号と、合成前の高露光の画像信号とに対して、それぞれ、両者の信号レベルが合うように、所定のゲイン演算を行う。

次に、画像合成部１０５は、輝度変調領域判定部１０４の判定結果を参照し、着目画素において、合成対象の低露光の画像信号に外部ストロボによる輝度変調が発生している領域（すなわち、輝度変調領域情報＝１の領域）については、以下の処理を行う。すなわち、画像合成部１０５は、輝度変調が発生していない高露光の画像信号を合成結果として出力する。
次に、画像合成部１０５は、合成対象の低露光の画像信号と高露光の画像信号との差分を導出する。そして、画像合成部１０５は、合成対象の低露光の画像信号の領域のうち、輝度変調が発生している領域であって、当該差分が閾値よりも大きい領域については、低露光の画像信号を合成結果として出力する。これは、画像信号間の差分が大きい領域を移動体の領域と推定し、移動体が合成によって引きちぎれたりしないための対策である。また、このようにすることによって、高露光の画像信号に発生している輝度変調領域を消すことができる。
そして、画像合成部１０５は、その他の領域については、合成対象の低露光の画像信号と高露光の画像信号とを合成したものを合成結果として出力する。合成対象の低露光の画像信号と高露光の画像信号の合成比率は、徐々に変化させるようにしてもよいし、所定の値で固定してもよい。

ここで、ＨＤＲ（High Dynamic Range）撮影により動画像の撮像を行っているときに、外部ストロボが焚かれた場合の撮像装置の動作のタイミングの一例を説明する。
図３は、本実施形態の撮像装置（撮像素子）の動作の一例を説明する図である。図３では、垂直同期期間Ｔ０、Ｔ１、Ｔ２、・・・のうち、垂直同期期間Ｔ４中に、外部ストロボが発光された場合の動作を例に挙げて示す。
撮像素子１０１で撮像された低露光の画像信号Ｌ０、Ｌ２、Ｌ４、Ｌ６は、それぞれ、チャート３００、３０２、３０４、３０６に従うタイミングで読み出される。また、撮像素子１０１で撮像された高露光の画像信号Ｈ１、Ｈ３、Ｈ５、Ｈ７は、それぞれ、チャート３０１、３０３、３０５、３０７に従うタイミングで読み出される。

フレームメモリの第１の出力となる低露光の画像信号Ｌ０、Ｌ２、Ｌ４、Ｌ６は、それぞれ、フレームメモリ１０２から読み出される画像信号であり、撮像素子１０１の出力に対し１Ｖ期間だけ遅れている。
フレームメモリの第２の出力となる高露光の画像信号Ｈ１、Ｈ３、Ｈ５、Ｈ７は、それぞれ、フレームメモリ１０２から読み出される画像信号であり、撮像素子１０１の出力に対し２Ｖ期間だけ遅れている。

メモリの出力となる輝度変調領域情報は、輝度変調領域判定部１０４から出力されるものであり、メモリ１０６から、撮像素子１０１の出力に対し１Ｖ期間だけ遅延されて出力される。図３では、低露光の画像信号Ｌ０、Ｌ２、Ｌ４、Ｌ６に対応する輝度変調領域情報を、それぞれ輝度変調領域情報（ｌ０）、（ｌ２）、（ｌ４）、（ｌ６）と表記する。
高露光画像選択部の出力は、高露光画像選択部１０３で選択される高露光の画像信号を示す。図３では、垂直同期期間Ｔ１、Ｔ３、Ｔ５、Ｔ７に、それぞれ高露光の画像信号Ｈ１、Ｈ３、Ｈ３、Ｈ７が出力される。
合成画像部の出力は、画像合成部１０５で合成を行う高露光の画像信号と低露光の画像信号を示す。例えば、垂直同期期間Ｔ１では、高露光の画像信号Ｈ１と低露光の画像信号Ｌ０とが合成される（図３の合成画像信号Ｌ０＋Ｈ１を参照）。

図３において、垂直同期期間Ｔ０〜Ｔ３までは、外部ストロボが発光されないので、輝度変調領域情報（ｌ０）、（ｌ２）は、全ての領域で０（ゼロ）となり、フラッシュバンドの対策は不要となる。
従って、移動体の合成画質を良好にするため、時間的に相互に隣り合う低露光の画像信号と高露光の画像信号の組み合わせのうち、当該低露光の画像信号と当該高露光の画像信号との間の電荷の非蓄積期間が相対的に近くなる方の組み合わせで合成処理を行う。すなわち、低露光の画像信号Ｌ０と高露光の画像信号Ｈ１、低露光の画像信号Ｌ２と高露光の画像信号Ｈ３の組み合わせで合成処理を行う。前述したように、画像合成部１０５は、画像信号の信号レベルと画像信号間の差分とに基づいて、低露光の画像信号と高露光の画像信号とを画素毎に合成し、合成画像信号Ｌ０＋Ｈ１、Ｌ２+Ｈ３をそれぞれ出力する。すなわち、画像信号間の差分が閾値よりも大きい領域については、低露光の画像信号を合成結果として出力する。その他の領域については、合成対象の低露光の画像信号と高露光の画像信号を合成したものを合成結果として出力する。合成対象の低露光の画像信号と高露光の画像信号の合成比率は、徐々に変化させるようにしてもよいし、所定の値で固定してもよい。

一方、垂直同期期間Ｔ４では、外部ストロボが発光されるので、輝度変調領域情報（ｌ４）が１となる領域（フラッシュバンド）が発生する。したがって、高露光画像選択部１０３は、輝度変調領域情報（ｌ４）に基づいて、フレームメモリ１０２から出力される２Ｖ期間前の高露光の画像信号Ｈ３を選択する。画像合成部１０５は、高露光の画像信号Ｈ３と、フレームメモリ１０２から出力される１Ｖ期間前の低露光の画像信号Ｌ４とを、前述したようにして合成し、合成画像信号Ｌ４＋Ｈ３を出力する。すなわち、低露光の画像信号の輝度変調が発生している領域（すなわち、輝度変調領域情報＝１の領域）については、高露光の画像信号を使用する。

図４は、図３の垂直同期期間Ｔ３、Ｔ４、Ｔ５で、撮像素子１０１から読み出される画像信号を説明する図である。
画像合成部１０５に入力される低露光の画像信号と高露光の画像信号との組み合わせを、画像信号間の非蓄積期間ΔＴが相対的に長くなるようにする。そうすると、図４に示すように、外部ストロボの発光によるフラッシュバンドが、高露光の画像信号と低露光の画像信号とで、同じラインに発生しない（高露光の画像信号Ｈ３と低露光の画像信号Ｌ４との組み合わせを参照）。したがって、低露光の画像信号Ｌ４に発生しているフラッシュバンド４０１は、合成の際に、高露光の画像信号Ｈ３で置き換えられるため消すことができる。また、高露光の画像信号にフラッシュバンドが発生している場合にも、合成の際に、当該フラッシュバンドが発生している領域を低露光の画像信号に置き換えることにより、当該フラッシュバンドを消すことができる。

図３の説明に戻り、垂直同期期間Ｔ６、Ｔ７では、外部ストロボが発光されていないので、輝度変調領域情報（ｌ６）は、全ての領域で０（ゼロ）となり、フラッシュバンドの対策は不要となる。従って、移動体の合成画質を良好にするため、時間的に相互に隣り合う低露光の画像信号と高露光の画像信号の組み合わせのうち、当該低露光の画像信号と当該高露光の画像信号との間の電荷の非蓄積期間が相対的に近くなる方の組み合わせで合成処理を行う。すなわち、画像合成部１０５は、低露光の画像信号Ｌ６と高露光の画像信号Ｈ７の組み合わせで合成処理を行い、合成画像信号Ｌ６+Ｌ７を出力する。

以上のように本実施形態では、低露光の画像信号と高露光の画像信号とを電荷の非蓄積期間を空けて交互に繰り返し撮像する。この際、低露光の画像信号にフラッシュバンドがある場合には、当該低露光の画像信号と時間的に相互に隣り合う高露光の画像信号のうち、当該低露光の画像信号との間の非蓄積期間が長い方の高露光の画像信号と当該低露光の画像信号とを合成する。したがって、ＨＤＲ撮影により動画像の撮像を行っているときに外部でストロボが焚かれても、合成対象の低露光の画像信号と高露光の画像信号とで、フラッシュバンドの発生領域がオーバーラップすることを抑制することができる。従って、合成処理によって、フラッシュバンドを消した上でダイナミックレンジの広い画像信号を生成することができる。また、制御部１０７からの制御信号に基づいて、画像合成部１０５に入力される低露光の画像信号と高露光の画像信号との時間関係が入れ換わっても、移動体の撮影の基準となる低露光の画像信号は、常に所定の期間（１Ｖ期間）おきの等間隔で更新される。このため、合成後の画像信号において、移動体の動きが不連続になることを抑制することができる。
このように、低露光の画像信号にフラッシュバンドがあるか否かを判定し、低露光の画像信号に合成する高露光の画像信号を選択するのが好ましい。しかしながら、必ずしもこのようにする必要はなく、高露光の画像信号にフラッシュバンドがあるか否かを判定し、高露光の画像信号に合成する低露光の画像信号を選択するようにしてもよい。

（第２の実施形態）
次に、本発明の第２の実施形態を説明する。本実施形態では、撮像装置の撮影モードに応じて、合成対象の低露光の画像信号と高露光の画像信号との間の非蓄積期間が相対的に長くなるような組み合わせで合成するか、相対的に短くなるような組み合わせで合成するかを制御する。このように本実施形態と第１の実施形態とでは、合成対象の高露光の画像信号を選択する方法が主として異なる。したがって、本実施形態の説明において第１の実施形態と同一の部分については、図１〜図４に付した符号と同一の符号を付す等して詳細な説明を省略する。

図５は、本実施形態の撮像装置の構成の一例を示すブロック図である。本実施形態の撮像装置は、図１に示した第１の実施形態の撮像装置に対し、モード設定部１０８が追加されたものとなる。
例えば、逆光、スポットライト、夜景等のシーンを撮影している場合、外部ストロボ（周囲の撮像装置のストロボ）が発光される可能性が高くなり、外部ストロボの発光が想定される。したがって、このようなシーンの撮影を行うユーザは、モード設定部１０８を操作して、撮像装置の動作モード（撮影モード）を、このようなシーンを撮影するための第１の動作モードに設定する。

撮像装置の動作モードがモード設定部１０８によって第１の動作モードに設定された場合、制御部１０７は、外部ストロボによるフラッシュバンドを回避するために、次の処理を行う。すなわち、制御部１０７は、低露光の画像信号と時間的に相互に隣り合う高露光の画像信号のうち、当該低露光の画像信号との間の非蓄積期間が長い方の高露光の画像信号と当該低露光の画像信号とを合成することを指示する制御信号を出力する。この制御信号を受信した高露光画像選択部１０３は、フレームメモリ１０２から出力された高露光の画像信号を選択する。この場合、第１の実施形態と同様に、合成対象の画像信号に輝度変調領域が存在する場合に、フレームメモリ１０２から出力される第２の画像信号Ｈを選択し、そうでない場合に、撮像素子１０１から出力される高露光の画像信号を選択することができる。また、フレームメモリ１０２から出力される第２の画像信号Ｈを常に選択することもできる。

一方、屋外で撮像する場合等、明るいシーンを撮影している場合、外部ストロボが発光される可能性が低い。したがって、このようなシーンの撮影を行うユーザは、モード設定部１０８を操作して、撮像装置の動作モードを、このようなシーンを撮影するための第２の動作モードに設定する。
撮像装置の動作モードがモード設定部１０８によって第２の動作モードに設定された場合、制御部１０７は、移動体の合成画質を良好にするため、次の処理を行う。すなわち、制御部１０７は、低露光の画像信号と時間的に相互に隣り合う高露光の画像信号のうち、当該低露光の画像信号との間の非蓄積期間が短い方の高露光の画像信号と当該低露光の画像信号とを合成することを指示する制御信号を出力する。この制御信号を受信した高露光画像選択部１０３は、撮像素子１０１から出力された高露光の画像信号を常に選択する。

以上のようにしても、第１の実施形態で説明した効果と同じ効果を得ることができる。また、ユーザの意図に応じた画像を得ることができる。尚、本実施形態でも第１の実施形態で説明した変形例を採用することができる。

（第３の実施形態）
次に、本発明の第３の実施形態を説明する。第２の実施形態では、ユーザによる設定に応じて、合成対象の低露光の画像信号と高露光の画像信号との間の非蓄積期間が相対的に長くなるような組み合わせで合成するか、相対的に短くなるような組み合わせで合成するかを制御する場合を例に挙げて説明した。これに対し、本実施形態では、撮像装置が撮影状況を解析する。そして、解析した結果に応じて、合成対象の低露光の画像信号と高露光の画像信号との間の非蓄積期間が相対的に長くなるような組み合わせで合成するか、相対的に短くなるような組み合わせで合成するかを制御する。このように本実施形態と第１、第２の実施形態とでは、合成対象の高露光の画像信号を選択する方法が主として異なる。したがって、本実施形態の説明において第１、第２の実施形態と同一の部分については、図１〜図５に付した符号と同一の符号を付す等して詳細な説明を省略する。

図６は、本実施形態の撮像装置の構成の一例を示すブロック図である。本実施形態の撮像装置は、図１に示した撮像装置に対し、撮影状況解析部１０９が追加されたものとなる。
撮影状況解析部１０９は、合成前の画像信号と、合成後の画像信号と、撮像装置の設定との少なくとも何れか１つに基づいて、外部の撮像装置によりストロボが発光されやすい撮影状況か否かを解析し、解析した結果を制御部１０７に出力する。外部の撮像装置でストロボが発光されやすい撮影状況とは、例えば、逆光、スポットライト、夜景等のシーンが挙げられる。また、外部の撮像装置でストロボが発光されにくい撮影状況とは、例えば、屋外等のシーンが挙げられる。
撮影状況解析部１０９は、例えば、合成前の低露光の画像信号と、合成後の画像信号のそれぞれについて、輝度分布と、輝度のヒストグラムを導出する。また、撮影状況解析部１０９は、絞り、シャッタースピード、感度の設定から、被写体輝度を算出する。そして、撮影状況解析部１０９は、輝度分布、ヒストグラム、被写体輝度の評価値が所定の条件を満たしている場合に、周囲でストロボが発光されやすい撮影状況であると判定する。一方、輝度分布、ヒストグラム、被写体輝度の評価値が所定の条件を満たしていない場合、撮影状況解析部１０９は、周囲でストロボが発光されにくい撮影状況であると判定する。

撮影状況解析部１０９によって、周囲でストロボが発光されやすい撮影状況と判定された場合、制御部１０７は、外部ストロボによるフラッシュバンドを回避するために、次の処理を行う。すなわち、制御部１０７は、低露光の画像信号と時間的に相互に隣り合う高露光の画像信号のうち、当該低露光の画像信号との間の非蓄積期間が長い方の高露光の画像信号と当該低露光の画像信号とを合成することを指示する制御信号を出力する。この制御信号を受信した高露光画像選択部１０３は、フレームメモリ１０２から出力された高露光の画像信号を選択する。この場合、第１の実施形態と同様に、合成対象の画像信号に輝度変調領域が存在する場合に、フレームメモリ１０２から出力される第２の画像信号Ｈを選択し、そうでない場合に、撮像素子１０１から出力される高露光の画像信号を選択することができる。また、フレームメモリ１０２から出力される第２の画像信号Ｈを常に選択することもできる。

一方、撮影状況解析部１０９によって、周囲でストロボが発光されにくい撮影状況と判定された場合、制御部１０７は、移動体の合成画質を良好にするため、次の処理を行う。すなわち、制御部１０７は、低露光の画像信号と時間的に相互に隣り合う高露光の画像信号のうち、当該低露光の画像信号との間の非蓄積期間が短い方の高露光の画像信号と当該低露光の画像信号とを合成することを指示する制御信号を出力する。この制御信号を受信した高露光画像選択部１０３は、撮像素子１０１から出力された高露光の画像信号を常に選択する。

以上のようにしても、第１の実施形態で説明した効果と同じ効果を得ることができる。また、撮影状況に応じた画像を自動的に得ることができる。尚、本実施形態でも第１の実施形態で説明した変形例を採用することができる。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。

１０１ 撮像素子、１０２ フレームメモリ、１０３ 高露光画像選択部、１０４ 輝度変調領域判定部、１０５ 画像合成部、１０６ メモリ

Claims (19)

1. 露光量が異なる状態で撮像素子により得られた画像信号を出力する出力手段と、
   前記出力手段により出力された画像信号から、合成を行う画像信号を選択する選択手段と、
   前記選択手段により選択された画像信号を合成する合成手段と、
   を有し、
   前記選択手段は、
   前記合成手段による合成対象の画像信号に輝度変調領域が発生している場合、または、前記合成手段による合成対象の画像信号に輝度変調領域が発生することが想定される場合には、時間的に隣り合う前記合成対象の画像信号の組み合わせのうち、前記合成対象の画像信号が得られるタイミングの時間的な間隔が相対的に長い画像信号の組み合わせを選択し、そうでない場合には、時間的に隣り合う前記合成対象の画像信号の組み合わせのうち、前記合成対象の画像信号が得られるタイミングの時間的な間隔が相対的に短い画像信号の組み合わせを選択することを特徴とする撮像装置。
2. 前記出力手段は、露光量が異なる状態で撮像素子により得られた２つの画像信号を所定の間隔で交互に出力し、
   前記選択手段は、基準となる露光量で得られた画像信号と合成される画像信号であって、当該基準となる露光量と異なる露光量で得られた画像信号を選択し、
   前記合成手段は、前記基準となる露光量で得られた画像信号と、前記選択手段により選択された画像信号とを合成し、
   前記選択手段は、
   前記基準となる露光量で得られた画像信号に輝度変調領域が発生している場合、または、前記基準となる露光量で得られた画像信号に輝度変調領域が発生することが想定される場合には、前記基準となる露光量で得られた画像信号と時間的に隣り合う画像信号の組み合わせのうち、それらの間の期間において、前記撮像素子における電荷の非蓄積期間が相対的に長い画像信号の組み合わせを選択し、そうでない場合には、前記基準となる露光量で得られた画像信号と時間的に隣り合う画像信号の組み合わせのうち、それらの間の期間において、前記撮像素子における電荷の非蓄積期間が相対的に短い画像信号の組み合わせを選択することを特徴とする請求項１に記載の撮像装置。
3. 前記基準となる露光量で得られた画像信号に輝度変調領域があるか否かを判定する判定手段を有し、
   前記選択手段は、
   前記判定手段により、前記基準となる露光量で得られた画像信号に輝度変調領域があると判定された場合に、前記撮像素子における電荷の非蓄積期間が相対的に長い画像信号の組み合わせを選択し、
   前記判定手段により、基準となる露光量で得られた画像信号に輝度変調領域がないと判定された場合に、前記撮像素子における電荷の非蓄積期間が相対的に短い画像信号の組み合わせを選択することを特徴とする請求項２に記載の撮像装置。
4. 前記基準となる露光量で得られる画像信号は、等間隔で更新されることを特徴とする請求項２または３に記載の撮像装置。
5. 前記露光量が異なる画像信号として、相対的に露光量が少ない低露光の画像信号と、相対的に露光量が多い高露光の画像信号とを所定の期間だけ記憶して出力する記憶手段を有し、
   前記出力手段は、前記低露光の画像信号と、前記高露光の画像信号とを、前記非蓄積期間を空けて交互に出力し、
   前記基準となる露光量で得られた画像信号は、前記低露光の画像信号であり、
   前記記憶手段は、前記高露光の画像信号を前記低露光の画像信号よりも長く記憶し、
   前記選択手段は、前記出力手段から出力された高露光の画像信号と、前記記憶手段から出力された高露光の画像信号と、の何れかを選択することを特徴とする請求項２〜４の何れか１項に記載の撮像装置。
6. 前記合成手段は、前記合成対象の一の画像信号に輝度変調領域がある場合には、当該輝度変調領域を使用せずに、前記合成対象の他の画像信号の当該輝度変調領域に対応する領域であって輝度変調領域となっていない領域を使用することを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
7. ユーザの操作に基づいて撮影モードを設定する設定手段を有し、
   前記選択手段は、
   前記設定手段により、輝度変調領域が発生しやすい撮影モードに設定された場合に、時間的に隣り合う前記合成対象の画像信号の組み合わせのうち、前記合成対象の画像信号が得られるタイミングの時間的な間隔が相対的に長い画像信号の組み合わせを選択し、
   前記設定手段により、輝度変調領域が発生しにくい撮影モードに設定された場合に、時間的に隣り合う前記合成対象の画像信号の組み合わせのうち、前記合成対象の画像信号が得られるタイミングの時間的な間隔が相対的に短い画像信号の組み合わせを選択することを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
8. 撮影状況を解析する解析手段を有し、
   前記選択手段は、
   前記解析手段により、輝度変調領域が発生しやすい撮影状況であると解析された場合に、時間的に隣り合う前記合成対象の画像信号の組み合わせのうち、前記合成対象の画像信号が得られるタイミングの時間的な間隔が相対的に長い画像信号の組み合わせを選択し、
   前記解析手段により、輝度変調領域が発生しにくい撮影状況であると解析された場合に、時間的に隣り合う前記合成対象の画像信号の組み合わせのうち、前記合成対象の画像信号が得られるタイミングの時間的な間隔が相対的に短い画像信号の組み合わせを選択することを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
9. 前記解析手段は、前記合成手段による合成前の画像信号と、前記合成手段による合成後の画像信号と、前記撮像装置に対する設定と、の少なくとも何れか１つに基づいて、撮影状況を解析することを特徴とする請求項８に記載の撮像装置。
10. 露光量が異なる状態で撮像素子により得られた画像信号を出力する出力工程と、
    前記出力工程により出力された画像信号から、合成を行う画像信号を選択する選択工程と、
    前記選択工程により選択された画像信号を合成する合成工程と、
    を有し、
    前記選択工程は、
    前記合成工程による合成対象の画像信号に輝度変調領域が発生している場合、または、前記合成工程による合成対象の画像信号に輝度変調領域が発生することが想定される場合には、時間的に隣り合う前記合成対象の画像信号の組み合わせのうち、前記合成対象の画像信号が得られるタイミングの時間的な間隔が相対的に長い画像信号の組み合わせを選択し、そうでない場合には、時間的に隣り合う前記合成対象の画像信号の組み合わせのうち、前記合成対象の画像信号が得られるタイミングの時間的な間隔が相対的に短い画像信号の組み合わせを選択することを特徴とする撮像装置の制御方法。
11. 前記出力工程は、露光量が異なる状態で撮像素子により得られた２つの画像信号を所定の間隔で交互に出力し、
    前記選択工程は、基準となる露光量で得られた画像信号と合成される画像信号であって、当該基準となる露光量と異なる露光量で得られた画像信号を選択し、
    前記合成工程は、前記基準となる露光量で得られた画像信号と、前記選択工程により選択された画像信号とを合成し、
    前記選択工程は、
    前記基準となる露光量で得られた画像信号に輝度変調領域が発生している場合、または、前記基準となる露光量で得られた画像信号に輝度変調領域が発生することが想定される場合には、前記基準となる露光量で得られた画像信号と時間的に隣り合う画像信号の組み合わせのうち、それらの間の期間において、前記撮像素子における電荷の非蓄積期間が相対的に長い画像信号の組み合わせを選択し、そうでない場合には、それらの間の期間において、前記基準となる露光量で得られた画像信号と時間的に隣り合う画像信号の組み合わせのうち、前記撮像素子における電荷の非蓄積期間が相対的に短い画像信号の組み合わせを選択することを特徴とする請求項１０に記載の撮像装置の制御方法。
12. 前記基準となる露光量で得られた画像信号に輝度変調領域があるか否かを判定する判定工程を有し、
    前記選択工程は、
    前記判定工程により、前記基準となる露光量で得られた画像信号に輝度変調領域があると判定された場合に、前記撮像素子における電荷の非蓄積期間が相対的に長い画像信号の組み合わせを選択し、
    前記判定工程により、基準となる露光量で得られた画像信号に輝度変調領域がないと判定された場合に、前記撮像素子における電荷の非蓄積期間が相対的に短い画像信号の組み合わせを選択することを特徴とする請求項１１に記載の撮像装置の制御方法。
13. 前記基準となる露光量で得られる画像信号は、等間隔で更新されることを特徴とする請求項１１または１２に記載の撮像装置の制御方法。
14. 前記露光量が異なる画像信号として、相対的に露光量が少ない低露光の画像信号と、相対的に露光量が多い高露光の画像信号とを所定の期間だけ記憶して出力する記憶工程を有し、
    前記出力工程は、前記低露光の画像信号と、前記高露光の画像信号とを、前記非蓄積期間を空けて交互に出力し、
    前記基準となる露光量で得られた画像信号は、前記低露光の画像信号であり、
    前記記憶工程は、前記高露光の画像信号を前記低露光の画像信号よりも長く記憶し、
    前記選択工程は、前記出力工程から出力された高露光の画像信号と、前記記憶工程から出力された高露光の画像信号と、の何れかを選択することを特徴とする請求項１１〜１３の何れか１項に記載の撮像装置の制御方法。
15. 前記合成工程は、前記合成対象の一の画像信号に輝度変調領域がある場合には、当該輝度変調領域を使用せずに、前記合成対象の他の画像信号の当該輝度変調領域に対応する領域であって輝度変調領域となっていない領域を使用することを特徴とする請求項１０〜１４の何れか１項に記載の撮像装置の制御方法。
16. ユーザの操作に基づいて撮影モードを設定する設定工程を有し、
    前記選択工程は、
    前記設定工程により、輝度変調領域が発生しやすい撮影モードに設定された場合に、時間的に隣り合う前記合成対象の画像信号の組み合わせのうち、前記合成対象の画像信号が得られるタイミングの時間的な間隔が相対的に長い画像信号の組み合わせを選択し、
    前記設定工程により、輝度変調領域が発生しにくい撮影モードに設定された場合に、時間的に隣り合う前記合成対象の画像信号の組み合わせのうち、前記合成対象の画像信号が得られるタイミングの時間的な間隔が相対的に短い画像信号の組み合わせを選択することを特徴とする請求項１０〜１５の何れか１項に記載の撮像装置の制御方法。
17. 撮影状況を解析する解析工程を有し、
    前記選択工程は、
    前記解析工程により、輝度変調領域が発生しやすい撮影状況であると解析された場合に、時間的に隣り合う前記合成対象の画像信号の組み合わせのうち、前記合成対象の画像信号が得られるタイミングの時間的な間隔が相対的に長い画像信号の組み合わせを選択し、
    前記解析工程により、輝度変調領域が発生しにくい撮影状況であると解析された場合に、時間的に隣り合う前記合成対象の画像信号の組み合わせのうち、前記合成対象の画像信号が得られるタイミングの時間的な間隔が相対的に短い画像信号の組み合わせを選択することを特徴とする請求項１０〜１６の何れか１項に記載の撮像装置の制御方法。
18. 前記解析工程は、前記合成工程による合成前の画像信号と、前記合成工程による合成後の画像信号と、前記撮像装置に対する設定と、の少なくとも何れか１つに基づいて、撮影状況を解析することを特徴とする請求項１７に記載の撮像装置の制御方法。
19. 請求項１０〜１８の何れか１項に記載の撮像装置の制御方法の各工程をコンピュータプログラムに実行させることを特徴とするコンピュータプログラム。

Images