JP2010103634A - 撮像装置、撮像方法及びプログラム - Google Patents

Abstract

【課題】合成撮像モードにおいて、ダイナミックレンジ拡大に伴う不自然な輝度変化の頻出を抑制し、安定した合成画像を出力すること。
【解決手段】通常撮像モードの撮像動作と合成撮像モードの撮像動作とを選択的に実行可能な撮像装置において、合成撮像モードにおいて、長時間露光画像信号及び短時間露光画像信号に対する自動露光制御が一旦完了した後は、自動露光制御を停止し、当該自動露光制御の停止後に、合成画像信号から得られる画像から検出された輝度値に基づいて、当該画像における所定の輝度変化を所定時間以上継続して検出した場合に、撮像装置の撮像モードを合成撮像モードから通常撮像モードに切り替える。
【選択図】図５

Description

本発明は、撮像装置、撮像方法及びプログラムに関する。

従来のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の固体撮像素子を用いた撮像装置では、撮像素子に入力される光量（露光量）を、絞りや電子シャッタースピードによって調節している。つまり、明るいシーンを撮像するときには、撮像素子の出力信号が飽和して所謂「白とび」（露出過多：ｏｖｅｒｅｘｐｏｓｕｒｅ）が発生しないように、露光量を少なくするよう調節する。逆に、暗いシーンでは、所謂「黒つぶれ」（露出不足：ｕｎｄｅｒｅｘｐｏｓｕｒｅ）が発生しないように、露光量を多くするよう調節する。

しかしながら、明暗の差が大きいシーンの撮影（例えば、逆光撮影、屋内外同時撮影）するときには、次のような問題がある。即ち、使用する固体撮像素子のダイナミックレンジ不足により、露光量の調節だけでは、明るい部分が飽和して「白とび」が発生し、暗い部分では露光量が不足する「黒つぶれ」が発生してしまい、両方の部分を適正に再現できない。

この問題を解決するために、フィールド内で二つの異なる電子シャッタースピードを使用する方法が既に開発されている（例えば、特許文献１参照。）。この方法では、フィールドごとに電子シャッタースピードを変えて、明るいエリアの情報と暗いエリアの情報とを別々に撮像し、得られたそれぞれの情報を１枚の画像に合成する。かかる方法を応用したものとして、ダイナミックレンジの広い画像を撮像可能な撮像装置（ワイドダイナミックレンジカメラ）がある。

一般的にワイドダイナミックレンジカメラの動作状態として、ワイドダイナミックレンジ撮影を行う合成撮像モードと、ワイドダイナミックレンジ撮影を行わない通常撮像モードの２種類がある。しかし、合成撮像モードで得られる画像は、コントラストがつぶれることが多く、輝度差の少ない状況（シーン）を撮像するときには、合成撮像モードに移行すると、画像のコントラストが落ちて不自然な画質になることが分かっている。それらを改善するために、輝度差の少ない状況では通常撮像モードに、輝度差の大きい状況では合成撮像モードに自動的に切り替える方法が既に開発されている（例えば、特許文献２参照。）。

かかる特許文献２では、通常撮像モードから合成撮像モードへの切替条件として、通常撮像モードで検出された撮像画像の暗部と明部の輝度差を用いている。そして、合成撮像モードでは、当該輝度差を低減するため、長時間露光画像信号及び短時間露光画像信号をそれぞれ自動露光制御することで、黒つぶれ補正及び白とび補正を行い、ダイナミックレンジを拡大させている。
特開平６−１４１２２９号公報 特開２００２−８４４４９号公報

しかしながら、上記合成撮像モードにおいてダイナミックレンジ拡大（黒つぶれ及び白とび補正）に係わる自動露光制御を行っている間は、通常撮像モードと比べて、輝度変動が大きくなる。そのため、自動露光制御が完了するまでの間、通常撮像モードと比べて不自然な映像が出力されてしまうという問題がある。この理由は次の通りである。

合成撮像モードにおける自動露光制御では、長時間露光画像信号の露光量調整による黒つぶれ部分の補正処理と、短時間露光画像信号の露光量調整による白とび部分の補正処理を、同時あるいは順次に実行する。さらに、場合によっては、撮像された被写体の輝度分布（例えば、輝度ヒストグラム）を考慮しながら、上記自動露光制御を行うケースもある。従って、合成撮像モードでは、通常撮像モードと比べて自動露光制御に要する時間が長くかかる上、合成画像の輝度変動も大きくなるので、撮像装置からの出力映像が、ユーザにとって不自然に感じられるものとなってしまう。

さらに、上記特許文献２記載のように、合成撮像モード中に被写体の変化（シーン変化）に応じて自動露光制御を繰り返し実行すると、被写体の一時的な輝度変化により前述の不自然な映像を頻繁に出力してしまうことになり、動画像としての品質低下につながる。つまり、合成撮像モードで自動露光制御を継続的に行うと、被写体の一時的な輝度変化（例えば、撮像範囲内を人が通ることよる輝度変化）に過敏に反応して黒つぶれ補正及び白とび補正を頻繁に行うことになる。しかも、合成撮像モードでの自動露光制御は収束するまでに時間がかかる。従って、合成撮像モードの出力画像が頻繁に明るくなったり黒くなったりして、ユーザにとって見難く、不自然な映像となってしまう。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、合成撮像モードにおいて、ダイナミックレンジ拡大に伴う不自然な輝度変化の頻出を抑制し、安定した合成画像を出力することが可能な、新規かつ改良された撮像装置、撮像方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、単位期間に１つの通常露光画像信号を生成する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号とを生成し、前記長時間露光画像信号と前記短時間露光画像信号を合成することにより、少なくとも前記長時間露光画像信号又は前記短時間露光画像信号のいずれかよりもダイナミックレンジが広い合成画像信号を生成する合成撮像モードの撮像動作と、を選択的に実行可能な撮像処理部と、前記通常露光画像信号又は前記合成画像信号から得られる画像の輝度値を検出する輝度検出部と、前記輝度検出部により検出された輝度値に基づいて、前記通常露光画像信号の露光量、又は、前記長時間露光画像信号及び前記短時間露光画像信号の露光量を制御する自動露光制御を実行するとともに、前記輝度検出部により検出された輝度値に基づいて、前記撮像処理部の撮像モードを前記通常撮像モードと前記合成撮像モードとの間で切り替える制御部と、を備え、前記制御部は、前記合成撮像モードにおいて、前記長時間露光画像信号及び前記短時間露光画像信号に対する前記自動露光制御が一旦完了した後は、前記自動露光制御を停止し、前記自動露光制御の停止後に、前記輝度検出部により検出された輝度値に基づいて、前記合成画像信号から得られる前記画像における所定の輝度変化を所定時間以上継続して検出した場合に、前記撮像処理部の撮像モードを前記合成撮像モードから前記通常撮像モードに切り替える、撮像装置が提供される。

また、前記合成撮像モードにおける前記自動露光制御は、前記合成画像信号から得られる前記画像の暗部の輝度値を第１の目標輝度値に合わせるために、前記撮像処理部の絞り、ゲイン又はシャッタースピードの少なくともいずれかを制御することによって、前記長時間露光画像信号の露光量を制御する長時間露光制御と、前記合成画像信号から得られる前記画像の明部の輝度値を第２の目標輝度値に合わせるために、前記撮像処理部のシャッタースピードを制御することによって、前記短時間露光画像信号の露光量を制御する短時間露光制御と、を含むようにしてもよい。

さらに、前記合成撮像モードにおける前記自動露光制御は、前記合成画像信号から得られる前記画像の輝度分布に応じて、前記第１の目標輝度値又は前記第２の目標輝度値の少なくとも一方を補正する処理をさらに含むようにしてもよい。

また、前記制御部は、前記自動露光制御の停止後に、前記所定の輝度変化を所定時間以上継続して検出した場合に、前記撮像処理部の撮像モードを前記合成撮像モードから前記通常撮像モードに切り替えるとともに、前記通常撮像モードにおいて前記通常露光画像信号に対する前記自動露光制御を開始するようにしてもよい。

また、前記制御部は、前記合成撮像モードにおいて、前記自動露光制御の停止後に前記輝度検出部により検出された輝度値を基準輝度値として保存し、当該保存後に前記輝度検出部により検出される輝度値と前記基準輝度値との差が、所定時間以上継続して所定の閾値以上である場合に、前記撮像処理部の撮像モードを前記合成撮像モードから前記通常撮像モードに切り替えるようにしてもよい。

また、上記課題を解決するために、本発明のある観点によれば、単位期間に１つの通常露光画像信号を生成する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号とを生成し、前記長時間露光画像信号と前記短時間露光画像信号を合成することにより、少なくとも前記長時間露光画像信号又は前記短時間露光画像信号のいずれかよりもダイナミックレンジが広い合成画像信号を生成する合成撮像モードの撮像動作と、を選択的に実行可能な撮像装置による撮像方法であって、前記通常撮像モードにおいて、前記通常露光画像信号から得られる画像内の輝度差に応じて、前記撮像装置の撮像モードを前記通常撮像モードから前記合成撮像モードに切り替えるステップと、前記合成撮像モードにおいて、前記長時間露光画像信号及び前記短時間露光画像信号の露光量を制御する自動露光制御を行い、前記自動露光制御が一旦完了した後に、前記自動露光制御を停止するステップと、前記自動露光制御の停止後に、前記合成画像信号から得られる画像の輝度値を検出し、当該検出された輝度値に基づいて、前記合成画像信号から得られる前記画像における所定の輝度変化を所定時間以上継続して検出した場合に、前記撮像装置の撮像モードを前記合成撮像モードから前記通常撮像モードに切り替えるステップと、を含む、撮像方法が提供される。

また、上記課題を解決するために、本発明のある観点によれば、単位期間に１つの通常露光画像信号を生成する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号とを生成し、前記長時間露光画像信号と前記短時間露光画像信号を合成することにより、少なくとも前記長時間露光画像信号又は前記短時間露光画像信号のいずれかよりもダイナミックレンジが広い合成画像信号を生成する合成撮像モードの撮像動作と、を選択的に実行可能な撮像装置のコンピュータに、前記通常撮像モードにおいて、前記通常露光画像信号から得られる画像内の輝度差に応じて、前記撮像装置の撮像モードを前記通常撮像モードから前記合成撮像モードに切り替えるステップと、前記合成撮像モードにおいて、前記長時間露光画像信号及び前記短時間露光画像信号の露光量を制御する自動露光制御を行い、前記自動露光制御が一旦完了した後に、前記自動露光制御を停止するステップと、前記自動露光制御の停止後に、前記合成画像信号から得られる画像の輝度値を検出し、当該検出された輝度値に基づいて、前記合成画像信号から得られる前記画像における所定の輝度変化を所定時間以上継続して検出した場合に、前記撮像装置の撮像モードを前記合成撮像モードから前記通常撮像モードに切り替えるステップと、を実行させるためのプログラムが提供される。

上記構成によれば、通常撮像モードの撮像動作と合成撮像モードの撮像動作とを選択的に実行可能な撮像装置において、合成撮像モードにおいて、長時間露光画像信号及び短時間露光画像信号に対する自動露光制御が一旦完了した後は、自動露光制御が停止され、当該自動露光制御の停止後に、合成画像信号から得られる画像から検出された輝度値に基づいて、当該画像における所定の輝度変化が所定時間以上継続して検出された場合に、撮像装置の撮像モードが合成撮像モードから通常撮像モードに切り替えられる。

以上説明したように本発明によれば、合成撮像モードにおいて、ダイナミックレンジ拡大に伴う不自然な輝度変化の頻出を抑制し、安定した合成画像を出力することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．撮像モードの概要
２．撮像モード切替と自動露光制御の概要
３．撮像装置の構成
４．撮像動作の処理フロー

以下に、本発明の一実施形態に係る撮像装置及び撮像方法について説明する。以下の説明では、撮像装置として、動画像を撮像可能な監視カメラの例を挙げて説明する。しかし、本発明の撮像装置は、かかる例に限定されず、例えば、静止画像を撮像するためのデジタルスチルカメラ、動画像を撮像するためのデジタルビデオカメラ、カメラ機能付きの携帯電話など、任意の撮像機器に適用可能である。

［１．撮像モードの概要］
まず、図１〜図３を参照して、本発明の一実施形態に係る撮像装置における撮像モードの概要について説明する。

本実施形態に係る撮像装置は、ワイドダイナミックレンジカメラとしての合成撮像モードの撮像動作を実行可能なカメラであり、例えば、屋内又は屋外施設に設置される監視カメラに適用される。該撮像装置は、少なくとも２種類の撮像モード、即ち、通常撮像モードと合成撮像モードの撮像動作を実行可能である。

通常撮像モードは、一般的な撮像装置における通常の撮像動作である。この通常撮像モードでは、撮像素子により被写体を撮像して単位時間に１つの露光画像信号（通常露光画像信号）を生成し、信号処理回路により該露光画像信号に対して所定の信号処理を行って撮像画像データを生成する。この通常撮像モードは、画像内の明部と暗部の輝度差が比較的少ない被写体を撮像するのに適している。

しかしこの通常撮像モードでは、被写体における非常に暗い部分と非常に明るい部分までの広範囲にわたるダイナミックレンジを扱うことが困難である。例えば、晴天の昼間の時間帯に、屋外が見える窓のある状態で、屋内において撮像する場合、屋内の被写体に露光基準を合わせると、屋外の部分が階調を失い白とびしてしまう。また、逆に屋外の部分に露光基準を合わせれば、屋内の被写体が黒つぶれしてしまう。即ち被写体内での輝度差が著しい場合、その輝度のダイナミックレンジに対応した撮像画像を得ることが困難となる。

これに対して、合成撮像モードでは、例えば電子シャッターによりシャッタースピードを変えて、露光時間の異なる複数の露光画像信号を合成する処理を行うことによって、ダイナミックレンジの広い、白とびや黒つぶれの生じない撮像画像を得ることができる。この合成撮像モードでは、撮像素子により被写体を撮像して単位期間に２つの露光画像信号（長時間露光画像信号と短時間露光画像信号）を生成し、信号処理回路により該長時間露光画像信号と短時間露光画像信号を合成して合成画像信号を生成する。ここで、合成画像信号のダイナミックレンジは、長時間露光画像信号や短時間露光画像信号のダイナミックレンジよりも広い。

かかるワイドダイナミックレンジが得られる合成撮像モードは、明暗の差が大きい被写体の撮影（例えば、逆光撮影、屋内外同時撮影）に適しており、上述した画像内の明部の白とびや、暗部の黒つぶれなどを防止できるという利点がある。ただし、合成撮像モードで得られる画像は、コントラストが落ちるので、視覚的に多少の違和感が生ずることがあり、輝度差が少ない被写体を撮像するためには通常撮像モードが適している。このため、ユーザの好みや、撮像目的などに応じて、通常撮像モードと合成撮像モードを切り替えて撮像できるようにすることが好ましい。

図１〜図２は、本実施形態に係る撮像装置が備える固体撮像素子での、１フィールド内の露光時間と蓄積される露光量（電荷量）を示している。固体撮像素子は、例えば、ＣＣＤ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイなどである。

図１は通常撮像モードの場合を示し、撮像の単位期間である１フィールド期間（例えば１／６０秒）において露光を行う。この図１では、露光時間（電子シャッタースピード）を１／６０秒に設定されているが、もちろん露光時間は１／６０秒に限られず、１フィールド期間未満の任意の時間であってよい。露光時間は、電子シャッタースピードに相当する。かかる露光時間（電子シャッタースピード）は、ユーザが所望の値に任意に設定可能であり、撮像画像の露光量を調節できる（シャッタースピード優先露光）。このように撮像素子では１フィールド期間に、所定の露光時間の露光が行われ、１フィールドの露光画像信号が得られる。この露光画像信号に対して所定の信号処理が行われ、１フィールドの撮像画像データが生成される。

図２は、図１の通常撮像モードに対応する合成撮像モードの場合を示し、この図２では１／６０秒の１フィールド期間において、１／６４秒の長時間露光と、１／１２００秒の短時間露光を行う場合を示している。図１の合成撮像モードの長時間露光時間（１／６４秒）は、図２の通常撮像モードの露光時間（１／６０秒）に対応する値に設定される。なお、長時間露光時間と短時間露光時間は可変制御可能である。撮像素子において、この長時間露光と短時間露光を行うことで、１フィールド期間に、露光時間が相異なる長時間露光画像信号と短時間露光画像信号を得る。そして両画像信号を合成して合成画像信号を得ることで、１フィールドの撮像画像データが生成される。なお、長時間露光と短時間露光は、必ずしも１フィールド期間に行わなければならないものではなく、あるフィールド期間に長時間露光を行い、次のフィールド期間に短時間露光を行って、各露光画像信号を合成するような処理も考えられる。

図１及び図２の関係から分かるように、通常撮像モードの露光時間と、合成撮像モードの長時間露光時間は連動している。つまり、通常撮像モードから合成撮像モードに切り替えられたときには、通常撮像モードで設定されていた露光時間を極力維持するように、合成撮像モードの長時間露光時間が設定される。例えば、図１及び図２の例では、通常撮像モードでの露光時間が「１／６０秒」に設定されていた場合には、該通常撮像モードから移行した合成撮像モードの長時間露光時間も、ほぼ同一の「１／６４秒」に設定される。一方、図示はしないが、通常撮像モードでの露光時間が「１／１２０秒」に設定されていた場合には、該通常撮像モードから移行した合成撮像モードの長時間露光時間も、同一の「１／１２０秒」に設定される。このようにすることで、通常撮像モードと合成撮像モードの切替前後で、ユーザの所望するシャッタースピードを維持できるともに、モード切替前後における露光量の変化を抑えて、撮像画像の見た目に違和感がないようにできる。

ここで、図３を参照して、合成撮像モードにおける長時間露光画像信号と短時間露光画像信号の合成処理を説明する。図３は、長時間露光画像信号の入出力輝度特性Ｌと、短時間露光画像信号の入出力輝度特性Ｓを示している。

図３に示すように、合成処理においては、例えば所定の輝度値を切替ポイントＳＰとする。そして切替ポイントＳＰよりも低輝度の画素は、長時間露光画像信号の画素信号を採用する。一方、切替ポイントＳＰよりも高輝度の画素については、短時間露光画像信号の画素信号を採用する。このとき、長時間露光画像と短時間露光画像との露光倍率（露光比）である利得Ｋを短時間露光画像に乗算することで双方の画像のレベル合わせを行う。

仮に長時間露光画像と短時間露光画像との露光比が１０：１であるとすると、短時間露光画像の露光は長時間露光画像の１０分の１である。しかし存在する光の量としては、長時間露光画像信号は、短時間露光画像の輝度信号レベルの１０倍の光量がある。したがって短時間露光画像信号に１０を乗算することにより、短時間露光画像信号と長時間露光画像信号のレベルを合わせる。このように短時間露光画像信号についてゲイン乗算を行い、図に示すように長時間露光画像信号特性とレベルの合った特性ＫＳを得る。

結果として、特性Ｌ−ＫＳの合成画像が生成される。即ち、合成画像では、被写体内で比較的暗い領域は長時間露光画像信号による黒つぶれのない画像が得られ、比較的明るい領域は短時間露光画像信号による白とびのない画像が得られる。

これらの手法を採用した合成撮像モードによれば、通常撮像モードによる撮像の場合のダイナミックレンジよりも非常に広いダイナミックレンジを得ることができる。従って出力画像に明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像することが可能であり、例えば強い外光が差し込む室内、照度差の激しい場所などを撮像する場合に適している。具体的には銀行などの店舗の出入口、または交通状況の把握のために交通道路など、日中、夜間など撮像される時間帯によりダイナミックレンジが大きく異なる場合の撮像には、合成撮像モードが好適となる。

なお、以下では、説明の便宜上、図１のような通常撮像モードでの露光動作を、「通常露光」と称し、図２のような合成撮像モードでの「長時間露光」及び「短時間露光」と区別する。また、通常露光モードで得られる露光画像信号を「通常露光画像信号」と称し、合成撮像モードでの「長時間露光画像信号」及び「短時間露光画像信号」と区別する。さらに、通常撮像モードにおける露光時間を「通常露光時間」と称し、合成撮像モードにおける「長時間露光時間」及び「短時間露光時間」と区別する。

［２．撮像モード切替と自動露光制御の概要］
次に、本実施形態に係る通常撮像モードと合成撮像モードの切替方法の概要について説明する。

上述したように、従来の通常撮像モードと合成撮像モードの切替方法としては、輝度差の少ないシーンを撮像するときには通常撮像モードに、輝度差の多いシーンを撮像するときには合成撮像モードに自動的に切り替える方法が知られている（例えば、上述した特許文献２参照。）。特許文献２では、通常撮像モードから合成撮像モードへの切替条件として、通常撮像モードで得られた撮像画像の輝度差が所定の閾値以上であるか否かを条件としている。また、合成撮像モードから通常撮像モードへの切替条件として、合成撮像モードにおける長時間露光と短時間露光のシャッタースピード（又は絞り）の差が一定値以下であるか否かを条件としている。

また、自動露光機能を備えた撮像装置では、撮像時には常に自動露光制御を行うことが一般的である。自動露光（ＡＥ：Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）は、撮像装置に搭載されている露出（絞り値、シャッタースピード、ゲインの組み合わせ）を自動的に決定する機能であり、自動露出とも呼ぶ。ＡＥ機能を搭載した撮像装置では、背景や被写体の明るさに合わせて、自動で適正な写真が撮影される。ＡＥの代表的なモードとしては、プログラムＡＥ、絞り優先ＡＥ、シャッタースピード優先ＡＥなどがある。

特許文献２に係る撮像装置は、通常撮像モードでも合成撮像モードでも常時、自動露光制御を行っている。これは、特許文献２では、合成撮像モードから通常撮像モードへの切替条件として長時間露光と短時間露光のシャッタースピード（又は絞り）の差を用いていることからも明らかである。

しかしながら、上述したように、合成撮像モードにおいて、ダイナミックレンジ拡大（黒つぶれ・白とび補正）に係わる自動露光制御を行っているときは、通常撮像モードに比べて、輝度変動が大きくなり、露光時間も長くかかる。このため、自動露光制御が完了するまでの間、通常撮像モードに比べて不自然な映像が出力されてしまうという問題がある。そして、特許文献２で示されているように、合成撮像モードでの撮像中に被写体の変化に応じて自動露光制御を繰り返し行うと、被写体の一時的な変化にも過敏に反応してしむため、上述した不自然な映像が頻繁に出力されてしまうという問題があった。

そこで、本実施形態に係る撮像装置は、通常撮像モードから合成撮像モードに切り替えた後に、（１）自動露光制御が一旦完了したら自動録制御を停止する。そして、該撮像装置は、（２）当該自動露光制御の停止後に、合成撮像モードで得られた撮像画像における所定の輝度変化を所定時間以上継続して検出した場合に、合成撮像モードから通常撮像モードに切り替える。

かかる構成により、合成撮像モードに切り替わったときに、自動露光制御を最初の１回だけ行い、その後は、撮像画像に輝度変化があったとしても自動露光制御を繰り返し行わないようにすることができる。よって、合成撮像モードでの撮像により得られた合成画像において、ダイナミックレンジ拡大に伴う不自然な輝度変化が頻出することを防止でき、安定した合成画像を出力画像として提供できる。

また、合成撮像モードにおける自動露光制御の停止後に、撮像画像における所定の輝度変化を所定時間以上継続して検出することで、一時的ではない被写体の変化（シーン変化）を検出できる。例えば、撮像対象が、合成撮像モード移行時に撮像していた被写体から、当該被写体と比べて非常に暗い又は明るい新たな被写体に変わったときなどである。このように合成撮像モードでの撮像中に撮像対象の被写体が変化したときには、合成撮像モードへの移行当初の被写体とは異なる輝度分布となっているので、自動露光制御を再度実行する必要があるか、或いは、合成撮像モードを実行する必要がない可能性が高い。そこで、撮像装置は、合成撮像モード中に上記所定の輝度変化を所定時間以上検出したときには、合成撮像モードから通常撮像モードへ切り替えて、自動露光制御を再開する。

以下に、上述したモード切替及び自動露光制御を実行するための撮像装置及び撮像方法について詳述する。

［３．撮像装置の構成］
次に、図４を参照して、本実施形態に係る撮像装置の構成について説明する。図４は、本実施形態に係る撮像装置の概略構成を示すブロック図である。

図４に示すように、撮像装置は、撮像光学系１０と、撮像素子２０と、前処理部３０と、信号処理部４０と、出力部５０と、検波部６０と、タイミングジェネレータ７０と、光学部品駆動部８０と、制御部１００と、操作部１１０と、表示部１２０とを備える。このうち、撮像光学系１０、撮像素子２０、前処理部３０、信号処理部４０、タイミングジェネレータ７０及び光学部品駆動部８０は、本発明の撮像処理部の具現例である。また、検波部６０は、本発明の輝度検出部の具現例である。また、制御部１００は、本発明の制御部の具現例である。

撮像光学系１０は、レンズ１１、不要な波長を除去する光学フィルタ、絞り１２等の光学部品を備える。被写体から入射された光は撮像光学系１０における各光学部品を介して撮像素子２０に導かれる。

撮像素子２０は、例えば、ＣＣＤ又はＣＭＯＳなどの固体撮像素子で構成され、入射された被写体像を撮像して、撮像画像信号を生成する。この撮像素子２０は撮像光学系１０を介して導かれた光（被写体像）を光電変換し、露光画像信号としての電気信号を出力する。本実施形態では、撮像素子２０は、通常撮像モードと合成撮像モードとで異なる露光処理を行う。即ち、通常撮像モードでは、図１に示したように、撮像素子２０は、１フィールド期間に、設定された所定の露光時間で被写体像を露光する通常露光を行い、通常露光画像信号としての電気信号を出力する。一方、合成撮像モードでは、図２に示したように、撮像素子２０は、１フィールド期間に長時間露光と短時間露光を行い、長時間露光画像信号と短時間露光画像信号としての電気信号を時分割出力する。

なお撮像素子２０は、固体撮像素子を用いる構成に限られない。例えば撮像管のような非固体撮像素子を用いる構成でもよい。非固体撮像素子についても、メカニカルシャッター、液晶シャッター等を利用して、長時間露光、短時間露光を行ったり、通常露光、長時間露光、短時間露光の露光時間を変化させることも可能である。

前処理部３０は、露光画像信号を前処理する所謂アナログフロントエンドである。例えば、前処理部３０は、撮像素子２０から出力される露光画像信号としての電気信号に対して、ＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ：相関２重サンプリング）処理、プログラマブルゲインアンプ（ＰＧＡ）によるゲイン処理、Ａ／Ｄ変換処理などを行う。そして、前処理部３０は、これらの前処理を行った露光画像信号を信号処理部４０に供給する。即ち、前処理部３０は、通常撮像モードでは、通常露光画像信号を信号処理部４０に供給し、合成撮像モードでは、長時間露光画像信号と短時間露光画像信号を信号処理部４０に供給する。

信号処理部４０は、通常撮像モード、合成撮像モードのそれぞれに応じて所要の信号処理を行って、撮像画像データの映像信号を生成する。詳細には、通常撮像モードでは、信号処理部４０は、入力される通常露光画像信号に対して例えばガンマ補正処理やホワイトバランス処理等を行って、撮像画像データの映像信号を生成する。一方、合成撮像モードでは、信号処理部４０は、入力される長時間露光画像信号と短時間露光画像信号に対し、図３で述べた合成処理を行い、合成画像信号を生成する。即ち、信号処理部４０は、時分割的に供給される長時間露光画像信号と短時間露光画像信号のタイミング調整や色バランス補正処理、長時間露光画像信号に対して短時間露光画像信号の輝度レベルを一致させるゲイン処理、および合成処理を行う。また、信号処理部４０は、合成画像信号に対するガンマ補正処理やホワイトバランス処理も行って、撮像画像データの映像信号を生成する。信号処理部４０は、上記のように各モードで生成した撮像画像データの映像信号を出力部５０及び検波部６０に出力する。

出力部５０は、信号処理部４０から入力される撮像画像データの映像信号に対し、モニタディスプレイにおける表示のための処理や、或いは外部機器への送信のための処理を行う。

検波部６０は、通常撮像モードでは通常露光画像信号が表す撮像画像の輝度値を検出し、合成撮像モードでは合成画像信号が表す撮像画像の輝度値を検出する。輝度値としては、制御部１００により設定された所定の検波枠内の輝度積算値を用いるが、任意の領域の輝度平均値などを用いてもよい。詳細には、検波部６０は、信号処理部４０から入力される撮像画像データの映像信号に対し、所定の測光方式に従って輝度積算値を算出し、制御部１００に供給する。この場合、検波部６０では、制御部１００からの指示に従って実行する測光方式が選択される。測光方式としては、例えば、中央部重点測光方式、評価測光方式、平均測光方式、部分測光方式など、任意の測光方式を使用できる。それぞれの測光方式により画像領域内の検波枠が異なるものとなるが、検波部６０は、実行する測光方式で設定される検波枠毎の輝度積算値を制御部１００に供給する。

制御部１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリなどを有するマイクロコントローラで構成される。この制御部１００は、上述した撮像装置の各部の動作を制御する。

特に、本実施形態に係る制御部１００は、撮像処理部としての撮像素子２０、前処理部３０、信号処理部４０、タイミングジェネレータ７０及び光学部品駆動部８０に対して、通常撮像モードと合成撮像モードそれぞれの撮像動作を実行させるよう制御する。このとき、制御部１００は、所定の切替条件を満たすか否かを判定して、通常撮像モードと合成撮像モードの切替を制御する。

また、制御部１００は、検波部６０に対して輝度積算枠（検波枠）を設定する。さらに、制御部１００は、絞り１２の調整、撮像素子２０の電子シャッタースピードの設定、前処理部３０のＡＧＣの基準ゲインの設定などにより、撮像画像の露光量を自動的に調整する自動露光制御を行う。制御部１００におけるＲＯＭには、上記の各種の制御処理を実行させるプログラムが格納されており、該プログラムに基づいて、上記各制御のための必要な演算・制御処理を実行する。

本実施形態に係るプログラムは、上述した制御部１００の各種制御を、マイクロコンピュータである制御部１００に実行させるためのプログラムである。このプログラムは、撮像装置に内蔵された記憶装置（ＨＤＤ、ＲＯＭ、フラッシュメモリ等）に予め格納しておくことができる。また、当該プログラムは、ＣＤ、ＤＶＤ、ブルーレイディスク、メモリカードなどのリムーバブル記録媒体に格納されて、撮像装置に提供されてもよいし、ＬＡＮ、インターネット等のネットワークを介して撮像装置にダウンロードされてもよい。

タイミングジェネレータ７０（以下、「ＴＧ７０」と称する。）は、制御部１００からの指示に基づき、撮像素子２０の電子シャッタースピードを制御する。ＴＧ７０は、ＣＣＤなどの撮像素子２０に必要な動作パルスを生成する。例えば、ＴＧ７０は、垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子２０に供給する。このＴＧ７０により撮像素子２０を駆動（電子シャッタ機能）させることが可能となる。ＴＧ７０は、制御部１００からの指示に基づき、撮像素子２０の電子シャッタースピード（露光時間）を制御する。

例えば、ＴＧ７０は、制御部１００から通常撮像モードが指示された場合は、図１のように、露光時間が比較的長い通常露光を撮像素子２０に実行させる。また、合成撮像モードが指示された場合は、ＴＧ７０は、図２のように、１フィールド期間に、露光時間が相対的に長い長時間露光と、露光時間が相対的に短い短時間露光とを、撮像素子２０に実行させる。なお、通常撮像モードでの通常露光時間や、合成撮像モードでの長時間露光時間及び短時間露光時間は、図示の例以外の値に変えることも可能である。

光学部品駆動部８０は、制御部１００から指示に基づいて、撮像光学系１０における光学部品の駆動を行う。本実施形態では、光学部品駆動部８０は、入射光量を調節するために少なくとも絞り１２を駆動する駆動回路部として機能する。

操作部１１０、表示部１２０は、ユーザインターフェースとして機能する。操作部１１０はユーザ操作に応じて操作情報を制御部１００に出力する。表示部１２０は、制御部１００からの指示に応じて動作状態、時間情報、モード情報、メッセージなど、ユーザに提示すべき情報を表示する。なお、操作部１１０、表示部１２０は、撮像装置とは別体の機器とされてもよい。また表示部１２０に表示すべき情報を、キャラクタ画像、文字画像として出力部５０において撮像画像データの映像信号に重畳させ、撮像画像を表示出力するモニタディスプレイ上で表示させるようにしてもよい。

以上のように、本実施形態に係る撮像装置では、制御部１００による制御の下、撮像処理部を構成する各部１０、２０、３０、４０、７０、８０は、通常撮像モード又は合成撮像モードの撮像動作を実行する。合成撮像モードでは、前処理部３０から長時間露光画像信号及び短時間露光画像信号が信号処理部４０に送られて、信号処理部４０にて両画像信号が合成される。一方、通常撮像モードでは、前処理部３０から信号処理部４０に通常露光画像信号（合成撮像モードでの長時間露光画像信号に対応する。）のみが送られ、信号処理部４０では合成処理を行わない。

［４．撮像動作の処理フロー］
次に、図５を参照して、本実施形態に係る撮像装置による撮像方法について説明する。図５は、本実施形態に係る撮像装置による撮像動作の全体処理を示すフローチャートである。

図５に示すように、まず、撮像開始するときは、撮像装置は、通常撮像モードの撮像動作を実行して、被写体を撮像する（Ｓ１０）。通常撮像モードでは、制御部１００は、予め設定された所定の露光時間（電子シャッタースピード）をＴＧ７０に指示し、ＴＧ７０は、該露光時間に応じたタイミングで撮像素子２０を駆動させる。撮像素子２０は、上記設定された露光時間（即ち、通常露光時間）で被写体を撮像し、被写体像を光電変換することで通常露光画像信号を生成する。上述した図１は、１フィールドで１つの通常露光時間（１／６０秒）が設定された場合で、１／６０秒の露光時間で通常露光画像を撮像している。

なお、通常撮像モードでの露光時間（電子シャッタースピード）は、１／６０秒に限られず任意の値に可変である。撮像装置の制御部１００は、例えば、ユーザからの指示に応じて、露光時間（電子シャッタースピード）を１／１２０秒、１／２５０秒、１／５００秒などのようにユーザ所望の値に設定変更可能である。これにより、ユーザは所望の露光時間を指定することで、撮像画像の露光量を調節できる（シャッタースピード優先露光）。露光時間が長ければ（電子シャッタースピードが遅ければ）、画像信号の露光量が増すため、暗い被写体を好適に撮像できる。一方、露光時間が短ければ（電子シャッタースピードが速ければ）、画像信号の露光量が減るため、明るい被写体や動きの速い被写体を好適に撮像できる。

通常撮像モードでは、上記のように撮像素子２０で生成された通常露光画像信号は、前処理部３０により、所定の前処理（ＣＤＳ処理、ＰＧＡによるゲイン処理、Ａ／Ｄ変換処理など）が施される。さらに、信号処理部４０は、前処理部１３０でデジタル化された通常露光画像信号を信号処理した上で、該信号処理後の映像信号（撮像画像データを表す信号）を出力部５０及び検波部６０に出力する。

また、通常撮像モードでは、撮像装置は、常時、自動露光（ＡＥ）制御を行う（Ｓ２０）。撮像装置の制御部１００は、自動露光制御を実行して、絞り１２、撮像素子２０、前処理部３０を制御し、通常露光画像信号から得られる撮像画像の露出（露光量）を適切な値に制御する。

具体的には、通常撮像モード中には、検波部６０は、信号処理部４０から入力された撮像画像の映像信号を検波して、所定の検波枠（輝度積算枠）内の画素の輝度値を積算し、該輝度積算値を制御部１００に出力する。制御部１００は、検波部６０から受信した輝度積算値を用いて、撮像画像の測光処理を行い、現在の撮像画像の輝度値と目標輝度値との差分（輝度差）を求める。このときの測光方式としては、例えば、中央部重点測光方式、評価測光方式、平均測光方式、部分測光方式など、任意の測光方式を使用できる。そして、制御部１００は、求めた輝度差に基づいて、絞り１２、ＴＧ７０、前処理部３０のＰＧＡに対する必要な制御量（絞り値、電子シャッタースピード、基準ゲイン値など）を計算し、各部に指示する。以上のようにして、通常撮像モードにおける一般的な自動露光処理が実行され、撮像された通常露光画像信号が表す画像が適切な露光量に制御される。

なお、通常撮像モードでの自動露光制御は、主に、絞り１２の絞り値と、ＰＧＡの基準ゲイン値を制御することによって行われる。しかし、ＴＧ７０による電子シャッタースピードを制御して、露光制御してもよい。例えば、絞り１２を最大限に絞っても尚、撮像画像が明るい場合には、露光調整のために制御部１００がシャッタースピードを速く（即ち、通常露光時間を短く）するように撮像素子２０を制御してもよい。一般的なデジタルカメラや監視カメラでも、絞り１２やゲインのみならず、撮像素子２０の電子シャッタースピードを用いて露光量を制御することは可能である。

さらに係る通常撮像モードでの撮像中には、制御部１００は、常時又は定期的に、撮像される被写体の明部と暗部の輝度差に基づき、撮像モードを通常撮像モードから合成撮像モードに切り替えるか否かを判定している（Ｓ３０〜Ｓ４０）。

具体的には、まず、制御部１００は、検波部６０で得られる各検波枠の輝度積算値に基づいて、撮像画像における被写体の明部と暗部の輝度倍率を検出する（Ｓ３０）。輝度倍率は、被写体の明部の暗部の輝度差の一例である。ここで、図６Ａを参照して、明部と暗部の検出処理について例示する。図６Ａは、逆光状態にある被写体を撮像したときの撮像画像１を分割測光している模様を示す説明図である。図６Ａの撮像画像１は、上部が明るく高輝度であり、中央部が暗い低輝度であり、その他の部分が中間輝度である逆光状態の被写体を撮像したときのものである。

図６Ａに示すように制御部１００は、検波部６０に対して、例えば、撮像画像１を横４×縦３の１２個のエリアに分割して各エリアの検波枠を設定する。検波部６０は、信号処理部４０から入力される映像信号を検波し、各検波枠の輝度値を積算して、各検波枠の輝度積算値を制御部１００に出力する。制御部１００は、この各検波枠の輝度積算値に基づいて、撮像画像１内で最も暗いエリア２（暗部）と最も明るいエリア３（明部）を判定する。そして、制御部１００は、次の式のように、最も明るいエリアの輝度積算値（ＹＨ）を最も暗いエリアの輝度積算値（ＹＬ）で除算して、輝度倍率（ＹＭ）を求める。
輝度倍率（ＹＭ）＝［最も明るいエリアの輝度積算値（ＹＨ）］／［最も暗いエリアの輝度積算値（ＹＬ）］

この輝度倍率（ＹＭ）は、通常撮像モードで撮像された被写体の明部の輝度と暗部の輝度の比率であり、撮像画像１の輝度差に相当する。なお、輝度倍率の算出方法は、上記例に限られず、適宜設計変更可能である。例えば、検波枠の設定は図６Ａの例に限られず、より多い或いは少ない検波枠を任意の配置に設定してもよい。また、検波枠ごとの輝度積算値を求める代わりに、検波枠ごとの輝度平均値を求めるなどしてもよい。

次いで、制御部１００は、上記算出した輝度倍率（ＹＭ）を用いて、撮像モードを通常撮像モードから合成撮像モードに切り替えるか否かを判定する（Ｓ４０）。ここで、制御部１００は、上記Ｓ３０で得た輝度倍率（ＹＭ）と所定の閾値（Ｃ１）とを比較し、輝度倍率が閾値（Ｃ１）以上であるか否かを判定する。ここで、閾値（Ｃ１）は、通常撮像モードから合成撮像モードに切り替える必要のある輝度倍率の下限を表す値である。この閾値（Ｃ１）は、撮像装置の性能に応じて、合成撮像モードを必要とする最低限の輝度倍率値に設定される。例えば、輝度倍率が５倍程度であれば、通常撮像モードでも撮像画像に白とびや黒つぶれなどが発生しない性能の撮像装置である場合には、閾値（Ｃ１）は、例えば６に設定される。

このＳ４０での判定の結果、輝度倍率（ＹＭ）が所定の閾値（Ｃ１）以上である場合、制御部１００は、通常撮像モードから合成撮像モードに切り替える必要があると判定して、ステップＳ５０に進む。この場合、撮像中の被写体が合成撮像モードを必要とする輝度倍率を有することになるので、Ｓ５０にて、撮像処理部の撮像モードが通常撮像モードから合成撮像モードに切り替えられる。一方、輝度倍率（ＹＭ）が所定の閾値（Ｃ１）未満であれば、制御部１００は、合成撮像モードへの切り替えは不要であると判定して、ステップＳ１０に戻り、通常撮像モードでの撮像を継続する。

このように、本ステップＳ４０により、通常撮像モードによる撮像中の被写体の輝度倍率（ＹＭ）が、合成撮像モードを適用する必要のある輝度倍率の閾値（Ｃ１）以上である否かを判別できる。よって、輝度倍率が低く、合成撮像モードを適用する必要がない被写体を通常撮像モードで撮像しているときに、誤って合成撮像モードに切り替わることを防止できる。

上記のようにして、通常撮像モードで検出された輝度倍率（ＹＭ）に応じて、通常撮像モードから合成撮像モードに切り替えた後、撮像装置は、合成撮像モードの撮像動作を実行して、被写体を撮像する（Ｓ５０）。上述したように、ＴＧ７０は、異なる二つの電子シャッタースピードを設定できるので、撮像装置は、合成撮像モードにおいて、露光量の異なる二つの露光画像信号（即ち、長時間露光画像信号及び短時間露光画像信号）を生成することができる。

合成撮像モードでは、制御部１００は、上記通常露光時間（電子シャッタースピード）に対応する長時間露光時間と、所定の短時間露光時間をＴＧ７０に指示し、ＴＧ７０は、これらの露光時間に応じたタイミングで撮像素子２０を駆動させる。撮像素子２０は、１フィールド内で上記長時間露光時間と短時間露光時間で被写体を撮像して、長時間露光画像信号及び短時間露光画像信号を生成する。信号処理部４０は、前処理部３０でデジタル化された長時間露光画像信号と短時間露光画像信号を、図３に示したように特定の切替ポイントＳＰで合成し、ダイナミックレンジを拡大させた合成画像信号を生成する。そして、信号処理部４０は、合成画像信号に所定の信号処理を施して、撮像画像データの映像信号を生成し、出力部５０と検波部６０に出力する。

例えば、上述した図２は、合成撮像モードにおいて、１フィールドで二つの異なる露光時間（１／６４秒、１／１２００秒）が設定された場合であり、撮像素子２０は、露光量の異なる２つの露光画像信号を生成する。つまり、露光時間が１／６４秒である長時間露光画像と、露光時間が１／１２００秒である短時間露光画像が撮像される。図２における長時間露光時間は、図１の通常撮像モードでの通常露光時間（１／６０秒）に対応する値が用いられる。このように、例えばシャッタースピード優先露光などを行う場合には、通常撮像モードでの通常露光時間が合成撮像モードの長時間露光時間に反映されるので、撮像モード切替時における画質変化を低減できる。

また、合成撮像モードでは、撮像装置は、通常撮像モードから合成撮像モードに切り替えた当初に、１回だけ、自動露光（ＡＥ）制御を行い（Ｓ６０）、その自動露光制御が一旦完了（即ち、自動露光が収束）した後は（Ｓ７０）、自動露光制御を停止する（Ｓ８０）。

つまり、撮像装置は、合成撮像モードに移行したときに、合成画像信号で表される撮像画像の露出を調整するために、長時間露光画像信号及び短時間露光画像信号の露光量を自動的に制御する自動露光制御を行う（Ｓ６０）。撮像装置の制御部１００は、自動露光制御を実行して、絞り１２、撮像素子２０、前処理部３０を制御して、長時間露光画像信号及び短時間露光画像信号を合成して得られる撮像画像の露出（露光量）を適切な値に制御する。この合成撮像モードにおける自動露光制御は、撮像画像内の黒つぶれを補正するために長時間露光画像信号の露光量を制御する長時間露光制御と、撮像画像内の白とびを補正するために短時間露光画像信号の露光量を制御する短時間露光制御とを含む。さらに、本実施形態に係る合成撮像モードにおける自動露光制御は、上記長時間露光制御及び短時間露光制御に加え、当該露光制御によって得られた合成画像の輝度分布に応じて、長時間露光制御及び短時間露光制御の目標輝度値を補正する処理を含む。

ここで、図７〜図１１を参照して、本実施形態に係る合成撮像モードにおける自動露光制御（Ｓ６０）について説明する。図７は、本実施形態に係る合成撮像モードでの自動露光制御を示すフローチャートである。

図７に示すように、合成撮像モードにおける自動露光制御では、長時間露光制御（Ｓ６２）と短時間露光制御（Ｓ６４）が実行される。まず、撮像装置の制御部１００は、合成画像内の低輝度部分（暗部）の黒つぶれを補正するために、合成画像の暗部を検波して得られた現在の輝度値を第１の目標輝度値（Ｙｂ）に合わせるように、長時間露光制御を行う（Ｓ６２）。ここで、合成画像は、合成撮像モードにおいて、長時間露光画像信号と短時間露光画像信号とを合成した合成画像信号から得られる撮像画像を意味する。次いで、制御部１００は、当該合成画像内の高輝度部分（明部）の白とびを補正するために、合成画像の明部を検波して得られた現在の輝度値を第２の目標輝度値（Ｙｗ）に合わせるように、短時間露光制御を行う（Ｓ６４）。

その後、制御部１００は、上記長時間露光制御及び短時間露光制御により得られた合成画像の輝度分布（例えば輝度ヒストグラム）をチェックして、輝度分布が適切であるか否かを判断する（Ｓ６６）。輝度分布が、低輝度領域又は高輝度領域に偏っている場合には、輝度分布は適切ではないと判断される。輝度分布が不適切であると判断した場合には、制御部１００は、Ｓ６２の長時間露光制御で用いられる目標輝度値（Ｙｂ）及び／又はＳ６４の短時間露光制御で用いられる目標輝度値（Ｙｗ）を補正する（Ｓ６８）。その後、制御部１００は、補正後の目標輝度値（Ｙｂ、Ｙｗ）を用いて上述したＳ６２の長時間露光制御及び短時間露光制御を繰り返す（Ｓ６２〜Ｓ６４）。

以上のようにして、長時間露光制御（Ｓ６２）、短時間露光制御（Ｓ６４）及び輝度分布のチェック（Ｓ６６）が完了した場合には、その合成画像に対する自動露光制御が完了したこととなる。

以下、図８〜図１１を参照して、図７のＳ６２〜Ｓ６８の処理について詳述する。図８〜図１０はそれぞれ、図７の長時間露光制御（Ｓ６２）、短時間露光制御（Ｓ６４）、目標輝度値の補正処理（Ｓ６８）の詳細を示すフローチャートである。図１１は、本実施形態にかかる輝度ヒストグラムを例示する説明図である。

まず、図８を参照して、図７の長時間露光制御（Ｓ６２）について説明する。図８に示すように、制御部１００は、検波部６０から得た輝度積算値を用いて長時間露光画像信号の露光量を制御して（Ｓ６２２）、合成画像の暗部の輝度値（ＹＬ）を適正輝度値（第１の目標輝度値Ｙｂ）に合わせる（Ｓ６２４）。この長時間露光制御では、制御部１００は、撮像処理部の絞り１２の絞り値、前処理部３０のＡＧＣのゲイン値又は撮像素子２０の長時間露光の電子シャッタースピードの少なくともいずれかを制御する。

具体的には、合成撮像モード中には、検波部６０は、信号処理部４０から入力された合成画像の映像信号を検波して、所定の検波枠内の画素の輝度値を積算し、該輝度積算値を制御部１００に出力する。制御部１００は、検波部６０から受信した輝度積算値を用いて、合成画像の測光処理を行い、図６Ａに示したような合成画像内の最も暗い部分（暗部）の現在の輝度値（ＹＬ）と、長時間露光用の第１の目標輝度値（Ｙｂ）との輝度差を求める（Ｓ６２２）。第１の目標輝度値（Ｙｂ）は、合成画像内で暗部が適正な明るさで見えるような輝度値に予め設定されている。そして、制御部１００は、求めた輝度差に基づいて、絞り１２、ＴＧ７０、前処理部３０のＰＧＡに対する必要な制御量（絞り値、長時間露光の電子シャッタースピード、基準ゲイン値など）を計算し、各部に指示する（Ｓ６２２）。これにより、絞り１２が開く、ＰＧＡのゲインが増加する、或いは、長時間露光の電子シャッタースピードが長くなるなどするため、長時間露光画像信号の露光量が増加し、合成画像の暗部が明るくなる。

そして、制御部１００は、補正後の合成画像を検波して得られた現在の輝度値（ＹＬ）と、第１の目標輝度値（Ｙｂ）とを比較する（Ｓ６２４）。そして、現在の暗部の輝度値（ＹＬ）が第１の目標輝度値（Ｙｂ）に達しているときには、黒つぶれが解消されているので、制御部１００は、長時間露光制御を終了する。一方、現在の暗部の輝度値（ＹＬ）が第１の目標輝度値（Ｙｂ）に達していないときには、Ｓ６２２に戻り、制御部１００は、長時間露光画像信号の露光量を更に増加させるように各部を制御する。

以上のように長時間露光制御では、撮像装置は、合成画像の暗部の輝度が適切な目標輝度に達するまで、通常の自動露光（ＡＥ）処理を行う。このとき、制御部１００は、黒つぶれしている暗部の輝度を検波して、該暗部の輝度が適正な目標輝度になるまで、長時間露光画像信号の露光量（感度）を増加させていく。かかる長時間露光制御では、通常は、絞り１２を開く、ＰＧＡのゲインを上げることによって、黒つぶれ補正が実現される。しかし、絞り１２を最大限に開いても尚、暗部の輝度が目標輝度に達しない場合には、長時間露光の電子シャッタースピードを長くすることで、露光制御してもよい。

次に、図９を参照して、図７の短時間露光制御（Ｓ６４）について説明する。図９に示すように、制御部１００は、検波部６０から得た輝度積算値を用いて短時間露光画像信号の露光量を制御して（Ｓ６４２）、合成画像の明部の輝度値（ＹＨ）を適正輝度値（第２の目標輝度値Ｙｗ）に合わせる（Ｓ６４４）。この短時間露光制御では、制御部１００は、撮像処理部の撮像素子２０の短時間露光の電子シャッタースピードを制御する。

具体的には、合成撮像モード中には、検波部６０は、信号処理部４０から入力された合成画像の映像信号を検波して、所定の検波枠内の画素の輝度値を積算し、該輝度積算値を制御部１００に出力する。制御部１００は、検波部６０から受信した輝度積算値を用いて、合成画像の測光処理を行い、図６Ａに示したような合成画像内の最も明るい部分（明部）の現在の輝度値（ＹＨ）と、短時間露光用の第２の目標輝度値（Ｙｗ）との輝度差を求める（Ｓ６２２）。第２の目標輝度値（Ｙｗ）は、合成画像内で明部が適正な明るさで見えるような輝度値に予め設定されている。そして、制御部１００は、求めた輝度差に基づいて、ＴＧ７０に対する必要な制御量（短時間露光の電子シャッタースピード）を計算し、ＴＧ７０に指示する（Ｓ６２２）。これにより、撮像素子２０における短時間露光の電子シャッタースピードが短くなるため、短時間露光画像信号の露光量が減少し、合成画像の明部が暗くなる。

そして、制御部１００は、補正後の合成画像を検波して得られた現在の明部の輝度値（ＹＨ）と、第２の目標輝度値（Ｙｗ）とを比較する（Ｓ６４４）。そして、現在の明部の輝度値（ＹＨ）が第２の目標輝度値（Ｙｗ）に達しているときには、白とびが解消されているので、制御部１００は、短時間露光制御を終了する。一方、現在の明部の輝度値（ＹＨ）が第２の目標輝度値（Ｙｗ）に達していないときには、Ｓ６４２に戻り、制御部１００は、短時間露光画像信号の露光量をさらに減少させるように各部を制御する。

以上のように短時間露光制御では、撮像装置は、合成画像の明部の輝度が適切な目標輝度に達するまで、短時間露光制御を行う。このとき、制御部１００は、白とびしている明部の輝度を検波し、該明部の輝度が適正な目標輝度になるまで、短時間露光の電子シャッタースピードを初期値（例えば１／１２００秒）よりも短くしていくことで、短時間露光画像信号の露光量を減少させていく。かかる短時間露光制御では、通常は、短時間露光の電子シャッタースピードのみを制御し、絞り１２や、ＰＧＡのゲインは制御されない。この理由は、絞り１２やゲインは、制御幅が広い長時間露光制御で使用するものであり、短時間露光制御において、絞り値やＰＧＡのゲインを変化させると、先に行った長時間露光制御に影響がでてしまうからである。このため、短時間露光制御では、絞り１２の絞り値や、ＰＧＡのゲインは、長時間露光制御で設定した値に固定したままで、短時間露光の電子シャッタースピードのみを制御する。

次に、図１０及び図１１を参照して、図７の輝度ヒストグラムのチェック処理（Ｓ６６）及び目標輝度値の補正処理（Ｓ６８）について説明する。

上述した検波部６０は、信号処理部４０から入力された合成画像の輝度を検波することで、合成画像の各検波枠の輝度積算値と、輝度ヒストグラムを生成し、それをフィールド毎に制御部１００に送信することができる。制御部１００は、その輝度ヒストグラムをチェックして（Ｓ６６）、輝度ヒストグラムが表す輝度分布に応じて、上記長時間露光制御用の第１の目標輝度値（Ｙｂ）や、短時間露光制御用の第２の目標輝度値（Ｙｗ）を補正する（Ｓ６８）。

図１１は、本実施形態に係る輝度ヒストグラムの例を示す。この例では、黒レベルＢから白レベルＷまでの輝度を、「Ｂ」「ｍｂ１」「ｍｂ２」「ｍｂ３」「ｍｗ３」「ｍｗ２」「ｍｗ１」「Ｗ」という８段階の輝度領域に分け、この８段階の輝度領域ごとに１フィールド画像内での全画素の輝度の割合（％）を示している。

図７に示した自動露光制御を行う場合、制御部１００は、長時間露光制御（黒つぶれ補正）に用いる第１の目標輝度値（Ｙｂ）の初期値を、黒つぶれがない合成画像になるような所定の輝度値に設定する。また、制御部１００は、短時間露光制御（白とび補正）に用いる第２の目標輝度値（Ｙｗ）の初期値を、白とびがない合成画像になるような所定の輝度値に設定する。

その後、制御部１００は、検波部６０から現在の合成画像の輝度ヒストグラムを受信すると、輝度ヒストグラムをチェックして、輝度ヒストグラムの黒部分（Ｂ）及び白部分（Ｗ）が所定の割合（例えば、５％、１０％など）未満であるか否かをする（Ｓ６６）。この結果、黒部分（Ｂ）及び白部分（Ｗ）が所定の割合以上である場合には、制御部１００は、黒つぶれ、白とびがなくなるように、第１の目標輝度値（Ｙｂ）及び第２の目標輝度値（Ｙｗ）を補正する（Ｓ６８）。

具体的には、制御部１００は、輝度ヒストグラムの黒部分（Ｂ）の割合を検査することで黒つぶれを検出する。そして、制御部１００は、黒部分（Ｂ）が所定の割合（例えば、５％、１０％など）以上であれば、図１０に示すように、該割合に応じて、長時間露光制御の目標輝度値（Ｙｂ）を増減する（Ｓ６８２）。例えば、制御部１００は、目標輝度値（Ｙｂ）を、現在の目標輝度値（Ｙｂ）に固定値（Ｃｂ）を加算した値（Ｙｂ＋Ｃｂ）に更新する。つまり長時間露光量を多くする方向に目標輝度値（Ｙｂ）を更新する。

また、制御部１００は、輝度ヒストグラムの白部分（Ｗ）の割合を検査することで白とびを検出する。そして、制御部１００は、白部分（Ｗ）が所定の割合（例えば、５％、１０％など）以上であれば、図１０に示すように、該割合に応じて、短時間露光制御の目標輝度値（Ｙｗ）を増減する（Ｓ６８４）。例えば、制御部１００は、目標輝度値（Ｙｗ）を、現在の目標輝度値（Ｙｗ）から固定値（Ｃｗ）を減算した値（Ｙｗ−Ｃｗ）に更新する。つまり短時間露光量を少なくする方向に目標輝度値（Ｙｗ）を更新する。

その後は、制御部１００は、上記のように補正した第１の目標輝度値（Ｙｂ）及び第２の目標輝度値（Ｙｗ）を用いて、図７に示す長時間露光制御（Ｓ６２）と短時間露光制御（Ｓ６４）を繰り返す。このような目標輝度値の補正処理（Ｓ６６〜Ｓ６８）、露光制御処理（Ｓ６２、Ｓ６４）の処理が例えばフィールド期間毎に繰り返されることで、合成画像の露光が、黒つぶれや白とびが発生しない露光状態に収束されていく。

この結果、Ｓ６６にて、黒部分（Ｂ）及び白部分（Ｗ）が所定の割合未満である場合には、制御部１００は、長時間露光制御及び短時間露光制御が適切に行われ、黒つぶれ及び白とびが解消されたと判断して、図７の自動露光制御を完了する。以上のように、合成画像の輝度分布を表す輝度ヒストグラムを用いることで、制御部１００は、合成画像中の黒つぶれ及び白とびの有無を適切に判断し、必要に応じて、合成画像の自動露光制御を適切に実行できる。

以上、図７〜図１１を参照して、合成撮像モードでの自動露光制御（図５のＳ６０）について説明した。かかる合成撮像モードでの自動露光制御を実行することによって、図６Ｂに示すように、黒つぶれや白とびが解消された合成画像５が出力される。これにより、例えば、通常撮像モードの図６Ａの撮像画像１では、暗部３において黒つぶれしていた人物の顔が、合成撮像モードの図６Ｂの合成画像５では、中間輝度のエリア６において認識可能に表示される。また、図６Ａの撮像画像１では、明部２において白とびしていた背景が、合成撮像モードの図６Ｂの合成画像５では、中間輝度より明るいエリア７において認識可能に表示される。

ところが、上述した合成撮像モードでの自動露光制御は、上記のように長時間露光制御及び短時間露光制御の双方を行うため、通常撮像モードに比べて、露光が収束するまでに時間がかかる。また、撮像装置によっては、図７に示したように、上記の露光制御に加えて、合成画像の輝度分布（輝度ヒストグラム）を検査し、適切な輝度分布になるように目標輝度値を補正しながら露光制御をする場合もある。この場合には、露光が収束するまでに、より一層の時間がかかる。このように合成撮像モードでは、自動露光制御に長時間を要する（例えば５〜１０秒程度）。従って、従来のように被写体の一時的な輝度変化や微細な輝度変化に応じて、その都度、自動露光制御を行っていたのでは、自動露光制御中の不自然な合成画像が頻繁に出力されるという問題があった。従って、合成撮像モードにおいてＡＥ処理に伴う不自然な画像が頻出すると、撮像装置が監視カメラとして役に立たなかった。

そこで、本実施形態では、図５に示したように、上記合成撮像モードでの自動露光制御が一旦完了（Ｓ７０）した後には、自動露光制御を停止（Ｓ８０）するようにしている。以下に、図５に戻り、合成撮像モードでの自動露光制御後の処理について説明する。

図５に示すように、通常撮像モードから合成撮像モードに移行したときは、制御部１００は、上述したＳ６０の自動露光制御を実行して（Ｓ６０）、その自動露光制御が一旦完了するのを待つ（Ｓ７０）。ここで、自動露光制御が一旦完了する時点は、合成撮像モード移行後に最初に実行された自動露光制御（長時間露光制御及び短時間露光制御の双方）が収束する時点であり、輝度ヒストグラムを用いた検査を行う場合には、その検査が完了した時点である。

そして、合成撮像モードにおける最初の自動露光制御が完了（Ｓ７０）した後に、制御部１００は、自動露光制御機能を停止し（Ｓ８０）、その後の合成撮像モード中は自動露光を行わないようにする。自動露光制御機能を停止することで、絞り１２の絞り値や、ＰＧＡのゲイン、並びに、長時間露光及び短時間露光のシャッタースピードが固定される。これにより、被写体の輝度変化に露光制御が追従しないようにして、合成撮像モードでの撮像中に生ずる、ダイナミックレンジ拡大に伴う合成画像の不自然な輝度変化が発生しないようにできる。

ところが、自動露光制御機能を停止してしまうと、合成撮像モード中に、撮像する被写体が変化（シーン変化）したときに、その変化後のシーンを自動露出して撮像できなくなる。そこで、本実施形態では、合成撮像モードにおける自動露光制御の停止後、制御部１００は、検波部６０からの輝度積算値に基づいて、合成画像内の所定の輝度変化を所定時間以上継続して検出した場合に、シーン変化があったと判断する。そして、制御部１００は、このシーン変化の検出に応じて、撮像装置の撮像モードを合成撮像モードから通常撮像モードに切り替える。

詳細には、まず、制御部１００は、検波部６０から受信した輝度積算値に基づいて、自動露光制御の完了後の合成画像の輝度値（Ｙ１）を取得し、該輝度値（Ｙ１）を基準輝度値としてメモリに保存する。ここで保存される基準輝度値（Ｙ１）は、例えば、中央部重点測光方式、評価測光方式、平均測光方式、部分測光方式など、任意の測光方式により取得できるものとする。かかる基準輝度値（Ｙ１）は、後述のＳ１２０での輝度変化の有無を判断するときの基準となる。

なお、合成画像内の輝度変化を検出するための測光方式は、上記のような任意の方式であってよいが、次の理由から、合成画像全体を測光することが好ましい。つまり、合成撮像モードでワイドダイナミックレンジを適用すると、図６Ｂに示したように、合成画像５は、中間輝度前後のエリア６、７が多く、コントラストが低い画像となり、合成画像５内で輝度差が低くなる。従って、例えば、合成画像５全体に検波枠を設定してその検波枠内の輝度を測光する方式を用いることで、合成画像５の輝度変化を好適に検出できる。また、敢えて部分測光するのであれば、ユーザがよく見る合成画像５の中央部分を測光し、その中央部分の輝度変化を検出してもよい。

次いで、制御部１００は、タイマー（Ｔ）の初期化（カウント中のタイマー値のリセット）を行う（Ｓ１００）。タイマーは、自動露光制御の停止後の被写体の輝度変化を検出するためのものである。

さらに、上記基準輝度値（Ｙ１）の保存後における合成撮像モードでの撮像中に、制御部１００は、検波部６０から受信した輝度積算値に基づいて、現在撮像中の合成画像の輝度値（Ｙ２）を取得する（Ｓ１１０）。なお、現在の輝度値（Ｙ２）は、上記基準輝度値（Ｙ１）と同様の測光方式で得られたものとする。

そして、制御部１００は、現在の輝度値（Ｙ２）と上記基準輝度値（Ｙ１）との差分が、所定の閾値（Ｃ２）以上であるか否かを判定する（Ｓ１２０）。この結果、当該差分が所定の閾値（Ｃ２）未満であれば、Ｓ１００に戻り、制御部１００は、タイマー（Ｔ）を初期化する（Ｓ１００）、一方、当該差分が所定の閾値（Ｃ２）以上であれば、制御部１００は、タイマー（Ｔ）のカウントを開始し（Ｓ１３０）、Ｓ１４０に進む。

そして、制御部１００は、上記Ｓ１３０でのタイマー（Ｔ）のカウント開始後に、所定時間を経過したか否か、即ち、タイマー（Ｔ）が満了したか否かを判定する（Ｓ１４０）。当該所定時間は、輝度変動の有無の判定基準となる時間であり、例えば５〜１０秒に設定される。このＳ１４０での判定の結果、所定時間が経過しておらず、タイマー（Ｔ）が満了していない場合には、Ｓ１１０に戻り、現在の輝度値（Ｙ２）を再取得した後に（Ｓ１１０）、該輝度値（Ｙ２）と基準輝度値（Ｙ１）の差分を閾値（Ｃ２）と比較する。

一方、Ｓ１４０で所定時間が経過しており、タイマー（Ｔ）が満了した場合には、所定期間以上継続して、合成画像に所定の輝度変化が生じたことを意味するので、合成撮像モードで撮像中の被写体の状況が変化（即ち、シーン変化）したと判断できる。

例えば、撮像するシーンが、合成撮像モード移行時に撮像していた被写体から、当該被写体と比べて非常に暗い又は明るい新たな被写体に変化した場合には、図６Ｃに示すように、合成画像５には、輝度変化したエリア８が生じる。図６Ｃの例は、撮像範囲上部に非常に暗い被写体が含まれた場合を示し、合成画像５の上部の輝度変化したエリア８では、輝度が低くなっている。従って、制御部１００は、検波部６０により検波された輝度積算値に基づき、当該エリア８での輝度変化を検出でき、シーン変化があったと判断できる。

かかる輝度変化の検出では、所定以上の輝度変化が所定時間以上継続したときにシーン変化があったと判断される。従って、撮像範囲内を人が通過するなどといった一時的な輝度変化は、シーン変化とは判断されず、輝度変化が所定時間以上継続したときに、シーンが完全に変化したと判断される。

上記のような合成撮像モードでの処理Ｓ９０〜Ｓ１４０により、合成撮像モードにおいて、自動露光制御の停止後に、撮像中の被写体のシーン変化を検知できる。そして、上記シーン変化の検出に応じて、制御部１００は、撮像装置の撮像モードを合成撮像モードから通常撮像モードに切り替えて、通常撮像モードでの撮像動作及び通常の自動露光制御を再開する（Ｓ１０、Ｓ２０）。この理由は次の通りである。

以上のように合成撮像モードでの撮像中にシーン変化があった場合、現在撮像中の合成画像は、合成撮像モードへの移行当初の被写体を撮像したときとは異なる輝度分布となっている。このため、自動露光制御を再度実行する必要がある。また、シーン変化が生じているのであるから、過去の被写体に合わせて露光制御した状態のままで、合成撮像モードを継続するのは適切ではなく、合成撮像モードから通常撮像モードに戻した方が好適である可能性が高い。

そこで、制御部１００は、合成撮像モード中に、上記基準輝度値（Ｙ１）に対して閾値（Ｃ２）以上の輝度差が生じるような大きな輝度変化を、所定時間以上継続して検出したときには、シーン変化があったと判断する。そして、制御部１００は、当該輝度変化の検出に応じて、合成撮像モードから通常撮像モードへ切り替えて（Ｓ１０）、自動露光制御を再開する（Ｓ２０）。これにより、通常撮像モードにおいて、シーン変化した被写体に合うように自動露光制御された撮像画像を得ることができる。

ところが、当該通常撮像モードでの自動露光制御を行ってもなお、撮像画像内の明部と暗部の間に所定の閾値（Ｃ１）以上の輝度差がある場合には（Ｓ４０）、制御部１００は、再度、通常撮像モードから合成撮像モードに切り替える（Ｓ５０）。そして、制御部１００は、該再切替後の合成撮像モードにおいて、当該輝度差のある合成画像について自動露光制御を実行して（Ｓ６０）、その自動露光制御が一旦完了（Ｓ７０）した後に自動露光制御を停止する（Ｓ８０）。

以上のように、合成撮像モードと通常撮像モードの切替と、自動露光制御のオン／オフを行うことで、上記合成撮像モードにおいてシーン変化があったときでも、自動露光制御を再開して、適切な露光で自然な画像を安定して出力できるようになる。

以上、本実施形態にかかる撮像装置及び撮像方法について詳細に説明した。本実施形態によれば、合成撮像モードと通常撮像モードの２種類の撮像モードを自動で切り替える機能を有する撮像装置において、通常撮像モードから合成撮像モードに移行した場合、合成画像に対する露光制御が一旦完了したら、自動露光制御機能を停止させる。さらに、その後の合成撮像モード中は、合成画像の所定の輝度変化を所定時間継続して検出した場合に、合成撮像モードから通常撮像モードに切り替えて、自動露光制御を再開する。

即ち、本実施形態によれば、ワイドダイナミックレンジカメラにおいて、通常撮像モードから合成撮像モードに自動的に切り替えた後、ダイナミックレンジ拡大に伴う自動露光処理を完了したときに、（１）自動露光を停止させ、（２）合成画像において所定の輝度変化が一定時間継続した場合、合成撮像モードから通常撮像モードに自動的に切り替え、自動露光を再開させる。これにより、合成撮像モード中の一時的な被写体の変動により、ダイナミックレンジ拡大に伴う不自然な輝度変化の発生を防ぎ、安定した合成画像を動画像として提供することができる。

また、上述した特許文献２に記載のモード切替手法では、合成撮像モードにおける長時間露光と短時間露光のシャッタースピードの差が一定値以下になった場合に、合成撮像モードから通常撮像モードに切り替えるようにしている。しかし、本実施形態では、合成撮像モード中は自動露光制御を停止しているので、長時間露光と短時間露光のシャッタースピードは固定されており、特許文献２の手法は使用できない。また、特許文献２のモード切替手法では、長時間露光と短時間露光のシャッタースピードを比較するだけであるので、一時的な輝度変化に対しても敏感に反応して、通常撮像モードに切り替わってしまう。これに対し、本実施形態にかかる切替手法では、輝度変化が所定時間以上にわたり継続したときに、合成撮像モードから通常撮像モードに切り替える。これにより、一時的な輝度変化に反応してモード切替しないようにでき、完全なシーン変化があった場合に、合成撮像モードから通常撮像モードに切り替えることができる。このように、本実施形態では、合成撮像モードにおいて、輝度変動に関わる自動露光制御を停止したからこそ、合成画像の輝度変化を適切に捉えて、適切なタイミングで合成撮像モードから通常撮像モードに切り替えることができる

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は係る例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本発明は、動画撮像を行うカメラシステムに適用できるが、静止画撮像を行うカメラシステムにも適用できる。例えば、動画撮像するためのデジタルビデオカメラ、静止撮像するためのデジタルスチルカメラ、カメラ機能付きの携帯電話など、任意の撮像機器に適用可能である。設定露光モードで静止画撮像を行う場合であっても、例えば撮像タイミング（レリーズ）に至るまでのモニタリング中に、撮像モードの切替制御を行ってもよい。

また、例えばノンインターレーススキャン方式の撮像を行う場合、上述してきたフィールド期間の処理はフレーム期間の処理として考えればよい。つまり、露光画像信号を得るための単位期間は、フィールド期間、フレーム期間、複数フィールド期間、複数フレーム期間など、撮像装置で用いられる任意の単位期間であってもよい。例えば、複数フレーム期間ごとに１回の割合で、検波処理、露光補正処理、露光制御処理が行われるような動作例も考えられる。

また、上記実施形態では、図７に示した合成撮像モードの自動露光制御で、長時間露光制御（Ｓ６２）及び短時間露光制御（Ｓ６４）に加え、輝度ヒストグラムの検査（Ｓ６６）及び目標輝度値の補正処理（Ｓ６８）を行った。しかし、本発明はかかる例に限定されず、例えば、長時間露光制御（Ｓ６２）及び短時間露光制御（Ｓ６４）を行い、輝度ヒストグラムの検査（Ｓ６６）及び目標輝度値の補正処理（Ｓ６８）を行わないようにしてもよい。また、上記実施形態では、長時間露光制御（Ｓ６２）を行った後に、短時間露光制御（Ｓ６４）を行ったが、これに限定されず、例えば、短時間露光制御を行った後に長時間露光制御を行ってもよいし、長時間露光制御と短時間露光制御を同時並行で行ってもよい。

また、上記実施形態では、露光制御手段として、絞り１２、撮像素子２０の電子シャッター、ＰＧＡを備えた撮像装置について説明したが、本発明は、かかる例に限定されない。本発明は、例えば、絞り１２を具備しない撮像装置、ＰＧＡを具備しない撮像装置などにも適用できる。

また、上記実施形態では、合成撮像モードから通常撮像モードへの切替基準となる輝度変化を検出する際に、タイマーで計時する所定時間を固定値としたが、本発明はかかる例に限定されない。例えば、複数のタイマー値を段階的に用意しておき、ユーザが手動で対マー値を設定するなど、上記所定時間（タイマー値）を可変にしてもよい。

本発明の一実施形態に係る通常撮像モードの露光の一例を示す説明図である。 同実施形態に係る合成撮像モードの露光の一例を示す説明図である。 同実施形態に係る合成処理の説明図である。 同実施形態に係る撮像装置の構成を示すブロック図である。 同実施形態に係る撮像装置による撮像動作の全体処理を示すフローチャートである。 同実施形態に係る通常撮像モードにおける逆光状態にある被写体の撮像画像を示す説明図である。 図６Ａと同様の被写体を合成撮像モードで撮像したときの合成画像を示す説明図である。 図６Ｂの状態から輝度変化が生じたときの合成画像を示す説明図である。 同実施形態に係る合成撮像モードでの自動露光制御を示すフローチャートである。 図７の長時間露光制御の詳細を示すフローチャートである。 図７の短時間露光制御の詳細を示すフローチャートである。 図７の目標輝度値の補正処理の詳細を示すフローチャートである。 同実施形態にかかる輝度ヒストグラムを例示する説明図である。

符号の説明

１ 撮像画像
５ 合成画像
１０ 撮像光学系
１１ レンズ
１２ 絞り
２０ 撮像素子
３０ 前処理部
４０ 信号処理部
５０ 出力部
６０ 検波部
７０ タイミングジェネレータ
８０ 光学部品駆動部
１００ 制御部
１１０ 操作部
１２０ 表示部

Claims (7)

1. 単位期間に１つの通常露光画像信号を生成する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号とを生成し、前記長時間露光画像信号と前記短時間露光画像信号を合成することにより、少なくとも前記長時間露光画像信号又は前記短時間露光画像信号のいずれかよりもダイナミックレンジが広い合成画像信号を生成する合成撮像モードの撮像動作と、を選択的に実行可能な撮像処理部と、
   前記通常露光画像信号又は前記合成画像信号から得られる画像の輝度値を検出する輝度検出部と、
   前記輝度検出部により検出された輝度値に基づいて、前記通常露光画像信号の露光量、又は、前記長時間露光画像信号及び前記短時間露光画像信号の露光量を制御する自動露光制御を実行するとともに、前記輝度検出部により検出された輝度値に基づいて、前記撮像処理部の撮像モードを前記通常撮像モードと前記合成撮像モードとの間で切り替える制御部と、
   を備え、
   前記制御部は、
   前記合成撮像モードにおいて、前記長時間露光画像信号及び前記短時間露光画像信号に対する前記自動露光制御が一旦完了した後は、前記自動露光制御を停止し、
   前記自動露光制御の停止後に、前記輝度検出部により検出された輝度値に基づいて、前記合成画像信号から得られる前記画像における所定の輝度変化を所定時間以上継続して検出した場合に、前記撮像処理部の撮像モードを前記合成撮像モードから前記通常撮像モードに切り替える、撮像装置。
2. 前記合成撮像モードにおける前記自動露光制御は、
   前記合成画像信号から得られる前記画像の暗部の輝度値を第１の目標輝度値に合わせるために、前記撮像処理部の絞り、ゲイン又はシャッタースピードの少なくともいずれかを制御することによって、前記長時間露光画像信号の露光量を制御する長時間露光制御と、
   前記合成画像信号から得られる前記画像の明部の輝度値を第２の目標輝度値に合わせるために、前記撮像処理部のシャッタースピードを制御することによって、前記短時間露光画像信号の露光量を制御する短時間露光制御と、
   を含む、請求項１に記載の撮像装置
3. 前記合成撮像モードにおける前記自動露光制御は、
   前記合成画像信号から得られる前記画像の輝度分布に応じて、前記第１の目標輝度値又は前記第２の目標輝度値の少なくとも一方を補正する処理をさらに含む、請求項２に記載の撮像装置。
4. 前記制御部は、
   前記自動露光制御の停止後に、前記所定の輝度変化を所定時間以上継続して検出した場合に、前記撮像処理部の撮像モードを前記合成撮像モードから前記通常撮像モードに切り替えるとともに、前記通常撮像モードにおいて前記通常露光画像信号に対する前記自動露光制御を開始する、請求項１に記載の撮像装置。
5. 前記制御部は、
   前記合成撮像モードにおいて、前記自動露光制御の停止後に前記輝度検出部により検出された輝度値を基準輝度値として保存し、当該保存後に前記輝度検出部により検出される輝度値と前記基準輝度値との差が、所定時間以上継続して所定の閾値以上である場合に、前記撮像処理部の撮像モードを前記合成撮像モードから前記通常撮像モードに切り替える、請求項１に記載の撮像装置。
6. 単位期間に１つの通常露光画像信号を生成する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号とを生成し、前記長時間露光画像信号と前記短時間露光画像信号を合成することにより、少なくとも前記長時間露光画像信号又は前記短時間露光画像信号のいずれかよりもダイナミックレンジが広い合成画像信号を生成する合成撮像モードの撮像動作と、を選択的に実行可能な撮像装置による撮像方法であって、
   前記通常撮像モードにおいて、前記通常露光画像信号から得られる画像内の輝度差に応じて、前記撮像装置の撮像モードを前記通常撮像モードから前記合成撮像モードに切り替えるステップと、
   前記合成撮像モードにおいて、前記長時間露光画像信号及び前記短時間露光画像信号の露光量を制御する自動露光制御を行い、前記自動露光制御が一旦完了した後に、前記自動露光制御を停止するステップと、
   前記自動露光制御の停止後に、前記合成画像信号から得られる画像の輝度値を検出し、当該検出された輝度値に基づいて、前記合成画像信号から得られる前記画像における所定の輝度変化を所定時間以上継続して検出した場合に、前記撮像装置の撮像モードを前記合成撮像モードから前記通常撮像モードに切り替えるステップと、
   を含む、撮像方法。
7. 単位期間に１つの通常露光画像信号を生成する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号とを生成し、前記長時間露光画像信号と前記短時間露光画像信号を合成することにより、少なくとも前記長時間露光画像信号又は前記短時間露光画像信号のいずれかよりもダイナミックレンジが広い合成画像信号を生成する合成撮像モードの撮像動作と、を選択的に実行可能な撮像装置のコンピュータに、
   前記通常撮像モードにおいて、前記通常露光画像信号から得られる画像内の輝度差に応じて、前記撮像装置の撮像モードを前記通常撮像モードから前記合成撮像モードに切り替えるステップと、
   前記合成撮像モードにおいて、前記長時間露光画像信号及び前記短時間露光画像信号の露光量を制御する自動露光制御を行い、前記自動露光制御が一旦完了した後に、前記自動露光制御を停止するステップと、
   前記自動露光制御の停止後に、前記合成画像信号から得られる画像の輝度値を検出し、当該検出された輝度値に基づいて、前記合成画像信号から得られる前記画像における所定の輝度変化を所定時間以上継続して検出した場合に、前記撮像装置の撮像モードを前記合成撮像モードから前記通常撮像モードに切り替えるステップと、
   を実行させるためのプログラム。
   
   

Images