JP4306752B2 - 撮像装置、測光方法、輝度算出方法、プログラム - Google Patents

Description

本発明は撮像装置、測光方法、輝度算出方法、プログラムに関し、特に撮像動作として通常撮像モードと合成撮像モードを切り換えて実行できる撮像装置に関する。

特開平６−１４１２２９号公報 特開２００２−８４４４９号公報 特開２００４−１２０２０５号公報 特開２００６−３１９４７４号公報

従来のＣＣＤ（Charge Coupled Device）等の固体撮像素子を用いた撮像装置では、撮像素子に入力される光量（露光量）を、絞りや電子シャッタースピードによって調節している。つまり、明るいシーンを撮影するときには撮像素子の出力信号が飽和していわゆる白つぶれ（露出過多：overexposure）が発生しないように露光量を少なくし、逆に暗いシーンではいわゆる黒つぶれ（露出不足：underexposure）が発生しないように露光量を多くするように、露光量を調節している。

しかしながら、明暗の差が大きいシーンの撮影（逆光撮影、屋内外同時撮影）する場合、使用する固体撮像素子のダイナミックレンジ不足により、露光量の調節だけでは、明るい部分が飽和していわゆる白とびが発生してしまったり、暗い部分で黒つぶれが発生してしまい、両方の部分を適正に再現できないという問題がある。

この問題を解決するために、フィールド内で二つの異なる電子シャッタスピードを使用したり、フィールド毎に電子シャッタスピードを変えて、明るいエリアの情報と暗いエリアの情報とを別々に撮像し、得られたそれぞれの情報を１枚の画像に合成する方法が既に開発されている（上記特許文献１参照）。
これを応用したものとして、ダイナミックレンジの広い画像を撮像可能な装置（ワイドダイナミックレンジカメラ）があり、その合成画像の品質を向上させる装置・方法が上記特許文献２，３に開示されている。

しかしながら、上記特許文献２，３等の従来の技術にあっては、２種類の異なる露光量で撮像された画像を合成する方法を改善することによりワイドダイナミックレンジカメラの画質の向上を目指しているが、露光制御のための測光方式という観点での改善手法は述べられていない。

一般的にワイドダイナミックレンジカメラは動作状態として、ワイドダイナミックレンジ撮像を行う合成撮影モードと、ワイドダイナミックレンジ撮像を行わない通常撮像モードの２種類を持つ。
通常撮像モードで自動的に設定される（カメラ利用者の操作を伴わない）測光方式としては、中央部重点測光方式、或いは評価測光方式が一般的に採用されている。
中央部重点測光方式は、画像の中央付近を重点的に測光する方式で、画像中心部に主要被写体があることを前提としている。例えば上記特許文献４にも示されている。
また評価測光方式（分割測光方式、マルチパターン測光方式などとも呼ばれる）は、画像を複数に分割して測光し、これら複数の情報から過順光や逆光条件などを判断し、適正な露光を行う。さらに合焦位置を加味する、分割数をより多くするなどといった手法があり、特性を一意に決めることはできない。この評価測光方式のアルゴリズムは、カメラ製造メーカ各社により、様々なものが採用されている。

しかしながらこれらの二つの測光方式はダイナミックレンジの狭い通常撮像モードにおいて、特定の部分に重み付けを行うことで、主要被写体に対して適切な露光を行うことを目的としたものである。これに対してダイナミックレンジを拡大させた合成撮像モードでは、撮像画像のエリア全体を認識（目視）できるようすることが目的であることから、上記の測光方式は最適な測光方式とは言えない。
そこで本発明は、通常撮像モードと合成撮像モードを切り換えて撮像を行うことのできる撮像装置において、適切な測光が行われるようにすることを目的とする。

本発明の撮像装置は、１つの露光画像信号について信号処理を行って撮像画像データを生成する通常撮像モードの撮像動作と、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得、上記長時間露光画像信号と上記短時間露光画像信号の合成処理を含む信号処理を行って撮像画像データを生成する合成撮像モードの撮像動作とが選択的に実行可能な撮像処理部と、上記撮像処理部で生成された撮像画像データについて測光処理を行う検波部と、上記通常撮像モードか上記合成撮像モードかに応じて、上記検波部の測光処理方式の切換制御を行う制御部とを備える。
また上記制御部は、上記検波部の測光処理の結果に基づいて上記撮像処理部の露光制御を行う。
また上記制御部は、上記通常撮像モードでの撮像動作の際には、上記検波部の測光処理方式を中央部重点測光方式又は評価測光方式に制御する。
また上記制御部は、上記合成撮像モードでの撮像動作の際には、上記検波部の測光処理方式を平均測光方式に制御する。
また上記制御部は、上記通常撮像モード又は上記合成撮像モードでの撮像動作の際に、指定入力に応じて、上記検波部の測光処理方式を部分測光方式に制御する。
また上記撮像処理部で得られた撮像画像データから被写体の異常を検知する異常検知部をさらに備え、上記制御部は、上記通常撮像モード又は上記合成撮像モードでの撮像動作の際に、上記異常検知部により異常が検知された場合は、上記検波部の測光処理方式を部分測光方式に制御する。

本発明の測光方法は、通常撮像モードの撮像動作と合成撮像モードの撮像動作とが選択的に実行可能な撮像装置の測光方法であり、上記通常撮像モードで撮像動作を行う際には、上記撮像処理部で生成された撮像画像データについて中央部重点測光方式又は評価測光方式により測光処理を行い、上記合成撮像モードで撮像動作を行う際には、上記撮像処理部で生成された撮像画像データについて平均測光方式により測光処理を行う。

本発明の輝度算出方法は、通常撮像モードの撮像動作と合成撮像モードの撮像動作とが選択的に実行可能な撮像処理部と、上記撮像処理部で生成された撮像画像データについて測光処理を行う検波部とを備えた撮像装置における撮像画像データの輝度算出方法であり、上記通常撮像モードか上記合成撮像モードかに応じて上記検波部の測光処理方式の切換制御を行うステップと、上記検波部の測光処理により得られた値、例えば輝度積算値を入力し、入力した値に対して、上記検波部で実行された測光処理方式に応じた演算を行って単位面積当たりの輝度値を算出するステップとを備える。
また本発明のプログラムは、上記輝度算出方法としての各ステップを演算処理装置に実行させるプログラムである。

以上の本発明では、通常撮像モードの撮像動作と合成撮像モードの撮像動作とが選択的に実行可能な撮像装置において、その撮像モードに応じて測光方式が切り換えられることになる。
例えば通常撮像モードでは中央部重点測光方式、又は評価測光方式を実行する。一方、ダイナミックレンジを拡大させた合成撮像モードは、撮像画像のエリア全体を認識（目視）できるようすることが目的であることから、主要被写体を重点をおいて測光する測光方式は最適ではないため、例えば合成撮像モードの際には平均測光（全面測光とも言う）を適用する。平均測光（全面測光）とは、撮像画像の全体で測光を行い、その平均値を輝度として扱う方式である。

本発明によれば、通常撮像モードと、ワイドダイナミックレンジを得るための合成撮像モードとの各場合において測光方式を切り替えることで、通常撮像モード、合成撮像モードのそれぞれに適した測光を行うことができる。そしてそのような適切な測光に基づいて露光制御を行うことで、ダイナミックレンジの狭い通常撮影モードの画質を損なうことなく、合成撮像モードでの自動露光の性能を向上させることも可能となる。

以下、本発明の実施の形態を次の順序で説明する。
［１．通常撮像モードと合成撮像モード］
［２．撮像装置の構成］
［３．撮像装置の全体動作］
［４．制御部の処理例Ｉ］
［５．制御部の処理例II］
［６．制御部の処理例III］
［７．実施の形態の効果、及びプログラム］

［１．通常撮像モードと合成撮像モード］

本実施の形態の撮像装置１は、ワイドダイナミックレンジカメラとしての合成撮像モードの撮像動作が可能な撮像装置であり、例えば監視カメラなどとして好適に用いられる。もちろん一般ユーザが通常用いるデジタルスチルカメラ、デジタルビデオカメラなどとしても適用可能である。
ここではまず、通常撮像モードと合成撮像モードについて述べておく。

一般的に使用される撮像装置における通常の撮像動作（通常撮像モード）では、被写体における非常に暗い部分と非常に明るい部分までの広範囲にわたるダイナミックレンジを扱うことが困難である。例えば晴天の昼間の時間帯に，屋外が見える状態で、屋内において撮像する場合、屋内の被写体に露光基準を合わせると、屋外の部分が階調を失い白とびしてしまう。また、逆に屋外の部分に露光基準を合わせれば、屋内の被写体が黒つぶれしてしまう。即ち被写体内での輝度差が著しい場合、その輝度のダイナミックレンジに対応した撮像画像を得ることが困難となる。
これに対して合成撮像モードの撮像動作では、例えば電子シャッタでシャッタ速度を変えて、露光時間の異なる複数の画像を合成する処理を行うことにより、ダイナミックレンジの広い、白とびや黒つぶれの生じない撮像画像を得るようにしている。

但し、合成撮像モードで撮られた画像は、視覚的に多少の違和感が生ずることがあり、このためユーザの好みや、撮像目的などに応じて、通常撮像モードと合成撮像モードを切り換えて撮像できるようにすることが好適となる。

図２（ａ）（ｂ）は、ＣＣＤやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとしての撮像素子部での、１フィールド内の露光時間と蓄積される露光量（電荷量）を示している。
図２（ａ）は通常撮像モードの場合であり、撮像の単位期間である、１／６０秒の１フィールド期間において露光を行う。この図では露光時間を１／６０秒としているが、もちろん露光時間は１／６０秒に限られない。電子シャッタスピードとして或る露光時間が設定される。このように撮像素子部では１フィールド期間に或る露光時間の露光が行われ、１フィールドの露光画像信号が得られる。この露光画像信号に対して所定の信号処理が行われ、１フィールドの撮像画像データが生成される。

図２（ｂ）は合成撮像モードの場合であり、この図では１／６０秒の１フィールド期間において、１／６４秒の長時間露光と、１／２０００秒の短時間露光を行う場合を示している。なお、長時間露光時間と短時間露光時間は可変制御可能である。
この長時間露光と短時間露光を行うことで、１フィールド期間に、長時間露光画像信号と短時間露光画像信号を得る。そしてこの両画像信号を合成することで１フィールドの撮像画像データが生成される。
なお、長時間露光と短時間露光は、必ずしも１フィールド期間に行わなければならないものではなく、或るフィールド期間に長時間露光を行い、次のフィールド期間に短時間露光を行って、各露光画像信号を合成するような処理も考えられる。

図３では、長時間露光画像信号と短時間露光画像信号の合成処理の説明のために、長時間露光画像信号の入出力輝度特性Ａと、短時間露光画像信号の入出力輝度特性Ｂを示している。
合成処理においては、例えば所定の輝度値を切替ポイントＳＰとする。そして切替ポイントＳＰよりも低輝度の画素は、長時間露光画像信号の画素信号を採用する。一方、切替ポイントＳＰよりも高輝度の画素については、短時間露光画像信号の画素信号を採用する。このとき、長時間露光画像と短時間露光画像との露光比を短時間露光画像に乗算することで双方の画像のレベル合わせを行う。
仮に長時間露光画像と短時間露光画像との露光比が１０：１であるとすると、短時間露光画像の露光は長時間露光画像の１０分の１である。しかし存在する光の量としては短時間露光画像の輝度信号レベルの１０倍は光量がある。したがって短時間露光画像信号に１０を乗算することによりレベルを合わせる。
このように短時間露光画像信号についてゲイン乗算を行い、図に示すように長時間露光画像信号特性とレベルの合った特性ｋＢを得る。
結果として、特性Ａ−ｋＢの合成画像を生成する。即ち合成画像では、被写体内で比較的暗い領域は長時間露光画像信号による黒つぶれのない画像が得られ、比較的明るい領域は短時間露光画像信号による白とびのない画像が得られる。

なお、出力画像に明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像する合成撮像モードの手法としては、上記のように露光時間の異なる明るい画像と暗い画像とを合成する以外にも各種の手法がある。
例えば画素単位に感度を変えて撮像素子から同じ露光条件の信号のみを抜き出して画像を再生し、露光条件の異なる１又は２以上の画像を合成する方法もある。
またはプリズムにより入射光を分けて、撮像素子と、透過する光を全波長に渡って減少させる、つまり入射光量を等しく減少させるＮＤフィルタ（Neutral Density Filter：光量調節フィルタ）のような減光機能を持つものとを張り合わせた撮像素子から出力される信号を合成する方法などもある。

これらの手法を採用した合成撮像モードによれば、通常撮像モードによる撮像の場合のダイナミックレンジよりも非常に広いダイナミックレンジを得ることができる。従って出力画像に明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像することが可能であり、例えば強い外光が差し込む室内，照度差の激しい場所などを撮像する場合に適している。具体的には銀行などの店舗の出入口、または交通状況の把握のために交通道路など、日中、夜間など撮像される時間帯によりダイナミックレンジが大きく異なる場合の撮像には、合成撮像モードが好適となる。

なお以下では、図２（ａ）のような通常撮像モードでの露光動作を、説明上「通常露光」と言うこととし、図２（ｂ）のような合成撮像モードでの「長時間露光」「短時間露光」と区別する。
また通常露光により得られた露光画像信号を「通常露光画像信号」といい、「長時間露光画像信号」「短時間露光画像信号」と区別する。

［２．撮像装置の構成］

図１に本例の撮像装置の構成を示す。本例の撮像装置は、撮像光学系１、撮像素子部２，前処理部３、信号処理部４、出力部５，検波部６、タイミングジェネレータ７、光学部品駆動部８、制御部１０、操作部１１、表示部１２を備える。

撮像光学系１は、レンズや不要な波長を除去する光学フィルタ、絞り１ａ等の光学部品を備える。被写体から入射された光は撮像光学系１における各光学部品を介して撮像素子部２に導かれる。
撮像素子部２は、例えばＣＣＤセンサアレイ、ＣＭＯＳセンサアレイなどの固体撮像素子部として構成される。この撮像素子部２は撮像光学系１を介して導かれた光を光電変換し、撮像画像としての電気信号を出力する。本例の場合、撮像素子部２では通常撮像モードと合成撮像モードとで異なる露光処理を行う。即ち通常撮像モードでは図２（ａ）のように１フィールド期間に所定時間の露光としての通常露光を行って露光画像信号としての電気信号を出力する。一方、合成撮像モードでは、撮像素子部２では１フィールド期間に図２（ｂ）のような長時間露光と短時間露光を行い、長時間露光画像信号と短時間露光画像信号としての電気信号を時分割出力する。
なお撮像素子部２は、固体撮像素子を用いる構成に限られない。例えば撮像管のような非固体撮像素子を用いる構成でも良い。非固体撮像素子についても、メカニカルシャッタ、液晶シャッタ等を利用して、長時間露光、短時間露光を行ったり、通常露光、長時間露光、短時間露光の露光時間を変化させることは可能である。
前処理部３は、いわゆるアナログフロントエンドであり、撮像素子部２から出力される撮像画像としての電気信号に対してＣＤＳ（correlated double sampling ：相関２重サンプリング）処理、プログラマブルゲインアンプによるゲイン処理、Ａ／Ｄ変換処理を行う。そしてこれらの処理を行った露光画像信号を信号処理部４に供給する。即ち通常撮像モードの場合は通常露光画像信号を信号処理部４に供給し、合成撮像モードの場合は長時間露光画像信号と短時間露光画像信号を信号処理部４に供給する。

信号処理部４は、通常撮像モード、合成撮像モードのそれぞれに応じて所要の信号処理を行って、撮像画像データを生成する。
通常撮像モードの場合は、入力される通常露光画像信号に対して例えばガンマ補正処理やホワイトバランス処理等を行って撮像画像データとする。
また合成撮像モードの場合は、入力される長時間露光画像信号と短時間露光画像信号について図３で述べた合成処理を行う。即ち時分割的に供給される長時間露光画像信号と短時間露光画像信号のタイミング調整や色バランス補正処理、長時間露光画像信号に対して短時間露光画像信号の輝度レベルを一致させるゲイン処理、および合成処理を行う。また合成画像信号に対するガンマ補正処理やホワイトバランス処理も行って撮像画像データとする。
信号処理部４は、生成した撮像画像データを出力部５及び検波部６に出力する。

出力部５は、信号処理部４からの撮像画像データについて、モニタディスプレイにおける表示のための処理や、或いは外部機器への送信のための処理を行う。

検波部６は、信号処理部４からの撮像画像データについての測光処理を行って輝度積算値を算出し、制御部１０に供給する。この場合検波部６では、制御部１０からの指示に従って実行する測光方式が選択される。
測光方式としては、中央部重点測光方式、評価測光方式、平均測光方式、部分測光方式などが実行可能とされる。
後述するが、それぞれの測光方式により画像領域内の検波枠が異なるものとなるが、検波部６は、実行する測光方式で設定される検波枠毎の輝度積算値を制御部１０に供給することになる。

制御部１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを有するマイクロコンピュータによって構成され、撮像装置の全体の動作を制御する。
特に本例においては制御部１０は、撮像処理系としての撮像素子部２，前処理部３，信号処理部４，タイミングジェネレータ７に対して、通常撮像モードと合成撮像モードのそれぞれの撮像動作を実行させる制御を行う。
また制御部１０は検波部６に対して測光方式を指定する制御を行う。
また制御部１０は露光制御を行う。
制御部１０におけるＲＯＭには、これらの制御処理を実行させるプログラムが格納されており、該プログラムに基づいて、上記各制御のための必要な演算・制御処理を実行する。

タイミングジェネレータ７は、例えばＣＣＤなどの撮像素子部２に必要な動作パルスを生成する。例えば垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子部２に供給する。このタイミングジェネレータ７により撮像素子部２を駆動（電子シャッタ機能）させることが可能となる。
特にタイミングジェネレータ７は、制御部１０から通常撮像モードが指示された場合は、撮像素子部２に図２（ａ）のように１フィールド期間に所定時間の通常露光を実行させ、また合成撮像モードが指示された場合は、撮像素子部２に図２（ｂ）のように、露光時間が相対的に長い長時間露光と、露光時間が相対的に短い短時間露光を実行させる。
もちろん通常撮像モードでの通常露光時間や、合成撮像モードでの長時間露光時間及び短時間露光時間を可変することも可能である。

光学部品駆動部８は、撮像光学系１における光学部品の駆動を行う。本例に関していえば、少なくとも絞り１ａを駆動し、入射光量を調節するための駆動回路部とされる。
操作部１１、表示部１２はユーザインターフェースのために設けられる。操作部１１はユーザ操作に応じて操作情報を制御部１０に出力する。
表示部１２は、制御部１０からの指示に応じて動作状態、時間情報、モード情報、メッセージなど、ユーザに提示すべき情報の表示を行う。
なお、操作部１１、表示部１２は、撮像装置とは別体の機器とされてもよい。また表示部１２に表示すべき情報を、キャラクタ画像、文字画像として出力部５において撮像画像データに重畳させ、撮像画像を表示出力するモニタディスプレイ上で表示させるようにしてもよい。

［３．撮像装置の全体動作］

以下、本例の撮像装置で実行される動作を説明する。まずここでは撮像装置において通常撮像モードと合成撮像モードで行われる、露光制御を含む全体的な撮像動作を述べる。
図４（ａ）のステップＳＴ１〜ＳＴ４は通常撮像モードでの動作の流れを示し、図４（ｂ）のステップＳＴ１１〜ＳＴ１４は合成撮像モードでの動作の流れを示している。この図４（ａ）又は図４（ｂ）の処理が一定間隔で繰り返されることで、撮像中に露光補正が行われる。

まず図４（ａ）の通常撮像モードでの動作を述べる。
・ステップＳＴ１：撮像処理
撮像素子部２で図２（ａ）のような通常露光が行われ、通常露光画像信号が前処理部で処理されて信号処理部４に供給される。
・ステップＳＴ２：信号処理
信号処理部４は、前処理部３でデジタル化された通常露光画像信号について必要な処理を行い、撮像画像データとする。この撮像画像データは、出力部５から例えばモニタディスプレイでの表示のために出力される。

・ステップＳＴ３：検波処理
撮像画像データは検波部６にも供給される。検波部６は、例えば１フィールド毎に撮像画像データの測光処理を行い、検波枠毎の輝度積算値を生成し、それを制御部１０に送信する。図５に検波部６の検波処理を示すが、ステップＳＴ３１で１フィールドの撮像画像データの画面上で設定した検波枠毎に輝度積算を行う。そしてステップＳＴ３２で検波枠毎の輝度積算値を制御部１０に送信する。
この通常撮像モードの場合、検波部６では中央部重点測光方式、又は評価測光方式で測光を行う。
中央部重点測光方式の検波枠を図６（ａ）に示す。中央部重点測光方式は、撮像画像エリアＡＲの中央付近を重点的に測光する方式で、画像中心部に主要被写体があることを前提としている。このため検波枠として中央部の検波枠Ｗ２と、その周辺部としての検波枠Ｗ１を設定する。この場合、検波部６では、検波枠Ｗ１，Ｗ２のそれぞれの領域で輝度積算値を算出し、制御部１０に供給することになる。
評価測光方式の検波枠を図６（ｂ）に示す。評価測光方式では撮像画像エリアＡＲを、例えば水平方向にｍ個、垂直方向にｎ個に分割し、図のように検波枠Ｗ１１〜Ｗｎｍを設定する。この場合、検波部６では、検波枠Ｗ１１〜Ｗｎｍのそれぞれの領域で輝度積算値を算出し、制御部１０に供給することになる。

・ステップＳＴ４：露光制御処理
制御部１０は、検波枠毎の輝度積算値を用いて露光制御を行う。
検波部６で中央部重点測光方式で測光が行われ、図６（ａ）の検波枠Ｗ１，Ｗ２の輝度積算値が供給される場合、中央部の検波枠Ｗ２の輝度積算値に重み付けを行って単位面積あたりの輝度を求める。例えば検波枠Ｗ２の重みを１００％とした場合は、検波枠Ｗ１を２０％として加重平均を行い、単位面積あたりの輝度を求める。
また、検波部６で評価測光方式で測光が行われ、図６（ｂ）の検波枠Ｗ１１〜Ｗｎｍの輝度積算値が供給される場合、各輝度積算値を用いた所定のアルゴリズム演算を行って単位面積あたりの輝度を求める。
これらの処理で、現在の単位面積あたりの輝度を求めたら、その単位面積当たりの輝度と目標輝度との差分として露光制御量を算出し、露光制御量に応じた露光制御を行う。
具体的には絞り１ａの開口量、撮像素子部２の通常露光時間、前処理部３のＰＧＡ（プログラマブルゲインアンプ）のゲインについて、それぞれ必要な制御量を計算する。そして光学部品駆動部８に絞り１ａの駆動を実行させ、またタイミングジェネレータ７に通常露光の露光時間を指示し、また前処理部３にＰＧＡのゲインを指示する。なお、これらの３つの制御を全て行う他、これらの内の１つ又は２つの制御を行うようにしても良い。

次に図４（ｂ）の合成撮像モードでの動作を述べる。
・ステップＳＴ１１：撮像処理
撮像素子部２で図２（ｂ）のような長時間露光と短時間露光を実行する。即ちタイミングジェネレータ７は、１フィールド期間内に異なる二つの電子シャッタースピードを設定することが可能であり、１フィールド期間に図（ｂ）の長時間露光と短時間露光を撮像素子部２に実行させる。これにより露光量の違う二つの撮像画像信号（例えば露光時間１／６４秒の長時間露光画像信号と、露光時間１／２０００秒の短時間露光画像信号）が得られる。上記のとおり、長時間露光画像信号と短時間露光画像信号はそれぞれ前処理部３で処理されて信号処理部４に供給される。
・ステップＳＴ１２：信号処理
信号処理部４は、前処理部３でデジタル化された長時間露光画像信号と短時間露光画像信号を図３で述べた手法で合成し、ダイナミックレンジを拡大させた合成画像としての撮像画像データを生成する。この撮像画像データは、出力部５から例えばモニタディスプレイでの表示のために出力される。

・ステップＳＴ１３：検波処理
撮像画像データは検波部６にも供給される。検波部６は、上記図５のステップＳＴ３１、ＳＴ３２で述べたように、１フィールド毎に撮像画像データの測光処理を行い、検波枠毎の輝度積算値を生成し、それを制御部１０に送信する。
この合成撮像モードの場合、検波部６では平均測光方式で測光を行う。
平均測光方式の検波枠を図７（ａ）に示す。平均測光（全面測光）は、撮像画像の全体で測光を行い、その平均値を輝度として扱う方式である。従って検波枠Ｗ１として撮像画像エリアＡＲの全体を１つの検波枠とする。検波部６は、検波枠Ｗ１として撮像画像エリアＡＲの全体での輝度積算値を算出し、制御部１０に供給することになる。

ステップＳＴ１４：露光制御処理
制御部１０は、平均測光方式の検波枠Ｗ１の輝度積算値を用いて露光制御を行う。
例えば検波枠Ｗ１の輝度積算値から、単位面積としての平均値の輝度を求める。
そして現在の単位面積あたりの輝度を求めたら、その単位面積当たりの輝度と目標輝度との差分として露光制御量を算出し、露光制御量に応じた露光制御を行う。
この場合、具体的には絞り１ａの開口量、撮像素子部２の長時間露光時間と短時間露光時間、前処理部３のＰＧＡ（プログラマブルゲインアンプ）のゲインについて、それぞれ必要な制御量を計算する。そして光学部品駆動部８に絞り１ａの駆動を実行させ、またタイミングジェネレータ７に長時間露光と短時間露光の露光時間を指示し、また前処理部３にＰＧＡのゲインを指示する。なお、これらの３つの制御を全て行う他、これらの内の１つ又は２つの制御を行うようにしても良い。

［４．制御部の処理例Ｉ］
通常撮像モードと合成撮像モードのそれぞれにおいて図４（ａ）（ｂ）の動作が行われるようにするための制御部１０の処理例を図８で説明する。
制御部１０は、ステップＦ１０１，Ｆ１０２で合成撮像モード又は通常撮像モードでの撮像開始のトリガを監視する。例えばユーザの撮像開始操作や外部機器からの撮像開始の指示などとしての撮像開始のトリガ発生を監視する。

通常撮像モードでの撮像動作が開始される場合、制御部１０は処理をステップＦ１０２からＦ１０５に進め、タイミングジェネレータ７，前処理部３，信号処理部４に対して通常撮像モードでの動作開始を指示する。
またステップＦ１０６で、検波部６に中央部重点測光方式又は評価測光方式を指示する。
これによって、図４（ａ）のステップＳＴ１、ＳＴ２、ＳＴ３で述べた動作が各部で開始されることになる。

一方、合成撮像モードでの撮像動作が開始される場合、制御部１０は処理をステップＦ１０１からＦ１０３に進め、タイミングジェネレータ７，前処理部３，信号処理部４に対して合成撮像モードでの動作開始を指示する。
またステップＦ１０４で、検波部６に平均測光方式を指示する。
これによって、図４（ｂ）のステップＳＴ１１、ＳＴ１２、ＳＴ１３で述べた動作が各部で開始されることになる。

通常撮像モード又は合成撮像モードで撮像動作が開始された以降は、ステップＦ１０７で撮像終了となるまで、制御部１０は１フレーム期間毎に、ステップＦ１０８、Ｆ１０９、Ｆ１１０で露光制御処理を繰り返す。即ち図４（ａ）のステップＳＴ４又は図４（ｂ）のステップＳＴ１４の処理である。
ステップＦ１０８で制御部１０は、検波部６からの各検波枠毎の輝度積算値を入力し、検波部６で実行させている測光方式に応じて、輝度積算値から単位面積あたりの輝度を算出する。
ステップＦ１０９で制御部１０は、単位面積当たりの輝度と目標輝度との差分として露光制御量を算出する。即ち絞り１ａの開口量、撮像素子部２の露光時間（通常露光時間、又は長時間露光時間と短時間露光時間）、前処理部３のＰＧＡゲインについて、制御量を計算する。
そしてステップＦ１１０で制御部１０は、算出した各制御量に基づいて、光学部品駆動部８に絞り１ａの駆動を実行させ、またタイミングジェネレータ７に露光時間を指示し、また前処理部３にＰＧＡのゲインを指示する。

制御部１０はステップＦ１０７で、ユーザ操作その他による終了トリガを検知したら、処理をステップＦ１１１に進め、各部に撮像動作を終了させ、一連の撮像動作制御を終える。
制御部１０が、このような処理を行うことで、図４（ａ）（ｂ）に示した通常撮像モードや合成撮像モードとしての撮像動作が実現される。

［５．制御部の処理例II］

上記図８で示した制御部１０の処理例Ｉによれば、通常撮像モードの場合は検波部６で中央部重点測光方式又は評価測光方式で測光が行われ、合成撮像モードの場合は検波部６で平均測光方式で測光が行われる。
このような動作を行うとともに、検波部６で部分測光方式を行うようにする処理例も考えられる。これを処理例IIとして説明する。

部分測光（スポット測光ともいわれる）は、測光範囲を画面のごく狭い範囲に限定して行う測光方式の事で、被写体の一部を露出の基にしたい場合に使用する。測光範囲（検波枠）は撮像装置のユーザにより指定される。
例えば図７（ｂ）に部分測光方式の検波枠Ｗ１を示す。このように撮像画像エリアＡＲ内で、ユーザが指定した領域が検波枠Ｗ１とされる。検波部６で部分測光が行われる場合、検波部６で、指定された検波枠Ｗ１で輝度積算値を算出し、その輝度積算値を制御部１０に供給することになる。
この部分測光方式は自動的に適用される測光方式ではなく、撮像装置のユーザが撮像画像エリア内で特定のエリアを指定し、そこを適正露光させるための処理である。したがって合成撮像モード、通常撮像モードに関わらず、ユーザが部分測光を指定した場合は、部分測光を実施することが適切となる。

部分測光を考慮した制御部１０の処理を図９に示す。
なお図９においてステップＦ１０１〜Ｆ１１１は図８と同様の処理であり、重複説明を避ける。この図９は、図８の処理に、ステップＦ２０１，Ｆ２０２，Ｆ２０３を追加したものである。

ステップＦ１０３で合成撮像モードで撮像動作を開始させる場合、制御部１０は、ステップＦ２０１で、ユーザ操作により部分測光が指定されているか否かを判断する。そして部分測光が指示されていなければステップＦ１０４に進んで検波部６に平均測光方式を指示するが、部分測光が指示されていたら、ステップＦ２０３に進んで検波部６に部分測光方式を指示する。
またステップＦ１０５で通常撮像モードで撮像動作を開始させる場合、制御部１０は、ステップＦ２０２で、ユーザ操作により部分測光が指定されているか否かを判断する。そして部分測光が指示されていなければステップＦ１０６に進んで検波部６に中央部重点測光方式又は評価測光方式を指示するが、部分測光が指示されていたら、ステップＦ２０３に進んで検波部６に部分測光方式を指示する。

そしてステップＦ１０７以降の処理を図８と同様に実行する。なお部分測光が実行されている場合は、ステップＦ１０８では、部分測光方式に応じた演算処理で単位面積あたりの輝度を算出する。即ち部分測光方式の検波枠Ｗ１の輝度積算値から、単位面積あたりの平均輝度を算出する。
この図９の処理例によれば、通常撮像モードの場合は検波部６で中央部重点測光方式又は評価測光方式で測光が行われ、合成撮像モードの場合は検波部６で平均測光方式で測光が行われることを基本としつつ、ユーザの指定によって検波部６で部分測光方式が実行されることになる。

［６．制御部の処理例III］

次に制御部１０の処理例IIIとして、特に監視カメラとしての撮像装置に好適な例を述べる。
監視カメラ（セキュリティカメラ）では、合成撮影モードで平均測光をしている最中に撮像画像内の特定エリアで異常（侵入など）を検出した場合、その領域をより鮮明に撮像したという要望がある。そのような場合ユーザーからの指示または自動設定により部分測光に切り替えることが適切となる。

なお、この処理例IIIの実行のため、撮像装置の構成として図１０のような例が考えられる。図１０は、図１の構成に異常検知部９を追加したものである。
異常検知部９には、信号処理部４からの撮像画像データが供給される。そして異常検知部９は、撮像画像データについてモーションディテクト（Motion Detect：動き検知）処理を行い、撮像画像内で異常があった撮像画像エリアの特定部分を検出する。
モーションディテクト処理の手法としては、例えば予め撮像画像エリアＡＲ内で検出枠を何点か指定しておき、その検出枠に輝度変化が発生することを検知するという処理が考えられる。また特に検出枠を設定せず、画像解析或いはフレーム比較により、動きのあった画面内の領域を特定するという処理も可能である。人の画像を検出し、その動きの早さによって異常を判定しても良い。
異常検知部９は、このようなモーションディテクト処理により、異常発生（例えば人の進入など）と判断した場合、制御部１０に異常検出を通知するとともに、異常を検知した画像内の領域を通知する。

このように異常検知部９を備えた場合の制御部１０の処理例を図１１に示す。なお図１１においてステップＦ１０１〜Ｆ１１１は図８と同様の処理であり、またステップＦ２０１，Ｆ２０２，Ｆ２０３は図９と同様である。即ちこの図１１の処理は、図９の処理にステップＦ３０１，Ｆ３０２を追加したものである。

図９の場合と同様、この図１１の処理例でば、通常撮像モードの場合は検波部６で中央部重点測光方式又は評価測光方式で測光が行われ、合成撮像モードの場合は検波部６で平均測光方式で測光が行われることを基本としつつ、ユーザの指定によって検波部６で部分測光方式が実行される。
そして合成撮像モード又は通常撮像モードで撮像動作が開始された後は、ステップＦ１０８〜Ｆ１１０で露光制御処理が行われるが、このとき制御部１０はステップＦ３０１で、異常検知部９からの異常検出信号が入力されたか否かを判断する。
異常検出信号が入力されなければ、１フィールド毎に露光制御処理を繰り返す。
異常検出信号が入力された場合は、ステップＦ３０１からＦ３０２に進み、検波部６に対して、画像上での異常検知部分を検波枠とする部分測光方式を指示する。
これによって検波部６では、それまでの測光方式から、異常発生時の部分測光方式に切り換える。つまり異常検知部９から通知される領域を検波枠Ｗ１として部分測光を行い、その輝度積算値を制御部１０に供給する。

制御部は、引き続きステップＦ１０８〜Ｆ１１０で露光制御処理を行うが、この場合ステップＦ１０８では、部分測光方式での検波枠Ｗ１の輝度積算値から単位面積あたりの輝度を算出し、ステップＦ１０９，Ｆ１１０で露光制御を行うことになる。

このような処理例IIIによれば、通常撮像モードの場合は検波部６で中央部重点測光方式又は評価測光方式で測光が行われ、合成撮像モードの場合は検波部６で平均測光方式で測光が行われることを基本としつつ、ユーザの指定によって検波部６で部分測光方式が実行されることになる。そしてさらに、被写体に異常が発生した場合は、その異常発生部分を検波枠とする部分測光方式が実行され、異常発生部分に対して最適な露光制御が行われることになる。
なお、図１０では異常検知部９が撮像装置の内部に設けられる例を示したが、撮像画像データを外部の異常検知装置（画像解析装置等）に供給し、その外部の異常検知装置から異常検出信号や異常発生領域の情報を入力するようにしてもよい。
また、ステップＦ３０１で異常検出となった場合、制御部１０は表示部２によりユーザに対してメッセージ出力を行うようにしてもよい。
例えば「異常検出されたので部分測光に切り換えますか？」という趣旨のメッセージ表示を行い、ユーザの指示に応じて部分測光に切り換えるようにしてもよい。
また、図１１では図９の処理例にステップＦ３０１，Ｆ３０２を追加した処理としたが、図８の処理例にステップＦ３０１，Ｆ３０２を追加した処理としてもよい。

［７．実施の形態の効果、及びプログラム］

以上の実施の形態によれば、通常撮像モードと、ワイドダイナミックレンジを得るための合成撮像モードとの各場合において測光方式を切り替えることで、通常撮像モード、合成撮像モードのそれぞれに適した測光を行うことができる。特に通常撮像モードの場合は中央部重点測光方式又は評価測光方式とし、合成撮像モードの場合は平均測光方式とすることが適切となる。
そしてそのような適切な測光に基づいて露光制御を行うことで、ダイナミックレンジの狭い通常撮影モードの画質を損なうことなく、合成撮影モードでの自動露光の性能を向上させることができる。
また、上記図９の処理例IIによれば、ユーザの指示に応じて部分測光を行い、画像内の特定の領域に注目した露光制御も可能となる。
また、上記図１１の処理例IIIによれば、異常発生に応じて、異常部分を検波枠とする部分測光方式が実行され、画像内の異常発生領域に適応した露光制御も可能となる。

なお、本発明は動画撮像を行うカメラシステムに適用できるが、静止画撮像を行うカメラシステムにも適用できる。静止画撮像の場合であっても、例えば撮像タイミングに至までのモニタリング中に、撮像モードに応じた測光方式の切換や、それに基づく露光制御を行えばよい。

実施の形態のプログラムは、上述した制御部１０の処理のプログラムである。即ち図８、図９，図１１のような各種処理例をマイクロコンピュータ（演算処理装置）である制御部１０に実行させるプログラムである。
このようなプログラムは、パーソナルコンピュータや、撮像装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、本発明のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

本発明の実施の形態の撮像装置のブロック図である。 実施の形態の通常撮像モードと合成撮像モードの露光の説明図である。 実施の形態の合成処理の説明図である。 実施の形態の撮像装置の動作のフローチャートである。 実施の形態の検波処理のフローチャートである。 実施の形態の中央部重点測光方式と評価測光方式の検波枠の説明図である。 実施の形態の平均測光方式と部分測光方式の検波枠の説明図である。 実施の形態の制御部の処理例Ｉのフローチャートである。 実施の形態の制御部の処理例IIのフローチャートである。 実施の形態の処理例IIIに対応する構成のブロック図である。 実施の形態の制御部の処理例IIIのフローチャートである。

符号の説明

１ 撮像光学系、１ａ 絞り、２ 撮像素子部、３ 前処理部、４ 信号処理部、５ 出力部、６ 検波部、７ タイミングジェネレータ、８ 光学部品駆動部、９ 異常検知部、１０ 制御部、１１ 操作部、１２ 表示部

Claims (9)

1. １つの露光画像信号について信号処理を行って撮像画像データを生成する通常撮像モードの撮像動作と、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得、上記長時間露光画像信号と上記短時間露光画像信号の合成処理を含む信号処理を行って撮像画像データを生成する合成撮像モードの撮像動作とが選択的に実行可能な撮像処理部と、
   上記撮像処理部で生成された撮像画像データについて測光処理を行う検波部と、
   上記通常撮像モードか上記合成撮像モードかに応じて、上記検波部の測光処理方式の切換制御を行う制御部と、
   を備えた撮像装置。
2. 上記制御部は、上記検波部の測光処理の結果に基づいて、上記撮像処理部の露光制御を行う請求項１に記載の撮像装置。
3. 上記制御部は、上記通常撮像モードでの撮像動作の際には、上記検波部の測光処理方式を中央部重点測光方式又は評価測光方式に制御する請求項１に記載の撮像装置。
4. 上記制御部は、上記合成撮像モードでの撮像動作の際には、上記検波部の測光処理方式を平均測光方式に制御する請求項１に記載の撮像装置。
5. 上記制御部は、上記通常撮像モード又は上記合成撮像モードでの撮像動作の際に、指定入力に応じて、上記検波部の測光処理方式を部分測光方式に制御する請求項１に記載の撮像装置。
6. 上記撮像処理部で得られた撮像画像データから被写体の異常を検知する異常検知部をさらに備え、
   上記制御部は、上記通常撮像モード又は上記合成撮像モードでの撮像動作の際に、上記異常検知部により異常が検知された場合は、上記検波部の測光処理方式を部分測光方式に制御する請求項１に記載の撮像装置。
7. １つの露光画像信号について信号処理を行って撮像画像データを生成する通常撮像モードの撮像動作と、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得、上記長時間露光画像信号と上記短時間露光画像信号の合成処理を含む信号処理を行って撮像画像データを生成する合成撮像モードの撮像動作とが選択的に実行可能な撮像装置の測光方法として、
   上記通常撮像モードで撮像動作を行う際には、上記撮像処理部で生成された撮像画像データについて中央部重点測光方式又は評価測光方式により測光処理を行い、
   上記合成撮像モードで撮像動作を行う際には、上記撮像処理部で生成された撮像画像データについて平均測光方式により測光処理を行う測光方法。
8. １つの露光画像信号について信号処理を行って撮像画像データを生成する通常撮像モードの撮像動作と、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得、上記長時間露光画像信号と上記短時間露光画像信号の合成処理を含む信号処理を行って撮像画像データを生成する合成撮像モードの撮像動作とが選択的に実行可能な撮像処理部と、
   上記撮像処理部で生成された撮像画像データについて測光処理を行う検波部と、
   を備えた撮像装置における撮像画像データの輝度算出方法として、
   上記通常撮像モードか上記合成撮像モードかに応じて、上記検波部の測光処理方式の切換制御を行うステップと、
   上記検波部の測光処理により得られた値を入力し、入力した値に対して、上記検波部で実行された測光処理方式に応じた演算を行って単位面積当たりの輝度値を算出するステップと、
   を備えた輝度算出方法。
9. １つの露光画像信号について信号処理を行って撮像画像データを生成する通常撮像モードの撮像動作と、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得、上記長時間露光画像信号と上記短時間露光画像信号の合成処理を含む信号処理を行って撮像画像データを生成する合成撮像モードの撮像動作とが選択的に実行可能な撮像処理部と、
   上記撮像処理部で生成された撮像画像データについて測光処理を行う検波部と、
   を備えた撮像装置における撮像画像データの輝度算出のためのプログラムとして、
   上記通常撮像モードか上記合成撮像モードかに応じて、上記検波部の測光処理方式の切換制御を行うステップと、
   上記検波部の測光処理により得られた値を入力し、入力した値に対して、上記検波部で実行された測光処理方式に応じた演算を行って単位面積当たりの輝度値を算出するステップと、
   を演算処理装置に実行させるプログラム。

Images