JP2009088930A - 撮像装置、撮像方法及び撮像プログラム - Google Patents

Abstract

【課題】 ワイドダイナミックレンジカメラの合成撮影モードを継続して運用する広域監視カメラシステムにおいて、逆光状態で露光完了している状況から順光の監視エリアに移る場合に、逆光状態で働いた補正がかかることなく、通常撮影モードと同等の時間で露光を完了する。
【解決手段】 被写体からの入射光から生成する撮像画像信号として、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像素子部２により得られた上記長時間露光画像信号と上記短時間露光画像信号とを信号処理部４で合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する。制御部９は、通常撮像モードの撮像動作状態から合成撮像モードの撮像動作状態に切り替わるときに、露光補正に用いる補正値を初期化する。
【選択図】 図１

Description

本発明は、長時間露光画像信号と短時間露光画像とを合成してダイナミックレンジの広い合成画像信号を生成する撮像装置、撮像制御方法及び撮像制御プログラムに関する。

従来のＣＣＤ（Charge Coupled Device）等の固体撮像素子を用いた撮像装置では、撮像素子に入力される光量（露光量）を、絞りや電子シャッタースピードによって調節している。つまり、明るいシーンを撮像するときには撮像素子の出力信号が飽和していわゆる白つぶれ（露光過多：overexposure）が発生しないように露光量を少なくし、逆に暗いシーンではいわゆる黒つぶれ（露光不足：underexposure）が発生しないように露光量を多くするように、露光量を調節している。

しかしながら、明暗の差が大きいシーンの撮像（逆光撮像、屋内外同時撮像）する場合、使用する固体撮像素子のダイナミックレンジ不足により、露光量の調節だけでは、明るい部分が飽和して白とびが発生してしまったり、暗い部分で黒つぶれが発生してしまい、両方の部分を適正に再現できないという問題がある。

この問題を解決するために、フィールド内で二つの異なる電子シャッタースピードを使用したり、フィールドごとに電子シャッタースピードを変えて、明るいエリアの情報と暗いエリアの情報とを別々に撮像し、得られたそれぞれの情報を１枚の画像に合成する方法が既に開発されている（例えば、特許文献１参照）。

また、これを応用したものとして、ダイナミックレンジの広い画像を撮像可能な装置（ワイドダイナミックレンジカメラ）があり、その合成画像の品質を向上させる装置・方法が提案されている（例えば、特許文献２、３参照）。

一般的にワイドダイナミックレンジカメラの動作状態として、ワイドダイナミックレンジ撮影を行う合成撮影モードと、ワイドダイナミックレンジ撮影を行わない通常撮影モードの２種類があるが、監視カメラの運用形態としては、常時合成撮影モードで運用されているケースが多い。主な理由は、自動および手動でカメラ自体を旋回させ、広域を監視するという役割を持つため、ワイドダイナミックレンジを必要とする場所と必要としない場所が混在し、また時刻によっても変わる可能性があるため、どちらの撮影モードが適しているか予想できないためである。また撮影モードを被写体の状況に応じて自動または手動で切り替えることも可能であるが、撮影モードに応じて信号処理アルゴリズムが切り替わる際に、出力される映像信号が急激に変化するため、動画像としての品質が低下してしまうという問題がある。

広域を監視するような監視カメラの場合、被写体輝度が監視エリアによって大きく異なることが想定されるので、監視エリア毎に撮影モードが頻繁に変わり、それに伴い映像変化を生ずるよりも、合成撮影モードを継続する方が望ましい。

また、監視カメラにおいては、合成撮影が必要な明暗の差が非常に大きいシーン（逆光撮影、屋内外同時撮影）と、合成撮影が必要ない明暗差の少ないシーン（通常撮影モードが適しているようなシーン）のどちらも、合成撮影モードで撮影することが望まれ、どちらの状況にあっても品質の高い画像を要求される。

特開平６−１４１２２９号公報 特開２００２−８４４４９号公報 特開２００４−１２０２０５号公報

ところで、図１５に示すように、屋内に設置された監視カメラ１００では、出入口１０１の外に位置している被写体１０２は逆光状態で撮影しなければならず、また、窓ガラス１０３を介して太陽光が照射される明るい領域１０４と、太陽光が届かない隅の暗い領域１０５など、ワイドダイナミックレンジを必要とする場所と必要としない場所が混在し、また時刻によっても変わる可能性がある。

上記監視カメラ１００は、次の条件で監視している場合、
（１）常時合成撮影モードで運用している。
（２）監視エリアのＡ方向の屋内外同時撮影（逆光）エリアからＢ方向の屋内撮影（順光）にユーザーが自動または手動で撮像装置を旋回（パン・チルト）させて切り替える。
（３）既にＡでは露光が完了していて、最適な合成画像を得られている。
（４）合成撮影モードでは、通常撮影モードに対して、相対的に長い露光時間を要する撮像システムである。

合成撮影モードの効果により、Ａ方向の逆光状態で撮影する黒つぶれ・白とび補正がかかっている撮影状態から、Ｂ方向の補正を必要としない撮影状態へ変わるので、Ｂ方向の撮像を始めると補正量を段階的に落としていくので、補正がなくなり適正な露光状態になるまでに、通常撮影モードに比べて長い時間を要する。例えば、通常撮影モードの露光処理が２秒程度で収束するのに対して、合成撮影モードでは１５秒程度の時間を要する。これは、合成撮影モードの露光制御の性質によるもので、黒つぶれや白とび補正を段階的に行い、それに伴う合成画像のヒストグラムおよび輝度の変化を参照しながら、フィードバック制御するからである。また合成画像の輝度変化を緩やかにするためでもある。

しかしながら、Ａ方向の撮影状態で機能した補正がＢ方向の撮影状態に移る際に働いてしまうため、Ｂ方向での監視を開始したときに必要のないＡ方向での補正が働き、適正輝度から外れた映像が出力されてしまい、さらにその映像が適正露出になるまでにかかる時間が長いことから、画質が悪い、露光が遅いなどといった問題を生じる。

そこで、本発明の目的は、上述の如き従来の実情に鑑み、ワイドダイナミックレンジカメラの合成撮影モードと通常撮影モードを切り替えて使用する広域監視カメラシステムにおいて、一旦、逆光状態で露光完了している状況から、順光の監視エリアに移る場合に、逆光状態で働いた補正がかかることなく、通常撮影モードと同等の時間で露光を完了することができる撮像装置、撮像制御方法及び撮像制御プログラムを提供することにある。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。

本発明では、単位期間に１つの露光画像信号を出力する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する合成撮像モードの撮像動作とが選択的に実行可能な撮像手段により画像信号を得るにあたり、上記撮像手段が通常撮像モードの撮像動作状態から合成撮像モードの撮像動作状態に切り替わるときに、上記撮像手段の露光補正制御に用いる補正値を初期化してから、合成撮像モードで画像信号を得るようにすることによって、短時間で合成画像の画質を最適にする。

すなわち、本発明に係る撮像装置は、単位期間に１つの露光画像信号を出力する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する合成撮像モードの撮像動作とが選択的に実行可能な撮像部と、上記撮像部により合成撮像モードの撮像動作で得られた上記長時間露光画像信号と上記短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理部と、上記合成画像信号についての輝度積算値を生成する検波部と、上記輝度積算値を用いて、上記撮像部の露光補正制御を行う制御部とを備え、上記制御部は、上記撮像部が通常撮像モードの撮像動作状態から合成撮像モードの撮像動作状態に切り替わるときに、上記撮像部の露光補正に用いる補正値を初期化することを特徴とする。

本発明に係る撮像装置において、上記検波部は、例えば、上記合成画像信号についての輝度積算値と輝度ヒストグラムを生成し、上記制御部は、上記輝度積算値と上記輝度ヒストグラムを用いて、上記撮像部の露光補正制御を行う。

また、本発明に係る撮像装置において、上記制御部は、上記撮像部が通常撮像モードの撮像動作状態から合成撮像モードの撮像動作状態に切り替わるときに、例えば、上記撮像部の露光補正に用いる黒つぶれ補正を行うための補正値である目標輝度積算値を最小値とする初期化処理を行う。

また、本発明に係る撮像装置において、上記制御部は、上記撮像部が通常撮像モードの撮像動作状態から合成撮像モードの撮像動作状態に切り替わるときに、例えば、上記撮像部の露光補正に用いる白つぶれ補正を行うための補正値である目標短時間露光時間を最大値とする初期化処理を行う。

また、本発明に係る撮像装置において、上記制御部は、例えば、上記撮像部の旋回操作を示す信号に応じて上記撮像部を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替える。

また、本発明に係る撮像装置において、上記制御部は、例えば、上記撮像部の旋回速度が所定速度以上であったときに上記撮像部を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替える。

また、本発明に係る撮像装置において、上記制御部は、例えば、上記撮像部のズーム操作を示す信号に応じて上記撮像部を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替える。

さらに、本発明に係る撮像装置において、上記制御部は、例えば、上記検波部により得られた輝度積算値の変化が所定値以上であったときに上記撮像部を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替える。

本発明に係る撮像制御方法は、単位期間に１つの露光画像信号を出力する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する合成撮像モードの撮像動作とが選択的に実行可能な撮像手段により画像信号を得る撮像ステップと、上記撮像手段により得られた露光画像信号、または、長時間露光画像信号と短時間露光画像信号にゲイン処理を施す前処理ステップと、上記前処理ステップでゲイン処理が施された露光画像信号に信号処理を施して画像信号を生成し、また、上記前処理ステップでゲイン処理が施された長時間露光画像信号と短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理ステップと、上記合成画像信号についての輝度積算値を生成する検波ステップと、上記検波ステップで生成された上記輝度積算値を用いて、上記撮像手段の露光補正制御を行う露光補正制御ステップと、上記撮像手段が通常撮像モードの撮像動作状態から合成撮像モードの撮像動作状態に切り替わるときに、上記露光補正制御ステップにおいて上記撮像手段の露光補正制御に用いる補正値を初期化する初期化ステップとを有することを特徴とする。

本発明に係る撮像制御方法において、上記検波ステップでは、例えば、上記合成画像信号についての輝度積算値と輝度ヒストグラムを生成し、上記露光補正制御ステップでは、上記輝度積算値と上記輝度ヒストグラムを用いて、上記撮像手段の露光補正制御を行う。

また、本発明に係る撮像制御方法において、上記初期化ステップでは、上記撮像手段が通常撮像モードの撮像動作状態から合成撮像モードの撮像動作状態に切り替わるときに、例えば、上記撮像手段の露光補正に用いる黒つぶれ補正を行うための補正値である目標輝度積算値を最小値とする初期化処理を行う。

また、本発明に係る撮像制御方法において、上記初期化ステップでは、上記撮像手段が通常撮像モードの撮像動作状態から合成撮像モードの撮像動作状態に切り替わるときに、例えば、上記撮像手段の露光補正に用いる白つぶれ補正を行うための補正値である目標短時間露光時間を最大値とする初期化処理を行う。

また、本発明に係る撮像制御方法では、例えば、上記撮像手段の旋回操作を示す信号に応じて上記撮像手段を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替える。

また、本発明に係る撮像制御方法では、例えば、上記撮像手段の旋回速度が所定速度以上であったときに上記撮像手段を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替える。

また、本発明に係る撮像制御方法では、例えば、上記撮像手段のズーム操作を示す信号に応じて上記撮像手段を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替える。

さらに、本発明に係る撮像制御方法では、例えば、上記検波ステップで得られた輝度積算値の変化が所定値以上であったときに上記撮像手段を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替える。

本発明は、単位期間に１つの露光画像信号を出力する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する合成撮像モードの撮像動作とが選択的に実行可能な撮像手段と、上記撮像手段により得られた露光画像信号、または、長時間露光画像信号と短時間露光画像信号にゲイン処理を施す前処理手段と、上記前処理手段でゲイン処理が施された長時間露光画像信号と短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理手段と、上記合成画像信号についての輝度積算値を生成する検波手段と、上記検波手段で生成された記輝度積算値を用いて、上記撮像手段の露光補正制御を行う制御手段とを備える撮像装置を制御する制御方法をコンピュータに実行させる撮像制御プログラムであって、上記検波手段で生成された記輝度積算値を用いて、上記制御手段により上記撮像手段の露光補正制御を行う上記露光補正制御ステップと、上記撮像手段が通常撮像モードの撮像動作状態から合成撮像モードの撮像動作状態に切り替わるときに、上記露光補正制御ステップにおいて上記制御手段による上記撮像手段の露光補正制御に用いる補正値を初期化する初期化ステップを有する制御方法をコンピュータに実行させることを特徴とする。

本発明に係る撮像制御プログラムは、例えば、上記検波手段により上記合成画像信号についての輝度積算値と輝度ヒストグラムを生成する検波ステップを有し、上記露光補正制御ステップでは、上記検波ステップで生成した上記輝度積算値と上記輝度ヒストグラムを用いて、上記撮像手段の露光補正制御を行う制御方法をコンピュータに実行させる。

また、本発明に係る撮像制御プログラムにおいて、上記初期化ステップでは、上記撮像手段が通常撮像モードの撮像動作状態から合成撮像モードの撮像動作状態に切り替わるときに、例えば、上記撮像手段の露光補正に用いる黒つぶれ補正を行うための補正値である目標輝度積算値を最小値とする初期化処理を行う制御方法をコンピュータに実行させる。

また、本発明に係る撮像制御プログラムにおいて、上記初期化ステップでは、上記撮像手段が通常撮像モードの撮像動作状態から合成撮像モードの撮像動作状態に切り替わるときに、例えば、上記撮像手段の露光補正に用いる白つぶれ補正を行うための補正値である目標短時間露光時間を最大値とする初期化処理を行う制御方法をコンピュータに実行させる。

また、本発明に係る撮像制御プログラムでは、例えば、上記撮像手段の旋回操作を示す信号に応じて上記撮像手段を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替える動作状態切り替えステップを有する制御方法をコンピュータに実行させる。

また、本発明に係る撮像制御プログラムでは、例えば、上記撮像手段の旋回速度が所定速度以上であったときに上記撮像手段を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替える動作状態切り替えステップを有する制御方法をコンピュータに実行させる。

また、本発明に係る撮像制御プログラムでは、例えば、上記撮像手段のズーム操作を示す信号に応じて上記撮像手段を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替える動作状態切り替えステップを有する制御方法をコンピュータに実行させる。

さらに、本発明に係る撮像制御プログラムでは、例えば、上記検波手段で得られた輝度積算値の変化が所定値以上であったときに上記撮像手段を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替える動作状態切り替えステップを有する制御方法をコンピュータに実行させる。

本発明によれば、通常撮像モードから合成撮像モードに切り替える毎に、補正の初期化が行われるので、ワイドダイナミックレンジカメラの合成撮影モードを継続して運用することを必要とされる広域監視カメラシステムにおいて、一旦、合成撮影モードで逆光状態で露光完了している状況から、通常撮像モードに切り替え、さらに、通常撮像モードから合成撮影モードの順光の監視エリアに移る場合に、逆光状態で働いた補正がかかることなく、通常撮影モードと同等の時間で露光が完了することができる。

また、例えば一定時間間隔で各監視エリアを自動巡回し、その映像を録画機などで記録しているような運用を考えると、補正により露光を大きく外すような映像がなくなるので、適切な露光状態の映像がより多く記録できるようになり、改善の効果は大きい。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。

本発明は、例えば図１に示すような構成の撮像装置１０に適用される。

ここで、この撮像装置１０は、監視エリアを監視するために旋回制御部１５により旋回操作される監視カメラであって、ワイドダイナミックレンジカメラとしての合成撮像モードの撮像動作が可能な撮像装置である。もちろん一般ユーザーが通常用いるデジタルスチルカメラ、デジタルビデオカメラなどとしても適用可能である。

この撮像装置１０は、撮像光学系１、撮像素子部２，前処理部３、信号処理部４、出力部５、検波部６、タイミングジェネレータ７、光学部品駆動部８、制御部９などを備える。

撮像光学系１は、レンズや不要な波長を除去する光学フィルタ、絞り１ａ等の光学部品を備える。被写体から入射された光は撮像光学系１における各光学部品を介して撮像素子部２に導かれる。

撮像素子部２は、例えばＣＣＤセンサアレイ、ＣＭＯＳセンサアレイなどの固体撮像素子部として構成される。この撮像素子部２は、撮像光学系１を介して導かれた光を光電変換し、撮像画像としての電気信号を出力するもので、この撮像装置１０では、通常撮像モードと合成撮像モードとで異なる露光処理を行う。

すなわち、通常撮像モードでは図２（ａ）のように１フィールド期間に所定時間の露光としての通常露光を行って露光画像信号としての電気信号を出力する。一方、合成撮像モードでは、撮像素子部２では１フィールド期間に図２（ｂ）のような長時間露光と短時間露光を行い、長時間露光画像信号と短時間露光画像信号としての電気信号を時分割出力する。

以下の説明では、図２（ａ）のような通常撮像モードでの露光動作を、説明上「通常露光」と言うこととし、図２（ｂ）のような合成撮像モードでの「長時間露光」「短時間露光」と区別する。また、通常露光により得られた露光画像信号を「通常露光画像信号」といい、「長時間露光画像信号」「短時間露光画像信号」と区別する。

なお、撮像素子部２は、固体撮像素子を用いる構成に限られない。例えば撮像管のような非固体撮像素子を用いる構成でも良い。非固体撮像素子についても、メカニカルシャッタ、液晶シャッタ等を利用して、長時間露光、短時間露光を行ったり、通常露光、長時間露光、短時間露光の露光時間を変化させることは可能である。

ここで、通常撮像モードと合成撮像モードについて述べておく。

一般的に使用される撮像装置における通常の撮像動作（通常撮像モード）では、被写体における非常に暗い部分から非常に明るい部分までの広範囲にわたるダイナミックレンジを扱うことが困難である。例えば晴天の昼間の時間帯に，屋外が見える状態で、屋内において撮像する場合、屋内の被写体に露光基準を合わせると、屋外の部分が階調を失い白とびしてしまう。また、逆に屋外の部分に露光基準を合わせれば、屋内の被写体が黒つぶれしてしまう。即ち被写体内での輝度差が著しい場合、その輝度のダイナミックレンジに対応した撮像画像を得ることが困難となる。

これに対して合成撮像モードの撮像動作では、例えば電子シャッタでシャッタ速度を変えて、露光時間の異なる複数の画像を合成する処理を行うことにより、ダイナミックレンジの広い、白とびや黒つぶれの生じない撮像画像を得るようにしている。

但し、合成撮像モードで撮られた画像は、視覚的に多少の違和感が生ずることがあり、このためユーザーの好みや、撮像目的などに応じて、通常撮像モードと合成撮像モードを切り換えて撮像できるようにすることが好適となる。

図２（ａ），（ｂ）は、撮像素子部２での、１フィールド内の露光時間と蓄積される露光量（電荷量）を示している。

図２（ａ）は通常撮像モードの場合であり、撮像の単位期間である、１／６０秒の１フィールド期間において露光を行う。この図２（ａ）では露光時間を１／６０秒としているが、もちろん露光時間は１／６０秒に限られない。電子シャッタースピードとして或る露光時間が設定される。このように撮像素子部では１フィールド期間に或る露光時間の露光が行われ、１フィールドの露光画像信号が得られる。この露光画像信号に対して所定の信号処理が行われ、１フィールドの撮像画像データが生成される。

図２（ｂ）は合成撮像モードの場合であり、この図２（ｂ）では１／６０秒の１フィールド期間において、１／６４秒の長時間露光と、１／２０００秒の短時間露光を行う場合を示している。なお、長時間露光時間と短時間露光時間は可変制御可能である。

この長時間露光と短時間露光を行うことで、１フィールド期間に、長時間露光画像信号と短時間露光画像信号を得る。そしてこの両画像信号を合成することで１フィールドの撮像画像データが生成される。

なお、長時間露光と短時間露光は、必ずしも１フィールド期間に行わなければならないものではなく、或るフィールド期間に長時間露光を行い、次のフィールド期間に短時間露光を行って、各露光画像信号を合成するような処理も考えられる。

図３は、長時間露光画像信号と短時間露光画像信号の合成処理の説明のために、長時間露光画像信号の入出力輝度特性Ｌと、短時間露光画像信号の入出力輝度特性Ｓを示している。

合成処理においては、例えば所定の輝度閾値で示される切り替えポイントを合成位置とする。そして、合成位置すなわち切替ポイントよりも低輝度の画素は、長時間露光画像信号の画素信号を採用する。一方、合成位置すなわち切替ポイントよりも高輝度の画素については、短時間露光画像信号の画素信号を採用する。このとき、長時間露光画像と短時間露光画像との露光比を短時間露光画像に乗算することで双方の画像のレベル合わせを行う。

仮に長時間露光画像と短時間露光画像との露光比が１０：１であるとすると、短時間露光画像の露光は長時間露光画像の１０分の１である。しかし存在する光の量としては短時間露光画像の輝度信号レベルの１０倍は光量がある。したがって短時間露光画像信号にゲインＫとして１０を乗算することによりレベルを合わせる。

このように短時間露光画像信号についてゲイン乗算を行い、図３に示すように長時間露光画像信号特性とレベルの合った特性ＫＳを得る。

結果として、特性Ｌ−ＫＳの合成画像を生成する。すなわち、合成画像では、被写体内で比較的暗い領域は長時間露光画像信号による黒つぶれのない画像が得られ、比較的明るい領域は短時間露光画像信号による白とびのない画像が得られる。

なお、出力画像に明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像する合成撮像モードの手法としては、上記のように露光時間の異なる明るい画像と暗い画像とを合成する以外にも各種の手法がある。

例えば画素単位に感度を変えて撮像素子から同じ露光条件の信号のみを抜き出して画像を再生し、露光条件の異なる１又は２以上の画像を合成する方法もある。

またはプリズムにより入射光を分けて、撮像素子と、透過する光を全波長に渡って減少させる、つまり入射光量を等しく減少させるＮＤフィルタ（Neutral Density Filter：光量調節フィルタ）のような減光機能を持つものとを張り合わせた撮像素子から出力される信号を合成する方法などもある。

これらの手法を採用した合成撮像モードによれば、通常撮像モードによる撮像の場合のダイナミックレンジよりも非常に広いダイナミックレンジを得ることができる。従って出力画像に明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像することが可能であり、例えば強い外光が差し込む室内，照度差の激しい場所などを撮像する場合に適している。具体的には銀行などの店舗の出入口、または交通状況の把握のために交通道路など、日中、夜間など撮像される時間帯によりダイナミックレンジが大きく異なる場合の撮像には、合成撮像モードが好適となる。

この撮像装置１０における前処理部３は、いわゆるアナログフロントエンドであり、撮像素子部２から出力される撮像画像としての電気信号に対してＣＤＳ（correlated double sampling ：相関２重サンプリング）処理、プログラマブルゲインアンプによるゲイン処理、Ａ／Ｄ変換処理を行う。そしてこれらの処理を行った露光画像信号を信号処理部４に供給する。すなわち、通常撮像モードの場合は通常露光画像信号を信号処理部４に供給し、合成撮像モードの場合は長時間露光画像信号と短時間露光画像信号を信号処理部４に供給する。

信号処理部４は、通常撮像モード、合成撮像モードのそれぞれに応じて所要の信号処理を行って、撮像画像データを生成する。

通常撮像モードの場合は、入力される通常露光画像信号に対して例えばガンマ補正処理やホワイトバランス処理等を行って撮像画像データとする。

また、合成撮像モードの場合は、入力される長時間露光画像信号と短時間露光画像信号について図３で述べた合成処理を行う。すなわち、時分割的に供給される長時間露光画像信号と短時間露光画像信号のタイミング調整や色バランス補正処理、長時間露光画像信号に対して短時間露光画像信号の輝度レベルを一致させるゲイン処理、および合成処理を行う。また合成画像信号に対するガンマ補正処理やホワイトバランス処理も行って撮像画像データとする。

信号処理部４は、生成した撮像画像データを出力部５及び検波部６に出力する。

出力部５は、信号処理部４からの撮像画像データについて、モニタディスプレイにおける表示のための処理や、或いは外部機器への送信のための処理を行う。

検波部６は、信号処理部４からの合成画像信号についての輝度分析処理を行い、輝度積算値と輝度ヒストグラムの情報を生成し、制御部９に供給する。

制御部９は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを有するマイクロコンピュータによって構成され、撮像装置の全体の動作を制御する。また、制御部９は撮像時の露光補正処理を行う。

制御部９におけるＲＯＭには、これらの制御処理を実行させる撮像制御プログラムが格納されており、該撮像制御プログラムに基づいて、上記各制御のための必要な演算・制御処理を実行する。

タイミングジェネレータ７は、例えばＣＣＤなどの撮像素子部２に必要な動作パルスを生成する。例えば垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子部２に供給する。このタイミングジェネレータ７により撮像素子部２を駆動（電子シャッタ機能）させることが可能となる。このタイミングジェネレータ７は、制御部９から通常撮像モードが指示された場合は、撮像素子部２に図２（ａ）のように１フィールド期間に所定時間の通常露光を実行させ、また合成撮像モードが指示された場合は、撮像素子部２に図２（ｂ）のように露光時間が相対的に長い長時間露光と、露光時間が相対的に短い短時間露光を実行させる。

もちろん、通常撮像モードでの通常露光時間や、合成撮像モードでの長時間露光時間及び短時間露光時間を可変することも可能である。

光学部品駆動部８は、撮像光学系１における光学部品の駆動を行うもので、例えば、絞り１ａやズームレンズ等の駆動を行う駆動回路部からなる。

このような構成の撮像装置１０において、制御部９による制御に基づいて、図４のフローチャートに示す手順にしたがった撮像動作が行われる。

すなわち、この撮像装置１０では、撮像動作を開始すると、制御部９は、先ず、ステップＳＴ１において、撮像モードの判定処理を行い、次のステップＳＴ２で合成撮影モードであるか否かを判定する。

上記ステップＳＴ１の撮像モードの判定処理では、制御部９は、旋回制御部１５から供給される撮像素子部２の旋回操作を示す信号を撮影モードを示す情報として用いて、撮像モードの判定処理を行い、撮像素子部２が旋回操作状態ある場合に通常撮像モードであり、また、旋回停止状態ある場合に合成撮像モードであるとする。

次のステップＳＴ２では、合成撮影モードであるか否かを判定する動作モード判定を行い、その判定結果が「ＹＥＳ」、すなわち、合成撮影モードである場合には、ステップＳＴ３−１に移って合成撮像処理を行い、また、判定結果が「ＮＯ」、すなわち、通常撮影モードである場合には、ステップＳＴ３−２に移って通常撮像処理を行う。

ステップＳＴ３−１の合成撮像処理では、タイミングジェネレータ７により撮像素子部２の駆動を制御して、撮像素子部２に一つの電子シャッタースピードを設定して、図２（ｂ）のような長時間露光と短時間露光を実行する。すなわち、タイミングジェネレータ７は、１フィールド期間内に異なる二つの電子シャッタースピードを設定することが可能であり、１フィールド期間に図２（ｂ）の長時間露光と短時間露光を撮像素子部２に実行させる。これにより露光量の違う二つの撮像画像信号（例えば露光時間１／６４秒の長時間露光画像信号と、露光時間１／２０００秒の短時間露光画像信号）が得られる。長時間露光画像信号と短時間露光画像信号は、それぞれ前処理部３で処理されて信号処理部４に供給される。

そして、次のステップＳＴ４において、制御部９は、信号処理部４により図３で述べた手法で合成処理を行う。信号処理部４は、前処理部３でデジタル化された長時間露光画像信号と短時間露光画像信号を合成し、ダイナミックレンジを拡大させ、出力部５と検波部６へ出力する。

次のステップＳＴ５−１では、検波部６により検波処理を行う。

合成画像信号は検波部６にも供給される。検波部６は、合成画像信号の輝度積算値と輝度ヒストグラムを生成し、それをフィールド毎に制御部９に送信する。

このステップＳＴ５−１の検波処理では、図５のフローチャートに示すように、ステップＳＴ５１で１フィールドの合成画像信号の輝度積算を行い、次のステップＳＴ５２で輝度ヒストグラムを生成する。

図６に輝度ヒストグラムの例を示す。この例では、輝度について黒レベルＢから白レベルＷまでを、「Ｂ」「ｍｂ１」「ｍｂ２」「ｍｂ３」「ｍｗ３」「ｍｗ２」「ｍｗ１」「Ｗ」という８段階の輝度に分け、この８段階の各輝度についての１フィールド画像内での割合（％）を示すものとしている。

例えば図６（ａ）は合成画像信号の比較的暗めの画像となったフィールドの輝度ヒストグラムの例であり、図６（ｂ）は比較的明るめの画像となったフィールドの輝度ヒストグラムの例である。

次のステップＳＴ６では、制御部９は、前フィールドが合成撮影モードであったか否を判定する。

そして、このステップＳＴ６における判定結果が「ＮＯ」、すなわち、前フィールドが通常撮影モードであった場合には、ステップＳＴ７の補正値の初期化処理を行い、露光補正に用いる補正値を設定してから、次のステップＳＴ８に移って露光補正処理を行う。

ここで、ステップＳＴ７の補正値の初期化処理では、図７のフローチャートに示すように、先ずステップＳＴ７１において、黒つぶれ補正に用いる補正値の初期化を行い、黒つぶれ補正に用いる補正値である目標輝度積算値（Ｙｔ）を最小値（Ｙｍｉｎ）とし、次のステップＳＴ７２において、白つぶれ補正に用いる補正値の初期化を行い、白つぶれ補正に用いる補正値である目標短時間露光時間（Ｔｔ）を最大値（Ｔｍｉｎ）する。

また、上記ステップＳＴ６における判定結果が「ＹＥＳ」、すなわち、前フィールドが合成撮影モードであった場合には、そのままステップＳＴ８に移って露光補正処理を行う。

ステップＳＴ８の露光補正処理では、制御部９は、輝度ヒストグラムを検査し、黒つぶれ、白とびがなくなるような画像になるように、目標輝度積算値および目標短時間露光時間を決定する。

黒つぶれの補正では、輝度ヒストグラムの黒部分（Ｂ）の比率を検査することで黒つぶれを検出し、黒部分（Ｂ）が一定の割合になる様に、目標輝度積算値を設定する。

白とびの補正では、輝度ヒストグラムの白部分（Ｗ）の比率を検査することで白とびを検出し、白部分（Ｗ）が一定の割合になる様に短時間露光時間を設定する。

上記ステップＳＴ８の露光補正処理では、図８のフローチャートに示すように、制御部９は、例えば１フィールド期間中に、ステップＳＴ８１において、輝度ヒストグラムを検査し、黒つぶれを検出して、ステップＳＴ８２で目標輝度積算値Ｙｔを決定する黒つぶれ補正の処理を行い、さらに、ステップＳＴ８３で輝度ヒストグラムを検査し、白とびを検出して、ステップＳＴ８４で目標短時間露光時間Ｔｔを決定する白とび補正の処理を行う。

上記ステップＳＴ８１，ＳＴ８２の黒つぶれ補正の処理では、図９のフローチャートに示すように、ステップＳＴ８１の輝度ヒストグラムから黒つぶれを検出する処理として、ステップＳＴ８１１，ＳＴ８１２が行われ、ステップＳＴ８２の目標輝度積算値Ｙｔを決定する処理としてステップＳＴ８２１，ＳＴ８２２，ＳＴ８２３が行われる。

すなわち、制御部９は、まずステップＳＴ８１１で輝度ヒストグラムの黒部分（Ｂ）の比率が１０％以上であるか否かを判断する。１０％以上であれば、合成画像信号において黒つぶれが発生していると判断し、ステップＳＴ８２１に進んで、目標輝度積算値Ｙｔを、現在の目標輝度積算値Ｙｔに固定値Ｃｙを加算した値に更新する。つまり、露光量を多くする方向に更新する。

また、輝度ヒストグラムの黒部分（Ｂ）の比率が１０％未満であった場合は、ステップＳＴ８１２で、黒部分（Ｂ）の比率が５％以下であるかを判断する。５％以下であれば、ステップＳＴ８２２に進んで、目標輝度積算値Ｙｔを、現在の目標輝度積算値Ｙｔから固定値Ｃｙを減算した値に更新する。つまり露光量を少なくする方向に更新する。

ステップＳＴ７２１で５％以下ではない、つまり黒部分（Ｂ）が５〜１０％の範囲であった場合は、適正な露光量であるとしてステップＳＴ８２３に進み、目標輝度積算値Ｙｔを現状のまま維持する。

すなわち、黒つぶれ補正の処理では、輝度ヒストグラムの黒部分（Ｂ）の比率を検査することで黒つぶれを検出し、それが一定の割合になる様に、目標輝度積算値（Ｙｔ）を設定する。新たな目標輝度積算値は現在のものに対して一定量（Ｃｙ）を加減することで求める。一定量（Ｃｙ）で加減をするのは、徐々に収束すべき目標輝度積算値（Ｙｔ）を求め、出力映像の輝度変化を緩やかにするためである。

また、上記ステップＳＴ８３，ＳＴ８４の白とび補正の処理では、図１０のフローチャートに示すように、ステップＳＴ８３の輝度ヒストグラムから白とびを検出する処理としてステップＳＴ８３１，ＳＴ８３２が行われ、ステップＳＴ８４の短時間露光時間Ｔｔを決定する処理としてステップＳＴ８４１，ＳＴ８４２，ＳＴ８４３が行われる。

すなわち、制御部９は、まずステップＳＴ８３１で輝度ヒストグラムの白部分（Ｗ）の比率が１０％以上であるか否かを判断する。１０％以上であれば、合成画像信号において白とびが発生していると判断し、ステップＳＴ８４１に進んで、短時間露光時間Ｔｔを、現在の短時間露光時間Ｔｔから固定値Ｃｔを減算した値に更新する。つまり、露光量を少なくする方向に更新する。

また、輝度ヒストグラムの白部分（Ｗ）の比率が１０％未満であった場合は、ステップＳＴ８３２で、白部分（Ｗ）の比率が５％以下であるかを判断する。５％以下であれば、ステップＳＴ８４２に進んで、短時間露光時間Ｔｔを、現在の短時間露光時間Ｔｔに固定値Ｃｔを加算した値に更新する。つまり露光量を多くする方向に更新する。

ステップＳＴ８３２で５％以下ではない、つまり白部分（Ｗ）が５〜１０％の範囲であった場合は、適正な露光量であるとしてステップＳＴ８４３に進み、短時間露光時間Ｔｔを現状のまま維持する。

白とび補正の処理では、輝度ヒストグラムの白部分（Ｗ）の比率を検査することで白とびを検出し、一定の割合になる様に目標短時間露光時間（Ｔｔ）を設定する。新たな目標短時間露光時間（Ｔｔ）は現在のものに対して一定量（Ｃｔ）を加減することで求める。一定量（Ｃｔ）で加減するのは、徐々に収束すべき目標短時間露光時間（Ｔｔ）を求め、出力映像の輝度変化を緩やかにするためである。

以上の処理で、目標輝度積算値Ｙｔと短時間露光時間Ｔｔが決定される。そして、上記ステップＳＴ８の露光補正処理で、上述のように目標輝度積算値Ｙｔと短時間露光時間Ｔｔが用いられて露光制御が行われることになる。

このような露光補正処理、露光制御処理を含む図４のフローチャートに示す処理が例えばフィールド期間毎に繰り返されることで、合成画像信号において黒つぶれや白とびが発生しない露光状態に収束されていく。

なお、図９，図１０に示したように、現在の目標輝度積算値と固定値との演算により新たな目標輝度積算値を設定し、また現在の短時間露光時間と固定値との演算により新たな短時間露光時間を設定することで、露光量が緩やかに変化されながら合成画像信号の輝度が調節されることになる。

そして、ステップＳＴ９の露光制御処理では、制御部９は、上記露光補正処理として決定した目標輝度積算値および短時間露光時間を用いて露光制御を行う。

黒つぶれに対応する長時間露光量については、検波部６から受信した現在の輝度積算値と、上記露光補正処理で設定した新たな目標輝度積算値の差分に基づいて、絞り１ａの開口量、撮像素子部２の長時間露光時間、前処理部３のＰＧＡ（プログラマブルゲインアンプ）のゲインについて、それぞれ必要な制御量を計算する。そして光学部品駆動部８に絞り１ａの駆動を実行させ、またタイミングジェネレータ７に長時間露光時間を指示し、また前処理部３にＰＧＡのゲインを指示する。なお、これらの３つの制御を全て行う他、これらの内の１つ又は２つの制御を行うようにしても良い。

白とびに対応する短時間露光量については、上記露光補正処理で設定された短時間露光時間をタイミングジェネレータ７に指示し、撮像素子部２の短時間露光時間を変化させることとで、必要な露光量を得る。

なお、絞り１ａの開口量やＰＧＡゲインは、短時間露光量にも影響を与えるが、合成画像としては長時間露光画像信号側が支配的となるため、絞り１ａやＰＧＡゲインについては長時間露光量の補正に用いるようにしている。但し、短時間露光量の調節に絞り１ａやＰＧＡゲインを利用してもよい。

すなわち、上記撮像装置１０における制御部９は、図１１のフローチャートに示すように、補正値の初期化処理を行い（ステップＳＴ１１）、合成撮影モードの撮影動作状態とし（ステップＳＴ１２）、この合成撮影モードの撮影動作状態において、シーンチェンジの開始であるか否かの判定処理を繰り返し行い（ステップＳＴ１３）、通常撮影モードの撮影動作状態とし（ステップＳＴ１４）、この通常撮影モードの撮影動作状態において、シーンチェンジの終了であるか否かの判定処理を繰り返し行い（ステップＳＴ１５）、シーンチェンジの終了になると、上記ステップＳＴ１１に戻って補正値の初期化処理を行い、合成撮影モードの撮影動作状態とする（ステップＳＴ１２）ように、撮像装置１０の撮像動作を制御している。

ここで、上記撮像装置１０における制御部９は、旋回制御部１５から供給される旋回操作を示す信号をシーンチェンジのトリガとなり得る信号として検出し、合成撮影モードの撮影動作状態から通常撮影モードの撮影動作状態に切り替えるようにしているが、上記ステップＳＴ１の撮像モードの判定処理において、例えば、旋回速度情報やズーム操作信号などを上記シーンチェンジのトリガとなる信号として検出して、合成撮影モードの撮影動作状態から通常撮影モードの撮影動作状態に切り替えるようにしてもよく、さらに、所定の速度以上で旋回操作やズーム操作が行われたか否かを判定して、所定の速度以上で旋回操作やズーム操作が行われた場合に、合成撮影モードの撮影動作状態から通常撮影モードの撮影動作状態に切り替えるようにしてもよい。

また、上記制御部９は、上記撮像装置１０の設置場所の窓の設けられているブラインドの開閉状態を示すブラインド開閉信号を上記シーンチェンジのトリガとなる信号として検出して、合成撮影モードの撮影動作状態から通常撮影モードの撮影動作状態に切り替えるようにすることもできる。

例えば、図１２に示す撮像装置１０ように、上記シーンチェンジのトリガとなる信号として、外部制御装置２０に備えられた旋回制御部１５、ブラインド制御部１６、ズームレンズ制御部１７などから、上記撮像素子部２の旋回操作を示す信号、上記撮像光学系１のズーム操作を示す信号、ブラインド開閉信号などが上記制御部９に供給されるようにして、上記外部制御装置２０から供給される上記シーンチェンジのトリガとなる信号を撮影モード指定情報として用いて、合成撮影モードの撮影動作状態から通常撮影モードの撮影動作状態に切り替えるようにすることもできる。

この図１２に示す撮像装置１０における制御部１では、図１３のフローチャートに示す手順に従って、上記ステップＳＴ１の撮像モードの判定処理を行う。

すなわち、上記制御部９は、撮影モード判定処理を開始すると、まず、ステップＳＴ１０１において、旋回制御部１５から供給される撮像素子部２の旋回操作を示す信号に基づいて、撮像素子部２が旋回操作されているか否か判定し、その判定結果が「ＹＥＳ」、すなわち、上記撮像素子部２が旋回中であればステップＳＴ１０２に移り、また、判定結果が「ＮＯ」、すなわち、上記撮像素子部２が旋回中でなければ、ステップＳＴ１０３に移る。

次のステップＳＴ１０２では、上記制御部９は、上記撮像素子部２の旋回速度が所定速度を超えているか否かを判定する。

上記ステップＳＴ１０２における判定結果が「ＹＥＳ」、すなわち、上記撮像素子部２の旋回速度が所定速度以上であったときには、上記制御部９は、ステップＳＴ１０６に移って、撮像モードは通常撮像モードとして撮影モードの判定処理を終了する。

また、上記ステップＳＴ１０２における判定結果が「ＮＯ」、すなわち、上記撮像素子部２の旋回速度が所定速度を超えていない場合には、ステップＳＴ１０３に移る。

また、上記制御部９は、ステップＳＴ１０３において、ブラインド制御部１６から供給されるブラインド開閉信号に基づいて、上記撮像装置１０の設置場所の窓の設けられているブラインドが開閉操作状態にあるか否かを判定する。

また、上記制御部９は、このステップＳＴ１０３における判定結果が「ＹＥＳ」、すなわち、ブラインドが開閉操作中であったときには、ステップＳＴ１０６に移って、撮像モードは通常撮像モードとして撮影モードの判定処理を終了する。

また、上記制御部９は、上記ステップＳＴ１０３における判定結果が「ＮＯ」、すなわち、ブラインドの開閉操作が行われていない場合には、ステップＳＴ１０４に移る。

また、上記制御部９は、ステップＳＴ１０４において、ズームレンズ制御部１７から供給される上記撮像光学系１のズーム操作を示す信号に基づいて、上記撮像光学系１がズーム操作されているか否かを判定する。

さらに、上記制御部９は、このステップＳＴ１０４における判定結果が「ＹＥＳ」、すなわち、上記撮像光学系１のズーム操作中であったときには、ステップＳＴ１０６に移って、撮像モードを合成撮像モードとして撮影モードの判定処理を終了する。

そして、上記制御部９は、上記ステップＳＴ１０３における判定結果が「ＮＯ」、すなわち、上記撮像光学系１のズーム操作されていない場合には、ステップＳＴ１０５に移って、撮像モードは合成撮像モードとして撮影モードの判定処理を終了する。

すなわち、上述の如き撮像装置１０では、当該撮像装置１０の旋回操作を行う旋回制御部１５から、当該撮像装置１０の旋回操作を示す信号が上記制御部９に供給されるようになっており、次の点に着目して、合成撮影モードにおける露光時間を短縮している。

（１）以下の信号等を利用することで、シーンチェンジを事前に予測できる。
（ａ）カメラの旋回（パン・チルト）
旋回速度が一定速度以上の場合をシーンチェンジの条件と付け加えてもよい。
（ｂ）ズームレンズの変化
（ｃ）屋内外の設備からの信号
ブラインド開閉、シャッタ開閉、ドア開閉など
（ｄ）特定時間内にある値以上の輝度変化を検出（カメラ内部で検出可能）
（２）合成撮影モードから通常撮影モードに一旦切り替え、再度合成撮影モードに変更した際は、補正量が初期化される。
（３）補正がなされていない状態から、段階的に補正が働いていく過程は、大きく露光を外しているわけではないので、画質が悪いとは判断されない。

そこで、例えば、図１５に示したような監視システムの撮影状況において、Ａ方向の屋内外同時撮影（逆光）エリアで（１）のシーンチェンジのトリガとなり得る各種の信号を検出したら、（２）の方法で補正量を初期化し、新たなシーンとなるＢ方向の屋内撮影（順光）では、補正処理を初期状態（黒つぶれ・白とび補正が働いていない状態）から開始する。よって、Ｂ方向の撮影状態では補正が必要ないので、初期化されたことにより露光処理時間を短縮させることができた露光時間を短縮することができる。

なお、露光時間という面では、補正値の初期化処理を行なうことによる弊害もある。例えば、図１５に示すような監視システムにおける撮像状況において、Ａ方向からＣ方向に監視エリアを移動（パン・チルト）した場合は、どちらも逆光エリアであり、同等の補正で適正露光となるものと仮定すれば、Ｃ方向での露光時間は補正を初期状態から開始するので改善前より長くなってしまう。しかしながら（３）で示すように、補正が段階的に働いていく動作に変わるので、補正値の初期化処理を行っても、画質面で劣化したという印象を与えることはない。また、上記の（１）（ａ）で示したように、旋回の速度の条件を付け加え、Ａ方向からＣ方向間は一定速度以下で旋回させることで、補正の初期化が行われないようにし、前記の弊害を解消することが可能である。

また、例えば、図１４に示すように、ネットワーク５０を介して制御センター６０から送られてくる制御情報により動作が制御される監視用のネットワークカメラとして上記撮像装置１０を用いる場合には、制御センター６０から制御情報に応じて、合成撮影モードの撮影動作状態から通常撮影モードの撮影動作状態に切り替えるようにしてもよい。

さらに、この撮像装置１０において、本発明に係る撮像制御プログラムは、上述した制御部９の処理のプログラム、すなわち、図４、図５、図７〜図１１、図１３のような各種処理をマイクロコンピュータ（演算処理装置）である制御部９に実行させるプログラムである。

このようなプログラムは、パーソナルコンピュータや、撮像装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。

あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、本発明のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

なお、この撮像装置１０は、合成撮影モードと通常撮影モードの両方の動作モードを備えるものであるが、本発明は、通常撮影モードを持たず、合成撮影モードのみで機能する撮像装置に対しても有効である。

以上、実施の形態を説明してきたが、本発明としては多様な変形例が考えられる。

例えば、本発明は動画撮像を行うカメラシステムに適用できるが、静止画撮像を行うカメラシステムにも適用できる。設定露光モードで静止画撮像を行う場合であっても、例えば撮像タイミングに至までのモニタリング中に、各フィールド期間で上述のような露光制御（短時間露光時間の制御）を行えばよい。

また、例えばノンインターレーススキャン方式の撮像を行う場合、上述してきたフィールド期間の処理はフレーム期間の処理として考えればよい。

もちろん、スキャン方式に限らず、画像信号の単位期間とは、フィールド期間、フレーム期間、複数フィールド期間、複数フレーム期間などとして、多様に考えられる。例えば複数フレーム期間ごとに１回の割合で、検波処理、露光補正処理、露光制御処理が行われるような動作例も考えられる。

本発明を適用した構成の撮像装置の構成を示すブロック図である。 上記撮像装置における長時間露光と短時間露光の説明図である。 上記撮像装置における合成処理の説明図である。 上記撮像装置の動作を示すフローチャートである。 上記撮像装置における検波処理の手順を示すフローチャートである。 上記検波処理で作成する輝度ヒストグラムの説明図である。 上記撮像装置における露光補正値の初期化処理の手順を示すフローチャートである。 上記撮像装置における露光補正処理の手順を示すフローチャートである。 上記露光補正処理における黒つぶれ補正処理の手順を示すフローチャートである。 上記露光補正処理における白とび補正処理の手順を示すフローチャートである。 上記撮像装置における本発明の本質的な処理手順を示すフローチャートである。 上記撮像装置の他の実施の形態を示すブロック図である。 上記撮像装置の他の実施の形態における撮影モードの判定処理の手順を示すフローチャートである。 本発明に係る撮像装置をネットワークカメラとして用いた実施形態を模式的に示す図である。 監視システムにおける撮像状況の説明に供する図である。

符号の説明

１ 撮像光学系、１ａ 絞り、２ 撮像素子部，３ 前処理部、４ 信号処理部、５ 出力部、６ 検波部、７ タイミングジェネレータ、８ 光学部品駆動部、９ 制御部、１０ 撮像装置、１５ 旋回制御部、１６ ブラインド制御部、ズームレンズ制御部、２０ 外部制御装置、５０ ネットワーク、６０ 制御センター

Claims (24)

1. 単位期間に１つの露光画像信号を出力する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する合成撮像モードの撮像動作とが選択的に実行可能な撮像部と、
   上記撮像部により合成撮像モードの撮像動作で得られた上記長時間露光画像信号と上記短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理部と、
   上記合成画像信号についての輝度積算値を生成する検波部と、
   上記輝度積算値を用いて、上記撮像部の露光補正制御を行う制御部と
   を備え、
   上記制御部は、上記撮像部が通常撮像モードの撮像動作状態から合成撮像モードの撮像動作状態に切り替わるときに、上記撮像部の露光補正に用いる補正値を初期化することを特徴とする撮像装置。
2. 上記検波部は、上記合成画像信号についての輝度積算値と輝度ヒストグラムを生成し、
   上記制御部は、上記輝度積算値と上記輝度ヒストグラムを用いて、上記撮像部の露光補正制御を行う
   ことを特徴とする請求項１記載の撮像装置。
3. 上記制御部は、上記撮像部が通常撮像モードの撮像動作状態から合成撮像モードの撮像動作状態に切り替わるときに、上記撮像部の露光補正に用いる黒つぶれ補正を行うための補正値である目標輝度積算値を最小値とする初期化処理を行うことを特徴とする請求項２記載の撮像装置。
4. 上記制御部は、上記撮像部が通常撮像モードの撮像動作状態から合成撮像モードの撮像動作状態に切り替わるときに、上記撮像部の露光補正に用いる白つぶれ補正を行うための補正値である目標短時間露光時間を最大値とする初期化処理を行うことを特徴とする請求項３記載の撮像装置。
5. 上記制御部は、上記撮像部の旋回操作を示す信号に応じて上記撮像部を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替えることを特徴とする請求項１記載の撮像装置。
6. 上記制御部は、上記撮像部の旋回速度が所定速度以上であったときに上記撮像部を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替えることを特徴とする請求項５記載の撮像装置。
7. 上記制御部は、上記撮像部のズーム操作を示す信号に応じて上記撮像部を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替えることを特徴とする請求項１記載の撮像装置。
8. 上記制御部は、上記検波部により得られた輝度積算値の変化が所定値以上であったときに上記撮像部を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替えることを特徴とする請求項１記載の撮像装置。
9. 単位期間に１つの露光画像信号を出力する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する合成撮像モードの撮像動作とが選択的に実行可能な撮像手段により画像信号を得る撮像ステップと、
   上記撮像手段により得られた露光画像信号、または、長時間露光画像信号と短時間露光画像信号にゲイン処理を施す前処理ステップと、
   上記前処理ステップでゲイン処理が施された長時間露光画像信号と短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理ステップと、
   上記合成画像信号についての輝度積算値を生成する検波ステップと、
   上記検波ステップで生成された上記輝度積算値を用いて、上記撮像手段の露光補正制御を行う露光補正制御ステップと、
   上記撮像手段が通常撮像モードの撮像動作状態から合成撮像モードの撮像動作状態に切り替わるときに、上記露光補正制御ステップにおいて上記撮像手段の露光補正制御に用いる補正値を初期化する初期化ステップと
   を有することを特徴とする撮像制御方法。
10. 上記検波ステップでは、上記合成画像信号についての輝度積算値と輝度ヒストグラムを生成し、
    上記露光補正制御ステップでは、上記輝度積算値と上記輝度ヒストグラムを用いて、上記撮像手段の露光補正制御を行う
    ことを特徴とする請求項９記載の撮像制御方法。
11. 上記初期化ステップでは、上記撮像手段が通常撮像モードの撮像動作状態から合成撮像モードの撮像動作状態に切り替わるときに、上記撮像手段の露光補正に用いる黒つぶれ補正を行うための補正値である目標輝度積算値を最小値とする初期化処理を行うことを特徴とする請求項９記載の撮像制御方法。
12. 上記初期化ステップでは、上記撮像手段が通常撮像モードの撮像動作状態から合成撮像モードの撮像動作状態に切り替わるときに、上記撮像手段の露光補正に用いる白つぶれ補正を行うための補正値である目標短時間露光時間を最大値とする初期化処理を行うことを特徴とする請求項９記載の撮像制御方法。
13. 上記撮像手段の旋回操作を示す信号に応じて上記撮像手段を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替えることを特徴とする請求項９記載の撮像制御方法。
14. 上記撮像手段の旋回速度が所定速度以上であったときに上記撮像手段を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替えることを特徴とする請求項１３記載の撮像制御方法。
15. 上記撮像手段のズーム操作を示す信号に応じて上記撮像手段を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替えることを特徴とする請求項９記載の撮像制御方法。
16. 上記検波ステップで得られた輝度積算値の変化が所定値以上であったときに上記撮像手段を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替えることを特徴とする請求項９記載の撮像制御方法。
17. 単位期間に１つの露光画像信号を出力する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する合成撮像モードの撮像動作とが選択的に実行可能な撮像手段と、上記撮像手段により得られた露光画像信号、または、長時間露光画像信号と短時間露光画像信号にゲイン処理を施す前処理手段と、上記前処理手段でゲイン処理が施された長時間露光画像信号と短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理手段と、上記合成画像信号についての輝度積算値を生成する検波手段と、上記検波手段で生成された記輝度積算値を用いて、上記撮像手段の露光補正制御を行う制御手段とを備える撮像装置を制御する制御方法をコンピュータに実行させる撮像制御プログラムであって、
    上記検波手段で生成された記輝度積算値を用いて、上記制御手段により上記撮像手段の露光補正制御を行う上記露光補正制御ステップと、
    上記撮像手段が通常撮像モードの撮像動作状態から合成撮像モードの撮像動作状態に切り替わるときに、上記露光補正制御ステップにおいて上記制御手段による上記撮像手段の露光補正制御に用いる補正値を初期化する初期化ステップを有する制御方法をコンピュータに実行させることを特徴とする撮像制御プログラム。
18. 上記検波手段により上記合成画像信号についての輝度積算値と輝度ヒストグラムを生成する検波ステップを有し、上記露光補正制御ステップでは、上記検波ステップで生成した上記輝度積算値と上記輝度ヒストグラムを用いて、上記撮像手段の露光補正制御を行う制御方法をコンピュータに実行させることを特徴とする請求項１７記載の撮像制御プログラム。
19. 上記初期化ステップでは、上記撮像手段が通常撮像モードの撮像動作状態から合成撮像モードの撮像動作状態に切り替わるときに、上記撮像手段の露光補正に用いる黒つぶれ補正を行うための補正値である目標輝度積算値を最小値とする初期化処理を行う制御方法をコンピュータに実行させることを特徴とする請求１７記載の撮像制御プログラム。
20. 上記初期化ステップでは、上記撮像手段が通常撮像モードの撮像動作状態から合成撮像モードの撮像動作状態に切り替わるときに、上記撮像手段の露光補正に用いる白つぶれ補正を行うための補正値である目標短時間露光時間を最大値とする初期化処理を行う制御方法をコンピュータに実行させることを特徴とする請求項１７記載の撮像制御プログラム。
21. 上記撮像手段の旋回操作を示す信号に応じて上記撮像手段を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替える動作状態切り替えステップを有する制御方法をコンピュータに実行させることを特徴とする請求項１７記載の撮像制御プログラム。
22. 上記撮像手段の旋回速度が所定速度以上であったときに上記撮像手段を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替える動作状態切り替えステップを有する制御方法をコンピュータに実行させることを特徴とする請求項２１記載の撮像制御プログラム。
23. 上記撮像手段のズーム操作を示す信号に応じて上記撮像手段を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替える動作状態切り替えステップを有する制御方法をコンピュータに実行させることを特徴とする請求項１７記載の撮像制御プログラム。
24. 上記検波手段で得られた輝度積算値の変化が所定値以上であったときに上記撮像手段を合成撮像モードの撮像動作状態から通常撮像モードの撮像動作状態に切り替える動作状態切り替えステップを有する制御方法をコンピュータに実行させることを特徴とする請求項１７記載の撮像制御プログラム。

Images