JP2005294913A - 撮像装置 - Google Patents

Abstract

【課題】 短時間露光画像と長時間露光画像を合成して出力する広ダイナミックレンジの撮像装置を提供する。
【解決手段】 撮影部１３から入力された長時間露光の画像は画像比較部１６２で比較され、明るさ、コントラスト、及び色温度の差異が検出される。位置補正部１６４で表示位置の補正された短時間露光の画像は、画像補正部１６３で撮像部１３により撮影された画像の画質と同様の画像に補正され画像置換部１４２に供給される。輪郭処理部１４１では角度記憶部１７１から供給される角度情報を基にハイライト領域部の表示される位置を求め、その求められた境界線のソフト化処理を行い画像置換部１４２に供給する。画像置換部１４２では、画像補正部１６３により画質の補正された短時間露光の画像に置換しモニタ３へ供給するようにする。
【選択図】図３

Description

本発明は撮像装置に関し、特にダイナミックレンジの広い撮像装置に関する。

撮像素子の走査を通常の２倍の速度で行い、交互に露光時間を変えて明部用の短時間露光信号と、暗部用の長時間露光信号を得、同一の撮像素子から得られた長時間露光信号を増幅し、ガンマ補正を行うことで暗部の階調を出すとともに、明部をいわゆるハイライトの状態にしておき、このハイライトの部分をある一定のレベルで検出し、ハイライトの信号の上に明部の短時間露光信号を付け足し、広ダイナミックレンジの映像を得る方法が知られている（例えば、特許文献１参照。）。

図６は、特許文献１に記載された撮像装置の構成を示すブロック図である。この撮像装置は、レンズ１０１と、ＣＣＤ撮像素子１０２と、タイミングジェネレータ１０３と、ＡＧＣ回路１０４と、Ａ／Ｄ変換器１０５と、カメラ信号生成回路１０６と、ガンマ補正切換スイッチ１１０と、ガンマ補正回路１０７と、メモリ回路１０８と、加算器１１１，１１２と、Ｄ／Ａ変換器１０９とを備えている。

タイミングジェネレータ１０３の切換により、長時間露光と短時間露光が交互に切り換えられる。撮像素子１０２から出力される撮像信号は、ＡＧＣ回路１０４でゲイン調整が行われ、Ａ／Ｄ変換部１０５でディジタル信号に変換される。カメラ信号生成回路１０６で、輝度信号と色差信号に分離される。ガンマ補正切換スイッチ１１０がタイミングジェネレータ１０３と同期して切り換えられ、ガンマ特性Ａ及びガンマ特性Ｂの一方が選択される。ガンマ補正回路１０７は、ガンマ補正切換スイッチ１１０の設定に応じた特性のガンマ補正を行う。

メモリ回路１０８から短時間露光信号が出力されるときは、加算器１１１によりオフセットが加算され、加算器１１１の出力信号は、加算器１１２によりガンマ補正回路１０７の出力信号に加算される。そして、Ｄ／Ａ変換器１０９によりアナログ信号に変換されて出力される。

図６の撮像装置では、図７（ｂ）に示す長時間時間露光信号及び短時間露光信号がＣＣＤ撮像素子１０２から出力され、ガンマ補正回路１０７の出力信号は、それぞれ信号（ｃ）のようになる。その結果、加算器１１２の出力信号は、（ｆ）のようになる。

この方法では、長時間露光信号の輝度レベルをしきい値と比較して、しきい値よりも輝度レベルが高いハイライト状態の領域に短時間露光信号を用いている。しかしながら、この比較を画素毎に行うと、しきい値に近い輝度の画素が集まった領域では長時間露光信号と短時間露光信号とが混じってしまい、かえって見づらくなる。そのためハイライトの領域を判別する場合は、画素毎ではなく一定の領域に渡って平均した輝度レベルを用いて、その領域全体のハイライト状態を判別している。
特開２００１−１６４９９公報

ところで、交差点を監視する際、交差点全体を見渡す位置に監視カメラを設けたような場合、信号のランプは点光源となって撮像される。このとき信号のランプは輝度が高くハイライトで色が判別できない。

交差点の監視では信号が赤かどうかが重要であるが、ランプがハイライト状態で色がわからないと、信号の状態がわからず監視に不適である。
しかし信号のランプはこのような監視の状態では点光源なので領域が狭く、従来の広ダイナミックレンジの撮像装置ではハイライト状態と判別できない。このように従来の広ダイナミックレンジの撮像装置は、点光源を十分識別できず十分な撮像ができないという問題があった。

本発明は、以上の点に鑑みなされたもので、短時間露光信号を用いる領域を予め指定しておき、その指定に従って長時間露光信号と短時間露光信号とを用いる構成としダイナミックレンジの広い撮像装置を提供することを目的とする。

本発明は、上記課題を解決するために、以下に記載の手段よりなる。
すなわち、
撮像する領域の一部分にハイライト領域を含む被写体を撮像する際、受光量を変化させて撮像した複数の映像信号を得た後、前記複数の映像信号を合成して前記被写体の映像信号を得るようにした撮像装置であって、
前記被写体を撮影するための撮像手段と、
前記ハイライト領域を設定する領域設定手段と、
前記撮像手段に第１の露光時間を供給し第１の画像を撮像する第１の露光時間設定手段と、
前記撮像手段に前記第１の露光時間より長い第２の露光時間を供給し第２の画像を撮像する第２の露光時間設定手段と、
前記領域設定手段で設定した領域に基づいて前記第１の画像と前記第２の画像とを合成する画像合成手段と
を備えることを特徴とする撮像装置。

本発明の「撮像装置」によれば、短時間露光信号を用いる領域を予め指定しておき、その指定に従って長時間露光信号と短時間露光信号とを用いる構成としたので、点光源でも十分な撮像が可能となる撮像装置を提供することができる。

以下、本発明に係る撮像装置の発明を実施するための最良の形態につき、好ましい実施例により説明する。
図１に、本実施例に適用される撮像装置の概略構成を示し、図面を参照し、その動作について述べる。

同図に示す広ダイナミックレンジ撮像装置は、撮像部１３、ハイライト処理部１４、雲台駆動部１５、カメラＣＰＵ１６、内蔵メモリ１７よりなるカメラ雲台を複合した複合型カメラ１（以下、コンビネーションカメラと記す）と、ジョイスティック２１、テンキー２２、ＴＥＬＥボタン２３、ＷＩＤＥボタン２４、メニューボタン２５、及びセットボタン２６よりなるコントローラ２とより構成される。コンビネーションカメラ１とコントローラ２はケーブルで接続され、ＲＳ−４８５などの通信プロトコルが用いられ、コンビネーションカメラ１の動作はコントローラ２によって制御される。広ダイナミックレンジ撮像装置の映像出力はモニタ３に入力される。

最初に、撮像を開始する前にハイライト領域を設定する。その設定方法について述べる。図２に、ハイライト領域設定時にモニタ３に順次表示されるそれぞれの画面（ａ）〜（ｆ）を示し、説明する。

まず、使用者はコントローラ２のジョイスティック２１を操作して撮像装置をパン、チルト方向に駆動し、ハイライト領域として指定すべき領域がほぼ画面中央に来るよう操作する。例えば信号のランプが画面の隅に映っている場合、ジョイスティック２１を操作して信号のランプが画面の中央に来るよう操作する。そして、コントローラ２のメニューボタン２５を操作し、画面（ａ）の「ＭＥＮＵ」画面を表示する。

同図のモニタ３に表示される画面（ａ）は、コントローラ２のメニューボタン２５を操作したときに表示されるメニュー画面である。メニューモードとしては撮像部１３のフォーカス制御に係る制御、撮影画像の明るさ制御にアイリスモード、撮影画像の色温度に係るホワイトバランス、及びハイライト領域の設定に係るハイライトモードがある。

使用者はジョイスティック２１を操作し、「 ＞ 」のマークにより表示されるカーソルを上下に動かし、「ＨＩＧＨＬＩＧＨＴ」を選択し、セットボタン２６を押す。画面（ｂ）のＩＤ（Identification）の入力要求が表示される。使用者は予め登録されているＩＤナンバーをテンキー２２を操作して入力する。

入力されたＩＤが登録されている正規の使用者のものと一致するとして検出された場合は、画面（ｃ）の「ＨＩＧＨＬＩＧＨＴ」画面がモニタ３に表示される。ジョイスティック２１を用いてカーソルを動かし、「ＨＩＧＨＬＩＧＨＴ」画面の中から「ＡＲＥＡ ＮＵＭＢＥＲ」を選択してセットボタン２６を押す。画面（ｄ）の「ＡＲＥＡ ＮＵＭＢＥＲ」画面が表示される。

本実施例では、ひとつのコンビネーションカメラにつき、８つのハイライト領域を設定可能である。既に設定されているハイライト領域があるときには「ＡＲＥＡ ＮＵＭＢＥＲ」画面の数字の横に「＊」印が表示される。この例では１から３までのハイライト領域が既に設定されているので、マーク「 ＞ 」を移動させ、新たなハイライト領域の番号４を選択する。

次に、セットボタン２６を押し、画面（ｅ）の「ＡＲＥＡ ＮＯ４」の画面を表示させる。そして、「ＡＲＥＡ ＮＯ４」の画面で「ＡＲＥＡ ＥＤＩＴ」を選択してセットボタン２６を押す。その操作により画面（ｆ）が表示される。画面（ｆ）はハイライト領域を設定するため画面である。

画面（ｆ）の中央に半透明の領域が表示される。ジョイスティック２１を用い、領域を上下左右に移動する。撮像部１３が撮影している画面の、ハイライト領域として設定すべき位置に合わせる。さらにＴＥＬＥボタン２３を押して領域を拡大し、又はＷＩＤＥボタン２４を押して領域を縮小する。表示される領域がハイライト領域を含むよう、領域を設定する。

ハイライト領域を設定した後にセットボタン２６を押し、決定する。その決定に従い、カメラＣＰＵ１６は雲台駆動部１５に内蔵されている図示しない角度センサから、パンに係る角度情報、及びチルトに係る角度情報のデータを得る。

一方、ハイライト領域は画面の中央部分から移動された位置に設定されている場合もあるため、水平方向の移動量を水平方向の角度に変換し上記水平角度を補正し、同様に垂直方向の移動量を基に上記垂直角度のデータを補正する。それらの補正された角度データにより、ハイライト領域がモニタ画面の中央に表示されるための角度データとして得られている。

補正された水平及び垂直の角度データ、及びハイライト領域に係る大きさ（視野角）のデータはエリアナンバと共に内蔵メモリ１７に記憶される。
次に領域の設定が完了すると撮像装置をパン、チルト方向に駆動して撮像を開始する。まずコントローラ２のジョイスティック２１が操作されると、その操作に従って発生される撮像部１３の視野角を左右に回転させるためのパン信号、又は視野角を上限に変更するためのチルト信号はカメラＣＰＵ１６に供給される。それらのパン信号及びチルト信号はカメラＣＰＵ１６において撮像部１３が固定されている雲台の方向を変更するための駆動信号として生成される。

駆動信号は雲台駆動部１５に供給され、その雲台駆動部１５は左右及び上下に方向を変更する。雲台及び撮像部１３は雲台駆動部１５と共に方向を変えながら画像を撮影する。撮影された画像はモニタ３に表示される。

撮像部１３はまず、短時間の露光により視野領域内全体の画像を撮影し、短時間露光信号を得る。短時間とは例えば１／１０００秒であり、撮像素子の電荷蓄積時間を制御することで露光時間を制御することができる。このようにして撮像された短時間露光信号は画像メモリ１７の短時間記録部１７２に記憶される。

撮像部１３は短時間露光の撮影の後、ＮＴＳＣ方式の場合は１／６０秒後、ＰＡＬ方式の場合は１／５０秒後に、全体の画像を長時間露光で撮影し、画像メモリ１７の長時間記録部１７３に記憶される。ハイライト領域のパン及びチルトに係る方向情報、大きさに係る情報も内蔵メモリ１７に記憶される。方向情報及びサイズ情報は複数のハイライト領域についてそれぞれの管理番号が付され、内蔵メモリ１７の角度記憶部に記憶される。

その後、コントローラ２が操作されてハイライト領域を含む領域が撮影されるときには、ハイライト領域部分が撮影されていることをカメラＣＰＵ１６により検出する。画像置換部１４２はまず長時間記憶部１７３に記憶された長時間露光で撮影した画像を読み込み、次にハイライト処理部１４により、検出されたハイライト領域を短時間記憶部１７２に記憶されている短期間露光で撮影した画像に置換する。このように画像置換部１４２で生成された画像は、ＮＴＳＣ方式の場合１／６０秒ごと、ＰＡＬ方式の場合１／５０秒ごとに出力され、モニタ３に供給されて表示される。即ち、１フレームの間に短時間露光による撮影と長時間露光による撮影をそれぞれ行い、それらを設定したハイライト領域に基づいて合成して通常のフレームレートで画像を出力するものである。

長時間露光画像に対する短時間露光画像の置換は、撮影される画像に違和感を与えることなく行う必要がある。具体的には、はめ込む画像のエッジ部の位置合せ誤差を小さくする、エッジ部の平滑化処理を行い境界部分を目立たなくする。さらに好ましくは、撮影されている画像に対して同じ明るさ、同じコントラスト、及び同じ色温度の画像になるように画質を補正した後に重ね合わせる（置換する）。

カメラＣＰＵ１６は、撮像部１３で撮影された画像と内蔵メモリ１７に記憶される画像とを比較することにより補正すべき条件を検出し、検出された条件に従って補正した短時間露光信号をハイライト処理部１４に供給する。

ここで、表示位置の修正された短時間露光の画像と撮影部１３から入力された長時間露光の画像は画像比較部１６２で比較され、明るさ、コントラスト、及び色温度の異なりが検出される。位置補正部１６４で表示位置の補正された短時間露光の画像は、画像補正部１６３で撮像部１３により撮影された画像の画質と同様の画像に補正され画像置換部１４２に供給される。

画像置換部１４２では、撮像部１３により撮影されたハイライト領域の画像は、画像補正部１６３により画質の補正された短時間露光の画像に置換される。ここで、画像の置換される部分に画像位置の誤差があるとその部分の画像は２重の画像になる、又は境界部の欠けた画像になり、不自然である。

そこで、輪郭処理部１４１では角度記憶部１７１から供給される角度情報を基にハイライト領域部の表示される位置を求め、その求められた境界線における画像を、境界線で囲まれる部分の外側から内側にかけて徐々に減衰させるようにした境界線のソフト化処理を行う。その境界線の逆特性によるソフト化処理が画像補正部１６３でなされる。

図４に、撮像画像のハイライト領域をソフト化処理された短時間露光の画像に置換する場合の画面例を示す。図４においては、信号全体をハイライト領域として設定する例を示しているが、このほか信号のライトのみを設定することも好適である。

同図において、モニタ３に撮像画像３０が表示されている。その画面の中心部にハイライト領域が存在している。その領域を短時間露光の画像３１で置換して表示する。短時間露光の画像３１の境界を目立たなくするために、ソフト化処理された境界３２を介して短時間露光の画像３１を表示する。

次に、境界のソフト化処理についてさらに述べる。
図５に、図４で示した画面３を構成する、２点鎖線で示した１本の走査線３３における画像信号とその減衰量に係るレベル係数の関係を示す。横軸は画面の横位置であり、ｈ２〜ｈ５がハイライト領域である。ｈ１〜ｈ３及びｈ４〜ｈ６は境界３２のそれぞれの部分である。

撮像画像３０の画像信号は画面３の左端ｈ０からｈ１までは撮像された信号のレベルはそのままである。ｈ１〜ｈ３の間で減衰される。ｈ３〜ｈ４は減衰された黒レベルであり、ｈ４〜ｈ５で徐々に増加しｈ５で元の信号レベルになる。ｈ６から画面右端のｈ９までは撮像された状態の信号レベルである。

短時間露光の画像３１のレベル特性は撮像画像３０と反対の特性（減衰特性）を示している。それらのレベル特性が与えられた撮像画像３０と静止画３１を画像置換部１４２で加算すると、境界領域がソフト化（フェードイン及びフェードアウト）されて撮像画像３０に静止画３１が挿入された合成画像として得られる。境界のソフト化処理された合成画像は異なる時刻に撮影された画質の異なる２つの画像、又は多少の位置誤差を含む２つの画像に対して違和感を少なくするものである。

上述の画像補正部１６３における境界線のソフト化処理は短時間露光の画像の境界線で囲まれる部分の外側から内側にかけて徐々に増加させるようにしたソフト化処理であり、画像補正部１６３では長時間露光の画像に反対のソフト化処理した画像信号を得、画像置換部１４２で加算処理することにより所望の置換処理された置換監視画像が得られる。

以上、広ダイナミック撮像装置の概略構成と、その動作について述べた。
なお、短時間露光信号記憶部１７２には短時間の露光で撮像された画像を記憶するとして述べた。その画像信号はディジタル変換された画像信号であり、さらにはＪＰＥＧ（Joint Photographic Coding Experts Group）などで規定される圧縮符号化された画像信号であってもよい。

また、雲台駆動部１５に取り付けられる角度検出素子の誤差を吸収するため、撮像画像に対する静止画像の位置検出を動きベクトル法を用いて行い、静止画の位置のファインチューニングを行う方法がある。動きベクトルの検出はＭＰＥＧ（Moving Picture Experts Group）を中心として広く用いられており、量産されている素子を用い、少ないコスト負担で性能を向上させることができる。

さらに、上述のハイライト領域は矩形による領域として述べた。ハイライト領域は矩形以外の例えば平行四辺形、台形、多角形、丸、及び楕円など、形を所定のパラメータで一意に決められる形状を用いてもよく、その形状及びサイズに係るパラメータを角度記憶部１７１に記憶するようにしてもよい。形状データをジョイスティック２１を操作して作成し、内蔵メモリ１７に記憶し、それを用いるようにしてもよい。

また、本発明は広ダイナミックレンジ撮像装置を制御する、カメラＣＰＵ１６にロードされるプログラムを含むものである。そのプログラムは次のようなものである。
すなわち、
撮像する領域の一部分にハイライト領域を含む被写体を撮像する際、受光量を変化させて撮像した複数の映像信号を得た後、前記複数の映像信号を合成して前記被写体の映像信号を得るようにした撮像装置を制御する監視画像生成用プログラムであって、
前記被写体を撮影するための撮像ステップと、
前記ハイライト領域を設定する領域設定ステップと、
前記撮像ステップに第１の露光時間を供給し第１の画像を撮像する第１の露光時間設定ステップと、
前記撮像ステップに前記第１の露光時間より長い第２の露光時間を供給し第２の画像を撮像する第２の露光時間設定ステップと、
前記領域設定ステップで設定した領域に基づいて前記第１の画像と前記第２の画像とを合成する画像合成ステップと
を備えることを特徴とする監視画像生成用プログラムである。

撮像される画像の所定部分の画像を、異なる露光時間で撮影した同一視野角の画像に置換することによりダイナミックレンジの広い監視カメラ装置の実現に利用できる。

本実施例に適用される広ダイナミックレンジ撮像装置の概略構成を示した図である。 本実施例に適用されるハイライト領域設定のための表示画面を示した図である。 本実施例に適用される広ダイナミックレンジ撮像装置の構成部分を詳細に示した図である。 本実施例に適用される広ダイナミックレンジ撮像装置の表示動作を説明するための図である。 本実施例に適用されるソフト境界処理に係る画像信号のレベル特性を示した図である。 従来の広ダイナミックレンジ撮像装置の概略構成を示した図である。 図６の各ブロックにおけるパルスタイミング図である。

符号の説明

１…コンビネーションカメラ
２…コントローラ
３…モニタ
１３…撮像部
１４…マスク処理部
１５…雲台駆動部
１６…カメラＣＰＵ
１７…内蔵メモリ
２１…テンキー
２２…ジョイスティック
２３…ＴＥＬＥボタン
２４…ＷＩＤＥボタン
２５…メニューボタン
２６…セットボタン
３０…長時間露光の画像
３１…短時間露光の画像
３２…境界
３３…走査線
１４１…輪郭処理部
１４２…画像置換部
１６１…角度比較部
１６２…画像比較部
１６３…画像補正部
１７１…角度記憶部
１７２…短時間露光信号記憶部

Claims (1)

1. 撮像する領域の一部分にハイライト領域を含む被写体を撮像する際、受光量を変化させて撮像した複数の映像信号を得た後、前記複数の映像信号を合成して前記被写体の映像信号を得るようにした撮像装置であって、
   前記被写体を撮影するための撮像手段と、
   前記ハイライト領域を設定する領域設定手段と、
   前記撮像手段に第１の露光時間を供給し第１の画像を撮像する第１の露光時間設定手段と、
   前記撮像手段に前記第１の露光時間より長い第２の露光時間を供給し第２の画像を撮像する第２の露光時間設定手段と、
   前記領域設定手段で設定した領域に基づいて前記第１の画像と前記第２の画像とを合成する画像合成手段と
   を備えることを特徴とする撮像装置。
   
   

Images