JP2012005051A - 低照度対応カメラ - Google Patents

Abstract

【課題】低照度環境下において、強い発光強度の照明下で高い視認性が得られる撮像箇所と弱い発光強度の照明下で高い視認性が得られる撮像箇所の両方について、消費電力量を抑制しつつ、視認性の高い映像を得ることを課題とする。
【解決手段】ＬＥＤ７Ａ，７Ｂによる照明下で被写体からの反射光を広角レンズ２で受光センサ９へ集光し、受光センサにより得られる受光強度データを所定のフレーム周期で取得してフレーム画像データＤ１，Ｄ２，・・・を生成し、そのフレーム画像データに基づいて動画像データを作成する際、制御部１０は、ＬＥＤの発光強度を、上記フレーム周期に同期させて、互いに異なる複数の発光強度に順次切り換え、これらの発光強度それぞれの照明下で得られるフレーム画像データを用いて１つの動画像データを作成する。
【選択図】図４

Description

本発明は、比較的暗い撮像箇所の撮影に適した低照度対応カメラに関するものである。

近年、タクシーなどでは車内監視のための小型カメラ（車内監視カメラ）が搭載されている。これは、車内で発生した乗客とのトラブルの状況把握に役立つだけでなく、抑止になる点でも有用だからである。このようなトラブルは昼間だけでなく深夜に発生することも多いため、車内監視カメラには、室内灯が点灯していない暗闇の中でも映像を取得できることが要求される。そのため、車内監視カメラとしては、低照度対応の受光素子（センサ）を搭載したカメラや、照明機能付きのカメラなどが用いられる。その中でも、低照度対応のセンサを搭載した車内監視カメラは比較的高価であるため、照明機能付きの車内監視カメラの方が普及している。照明機能付きの車内監視カメラは、一般に、ＬＥＤ等の発光手段を用いて被写体を照明し、その被写体からの反射光をセンサ（受光手段）で受光し、これにより得られる受光強度データを所定のフレーム周期（フレームレート）で取得してフレーム画像データを生成し、そのフレーム画像データに基づいて動画像データを作成する。

車内監視カメラは、一般に、運転席前の上部に配置されたルームミラー付近に設置されることが多い。車内監視カメラでは、カメラから数十ｃｍ程度の距離にある運転席だけでなく、助手席の様子、さらに運転席や助手席のドア（車体前部ドア）からの不法侵入等に対する防犯対応も考えれば車体前部ドア付近の様子までも、撮像できることが望まれる。そのため、車内監視カメラには、この撮像を可能にするほどの広画角性が望まれる。一方で、車内監視カメラとして照明機能付きのものを用いる場合、運転者の視認性に与える影響等を考慮すると、その照明に可視光を用いることには大きな制限がある。そのため、その照明としては、センサの受光感度のある帯域のうち可視光外の波長帯域（例えば赤外波長帯域）で発光する光源（赤外ＬＥＤ等）を用いるものが多い。しかしながら、広画角性が望まれる車内監視カメラの撮像範囲に含まれる広い領域を照明できるほどの高パワータイプの赤外ＬＥＤ等の可視光外波長の光源は、用途が限られているので高価であり、照明機器として蛍光灯に置き換わってきている可視光ＬＥＤ等の可視光の光源とは違って安価に入手することが困難である。そのため、広画角性が望まれる照明機能付きの車内監視カメラを安価に提供するためには、その光源として、安価な低パワータイプの可視光外波長の光源を高パワータイプのものよりも多く搭載して広い領域を照明できるようにする構成が提案されている。

車内監視カメラは、自動車のバッテリー等を用いたバッテリー駆動であるため、その電力消費量をむやみに増やすことはできない。そのため、照明に用いる光源の発光量を照明に必要な最小限の量に抑えることが重要となる。しかしながら、電力消費量を抑えるために、車載監視カメラに近い運転席や助手席の様子を認識するために必要な最小限の光量で照明すると、後部座席（座席が３列以上ある自動車については２列目以降の座席）の様子を撮像するには光量が不足する。そのため、後部座席の様子を認識できるほどの画像が得られず、後部座席についての視認性が悪いという問題が生じる。また、運転席や助手席であっても比較的暗い手元や足元等の暗部箇所では光量不足となり、そのような箇所も視認性が悪いという問題が生じる。

一方、後部座席や暗部箇所の視認性を高めるために、センサの感度（増幅率）を高めることも考えられるが、この場合にはセンサ出力に含まれるノイズが増大してしまい、かえって視認性を悪化させることになり得る。よって、後部座席や暗部箇所の視認性を高める場合には、照明の発光強度を高める方が好ましい。

しかしながら、後部座席の様子や暗部箇所の様子を認識できるほどの光量で照明することは、電力消費量を増大させるため、バッテリー駆動である車内監視カメラではその実現が難しいことに加え、次のような問題も発生する。すなわち、車内監視カメラは、通常、照明用の光源がカメラ本体に搭載されているため、車内監視カメラが設置されるルームミラー付近から車内を照らすことになる。そのため、単純に照明用の光源の発光量を増大させると、カメラに近い運転席や助手席に強い光が当たり、運転手や助手席の乗客の顔等の被写体部分にいわゆる白飛び（明るすぎてセンサの受光感度上限を超え真っ白くなる状態）が発生する。この場合、後部座席や暗部箇所の様子を認識できても、逆にカメラに近い被写体部分の視認性が悪化してしまうという問題が生じる。

なお、上述した問題は、照明機能付きの車内監視カメラに限ったものではなく、低照度環境下において、照明機能付きのカメラにより、比較的遠い箇所の被写体あるいは比較的暗い箇所などのように強い発光強度の照明下において高い視認性が得られる撮像箇所と、比較的近い箇所あるいは比較的明るい箇所などのように弱い発光強度の照明下において高い視認性が得られる撮像箇所の両方の画像を取得しようとする場合には、その用途あるいは使用場所などに制限されず、同様に生じ得る問題である。

本発明は、以上の問題に鑑みなされたものであり、その目的とするところは、低照度環境下において、強い発光強度の照明下で高い視認性が得られる撮像箇所と弱い発光強度の照明下で高い視認性が得られる撮像箇所の両方について、消費電力量を抑制しつつ、視認性の高い映像を得ることができる低照度対応カメラを提供することである。

上記目的を達成するために、請求項１の発明は、発光手段と、該発光手段の発光波長帯域の少なくとも一部について受光感度を持つ受光手段と、該発光手段による照明下で被写体からの反射光を該受光手段へ集光する集光手段と、該受光手段により得られる受光強度データを所定のフレーム周期で取得してフレーム画像データを生成し、該フレーム画像データに基づいて動画像データを作成する動画像データ作成手段とを有する低照度対応カメラにおいて、上記発光手段の発光強度を、上記フレーム周期に同期させて、互いに異なる複数の発光強度に順次切り換える発光強度切換手段を有し、上記動画像データ作成手段は、該複数の発光強度それぞれの照明下で得られるフレーム画像データを用いて１つの動画像データを作成することを特徴とするものである。
また、請求項２の発明は、請求項１の低照度対応カメラにおいて、上記動画像データ作成手段は、少なくとも一部の撮像可能範囲について、上記複数の発光強度のうちの少なくとも２つの発光強度の照明下でそれぞれ得られる同一撮像箇所についての複数の受光強度データを合成して該同一撮像箇所についての１つの受光強度データを生成し、これにより生成した受光強度データを用いて上記動画像データを作成することを特徴とするものである。
また、請求項３の発明は、請求項１又は２の低照度対応カメラにおいて、上記動画像データ作成手段は、撮像可能範囲を分割して得られる複数の撮像箇所について互いに異なる発光強度の照明下で得られる受光強度データを用いて、上記動画像データを作成することを特徴とするものである。
また、請求項４の発明は、請求項１乃至３のいずれか１項に記載の低照度対応カメラにおいて、上記発光手段は、発光波長帯域として赤外波長帯域を有するものであることを特徴とするものである。

本発明においては、フレームごとに発光強度の強弱が切り換わるので、常に強い発光強度で照明する場合よりも消費電力量を抑えることができる。しかも、本発明においては、異なる発光強度の照明下でそれぞれ得られるフレーム画像データを用いて１つの動画像データを作成する。これにより、この動画像データの作成には、弱い発光強度の照明下において高い視認性が得られる撮像箇所に適した発光強度の照明下で得られたフレーム画像データと、高い発光強度の照明下において高い視認性が得られる撮像箇所に適した発光強度の照明下で得られたフレーム画像データとが用いられることになる。よって、本発明によれば、これらのフレーム画像データの両方が反映された動画像データを作成することができる。その結果、弱い発光強度の照明下において高い視認性が得られる撮像箇所と、高い発光強度の照明下において高い視認性が得られる撮像箇所の両方について、高い視認性を有する１つの動画像を得ることができる。

なお、特許文献１には、レンズから入射する被写体の光学像を２方向に分光する分光光学系と、２方向に分光された光学像のそれぞれを電気信号に変換する２個の固体撮像素子と、同２個の固体撮像素子を１フレーム期間ごとに１／２フレームに相当する時間以内で、かつ相互に重複しない間隔で順次露光制御する電子シャッタ制御手段と、同電子シャッタ制御手段の順次露光制御に同期して発光用同期信号を出力する発光用同期信号出力手段とを備えたカラーカメラと、同カラーカメラの上記発光用同期信号を受け上記固体撮像素子の露光制御に同期して波長帯域の異なる複数色の光を順次切り替えて発光する照明装置が開示されている。この照明装置は、固体撮像素子の露光制御に同期して、波長帯域の異なる複数色の光を順次切り替えて発光させるが、その発光強度はいずれも同じものである。したがって、この照明装置を用いても、消費電力量を抑えつつ、強い発光強度の照明下で高い視認性が得られる撮像箇所と弱い発光強度の照明下で高い視認性が得られる撮像箇所の両方について視認性の高い映像を得ることはできない。

以上、本発明によれば、低照度環境下において、強い発光強度の照明下で高い視認性が得られる撮像箇所と弱い発光強度の照明下で高い視認性が得られる撮像箇所の両方について、消費電力量を抑制しつつ、視認性の高い映像を得ることができるという優れた効果が得られる。

実施形態における車内監視カメラの概要を示す正面図である。 同車内監視カメラの概要を示す平明図である。 同車内監視カメラに搭載されるＬＥＤからの出射光の強度とその照明範囲を同車内監視カメラの上方から見たときの説明図である。 同車内監視カメラにおける照明ユニット及びカメラユニットを示す機能ブロック図である。 同照明ユニットの発光ドライバの回路構成を示す説明図である。 同カメラユニットに設けられた制御部を示すブロック図である。 同制御部内のフレームメモリに対する画像処理部の処理シーケンスの一例について説明する説明図である。 ２つのフレーム画像データを編集加工して新たな１つのフレーム画像データを作成する編集処理の一例を示す説明図である。 ２つのフレーム画像データを編集加工して新たな１つのフレーム画像データを作成する編集処理の他の例を示す説明図である。 変形例における画像処理部の処理シーケンスを説明する説明図である。

以下、本発明を、低照度対応カメラである車内監視カメラに適用した一実施形態について説明する。
本実施形態に係る車内監視カメラは、タクシー等の車両に搭載して車内の様子を撮像した動画像を得るものであり、以下のような特徴を有する。
すなわち、従来の車内監視カメラは、夜間などに室内灯を点灯していない暗闇の車内を一定光量で照明するものであったので、一般に、消費電力を抑制するために比較的弱い発光強度で照明する。そのため、運転席や助手席などのカメラに近い撮像箇所では視認性が得られるものの、後部座席などのカメラから遠い撮像箇所については十分な視認性が得られない場合がある。一方、カメラから遠い撮像箇所の視認性を得るために強い発光強度で照明すると、消費電力量が増大するだけでなく、カメラに近い撮像箇所に白飛びが発生して視認性が悪化するという問題が出てきた。本実施形態に係る車内監視カメラは、強い発光強度と弱い発光強度の両方で順次照明し、各発光強度それぞれの照明下で得た受光強度データを用いて有効な視認性が得られる撮像箇所を切り貼りし、これにより得られるフレーム画像を用いて遠近両方の視認性が高い動画像データを作成するようにしている。

図１は、本実施形態における車内監視カメラの概要を示す正面図である。
図２は、本実施形態における車内監視カメラの概要を示す平面図である。
本車内監視カメラ１は、広角レンズ２、カメラユニット３、カメラケーブル４、照明ユニット５Ａ，５Ｂ、照明ケーブル６Ａ，６Ｂ、ユニット間ケーブル８などを備えている。広角レンズ２は、車内監視カメラに要求される広画角性が得られるように、９０度以上１８０度以下の範囲内、好ましくは約１３５度程度の画角のものを用いる。照明ユニット５Ａ，５Ｂは、広角レンズ２の近傍に配置され、本実施形態では可視光外の波長帯を持つ光源を用いるのが好ましい。本実施形態では、その光源（発光手段）として赤外波長帯の発光ダイオード（ＬＥＤ）７Ａ，７Ｂを用いる。ＬＥＤ７Ａ，７Ｂは、そのＬＥＤ素子の光出射面に出射レンズが配置されたものであり、その出射光量が出射角全体に平均的に放射するように構成されている。ＬＥＤ７Ａ，７Ｂは、広角レンズ２の入射範囲に照明光が直接入り込まないように構成する必要がある。本実施形態では、ＬＥＤ７Ａ，７Ｂを６個搭載した例について説明するが、本車内監視カメラ１の設置環境などに応じ、発光強度が強すぎるようであれば数を減らし、弱すぎるようであれば数を増やすようにする。カメラケーブル４は、電源ラインと映像ラインを複合した電線である。照明ケーブル６Ａ，６Ｂは、ＬＥＤ７Ａ，７Ｂの電源ラインの電線である。ユニット間ケーブル８は、カメラユニット３と照明ユニット５Ａ，５Ｂのタイミング信号（同期信号）を伝達するためのケーブルで、本車内監視カメラ１の筐体内部で接続されている。このタイミング信号は、カメラケーブル４と照明ケーブル６Ａ，６Ｂを経由して外部で接続される構成でも構わない。

図３は、ＬＥＤ７Ａ，７Ｂからの出射光の強度とその照明範囲を本車内監視カメラの上方から見たときの説明図である。
ＬＥＤ７Ａ，７Ｂは、出射強度（発光強度）の強弱に応じてその照射範囲が変化する。特定の照度を基準とした場合、少ない電流で駆動して弱い強度で発光させた場合はその照射範囲が図３中符号Ａで示す領域に限られるが、大きい電流で駆動して強い強度で発光させた場合は図３中符号Ａで示す領域まで照射範囲が拡大する。ただし、出射強度を変更しても照明角度θは変化しない。照明角度θは、ＬＥＤ素子の光出射面に設置された出射レンズで定まり、これは適宜設計可能である。ＬＥＤ素子それ自体から出射される光の照明角度は広いため、ＬＥＤ素子そのままの光を照明すると本車内監視カメラ１の有効撮像範囲以上に広がってしまい、無駄となる。本実施形態では、出射レンズが配置されたＬＥＤ７Ａ，７Ｂを用いているので、ＬＥＤ７Ａ，７Ｂから出射される光を本車内監視カメラ１の有効撮像範囲内に適切に絞り込み、無駄を無くしている。

図４は、照明ユニット５Ａ，５Ｂ及びカメラユニット３を示す機能ブロック図である。
カメラユニット３は、ＬＥＤ７Ａ，７Ｂによる照明下での被写体からの反射光は、集光手段としての広角レンズ２で集光され、受光手段としての受光センサ９の受光面に導かれる。広角レンズ２は、例えばガラスやプラスチックなどの材料を組み合わせた４郡６枚などで構成される複数のレンズから構成される。受光センサ９は、ＣＣＤやＣＭＯＳなどで構成されるものが知られているが、一般に、ＣＣＤの方が低照度の感度が高いので好適に利用できる。ただし、ＣＭＯＳも高感度化が盛んに進められているので、ＣＭＯＳを利用してもよい。受光センサ９の解像度は、本実施形態では車内監視向けの用途であるため、例えば、ＶＧＡ（６４０×４８０ドット）程度に設定され、フレームレートは３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ Ｓｅｃｏｎｄ）以下とする。本実施形態のような低照度対応カメラにおいては、弱い光に対応するために例えば露光時間を長くすることがあり、この場合にはフレームレートが落ちる傾向にある。また、受光センサ９の機能、若しくは、この受光センサ９の制御デバイスの機能として、暗い箇所を明るくし、明るすぎる箇所を暗くして、動画像を見やすくする輝度補正処理を行うものが知られている。これは、動画像の平均輝度を一定に保つように輝度レベルの増幅率を変更するものであり、多くの場合、複数のフレームにまたがって平均輝度を算出して徐々に補正する。

動画像データ作成手段としての制御部１０は、受光センサ９の出力データ（受光強度データ）を順次取り込み、ＮＴＳＣなどの標準的な映像信号伝達形式に変換した動画像データを作成してカメラケーブル４に出力する。
照明ユニット５Ａ，５Ｂは、照明ケーブル６Ａ，６Ｂを介してＬＥＤ７Ａ，７Ｂの図示しない駆動電源と接続されている。照明ユニット５Ａ，５Ｂの光源としては、電球や蛍光灯なども考えられるが、消費電力の少なさや赤外波長の選択性から、本実施形態ではＬＥＤ７Ａ，７Ｂを採用している。
発光ドライバ１１は、図示しない駆動電源を元に電流源を生成し、ＬＥＤ７Ａ，７Ｂを駆動するように動作する。ＬＥＤ７Ａ，７Ｂの出射角は、広角レンズ２の集光角と同等、もしくは若干広角であることが望まれる。そのため、本実施形態では出射レンズを搭載してＬＥＤ７Ａ，７Ｂの出射角を調整している。ＬＥＤ７Ａ，７Ｂの出射強度は、これに搭載されるＬＥＤ素子で決まっているため、出射角を広げるにつれて特定箇所に照射される光量は下がる。必要とされる光量に応じて、１つのＬＥＤ７Ａ，７Ｂでは対応できない場合は、複数のＬＥＤ７Ａ，７Ｂで分担して照明するようにすることも可能である。この場合、照明が重なって局所的に明るい箇所が存在しないように配置することが重要である。また、各領域が同じ光量になるように、各ＬＥＤ７Ａ，７Ｂそれぞれに電流源を持つことが望ましいが、画質にこだわらない場合は、同じ電流源にＬＥＤ７Ａ，７Ｂを並列接続にしてもよい。

図５は、照明ユニット５Ａ，５Ｂの発光ドライバ１１の回路構成を示す説明図である。
本実施形態においては、照明用駆動電源１２に対し、電流量の異なる２種類の定電流源１３Ａ，１３Ｂを配置する。定電流源１３Ａは、電流を大きくしてＬＥＤ７Ａ，７Ｂを強く発光させるときに使用し、定電流源１３Ｂは、電流を少なくしてＬＥＤ７Ａ，７Ｂを弱く発光させるときに使用する。定電流源１３Ａ，１３ＢとＬＥＤ７Ａ，７Ｂとの間には、それぞれ、入力されるタイミング信号Ａ，ＢによってＯＮ／ＯＦＦ動作するスイッチ部１４Ａ，１４Ｂが配置されている。このスイッチ部１４Ａ，１４Ｂに入力するタイミング信号Ａ，Ｂを制御することで、ＬＥＤ７Ａ，７Ｂに対していずれかの定電流源１３Ａ，１３Ｂを選択的に接続することができる。なお、ここでは、スイッチ部１４Ａ，１４Ｂに入力されるタイミング信号Ａ，Ｂを制御することでＬＥＤ７Ａ，７Ｂに対して接続する定電流源１３Ａ，１３Ｂを選択する構成について説明したが、定電流源１３Ａ，１３Ｂを１つのＤ／Ａコンバータなどの電圧設定と電圧電流変換の抵抗で構成し、タイミング信号をパラレルデジタル信号とすることで、Ｄ／Ａコンバータの設定電圧を逐次変更してＬＥＤ７Ａ，７Ｂの発光強度を変化させることもできる。

図６は、カメラユニット３に設けられた制御部１０を示すブロック図である。
制御部１０は、受光センサ９からの出力データを受け取って処理を行う画像処理部１５と、画像処理部１５での処理により得られるフレーム画像データを格納するフレームメモリ１６と、フレームメモリ１６に格納されたフレーム画像データからなる動画像データを、外部モニタに表示するための標準的なデータフォーマットであるＮＴＳＣ規格に変換するＮＴＳＣ変換部１７と、撮像画像全体あるいは一部の輝度情報を取得して明るさを判別する輝度判定部１８とを備えている。

画像処理部１５は、３０ｆｐｓもしくは６０ｆｐｓの速度で受光センサ９からの出力データに基づくフレーム画像データを順次フレームメモリ１６に格納する。昼間など十分な明るさ（輝度）があり、ＬＥＤ７Ａ，７Ｂの照明を必要としない場合には、データを加工する必要はないため、フレーム画像データを適切な速度でＮＴＳＣ変換部１７に転送する。この場合、ＬＥＤ７Ａ，７Ｂを使用する必要がないため、タイミング信号Ａ，Ｂも出力する必要は無い。昼間か夜間かの判断は、外部からの設定で行われてもよいが、カメラが自動的にフレーム画像データの平均輝度を判断して、あらかじめ設定された輝度より暗い時間が長く続けば夜間と判断するようにしてもよい。また、輝度判定部１８による輝度があらかじめ設定されたレベルを超えているかどうかの比較結果を用いてもよい。

夜間などの低照度環境下において撮像する必要がある場合、ＬＥＤ７Ａ，７Ｂを駆動して撮像範囲を照明する。この場合、画像処理部１５は、発光強度切換手段として機能し、まず、タイミング信号ＡをＯＦＦにし、タイミング信号ＢをＯＮにする命令を、発光ドライバ１１に指示する。これにより、ＬＥＤ７Ａ，７Ｂは比較的弱い強度で発光し、受光センサ９からの出力データに基づくフレーム画像データをフレームメモリ１６の所定のメモリ領域に第１フレーム画像データとして格納する。次に、タイミング信号ＡをＯＮにし、タイミング信号ＢをＯＦＦにする命令を、発光ドライバ１１に指示する。これにより、ＬＥＤ７Ａ，７Ｂは比較的強い強度で発光し、受光センサ９からの出力データに基づくフレーム画像データをフレームメモリ１６の所定のメモリ領域に第２フレーム画像データとして格納する。

図７は、フレームメモリ１６に対する画像処理部１５の処理シーケンスの一例について説明する説明図である。
なお、この説明図は、横軸に時間軸をとり、ｔ１〜ｔ８まで順次１フレームごとにフレームメモリ１６の各メモリ領域に対してアクセスされるデータを示している。図中矢印は、データの移動を示している。
この処理シーケンスでは、１つ分のフレーム画像データを格納するメモリ領域（メモリ１〜５）を少なくとも５つ備えるフレームメモリ１６を用いる。このようなフレームメモリ１６は、単一の物理メモリの記憶領域を５つに分割したものを用いてもよいし、５つの物理メモリを個別に用意してもよい。ただし、後述するように、１フレーム周期内に複数の処理を行う必要があるため、データのリード速度及びライト速度には十分な高速性が要求される。

以下、本処理シーケンスの流れについて具体的に説明する。
まず、時刻ｔ１において、メモリ１に１フレーム分のフレーム画像データＤ１を格納すると同時に、メモリ２に格納されている処理済みフレーム画像データＰ１をＮＴＳＣ変換部１７へ出力する。
時刻ｔ２では、メモリ２に次の１フレーム分のフレーム画像データＤ２を格納すると同時に、メモリ５から既に処理済みである処理済みフレーム画像データＰ２をＮＴＳＣ変換部１７へ出力する。
時刻ｔ３では、メモリ４に次の１フレーム分のフレーム画像データＤ３を格納すると同時に、時刻ｔ２と同様にメモリ５から処理済みフレーム画像データＰ２を繰り返し出力する。また同時に、メモリ１に格納されているフレーム画像データＤ１とメモリ２に格納されているフレーム画像データＤ２とを組み合わせて編集処理し、その処理済みフレーム画像データＤ１２をメモリ３に格納する。

ここで、処理済みフレーム画像データＤ１２の編集処理については後述するが、フレーム画像データＤ１の画像にフレーム画像データＤ２のすべてを上書きするということではなく、画像フレームを領域分割して一部の領域のデータを互いに入れ替えたり、両方の画像の輝度や色差データを平均化したりすることを意味している。本実施形態において、１フレームは、少なくとも、カメラから近い被写体部分に対応するフレーム部分（近距離領域）と、カメラから遠い被写体部分に対応するフレーム部分（遠距離離領域）とに分割される。

時刻ｔ４では、メモリ５に次の１フレーム分のフレーム画像データＤ４を格納すると同時に、メモリ３から処理済みフレーム画像データＤ１２をＮＴＳＣ変換部１７へ出力する。
時刻ｔ５では、メモリ２に次の１フレーム分のフレーム画像データＤ５を格納すると同時に、時刻ｔ４と同様にメモリ３から処理済みフレーム画像データＤ１２を繰り返し出力する。また同時に、メモリ４に格納されているフレーム画像データＤ３とメモリ５に格納されているフレーム画像データＤ４とを組み合わせて編集処理し、その処理済みフレーム画像データＤ３４をメモリ１に格納する。
時刻ｔ６では、メモリ３に次の１フレーム分のフレーム画像データＤ６を格納すると同時に、メモリ１から処理済みフレーム画像データＤ３４をＮＴＳＣ変換部１７へ出力する。
時刻ｔ７では、メモリ５に次の１フレーム分のフレーム画像データＤ７を格納すると同時に、時刻ｔ６と同様にメモリ１から処理済みフレーム画像データＤ３４を繰り返し出力する。また同時に、メモリ２に格納されているフレーム画像データＤ５とメモリ３に格納されているフレーム画像データＤ６とを組み合わせて編集処理し、その処理済みフレーム画像データＤ５６をメモリ４に格納する。
時刻ｔ８では、メモリ１に次の１フレーム分のフレーム画像データＤ８を格納すると同時に、メモリ４から処理済みフレーム画像データＤ５６をＮＴＳＣ変換部１７へ出力する。

時刻ｔ９以降も、上述のような処理シーケンスの繰り返しとなる。このような処理シーケンスにより、受光センサ９からの出力データを順次取得するフレーム速度の半分の速度でフレームが更新される動画像データを得ることができる。
なお、ここでは、ノンインターレースにおけるフレーム毎に画像処理を行う場合について説明したが、インターレースの場合、フィールド毎に処理を行うようにしても良い。その場合は、上記で説明したフレームをフィールドに置き換えるだけでも可能であるが、ラインズレが発生するため、２フィールドを１まとめとして扱うことが望ましい。

本実施形態では、上記処理シーケンスの処理タイミング（フレーム周期）に同期して、時刻ｔ１ではタイミング信号ＡがＯＦＦになり、タイミング信号ＢがＯＮになるように、画像処理部１５がＬＥＤ７Ａ，７Ｂの発光強度を制御する。その結果、フレーム画像データＤ１は比較的弱い強度の照明下で得られたものとなる。続いて、時刻ｔ２ではタイミング信号ＡがＯＮになり、タイミング信号ＢがＯＦＦになるように制御される。これにより、フレーム画像データＤ２は比較的強い強度の照明下で得られたものとなる。処理済みフレーム画像データＤ１２は、この２種類の照明強度で得られたフレーム画像データＤ１，Ｄ２を用い、フレームの一部の領域である近距離領域についてはフレーム画像データＤ１を積極的に採用し、フレームの他部の領域である遠距離領域についてはフレーム画像データＤ２を積極的に採用するなどして、編集加工したものである。このような編集加工を行うことで、遠近両方をそれぞれ適度な照明条件で撮像したようなフレーム画像データＤ１２を得ることができる。

このとき、受光センサ９の輝度補正は、ＬＥＤ７Ａ，７Ｂの強弱に追従しないことが重要である。本実施形態における車内監視カメラ１の特徴は、カメラから遠い被写体部分が含まれる遠距離領域の視認性を向上させるために、照明強度を強くして故意に近距離領域内の被写体部分を白飛び状態にして（ただし、この近距離領域内の被写体部分の画像は動画像データには反映されない。）、遠い被写体部分を十分な照明強度で照明しようとするものである。そのため、受光センサ９がＬＥＤ７Ａ，７Ｂの強弱に追従して輝度補正されると、その輝度補正により照明強度を強くしても受光センサ９の増幅率が下げられてしまい、遠い被写体部分の視認性が低下して、本車内監視カメラ１の特徴が減殺されてしまうからである。

図８は、２つのフレーム画像データＤ１，Ｄ２を編集加工して新たな１つのフレーム画像データＤ１２を作成する編集処理の一例を示す説明図である。
本実施形態において、車内監視カメラ１は、自動車の運転席前の上部に配置されたルームミラー付近に設置され、そこから車内を後部側に向かって撮像するように配置される。一般に、自動車は、運転席と助手席との間に隙間があり、その隙間から後部座席を撮影することができる。したがって、本実施形態では、１フレームを三分割し、その中央領域を後部座席が含まれる遠距離領域とし、その両側領域を運転席及び助手席が含まれる近距離領域として設定している。

フレーム画像データＤ１は、上述したように比較的弱い照明下で得られたものであるのに対し、フレーム画像データＤ２は比較的強い照明下で得られたものである。本実施形態においては、運転席と助手席の視認性を優先することとし、フレーム画像データＤ１をベースに編集加工処理を行う。フレーム画像データＤ１は、照明が弱いため、図８に示すように、後部座席の乗客Ｃは暗くてほとんど認識できない状態である。逆に、フレーム画像データＤ２は、照明が強いので後部座席の乗客Ｃを良く認識できるが、運転席のドライバーＡと助手席の乗客Ｂは白飛びしてしまっており、認識できていない。そのため、本実施形態においては、フレーム画像データＤ２から図８に示す破線で囲った領域（遠距離領域）を切り出し、その切り出した遠距離領域だけを、フレーム画像データＤ１に上書きする処理を行い、これによりフレーム画像データＤ１２を得る。さらに、このようにして得たフレーム画像データＤ１２に対して全体的な明るさ調整を行ったり、境界をぼかしたりするなどの画質改善処理を行うことが好ましい。以上のような編集加工処理を行うことで、運転席のドライバＡ、助手席の乗客Ｂ、後部座席の乗客Ｃの全員について視認性の高いフレーム画像データＤ１２が得られる。なお、他のフレーム画像データＤ３〜Ｄ８についての編集加工処理も同様に行われる。

本実施形態においては、２つのフレーム画像データから１つのフレーム画像データを作成するので、受光センサ９のフレームレート（フレーム速度）に比べて半分のフレームレートに落ちることになる。ＮＴＳＣフォーマットは規定のレートで映像を出力する必要があるため、本実施形態では同じフレーム画像データを２回連続で出力している。
また、編集加工処理を更に高機能で行う場合には、編集加工前のフレーム画像データから輝度レベルを読み取り、白飛びと判断する領域に対して、照度が低い方のフレーム画像データを採用し、逆に一定レベル以下の輝度の領域に対しては、照度が高い方のフレーム画像データを採用するなどの、自動判別アルゴリズムを搭載することも有効である。基本的に車内監視などのセキュリティー用途では、高速な動作の取り込みが不要なため、フレームレートが半分に落ちても、特に不具合となることは無い。また、出力されるものは動画像であるため、細かい境界での不連続性に関しても大きな不具合とはならないため、画像処理を簡素化することも可能である。

なお、本実施形態では、１フレームを図８に示すように横方向に三分割した例について説明したが、その分割方法は、カメラの撮像領域内のどの被写体の視認性を高めるかなどの設計事項に応じて適宜設定される。例えば、後部座席の乗客Ｃの足元の箇所は高い視認性が必要ないが、運転席のドライバーＡと助手席の乗客Ｂの手元の箇所について高い視認性を得たい場合には、例えば図９に示すように、１フレーム中の中央領域上部を遠距離領域とし、残りの領域を近距離領域として設定してもよい。

また、照明強度を変えずに受光センサ９の輝度補正もしくは受光センサ９の増幅率をフレームごとに変えることで、本実施形態と同様の効果を得ることは不可能ではないが、後部座席の乗客Ｃに届く光量がわずかであることを考えると、Ｓ／Ｎ比は照明強度を変える本実施形態のもの方が有利であり、より良い方法といえる。

〔変形例〕
次に、上記実施形態における画像処理部１５の処理シーケンスの変形例について説明する。
図１０は、本変形例における画像処理部１５の処理シーケンスを説明する説明図である。
本変形例は、１フレームの領域分割の設定が例えば図８や図９に示した分割方法のように簡単であったり、２つのフレーム画像データの編集加工処理が一方を他方のデータに置き換えるだけ等の簡単な処理であったりする場合に適した例である。

本変形例におけるフレームメモリ１６は、２つのメモリ領域に分割されている。このようなフレームメモリ１６は、単一の物理メモリの記憶領域を２つに分割したものを用いてもよいし、２つの物理メモリを個別に用意してもよい。ただし、１フレーム周期内に複数の処理を行う必要があるため、データのリード速度及びライト速度には十分な高速性が要求される点は、上記実施形態と同様である。

以下、本変形例における処理シーケンスの流れについて具体的に説明する。
まず、時刻ｔ１では、メモリ１に１フレーム分のフレーム画像データＤ１を格納すると同時に、メモリ２から処理済みフレーム画像データＰ１をＮＴＳＣ変換部１７へ出力する。
時刻ｔ２では、フレーム画像データＤ１が格納されているメモリ１に対して、次の１フレーム分のフレーム画像データＤ２の中から切り出された領域部分のデータのみを上書きする。例えば、図８に示した例においては、遠距離領域である中央領域のデータをフレーム画像データＤ２から切り出し、メモリ１にアクセスしてそのデータのみをフレーム画像データＤ１に上書きする。また同時に、時刻ｔ１と同様にメモリ２から処理済みフレーム画像データＰ１を繰り返し出力する。
時刻ｔ３では、メモリ２に次の１フレーム分のフレーム画像データＤ３を格納すると同時に、時刻ｔ２で作成された処理済みフレーム画像データＤ１２をメモリ１からＮＴＳＣ変換部１７へ出力する。
時刻ｔ４では、時刻ｔ２と同様の動作になる。具体的には、フレーム画像データＤ３が格納されたメモリ２に、次の１フレーム分のフレーム画像データＤ４を部分的に上書きすると同時に、メモリ１から処理済みフレーム画像データＤ１２を繰り返し出力する。
時刻ｔ５では、メモリ１に次の１フレーム分のフレーム画像データＤ５を格納すると同時に、時刻ｔ４で作成された処理済みフレーム画像データＤ３４を出力する。
時刻ｔ６では、時刻ｔ４と同様の動作になる。具体的には、フレーム画像データＤ５が格納されたメモリ１に、次の１フレーム分のフレーム画像データＤ６を部分的に上書きすると同時に、メモリ２から処理済みフレーム画像データＤ３４を繰り返し出力する。
なお、時刻ｔ７以降も、上述のような処理シーケンスの繰り返しとなる。このような処理シーケンスにより、受光センサ９からの出力データを順次取得するフレーム速度の半分の速度でフレームが更新される動画像データを得ることができる。

以上、本実施形態（変形例を含む。）に係る低照度対応カメラである車内監視カメラ１は、発光手段としてのＬＥＤ７Ａ，７Ｂと、ＬＥＤ７Ａ，７Ｂの発光波長帯域の少なくとも一部について受光感度を持つ受光手段としての受光センサ９と、ＬＥＤ７Ａ，７Ｂによる照明下で被写体からの反射光を受光センサ９へ集光する集光手段としての広角レンズ２と、受光センサ９により得られる受光強度データを所定のフレーム周期（フレームレート）で取得してフレーム画像データＤ１，Ｄ２，・・・を生成し、そのフレーム画像データに基づいて動画像データを作成する動画像データ作成手段としての制御部１０とを備えている。そして、この車内監視カメラ１の制御部１０は、ＬＥＤ７Ａ，７Ｂの発光強度を、上記フレーム周期に同期させて、互いに異なる複数の発光強度に順次切り換える発光強度切換手段として機能し、これらの発光強度それぞれの照明下で得られるフレーム画像データを用いて１つの動画像データを作成する。これにより、夜間の暗い車内のような低照度環境下において、運転席や助手席などの近い被写体部分と後部座席などの遠い被写体部分の両方について、視認性の高い映像を得ることができる。
また、上記実施形態において、制御部１０は、少なくとも一部の撮像可能範囲について、少なくとも２つの発光強度の照明下でそれぞれ得られる同一撮像箇所（図８に示す中央領域又は図９に示す中央領域上部）についての複数の受光強度データＤ１，Ｄ２から、その同一撮像箇所についての１つの新規な受光強度データＤ１２を生成し、その受光強度データＤ１２を用いて動画像データへ作成する。これにより、当該同一撮像箇所について、当該複数の受光強度データＤ１，Ｄ２が互いに補完しあった視認性の高い画像を得ることができる。
一方、上記変形例のように、制御部１０は、撮像可能範囲を分割して得られる複数の撮像箇所について、それぞれ互いに異なる発光強度の照明下で得られる受光強度データＤ１，Ｄ２を用いて動画像データを作成するようにしてもよい。この場合、その動画像データの作成処理を簡単化することができる。
また、ＬＥＤ７Ａ，７Ｂが発光波長帯域として赤外波長帯域を有するものであれば、本実施形態（変形例を含む。）のように車内監視カメラの用途に本発明を適用する場合でも、運転者の視認性に与える影響等を少なくできる。

なお、以上の説明では、各照明ユニット５Ａ，５Ｂが発光する照明下でそれぞれ得られた２つのフレーム画像データＤ１，Ｄ２を用いて１つのフレーム画像データＤ１２を生成し、フレームレートを落とした動画像データを作成する場合について説明したが、動画像データの作成方法はこれに限られない。例えば、各照明ユニット５Ａ，５Ｂが発光する照明下でそれぞれ得られた２つのフレーム画像データＤ１，Ｄ２をそのまま用いて、あるいは、当該２つのフレーム画像データＤ１，Ｄ２に対して何らかの画像補正処理を施したものを用いて、フレームレートを落とさない動画像データを作成してもよい。この場合でも、当該２つのフレーム画像データＤ１，Ｄ２が高速に切り替わる動画像となるので、その残像により、運転席や助手席などの近い被写体部分と後部座席などの遠い被写体部分の両方とも高い視認性をもって視聴者に知覚されるので、同様の効果が得られる。

１ 車内監視カメラ
２ 広角レンズ
３ カメラユニット
４ カメラケーブル
５Ａ，５Ｂ 照明ユニット
６Ａ，６Ｂ 照明ケーブル
７Ａ，７Ｂ ＬＥＤ
８ ユニット間ケーブル
９ 受光センサ
１０ 制御部
１１ 発光ドライバ
１２ 照明用駆動電源
１３Ａ，１３Ｂ 定電流源
１４Ａ，１４Ｂ スイッチ部
１５ 画像処理部
１６ フレームメモリ
１７ ＮＴＳＣ変換部
１８ 輝度判定部

特開２００７−２１５０８８号公報

Claims (4)

1. 発光手段と、
   該発光手段の発光波長帯域の少なくとも一部について受光感度を持つ受光手段と、
   該発光手段による照明下で被写体からの反射光を該受光手段へ集光する集光手段と、
   該受光手段により得られる受光強度データを所定のフレーム周期で取得してフレーム画像データを生成し、該フレーム画像データに基づいて動画像データを作成する動画像データ作成手段とを有する低照度対応カメラにおいて、
   上記発光手段の発光強度を、上記フレーム周期に同期させて、互いに異なる複数の発光強度に順次切り換える発光強度切換手段を有し、
   上記動画像データ作成手段は、該複数の発光強度それぞれの照明下で得られるフレーム画像データを用いて１つの動画像データを作成することを特徴とする低照度対応カメラ。
2. 請求項１の低照度対応カメラにおいて、
   上記動画像データ作成手段は、少なくとも一部の撮像可能範囲について、上記複数の発光強度のうちの少なくとも２つの発光強度の照明下でそれぞれ得られる同一撮像箇所についての複数の受光強度データを合成して該同一撮像箇所についての１つの受光強度データを生成し、これにより生成した受光強度データを用いて上記動画像データを作成することを特徴とする低照度対応カメラ。
3. 請求項１又は２の低照度対応カメラにおいて、
   上記動画像データ作成手段は、撮像可能範囲を分割して得られる複数の撮像箇所について互いに異なる発光強度の照明下で得られる受光強度データを用いて、上記動画像データを作成することを特徴とする低照度対応カメラ。
4. 請求項１乃至３のいずれか１項に記載の低照度対応カメラにおいて、
   上記発光手段は、発光波長帯域として赤外波長帯域を有するものであることを特徴とする低照度対応カメラ。