JP2014235410A

JP2014235410A - 撮像制御装置

Info

Publication number: JP2014235410A
Application number: JP2013118979A
Authority: JP
Inventors: 泰斗渡邉; Yasuto Watanabe
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2013-06-05
Filing date: 2013-06-05
Publication date: 2014-12-15
Also published as: WO2014196166A1

Abstract

【課題】撮像装置を構成するハードウェアの負担を極力軽減しつつ、良好な撮像画像が得られるようにする。
【解決手段】撮像装置においては、撮像装置の温度を取得し（Ｓ１１０，Ｓ２２０）、温度に応じて撮像装置における露光時間の最大値である最大露光時間を設定する（Ｓ１２０）。そして、最大露光時間以下となるよう露光時間および撮像信号の増幅率を設定し（Ｓ１２０，Ｓ２１０，Ｓ２７０）、露光時間と増幅率とに基づいて撮像装置に撮像を実施させる（Ｓ１３０，Ｓ２３０〜Ｓ２５０，Ｓ２８０）。このような撮像装置によれば、最大露光時間を設定し、露光時間が最大露光時間以下になるよう設定するので、撮像装置を構成するハードウェアの負担を極力軽減しつつ、良好な撮像画像を得ることができる。
【選択図】図２

Description

本発明は、撮像装置において撮像を行う際の露光時間および増幅率を制御する撮像制御装置に関する。

上記の撮像制御装置として、撮像素子による撮像信号を増幅する際のアナログゲイン値と露光時間（露光時間）とをマップにおいて管理するものが知られている（例えば、特許文献１参照）。

特開２００６−２３５４０１号公報

ところで一般的には、夜間の車両内部等、比較的暗い領域において撮像を行う場合、アナログゲイン値を小さくし、露光時間を長くするとノイズが少ない撮像画像が得られる傾向があることが知られている。しかしながら、露光時間を極端に長くすると、補助光源の駆動回路等、撮像に必要なハードウェアの消費電力が多くなったり発熱量が多くなったりするため、ハードウェアへの負担が大きくなるという問題点があった。

そこで、このような問題点を鑑み、撮像装置による撮像時において、撮像装置を構成するハードウェアの負担を極力軽減しつつ、良好な撮像画像が得られるようにすることを本発明の目的とする。

かかる目的を達成するために成された撮像制御装置において、温度取得手段は撮像装置の温度を取得し、最大時間設定手段は温度に応じて撮像装置における露光時間の最大値である最大露光時間を設定する。そして、撮像設定手段は、最大露光時間以下となるよう露光時間および撮像信号の増幅率を設定し、撮像指示手段は、露光時間と増幅率とに基づいて撮像装置に撮像を実施させる。

このような撮像制御装置によれば、最大露光時間を設定し、露光時間が最大露光時間以下になるよう設定するので、撮像装置を構成するハードウェアの負担を極力軽減しつつ、良好な撮像画像を得ることができる。

なお、上記目的を達成するためには、コンピュータを、撮像制御装置を構成する各手段として実現するための撮像制御プログラムとしてもよい。また、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、発明の目的を達成できる範囲内において一部構成を除外してもよい。

本発明が適用された撮像装置１の概略構成を示すブロック図である。コンピュータが画像認識部３０および制御部４０の機能として実行する撮像制御処理を示すフローチャートである。温度と最大露光時間との関係を示すマップである。露光時間とアナログゲイン値との関係を示すマップである。平均輝度と露光時間との関係を示すマップである。温度と電流値との関係を示すマップである。電流値とアナログゲイン値との関係を示すマップである。

以下に本発明にかかる実施の形態を図面と共に説明する。
［本実施形態の構成］
本実施形態の撮像装置１は、撮像を行う際の制御設定が対応付けられた複数のマップを参照し、これらの複数のマップに基づく設定で撮像を行うことで、良好な画像を得ることができるよう配慮されている。

詳細には、図１に示すように、撮像装置１は、撮像部１０、照明部２０、画像認識部３０、制御部４０、辞書部５０、および温度センサ６０を備えて構成されている。撮像装置１は、例えば乗用車等の車両の内部に配置され、運転者の顔を撮像するため等に利用される。

撮像部１０は、多数の撮像素子やレンズ等を備えた周知のカメラとしての構成を備えている。そして撮像部１０は、制御部４０から送信される駆動信号に従った設定で撮像素子から得られる撮像信号を画像化し、画像化によって得られた撮像画像を画像認識部３０に送る。

照明部２０は、例えば赤外光を発するＬＥＤ等を備えた補助照明装置として構成されており、撮像部１０による撮像範囲内を照射することで、撮像を補助する。なお、照明部２０は、制御部４０による駆動信号に応じて作動し、詳細には、撮像部１０が露光を行うタイミングだけ、発光するよう制御される。

画像認識部３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータ（図示省略）が実行する機能を示している。具体的に、画像認識部３０としての機能では、コンピュータがＲＯＭ等のメモリに記録されたプログラムに基づく処理を実施し、特に、撮像画像を構成するある領域の平均輝度を検出し、この平均輝度を輝度情報として制御部４０に送る。

制御部４０は、画像認識部３０と同様に、コンピュータが実行する機能を示している。具体的には制御部４０の機能では、コンピュータがＲＯＭ等のメモリに記録されたプログラムに基づく処理を実施し、特に、メモリとして構成された辞書部５０に記録された複数のマップにおいて対応する制御値を読み出し、この制御値に基づいて撮像を行う撮像制御処理（図２参照）を実行する。

温度センサ６０は、例えば、撮像装置１の内部において制御部４０を構成する基板に配置されており、この温度の情報を制御部４０に送る。
［本実施形態の処理］
次に、複数のマップを参照しつつ撮像処理を行う撮像制御処理について、図２を用いて説明する。撮像制御処理は、例えば、撮像装置１の電源が投入されると開始される処理であって、まず、温度センサ６０から温度の情報を取得する（Ｓ１１０）。続いて、撮像を行う際の制御値を設定する（Ｓ１２０）。

この処理では、温度に応じたアナログゲイン値および露光時間を制御値として設定する。より詳細には、図３に示すような、温度と最大露光時間との関係を示すマップに基づいて、温度に応じた最大露光時間を設定する。そして、図４に示すような、露光時間とアナログゲイン値との関係を示すマップに基づいてアナログゲイン値を求める。これらのマップ（図３〜図７）においては、何れのマップにおいても概ね反比例の関係を示す。

なお、露光時間は、最大露光時間以下であれば任意に設定されうる。このため、例えば、露光時間は最大露光時間と一致してもよいし、最大露光時間に明るさ（後述する輝度値等）や温度に応じた係数（０より大きく１以下の値）を乗じた値としてもよい。特に、図４に示す例では、露光時間を最大露光時間の６割程度の時間に設定している。

続いて、撮像部１０および照明部２０を駆動させるための駆動信号を撮像部１０と照明部２０とに送信する（Ｓ１３０）。駆動信号は、設定された制御値（アナログゲインおよび露光時間）に基づくものである。この駆動信号に従って、撮像部１０は撮像画像を得る。

次に、撮像部１０から撮像画像を取得する（Ｓ１６０）。そして、画像認識部３０の機能を利用して画像認識を行う（Ｓ１７０）。画像認識の処理では、撮像画像に含まれる目や鼻等の顔部品の位置を検出する。

続いて、輝度算出範囲を設定する（Ｓ１８０）。ここで、輝度算出範囲とは、撮像画像中において目標とする輝度値（平均輝度）に制御する領域を示し、例えば、顔部品の位置に基づいて、顔全体や、頬や額の部分等、予め設定された領域が設定される。

続いて、平均輝度Ｉｔを算出する（Ｓ１９０）。ここで、平均輝度Ｉｔは、前述の輝度算出範囲内の平均輝度を示す。
そして、制御部４０の機能を利用して、平均輝度Ｉｔに基づいて、次のフレームの撮像画像を取得する際の制御値を仮設定する。この処理では、図５に示すような、平均輝度Ｉｔと露光時間との関係を示すマップに基づいて、平均輝度Ｉｔに対する露光時間を決定する。また、図４に示す露光時間とアナログゲイン値との関係を示すマップに基づいて露光時間に対応するアナログゲイン値を設定する。

なお、ここでの露光時間はＳ１２０またはＳ２７０の処理にて設定された最新の最大露光時間以下の値に設定される。また、この処理において設定された制御値は、「仮」の値であり、後述するＳ２７０の処理が実施されるまでは保留され、撮像部１０への駆動信号には反映されない。つまり、Ｓ２７０の処理が実施されるまでは、以前に設定された最新の制御値に基づく駆動信号が送信される。

続いて、再び温度センサ６０から温度の情報を取得する（Ｓ２２０）。そして、温度の情報に基づいて制御値を変更する必要があるか否かを判定する（Ｓ２３０）。ここで、制御値を変更する必要がある場合とは、前回取得された温度の情報と今回取得された温度の情報との差（温度差）が予め設定された規定温度差以上となり、露光時間（最大露光時間）を変更する必要がある場合を示す。

制御値を変更する必要がない場合（Ｓ２３０：ＮＯ）、後述するＳ２５０の処理に移行する。また、制御値を変更する必要がある場合（Ｓ２３０：ＹＥＳ）、現在の制御値での撮像回数Ｍと予め設定された基準回数ｎとを比較する（Ｓ２４０）。ここで、基準回数ｎは、頻繁に撮像設定が変更されることによる画面のちらつきやノイズの影響を軽減するための撮像設定（制御値）を維持する回数であり、例えば５〜１０程度の値に設定される。

現在の制御値での撮像回数Ｍが基準回数ｎ未満であれば（Ｓ２４０：ＮＯ）、Ｍをインクリメントし（Ｓ２５０）、Ｓ１６０の処理に戻る。また、現在の制御値での撮像回数Ｍが基準回数ｎ以上であれば（Ｓ２４０：ＹＥＳ）、Ｍをリセットし（Ｍ＝０に設定し）（Ｓ２６０）、制御値をＳ２１０の処理において仮設定された制御値に変更する（Ｓ２７０）。

そして、新たな制御値に基づいて、撮像部１０および照明部２０を駆動させるための駆動信号を生成し、この駆動信号を撮像部１０と照明部２０とに送信する（Ｓ２８０）。このような処理が終了するとＳ１６０の処理に戻る。

［本実施形態による効果］
以上のように詳述した撮像装置１において制御部４０は、撮像装置の温度を取得し、温度に応じて撮像装置における露光時間の最大値である最大露光時間を設定する。そして、最大露光時間以下となるよう露光時間および撮像信号の増幅率を設定し、露光時間と増幅率とに基づいて撮像装置に撮像を実施させる。

このような撮像装置１によれば、最大露光時間を設定し、露光時間が最大露光時間以下になるよう設定するので、撮像装置を構成するハードウェアの負担を極力軽減しつつ、良好な撮像画像を得ることができる。

また、撮像装置１において制御部４０は、露光時間または増幅率が変更（仮設定）された場合であっても、予め設定された規定回数だけ露光時間および増幅率を変更することなく撮像部１０に撮像を実施させる。

このような撮像装置１によれば、規定回数（規定のフレーム数）は設定を変更することなく撮像を実施させるので、一瞬の明るさの変化やノイズの影響を軽減することができる。

さらに、撮像装置１においては、露光時間と同期して発光する照明部２０を備えている。
このような撮像装置１によれば、照明部２０が発光することによる発熱を、露光時間を短縮することで抑制することができる。

［その他の実施形態］
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。

例えば、上記実施形態の撮像装置１において制御部４０は、最大露光時間に従って露光時間や増幅率を設定したが、最大露光時間に換えて、照明部２０による最大光量を設定し、最大光量以下となるよう照明部２０による光量および増幅率を設定し、露光時間は一定として、光量と増幅率を変化させることで撮像装置１に撮像を実施させるようにしてもよい。

このようにする場合、例えば、照明部２０での最大光量を電流値で規定し、図６に示すような温度と電流値との関係を示すマップに基づいて温度に応じた電流値を設定すればよい。また、図７に示すような電流値とアナログゲイン値との関係を示すマップに基づいて電流値に応じたアナログゲイン値を設定すればよい。

このような撮像装置１によれば、露光時間に換えて照明部２０による光量を最大光量以下にすることで撮像装置１を構成するハードウェアの負担を軽減することができる。
さらに、上記実施形態では、図４に示すマップに基づいて露光時間に基づくアナログゲイン値を求めたが、例えば図４に示す［Ａ］点に基づく露光時間およびアナログゲイン値の設定で撮像を行った結果、正常な撮像画像が得られなかった場合、アナログゲイン値を高くし、例えば［Ｂ］点に基づくアナログゲイン値に変更してもよい。

このようにすれば、アナログゲイン値を大きくすることにより撮像画像中におけるターゲット（ドライバの目の部分等）の認識率を向上させることができる。
［本実施形態の構成と本発明の構成との対応関係］
上記実施形態の制御部４０は本発明でいう撮像制御装置に相当する。また、上記実施形態の撮像制御処理のうちのＳ１１０，Ｓ２２０の処理は本発明でいう温度取得手段に相当し、上記実施形態のＳ１２０の処理は本発明でいう最大時間設定手段に相当する。

さらに、上記実施形態のＳ１２０，Ｓ２１０，Ｓ２７０の処理は本発明でいう撮像設定手段に相当し、上記実施形態のＳ１３０，Ｓ２３０〜Ｓ２５０，Ｓ２８０の処理は本発明でいう撮像指示手段に相当する。

１…撮像装置、１０…撮像部、２０…照明部、３０…画像認識部、４０…制御部、５０…辞書部、６０…温度センサ。

Claims

撮像画像を生成する撮像装置（１）において撮像素子から得られた撮像信号を得る際の制御値を設定し、この制御値に基づいて撮像を実施させる撮像制御装置（４０）であって、
前記撮像装置の温度を取得する温度取得手段（Ｓ１１０，Ｓ２２０）と、
前記温度に応じて前記撮像装置における露光時間の最大値である最大露光時間を設定する最大時間設定手段（Ｓ１２０）と、
前記最大露光時間以下となるよう前記露光時間および前記撮像信号の増幅率を設定する撮像設定手段（Ｓ１２０，Ｓ２１０，Ｓ２７０）と、
前記露光時間と前記増幅率とに基づいて前記撮像装置に撮像を実施させる撮像指示手段（Ｓ１３０，Ｓ２３０〜Ｓ２５０，Ｓ２８０）と、
を備えたことを特徴とする撮像制御装置。
請求項１に記載の撮像制御装置において、
当該撮像制御装置は、各手段を繰り返し作動させることで、前記撮像装置に繰り返し撮像を実施させるよう設定されており、
前記撮像指示手段は、前記撮像設定手段にて前記露光時間または前記増幅率が変更された場合であっても、予め設定された規定回数だけ前記撮像装置が撮像を行うまでは、前記露光時間および前記増幅率を変更することなく前記撮像装置に撮像を実施させること
を特徴とする撮像制御装置。
請求項１または請求項２に記載の撮像制御装置において、
前記露光時間と同期して発光する発光部（２０）を備えたこと
を備えたことを特徴とする撮像制御装置。
請求項３に記載の撮像制御装置において、
前記最大時間設定手段は、前記最大露光時間に換えて、前記発光部による最大光量を設定し、
前記撮像設定手段は、前記最大光量以下となるよう前記発光部による光量および前記増幅率を設定し、
前記撮像指示手段は、前記光量と前記増幅率とに基づいて前記撮像装置に撮像を実施させること
を特徴とする撮像制御装置。