JP2013175914A - 撮像制御装置及びプログラム - Google Patents

Abstract

【課題】眼鏡のガラスに環境光が反射した場合でも、上述した装置の大型化やドライバ等の不快感などの不都合を生じることなく、精度良く目の位置等の目に関する情報を得ることができる撮像制御装置及びプログラムを提供すること。
【解決手段】環境光が強く、且つ、眼鏡を掛けており、且つ、眼鏡のガラスに環境光の反射があると判断された場合には、パターン４に対応する動作モード（動作モード４）にて、投光器５及びカメラ３の制御を行う。具体的には、前記パターン１の場合に比べて、投光器５については、照明を強くし、且つ、短時間点灯するように制御し、それとともに、カメラ３について、露光時間を短くするように制御値を設定する。
【選択図】図５

Description

本発明は、例えば自動車のドライバ（運転者）の顔画像を撮像するために用いられる撮像制御装置及びプログラムに関する。

従来より、例えば脇見や居眠りなどといった運転操作上好ましくないドライバの状態を検出するために、カメラによってドライバの顔を撮影して顔画像を取得し、その顔画像を解析することによってドライバの状態を検知する技術が開発されていた（下記特許文献１〜５参照）。

例えばドライバの目（例えば黒目：瞳孔）の位置を検出し、その目の位置から脇見状態を検出したり、ドライバの目（瞼）の開閉状態を検出し、その目の開閉状態から眠気を検出する技術が開発されていた。

この種の技術では、カメラの撮像の際には、安定した画像を得るために、顔及びその周囲に向けて、光源（投光器）から必要な光量の光（近赤外光）を、例えばパルス点灯により照射していた。

また、従来では、顔画像を解析するために好適な画像を得るために、例えば図６に示す様に、投光器から光を照射して撮像し（Ｓ３００）、その顔画像（撮像画像）を認識し（Ｓ３１０）、その撮像画像に基づいて制御値（例えば照射時間、露光時間、アナログゲイン）の変更の必要性を判断し（Ｓ３２０）、制御値の変更が必要である場合には、制御値を変更していた（Ｓ３３０）。

特開２００３−２９６７１２号公報 特開２００８−１２３１３７号公報 特許第３３１６７２５号公報 特開２００９−１１６７９７号公報 特開２００８−２７６３２８号公報

しかしながら、ドライバが眼鏡を掛けている場合には、日中など、環境光（外光等の周囲の光）が強いときには、眼鏡に風景が写り込む現象（即ち環境光が眼鏡のガラスで反射する現象）が生じることがある。

このように眼鏡に風景が写り込むと、撮像した顔画像から目の位置や目の開閉状態等を正確に検出できず、よって、ドライバの脇見や居眠り等の検知を精度良く行うことができないという問題があった。

この対策として、風景の写り込みを低減するために、例えば投光器に大電流に流してドライバの顔に強い照明を当てることが考えられるが、その場合には、回路が大がかりになり、しかも、強い光を顔に照射し続けると、ドライバに不快感を与えてしまうという問題がある。

また、風景の写り込みを低減するために、光源として、多数のＬＥＤをアレイ状に配置することも考えられるが、その配置面積が大きく装置構成が大がかりになり、現実的でない。

本発明は上記問題点を解決するものであり、その目的は、眼鏡のガラスに環境光が反射した場合でも、上述した装置の大型化やドライバ等の不快感などの不都合を生じることなく、精度良く目の位置等の目に関する情報を得ることができる撮像制御装置及びプログラムを提供することである。

（１）請求項１の発明は、光源から顔に近赤外線を含む光を照射し、撮像部によって前記顔を撮像して顔画像を得る顔画像撮像装置を制御する撮像制御装置において、環境光の強さを検知する環境光検知部からの情報に基づいて、前記環境光の強さを判定する環境光判定手段と、前記顔画像に基づいて、前記眼鏡の反射の程度を判定する眼鏡反射判定手段と、を備えるとともに、前記環境光判定手段によって、前記環境光の強さが所定の判定値以上であると判定され、且つ、前記眼鏡反射判定手段によって、前記眼鏡の反射の程度が所定の判定値以上であると判定された場合には、前記光源から照射する光の強度を前記顔画像において目の状態を認識可能な所定の強度に設定する光制御手段を備えたことを特徴とする。

本発明では、環境光の強さが所定の判定値以上であると判定され、且つ、眼鏡の反射の程度が所定の判定値以上であると判定された場合には、光源から照射する光の強度を顔画像において目の状態（例えば目の瞳孔の位置や目の開閉状態など）を認識可能な所定の強度に設定する。

従って、眼鏡のガラスに環境光が反射して目の状態を把握し難い状況であっても、適度な強度で光を照射することにより、装置の大型化やドライバに不快感を与えることなく、目の状態を明瞭に把握できる好適な顔画像を得ることができる。よって、ドライバの脇見や居眠り等の状態を精度良く検知できるという顕著な効果を奏する。

なお、環境光検知部としては、例えば照度センサ等によって環境光の強度を検知するものが挙げられるが、それ以外に、例えば時計によって時刻を求め、この時刻から環境光の強度を推定したり、ナビゲーション装置からの地図情報に基づいて、環境光の強度を推定してもよい（例えばトンネル内であれば環境光が弱いと推定できる）。

なお、顔画像において目の状態を認識可能な所定の強度は、予め実験等によって求めておくことができる。
（２）請求項２の発明では、更に、前記顔画像に基づいて、眼鏡の有無を判定する眼鏡判定手段を備え、前記環境光判定手段及び前記眼鏡反射判定手段による判定結果に加え、更に、前記眼鏡判定手段によって、眼鏡を掛けていると判定された場合に、前記光制御手段による制御を行うことを特徴とする。

本発明では、環境光判定手段及び眼鏡反射判定手段による判定条件を満たすとともに、更に、眼鏡の有無を判定して、その判定条件が満たされた場合（眼鏡を掛けているという条件が満たされた場合）には、光制御手段を実行するので、光制御手段による制御を行う際の判定をより精度良く行うことができるという利点がある。

（３）請求項３の発明では、前記光制御手段によって、前記光源から照射する光の強度を前記所定の強度に設定する場合には、前記所定の強度を、前記環境光の強さが所定の判定値未満の場合に設定される光の強度よりも大きく設定することを特徴とする。

本発明は、光の強度の設定方法を例示したものである。本発明では、照射する光の強度を上述した所定の強度に設定する場合には、その具体的な方法として、環境光の強さが弱い場合に設定される光の強度よりも大きくするので、顔画像から明瞭に目の状態を把握することができる。

（４）請求項４の発明では、前記光制御手段によって、前記光源から照射する光の強度を前記所定の強度に設定する場合には、前記光の照射時間を、前記環境光の強さが所定の判定値未満の場合に設定される光の照射時間よりも短く設定することを特徴とする。

本発明では、照射する光の強度を上述した所定の強度（即ち環境光が弱い場合に比べて強い強度）に設定する場合には、環境光が弱い場合に比べて照射時間を短くするので、ドライバ等の不快感を低減することができる。つまり、光の強度を大きくすると、ドライバ等が不快感を感じる可能性があるので、それを低減するために、光の照射時間を短くするのである。

（５）請求項５の発明では、前記光制御手段によって、前記光源から照射する光の強度を前記所定の強度に設定する場合には、前記撮像部の露光時間を、前記環境光の強さが所定の判定値未満の場合に設定される撮像部の露光時間よりも短く設定することを特徴とする。

本発明では、照射する光の強度を上述した所定の強度（即ち環境光が弱い場合に比べて強い強度）に設定する場合には、環境光が弱い場合に比べて撮像部の露光時間を短くするので、顔画像の輝度が過大になることを抑制できる。よって、目の状態が一層明瞭に分かる顔画像を得ることができる。

（６）請求項６の発明は、コンピュータを、前記請求項１に記載の環境光判定手段、眼鏡反射判定手段、光制御手段として機能させるためのプログラムである。
つまり、上述した撮像制御装置の機能は、コンピュータのプログラムにより実行される処理により実現することができる。

このようなプログラムの場合、例えば、ＦＤ、ＭＯ、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードして起動することにより用いることができる。この他、ＲＯＭやバックアップＲＡＭをコンピュータ読み取り可能な記録媒体として本プログラムを記録しておき、そのＲＯＭあるいはバックアップＲＡＭをコンピュータに組み込んで用いても良い。

実施例の撮像制御装置が用いられるシステム構成を示す説明図である。 実施例の撮像制御装置を含むシステムのハード構成を示す説明図である。 眼鏡のガラスにおける環境光の反射状態を示し、（ａ）は反射が無い場合を示す説明図、（ｂ）は反射がある場合を示す説明図である。 実施例の撮像制御装置にて行われる制御内容を示し、（ａ）はパターン１の場合の制御内容を示すタイミングチャート、（ｂ）はパターン１の場合の制御内容の他の例を示すタイミングチャート、（ｃ）はパターン４の場合の制御内容を示すタイミングチャートである。 実施例の撮像制御装置にて行われる制御処理を示すフローチャートである。 従来技術における制御処理を示すフローチャートである。

以下に本発明の実施形態を図面と共に説明する。

ａ）まず、本実施例の撮像制御装置を搭載した車両のシステム構成を、図１及び図２に基づいて説明する。
図１及び図２に示す様に、車両（自動車）には、運転の支援等の制御を行うために、搭乗者（例えばドライバ）の顔画像を撮像し、この顔画像から目の位置等の必要は情報を得ることができる顔画像撮像装置１が搭載されている。

この顔画像撮像装置１は、ドライバの顔を撮像するカメラ３と、ドライバの顔等に光を照射する撮像用の投光器５と、周囲の明るさを検知する照度センサ７と、ナビゲーション装置９と、マニュアルでの操作を行う操作部１１と、それらの動作の制御等を行う撮像制御装置１３とを備えている。

このうち、カメラ３は、近赤外光により画像の撮像を行うことが可能な近赤外光に対して一定の感度を持つ例えばＣＣＤカメラ（撮像部）であり、例えばドライバの顔を正面斜め下方より撮像が可能な様に、メーターの近傍に配置されている。

投光器５は、例えば近赤外ＬＥＤからなり、近赤外光をドライバの顔に向けて照射するように、カメラ３とほぼ同軸に配置されている。なお、その照射領域は、ドライバの顔を中心にほぼ円錐状である。

照度センサ７は、例えばダッシュボード等に配置されて、周囲の明るさ（周囲の光：環境光）を検知する環境光センサ（環境光検知部）であり、これにより、夜間等の環境光の弱い（暗い）状態や、昼間等の環境光の強い（明るい）状態等を検知することができる。

ナビゲーション装置９は、地図上で自車両の位置を表示したり、経路案内等を行うことができる装置であり、これにより、例えば自車両がトンネル等の環境光の弱い場所を走行していることを検知することができる。

操作部１１は、ドライバ等がマニュアルでの操作を行うことができるスイッチ等であり、これにより、例えば撮像制御のオン・オフや、各種の制御値（例えば照射する光の強度）の設定等を行うことが可能とされている。

撮像制御装置１３は、周知のマイクロコンピュータを備えた電子制御装置であり、カメラ３からの画像情報や照度センサ７からの信号やナビゲーション装置９からの地図情報などに基づいて、投光器５からの近赤外光の照射状態（例えば照射する光の強度や照射のタイミング）や、カメラ３の撮像状態（例えば露光時間やアナログゲイン）などを制御するものである。

この撮像制御装置１３には、図２に示す様に、機能的に、設定部１５と記憶部１７と認識部１９と動作モード判定部２１と発光パターン設定部２３と投光器制御部２５と撮像制御部２７とを備えている。また、撮像制御装置１１は、計時を行って（動作モード判定部２１に）時刻を出力する時計ＩＣ２９と、ナビゲーション装置９との情報伝達を行うＬＡＮインターフェース（Ｉ／Ｆ）３１とを備えている。

このうち、設定部１５では、操作部１１からの入力を受信して、撮像制御装置１３自身の各種の設定を行う。
記憶部１７では、撮像制御装置１３の動作に必要な各種のデータを記憶している。例えば後述する投光器５やカメラ３の動作を示す動作モードや、投光器５からの発光パターン等のデータを記憶している。

認識部１９では、カメラ１からの画像情報等を処理し解析して、顔に関する各種の認識を行う。例えば、眼鏡の有無や眼鏡のガラス（レンズ部分）における風景の写り込みの状況等の認識、或いは、目の瞳孔の位置や目の開閉状態の認識等を行う。また、この認識部１９では、画像情報から、投光器５からの光の照射状態やカメラ３の露光状態やアナログゲインが適切であるか等の判断も行う。

動作モード判定部２１では、照度センサ７からの信号や認識部１９からの情報に基づいて、投光器５及びカメラ３の動作モードとして適切な動作モードを判定する。
発光パターン設定部２３では、動作モード判定部２１からの情報などに基づいて、投光器５による発光パターンを設定する。

投光器制御部２５では、発光パターン設定部２３で設定された発光パターンにて照射を行うために、投光器５の動作を制御する。
撮像制御部２７では、認識部１９で得られた情報（例えば眼鏡の有無の情報や眼鏡の映り込み状態の情報等）や発光パターン設定部２３から得られた発光パターンの情報や、投光器制御部２５から得られた投光器５を制御する情報に基づいて、カメラ３の動作（例えば露光時間）を制御する。

尚、前記設定部１５と認識部１９と動作モード判定部２１と発光パターン設定部２３と投光器制御部２５と撮像制御部２７は、周知のＣＰＵを主要部とするマイクロコンピュータにより実現でき、記憶部１７は、例えばＥＥＰＲＯＭ等の不揮発性メモリにより実現できる。

ｂ）次に、本実施例の要部である動作モードの判定及び動作モードに応じた制御について、図３及び図４に基づいて説明する。
本実施例では、眼鏡のガラスに風景の写り込みがあるか否か等によって、投光器５及びカメラ３の制御内容を変更している。

つまり、図３（ａ）に示す様に、眼鏡のガラスに風景の写り込みが無い場合には、目の瞳孔の位置や目の開閉状態を精度良く把握できるが、図３（ｂ）に示す様に、例えば昼間などの明るい状態（環境光が強い状態）の場合には、眼鏡のガラスに風景の写り込みが発生することがある。この場合には、顔画像において眼鏡のガラスの領域の画素値（輝度）が高くなり、目の瞳孔の位置や目の開閉状態を精度良く把握できない。その結果、脇見や居眠りの状態を精度良く検出できないことがある。

そこで、本実施例では、眼鏡のガラスに風景の写り込みがあると判断した場合には、目の状態を精度良く検出する目的で、風景の写り込みを無くするために、主として投光器５から照射する光の強度を上げる制御を行っている。

詳しくは、下記表１に記載の様に、本実施例では、環境光の状態（条件Ａ）、眼鏡の有無（条件Ｂ）、眼鏡反射（風景の写り込み）の有無（条件Ｃ）の３つの条件で撮像の状況を判定し、この判定結果に応じて、制御内容を変更している。即ち、パターン１〜４に対応した各動作モード１〜４にて制御を行っている。

具体的には、パターン１は、環境光が弱い状態（夜間などの暗い状態）を示している。このパターン１では、眼鏡における環境光の反射は無いとみなして、動作モード１における制御を行う。つまり、図４（ａ）、（ｂ）に例示する様に、後述するパターン４の環境光が強い場合に比べて、投光器５については、照明を弱くし、且つ、長時間点灯するように制御し、それとともに、カメラ３については、露光時間を長くするように制御する。なお、光を照射する場合には、パルス状に光を複数回照射する（以下同様）。

つまり、夜間等では暗いので、明瞭な顔画像を得るために、投光器５から必要な強度で且つ長時間に渡って光を照射するとともに、カメラ３の露光時間を長くする。なお、照射する光の強度は、例えば近赤外ＬＥＤに印加する電流の大きさによって調節することができる。

パターン２は、環境光が強い状態（昼間などの明るい状態）で、且つ、眼鏡を掛けていない状態を示している。このパターン２では、眼鏡は掛けていないので、環境光による反射の問題はなく、よって、投光器５は点灯しない。

つまり、昼間等では明るいので、光を照射しなくても明瞭な顔画像を得られるため、動作モード２において、投光器５から光を照射することなく、通常の動作（予め設定された露光時間等）でカメラ３の撮像を行う。

パターン３は、環境光が強い状態で、且つ、眼鏡を掛けており、且つ 眼鏡による環境光の反射は無い状態を示している。このパターン３では、眼鏡は掛けているが反射はないので、投光器５は点灯しない。

つまり、眼鏡を掛けているものの反射はなく、しかも、昼間等では明るいので、光を照射しなくても明瞭な顔画像を得られるため、動作モード３において、投光器５から光を照射することなく、通常の動作でカメラ３の撮像を行う。なお、動作モード２、３では、同じ動作を行う。

パターン４は、環境光が強い状態で、且つ、眼鏡を掛けており、且つ 眼鏡による環境光の反射がある状態を示している。このパターン４では、図４（ｃ）に示す様に、環境光の反射を無くするために、前記パターン１の環境光が弱い場合に比べて、投光器５については、照明を強くし、且つ、短時間点灯するように制御し、それとともに、カメラ３について、露光時間を短くするように制御する。

つまり、昼間等で明るい状態であっても、眼鏡に反射があるので、その反射の影響を解消して明瞭な顔画像（特に目の状態を把握できる画像）を得るために、動作モード４において、投光器５から十分な強度で且つ短時間光を照射するとともに、カメラ３の露光時間を短くする。

すなわち、強い光を照射することにより、その光は眼鏡のガラスを透過して目に到達し、よって、目の状態がはっきりと分かるような顔画像が得られる。ここで、照射時間を短くするのは、光の強度が大きいので、ドライバの不快感を低減するためである。また、露光時間を短くするのは、光の強度が大きいので、顔画像の輝度が過大になることを防ぐためである。

なお、前記パターン１、４において、光の強度を上下（増加又は低減）させる場合には、所定の基準値を設定しておいて、その基準値から上下させるように制御してもよい。例えば、環境光の強さを「（パターン１に対応する）弱い」と［（パターン４に対応する）強い］とその中間の３種に区分した場合には、その「中間」に対応するように光の強度の基準値を設定してよい。

ｃ）次に、前記撮像制御装置１３にて行われる制御処理を、図５に基づいて説明する。
本処理は、上述した眼鏡のガラスに風景の写り込みがあるか否か等の条件Ａ〜Ｃの判断に基づいて、環境の状況がパターン１〜４に該当するかを判定し、その判定結果に応じて、動作モードを切り換えて、投光器５及びカメラ３の制御を行うものである。

まず、図５に示す様に、ステップ（Ｓ）１００にて、環境光の情報を取得する。具体的には、照度センサ７からの信号に基づいて、周囲（車室内）の明るさ（即ち環境光の強さを示す照度）を検出する。

続くステップ１１０では、環境光による照度が照度閾値より小さいか否かを判定する。つまり、環境光による照度が、撮像が可能な明るさ（解析が可能な顔画像が得られる明るさ）の下限である照度閾値より小さい（暗い）か否かを判定する。ここで肯定判断されるとステップ１２０に進み、一方否定判断されるとステップ１３０に進む。

ステップ１２０では、環境光による照度が照度閾値より小さく、環境光が弱い（即ち夜間等の暗い状態である）ので、前記条件Ａの「環境光が弱い」という条件のみが成立しているとして、前記表１のパターン１に該当すると判定する。従って、ここでは、パターン１に対応する動作モード（動作モード１）にて、投光器５及びカメラ３の制御を行うように設定する。

具体的には、前記表１及び図４（ａ）、（ｂ）に示す様に、環境光が弱い場合に明瞭な顔画像が得られるような制御値に設定する。つまり、前記パターン４の場合に比べて（或いは前記「中間」の光の強度の場合に比べて）、投光器５については、照明を弱くし、且つ、長時間点灯するように制御し、それとともに、カメラ３について、露光時間を長くするように制御値を設定する。

一方、ステップ１３０では、環境光による照度が照度閾値以上であると判断されたので、所定の初期設定の制御値（初期値）を用いて、投光器５からの投光と、カメラ３による撮像を行う。

なお、この初期値としては、例えば前記「中間」の光の強度の場合に設定される制御値を採用できる。
続くステップ１４０では、ステップ１３０にて撮像した顔画像に基づいて、眼鏡を掛けているか否かを判定する。ここで肯定判断されるとステップ１５０に進み、一方否定判断されるとステップ１７０に進む。なお、顔画像から眼鏡を掛けているか否かを判定する処理としては、例えば特許第４１０３４９５号公報や特許第４１５１３４１号公報に記載の「眼鏡の検出処理」と同様な周知の処理を採用できる。

ステップ１７０では、ステップ１１０にて条件Ａの「環境光が強い」という条件が成立し、且つ、ステップ１４０にて条件Ｂの「眼鏡を掛けていない」という条件が成立したと判断されたので、前記表１のパターン２に該当すると判定する。

従って、ここでは、投光器５からの照射がなくても、明瞭に目の状態を把握できる顔画像が得られる状況であるとみなし、パターン２に対応する動作モード（動作モード２）として、投光器５を点灯しないように設定する。

一方、ステップ１５０では、ステップ１３０にて撮像した顔画像に基づいて、眼鏡のガラスに風景の反射があるか否かを判定する。ここで肯定判断されるとステップ１６０に進み、一方否定判断されると前記ステップ１７０に進む。なお、顔画像から眼鏡のガラスに風景の反射があるか否かを判定する処理としては、例えば特許第４１０３４９５号公報や特許第４１５１３４１号公報に記載の「（眼鏡の）映り込み検出処理」と同様な周知の処理を採用できる。

このステップ１５０で否定判断されるステップ１７０では、ステップ１１０にて条件Ａの「環境光が強い」の条件が成立し、且つ、ステップ１４０にて条件Ｂの「眼鏡を掛けている」という条件が成立し、且つ、ステップ１５０にて条件Ｃの「反射が起きていない」という条件が成立したと判断されたので、前記表１のパターン３に該当すると判定する。

従って、ここでは、投光器５からの照射がなくても、明瞭に目の状態を把握できる顔画像が得られる状況であるとみなし、パターン３に対応する動作モード（動作モード３）として、（前記動作モード２と同様に）投光器５を点灯しないように設定する。

また、ステップ１６０では、ステップ１１０にて条件Ａの「環境光が強い」という条件が成立し、且つ、ステップ１４０にて条件Ｂの「眼鏡を掛けている」という条件が成立し、且つ、ステップ１５０にて条件Ｃの「反射が起きている」という条件が成立したと判断されたので、前記表１のパターン４に該当すると判定する。

従って、ここでは、パターン４に対応する動作モード（動作モード４）にて、投光器５及びカメラ３の制御を行うように設定する。
具体的には、前記表１及び図４（ｃ）に示す様に、環境光が強く、眼鏡に反射が起きていても、明瞭に目の状態を把握できる顔画像が得られるような制御値に設定する。つまり、前記パターン１の場合に比べて（或いは前記「中間」の光の強度の場合に比べて）、投光器５については、照明を強くし、且つ、短時間点灯するように制御し、それとともに、カメラ３について、露光時間を短くするように制御値を設定する。

そして、前記ステップ１２０、１７０、１６０から続くステップ１８０では、各ステップ１２０、１７０、１６０にて設定された動作モードにて、投光器５を駆動して光を照射するとともに（或いは光を照射せずに）、カメラ３を駆動して撮像を行う。

続くステップ１９０では、前記ステップ１８０にて撮像された顔画像（撮像画像）の認識を行う。
具体的には、周知の手法にて、前記顔画像から目の瞳孔の位置（例えば目の向き）や目の開閉状態を検出する等の処理を行う（例えば特許第３３１６７２５号公報や特開２００８−２７６３２８号公報参照）。

また、得られた顔画像から、その顔画像が画像解析に適切な画像であるかどうか、即ち、例えば照射強度、照射時間、露光時間、アナログゲイン等の制御値が適切であるかどうかも判断する。

続くステップ２００では、カウンタＭ１、Ｍ２をインクリメント（カウントアップ）する。
続くステップ２１０では、カウンタＭ１の値が、（一定時間は撮像を繰り返すように設定された）所定の判定値ｎ１を上回るか否かを判定する。ここで肯定判断されるとステップ２２０に進み、一方否定判断されると前記ステップ１８０に戻って同様な処理を繰り返す。

ステップ２２０では、一定期間撮像を行ったので、より好適な顔画像（即ち、より明瞭に目の状態が分かる画像）を得るために、制御値の変更（調整）が必要であるか否かを判定する。ここで肯定判断されるとステップ２３０に進み、一方否定判断されるとステップ２４０に進む。

なお、この制御値とは、撮像済みの顔画像に基づいて、より好適な顔画像を得るために設定される調整のための制御値、即ち、既に撮像された顔画像のデータに基づいてフィードバックされて設定される調整制御値であり、例えば照射時間、露光時間、アナログゲイン等である。

ステップ２４０では、カウンタＭ１をクリアし前記ステップ１８０に戻る。
一方、ステップ２３０では、カウンタＭ２の値が、（一定時間は前記調整制御値を変更しないように設定された）所定の判定値ｎ２を上回るか否かを判定する。ここで肯定判断されるとステップ２６０に進み、一方否定判断されるとステップ２５０に進む。

ステップ２５０では、前記ステップ２２０で調整制御値の変更の必要性があると判定されたので、調整制御値を変更し、前記ステップ２４０を介して、前記ステップ１８０に戻って同様な処理を繰り返す。

一方、ステップ２６０では、前回調整制御値を変更してから一定時間経過したので、カウンタＭ２をクリアし、前記ステップ１００に戻り同様な処理を繰り返す。
ｄ）本実施例では、上述した構成によって、下記の効果を奏する。

本実施例では、環境光が強く、且つ、眼鏡を掛けており、且つ、眼鏡のガラスに環境光の反射があると判断された場合には、パターン４に対応する動作モード（動作モード４）にて、投光器５及びカメラ３の制御を行う。

具体的には、前記パターン１の場合に比べて（或いは前記「中間」の光の強度の場合に比べて）、投光器５については、照明を強くし、且つ、短時間点灯するように制御し、それとともに、カメラ３について、露光時間を短くするように制御値を設定する。

これにより、眼鏡のガラスに環境光が反射している場合でも、明瞭の目の状態（目の瞳孔の位置や目の開閉状態等）が分かる顔画像が得られる。よって、この顔画像から、目の瞳孔の位置や目の開閉状態を精度良く把握することができるので、ドライバの脇見や居眠りの状態を精度良く検出することができる。

また、照明を強くする場合には、点灯時間を短くするので、ドライバの不快感を低減することができる。更に、照明を強くする場合には、カメラ３の露光時間を短くするので、適度な輝度の顔画像を得ることができる。

尚、本発明は前記実施例になんら限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
（１）例えば、上述した撮像制御装置の機能を、コンピュータのプログラムにより実行される処理により実現したもの、即ち前記機能を実現するためのプログラムも本発明の範囲である。

（２）前記実施例では、条件Ａ、Ｂ、Ｃの全ての条件の判定を行い、その判定結果に基づいて、パターンを判定したが、「環境強の強弱」と「眼鏡の反射の有無」の判定のみで、動作モードを決定してもよい。

例えば環境光が強い場合に、眼鏡に反射がある場合には、上述した実施例の動作モード４にて制御を行ってもよい。これは、眼鏡に反射がある場合には、当然ながら眼鏡を掛けているので、別途眼鏡の有無を判定を加える必要が無いからである。

なお、この場合には、下記表２に示す様なパターンや制御内容を採用できる。

（３）前記実施例では、顔画像から脇見や居眠りを検出する例を挙げたが、本発明は、例えば目に関する情報を含む顔画像から個人の認証を行う個人認証にも適用できる。
（４）前記実施例では、照度センサを利用して環境光の強さを判定したが、例えば投光器を点灯せずに（或いは点灯して）、カメラによって顔画像等の画像を撮影し、その撮像画像の明るさから、環境光の強さを判定してもよい。

（５）時計ＩＣからの時刻情報に基づいて、夜や昼を判断して、環境光の強度を推定してもよい。
（６）ナビゲーション装置から、車両が例えばトンネル内を走行していると判断された場合には、環境光が弱いと推定してもよい。

１…顔画像撮像装置
３…カメラ（撮像部）
５…投光器（光源）
７…照度センサ（環境光検知部）
９…ナビゲーション装置
１３…撮像制御装置
１７…記憶部
１９…認識部
２１…動作モード判定部
２３…発光パターン設定部
２５…投光器制御部
２７…撮像制御部

Claims (6)

1. 光源から顔に近赤外線を含む光を照射し、撮像部によって前記顔を撮像して顔画像を得る顔画像撮像装置を制御する撮像制御装置において、
   環境光の強さを検知する環境光検知部からの情報に基づいて、前記環境光の強さを判定する環境光判定手段と、
   前記顔画像に基づいて、前記眼鏡の反射の程度を判定する眼鏡反射判定手段と、
   を備えるとともに、
   前記環境光判定手段によって、前記環境光の強さが所定の判定値以上であると判定され、且つ、前記眼鏡反射判定手段によって、前記眼鏡の反射の程度が所定の判定値以上であると判定された場合には、前記光源から照射する光の強度を前記顔画像において目の状態を認識可能な所定の強度に設定する光制御手段を備えたことを特徴とする撮像制御装置。
2. 更に、前記顔画像に基づいて、眼鏡の有無を判定する眼鏡判定手段を備え、
   前記環境光判定手段及び前記眼鏡反射判定手段による判定結果に加え、更に、前記眼鏡判定手段によって、眼鏡を掛けていると判定された場合に、前記光制御手段による制御を行うことを特徴とする請求項１に記載の撮像制御装置。
3. 前記光制御手段によって、前記光源から照射する光の強度を前記所定の強度に設定する場合には、前記所定の強度を、前記環境光の強さが所定の判定値未満の場合に設定される光の強度よりも大きく設定することを特徴とする請求項１又は２に記載の撮像制御装置。
4. 前記光制御手段によって、前記光源から照射する光の強度を前記所定の強度に設定する場合には、前記光の照射時間を、前記環境光の強さが所定の判定値未満の場合に設定される光の照射時間よりも短く設定することを特徴とする請求項３に記載の撮像制御装置。
5. 前記光制御手段によって、前記光源から照射する光の強度を前記所定の強度に設定する場合には、前記撮像部の露光時間を、前記環境光の強さが所定の判定値未満の場合に設定される撮像部の露光時間よりも短く設定することを特徴とする請求項３又は４に記載の撮像制御装置。
6. コンピュータを、前記請求項１に記載の環境光判定手段、眼鏡反射判定手段、光制御手段として機能させるためのプログラム。