JP2005323180A - 撮像制御装置及びプログラム - Google Patents

Abstract

【課題】 エネルギーの浪費を抑制し、常に最適な撮像が可能な撮像制御装置及びプログラムを提供すること。
【解決手段】 ステップ１１０では、メイン投光器３により近赤外光を照射し、ステップ１２０にて、メインカメラ１により撮像を行う。ステップ１３０では、サブ投光器７により近赤外光を照射し、ステップ１４０では、サブカメラ５により撮像を行う。ステップ１６０では、顔位置を検出する。即ち、メインカメラ１及びサブカメラ５の画像を用いて、三角測量の原理を利用して、顔との距離を求める。従って、２回目からは、各カメラ１、５と顔との距離に応じて、メイン投光器３から照射する近赤外光の好ましい投光量（従ってメイン投光器３のパワー）を算出する。
【選択図】 図３

Description

本発明は、例えば自動車のドライバや同乗者の顔を含む画像をモニタリングするためなどに用いられる撮像制御装置及びプログラムに関する。

従来より、例えば自動車に搭乗するドライバや同乗者を特定するために、顔画像による個人認証システムが知られている（特許文献１参照）。
この種のシステムでは、撮像の際には、昼夜を問わず安定した画像を得るために、顔及びその周囲に向けて、光源から十分なパワー（従って強度）にて必要十分な光量の近赤外光を照射していた。
特開平２００２−２８８６７０号公報 （第２頁、図２）

しかしながら、上述した従来技術においては、外光が十分にある場合でも、大きなパワーで一定量の近赤外光を照射するので、エネルギー的な浪費があるという問題があった。
また、単に大きなパワーで一定量の近赤外光を照射する場合に、顔が光源に近づいたときには、反射光が強すぎて、画像処理に適した画像が得られないことがあった。

一方、顔が想定以上に光源から離れた場合には、反射光が弱くなり過ぎて、画像処理に耐えうる撮像が困難であるという問題もあった。
本発明は上記問題点を解決するものであり、その目的は、エネルギーの浪費を抑制し、常に最適な撮像が可能な撮像制御装置及びプログラムを提供することである。

（１）請求項１の発明は、撮像した画像に基づいて目的とする所定の処理を行うために、光源から撮像対象に近赤外線を含む光線を照射し、その反射光により撮像する撮像制御装置において、前記撮像対象に近赤外線を含む光線を照射する場合には、前記撮像対象の位置を検出し、該検出結果に基づいて、前記光源のパワーを制御することを特徴とする撮像制御装置を要旨とする。

本発明では、例えば顔認証（個人認証）、エアバッグ制御用乗員検知、居眠り防止、脇見検出、視線検知、ミラー調整等の所定の処理を行うシステムにおいて、光源から撮像対象（例えばドライバや同乗者の顔や頭）に近赤外線を含む光線を照射して撮像する。そして、その撮像の際には、撮像対象の位置（従って光源からの距離）をカメラによる画像やセンサ等により検出し、その検出結果に基づいて、光源のパワーを制御する。

例えばＥ＝Ｉ／ｄ²：（Ｅ：光源から撮像対象までの距離ｄにおける放射強度、Ｉ：光源の放射強度）の式のＥが、所定の好ましい画像が得られる放射強度の範囲に収まる様に、光源の放射強度（従って光源のパワー）を制御する。

そのため、撮像対象に対して、過不足の無い強度（従って光量）の光を照射することができるので、顔認証等の目的にあった最適な画像を得ることができる。
また、一般に過剰な光を照射することは、エネルギー的にも又生体にとっても必ずしも好ましいことではないと考えられるので、その点からも、本発明は好ましいものである。

（２）請求項２の発明は、前記撮像対象が、自動車の搭乗者の顔又は頭を含むことを特徴とする前記請求項１に記載の撮像制御装置を要旨とする。
本発明は、撮像対象を例示したものである。

（３）請求項３の発明は、前記撮像対象が、前記光源に対して一定距離以下に近づいた場合には、該光源のパワーを低減又はカットすることを特徴とする前記請求項１又は２に記載の撮像制御装置を要旨とする。

本発明は、制御内容を例示したものである。本発明では、撮像対象が、光源に対して一定距離以下に近づいた場合には、光源のパワーを低減するので、撮像対象に最適な強度（従って光量）の光を照射することができる。そのため、常に目的とする処理に最適な画像を得ることができ、エネルギー的に又は生体にとって好ましいものである。尚、撮像対象が、光源に対して一定距離以下に近づいた場合（即ち光源に近づき過ぎた場合）には、光源のパワーをカットすることにより、特に目に対する影響を低減することができる。

（４）請求項４の発明は、前記所定の処理の内容に応じて、撮像する際のフレームレートを変更することを特徴とする前記請求項１〜３のいずれかに記載の撮像制御装置を要旨とする。

例えば顔認証の様に、予め登録した顔の特徴量を有するデータベースと新たに撮影した撮像画像を比較照合するような場合には、静止画が複数枚必要であるが、それほど多くのフレームレート（所定期間における照射及び撮像の回数：頻度）は必要ないため、フレームレートを下げてもよい。

一方、例えばエアバッグ制御用乗員検知や瞬き検知システムの様に、運転者の瞬間瞬間を見落とし無くトラッキングするためには、高いフレームレートが必要とされるので、適宜フレームレートを上げる。

この様に、必要最小限のフレームレートで撮像処理を行うことにより、処理負担の低減が図れるとともに少ないエネルギーで済み、また生体にとって好ましい。
（５）請求項５の発明は、撮像した画像に基づいて目的とする所定の処理を行うために、光源から撮像対象に近赤外線を含む光線を照射し、その反射光により撮像する撮像制御装置において、前記撮像のための複数のシステムがある場合（例えば光源とカメラが複数対ある様な場合）には、各システムで用いる光源のパワーを調節して近赤外光を含む光線を照射することを特徴とする撮像制御装置を要旨とする。

撮像のために複数のシステムがある場合、例えば顔や頭に対して複数の光源から光を照射する場合には、各光源間でパワーを低減又はカット等により調節しないと過剰の光を照射する可能性がある。

従って、この様な場合には、複数の光源のパワーを調節することにより最適な照射状態とすることができるので、最小限のエネルギー及び生体への影響にて、好適な画像を得ることができる。

尚、本発明では、前記請求項１〜４の発明の構成を備えていてもよい。
（６）請求項６の発明は、撮像した画像に基づいて目的とする所定の処理を行うために、光源から撮像対象に近赤外線を含む光線を照射し、その反射光により撮像する撮像制御装置において、前記撮像のための複数のシステムがある場合（例えば光源とカメラが複数対ある様な場合）には、前記光源の位置とカメラの位置との関係に基づいて、カメラのハレーションを抑制するように、前記発光する光源の選択及び／又は発光のタイミングの調節を行うとともに、前記撮像するカメラの選択及び／又は撮像するタイミングの調節を行うことを特徴とする撮像制御装置を要旨とする。

撮像のための複数のシステムがある場合、例えばあるシステムのカメラと他のシステムの光源とが向き合っている様な場合には、それらを同時に作動させるとハレーションを起こすことがある。

従って、ハレーションを起こさない様に、各システムにおいて作動させるカメラや光源の選択を行ったり、作動タイミングの調整を行う。これにより、ハレーションの無い好適な画像を得ることができる。

尚、本発明では、前記請求項１〜５の発明の構成を備えていてもよい。
（７）請求項７の発明は、前記光源の劣化を補正する補正手段を備えたことを特徴とする前記請求項１〜６のいずれかに記載の撮像制御装置を要旨とする。

光源は、例えば使用期間や使用温度環境により、同じ投入エネルギーであっても、放射する光量が低下するなど劣化する傾向がある。従って、この劣化の状態を例えば撮像した画像の状態等により検出したり推定することにより、常に好ましい画像を得られる様に、例えば光源のパワーを調節してその補正を行う。

これにより、長い期間にわたって使用しても、常に最適な光源の強度（従って光量）にて、好ましい画像を得ることができる。
（８）請求項８の発明は、前記補正手段が、予め決めた劣化係数に基づき、前記光源の使用状態に応じて前記光源のパワーを調節する手段であることを特徴とする前記請求項７に記載の撮像制御装置を要旨とする。

本発明は、前記請求項７の補正手段を例示したものである。
上述した様に、光源は、例えば使用期間に応じて劣化する傾向がある。従って、この劣化傾向を実験等で求めて劣化係数を設定することにより、劣化の状態を推定することができる。尚、劣化係数としては、例えば光源の使用状態を示す値（例えば使用時間、製造時等からの経過時間、発光回数等に基づいた値）を採用することができる。

よって、この劣化係数を用いて、常に好ましい画像を得られる様に、光源のパワーを調節してその補正を行う。これにより、長い期間にわたって使用しても、常に最適な光の強度（従って光量）にて、好ましい画像を得ることができる。

（９）請求項９の発明は、前記補正手段が、撮像画像の経年変化に基づいて、前記光源の劣化の状態を検出して、前記光源のパワーを調節する手段であることを特徴とする前記請求項７に記載の撮像制御装置を要旨とする。

本発明は、前記請求項７の補正手段を例示したものである。ここでは、撮像画像の変化から光源の劣化の状態を求めて、光源のパワーを調節している。
これにより、長い期間経過しても、常に最適な光の強度（従って光量）にて、好ましい画像を得ることができる。

（１０）請求項１０の発明は、前記近赤外光の特定波長における撮像対象表面における受光量に対応した値を積算することを特徴とする前記請求項１〜９のいずれかに記載の撮像制御装置を要旨とする。

本発明では、近赤外光の特定波長における撮像対象表面における受光量に対応した値を積算するので、この積算データを用いて各種の処理を行うことができる。
尚、ここで、近赤外光の特定波長における撮像対象表面における受光量に対応した値としては、照射回数が挙げられる（以下同様）。また、照射回数だけではなく、照射の際のパワー（従って放射強度）を加味してよい。

（１１）請求項１１の発明は、前記撮像対象の個人を識別し、該個人別に近赤外光の特定波長における撮像対象表面における受光量に対応した値を積算することを特徴とする前記請求項１０に記載の撮像制御装置を要旨とする。

本発明では、近赤外光の特定波長における撮像対象表面における受光量に対応した値を個人別に積算するので、各個人毎にこの積算データを用いて各種の処理を行うことができる。

（１２）請求項１２の発明は、前記個人別に積算したデータを記録することを特徴とする前記請求項１１に記載の撮像制御装置を要旨とする。
本発明では、個人別に積算したデータをメモリ等に記録するので、そのデータを利用して、個人別の受光状況等を明確に把握することができる。

（１３）請求項１３の発明は、前記個人別に積算したデータを装置外部に出力可能としたことを特徴とする前記請求項１１又は１２に記載の撮像制御装置を要旨とする。
本発明では、個人別に記録したデータを、例えば携帯可能なメモリ手段（例えばＩＣカードやメモリカードなど）に出力することにより、他の車両に乗車したときでも、個人情報を生かすことができる。

（１４）請求項１４の発明は、前記近赤外光の特定波長における撮像対象表面における受光量に対応した値の総量が、所定量に達したことを報知することを特徴とする前記請求項１０〜１３のいずれかに記載の撮像制御装置を要旨とする。

本発明では、近赤外光の特定波長における撮像対象表面における受光量に対応した値の総量が所定量に達したことを報知する。例えば単位時間当たりや１週間における照射回数の総和が、ユーザ等が予め設定した所定量に達したら、報知するというものである。これにより、ユーザは自分に向けて放射されている光量を把握することができる。

（１５）請求項１５の発明は、初回又は初回から所定回数までは、予め設定された初期投光量にて、メイン投光器及びサブ投光器から近赤外線を含む光線を照射して、メインカメラ及びサブカメラで初期の撮像を行い、該撮像された画像のデータに基づいて前記撮像対象までの距離を求めることを特徴とする前記請求項１〜１４のいずれかに記載の撮像制御装置を要旨とする。

本発明では、初回等はデフォルト値の投光量で光線を照射し、例えば三角測量等の技術を用いて、画像データにより（各カメラから）撮像対象までの距離を求める。
尚、メイン投光器はメインカメラ用、サブ投光器はサブカメラ用であり、サブのシステムはメインのシステムの補助的な機能（例えば照明の均一化等）を果たす。

（１６）請求項１６の発明は、前記初期の撮像後には、前記メイン投光器及び前記メインカメラの動作によって得られた画像のデータに基づいて、前記撮像対象までの距離を求めることを特徴とする前記請求項１５に記載の撮像制御装置を要旨とする。

例えば初回をデフォルト値とした場合は、２回目以降は運転者の顔部品の大きさが既知となるため、メインカメラで撮像した顔部品のサイズと比較すれば距離が求まる。
（１７）請求項１７の発明は、前記請求項１〜１６のいずれかに記載の撮像制御装置の機能を、コンピュータにより実現するためのプログラムを要旨とする。

つまり、上述した撮像制御装置の機能は、コンピュータのプログラムにより実行される処理により実現することができる。
このようなプログラムの場合、例えば、ＦＤ、ＭＯ、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードして起動することにより用いることができる。この他、ＲＯＭやバックアップＲＡＭをコンピュータ読み取り可能な記録媒体として本プログラムを記録しておき、そのＲＯＭあるいはバックアップＲＡＭをコンピュータに組み込んで用いても良い。

次に、本発明の最良の形態の例（実施例）について説明する。

ａ）まず、本実施例の撮像制御装置を搭載した車両のシステム構成を、図１に基づいて説明する。
図１及び図２に示す様に、車両（自動車）には、搭乗者（例えばドライバ）の顔を撮像するメインカメラ１と、メインカメラ１の撮像用のメイン投光器３と、サブカメラ５と、サブカメラ５の撮像用のサブ投光器７と、それらの動作を制御する撮像制御装置９と、が搭載されている。

このうち、前記メインカメラ１は、近赤外光により画像の撮像を行うことが可能な近赤外光に対して一定の感度を持つカメラであり、ドライバの顔を正面斜め下方より撮像が可能な様に、メーターの近傍に配置されている（尚、ステアリングコラムの上に配置してもよい）。この位置であれば、顔部品（目、鼻、口、顔の輪郭等）を安定的に撮像できる。

前記メイン投光器３は、近赤外光をドライバの顔に向けて照射するように、メインカメラ１とほぼ同軸に配置されており、その照射領域Ａは、ドライバの顔を中心にほぼ円錐状である。

前記サブカメラ５は、メインカメラ１と同様に、近赤外光により画像の撮像を行うことが可能な近赤外光に対して一定の感度を持つカメラであり、ドライバの顔を斜め上方より撮像が可能な様に、オーバヘッドモジュールに配置されている（尚、サブカメラ５をインナーミラーの付近に配置してよい）。

前記サブ投光器７は、メイン投光器３と同様に、近赤外光をドライバの顔に向けて照射するように、サブカメラ５と並列に配置されており、その照射領域Ｂは、ドライバの顔を中心にほぼ円錐状である。このサブ投光器７は、撮像対象における照明をできるだけ均一にかつ必要な部位をより鮮明に撮像するという目的も有し、メイン投光器３と非同軸方向から近赤外光を放射する。

前記撮像制御装置９は、周知のマイクロコンピュータを備えた電子制御装置であり、主として、メインカメラ１及びサブカメラ５からの画像情報などに基づいて、メイン投光器３及びサブ投光器７からの近赤外光の照射状態を制御するものである。

この撮像制御装置９には、機能的に、メインカメラ１及びサブカメラ５からの画像情報等を処理する画像処理部１１と、画像処理部１１にて処理した各種の情報を記録部１３と、画像処理部１１にて処理された情報等に基づいてメイン投光器３及びサブ投光器７を制御する投光制御部１５と、メインカメラ１及びサブカメラ５の動作を制御するカメラ制御部１７と、を備えている。

また、前記画像処理部１１は、メインカメラ１及びサブカメラ５からの画像情報等に基づいて、ドライバの顔との距離を演算する距離演算部１９と、画像の前処理を行う画像前処理部２１と、画像の後処理を行う画像後処理部２３と、を備えている。

尚、前記（距離演算部１９、画像前処理部２１、及び画像後処理部２３を備えた）画像処理部１１、投光制御部１５、カメラ制御部１７は、周知のＣＰＵを主要部とするマイクロコンピュータにより実現でき、記録部１３は、例えばＥＥＰＲＯＭ等の不揮発性メモリにより実現できる。

ｂ）次に、本実施例における撮像対象との距離の検出方法について説明する。
本実施例では、２台のカメラを用いたステレオ視による距離測定を行う。これは、メインカメラ１及びサブカメラ５を用い、そのステレオカメラの位置による視差画像で演算を行うものである。

この手法は三角測量の原理（三次元計測の手法）を用いるものであり、周知であるのでその詳しい説明は省略するが、例えば下記式（１）を利用して求めることができる。
Ｄ(距離)＝Ｂ(カメラ間距離)×ｆ(焦点距離)
／Ｚ(同一物の撮像面での位置のずれ）・・（１）
但し、Ｄ：距離
Ｂ：カメラ間距離
ｆ：焦点距離
Ｚ：同一物（例えば目）の撮像面での位置のずれ
尚、この距離Ｄは二つのカメラを結ぶ線分と撮像対象との垂直距離であるので、この垂直距離及びカメラの向きの幾何学的関係から撮像対象と各カメラとの距離を求めることができる。

また、これ以外には、下記の方法が考えられる。
・単眼カメラを移動させて複数視点の画像を得ることにより、視差画像を得て、前記と同様に距離を測定する方法。

・光学部品（ミラー）を用いて視差画像を得て、同様に距離を測定する方法。
・個人差が出にくい「眼球」や「虹彩」をカメラで撮影し、その画素数の変化から距離を算出する方法。

・対象の物体に対して複数の光源を使って、光源を切換ながら写した複数の画像を換えて距離をトラッキングする方法（照度差ステレオ法）
・撮像対象に対して、光源の点灯タイミングと単眼カメラによる撮像タイミングをずらした撮像を複数パターン行い、その反射強度の変化、つまり、対象物との距離の遠近によって光の速度差により輝度が変化することを利用して距離を測定する方法。

・更に、カメラによる画像を利用するのではなく、距離センサを用いる方法も考えられる。
例えば光レーザ法。これは、カメラでドライバの顔の位置を検知し、顔の特定の位置にレーザ光を照射し、その光が戻ってくるまでの時間により距離を測定する方法である。また、超音波センサを用いた距離測定方法や、電波を用いた距離測定方法も考えられる。或いは、エアコン制御用マトリックスＩＲセンサを用いることもできる。

ｃ）次に、前記撮像制御装置９にて行われる制御処理を説明する。
本実施例では、前記カメラにより顔を撮像してドライバの認識を行う、いわゆる顔認証システムを例に挙げて、撮像状態の制御について説明する。

尚、この顔認証は、ドライバが車に乗り込んでエンジンの始動をするまでの間に行う。ただし、走行中は後述する居眠り検知などの他のシステムを利用するが、エンジンがオンのままでドライバが交代することがあるため、ドアがオープンした時やウォークスルーなどで室内移動があった場合に実施してもよい。

図３のフローチャートのステップ１００に示す様に、メイン投光器３及びサブ投光器７から照射する近赤外光の投光量を算出する。尚、初回の投光量はドライバの顔の距離が測定できる程度のデフォルト値とするが、２回目からの投光量の算出については、後述する。

続くステップ１１０では、メイン投光器３により近赤外光を照射するとともに、ステップ１２０にて、その照射に同期してメインカメラ１により撮像を行う。
同様に、ステップ１３０では、サブ投光器７により近赤外光を照射するとともに、ステップ１４０にて、その照射に同期してサブカメラ５により撮像を行う。

尚、ステップ１１０、１２０とステップ１３０、１４０の動作は、互いに干渉しない様に、若干タイミングをずらして行う。例えばステップ１１０、１２０の動作の後に、ステップ１３０、１４０の動作を行う。

ステップ１５０では、撮像した回数を計数するカウンタをカウントアップする。
続くステップ１６０では、メインカメラ１及びサブカメラ５によって得られた画像に対して、顔位置検出のための画像処理を行う。具体的には、ヒストグラム計算やテンプレートマッチングなどにより顔位置検出のための画像処理を行う。

続くステップ１７０では、前記顔位置検出の画像処理のデータを用いて、上述した三角測量の原理を利用して、顔（特に目）との距離を求める。
これにより、各カメラ１、５と顔との距離が分かるので、前記ステップ１００における２回目からの演算処理では、その距離にある顔を明瞭に撮影するために、メイン投光器３から照射する近赤外光の好ましい投光量（従ってメイン投光器３のパワー）を算出することができる。

従って、２回目からは、この演算された投光量にてメイン投光器３のみから近赤外光を照射し、メインカメラ１により撮像を行う。尚、２回目以降は、運転者の顔部品の大きさが既知となるため、メインカメラ１で撮像した顔部品のサイズと比較すれば顔との距離を求めることができる。

ここで、好ましい投光量とは、図４に示す様に、撮像によって得られる画像から顔認識が可能な投光量（正常領域の投光量）であるので、撮像によって得られた画像の状態を、投光量の演算にフィードバックし、投光量を補正してより好ましい投光量を算出する。つまり、画像から投光量が多過ぎるか少な過ぎるかが分かるので、投光量算出の制御パラメータを変更して投光量を変更する。

続くステップ１８０では、個人識別のための画像処理を行って顔認証を行う。この顔認証とは、顔の画像のデータの特徴（例えば目や口や鼻等）から、撮影した顔がどの人物かを特定するための処理である。例えば空間フィルタリング処理などで個人の特徴量などを解析し、予めデータベースに登録した顔の特徴量と比較することにより、顔認証の処理を行う。また、顔認証の手法としては、例えば特願２００２−２８８６７０号等に記載の周知の手法を採用できる。尚、顔認証の際のフレームレートは３０ｆｐｓである。

続くステップ１９０では、顔認証の結果を利用して、個人別の投光量のデータを記録（記憶）する。例えばあるドライバを認識した場合には、そのドライバに対してどの程度近赤外光が照射されたかを記録する。例えば今回の撮像のためのフレームレート及び照射回数、過去の所定期間における照射回数の合計、照射の際の光源のパワーなどのデータを記録する。

尚、前記個人別のデータを記録するメモリ（図示せず）としては、例えばＥＥＰＲＯＭ等の不揮発性メモリなど各種の周知の記録手段が挙げられる。また、この個人別に記録したデータは装置外部に取り出すことが可能である。つまり、撮像制御装置９から、例えば携帯可能な記録手段（例えばＩＣカードやメモリカードなど）に出力することにより、他の車両に乗車したときでも、前記個人情報を生かすことができる。

続くステップ２００では、撮像回数が所定の終了回数Ｎ回以下であるか否かを判定し、ここで肯定判断されるとステップ１００に戻り、一方否定判断されるとステップ２１０に進む。

ステップ２１０では、個人データに基づいて、例えば照射回数が多い場合などには、その旨を報知（警告）し、一旦本処理を終了する。尚、光源のパワーや照射回数やフレームレートを制限するようにしてもよい。

ｄ）次に、本実施例による効果を説明する。
本実施例では、顔認証システムにおいて、初回は、メインカメラ１及びサブカメラ５によるステレオカメラの画像を用いて、顔までの距離を求め、２回目以降は、この距離データに基づいてメイン投光器３のパワー（従って投光量）を調節して近赤外光を照射し、メインカメラ１にて顔の撮像を行っている。例えばメイン投光器３と顔との距離が短い場合には、光源のパワーを低減して撮像を行っている。尚、あまりに顔が近い場合には、光源のパワーをカットし撮像を中止して、その旨の警告を行ってよい。

これによって、撮像対象である顔に対して過不足の無い強度（従って光量）の光を照射することができるので、顔認証にあった最適な画像を得ることができる。また、一般に過剰な光を照射することは、エネルギー的に又生体にとって必ずしも好ましいことではないと考えられるので、上述した様に投光量を必要量に制御することは、好ましいことである。

更に、本実施例では、個人別の照射回数等の近赤外光の状態を示すデータを記録するので、そのデータを積算して各個人別の照射回数等の総量のデータを得ることができる。従って、照射回数等の総量が所定値より多い場合には、その旨を表示や音声や音等により警告することができる。

ｅ）次に、本実施例の応用例を説明する。
・例えば光源と顔との距離が過去のデータと同じであっても、光不足により同様な顔画像が得られない場合には、光源が劣化している可能性がある。この様な場合には、光源のパワーを増加する補正を行うことにより、好適な画像を得ることができる。

・光源は、通常、経過年月や使用時間が長くなるほど劣化する傾向にあり、同じパワーを加えても光量が低下することがある。そこで、劣化の程度を係数、例えば時間の経過や使用時間（或いは使用頻度）とともに増加する劣化係数などにより定め、その劣化係数に応じて、例えば劣化係数が大きなほど光源のパワーを増加させてよい。これにより、常に好適な画像を得ることができる。

次に、実施例２について説明するが、前記実施例１と同様な箇所の説明は省略する。
本発明は、前記実施例１の顔認証のシステムと居眠り検知システムとを備えたものである。

この居眠り検知システムは、ハードウエアは前記顔認証のシステムと共用するので、ここでは、制御処理について説明する。
図５のフローチャートのステップ３００に示す様に、メイン投光器３及びサブ投光器７から照射する近赤外光の投光量を算出する。尚、初回の投光量はデフォルト値とするが、２回目以降は顔との距離に基づいて算出する。

ステップ３１０では、メイン投光器３により近赤外光を照射するとともに、ステップ３２０にて、メインカメラ１により撮像を行う。同様に、ステップ３３０では、サブ投光器７により近赤外光を照射するとともに、ステップ３４０では、サブカメラ５により撮像を行う。

ステップ３５０では、撮像した回数を計数するカウンタをカウントアップする。
続くステップ３６０では、メインカメラ１及びサブカメラ５によって得られた画像に対して、顔位置検出のための画像処理を行う。

続くステップ３７０では、前記顔位置検出の画像処理のデータを用いて、上述した三角測量の原理を利用して、顔（特に目）との距離を求める。
従って、前記ステップ３００における２回目からの演算処理では、その距離にある顔を明瞭に撮影するために、メイン投光器３から照射する近赤外光の好ましい投光量を算出して近赤外光を照射し、メインカメラ１で撮像する。

ステップ３８０では、得られた画像から、瞼の状態を検出する。例えば所定時間において瞼が閉じた時間を測定する。尚、居眠り検知の場合のフレームレートの初期値は例えば１０ｆｐｓである。

続くステップ３９０では、個人別の照射回数等のデータを記憶する。
続くステップ４００では、居眠りの兆候があるか否かを判定し、ここで肯定判断されるとステップ４１０に進み、一方否定判断されるとステップ４００に進む。尚、居眠りの兆候の判定は、例えば所定時間において瞼が閉じた時間が判定値を越えたか否かにより行うことができる。

ステップ４００では、居眠りの兆候が無いので、初期値の低いフレームレートを維持する。
一方、ステップ４１０では、居眠りの兆候があるので、より正確な居眠りの判定を実施する目的で、精度の良い顔画像を得るために、フレームレートを例えば３０ｆｐｓにアップさせる。

続くステップ４２０では、撮像回数が所定の終了回数Ｎ回以下であるか否かを判定し、ここで肯定判断されるとステップ３１０に戻り、一方否定判断されるとステップ４３０に進む。

ステップ４３０では、個人データに基づいて、例えば照射回数が多い場合などには、その旨を報知（警告）し、一旦本処理を終了する。
この様に、本実施例では、居眠りの兆候に応じて撮像のフレームレートを調節するので、常に必要最小限の投光量にて、居眠りの精度良く検出することができる。

次に、実施例３について説明するが、前記実施例１と同様な箇所の説明は省略する。
本発明は、前記実施例１の顔認証のシステムとエアバッグ用乗員検知システムとを備えたものである。

このエアバッグ用乗員検知システムは、ハードウエアは前記顔認証のシステムと共用するので、ここでは、制御処理について説明する。
図６のフローチャートのステップ５００に示す様に、メイン投光器３及びサブ投光器７から照射する近赤外光の投光量を算出する。尚、初回の投光量はデフォルト値とするが、２回目以降は顔との距離に基づいて算出する。

ステップ５１０では、メイン投光器３により近赤外光を照射するとともに、ステップ５２０にて、メインカメラ１により撮像を行う。同様に、ステップ５３０では、サブ投光器７により近赤外光を照射するとともに、ステップ５４０では、サブカメラ５により撮像を行う。

ステップ５５０では、メインカメラ１及びサブカメラ５の画像を用いて、上述した三角測量の原理を利用して、顔との距離を求める。
そして、前記各カメラ１、５と顔との距離に応じて、顔を明瞭に撮影するために、メイン投光器３から照射する近赤外光の好ましい投光量を算出する。

従って、次回の撮像の際には、この算出した投光量を照射する様に、メイン投光器３を制御し、メインカメラ１にて撮像を行う。
この様に、本実施例では、簡易な手法にて、必要最小限の投光量にて、エアバッグ用の乗員検知を行うことができる。

尚、エアバッグ用乗員検知システムは、人の顔や頭がエアバックにあまり近いところにある場合には、エアバッグを作動させない制御を行うものであるので、人の顔や頭部がおおよそどの位置にあるかが分かればよい。よって、顔認証のフレームレートよりかなり低いフレームレート（例えば１０ｆｐｓ）を採用できる。

次に、実施例４について説明するが、前記実施例１と同様な箇所の説明は省略する。
本実施例は、例えば顔認証のシステムとエアバッグ用乗員検知システムの様に複数のシステムを備えた場合において、ハードウエアをそれぞれ別に設けたものである。

例えば図７に示す様に、メイン（第１）カメラ１及びメイン（第１）投光器３、サブ（第２）カメラ５及びサブ（第２）投光器７のセットに加えて、エアバッグ用乗員検知のために第３カメラ３１及び第３投光器３３を備えた構成が考えられる。

ここでは、第３投光器３３の照射領域Ｃは、ドライバの頭を中心に円錐体形状であり、しかも、メインカメラ１及びメイン投光器３と、第３カメラ３１及び第３投光器３３とは、対向して向き合っている。

従って、仮にメインカメラの１の撮影のタイミングと第３投光器３３の照射タイミングが一致するとハレーションが発生して好適な画像が得られない可能性がある。
そこで、本実施例では、メインカメラ１の撮影のタイミングと第３投光器３３の照射タイミングとをずらすとともに、第３カメラ１の撮影のタイミングとメイン投光器３の照射タイミングとをずらすようにしている。

これにより、どのカメラ１、５、３１でも、ハレーションを起こすことなく好適な画像が得られる。
また、サブカメラ３と第３カメラ３１とで同時に撮像する場合には、サブカメラ３と第３カメラ３１とで別々に撮像する場合に比べて、サブ投光器７及び第３投光器３３から照射する光の光量を低めに設定する。

これは、サブカメラ３と第３カメラ３１とで同時に撮像する場合には、ドライバの頭部等の同様な箇所に同時にサブ投光器７及び第３投光器３３から光を照射するので、照射光が過剰になり易いからである。

これにより、最適な投光量にて好ましい画像を得ることが可能になる。
尚、本発明は前記実施例になんら限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。

例えば、上述した撮像制御装置の機能を、コンピュータのプログラムにより実行される処理により実現したもの、即ち前記機能を実現するためのプログラムも本発明の範囲である。

実施例１の撮像制御装置が用いられるシステム構成を示す説明図である。 実施例１の撮像制御装置を含むシステムのハード構成を示す説明図である。 実施例１の撮像制御装置にて行われる制御処理を示すフローチャートである。 実施例１における光の照射状態を示す説明図である。 実施例２の撮像制御装置にて行われる制御処理を示すフローチャートである。 実施例３の撮像制御装置にて行われる制御処理を示すフローチャートである。 実施例４の撮像制御装置が用いられるシステム構成を示す説明図である。

符号の説明

１…メインカメラ（第１カメラ）
３…メイン投光器（第１投光器）
５…サブカメラ（第２カメラ）
７…サブ投光器（第２投光器）
９…撮像制御装置
１１…画像処理部
３１…第３カメラ
３３…第３投光器

Claims (17)

1. 撮像した画像に基づいて目的とする所定の処理を行うために、光源から撮像対象に近赤外線を含む光線を照射し、その反射光により撮像する撮像制御装置において、
   前記撮像対象に近赤外線を含む光線を照射する場合には、前記撮像対象の位置を検出し、該検出結果に基づいて、前記光源のパワーを制御することを特徴とする撮像制御装置。
2. 前記撮像対象が、自動車の搭乗者の顔又は頭を含むことを特徴とする前記請求項１に記載の撮像制御装置。
3. 前記撮像対象が、前記光源に対して一定距離以下に近づいた場合には、該光源のパワーを低減又はカットすることを特徴とする前記請求項１又は２に記載の撮像制御装置。
4. 前記所定の処理の内容に応じて、撮像する際のフレームレートを変更することを特徴とする前記請求項１〜３のいずれかに記載の撮像制御装置。
5. 撮像した画像に基づいて目的とする所定の処理を行うために、光源から撮像対象に近赤外線を含む光線を照射し、その反射光により撮像する撮像制御装置において、
   前記撮像のための複数のシステムがある場合には、各システムで用いる光源のパワーを調節して近赤外光を含む光線を照射することを特徴とする撮像制御装置。
6. 撮像した画像に基づいて目的とする所定の処理を行うために、光源から撮像対象に近赤外線を含む光線を照射し、その反射光により撮像する撮像制御装置において、
   前記撮像のための複数のシステムがある場合には、前記光源の位置とカメラの位置との関係に基づいて、カメラのハレーションを抑制するように、前記発光する光源の選択及び／又は発光のタイミングの調節を行うとともに、前記撮像するカメラの選択及び／又は撮像するタイミングの調節を行うことを特徴とする撮像制御装置。
7. 前記光源の劣化を補正する補正手段を備えたことを特徴とする前記請求項１〜６のいずれかに記載の撮像制御装置。
8. 前記補正手段が、予め決めた劣化係数に基づき、前記光源の使用状態に応じて前記光源のパワーを調節する手段であることを特徴とする前記請求項７に記載の撮像制御装置。
9. 前記補正手段が、撮像画像の経年変化に基づいて、前記光源の劣化の状態を検出して、前記光源のパワーを調節する手段であることを特徴とする前記請求項７に記載の撮像制御装置。
10. 前記近赤外光の特定波長における撮像対象表面における受光量に対応した値を積算することを特徴とする前記請求項１〜９のいずれかに記載の撮像制御装置。
11. 前記撮像対象の個人を識別し、該個人別に近赤外光の特定波長における撮像対象表面における受光量に対応する値を積算することを特徴とする前記請求項１０に記載の撮像制御装置。
12. 前記個人別に積算したデータを記録することを特徴とする前記請求項１１に記載の撮像制御装置。
13. 前記個人別に積算したデータを装置外部に出力可能としたことを特徴とする前記請求項１１又は１２に記載の撮像制御装置。
14. 前記近赤外光の特定波長における撮像対象表面における受光量に対応する値の総量が、所定量に達したことを報知することを特徴とする前記請求項１０〜１３のいずれかに記載の撮像制御装置。
15. 初回又は初回から所定回数までは、予め設定された初期投光量にて、メイン投光器及びサブ投光器から近赤外線を含む光線を照射して、メインカメラ及びサブカメラで初期の撮像を行い、該撮像された画像のデータに基づいて前記撮像対象までの距離を求めることを特徴とする前記請求項１〜１４のいずれかに記載の撮像制御装置。
16. 前記初期の撮像後には、前記メイン投光器及び前記メインカメラの動作によって得られた画像のデータに基づいて、前記撮像対象までの距離を求めることを特徴とする前記請求項１５に記載の撮像制御装置。
17. 前記請求項１〜１６のいずれかに記載の撮像制御装置の機能を、コンピュータにより実現するためのプログラム。

Images