JP2013146032A - ドライバモニタシステム及びその処理方法 - Google Patents

Abstract

【課題】運転者の顔を撮影した画像から、運転者の顔の関する情報を精度良く抽出することができるドライバモニタシステム及びその処理方法を提供すること。
【解決手段】運転者を含む全体画像を撮影し、その全体画像から運転者の顔画像を求めるとともに顔画像の外周を示すエッジを求め、そのエッジから顔画像の中心（顔中心）を求め、その顔中心と全体画像の中心（撮像中心）とのズレの大きさを判定する。そして、顔中心と撮像中心とのズレが大きな場合には、顔全体に十分に近赤外光が当たらず顔画像が不鮮明になり、画像解析を精度良く行えないと判断し、顔中心と撮像中心とが一致するように、撮像部１０の向きを調節する。これにより、顔全体に十分に近赤外光が当たって顔画像が鮮明になるので、この顔画像に基づいて画像解析を精度良く行うことができ、よって、運転者の居眠りや脇見等の運転状態や個人認証を精度良く行うことができる。
【選択図】図５

Description

本発明は、例えば自動車のドライバ（運転者）の顔の画像（顔画像）を撮像し、その顔画像から運転者の状態を把握する処理や個人認証を行う処理等を行う場合に、精度の良い顔画像を得ることができるドライバモニタシステム及びその処理方法に関する。

従来より、例えば脇見や居眠りなどといった運転操作上好ましくない運転者の状態を検出するためや運転者の個人認証を行うために、投光器から運転者の顔に向けて近赤外光を照射し、カメラによって運転者の顔を撮影して顔画像を取得し、その顔画像を解析することによって運転者の状態を検知したり個人認証を行う技術が知られている。

この種の技術では、撮影された画像から運転者の顔領域を抽出し、その顔領域を拡大したり回転する画像処理等を施すことにより、精度良く顔画像を解析する工夫がなされている。

例えば下記特許文献１には、目の検出精度を上げるために、左右の目の位置が水平方向に無い場合には、カメラを撮像中心軸を中心にして自動で回転制御することにより、左右の目の位置を水平方向に補正する技術が開示されている。

特許第４５５２６３６号公報

しかしながら、上述した従来技術のような補正等を行った場合でも、近赤外光の照射状態等により、目や鼻や口等の顔の各パーツの検出精度が低下したり、各パーツの検出自体不可能なことがあり、顔画像の解析を精度良く行えないという問題があった。

つまり、投光器（例えばＬＥＤ）から顔に近赤外光を照射する場合には、通常、カメラの撮像中心軸と投光器の光軸とが一致するように近赤外光を照射するが、投光器には光軸に近いほど明るいという配光分布があるため（図１０（ａ）参照）、運転者の顔が撮像中心軸に位置していない場合、即ち、撮影された画像の中心（撮像中心）から運転者の顔がずれている場合（図１０（ｂ）参照）には、運転者の顔が撮像中心に位置している場合（図１０（ｃ）参照）に比べて、顔の各パーツのコントラストが低下し、運転者の顔に関する各種の情報（例えば目の開閉等）を精度良く抽出できないという問題があった。

本発明は上記問題点を解決するものであり、その目的は、運転者の顔を撮影した画像から、運転者の顔の関する情報を精度良く抽出することができるドライバモニタシステム及びその処理方法を提供することである。

（１）本発明のドライバモニタシステムは、車両に設置され、前記車両の運転者を撮像する撮像部と前記撮像部で撮像された画像を処理する画像処理部とを備えたドライバモニタシステムにおいて、前記撮像部は、撮像装置と投光器とを備えるとともに、前記撮像装置の撮像中心軸と前記投光器の光軸とを前記運転者の顔の位置に対応する所定の予想範囲に納まるように設定し、且つ、前記撮像装置と前記投光器とを前記撮像中心軸と前記光軸との位置関係を保って一体に移動可能に構成したものであり、前記画像処理部は、前記撮像部で撮像された画像から、前記運転者の顔画像の全体又はその一部の前記画像における位置である顔位置を示す顔位置情報を検出する顔位置情報検出部と、前記顔位置情報検出部で検出された運転者の顔位置情報から、前記撮像装置の撮像中心軸に対応する前記画像内の撮像中心と前記運転者の顔位置とのずれの程度を判定する判定部と、を備え、更に、前記判定部にて、前記撮像中心と前記顔位置とのずれの程度が所定値以上であると判定されると、前記画像において前記顔画像を前記撮像中心に近づけるように、前記撮像部の撮像する向きを制御する撮像パラメータ制御部を備えることを特徴とする。

本発明のドライバモニタシステムでは、撮像部の撮像装置と投光器とは、その撮像中心軸と光軸とが運転者の顔の位置（予想位置）に向くように揃えて配置されている。このドライバモニタシステムでは、撮像部で撮像された画像から、運転者の顔画像の全体又はその一部の画像における位置である顔位置を示す顔位置情報を検出し、その運転者の顔位置情報から、撮像装置の撮像中心軸に対応する画像内の撮像中心と運転者の顔位置（例えば顔画像の中心である顔中心）とのずれの程度を判定する。そして、撮像中心と顔位置とのずれの程度が大きいと判定された場合には、顔画像を撮像中心に近づけるように、撮像部の撮像する向きを制御する。

つまり、撮像装置の撮像中心軸と投光器の光軸との軸線がほぼ同様な方向に設定されている場合に、顔位置と撮像中心とが大きくずれていると、運転者の顔に十分に光が照射されないので、顔の各パーツのコントラストが低下し、運転者の顔に関する情報を精度良く抽出できない。そこで、本発明では、そのように顔位置と撮像中心とが大きくずれている場合には、顔位置を撮像中心に近づけるように、撮像部の撮像する向き（従って撮像装置の撮像中心軸の向き）を制御する。

この制御によって、運転者の顔に向けて多くの光が照射されるので、顔の各パーツのコントラストが向上し、運転者の顔に関する情報を精度良く抽出することができる。
なお、顔位置を撮像中心に近づける方法としては、例えば顔画像の中心を撮像中心に近づける方法が挙げられるが、（顔のパーツの位置は大体決まっているので）顔画像の中心でなくとも、顔のパーツの位置を考慮して、（例えばパーツを移動させるようにして）顔画像を撮像中心に近づけるように制御してもよい。

・また、本発明では、前記顔位置情報検出部は、顔の各部位の位置情報の中から選択された１つの位置情報、又は顔の各部位の位置情報の中から複数の情報を用いて計算された位置情報を、前記顔位置情報として検出することができる。

顔の目や鼻や口や耳等の部位（パーツ）の位置は、だれでもほぼ同様な位置であるので、顔画像において顔の１又は複数の部位（パーツ）を検出できれば、その部位の位置から、撮像された全体の画像（全体画像）のどの位置に顔画像が位置しているのかや、顔画像の中心などを推定することができる。よって、この位置情報を用いて、上述した判定部における判定や、その判定結果に基づく撮像部の制御を行うことができる。

なお、この顔の部位としては、顔の外周を示すエッジ（例えば顔の上下左右の最も外側の端部を示すエッジ）を採用することができる。
・更に、本発明では、前記画像処理部は、前記判定部にて、前記撮像中心と前記顔位置とのずれの程度が所定値以上であると判定されると、前記撮像部の撮影する向きの制御量を算出する撮像パラメータ制御量算出部を備え、前記撮像パラメータ制御量算出部は、前記撮像装置の撮像中心と前記運転者の顔位置との距離に応じて、単位時間当たりにおける前記撮像部の撮影する向きの制御量を算出することができる。

ここでは、撮像中心と顔位置（例えば顔中心）との距離に応じて、単位時間当たりにおける撮像部の撮影する向きの制御量を算出するので、この制御量に基づいて撮像部を移動させることにより、適切な速度で顔位置を撮像中心に近づけることができる。

つまり、撮像部を高速で移動させた場合に、運転者が顔を動かしたような時には、再度撮像部を移動させる制御が必要になり、ハンチングが発生する可能性があるが、上述の様に距離に応じて単位時間当たりの制御量を設定することにより、ハンチングを防止するとともに、速やかに顔位置を撮像中心に近づけることができる。これにより、安定した画像を速やかに得ることができる。

（２）本発明のドライバモニタシステムの処理方法は、車両の運転者を撮像する撮像部を前記車両に備えたドライバモニタシステムに対して、画像処理プロセスにより前記撮像部で撮像された画像を処理するドライバモニタシステムの処理方法において、前記撮像部は、撮像装置と投光器とを備え、前記撮像装置の撮像中心軸と前記投光器の光軸とを前記運転者の顔の位置に対応する所定の予想範囲において一致するように設定し、且つ、前記撮像装置と前記投光器とを前記撮像中心軸と前記光軸との位置関係を保って一体に移動可能に構成したものであり、前記画像処理プロセスは、前記撮像部で撮像された画像から、前記運転者の顔画像の全体又はその一部の前記画像における位置である顔位置を示す顔位置情報を検出する顔位置情報検出プロセスと、前記顔位置情報検出プロセスで検出された運転者の顔位置情報から、前記撮像装置の撮像中心軸に対応する前記画像内の撮像中心と前記運転者の顔位置とのずれの程度を判定する判定プロセスと、を有し、更に、前記判定プロセスにて、前記撮像中心と前記顔位置とのずれの程度が所定値以上であると判定されると、前記画像において前記顔画像を前記撮像中心に近づけるように、前記撮像部の撮像する向きを制御する撮像パラメータ制御プロセスを有することを特徴とする。

本発明の作用効果は、上述したドライバモニタシステムと同様であるので、その説明は省略する（以下同様）
・また、本発明では、前記顔位置情報検出プロセスは、顔の各部位の位置情報の中から選択された１つの位置情報、又は顔の各部位の位置情報の中から複数の情報を用いて計算された位置情報を、前記顔位置情報として検出することができる。

・更に、本発明では、前記画像処理プロセスは、前記判定プロセスにて、前記撮像中心と前記顔位置とのずれの程度が所定値以上であると判定されると、前記撮像部の撮影する向きの制御量を算出する撮像パラメータ制御量算出プロセスを備え、前記撮像パラメータ制御量算出プロセスは、前記撮像装置の撮像中心と前記運転者の顔位置との距離に応じて、単位時間当たりにおける前記撮像部の撮影する向きの制御量を算出することができる。

なお、画像処理部（又は画像処理プロセス）の顔位置情報検出部（又は顔位置情報検出プロセス）及び判定部（又は判定プロセス）や撮像パラメータ制御部（又は撮像パラメータ制御プロセス）は、コンピュータのプログラムにより実行される処理により実現することができる。

このようなプログラムの場合、例えば、ＦＤ、ＭＯ、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードして起動することにより用いることができる。この他、ＲＯＭやバックアップＲＡＭをコンピュータ読み取り可能な記録媒体として本プログラムを記録しておき、そのＲＯＭあるいはバックアップＲＡＭをコンピュータに組み込んで用いても良い。

実施例１のドライバモニタシステムを示す説明図である。 顔画像撮像装置を示す斜視図である。 （ａ）はカメラの撮像中心軸と投光器の光軸と運転者との位置関係を示す説明図、（ｂ）は投光器（ＬＥＤ）の配光分布を示す説明図である。 ドライバモニタシステムの電気的構成を示すブロック図である。 ドライバモニタシステムの処理方法を示すフローチャートである。 全体画像において顔画像から顔中心を求める処理の手順を示す説明図である。 全体画像において顔中心と撮像中心と移動量必要ベクトルとの関係を示す説明図である。 （ａ）は実施例の処理前の画像を示す説明図、（ａ）は実施例の処理後の画像を示す説明図である。 実施例２において、配向分布一様エリアを示す説明図である。 従来技術を示し、（ａ）は投光器（ＬＥＤ）の配光分布を示す説明図、（ｂ）は運転者が撮像領域の中心に位置していない場合の画像、（ｃ）は運転者が撮像領域の中心に位置している場合の画像である。

以下に本発明のドライバモニタシステム及びその処理方法の実施例を図面と共に説明する。

ａ）まず、本実施例のドライバモニタシステムを搭載した車両のシステム構成を、図１〜図３に基づいて説明する。
図１に示す様に、車両（自動車）には、ドライバ（運転者）の居眠りや脇見等の状態を検出したり個人認証などを行うために、運転者の顔画像を撮像して、その顔画像を解析するドライバモニタシステム１が搭載されている。このドライバモニタシステム１は、例えば、ダッシュボード３のメータ（図示せず）の近傍に配置された顔画像撮像装置５と顔画像撮像装置５の動作を制御する撮像制御装置７とを備えている。

図２に示す様に、前記顔画像撮像装置５は、運転者の顔を撮像するカメラ９と、運転者の顔等に光を照射する撮像用の一対の投光器１１ａ、１１ｂ（１１と総称する）と、カメラ９及び一対の投光器１１の表面を覆う可視光カットフィルタ１３とを備えている。

このうち、カメラ９は、近赤外光により画像の撮像を行うことが可能な（即ち近赤外光に対して一定の感度を持つ）例えばＣＣＤカメラであり、例えば運転者の顔を正面斜め下方より撮像が可能な様に配置されている。

投光器１１は、例えば近赤外ＬＥＤからなり、近赤外光を運転者の顔に向けて照射するように、カメラ９とほぼ同軸となる様に配置されている。なお、その照射領域は、運転者の顔を中心にほぼ円錐状である。

詳しくは、図３（ａ）に示す様に、カメラ９及び投光器１１ａ、１１ｂは同一平面に配置されるとともに、カメラ９を中心にして左右に対称に投光器１１ａ、１１ｂが配置されている。そして、カメラ９の撮像中心軸と左右の投光器１１ａ、１１ｂの光軸とは、運転時に運転者の顔の位置があると予想される位置（予想位置）にて一致するようにその軸方向が設定されている。具体的には、カメラ９の撮像中心軸に対して、各投光器１１ａ、１１ｂの光軸との角度が５°以下となり、カメラ９の撮像中心軸と各投光器１１ａ、１１ｂの光軸とがほぼ揃うように設定されている。

なお、顔に光が十分に当たるように、予想位置は運転者の頭の前後方向（図３（ａ）の左右方向）において、実験等により最適な位置に設定されている。
従って、この投光器１１から近赤外光を照射してカメラ９にて画像を撮影すると、例えば図３（ｂ）に示す様に、カメラ９の撮像中心軸に一致する画像の中心（撮像中心）に向けて近赤外光が照射されるので、撮像中心ほど明るく大きな強度（高い画素値）の画像が得られる。

なお、撮像中心軸と光軸との関係は、前記のように一点に収束するように（焦点の一点で集まる）ように構成することが望ましいが、顔画像の分析が可能な所定の範囲で多少ずれていてもよい。例えば、撮像中心軸と光軸とを近接させて（左右方向又は上下方向等にずれた）平行としてもよい。また、撮影中心軸と光軸とを一致させてもよい。

特に本実施例では、カメラ９と投光器１１とが同様に向きを変更できるように、即ち撮像中心軸と光軸との位置関係（軸の向きと軸同士の距離の関係）を変更せずにカメラ９と投光器１１とが一体に可動できるように、カメラ９と投光器１１とが同一の基台（ベース）１５に固定され、このベース１５が複数のモータ１７（図４参照）によって、上下左右に自由に向きを変えることができるように構成されている。

なお、このモータ１７は、ベース１５を上下方向に移移動させるモータと、左右方向に移動させるモータとから構成されている。
ｂ）次に、ドライバモニタシステム１の電気的構成について、図４に基づいて説明する。

図４に示す様に、本実施例のドライバモニタシステム１は、上述したカメラ９、投光器１１、及びモータ１７を有する顔画像撮像装置５と、顔画像撮像装置５を制御する撮像制御装置７とを備えており、この顔画像撮像装置５と撮像制御装置７との間で、画像信号や制御信号の通信を行うことにより、顔画像の取得やその解析等を行うものである。なお、以下では、一体に向きを変えるカメラ９及び投光器１１を、撮像部１０と称する。

このうち、撮像制御装置７は、周知のマイクロコンピュータを備えた電子制御装置であり、カメラ９からの画像信号に基づいて、画像処理等を行うとともに、後述する様に、カメラ９及び投光器１１の向きを制御するものである。

この撮像制御装置７には、機能的に、カメラ９によって得られた画像信号を処理する画像処理部１９と、撮像部１０における撮像の向き（即ちカメラ９の向き）を変えるためにモータ１７の動作を制御する撮像パラメータ制御部２１とを備えている。

更に、画像処理部１９は、カメラ９によって得られた画像信号からノイズを除去する前処理を行う前処理部２３と、前処理部２３によって処理された画像信号から（例えば顔画像の中心位置を示す）顔位置情報を検出する顔位置情報検出部２５と、顔位置情報検出部２５によって得られた顔位置情報に基づいて、撮像中心と顔画像の位置（顔位置）とのずれの程度（ずれが所定値より大きいか否か）を判定する判定部２６と、判定部２６によって得られた判定結果に基づいて、そのずれを小さくするために（詳しくは撮像中心と顔画像の中心とを一致させるために）、撮像部１０の向きを変更する量（移動量）を算出する移動量必要ベクトル算出部２７と、撮像部１０の撮影する向きの制御量（詳しくは単位時間当たりにおける撮像部１０の撮影する向き（角度）の制御量）を算出する撮像パラメータ制御量算出部２８とを備えている。

ｃ）次に、本実施例のドライバモニタシステム１の処理方法について、図５〜図７に基づいて説明する。
本処理は、撮像制御装置７の画像処理部１９と撮像パラメータ制御部２１とによって行われるものであり、カメラ９によって運転者の顔を含む画像（全体画像）を撮影し、その全体画像から顔画像を抽出し、その顔画像の中心（顔中心）と全体画像の中心（撮像中心）とのズレを検出し、そのズレを無くすように、即ち、顔中心と撮像中心とが一致するように、撮像部１０の向きを調整するものである。以下、順を追って具体的に説明する。

図５のフローチャートに示す様に、まず、ステップ（Ｓ）１００にて、投光器１１から運転者に対して近赤外光を照射するとともに、カメラ９によって、運転者を撮像する。
続くステップ１１０では、例えば周知のメディアンフィルタを使用して、撮影した画像からノイズを除去する。

続くステップ１２０では、図６の２段目の図面に示す様に、ノイズを除去した画像から、水平方向におけるエッジ（水平エッジ）と垂直方向におけるエッジ（垂直エッジ）を検出する。例えば周知のprewittフィルタ又はsobelフィルタを用いて、水平エッジと垂直エッジを検出する。

続くステップ１３０では、図６の３段目の画像に示す様に、水平エッジ・垂直エッジから、顔画像の上下左右のエッジを検出する。
つまり、撮像された画像においては、顔の光反射の影響によって、顔画像とその背景の画像との間には大きな画素値の差があるので、上述したフィルタを用いて求めた演算値の大きさに基づいて、顔画像の上下・左右を示すエッジを求める。

詳しくは、例えば画像サイズが６４０画素（列）×４８０画素（行）とすると、顔画像のアウトラインを示す上下左右のエッジラインのうち、垂直方向のエッジライン（垂直エッジ：垂直で平行な左右一対の線分（図６の３段目右図参照））は、６４０列の中の２本になり、水平方向のエッジライン（水平エッジ：水平で平行な上下一対の線分（図６の３段目左図参照））は、４８０列の中の２本になる。この場合、それぞれの方向において、エッジ強度が高い上位Ｎ％の画素を多く通るラインがエッジラインの可能性が高いので、それぞれの方向で、上位Ｎ％の画素を多く通る上位２ラインを求めることで、上下左右のエッジを検出する。

なお、Ｎは、例えば、画像サイズがｍ（列）×ｎ（行）であって、垂直方向のエッジラインを検出する場合は（２×ｎ）／（ｍ×ｎ）×１００より小さい値で、水平方向のエッジラインを検出する場合は（２×ｍ）／（ｍ×ｎ）×１００より小さい値で任意に設定した所定値である。

なお、上述したフィルタは、水平・垂直成分を検出する２つの重み係数を有するマスクから構成され、通常は、それぞれの出力値を二乗して加算し、その加算した値の平方根をとった値をフィルタ処理後の画像として出力するが、本実施例では、水平エッジ強度と垂直エッジ強度とを独立した情報として扱うため、「それぞれの出力値を二乗して加算し、その加算した値の平方根をとる処理」は行わず、水平エッジを検出する場合は、水平エッジ強度が高い画素の上位の所定％（Ｍ％）を用い、垂直エッジを検出する場合は、垂直エッジ強度が高い画素の上位の所定％（Ｍ％）を用いて、顔領域（顔画像の範囲）の上下左右を決定する。

なお、Ｍは、例えば、画像サイズがｍ（列）×ｎ（行）であって、垂直方向のエッジラインを検出する場合は（２×ｎ）／（ｍ×ｎ）×１００より小さい値で、水平方向のエッジラインを検出する場合は（２×ｍ）／（ｍ×ｎ）×１００より小さい値で任意に設定した所定値である。

続くステップ１４０では、図６の４段目の画像に示す様に、顔画像の上下左右のエッジから顔画像の中心（顔中心）を検出する。
具体的には、上下左右のエッジで囲まれる領域は長方形であるので、その対角線の交点を顔中心とする。なお、撮像中心は撮影された画像（全体画像）の中心であり、この画像は長方形であるので、その対角線の交点が撮像中心となる。

続くステップ１５０では、図７に示す様に、顔中心と撮像中心との距離Ｌを算出する。
具体的には、撮像中心の座標を（Ｃｘ、Ｃｙ）とし、顔中心の座標を（Ｆｘ、Ｆｙ）とすると、顔中心と撮像中心との距離Ｌは、下記式（１）で求めることができる。

Ｌ＝｛（Ｃｘ−Ｆｘ）²＋（Ｃy−Ｆｙ）²｝^1/2 ・・（１）
続くステップ１６０では、前記距離Ｌが、所定の閾値Ｔｈを上回るか否かを判定する。即ち、顔中心と撮像中心とのズレが、画像解析に影響を及ぼすような大きなズレであるか否かを判定する。ここで肯定判断されるとステップ１７０に進み、一方否定判断されると一旦本処理を終了する。

なお、この閾値Ｔｈは、実験等によって適切な値（即ちズレが画像解析に影響を与える限界）を設定できる。
ステップ１７０では、図７に示す様に、顔中心と撮像中心とのズレが大きいので、顔中心を撮像中心に一致させるように移動させる移動量必要ベクトルを算出する。この移動量必要ベクトルは、その向きは、顔中心から撮像中心に向う方向であり、その成分は、（Ｌｘ、Ｌｙ）で与えられる。なお、顔中心と撮像中心とのｘ方向における距離Ｌｘは（Ｃｘ−Ｆｘ）であり、顔中心と撮像中心とのｙ方向における距離Ｌｙは（Ｃｙ−Ｆｙ）である。

続くステップ１８０では、移動量必要ベクトルに対応した撮像部１０の向きの移動量（制御量）を求める。具体的には、顔中心を撮像中心に一致させるように、カメラ９の撮像中心軸を、どの方向にどのような速度でどの程度移動させるかという制御量（撮像パラメータ制御量）を求める。詳しくは、単位時間当たりにおける撮像部１０の撮影する向き（角度）の制御量を求める。

なお、画像上での移動量と撮像部１０の向きの制御量とには一定の関係があるので、画像上の移動量必要ベクトルから実際の撮像部１０の向き（詳しくは角度）の制御量を求めることができる。

例えば、カメラ９にもよるが、画像上で横方向に２０画素移動させた場合は、撮像部１０の向きを水平方向に５°制御することに対応させることができる。
続くステップ１９０では、この撮像部１０の制御量に応じてモータ１７を、どのような速度でどの程度動かすかというモータ制御量を求め、このモータ制御量に応じてモータ１７を駆動し、一旦本処理を終了する。

なお、モータ制御量は、撮像部１０の上下方向の制御量に対応した上下方向のモータ制御量と、撮像部１０の左右方向の制御量に対応した上下方向のモータ制御量とから構成されている。

また、モータ１７を制御する場合には、例えば運転者の撮像を行う１フレームと次のフレームとの間に、顔中心と撮像中心とが一致するように、モータ１７を駆動することができる。

ｄ）本実施例では、上述した構成によって、下記の効果を奏する。
本実施例では、運転者を含む全体画像を撮影し、その全体画像から運転者の顔画像を求めるとともに顔画像の外周を示すエッジを求め、そのエッジから顔画像の中心（顔中心）を求め、その顔中心と全体画像の中心（撮像中心）とのズレの大きさを判定する。

そして、顔中心と撮像中心とのズレが大きな場合には、図８（ａ）に示す様に、顔全体に十分に近赤外光が当たらず顔画像が不鮮明になり、画像解析を精度良く行えないと判断し、顔中心と撮像中心とが一致するように、撮像部１０の向きを調節する。

これにより、図８（ｂ）に示す様に、顔全体に十分に近赤外光が当たって顔画像が鮮明（クリアー）になるので、この顔画像に基づいて画像解析を精度良く行うことができる。よって、運転者の居眠りや脇見等の運転状態の検出や個人認証を、精度良く行うことができる。

次に、実施例２について説明するが、前記実施例１と同様な内容の説明は省略する。
本実施例は、撮像部の向きを制御する方法に特徴があるので、その処理方法について説明する。なお、装置については前記実施例１と同じ番号を用いて説明する。

本実施例では、顔中心と撮像中心との距離Ｌ（即ち移動量必要ベクトル）が、所定の判定値Ｈより大きい場合には、より安定した画像を得るために、撮像部１０の向きを制御する制御量を、例えば下記（１）〜（３）のようにして分割する。

ここで、判定値Ｈは、例えば図９に示す様に、配向分布一様エリアに顔画像が納まるような場合において、撮像中心と顔中心との距離Ｌが最大となるとき、そのＬを判定値Ｈに設定する。なお、配向分布一応エリアとは、投光器１１の近赤外ＬＥＤの配向分布が一様の領域（所定の光の強度（輝度）以上の領域）である。

（１）顔中心と撮像中心の距離Ｌが判定値Ｈより大きな場合には、撮像部１０の向きの制御量として、単位時間当たりの制御量を所定値（一定量）に設定する。この所定値とは、顔中心と撮像中心の距離Ｌに対応した制御量よりも小さな制御量である。

これにより、仮に運転者の動作によって（順次撮影される）顔画像の位置がずれた場合でも、撮像部１０の動きが過剰になりにくいので、ハンチングの発生を防止できる。
（２）顔中心と撮像中心の距離Ｌが判定値Ｈより大きな場合には、その距離Ｌに応じて、単位時間当たりの制御量を変更する。

例えば単位時間当たりの制御量Ｃを、Ｃ０、Ｃ１、Ｃ２、Ｃ３（Ｃ０＜Ｃ１＜Ｃ２＜Ｃ３）とし、例えば距離Ｌを、Ｌ１、Ｌ２、Ｌ３（Ｌ１＜Ｌ２＜Ｌ３）とした場合、下記の様に場合分けして制御量を設定する。

Ｌ＞Ｌ１ →Ｃ＝Ｃ０
Ｌ１≦Ｌ＜Ｌ２ →Ｃ＝Ｃ１
Ｌ２≦Ｌ＜Ｌ３ →Ｃ＝Ｃ２
Ｌ３≦Ｌ →Ｃ＝Ｃ３
（３）顔中心と撮像中心の距離Ｌが判定値Ｈより大きな場合には、顔中心が撮像中心に到達するまでの時間を一定にする。

つまり、事前に撮像中心に到達するまでの時間（又はフレーム数）をプリセットする。例えば、現状から１［ｓｅｃ］で撮像中心に到達したい場合には、距離Ｌを時間で割った単位時間当たりの制御量とする。

本実施例では、前記実施例１と同様な効果を奏するとともに、特にハンチングを防止して、安定した画像を得ることができるという利点がある。
特に、前記（２）、（３）の方法の場合には、距離Ｌに応じて適切な制御量を設定できるので、ハンチングを防止できるだけでなく、顔中心を撮像中心に一致させる制御を速やかに行うことができるという利点がある。

次に、実施例３について説明するが、前記実施例１と同様な内容の説明は省略する。
本実施例は、撮像部の向きを制御する方法に特徴があるので、その処理方法について説明する。なお、装置については前記実施例１と同じ番号を用いて説明する。

（１）前記実施例１、２では、顔中心を撮像中心に一致させる制御を行ったが、画像解析が可能な程度な顔画像が得られる程度に顔に光が当たれば良いので、顔中心を撮像中心に一致させるのではなく、顔中心を撮像中心に近づけるように制御しても。例えば撮像中心を中心とした所定の範囲内に顔中心が入るように制御してもよい。

（２）また、顔の各部位（例えば目や鼻や口や耳等）の位置情報の中から選択された１つの位置情報、又は顔の各部位の位置情報の中から複数の情報を用いて計算された位置情報を、顔位置情報として検出し、この顔位置情報に基づいて、顔画像が撮像中心に近づくように制御してよい。

例えば鼻の位置（例えば鼻の画像の中心など）を検出した場合には、鼻の位置が撮像中心に一致する（又は近づく）ように制御してよい。なお、目や鼻や口や耳等の顔のパーツ及びその位置を検出する手法としては、例えば特開２００７−８００８７号公報に記載の様な周知の手法を採用できる。

また、例えば左右の黒目の位置を検出した場合には、その左右の黒目の位置から顔中心を推定し、この推定した顔中心を用いて、前記実施例１、２の制御を行ってもよい。
例えば黒目の間隔からその中点を求め、その中点より所定値（実験データから得られた測定値）だけ下方の点を顔中心として採用できる。

本実施例では、前記実施例１と同様な効果を奏するとともに、実施例１のようなエッジを求める処理が不要であるという利点がある。
［特許請求の範囲と実施例との対応］
撮像部は撮像部１０に、画像処理部は画像処理部１９に、ドライバモニタシステムはドライバモニタシステム１に、撮像装置はカメラ９に、投光器は投光器１１に、顔位置情報検出部は顔位置情報検出部２５に、判定部は判定部２６に、撮像パラメータ制御部は撮像パラメータ制御部２１に、撮像パラメータ制御量算出部は撮像パラメータ制御量算出部２８に、それぞれ対応する。

尚、本発明は前記実施例になんら限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
（１）例えば、顔画像の位置（従って顔中心）を求める方法としては、上述した顔の上下左右のエッジを利用した方法以外に、周知の各種の顔画像を認識する手法を採用できる。
例えば、特開２００４−３０６２９公報に記載の様に、テンプレートマッチングを利用した手法を採用できる。

つまり、顔画像が全体画像のどの位置にあるかを認識できる手法であれば、特に制限はない。
（２）また、本実施例では、一対の投光器を用いたが、投光器の数には限定はなく、１個でもよいし、３個以上でもよい。

１…ドライバモニタシステム
５…顔画像撮像装置
７…撮像制御装置
９…カメラ
１０…撮像部
１１…投光器
１９…画像処理部
２１…パラメータ制御部

Claims (6)

1. 車両に設置され、前記車両の運転者を撮像する撮像部と前記撮像部で撮像された画像を処理する画像処理部とを備えたドライバモニタシステムにおいて、
   前記撮像部は、
   撮像装置と投光器とを備えるとともに、前記撮像装置の撮像中心軸と前記投光器の光軸とを前記運転者の顔の位置に対応する所定の予想範囲に納まるように設定し、且つ、前記撮像装置と前記投光器とを前記撮像中心軸と前記光軸との位置関係を保って一体に移動可能に構成したものであり、
   前記画像処理部は、
   前記撮像部で撮像された画像から、前記運転者の顔画像の全体又はその一部の前記画像における位置である顔位置を示す顔位置情報を検出する顔位置情報検出部と、
   前記顔位置情報検出部で検出された運転者の顔位置情報から、前記撮像装置の撮像中心軸に対応する前記画像内の撮像中心と前記運転者の顔位置とのずれの程度を判定する判定部と、
   を備え、
   更に、前記判定部にて、前記撮像中心と前記顔位置とのずれの程度が所定値以上であると判定されると、前記画像において前記顔画像を前記撮像中心に近づけるように、前記撮像部の撮像する向きを制御する撮像パラメータ制御部を備えることを特徴とするドライバモニタシステム。
2. 請求項１に記載のドライバモニタシステムにおいて、
   前記顔位置情報検出部は、
   顔の各部位の位置情報の中から選択された１つの位置情報、又は顔の各部位の位置情報の中から複数の情報を用いて計算された位置情報を、前記顔位置情報として検出することを特徴とするドライバモニタシステム。
3. 請求項１又は２に記載のドライバモニタシステムにおいて、
   前記画像処理部は、
   前記判定部にて、前記撮像中心と前記顔位置とのずれの程度が所定値以上であると判定されると、前記撮像部の撮影する向きの制御量を算出する撮像パラメータ制御量算出部を備え、
   前記撮像パラメータ制御量算出部は、前記撮像装置の撮像中心と前記運転者の顔位置との距離に応じて、単位時間当たりにおける前記撮像部の撮影する向きの制御量を算出することを特徴とするドライバモニタシステム。
4. 車両の運転者を撮像する撮像部を前記車両に備えたドライバモニタシステムに対して、画像処理プロセスにより前記撮像部で撮像された画像を処理するドライバモニタシステムの処理方法において、
   前記撮像部は、
   撮像装置と投光器とを備えるとともに、前記撮像装置の撮像中心軸と前記投光器の光軸とを前記運転者の顔の位置に対応する所定の予想範囲に納まるように設定し、且つ、前記撮像装置と前記投光器とを前記撮像中心軸と前記光軸との位置関係を保って一体に移動可能に構成したものであり、
   前記画像処理プロセスは、
   前記撮像部で撮像された画像から、前記運転者の顔画像の全体又はその一部の前記画像における位置である顔位置を示す顔位置情報を検出する顔位置情報検出プロセスと、
   前記顔位置情報検出プロセスで検出された運転者の顔位置情報から、前記撮像装置の撮像中心軸に対応する前記画像内の撮像中心と前記運転者の顔位置とのずれの程度を判定する判定プロセスと、
   を有し、
   更に、前記判定プロセスにて、前記撮像中心と前記顔位置とのずれの程度が所定値以上であると判定されると、前記画像において前記顔画像を前記撮像中心に近づけるように、前記撮像部の撮像する向きを制御する撮像パラメータ制御プロセスを有することを特徴とするドライバモニタシステムの処理方法。
5. 請求項４に記載のドライバモニタシステムの処理方法において、
   前記顔位置情報検出プロセスは、
   顔の各部位の位置情報の中から選択された１つの位置情報、又は顔の各部位の位置情報の中から複数の情報を用いて計算された位置情報を、前記顔位置情報として検出することを特徴とするドライバモニタシステムの処理方法。
6. 請求項４又は５に記載のドライバモニタシステムの処理方法において、
   前記画像処理プロセスは、
   前記判定プロセスにて、前記撮像中心と前記顔位置とのずれの程度が所定値以上であると判定されると、前記撮像部の撮影する向きの制御量を算出する撮像パラメータ制御量算出プロセスを備え、
   前記撮像パラメータ制御量算出プロセスは、前記撮像装置の撮像中心と前記運転者の顔位置との距離に応じて、単位時間当たりにおける前記撮像部の撮影する向きの制御量を算出することを特徴とするドライバモニタシステムの処理方法。