JP2005157648A - 運転者認識装置 - Google Patents

Abstract

【課題】 ステアリング映り込みを正確に判定し、誤判定等を抑制することが可能な運転者認識装置を提供する。
【解決手段】 本発明の運転者認識装置をわき見判定に採用した場合、ステアリングコラムや計器パネル内に配置されるカメラ（撮像手段）によって、照射手段から赤外線が照射された運転者の顔画像を取得する（ステップＳ１）。そして、その輝度平均値Ｙavを算出し（ステップＳ５）、しきい値Ｙthと比較する（ステップＳ７）。輝度平均値Ｙavがしきい値Ｙthより高く、画像が明るい場合には、カメラに近いステアリングが映り込んでいるものと判定して後続のわき見判定処理を行わずに処理を終了する。逆に、画像が暗い場合には、ステアリングの映り込みはないものと判定して、ステップＳ９〜Ｓ３７のわき見判定処理を実行する。
【選択図】 図３

Description

本発明は、車室内の撮像装置により、運転者の顔画像を撮像し、画像処理によってその認識を行う運転者認識装置に関する。

運転者の顔画像を撮像して処理する画像処理装置が知られている（例えば、特許文献１参照）。例えば、顔画像を基にして居眠り運転やわき見運転を検出したり、運転者を認証して特定の人物だけに運転を許可するシステムなどの開発が進められている。

特許文献１の技術においては、顔画像を２値化処理することで目に対応する部分を抽出処理するものであり、処理するデータ量を削減し、ノイズを除去することで、高速で精度のよい検出が可能となると記載されている。
特開２０００−３３１１７２号公報

ところで、このように顔画像を基にして居眠り運転やわき見運転を検出したり、運転者の認証を行うには、運転中の運転者の正面から顔画像を撮像する必要がある。顔画像を正面から撮像するには、運転者に正対する位置から撮像を行うことが好ましいが、この位置はフロントガラス位置であり、運転者の前方視界を妨げないため、実際にはカメラを配置することはできない。そのため、カメラの配置位置としては、計器パネル位置か、ステアリングコラム上に限定される。このように、計器パネル位置かステアリングコラム上にカメラを配置すると、運転者のステアリング操作によってカメラと運転者の間にステアリングが入り込み、取得画像にステアリングが映り込んで、運転者の顔画像を取得することができない可能性がある。その結果、運転状態を誤判定したり、認証に失敗する可能性がある。

そこで本発明は、ステアリング映り込みを正確に判定し、誤判定等を抑制することが可能な運転者認識装置を提供することを課題とする。

上記課題を解決するため、本発明に係る運転者認識装置は、運転者に赤外光を照射する照射手段と、照射された運転者の赤外画像をステアリング越しに撮像する撮像手段とを車室内の運転者に略正対する位置に配置し、取得した赤外画像中から画像処理により運転者の顔画像を認識処理する運転者認識装置において、取得した赤外画像が所定以上明るい場合に、ステアリング映り込み状態と判定することを特徴とする。

撮像手段は、照射手段から発する赤外光によって照らされた運転者の顔画像をステアリング越し（ステアリングホイールと支持部との間にある空間越し）に取得する。運転者がステアリングを操作して、撮像手段と運転者との間にステアリングの支持部が入り込んだ場合には、撮像手段はステアリング像を取得する。この場合、照射手段−運転者間の距離に比較して、照射手段−ステアリング間の距離が短いため、ステアリング自体は照射手段の赤外光により運転者よりも明るく照らされる。このため、より明るい赤外画像が取得される。また、撮像手段−運転者間の距離に比較して撮像手段−ステアリング間の距離が近いため、画面内に映り込んだステアリング像が画像内で占める面積も運転者が占める面積に比較して大きなものとなる。つまり、ステアリングが映り込んでいる場合には、平均輝度、輝度中央値、所定輝度以上の画素面積のいずれもがステアリングが映り込んでいない場合に比べて高くなる。これにより、ステアリングが映り込んでいる状態を判別する。

この運転者認識装置は、撮像画像を基にして運転者の顔の向きを判定し、わき見運転の検出を行うもの、あるいは、運転者の個人認証を行うものであることが好ましい。

本発明によれば、ステアリングの映り込みを精度よく検出することができるため、ステアリングが映り込んだ状態で顔画像を誤認識することがなく、顔画像を用いた各種の判定における誤判定を防止できる。この映り込み検出を取得した画像の輝度から判定することで画像処理系内部で処理を行うことができ、ステアリング操作を直接検知する場合に必要となる信号入力系や検知センサとの間の信号ライン等を設ける必要がなく、追加のハードウェアが不要となる。また、輝度処理は顔画像の認識処理において必要な処理であるから、ソフトウェア的な変更も最小限度で足り、比較的簡単な処理であるため、追加の計算機資源を必要とするものではなく、容易に行うことができ、追加コストもほとんど要しないという利点がある。

このような認識装置を用いて、顔の向きを判定すればわき見運転の検出を確実に行える。また、個人認証を行えば誤判定を防止できる。

以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。

図１は、本発明に係る運転者認識装置を用いたわき見運転検出装置の構成を示すブロック図である。わき見運転検出装置１００は、主要部としてカメラ部１と、ＥＣＵ部２とを備えている。両者は別々のパッケージに収容されていてもよいし、同一のパッケージ内に収容されていてもよい。さらに、同一基板上に両者を配置して一体化してもよい。

カメラ部１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の半導体撮像素子を用いた撮像手段１０と、複数の赤外線ＬＥＤ（Light-Emitting Diode）１１と、ＬＥＤ１１を駆動する駆動回路１２からなる。撮像手段１０は、ＬＥＤ１１が照射する赤外光（波長８７０ｎｍ付近）に感度を有しており、モノクロの動画像（例えば、３０画面／秒）を出力する。駆動回路１２は、撮像手段１０の取得する各画面に対応して間欠的に赤外光の照射を行うようＬＥＤ１１の発光を制御する。

ＥＣＵ部２には、ＲＡＭ、ＲＯＭ、メモリ、ＣＰＵ等で構成される顔向き判定ＥＣＵ２０と、判定結果を他の車載処理装置へと送信するための通信部２１とを備える。顔向き判定ＥＣＵ２０には、画像前処理部２２と、顔向き判定部２３と、入出力処理部２４と、インターフェース部２５が内蔵されており、インターフェース部２５には、検出装置１００の作動／非作動を切り替えるスイッチ３が接続されている。通信部２１は、車内ＬＡＮ４０へと接続され、この車内ＬＡＮ４０には、運転者に音声、ランプ等により警報を発する警報装置４１が接続されている。

この検出装置１００は、図２に示されるようにステアリングコラム５０上に配置され、ステアリングホイール５１越しに運転席６０についている運転者６１の顔画像を撮像するものである。なお、検出装置１００が一体化されていない場合は、ＥＣＵ部２は、他の位置に配置してもよい。また、カメラ部１は、ステアリングコラム５０上ではなく、計器パネル５５内に配置してもよい。ここで、カメラ部１は、運転者６１を正面から撮像する位置に配置する必要があるが、運転者６１の前方視界を遮ることなく、かつ、ステアリングホイール５１の中央部に組み込まれるエアバッグとの干渉を避けるためには、その配置位置は、このようにステアリングコラム５０上か計器パネル５５内に限られることになる。

次に、このわき見運転検出装置１００によるわき見運転検出処理の詳細を説明する。図３は、この処理の詳細を説明するフローチャートである。この処理は、スイッチ３により、わき見運転検出が許可され、かつ、車両の電源キーがオンになっている場合に所定のタイミングで繰り返し実行される。

ＥＣＵ部２の画像前処理部２２には、撮像装置１０で取得した画像が入力される（ステップＳ１）。ＬＥＤ駆動回路１２は、ＬＥＤ１１を毎秒６０回発光させて、運転者６１の顔に向けて近赤外光を照射している。撮像装置１０は、この近赤外光で照射された運転者６１の顔画像をテレビフレームレート（３０フレーム＝６０フィールド／秒）で取得し、画像前処理部２２へとこの動画像データを送出する。ここで、撮像装置１０から画像前処理部２２へ送られる画像データは、アナログ形式、デジタル形式のいずれでもよく、撮像装置１０自体がデジタル画像データを出力する形式でも、アナログ形式で出力したデータをカメラ部１に設けたＡ／Ｄ変換部で変換してもよい。また、画像前処理部２２自体にＡ／Ｄ変換機能を組み込んでもよい。また、テレビフレームレートより低いデータ送信レートとしてもよい。以下、６４０×４８０画素で各画素２５６階調のデータが撮像装置１０から送出され、うち１５フレーム／秒について画像処理を行う場合を例に説明する。

画像前処理部２２は、入力された画像を２階調化する（ステップＳ３）。そして、その輝度平均値Ｙavを算出する（ステップＳ５）。図４、図５は、運転者がステアリングホイール５１を操作している間（右折時）の一連の取得画像とその２値化画像の例を示している。ここでは、輝度を０〜２５５の２５６階調で表した取得画像に対して輝度２００をしきい値として２値化している。

運転車６１の顔画像全体を取得できている図４（ａ）（ｂ）および図５（ｄ）（ｅ）の場合には、運転者６１とカメラ部１との距離が比較的長くなるため、画像は全体に暗くなり、２値化画像では画面のほとんどが黒の領域になる（輝度平均値は１０以下）。これに対して、ステアリングが映り込んでいる図４（ｃ）〜（ｅ）、図５（ａ）〜（ｃ）の場合には、映り込んでいるステアリングホイール５１の支持部とカメラ部１との距離が近接しているため、画面全体が明るい露出過多に近い状態となっている。このため、２値化画像では画面のほとんどが白い領域になる（輝度平均値は８０〜１３０）。

ステップＳ７では、求めた輝度平均値Ｙavをしきい値Ｙthと比較する。輝度平均値Ｙavがしきい値Ｙthより高い場合にはステアリングが映り込んでいるものと判定し、その後の処理をスキップして処理を終了する。しきい値Ｙth以下の場合にはステアリングの映り込みがなく、顔画像を取得できたと判定して、後述するわき見運転の判定処理へと移行する。このしきい値Ｙthは、カメラ部１の構成（光学系、撮像素子１０の感度、ＬＥＤによる照射光強度、照射角度等）や運転者６１との位置関係、車室内の照度条件等に応じて適宜設定されるものである。

まず、取り込んだ実画像（図６（ａ）参照）からエッジを抽出し（ステップＳ９）、エッジ強度と設定しておいたしきい値とを比較することで、２値化処理を行い、エッジ画像（図６（ｂ）参照）を生成する（ステップＳ１１）。

次にこのエッジ画像を基にエッジ点を水平軸に投影することで水平軸投影ヒストグラムを作成する（ステップＳ１３、図７参照）。このヒストグラムのピークを検出することで顔の両端を検出する（ステップＳ１５）。この両端の距離を顔幅とする。

続いて、顔中心位置を検出する（ステップＳ１７）。エッジ画像において、ある位置を中心線位置としたとき、左右に等距離離れた位置の両方にエッジが存在する場合に投票を行い、いずれか一方でもエッジがないときは投票を行わない。ここで、エッジ点は、前述した顔幅情報を基にして顔部品（眼、鼻、口）位置を考慮した領域のみを探索する。投票数が多いほど対称性が強いことを示し、中心線としての可能性が高いことを意味する。最終的に投票数が最大となった位置を顔中心位置とする。

ステップＳ１５で求めた顔両端位置と、ステップＳ１７で求めた横方向顔中心位置から顔向き角度を算出する（ステップＳ１９）。ここでは、人の頭の形状を円筒と仮定した円筒モデルを用いる（図１１参照）。顔の幅をＬ、顔の中心から右側（向かって左側）の長さをＬ_ｒ、左側（向かって右側）の長さをＬ_ｌとすると、顔向き角度θは、右向き（向かって左）を正とするとき

で表せる。

求めたθの絶対値を所定のしきい値θthと比較する（ステップＳ２１）。|θ|がθth未満の場合には、運転者６１がほぼ正面をみていると判定し、わき見検出継続時間ｔｘを０にリセットして（ステップＳ２９）処理を終了する。

一方、|θ|がθthを超えている場合には、わき見検出継続時間ｔｘをΔｔだけ増大させ（ステップＳ２３）た後、ｔｘをしきい値ｔthと比較する（ステップＳ２５）。ｔｘがｔth未満の場合には、運転者６１が正面以外を向いている継続時間が短く、左右等の確認をしているにすぎない可能性もあるため、そのまま処理を終了する。一方、ｔｘがｔth以上の場合には、運転者６１が正面以外を向いている時間が長く、正面を見ていないわき見の状態にあると判定して、警報装置４１により、運転者６１に警報を発する（ステップＳ２７）。

本発明によれば、ステアリングの映り込みを精度よく判定することができるため、ステアリング映り込み時にステアリングを顔画像と誤って認識し、その結果、誤ったわき見判定をすることがない。したがって、わき見判定の精度が向上する。また、赤外線を照射して撮像することで、天候・時間・道路状態等による車室内の明るさや運転者の人種・性別・風貌の違い等の影響を受けにくくなり、常に安定した判定が可能となる。

ここでは、２値化処理後の輝度平均値を基にしてステアリングの映り込みを判定したが、ステアリング映り込み時の画像が映り込みのない場合の画像より明るいことを利用して判定するものであれば、他の判定手法も利用できる。例えば、以下の判定手法が考えられる。（１）明るい部分の面積が所定の比率を超えるか、比率以上の場合に映り込みと判定する。（２）画像の輝度平均をしきい値と比較し、輝度平均の高い場合を映り込みと判定する。（４）画像の輝度ヒストグラムを作成し、その輝度中央値としきい値とを比較し、輝度中央値の輝度が高い場合を映り込みと判定する。（５）画像の輝度値の標準偏差を求め、標準偏差が大きい場合を映り込みと判定する。これらの判定は２値化画像に対して行ってもよいが、多階調画像に対して行ってもよい。また、取得画像を少ない階調（４階調以上）に変換してから処理を行ってもよい。

以上の説明では、わき見運転検出装置の場合を例に説明してきたが、居眠り運転の判定装置にも適用できる。この場合は、顔画像取得に成功したと判定した場合には、取得した顔画像から眼部分を抽出し、例えば、瞳部分の状態を検出することで、眼を閉じているか開いているかを判定するとよい。

また、運転者の認証装置に対しても適用可能である。始動時や、停車中に運転者が交代した後に運転者の認証を行う場合に、ステアリングを操作した状態から認証を要する場合がある。本実施形態の認識装置により、ステアリング映り込み状態と検出した場合には、ステアリングの操作を促し、顔画像を検出したうえで、認証を行えばよい。認証に際しては、記憶されている顔画像との相関演算や特徴パターンの近似度を算出して一致判定を行うことにより、認証を行うとよい。

本発明に係る運転者認識装置を用いたわき見運転検出装置の構成を示すブロック図である。 図１の検出装置の配置位置を示す図である。 図１の装置によるわき見運転検出処理の処理フローである。 ステアリング操作中において取得した一連の顔画像とそれらの２値化画像を示す図である。 図４に続く一連の顔画像とそれらの２値化画像を示す図である。 取得した顔画像とエッジ検出画像とを示す図である。 顔両端位置検出処理を説明する図である。 顔角度算出処理を説明する図である。

符号の説明

１…カメラ部、２…ＥＣＵ部、３…スイッチ、１０…撮像素子、１１…ＬＥＤ、１２…ＬＥＤ駆動回路、２０…顔向き判定ＥＣＵ、２１…通信部、２２…画像前処理部、２３…顔向き判定部、２４…入出力処理部、２５…インターフェース部、４０…車内ＬＡＮ、４１…警報装置、５０…ステアリングコラム、５１…ステアリングホイール、５５…計器パネル、６０…運転席、６１…運転者、１００…検出装置。

Claims (3)

1. 運転者に赤外光を照射する照射手段と、照射された運転者の赤外画像をステアリング越しに撮像する撮像手段とを車室内の運転者に略正対する位置に配置し、取得した赤外画像から画像処理により運転者の顔画像を認識処理する運転者認識装置において、
   取得した赤外画像が所定以上明るい場合に、ステアリング映り込み状態と判定することを特徴とする運転者認識装置。
2. 撮像画像を基にして運転者の顔の向きを判定し、わき見運転の検出を行うことを特徴とする請求項１記載の運転者認識装置。
3. 撮像画像を基にして運転者の個人認証を行うことを特徴とする請求項１記載の運転者認識装置。

Images