JP2007072774A - 運転者監視システム - Google Patents

Abstract

【課題】 車両のステアリングホイール上に設置されたカメラによって撮像した運転者の画像情報を用いて運転者の状態を判定する判定部を備えた運転者監視システムにおいて、より高い精度で判定部に判定を行わせることの可能な運転者監視システムを提供する。
【解決手段】 ステアリングホイール２の操舵角を検出して操舵角情報として提供する操舵角検出手段６と、カメラ１０によって得られた画像情報に操舵角情報を付与する角度情報付与手段２４とを備え、判定部３０は角度情報が付与された画像情報を用いて運転者の状態を判定するように構成した。
【選択図】 図１

Description

本発明は、車両のステアリングホイール上に設置されたカメラによって撮像した運転者の画像を用いて前記運転者の状態を判定する判定部を備えた運転者監視システムに関する。

この種のシステムの一例が下記の特許文献１に記されている。この特許文献１に記された運転者監視システムでは、車内に設置されたカメラによって運転者の顔画像を入手し、登録された顔特徴データと照合することで、運転者の交代を検知すること、或いは、正当な運転者か否か（運転者の状態の一例）の判定を行うことができる。さらに、一つの実施形態では、カメラがステアリングホイールの中心部（ボス部またはパッド部）に配置されているので、車両の計器パネル上にカメラを配置した場合などに比して、ステアリングホイールの操舵角によってステアリングホイールのスポークが撮像の障害になる、等の問題が解決されている。

特開２００３−２５６８１３号公報（段落番号００２４〜００２７、図２、図８）

しかし、特許文献１に記された運転者監視システムでは、カメラがステアリングホイールのボス部に配置されており、運転中はカメラがステアリングホイールと共に回転するため、通常の顔検出ソフトでは運転者の顔画像を上手く検出できず、その結果、車両の停止中にしか運転者の状態判定が円滑にできなかった。

本発明の目的は、上に例示した従来技術による運転者監視システムの持つ前述した欠点に鑑み、車両の停止中と運転中のいずれであっても運転者の状態判定が円滑にできる運転者監視システムを提供することにある。

本発明の第１の特徴構成は、車両のステアリングホイール上に設置されたカメラによって撮像した運転者の画像情報を用いて前記運転者の状態を判定する判定部を備えた運転者監視システムであって、
前記ステアリングホイールの操舵角を検出して操舵角情報として提供する操舵角検出手段と、前記カメラによって得られた前記画像情報に前記操舵角情報を付与する角度情報付与手段とを備え、前記判定部は前記角度情報が付与された画像情報を用いて判定するように構成された点にある。

本発明の第１の特徴構成による運転者監視システムでは、判定部は、カメラによって得られた画像情報のみに基づいて運転者の状態を判定するのではなく、撮像時の操舵角度に関する情報と対になった画像情報を用いて判定できるので、例えば、運転中にカメラがステアリングホイールと共に回転することに基づいて画像中に生じる被写体の傾斜角度を知ることができる。よって、得られた画像を基に顔の特徴量を解析するために判定部に備えられたプログラムは、カメラを通して順次取り込まれる画像情報どうしの比較を容易に行うことができ、車両の停止中と運転中のいずれであっても、運転者の状態判定を精度良く実施できるようになる。

本発明の第２の特徴構成は、前記カメラによって得られた画像を、前記角度情報を用いて正立画像に修正する傾斜修正手段を有する点にある。

本構成であれば、ステアリングホイールが操舵された状態で撮像されたために、得られた画像が傾斜していても、判定部はこの傾斜画像を撮像時の操舵角情報によって正立画像に修正した状態で判定を実施できる。すなわち、判定部では、このように正立画像を用いることができるので、例えば、顔画像の対称軸が垂直であることを原則として作られた既存の顔検出ソフトを用いても顔検出ができる、顔検出以降に行われる運転者認証や覚醒度評価のための顔の特徴量の抽出が容易に実施できる、等の効果が得られる。また、対称軸が垂直でない顔画像に対応した顔検出ソフトを用いる場合にも、より迅速に顔検出ができ、顔検出などで用いる計算機に対する負荷も少なくなる。

本発明の第３の特徴構成は、前記カメラによって得られた画像が、前記ステアリングホイールの回転によって運転者の斜め前方から撮像された画像であり、前記判定部は前記角度情報に基づいて得られた前記カメラの視角値に基づいて判定を行う点にある。

本構成であれば、例えば、正当な運転者を種々の視角で捕えた多数の斜視画像を予め登録しておき、運転者の斜め前方からステアリングホイール上のカメラで撮像した斜視画像を、角度情報に基づいて得られたカメラの視角値と一致する視角の登録斜視画像と対比することで、正面からの顔画像のみに基づく認証に比して、より厳密な認証テストを判定部に行わせることができる。勿論、このようなステアリングホイール上のカメラで撮像した斜視画像を、撮像時の操舵角情報によって正立画像に修正した上で、正立した登録斜視画像と対比しても良く、こうすれば判定部による判定操作が簡単になる。

本発明の第４の特徴構成は、前記カメラが前記ステアリングホイールのステアリングパッド上における、ステアリングパッド内に装着されたエアバッグの展開と干渉しない箇所に設置されている点にある。

本構成であれば、ステアリングホイール上の領域中でも、エアバッグの展開の邪魔にならない範囲で、径方向に関して最もステアリングホイールの軸芯に近接した位置にカメラが設置されているので、操舵に基づくカメラの上下左右への移動が最小となる。したがって、運転者の顔をできるだけ正面から撮像するので、顔画像から特徴量を抽出し易い撮像画像を得ることができる。また、ステアリングホイールの操舵に基づく修正を行う際に、顔画像の鉛直線に対する傾斜のみを修正すれば良く、斜視画像を正面からの画像に変換する処理が略不要となるので、判定部が行う演算処理量が比較的少なくて済む。

本発明の第５の特徴構成は、前記カメラが前記ステアリングホイールのグリップ部或いはスポーク部に設置されている点にある。

本構成であれば、カメラがステアリングホイール上の領域中でも、ステアリングホイールの軸芯から径方向に離間した位置に設置されているので、操舵に際してカメラが上下左右に変位し易くなり、正面から撮像した画像以外の、種々の角度から撮像した多数の斜視画像を豊富に得ることができ、より厳密な認証テストが可能となる。

本発明の第６の特徴構成は、前記カメラが、前記グリップ部上における前記ステアリングホイールが中立姿勢にある時の上端位置に設けられている点にある。

本構成であれば、カメラがステアリングホイールのグリップ部の領域中でも、特に、グリップ部の左右端部や下端部に比して運転者の手で覆われることが少なく、且つ、最も運転者の正面から見た、判定部が判定を実施し易い画像を撮像できる。

本発明の第７の特徴構成は、前記カメラをその光軸が前記ステアリングホイールの回転軸芯寄りに傾斜するように設置している点にある。

本構成であれば、カメラが例えばグリップ部など、ステアリングホイールの回転軸芯から径方向に離間した位置に設置してある場合でも、操舵によるステアリングホイールの回転に伴って、運転者の顔画像が撮像範囲から逸脱するという問題が生じ難くなる。

本発明の第８の特徴構成は、車両のステアリングホイールに設置されたカメラによって撮像した運転者の画像を用いて前記運転者の状態を判定する判定部を備えた運転者監視システムであって、
前記カメラが前記ステアリングホイールのグリップ部上における前記ステアリングホイールの非操舵時の上端位置に設けられている点にある。

本発明の第８の特徴構成による運転者監視システムでは、カメラがステアリングホイールのグリップ部上における非操舵時の上端位置に設けられているので、カメラがステアリングホイールの中心部（ボス部またはパッド部）に配置されている従来技術に比して、運転者の顔を真正面から撮像した顔画像、言い換えれば、顔画像から特徴量を抽出し易い撮像画像を得ることができる。したがって、判定部は、運転者の状態判定（正当な運転者か否かの判定、或いは、運転者が運転中に覚醒状態にあるか等の評価）を高い精度で効率的に行うことが可能となる。また、カメラがステアリングホイールのグリップ部上における非操舵時の上端位置に設けられているので、グリップ部上における非操舵時の上端以外の位置に設ける構成と比べると、運転者が通常の直線道路でカメラを手で覆ってしまう等の不都合が生じ難い。

以下に本発明による最良の実施形態について図面を参照しながら説明する。
（第１実施形態）
図１は、本発明の第１実施形態による運転者監視システム１００を示す概略構成図である。
この運転者監視システム１００は、車両１のステアリングホイール２に取り付けられたビデオカメラ１０、及び、ステアリングホイール２の操舵角を検出するためにステアリングホイール２の操舵軸２ａに設置された操舵角センサ６（操舵角検出手段の一例）を有する。
ビデオカメラ１０の受光部１０ａ（カメラの一例であり、撮像レンズ部と受光素子部とを含む）は、ステアリングホイール２のパッド部４に属する領域で、且つ、パッド部４内に装着されたエアバッグ（不図示）の展開と干渉しない箇所、具体的にはパッド部４の上端面に設置されている。尚、ビデオカメラ１０の本体１０ｂは撮像レンズ部１０ａの背後に設置されている。そして少なくとも受光部１０ａは、運転者Ｄによる操舵に基づいてステアリングホイール２と一体的に回転する。また、撮像レンズ部１０ａの光軸Ｌ１は、ステアリングホイール２の操舵軸２ａと平行ではなく、ステアリングホイール２の回転軸芯寄りに僅かに（θ１）傾斜して設けられている。

また、運転者監視システム１００は、ビデオカメラ１０によって撮像された運転席付近の画像を処理するための、ＣＰＵやメモリ等からなる制御部５０を含む。
制御部５０は、ビデオカメラ１０によって撮像された運転者Ｄの頭部を含む運転席付近の画像情報をメモリ４０に一旦格納する画像入力部２１、及び、操舵角センサ６ａから送られた角度検出信号に基づいてステアリングホイール２の操舵角を算出し、操舵角情報としてメモリに格納する操舵角演算部２２を有する。

また、制御部５０には、ビデオカメラ１０によって撮像した画像情報を用いて運転者Ｄの状態を判定する判定部３０が設けられている。判定部３０には、角度情報付与手段２４によって操舵角情報が付与された画像情報から顔部分のみを検出して、顔の対称軸が鉛直に延びた正立画像として抽出する顔画像抽出部２５、顔画像抽出部２５で得られた顔の正立画像から人物認証に適した顔の特徴量を抽出し、予め登録されている正当な運転者に関する参照用データと対比して運転者Ｄの認証を行う運転者認証部２６、及び、顔画像抽出部２５で得られた顔画像から覚醒度評価に適した顔の特徴量を抽出し、同特徴量の変化速度などから運転者Ｄの覚醒度を評価する覚醒度評価部２８が含まれる。

顔画像抽出部２５では、運転者Ｄの頭部の揺れや運転者Ｄによる操舵に基づくビデオカメラ１０の傾斜に関わらず、常に運転席付近の画像情報から顔画像を検出する「顔検出」操作と、操舵に基づいて傾斜した受光部１０ａによって撮像されたために傾斜画像となっている顔画像を、図２に示すように、角度情報付与手段２４によって付与された操舵角情報を用いて正立画像に修正する「傾斜修正」操作とが既存のソフトによって同時に行われる。
すなわち、ビデオカメラ１０の受光部１０ａはステアリングホイール２の軸芯に近いパッド部４に設置されているので、ビデオカメラ１０によって撮像された画像から顔検出操作によって検出された顔画像は、操舵量に関わらず、基本的に運転者Ｄを略正面から撮像した顔画像となっている。しかし、図２に例示するように、ステアリングホイール２が＋α°だけ操舵された状態では、対称軸Ｓが鉛直線に対して右側にα°だけ傾斜した傾斜画像Ｆ１となっている。「傾斜修正」操作では、この傾斜画像Ｆ１を、操舵角センサ６ａによって検出され、角度情報付与手段２４によって付与された「＋α°」という操舵角情報を用いて正立画像Ｆ２に修正する。

運転者認証部２６では、例えば瞳どうしの間隔と眉間から唇までの距離との比率などを顔の特徴量として用いることができる。運転者認証部２６は、運転者Ｄを正当な運転者と認証しない場合、スタータロックドライバを介してエンジン（不図示）のスタータ７をロックし、エンジンの始動を不能にする。
他方、覚醒度評価部２８では、瞳の面積の急激な変化に基づいて検出した眼の瞬き頻度を顔の特徴量として用いることができる。覚醒度評価部２８は、運転者Ｄの覚醒度が不十分と評価した場合、ブザードライバを介して運転席のブザー８を駆動する。
運転者認証部２６および覚醒度評価部２８では、角度情報付与手段２４によって付与された操舵角情報を用いて正立状態に修正された顔画像情報を用いることで、円滑に認証および評価を行うことができる。

（第２実施形態）
図３は、本発明の第２実施形態による運転者監視システム２００を示す概略構成図である。
この運転者監視システム２００は、車両１のステアリングホイール２に取り付けられたビデオカメラ２０、及び、ステアリングホイール２の操舵角を検出するためにステアリングホイール２の操舵軸２ａに設置された操舵角センサ６（操舵角検出手段の一例）を有する。
ビデオカメラ２０の受光部２０ａ（カメラの一例であり、撮像レンズ部と受光素子部とを含む）は、ステアリングホイール２のグリップ部３上における、ステアリングホイール２が中立姿勢にある時の上端位置に設置されている。尚、ビデオカメラ２０の本体２０ｂはステアリングホイール２のパッド部４の側面などに設置されている。少なくとも受光部２０ａは、運転者Ｄによる操舵に基づいてステアリングホイール２と一体的に回転する。また、第１実施形態と同様に、撮像レンズ部２０ａの光軸Ｌ２は、ステアリングホイール２の操舵軸２ａと平行ではなく、ステアリングホイール２の回転軸芯寄りにθ２だけ傾斜するように設けられている。

制御部の構成は、基本的に第１実施形態と同じであるため詳細な説明を省略する。
但し、この第２実施形態では、ビデオカメラ２０の受光部２０ａがステアリングホイール２のパッド部４ではなくグリップ部３に設置されているので、ビデオカメラ１０によって撮像された画像から顔検出操作によって検出された顔画像は、操舵量によっては、運転者Ｄを斜め前方から撮像した顔画像となる。すなわち、例えばステアリングホイール２が＋α°だけ操舵された状態では、図４に例示するように、対称軸Ｓが鉛直線に対して右側にα°だけ傾斜し、且つ、運転者Ｄを斜め前方から撮像した傾斜・斜視画像Ｆ３となっている。「傾斜修正」操作では、この傾斜・斜視画像Ｆ３を、操舵角センサ６ａによって検出され、角度情報付与手段２４によって付与された「＋α°」という操舵角情報を用いて、正立・斜視画像Ｆ４に修正する。

この第２実施形態では、予め斜め前方に属する種々の撮影角度から正当な運転者を撮影して得た複数の斜視画像から抽出した特徴量を、対応する撮影角度と共に参照用データとして格納しておく。そして、制御部５０の判定部３０に設けられた運転者認証部２６は、顔画像抽出部２５で得られた正立・斜視画像Ｆ４から顔の特徴量を抽出し、操舵角センサ６ａによって検出され、角度情報付与手段２４によって付与された「＋α°」という操舵角情報に該当する参照用データと対比して運転者Ｄの認証を行う。ここでは、正当な運転者を種々の視角で撮影して得た多数の斜視画像（静止画像）を、正面からの顔画像と同じく参照用データとして、同視角情報と共に予めメモリ４０に登録しておく。そして、運転者認証部２６では、撮像時における受光部２０ａの視角値（運転者Ｄを斜め何度で撮像したか）を角度情報付与手段２４によって付与された角度情報から算出し、この算出された視角値に該当する登録斜視画像を前記参照用データ中から抜き出して、顔画像抽出部２５で得られた正立・斜視画像Ｆ４と対比する。これによって、正面からの顔画像のみに基づく認証よりも更に厳密な認証テストを行うことができる。

因みに、第１及び第２実施形態の双方に関して、必要なメモリ容量を小さくするために、例えば、運転者認証部２６によって正当な運転者であると認証された後は、ステアリングホイール２の操舵角が所定角度（例えば±１５°）の範囲内にある時にのみ制御部５０に演算処理させる構成としても良い。

さらに判定部５０として、運転中における運転者Ｄの脇見を監視する脇見監視部（不図示）を設けることができる。この脇見監視部は、顔画像抽出部２５で得られた顔画像から顔の特徴量を抽出し、特徴量の変化速度などから運転者Ｄの脇見運転度を評価する。脇見監視部では、脇見中は運転者Ｄの顔が車両１の進行方向に対して傾斜し、また、ビデオカメラ１０，２０に対して鉛直軸芯周りで傾斜することから、顔画像中の瞳の間隔、或いは、検出可能な瞳の数を特徴量として用いることができる。シフトギヤが前進側に入力中において、瞳の間隔が閾値を下回る、或いは、瞳の数が一つとなる脇見状態が一定時間を超えて継続した場合、ブザードライバ２９を介して運転席のブザー８を駆動するように構成されている。ここでも、角度情報付与手段２４によって付与された操舵角情報を用いて正立状態に修正された顔画像情報を用いることで、円滑に評価を行うことができる。

〔別実施形態〕
<１>ステアリングホイールのパッド部にエアバッグが装着されてない場合には、第１実施形態に記された受光部１０ａを、パッド部４の上端面ではなく、パッド部４の中心に設けることも可能である。

<２>第２実施形態に記された受光部２０ａを、ステアリングホイール２のグリップ部３上ではなく、ステアリングホイール２のスポーク部５上に設けることも可能である。

<３>操舵角検出手段６としては、ステアリングホイール２の操舵軸２ａなどに設置した操舵角センサ６ａを用いるのではなく、ステアリングホイール２上に設置された受光部１０ａ（２０ａ）と、受光部１０ａ（２０ａ）によって撮像された車内の目印となる固定物の画像中での位置や傾斜量などから操舵角を算出する演算手段とで構成することも可能である。

本発明は、車両のステアリングホイール上に設置されたカメラによって撮像した運転者の画像情報を用いて前記運転者の状態を判定する判定部を備えた運転者監視システムに関し、ステアリングホイールの操舵角を検出して操舵角情報として提供する操舵角検出手段と、カメラによって得られた画像情報に操舵角情報を付与する角度情報付与手段とを設け、判定部は角度情報が付与された画像情報を用いて判定するように構成することで、判定部が高精度の判定を実施可能な運転者監視システムにすることに利用できる。

本発明の第１実施形態における運転者監視システムを示すブロック図である。 操舵角情報を用いた顔画像情報の傾斜修正操作を示す説明図である。 本発明の第２実施形態における運転者監視システムを示すブロック図である。 操舵角情報を用いた顔画像情報の傾斜修正操作を示す説明図である。

符号の説明

Ｄ 運転者
Ｌ１，Ｌ２ カメラ光軸
１ 車両
２ ステアリングホイール
３ グリップ部
４ パッド部
５ ステアリングホイールのスポーク部
６ 操舵角センサ（操舵角検出手段）
７ スタータ
８ ブザー
１０，２０ ビデオカメラ
１０ａ，２０ａ 受光部（カメラ）
１０ｂ，２０ｂ カメラ本体
２１ 画像入力部
２２ 操舵角演算部
２４ 角度情報付与手段
２５ 顔画像抽出部
２６ 運転者認証部
２７ スタータロックドライバ
２８ 覚醒度評価部
２９ ブザードライバ
３０ 判定部
４０ メモリ
５０ 制御部

Claims (8)

1. 車両のステアリングホイール上に設置されたカメラによって撮像した運転者の画像情報を用いて前記運転者の状態を判定する判定部を備えた運転者監視システムであって、
   前記ステアリングホイールの操舵角を検出して操舵角情報として提供する操舵角検出手段と、前記カメラによって得られた前記画像情報に前記操舵角情報を付与する角度情報付与手段とを備え、前記判定部は前記角度情報が付与された画像情報を用いて判定するように構成された運転者監視システム。
2. 前記カメラによって得られた画像を、前記角度情報を用いて正立画像に修正する傾斜修正手段を有する請求項１に記載の運転者監視システム。
3. 前記カメラによって得られた画像が、前記ステアリングホイールの回転によって運転者の斜め前方から撮像された画像であり、前記判定部は前記角度情報に基づいて得られた前記カメラの視角値に基づいて判定を行う請求項１に記載の運転者監視システム。
4. 前記カメラが前記ステアリングホイールのステアリングパッド上における、ステアリングパッド内に装着されたエアバッグの展開と干渉しない箇所に設置されている請求項１に記載の運転者監視システム。
5. 前記カメラが前記ステアリングホイールのグリップ部或いはスポーク部に設置されている請求項１に記載の運転者監視システム。
6. 前記カメラが、前記グリップ部上における前記ステアリングホイールが中立姿勢にある時の上端位置に設けられている請求項５に記載の運転者監視システム。
7. 前記カメラをその光軸が前記ステアリングホイールの回転軸芯寄りに傾斜するように設けてある請求項４に記載の運転者監視システム。
8. 車両のステアリングホイール上に設置されたカメラによって撮像した運転者の画像を用いて前記運転者の状態を判定する判定部を備えた運転者監視システムであって、
   前記カメラが前記車両のステアリングホイールのグリップ部上における前記ステアリングホイールが中立姿勢にある時の上端位置に設けられている運転者監視システム。

Images