JP2003296712A - 顔状態検出装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 車両運転者の顔の向き検出に使用している顔
の特徴部を検出できなくなっても、その後に顔の向きを
検出することを可能にする。 【解決手段】 車両運転者が車両前方を注視している前
方注視状態を運転者の前方注視状態検出部２により検出
して、前方注視状態において車両運転者の顔を画像撮影
部１で撮像した顔画像を入力する。そして、顔の特徴量
選定部３により複数の前方注視状態の顔画像を用いて、
顔画像の特徴量を算出し、特徴量に基づいて顔状態を検
出するのに使用する特徴量を選定する。顔の向き検出部
５では、選定した特徴量を用いて顔の向きを顔状態とし
て検出し、顔の特徴量変更部４により顔画像を更新して
特徴量の変更をした後には変更した特徴量を用いて顔の
向きを検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、前方注視時の車両
運転者の顔状態を検出し、車両運転者の顔の向きを検出
する顔状態検出装置及び方法に関する。

【０００２】

【従来の技術】従来の運転者状態検出装置としては、例
えば特開平１１−１９５２００号公報に記載されたもの
が知られている。この運転者状態検出装置では、車両状
態を検出して車両運転者が車両前方を注視している確率
が高い時に、車両運転者の眼の存在する位置を記憶して
おく。そして、記憶しておいた眼位置との比較を行うこ
とで、車両運転者の脇見状態などの検出が精度良くでき
るとしていた。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
運転者状態検出装置では、車両前方を注視している車両
運転者の眼の位置を記憶してからその眼の位置を検出す
ることが前提条件となっているため、車両運転者が眼鏡
を装着している場合、例えば時間の経過と共に走行環境
が変化して日射量が変化すると、眼鏡のレンズ部への風
景の写り込みによって眼の位置の検出が困難となってし
まい、車両運転者が顔の状態を検出できなくなるという
問題点があった。また、車両運転者がサングラスを装着
している場合には眼の検出が全く行えないので、車両運
転者の状態の検出が全くできなくなってしまうという問
題点があった。

【０００４】そこで、本発明は、上述した実情に鑑みて
提案されたものであり、顔の特徴部として眼などを検出
し、検出した特徴部の位置に基づいて顔の向きを検出す
る際に、その特徴部を検出することができなくなっても
その後に車両運転者の顔の向きを顔状態として検出する
ことが可能な顔状態検出装置及び方法を提供することを
目的とする。

【０００５】

【課題を解決するための手段】上述の課題を解決するた
めに、請求項１に係る顔状態検出装置では、車両運転者
の顔状態を検出する顔状態検出装置であって、車両運転
者の顔を撮像した顔画像を入力する画像入力手段と、車
両運転者が車両前方を注視している前方注視状態を検出
する前方注視状態検出手段と、前記前方注視状態検出手
段の検出結果に基づいて前記画像入力手段で入力した前
方注視状態の顔画像を用いて顔画像の特徴量を算出し、
該算出結果に基づいて、顔状態を検出するのに使用する
特徴量を選定する特徴量選定手段と、前記特徴量選定手
段での特徴量の選定に用いた顔画像を更新し、顔状態を
検出するのに使用する特徴量を、前記更新した顔状態か
ら前記特徴量選定手段にて選定した特徴量に変更する特
徴量変更手段と、前記特徴量選定手段によって選定した
特徴量を用いて顔の向きを顔状態として検出し、顔状態
を検出するのに使用する特徴量を前記特徴量変更手段に
て変更した場合には、該変更した特徴量を用いて顔の向
きを顔状態として検出する顔状態検出手段とを備える。

【０００６】請求項２に係る顔状態検出装置では、請求
項１に係る顔状態検出装置であって、上記特徴量選定手
段は、顔状態を検出するのに使用する候補となる複数の
特徴量を選定し、複数の特徴量から予め設定した優先順
位に基づいて顔状態を検出するのに使用する特徴量を選
定することを特徴とする。

【０００７】請求項３に係る顔状態検出装置では、請求
項１に係る顔状態検出装置であって、上記特徴量選定手
段は、初期段階で選定候補対象とした特徴量の算出が少
なくとも１つで不能である場合に、次段階で選定候補対
象を変更することを特徴とする。

【０００８】請求項４に係る顔状態検出装置では、請求
項３に係る顔状態検出装置であって、上記特徴量選定手
段は、車両運転者の顔を構成している顔部位についての
特徴量を初期段階での選定候補対象とし、車両運転者の
顔に装着された装着物についての特徴量を次段階での選
定候補対象とすることを特徴とする。

【０００９】請求項５に係る顔状態検出装置では、請求
項１に係る顔状態検出装置であって、上記特徴量選定手
段は、選定候補対象である特徴量の数を、昼間と夜間と
の条件で変更することを特徴とする。

【００１０】請求項６に係る顔状態検出装置では、請求
項１に係る顔状態検出装置であって、上記顔の向き検出
手段は、上記特徴量選定手段によって選定した少なくと
も１つの特徴量から顔の向きを検出することを特徴とす
る。

【００１１】請求項７に係る顔状態検出装置では、請求
項１〜請求項６の何れかに係る顔状態検出装置であっ
て、上記前方注視状態検出手段は、車両運転者が運転し
ている車両の状態を検出した信号に基づいて、車両運転
者が前方を注視している状態を検出することを特徴とす
る。

【００１２】上述の課題を解決するために、請求項８に
係る顔状態検出方法では、車両運転者の顔状態を検出す
る顔状態検出方法であって、車両運転者が車両前方を注
視している前方注視状態を検出して、前方注視状態にお
いて車両運転者の顔を撮像した顔画像を入力する第１ス
テップと、前記第１ステップにて入力した前方注視状態
の顔画像を用いて、特徴量を算出する第２ステップと、
前記第２ステップにて算出した顔画像の特徴量に基づい
て顔状態を検出するのに使用する特徴量を選定する第３
ステップと、前記第１ステップにて入力した顔画像を更
新して、更新した顔画像に基づいて、顔状態を検出する
のに使用する特徴量を変更する第４ステップとを有し、
前記第３ステップにて選定した特徴量を用いて顔の向き
を顔状態として検出し、前記第４ステップにて特徴量の
変更をした後には前記第４ステップにて更新した特徴量
を用いて顔の向きを検出する。

【００１３】請求項９に係る顔状態検出方法では、請求
項８に係る顔状態検出方法であって、上記第３ステップ
又は第４ステップでは、顔状態を検出するのに使用する
候補となる複数の特徴量を選定し、複数の特徴量から予
め設定した優先順位に基づいて顔状態を検出するのに使
用する特徴量を選定することを特徴とする。

【００１４】請求項１０に係る顔状態検出方法では、請
求項８に係る顔状態検出方法であって、上記第３ステッ
プ又は第４ステップでは、初期段階で選定候補対象とし
た特徴量の算出が少なくとも１つで不能である場合に、
次段階で選定候補対象を変更することを特徴とする。

【００１５】請求項１１に係る顔状態検出方法では、請
求項１０に係る顔状態検出方法であって、上記第３ステ
ップ又は第４ステップでは、車両運転者の顔を構成して
いる顔部位についての特徴量を初期段階での選定候補対
象とし、車両運転者の顔に装着された装着物についての
特徴量を次段階での選定候補対象とすることを特徴とす
る。

【００１６】請求項１２に係る顔状態検出方法では、請
求項８に係る顔状態検出方法であって、上記第３ステッ
プ又は第４ステップでは、選定候補対象である特徴量の
数を、昼間と夜間との条件で変更することを特徴とす
る。

【００１７】請求項１３に係る顔状態検出方法では、請
求項８に係る顔状態検出方法であって、選定した少なく
とも１つの特徴量から顔の向きを検出することを特徴と
する。

【００１８】請求項１４に係る顔状態検出方法では、請
求項８〜請求項１３の何れかに係る顔状態検出方法であ
って、上記第１ステップでは、車両運転者が運転してい
る車両の状態を検出し、該検出結果に基づいて、車両運
転者が前方を注視している状態を検出することを特徴と
する。

【００１９】

【発明の効果】請求項１に係る顔状態検出装置によれ
ば、前方注視状態の顔画像を用いて特徴量を選定し、そ
の特徴量を用いて車両運転者の顔の向きを検出する際
に、特徴量の選定に用いた顔画像を更新し、顔状態を検
出するのに使用する特徴量を、更新後の顔画像から選定
した特徴量に変更するので、顔の向き検出に使用してい
る特徴量が顔画像から検出できなくなっても、その後、
最新の顔画像から他の特徴量を選定し、その選定した特
徴量を使用して顔の向きの検出を行うことができる。

【００２０】請求項２に係る顔状態検出装置によれば、
複数の特徴量から、予め設定した優先順位に基づいて特
徴量を選定するので、車両運転者の状態を検出するのに
適している特徴量を優先的に使用することができ、更に
高い精度で顔の向きを検出することができる。

【００２１】請求項３に係る顔状態検出装置によれば、
初期段階で選定候補対象とした複数の特徴量の算出が少
なくとも１つで不能である場合に、次段階で選定候補対
象とする選定候補対象を変更するので、車両運転者の顔
状態に外乱の少ないときには選定候補対象を少なくして
処理時間の短縮をすることができ、車両運転者の顔状態
に外乱の多いときには選定候補対象を多くして特徴量の
選定精度を高くすることができる。

【００２２】請求項４に係る顔状態検出装置によれば、
車両運転者の顔を構成している顔部位についての特徴量
を初期段階での選定候補対象とし、車両運転者の顔に装
着された装着物についての特徴量を次段階での選定候補
対象とするので、装着物により顔状態に変化が発生した
ときであっても、装着物の特徴量を選定することがで
き、装着物を装着した場合であっても高い精度で顔の向
きを検出することができる。

【００２３】請求項５に係る顔状態検出装置によれば、
選定候補対象である特徴量の数を、昼間と夜間との条件
で変更するので、車両が走行する状況によって変化する
顔状態に応じて選定候補対象を変化させることができ
る。

【００２４】請求項６に係る顔状態検出装置によれば、
特徴量選定手段によって選定した少なくとも１つの特徴
量から顔の向きを検出するので、安定した特徴量が算出
された複数の特徴量を用いて顔の向きを検出することが
でき、更に顔の向きを検出する精度を高くすることがで
きる。

【００２５】請求項７に係る顔状態検出装置によれば、
車両運転者が運転している車両の状態を検出した信号に
基づいて、車両運転者が前方を注視している状態を検出
するので、精度良く車両運転者の前方注視状態を検出す
ることができる。

【００２６】請求項８に係る顔状態検出方法によれば、
第３ステップにて顔画像から選定した特徴量を用いて顔
の向きを顔状態として検出し、第４ステップにて顔画像
を更新して、更新した顔画像を用いて特徴量の変更をし
た後には第４ステップにて変更した特徴量を用いて顔の
向きを検出するので、顔の向き検出している特徴量が顔
画像から検出できなくなっても、その後、最新の顔画像
に基づいて変更した特徴量にて、顔の向きを検出するこ
とができる。

【００２７】請求項９に係る顔状態検出方法によれば、
複数の特徴量を選定したときに、予め設定した優先順位
に基づいて特徴量を選定するので、車両運転者の状態を
検出するのに適している特徴量を優先的に使用すること
ができ、更に高い精度で顔の向きを検出することができ
る。

【００２８】請求項１０に係る顔状態検出方法によれ
ば、初期段階で選定候補対象とした複数の特徴量の算出
が少なくとも１つで不能である場合に、次段階で選定候
補対象を変更するので、車両運転者の顔状態に外乱の少
ないときには選定候補対象を少なくして処理時間の短縮
をすることができ、車両運転者の顔状態に外乱の多いと
きには選定特徴対象を多くして特徴量の選定精度を高く
することができる。

【００２９】請求項１１に係る顔状態検出方法によれ
ば、車両運転者の顔を構成している顔部位についての特
徴量を初期段階での選定候補対象とし、車両運転者の顔
に装着された装着物についての特徴量を次段階での選定
候補対象とするので、装着物により顔状態に変化が発生
したときであっても、装着物の特徴量を選定することが
でき、装着物を装着した場合であっても高い精度で顔の
向きを検出することができる。

【００３０】請求項１２に係る顔状態検出方法によれ
ば、選定候補対象である特徴量の数を、昼間と夜間との
条件で変更するので、車両が走行する状況によって変化
する顔状態に応じて選定候補対象とする特徴量を変化さ
せることができる。

【００３１】請求項１３に係る顔状態検出方法によれ
ば、選定した少なくとも１つの特徴量から顔の向きを検
出するので、安定した特徴量が算出された複数の特徴量
を用いて顔の向きを検出することができ、更に顔の向き
を検出する精度を高くすることができる。

【００３２】請求項１４に係る顔状態検出方法によれ
ば、車両運転者が運転している車両の状態を検出し、該
検出結果に基づいて車両運転者が前方を注視している状
態を検出するので、精度良く車両運転者の前方注視状態
を検出することができる。

【００３３】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。

【００３４】本実施の形態に係る運転者状態検出装置
は、車両運転者の顔を撮像して顔状態として顔の向きを
検出し、車両走行中の車両運転者の脇見運転を報知した
り、車両運転に注意を促すのに使用される。

【００３５】［第１実施形態］本発明は、例えば図１に
示すように構成された第１実施形態に係る運転者状態検
出装置に適用される。

【００３６】「第１実施形態に係る運転者状態検出装置
の構成」第１実施形態に係る運転者状態検出装置は、主
要な機能的構成を図１に示すと共に具体的な構成を図２
に示すように構成されている。

【００３７】運転者状態検出装置は、図１に示すよう
に、車両運転者の顔を撮像する画像撮影部１、車両運転
者の前方注視状態検出部２、顔の顔特徴量選定部３、顔
の特徴量変更部４、顔の向き検出部５を有して構成され
ている。

【００３８】この運転者状態検出装置は、車両運転者が
車両前方を注視している状態を運転者の前方注視状態検
出部２により検出すると、画像撮影部１により撮像した
顔画像データを取り込み、複数の顔画像から顔の各部を
示す特徴量（特徴量候補）を顔の特徴量選定部３により
算出する。そして、顔の特徴量選定部３では算出した特
徴量に基づいて車両走行中における顔の向きを検出する
のに使用する特徴量を選定する。そして、運転者状態検
出装置は、車両走行中において、特徴量変更部４により
特徴量の算出に使用する顔画像を更新することで随時特
徴量を変更しながら顔の向き検出部５により顔の向きを
検出する。

【００３９】このような顔の向き検出処理を行う運転者
状態検出装置の具体的な構成は、図２に示すように、画
像撮影部１に対応する撮像カメラ１１と、ＡＤ変換器１
２と、画像メモリ１３と、画像データ演算回路１４と、
顔の特徴量選定部３に対応する顔の特徴量選定回路１５
と、運転者の前方注視状態検出部２に対応する前方注視
状態検出回路１６と、顔の特徴量変更部４に対応する顔
の特徴量変更回路１７と、顔の向き検出部５に対応する
顔の向き検出回路１８とを備える。ＡＤ変換部１２は、
撮像カメラ１１にて撮像した顔画像データを入力する画
像入力部を備える。

【００４０】撮像カメラ１１は、車両運転席に乗車した
車両運転者の顔を撮像する位置に配設されている。この
撮像カメラ１１は、例えばインストに配設され、車両運
転者の顔部分を正面から撮像して、撮像信号をＡＤ変換
器１２に出力する。

【００４１】ＡＤ変換器１２は、撮像カメラ１１からの
撮像信号を入力して、アナログ形式の撮像信号をディジ
タル形式に変換し、顔画像データとして画像メモリ１３
に出力する。

【００４２】画像メモリ１３は、ＡＤ変換器１２からの
顔画像データを記憶するメモリからなり、顔画像データ
を一時的に記憶してその内容が画像データ演算回路１４
により取り込まれる。この画像メモリ１３は複数の顔画
像データを蓄積可能な容量を有している。

【００４３】本例では、運転者状態検出装置の動作中に
車両運転者の顔を所定のサンプリングタイムの経過毎に
撮像カメラ１１によって常時撮影し、撮影した顔画像デ
ータが画像メモリ１３に格納される。画像メモリ１３に
格納する顔画像データは常に新しい画像に更新され、前
方注視状態検出回路１６が車両運転者の前方注視状態を
検出したときに、画像メモリ１３内の顔画像データが顔
の特徴量選定回路１５での特徴量の選定に用いられる。
このように、本例では、前方注視状態検出回路１６の検
出結果によらずに撮像カメラ１１によって運転者の顔を
撮影する構成としたが、前方注視状態検出回路１６によ
って車両運転者の前方注視状態を検出したときのみにそ
の車両運転者の顔を撮像カメラ１１によって撮影する構
成としてもよい。また、画像メモリ１３には、前方注視
状態の顔画像を複数格納しておいてもよい。

【００４４】画像データ演算回路１４は、画像メモリ１
３に格納された顔画像データを読み出して、後段の顔の
特徴量選定回路１５において処理可能な形態とする演算
をする。すなわち、画像データ演算回路１４は、顔の特
徴量選定回路１５で行う処理の前処理を行う。

【００４５】前方注視状態検出回路１６は、車両運転者
が車両前方を注視している状態を検出する。この前方注
視状態検出回路１６は、車両を構成する各部と接続さ
れ、車両の走行状況を認識して前方注視状態を検出す
る。この前方注視状態検出回路１６は、例えばステアリ
ングがニュートラルに位置する状態で、所定速度以上で
走行しており車両運転者によりブレーキが操作されたこ
とを検出したタイミングで前方注視状態となっているこ
とを検出する。すなわち、この前方注視状態検出回路１
６は、車両運転者が赤信号や先行車両への接近に気づい
た場面、つまり前方を注視している反応を検出して車両
運転者の前方注視状態を検出する。

【００４６】このように前方注視状態検出回路１６によ
って前方注視状態を検出する車両状況は、予め設定され
て前方注視状態検出回路１６に記憶され、前方注視状態
検出回路１６は、車両の各部からのセンサ信号を入力
し、センサ信号と設定された車両状況とを比較して、予
め設定された車両状況となったときに前方注視状態を検
出して顔の特徴量選定回路１５に通知する。

【００４７】顔の特徴量選定回路１５は、前方注視状態
検出回路１６による前方注視状態検出時に画像データ演
算回路１４にて演算された顔画像データを取り込んで、
複数の顔画像についての特徴量を演算する画像処理をす
る。

【００４８】具体的には、顔の特徴量選定回路１５は、
まず、入力された顔画像データから顔の縦方向の画素列
に沿って画素の濃度値を読み出し、濃度値の局所的な高
まり毎に１個ずつの画素を求めて抽出点とし、隣接した
抽出点を連続させて顔の横方向に延びる連続データを顔
の特徴量とする。そして、顔の特徴量選定回路１５は、
前方注視状態の各顔画像データについて特徴量の抽出を
行い、複数の顔画像データの特徴量抽出結果に基づい
て、顔の向きを検出するのに適した特徴量を選定する。

【００４９】顔の特徴量変更回路１７は、顔の特徴量選
定回路１５にて特徴量の選定に使用する顔画像データを
時系列で更新し、特徴量を時系列に変更する。

【００５０】顔の向き検出回路１８は、顔の特徴量選定
回路１５及び顔の特徴量変更回路１７で選定された顔の
特徴量を用いて顔の向きを検出する。

【００５１】「第１実施形態における顔の向き検出処理
の処理手順」つぎに、上述したように構成された運転者
状態検出装置により顔の向きを検出するときの処理手順
について図３及び図４のフローチャートを参照して説明
する。

【００５２】先ず、運転者状態検出装置が起動して、ス
テップＳ１以降の処理を開始し、撮像カメラ１１により
車両運転者を撮像した撮像信号をＡＤ変換器１２に出力
して顔画像データにし、画像メモリ１３に格納する。そ
して、画像データ演算回路１４は、後段の顔の特徴量選
定回路１５以降で処理可能な形態にする演算処理を行
う。

【００５３】ステップＳ１の処理を行うと共に、運転者
状態検出装置の起動後から前方注視状態検出回路１６に
より車両状態の検出を行っており（ステップＳ２）、前
方注視状態検出回路１６により車両運転者が車両前方を
注視している状態（前方注視状態）であるか否かを判定
する（ステップＳ３）。車両運転者が前方注視状態でな
いときには図４のステップＳ１５に処理を進め、前方注
視状態であるときには、前方注視タイミングに撮像して
得た顔画像データを用いてステップＳ４〜ステップＳ１
３の処理に移行する。

【００５４】ステップＳ４〜ステップＳ１３では、顔の
特徴量選定回路１５により顔画像データについて画像処
理を行って特徴量を算出する。そして、顔の特徴量選定
回路１５は、算出した特徴量に基づいて正確に検出でき
た特徴量を認識して図５に示す認識カウンタテーブルの
各カウンタ値を更新する。

【００５５】すなわち、先ず、顔の特徴量選定回路１５
により顔画像データに画像処理を行った結果、眼部分の
特徴量に基づいて眼部分が正しく認識できたか否かを判
定し（ステップＳ４）、正しく認識できたと判定した場
合には図５に示す認識カウンタテーブルのうち、眼部分
についてのカウンタ値をカウントアップする（ステップ
Ｓ５）。

【００５６】また、顔の特徴量選定回路１５により眉部
分の特徴量に基づいて眉部分が正しく認識できたか否か
を判定し（ステップＳ６）、正しく認識できたと判定し
た場合には図５に示す認識カウンタテーブルのうち、眉
部分についてのカウンタ値をカウントアップする（ステ
ップＳ７）。

【００５７】更に、顔の特徴量選定回路１５により鼻部
分の特徴量に基づいて鼻部分が正しく認識できたか否か
を判定し（ステップＳ８）、正しく認識できたと判定し
た場合には図５に示す認識カウンタテーブルのうち、鼻
部分についてのカウンタ値をカウントアップする（ステ
ップＳ９）。

【００５８】更にまた、顔の特徴量選定回路１５により
口部分の特徴量に基づいて口部分が正しく認識できたか
否かを判定し（ステップＳ１０）、正しく認識できたと
判定した場合には図５に示す認識カウンタテーブルのう
ち、口部分についてのカウンタ値をカウントアップする
（ステップＳ１１）。

【００５９】更にまた、顔の特徴量選定回路１５により
顔幅の特徴量に基づいて顔幅が正しく認識できたか否か
を判定し（ステップＳ１２）、正しく認識できたと判定
した場合には図５に示す認識カウンタテーブルのうち、
顔幅についてのカウンタ値をカウントアップする（ステ
ップＳ１３）。ここで、顔幅の特徴量は、車両運転者の
顔の両端にあるもみあげ部分の対の特徴量を認識するこ
とで求められる。

【００６０】このようなステップＳ４〜ステップＳ１３
の処理を何れかのカウンタ値が所定値に達するまで行
う。図５に、所定値を「５」としたときの認識カウンタ
テーブルを示して、ステップＳ４〜ステップＳ１３の処
理を説明する。

【００６１】先ず、車両運転者の前方注視タイミング
（ｎｏ．１）にて眼、眉、鼻、顔幅が正しく認識されて
（ＯＫ）各顔部分についてのカウンタ値をカウントアッ
プし、口部分が正しく認識されずに（ＮＧ）カウント値
のカウントアップをしない。口部分が正しく認識されな
い例としては、図６に示すように顔の下部に強く直射光
が当たって口の形状が濃淡情報として認識できなくなっ
た場合や、図７に示すように異なる車両運転者の体格の
違いで撮像カメラ１１の画角から口部分が外れた場合な
どがある。

【００６２】そして、各前方注視タイミング（ｎｏ．２
〜ｎｏ．５）にて特徴量の認識を行った後に、認識カウ
ンタテーブルを参照して、所定値が「５」に達したカウ
ント値が存在することを判定する（ステップＳ１４）。
所定値に達したカウント値が存在しない場合には、顔の
向きを検出するのに使用する特徴量が選定済であるか否
かを判定し（ステップＳ１５）、選定されていない場合
には処理をステップＳ１に戻し、選定済であるときには
ステップＳ２０に処理を進める。

【００６３】一方、所定値に達したカウント値が存在す
る場合には、カウンタ値が所定値に達した特徴量が複数
存在するか否かを判定する（ステップＳ１６）。図５に
示したように、眼部分と鼻部分の２つの特徴量について
のカウンタ値が所定値に達しているような場合には、予
め設定されている優先順位を参照して、後段の顔の向き
検出に用いる特徴量を選定する（ステップＳ１７）。こ
の優先順位は、精度高く顔の向き検出が可能な顔部分ほ
ど高く設定されており、各顔部分について設定されてい
る。

【００６４】図５に示す場合では、眼と鼻とを比較する
と、その移動量で顔の向きを判定しようとすると精度的
には同等であるが、二つ存在する左右の鼻の穴と眼の間
隔を顔の向き検出に用いようとすると、間隔が広い方が
顔の向きが変化したときの変化量が大きい。したがっ
て、眼部分の方が鼻部分より優先順位が高く設定されて
いる。そして、ステップＳ１７では、顔の向き検出に用
いる特徴量として眼部分の特徴量を選定する。

【００６５】一方、ステップＳ１６にてカウンタ値が所
定値に達した顔部分が単一である場合には、該当する顔
部分の特徴量を選定する（ステップＳ１８）。

【００６６】顔の向き検出に使用する特徴量を選定した
後に、全顔の特徴量の各カウンタ値をクリアし、次の顔
部分の特徴量の選定準備を行い（ステップＳ１９）、選
定した特徴量を用いて、顔の向き検出回路１８により顔
の向き検出を開始して（ステップＳ２０）、ステップＳ
１に処理を戻す。なお、この顔の向き検出は、顔の特徴
量の選定後は常に行っている。

【００６７】つぎに、顔の向き検出回路１８にて行う特
徴量の変更処理について説明する。

【００６８】この変更処理は、図３及び図４のフローチ
ャートと同様な処理にて行われる。顔の向き検出回路１
８は、ステップＳ１４でカウンタ値が所定値に達したと
顔の特徴量選定回路１５により判定され、顔の向き検出
をするための特徴量が選定されると、ステップＳ１９で
全ての特徴量の各カウンタ値をクリアして、再度所定値
に達する顔の特徴量を探索する環境となる。

【００６９】このとき、一回目の顔の特徴量の選定は、
所定値に達したカウンタ値が二つ（眼と鼻）あり、予め
設定されている優先順位に基づいて選定した特徴量が眼
となっている場合において、この車両運転者が眼鏡を掛
けていたとする。

【００７０】車両運転者が眼鏡を掛けている場合は、図
８（ａ）に示すように、その走行環境によって眼鏡レン
ズ部２１への周りの景色の写り込みが殆どない場合と、
図８（ｂ）に示すように、眼鏡レンズ部２１の下部にお
ける写り込みが激しく眼部分の濃淡情報が得られないこ
とがある。図８（ｂ）は眼部分の略半分の領域に写り込
みが重なった場合を示してあるが、顔の上下方向の角度
によっては眼全体に写り込みが重なる場合もある。

【００７１】すなわち、初回の特徴量の選定時には、眼
鏡レンズ部２１への写り込みが殆どない時に行われ、眼
を選定対象とすることができたが、その後の特徴量の選
定時には、眼鏡レンズ部２１への写り込みが発生し易い
環境下となったため眼の認識が困難になる。このように
顔の特徴量を随時変更することによって、時間の経過に
伴って車両運転者の顔状態が変化しても、常に顔の向き
検出に最適な顔の特徴量を選定することができ、車両運
転者の顔の個人差や、車室内光環境の変化に対する顔の
向き検出のロバスト性を向上させることができる。

【００７２】したがって、この運転者状態検出装置によ
れば、複数の顔画像を用いて車両運転者の状態を検出す
るのに適している特徴量に随時変更することができ、車
両運転者の顔状態に応じて常に顔の向き検出に最適な特
徴量を選定することができ、高い精度で顔の向きを検出
することができる。

【００７３】以上で説明したように、本実施形態の運転
者状態検出装置によれば、前方注視状態の顔画像を用い
て特徴量を選定し、その特徴量を用いて車両運転者の顔
の向きを検出する際に、特徴量の選定に用いた顔画像を
更新し、顔状態を検出するのに使用する特徴量を、更新
後の顔画像から選定した特徴量に変更するので、顔の向
き検出に使用している特徴量が顔画像から検出できなく
なっても、その後、最新の顔画像から他の特徴量を選定
し、その選定した特徴量を使用して顔の向きの検出を行
うことができる。

【００７４】また、この運転者状態検出装置によれば、
顔状態を検出するのに使用する特徴量の候補となる複数
の特徴量を選定し、予め設定した優先順位に基づいて特
徴量を選定するので、車両運転者の状態を検出するのに
適している特徴量を優先的に使用することができ、更に
高い精度で顔の向きを検出することができる。

【００７５】更に、この運転者状態検出装置によれば、
車両運転者が運転している車両の状態を検出して、その
検出結果に基づいて、車両運転者が前方を注視している
状態を検出するので、精度良く車両運転者の前方注視状
態を検出することができる。

【００７６】［第２実施形態］つぎに本発明を適用した
第２実施形態の運転者状態検出装置について図９のフロ
ーチャートを参照して説明する。なお、第２実施形態に
係る運転者状態検出装置は、第１実施形態に係る運転者
状態検出装置の構成と同じ構成であるので、同じ符号、
ステップ番号を付してその説明を省略する。

【００７７】第２実施形態に係る運転者状態検出装置
は、顔の向き検出に使用する特徴量を重複して認識した
時に、ステップＳ２０において顔の向き検出回路１８に
より複数の特徴量を統合して顔の向き検出をすることを
特徴とする。

【００７８】第２実施形態に係る運転者状態検出装置で
は、ステップＳ１６の次に、ステップＳ４〜ステップＳ
１３の処理を行った結果、同時にカウンタ値が所定値と
なった複数の特徴量を記憶しておく。

【００７９】そして、重複して所定値となった特徴量の
うち、予め設定した優先順位を参照して、顔の向き検出
に使用する複数の特徴量の組み合わせを選定する（ステ
ップＳ３１）。ここで、複数の特徴量を選定するときの
組み合わせは、予め設定されており、複数の特徴量を選
定する優先順位も予め設定されている。

【００８０】次に、選定した特徴量の組み合わせを統合
して顔の向き検出に用いるように処理を行う（ステップ
Ｓ３２）。具体的には、図１０に示す認識カウンタテー
ブルを参照して、顔の特徴量として鼻と顔幅を選定した
場合、その二つの顔の特徴量を図１１に示すように顔幅
ＦＷに対する鼻の横方向位置ＮＬ、ＮＲの値として統合
して使用することで、ステップＳ２０において顔の向き
を検出する。

【００８１】ところで、例えば前方の眼のみを顔の向き
検出に用いる場合では、車両前方から撮影した車両運転
者の顔画像から眼の間隔を求め、求めた間隔値を前方注
視状態時の間隔と比較する。これにより、顔の向き検出
回路１８により車両運転者が脇見をしているか否かを判
定する。

【００８２】これに対し、鼻の横方向位置ＮＬ、ＮＲと
顔幅ＦＷを統合して用いると、車両運転者が脇見をした
ときには、上述した顔幅ＦＷに対する鼻の横方向位置Ｎ
Ｌ、ＮＲの変化量のほうが、眼の間隔の変化量よりも大
きい。したがって、複数の特徴量、例えば鼻と顔幅を統
合して顔の向き検出をすることで、顔の向きを検出する
精度を向上させることができる。

【００８３】［第３実施形態］つぎに、本発明を適用し
た第３実施形態の運転者状態検出装置について図１２〜
図１４のフローチャートを参照して説明する。なお、第
３実施形態に係る運転者状態検出装置は、上述した実施
形態に係る運転者状態検出装置の構成と同じ構成である
ので、同じ符号、ステップ番号を付してその説明を省略
する。

【００８４】第３実施形態の運転者状態検出装置は、図
１２に示すように、ステップＳ１の次に、例えばランプ
センサからのセンサ出力を参照して、現在夜間走行をし
ているか否かを判定し（ステップＳ４１）、夜間走行し
ていると判定したときには夜間の条件に合わせて特徴量
の選定範囲を設定し（ステップＳ４２）、夜間走行では
ないときには昼間の条件に合わせて特徴量の選定範囲を
設定して（ステップＳ４３）、ステップＳ２に処理を進
める。ここで、選定範囲の設定は、予め夜間の条件及び
昼間の条件として設定されており、顔の向き検出をする
特徴量の種類が設定されている。

【００８５】また、この第３実施形態の運転者状態検出
装置では、図１３に示すステップＳ１４の次に、カウン
タ値が「０」の顔の特徴量が存在するか否かを判定し
（ステップＳ４４）、カウンタ値が「０」の顔の特徴量
が存在しないと判定したときには図１４のステップＳ１
６に処理を進める。一方、カウンタ値が「０」の顔の特
徴量が存在すると判定したときには、カウンタ値が
「０」である特徴量の種類に応じて特徴量の選定範囲を
切り換え及び変更を行って（ステップＳ４５）、ステッ
プＳ１６に処理を進める。

【００８６】このような運転者状態検出装置では、何れ
かのカウンタ値が所定値に達した時に、他の顔の特徴量
の種類でカウンタ値が「０」の特徴量がある時に特徴量
の算出が困難であることに対応して、顔の特徴量の選定
範囲を切り替え、変更する処理を行う。例えば、顔の装
着物に選定対象を広げ、例えばサングラスを掛けている
運転者や、マスクをしている運転者にも対応できるよう
にする。

【００８７】具体的には、例えば図１５に示すように、
顔の特徴量として鼻部分が選定された時に、眼と眉の特
徴量が所定回続けて全く認識できなかったとする。な
お、図１５に示す一例では、前方注視タイミングｎｏ．
１〜ｎｏ．８と、ｎｏ．１〜ｎｏ．１０との２回の場合
を示している。

【００８８】この場合においてステップＳ４１で昼間と
判定されていたとすると、図１６に示すように車両運転
者がサングラス３１を掛けているとし、図１７に示すよ
うに顔の特徴量としてサングラスを加えることにより、
特徴量の選定範囲の変更をする。これにより、顔の向き
検出回路１８により、サングラス３１のレンズでに写り
こむ前方風景の濃淡情報による特徴量を算出して顔の向
きを検出する。

【００８９】なお、図１７では眼と眉のカウンタ値が記
載されていないが、実際には眼と眉は特徴量の選定範囲
から除かれているわけではなく、図１７においてはそれ
らの欄が省略されているだけである。従って、図１７の
段階でも眼と眉が特徴量の選定候補として残っている。
よって、車両運転者がサングラス３１を外して眼と眉を
特徴量として抽出できるようになれば、それらのカウン
タ値がカウントアップされ、眼や眉を顔の向き検出に用
いることができる。

【００９０】また、図１８に示すように顔の特徴量とし
て眼が選定された時に、鼻と口の特徴量が所定回続けて
（本例では２回）全く認識できなかった場合に、図１９
に示すように車両運転者がマスク３２をしているとし、
図２０に示すように顔の特徴量としてマスクを加えるこ
とにより、特徴量の選定範囲の変更をする。これによ
り、顔の向き検出回路１８により、マスク３２の両端に
あるエッジや眼の下にある左右対称の斜めエッジの濃淡
情報による特徴量を算出して顔の向きを検出する。

【００９１】なお、図２０の段階においても、鼻と口の
欄は省略されているが、それらは特徴量の選定候補とし
て残っている。よって、マスクが取り外された後には、
鼻と口を画像から抽出してそれらを顔の向き検出に用い
ることができる。

【００９２】また、この運転者状態検出装置では、図２
１に示すようにサングラス３１及びマスク３２を装着し
ている車両運転者の場合、車両運転者が前方注視時に所
定回数以上あるいは少なくとも一回、眼や眉など顔の構
成物の検出が困難であることを条件に顔の特徴量の選定
範囲の切り替えや変更を行っても良い。

【００９３】このように、顔の特徴量の選定範囲の切り
替えや変更を行う際は、昼間、夜間の条件を付加するこ
とにより、例えば夜間にサングラスを掛けて運転する可
能性が低いので、特徴量の選定範囲から除く。これによ
り、顔の特徴量の選定範囲を限定して処理量を減らすこ
とができ、短時間で精度の高い顔の向き検出に用いる特
徴量の選定処理が可能となる。

【００９４】すなわち、運転者状態検出装置によれば、
初期段階で選定対象とした複数の特徴量の算出が少なく
とも１つで不能である場合に、次段階で選定対象とする
特徴量を変更するので、車両運転者の顔状態に外乱の少
ないときには選定対象を少なくして処理時間の短縮をす
ることができ、車両運転者の顔状態に外乱の多いときに
は選定対象を多くして特徴量の選定精度を高くすること
ができる。

【００９５】また、運転者状態検出装置によれば、車両
運転者の顔を構成している顔部位についての特徴量を初
期段階での選定候補とし、車両運転者の顔に装着された
装着物についての特徴量を次段階での選定候補とするの
で、装着物により顔状態に変化が発生したときであって
も、装着物の画像の特徴量を選定することができ、装着
物を装着した場合であっても高い精度で顔の向きを検出
することができる。

【００９６】なお、上述の実施の形態は本発明の一例で
ある。このため、本発明は、上述の実施形態に限定され
ることはなく、この実施の形態以外であっても、本発明
に係る技術的思想を逸脱しない範囲であれば、設計等に
応じて種々の変更が可能であることは勿論である。

【００９７】すなわち、第１実施形態〜第３実施形態で
は、特徴量の選定に用いた複数の顔画像データを次の段
階の選定で全て更新しているが、全ての顔画像データを
更新せずに少なくとも１つの顔画像データを更新すると
共に最も時間的に前の顔画像データについての特徴量の
データを削除して、更新した顔画像データを含む複数の
顔画像データから特徴量を選定しても良い。

【図面の簡単な説明】

【図１】本発明を適用した運転者状態検出装置の機能的
な構成を示すブロック図である。

【図２】本発明を適用した運転者状態検出装置の具体的
な構成を示すブロック図である。

【図３】本発明を適用した第１実施形態に係る運転者状
態検出装置による顔の向き検出処理の処理手順を示すフ
ローチャートである。

【図４】本発明を適用した第１実施形態に係る運転者状
態検出装置による顔の向き検出処理の処理手順を示すフ
ローチャートである。

【図５】各特徴量についてのカウンタ値を保持する認識
カウンタテーブルの内容を示す図である。

【図６】顔の口部分に直射光が照射されて口部分の認識
ができない顔状態を示す図である。

【図７】顔の口部分が撮像カメラの画角外に位置して口
部分の認識ができない顔状態を示す図である。

【図８】（ａ）は眼鏡レンズ部に写り込みが発生してお
らず眼部分が認識可能な顔状態を示す図であり、（ｂ）
は眼鏡レンズ部に写り込みが発生して眼部分が認識不能
な顔状態を示す図である。

【図９】本発明を適用した第２実施形態に係る運転者状
態検出装置の顔の向き検出処理の処理を手順を示すフロ
ーチャートである。

【図１０】第２実施形態における各特徴量についてのカ
ウンタ値を保持する認識カウンタテーブルの内容を示す
図である。

【図１１】顔幅及び鼻の横方向位置を用いて顔の向き検
出を行うことを説明するための図である。

【図１２】本発明を適用した第３実施形態に係る運転者
状態検出装置の顔の向き検出処理の処理を手順を示すフ
ローチャートである。

【図１３】本発明を適用した第３実施形態に係る運転者
状態検出装置の顔の向き検出処理の処理を手順を示すフ
ローチャートである。

【図１４】本発明を適用した第３実施形態に係る運転者
状態検出装置の顔の向き検出処理の処理を手順を示すフ
ローチャートである。

【図１５】第３実施形態における各特徴量についてのカ
ウンタ値を保持する認識カウンタテーブルの内容を示す
図である。

【図１６】車両運転者がサングラスを装着したときの顔
状態について説明するための図である。

【図１７】第３実施形態において、カウンタ値が所定値
に達したときにカウンタ値が「０」の特徴量が存在する
ときの認識カウンタテーブルの内容を説明するための図
である。

【図１８】第３実施形態において、特徴量としてサング
ラスを付加して特徴量の選定範囲を変更したときの認識
カウンタテーブルの内容を説明するための図である。

【図１９】車両運転者がマスクを装着したときの顔状態
について説明するための図である。

【図２０】第３実施形態において、特徴量としてマスク
を付加して特徴量の選定範囲を変更したときの認識カウ
ンタテーブルの内容を説明するための図である。

【図２１】車両運転者がサングラス及びマスクを装着し
たときの顔状態について説明するための図である。

【符号の説明】

１ 画像撮影部 ２ 運転者の前方注視状態検出部 ３ 顔の特徴量選定部 ４ 顔の特徴量変更部 ５ 顔の向き検出部 １１ 撮像カメラ １２ ＡＤ変換器 １３ 画像メモリ １４ 画像データ演算回路 １５ 顔の特徴量選定回路 １６ 前方注視状態検出回路 １７ 顔の特徴量変更回路 １８ 顔の向き検出回路 ２１ 眼鏡レンズ部 ３１ サングラス ３２ マスク

───────────────────────────────────────────────────── フロントページの続き (72)発明者 上野 裕史 神奈川県横浜市神奈川区宝町２番地 日産 自動車株式会社内 Ｆターム(参考） 3D037 FA01 5B057 AA16 BA02 DA07 DA08 DA15 DB02 DB05 DB09 DC03 DC08 DC36 5L096 BA04 BA18 CA02 FA00 FA67 HA07 JA11

Claims (14)

【特許請求の範囲】
1. 【請求項１】 車両運転者の顔状態を検出する顔状態検
   出装置であって、 車両運転者の顔を撮像した顔画像を入力する画像入力手
   段と、 車両運転者が車両前方を注視している前方注視状態を検
   出する前方注視状態検出手段と、 前記前方注視状態検出手段の検出結果に基づいて前記画
   像入力手段で入力した前方注視状態の顔画像を用いて顔
   画像の特徴量を算出し、該算出結果に基づいて、顔状態
   を検出するのに使用する特徴量を選定する特徴量選定手
   段と、 前記特徴量選定手段での特徴量の選定に用いた顔画像を
   更新し、顔状態を検出するのに使用する特徴量を、前記
   更新した顔状態から前記特徴量選定手段にて選定した特
   徴量に変更する特徴量変更手段と、 前記特徴量選定手段によって選定した特徴量を用いて顔
   の向きを顔状態として検出し、顔状態を検出するのに使
   用する特徴量を前記特徴量変更手段にて変更した場合に
   は、該変更した特徴量を用いて顔の向きを顔状態として
   検出する顔状態検出手段とを備えることを特徴とする顔
   状態検出装置。
2. 【請求項２】 上記特徴量選定手段は、顔状態を検出す
   るのに使用する候補となる複数の特徴量を選定し、複数
   の特徴量から予め設定した優先順位に基づいて顔状態を
   検出するのに使用する特徴量を選定することを特徴とす
   る請求項１に記載の顔状態検出装置。
3. 【請求項３】 上記特徴量選定手段は、初期段階で選定
   候補対象とした特徴量の算出が少なくとも１つで不能で
   ある場合に、次段階で選定候補対象を変更することを特
   徴とする請求項１に記載の顔状態検出装置。
4. 【請求項４】 上記特徴量選定手段は、車両運転者の顔
   を構成している顔部位についての特徴量を初期段階での
   選定候補対象とし、車両運転者の顔に装着された装着物
   についての特徴量を次段階での選定候補対象とすること
   を特徴とする請求項３に記載の顔状態検出装置。
5. 【請求項５】 上記特徴量選定手段は、選定候補対象で
   ある特徴量の数を、昼間と夜間との条件で変更すること
   を特徴とする請求項１に記載の顔状態検出装置。
6. 【請求項６】 上記顔の向き検出手段は、上記特徴量選
   定手段によって選定した少なくとも１つの特徴量から顔
   の向きを検出することを特徴とする請求項１に記載の顔
   状態検出装置。
7. 【請求項７】 上記前方注視状態検出手段は、車両運転
   者が運転している車両の状態を検出した信号に基づい
   て、車両運転者が前方を注視している状態を検出するこ
   とを特徴とする請求項１〜請求項６の何れかに記載の顔
   状態検出装置。
8. 【請求項８】 車両運転者の顔状態を検出する顔状態検
   出方法であって、 車両運転者が車両前方を注視している前方注視状態を検
   出して、前方注視状態において車両運転者の顔を撮像し
   た顔画像を入力する第１ステップと、 前記第１ステップにて入力した前方注視状態の顔画像を
   用いて、特徴量を算出する第２ステップと、 前記第２ステップにて算出した顔画像の特徴量に基づい
   て顔状態を検出するのに使用する特徴量を選定する第３
   ステップと、 前記第１ステップにて入力した顔画像を更新して、更新
   した顔画像に基づいて、顔状態を検出するのに使用する
   特徴量を変更する第４ステップとを有し、 前記第３ステップにて選定した特徴量を用いて顔の向き
   を顔状態として検出し、前記第４ステップにて特徴量の
   変更をした後には前記第４ステップにて変更した特徴量
   を用いて顔の向きを検出することを特徴とする顔状態検
   出方法。
9. 【請求項９】 上記第３ステップ又は第４ステップで
   は、顔状態を検出するのに使用する候補となる複数の特
   徴量を選定し、複数の特徴量から予め設定した優先順位
   に基づいて顔状態を検出するのに使用する特徴量を選定
   することを特徴とする請求項８に記載の顔状態検出方
   法。
10. 【請求項１０】 上記第３ステップ又は第４ステップで
    は、初期段階で選定候補対象とした特徴量の算出が少な
    くとも１つで不能である場合に、次段階で選定候補対象
    を変更することを特徴とする請求項８に記載の顔状態検
    出方法。
11. 【請求項１１】 上記第３ステップ又は第４ステップで
    は、車両運転者の顔を構成している顔部位についての特
    徴量を初期段階での選定候補対象とし、車両運転者の顔
    に装着された装着物についての特徴量を次段階での選定
    候補対象とすることを特徴とする請求項１０に記載の顔
    状態検出方法。
12. 【請求項１２】 上記第３ステップ又は第４ステップで
    は、選定候補対象である特徴量の数を、昼間と夜間との
    条件で変更することを特徴とする請求項８に記載の顔状
    態検出方法。
13. 【請求項１３】 選定した少なくとも１つの特徴量から
    顔の向きを検出することを特徴とする請求項８に記載の
    顔状態検出方法。
14. 【請求項１４】 上記第１ステップでは、車両運転者が
    運転している車両の状態を検出し、該検出結果に基づい
    て、車両運転者が前方を注視している状態を検出するこ
    とを特徴とする請求項８〜請求項１３の何れかに記載の
    顔状態検出方法。