JP2015095162A

JP2015095162A - ドライバ監視装置

Info

Publication number: JP2015095162A
Application number: JP2013235105A
Authority: JP
Inventors: 大見　拓寛; Takuhiro Omi; 拓寛大見
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2013-11-13
Filing date: 2013-11-13
Publication date: 2015-05-18
Anticipated expiration: 2033-11-13
Also published as: WO2015072069A1; US9888875B2; JP6314435B2; US20160262682A1

Abstract

【課題】車両のドライバを監視するドライバ監視装置において、覚醒状態が正しく認識できない場合であっても、ドライバの覚醒状態を維持できるようにする。
【解決手段】ドライバ監視システムにおいては、ドライバの状態を認識し（Ｓ２１０）、認識安定性を判定する（Ｓ２１５）。また、認識安定性が予め設定された基準値未満である場合に、認識安定性が基準値以上である場合とは異なる動作を行うようドライバに要求する（Ｓ２３０、Ｓ２３５、Ｓ２４０、Ｓ２６０、Ｓ３１０）。そして、要求に対応するドライバの動作を検出する（Ｓ２７０、Ｓ３１５）。このようなドライバ監視装置によれば、認識安定性が基準値未満である場合にドライバに対して何らかの動作を要求するので、覚醒状態等のドライバ状態が正しく認識できない場合であっても、ドライバの覚醒状態を維持することができる。
【選択図】図５

Description

本発明は、車両のドライバを監視するドライバ監視装置に関する。

上記のドライバ監視装置として、ドライバの覚醒状態を維持するために、ドライバの覚醒レベルが低いときにドライバに特定の動作を要求するものが知られている（例えば、特許文献１参照）。

特開２０１０−０２０６１８号公報

上記のドライバ監視装置では、覚醒状態が正しく認識できない場合であっても、ドライバの覚醒状態を維持したいという要求がある。
そこで、車両のドライバを監視するドライバ監視装置において、覚醒状態が正しく認識できない場合であっても、ドライバの覚醒状態を維持できるようにすることを本発明の目的とする。

かかる目的を達成するために成された本発明のドライバ監視装置において、状態認識手段はドライバの状態を認識し、認識安定性判定手段は、状態認識手段による認識安定性を判定する。また、動作要求手段は、認識安定性が予め設定された基準値未満である場合に、認識安定性が基準値以上である場合とは異なる動作を行うようドライバに要求するか、あるいは同一の動作であっても異なるタイミングでドライバに要求する。そして、動作検出手段は、要求に対応するドライバの動作を検出する。

このようなドライバ監視装置によれば、認識安定性が基準値未満である場合にドライバに対して何らかの動作を要求するので、覚醒状態等のドライバ状態が正しく認識できない場合であっても、ドライバの覚醒状態を維持することができる。

なお、「前記認識安定性が前記基準値以上である場合とは異なる動作」には、認識安定性が基準値以上の場合に動作の要求を行わない場合を含む。つまり、認識安定性が基準値未満の場合の際に、認識安定性が基準値以上の場合には求めなかった動作を要求すればよい。

また、上記目的を達成するためには、コンピュータを、ドライバ監視装置を構成する各手段として実現するためのドライバ監視プログラムとしてもよい。また、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、発明の目的を達成できる範囲内において一部構成を除外してもよい。

本発明が適用されたドライバ監視システム１の概略構成を示すブロック図である。制御部１０（ＣＰＵ１１）が実行するタスク付与処理を示すフローチャートである。タスク付与処理のうちの画像認識処理を示すフローチャートである。顔部品や顔方向を認識する際の具体例を示す説明図である。タスク付与処理のうちの画像解析処理を示すフローチャートである。

以下に本発明にかかる実施の形態を図面と共に説明する。
［本実施形態の構成］
本発明が適用されたドライバ監視システム１は、例えば乗用車等の車両において搭載されており、この車両を自動または半自動で走行制御するオートパイロットシステム２５の作動時に、車両のドライバ（運転者）の覚醒状態を監視するシステムである。このドライバ監視システム１では、ドライバの覚醒レベルが低い状態（ドライバが眠気を感じている状態）を認識すると注意喚起を行い、ドライバの覚醒状態が不明である場合にドライバに何らかの動作を行うよう要求する機能を備えている。

詳細にはドライバ監視システム１は、図１に示すように、制御部１０、カメラ２１、照明部２２、オートパイロットシステム２５、押ボタン２６、警報部３１、シート振動部３２、空調変更部３３を備えている。

カメラ２１は、車両の内部においてドライバの前方に配置されており、ドライバの顔が撮像範囲内になるよう設定されている。
照明部２２は、カメラ２１のための補助光源として機能し、ドライバの顔に向けて例えば赤外光を照射する。赤外光の照射タイミングについては、常時点灯していてもよいし、カメラ２１による撮像周期と同期するよう、発光タイミングが制御部１０によって制御されるよう構成されていてもよい。

オートパイロットシステム２５は、車両の加減速および操舵を制御することでドライバが操作を行うことなく車両を制御（自動運転）するシステムである。オートパイロットシステム２５は、自動運転を行っているか否かを示す信号を制御部１０に送る。なお、オートパイロットシステム２５は、車両の加減速および操舵のうちの一方を制御する半自動運転を行うよう設定されていてもよい。

押ボタン２６は、ドライバの手の届く範囲に配置された物理的なスイッチとして構成されている。押ボタン２６が操作された場合、この操作は制御部１０にて認識されるよう設定されている。

警報部３１は、音や光でドライバに注意を促すための構成であり、制御部１０からの指令を受けて作動する。
シート振動部３２は、ドライバのシートに埋め込まれたバイブレータとして構成されており、制御部１０からの指令を受けて作動する。

空調変更部３３は、制御部１０からの指令を受けて、車両における空調装置の風量や風向、或いは設定温度を変更する機能を有する。
制御部１０は、ＣＰＵ１１、およびＲＯＭ、ＲＡＭ等のメモリ１２を備えた周知のコンピュータとして構成されている。ＣＰＵ１１は、メモリ１２に記録されたプログラムに従って後述する各種処理を実施する。

［本実施形態の処理］
このように構成されたドライバ監視システム１において、制御部１０は、図２に示すタスク付与処理を実施する。タスク付与処理では、オートパイロットシステム２５の作動中に、ドライバが眠っていないことを確認するために、ドライバに何らかの動作を行うようタスク（指示）を与える。ただし、本実施形態においては、ドライバに対する負荷を軽減するために、ドライバの覚醒状態が明確である場合にはタスクを与えることはなく、ドライバの覚醒状態が不明確である場合に、ドライバの覚醒状態を確認するためにタスクを与えるよう設定している。

なお、タスク付与処理は、例えばオートパイロットシステム２５の電源が投入されると開始される処理である。
詳細には、図２に示すように、まず、画像認識処理を実施する（Ｓ１０）。画像認識処理は、カメラ２１による撮像画像からドライバの状態を認識する処理である。この画像認識処理では、図３に示すように、まず、カメラ２１からの撮像画像を取得する（Ｓ１１０）。

続いて、撮像画像中から顔領域を抽出し（Ｓ１１５）、さらに顔部品を抽出する（Ｓ１２０）。これらの処理は、図４（ａ）に示すように、撮像画像を画像処理することで顔の形状らしい領域を認識し、この領域を含む矩形の領域を顔領域として認識する。そして、この顔領域内においてエッジ（隣接する画素の輝度差が基準値以上の部位）を検出し、形状を認識することで顔部品を特定する。

続いて、頭部姿勢を推定する（Ｓ１２５）。この処理では、顔部品の位置関係に基づいて図４（ｂ）に示すように顔の方向を推定する。
次に、開眼度を推定する（Ｓ１３０）。この処理では、顔部品のうちの目の部分に着目し、例えば瞼のカーブ（眼球の上側のエッジ）の曲率半径を求める。なお、この曲率半径が大きくなるほど開眼度が低いと判定される。

続いて、開眼度の推定結果をメモリに記録させる（Ｓ１３５）。ただし、顔部品が抽出できなかった場合や、開眼度を推定できなかった場合には、その旨をメモリに記録させる。

このような処理が終了すると画像認識処理を終了する。画像認識処理が終了すると、図２に戻り画像解析処理を実施する（Ｓ１５）。画像解析処理は、画像認識処理による認識結果を利用して画像の状態を認識するとともに、必要に応じてドライバに対して動作を要求する処理である。また、必要に応じてドライバに対して注意喚起を行う処理である。

画像認識処理では、図５に示すように、まず、ドライバ状態を推定する（Ｓ２１０）。ここで、ドライバ状態とは、ドライバの覚醒状態を示す。ただし、覚醒状態はドライバ状態の１つであり、覚醒状態以外に、例えば、心臓発作が発生したことと等のドライバの健康状態や、携帯電話やカーナビゲーション装置等をドライバが操作することによるドライバの脇見運転状態等を示してもよい。

本実施形態において、ドライバの覚醒状態を推定するには、まず、例えば過去５秒間の平均開眼度や瞬き回数等を、メモリ１２に記録された開眼度から求め、平均開眼度や瞬き回数が予め設定された閾値未満であれば、覚醒レベルが低く（ドライバが眠気を感じている状態）、平均開眼度や瞬き回数が閾値以上であれば覚醒レベルが高い（ドライバが眠気を感じていない状態）と判断する。

続いて、ドライバ状態の認識率と予め設定された判定認識率とを比較する（Ｓ２１５）。判定認識率はドライバ状態が信頼できるものか否かを判断するための基準であり、例えば７０〜９０％程度の値に設定される。

ドライバ状態の認識率は、開眼度の認識結果がメモリ１２に記録された割合を表す。より具体的には、ドライバ状態の認識率は、例えば過去５秒間に得られる撮像画像の数（フレーム数）に対する平均開眼度が正常に認識できたフレーム数の割合を表す。

なお、本実施形態では、ドライバ状態が認識できた場合はメモリ１２に記録するよう構成しているが、例えば、認識状態フラグ（認識の確からしさの尤度）を出力するようにしてもよい。

ドライバ状態の認識率が判定閾値以上であれば（Ｓ２１５：ＹＥＳ）、ドライバ状態の推定結果をメモリ１２に記録する（Ｓ２２０）。ここでの推定結果は、覚醒レベルが高い場合にドライバ状態がＯＫである旨が記録され、覚醒レベルが低い場合にドライバ状態がＮＧである旨が記録される。Ｓ２２０の処理が終了すると、画像解析処理を終了する。

ドライバ状態の認識率が判定閾値未満であれば（Ｓ２１５：ＮＯ）、最新の撮像画像において顔部品が認識できているか否かを判定する（Ｓ２３０）。顔部品が認識できていれば（Ｓ２３０：ＹＥＳ）、運転継続時間ｔと画像タスク要求間隔ｔ１とを比較する（Ｓ２３５）。

ここで、運転継続時間ｔは、ドライバ状態が最後に認識されてから、或いは、ドライバへの要求に対する動作が最後に認識されてからの時間を表す。つまり、運転継続時間ｔは、ドライバ状態が認識されるか（Ｓ２２０の処理が実施されるか）、ドライバへの要求に対する動作を認識したとき（Ｓ３４０の処理が実施されたとき）にリセットされる。

また、画像タスク要求時間ｔ１は、画像処理にて認識可能なドライバ動作を要求する周期を示し、予め設定された値とされている。なお、この値は、後述する処理にて変更可能とされている。

運転継続時間ｔが画像タスク要求時間ｔ１以下であれば（Ｓ２３５：ＮＯ）、メモリ１２に記録されたドライバ状態の判定結果や後述する要求に対する動作の判定結果をクリアし（Ｓ２５０）、画像解析処理を終了する。

また、運転継続時間ｔが画像タスク要求時間ｔ１を超えていれば（Ｓ２３５：ＹＥＳ）、画像処理タスクを要求する（Ｓ２６０）。ここで、画像処理タスクとは、ドライバに口を開けさせたり、顔の向きを変更させたり、ウインクさせたりというように、画像処理によってドライバの動作を検出するための要求を示す。より詳細には、撮像画像においてカメラ２１に対する顔部品の位置関係を変更させるよう要求することを示す。

続いて、前述の画像認識処理を再度実施し（Ｓ２６５）、その後、要求に対する動作を認識する（Ｓ２７０）。すなわち、要求の前後における顔部品の位置関係の変化を認識することで、ドライバが要求に応答したことを認識する。

そして、要求に対する動作を認識できたか否かを判定する（Ｓ２７５）。要求に対する動作を認識できていれば（Ｓ２７５：ＹＥＳ）、要求に対する動作が認識できた旨（ＯＫ）をメモリ１２に記録させる（Ｓ３４０）。

また、要求に対する動作が認識できていなければ（Ｓ２７５：ＮＯ）、要求を行ってから、ドライバが動作を行うまでのタイムラグ（遅れ時間）に余裕時間を付加した待機時間が経過したか否かを判定する（Ｓ２８０）。待機時間が経過していなければ（Ｓ２８０：ＮＯ）、Ｓ２６５の処理に戻る。

待機時間が経過していれば（Ｓ２８０：ＹＥＳ）、要求に対する動作が認識できなかった旨（ＮＧ）をメモリ１２に記録させる（Ｓ３４５）。このような処理が終了すると、画像解析処理を終了する。

ところで、Ｓ２３０の処理にて、顔部品が認識できていなければ（Ｓ２３０：ＮＯ）、運転継続時間ｔと非画像タスク要求間隔ｔ２とを比較する（Ｓ２３５）。ここで、非画像タスク要求間隔ｔ２は、画像処理によらずに認識可能なドライバの動作を要求する周期を示し、画像タスク要求時間ｔ１以下の値に設定されている。

運転継続時間ｔが非画像タスク要求時間ｔ２以下であれば（Ｓ２４０：ＮＯ）、前述のＳ２５の処理に移行する。また、運転継続時間ｔが非画像タスク要求時間ｔ２以下であれば（Ｓ２４０：ＹＥＳ）、非画像処理タスクを要求する（Ｓ３１０）。

非画像処理タスクは、画像処理によらずにドライバの動作を検出するための動作を要求するものであり、本実施形態では押ボタン２６を押すよう要求する。続いて、要求に対する動作を認識する（Ｓ３１５）。この処理では、押ボタン２６からの信号を検出する。

続いて、要求に対する動作を認識できたか否かを判定する（Ｓ３２０）。要求に対する動作を認識できていれば（Ｓ３２０：ＹＥＳ）、前述のＳ３４０の処理に移行する。また、要求に対する動作を認識できていなければ（Ｓ３２０：ＮＯ）、要求を行ってから待機時間が経過したか否かを判定する（Ｓ３２５）。待機時間が経過していなければ（Ｓ３２５：ＮＯ）、Ｓ３１５の処理に戻る。

また、待機時間が経過していれば（Ｓ３２５：ＹＥＳ）、前述のＳ３４５の処理に移行する。
このような画像解析処理が終了すると、図２に戻りメモリ１２においてＯＫまたはＮＧの判定結果が記録されているか否かを判定する（Ｓ２０）。この処理では前述のＳ２５０の処理にて判定結果がクリアされている場合には否定判定され、その他の場合には肯定判定される。

判定結果が記録されていなければ（Ｓ２０：ＮＯ）、Ｓ１０の処理に戻る。また、判定結果が記録されていれば（Ｓ２０：ＹＥＳ）、判定結果の種別（ＯＫまたはＮＧ）を判定する（Ｓ２５）。

判定結果がＯＫであれば（Ｓ２５：ＮＯ）、画像タスク要求時間ｔ１をα（αは例えば１分程度の値）だけ増加させ（Ｓ６０）、Ｓ１０の処理に戻る。また、判定結果がＮＧであれば（Ｓ２５：ＹＥＳ）、ＮＧレベルを判定する（Ｓ３０）。

ここで、ＮＧレベルは、ＮＧ判定された頻度やＮＧ判定された際の処理の種別（開眼度によってＮＧ判定されたか、要求に対する動作が得られなかったか等）によって所定の値が付与され、この値が基準となる閾値を超えるとＮＧレベルが高いと判定される。

ＮＧレベルが低ければ（Ｓ３０：ＮＯ）、ローレベル注意を出力する（Ｓ３５）。ローレベル注意は、例えば、警報部３１による警告を示す。
また、ＮＧレベルが高ければ（Ｓ３０：ＹＥＳ）、ハイレベル注意を出力する（Ｓ４０）。ハイレベル注意は、警報部３１による警告に加えて、シート振動部３２によってシートに振動を与える処理、および空調変更部３３によって運転者の顔に冷風を当てる処理等を行うことを示す。すなわち、ハイレベル注意では、ローレベル注意よりも強い警告を与えることで、ドライバに強く注意を促す。

Ｓ３５またはＳ４０の処理にて注意喚起を行う処理を終了すると、画像タスク要求時間ｔ１を初期値に戻し（Ｓ４５）、Ｓ１０の処理に戻る。
［本実施形態による効果］
以上のように詳述したドライバ監視システム１において、制御部１０はドライバの状態を認識し、認識安定性を判定する。また、認識安定性が予め設定された基準値未満である場合に、認識安定性が基準値以上である場合とは異なる動作を行うようドライバに要求するか、あるいは同一の動作であっても異なるタイミングでドライバに要求する。そして、要求に対応するドライバの動作を検出する。

また、画像処理で顔部品を常時安定的に認識することは容易ではなく、外乱光（太陽光による顔面への直射やアンバランスな照射）やメガネへの風景の映り込みなどで、認識が連続的または断続的に誤検知や未検知に陥ることが考えられる。しかしながら本実施形態では、そのような場合では、ドライバに煩わしくても非画像処理タスクを実行することで安全性を確保することができる。

また、上記のドライバ監視システム１において制御部１０は、ドライバの顔を撮像した撮像画像を取得し、撮像画像からドライバの顔の構成要素を認識する。そして、制御部１０は、認識安定性が予め設定された基準値未満であって、ドライバの顔の構成要素のうちの予め設定された設定部位を認識できない場合、画像処理によらずにドライバの動作を検出するための非画像動作を要求する。

このようなドライバ監視システム１によれば、画像処理を用いないでドライバの動作を検出するための動作（非画像動作）を要求するのでドライバの動作を良好に検出することができる。

さらに、上記のドライバ監視システム１において制御部１０は、ドライバの顔の構成要素のうちの設定部位（顔部品）を認識できた場合に、基準周期（ｔ１）毎にドライバに動作を要求し、設定部位を認識できなかった場合に、基準周期よりも短い短縮周期（ｔ２）毎にドライバに動作を要求する。

ここで、設定部位とは、顔向き方向を推定するために最低限必要な顔部品、例えば、顔幅と鼻との組み合わせや、両目と鼻との組み合わせ等を意味する。また、眠気推定の場合の設定部位は、左右の目の少なくとも片方の開眼度とすることができる。

このようなドライバ監視システム１によれば、設定部位を認識できなかった場合にはドライバに動作を要求する周期を短くするので、ドライバの覚醒状態を維持しやすくすることができる。

また、上記のドライバ監視システム１において制御部１０は、設定部位を認識できた場合に、設定部位に変化を与える動作を要求し、設定部位を認識できなかった場合に、ドライバ操作を検知する検知部（押ボタン２６）にて検知可能な動作を要求する。

このようなドライバ監視システム１によれば、設定部位を認識できる場合には画像で認識できる動作を要求することでドライバの負担を軽くし、一方で設定部位を認識できない場合には検知部にて検知可能な動作を要求するので、確実にドライバによる動作を検出することができる。

さらに、上記のドライバ監視システム１において制御部１０は、要求に対するドライバの動作が検出できなかった場合、および認識したドライバの状態が運転に支障を及ぼす可能性がある状態である場合に、ドライバに対して注意喚起を行う。

このようなドライバ監視システム１によれば、ドライバが運転に支障を及ぼさないように注意を促すことができる。また、要求に対するドライバの動作が検出されたときや、ドライバの状態が運転に支障を及ぼさない場合に注意喚起を行わないようにすることで、ドライバに対する不要な警告が実施されにくくすることができる。

また、上記のドライバ監視システム１において制御部１０は、注意喚起を行ってから予め設定された注意喚起間隔時間以内には、注意喚起を禁止する。ただし本実施形態では、ドライバの状態が「運転に支障を及ぼす可能性がある状態」である場合が認識された場合には、注意喚起を行う。

このようなドライバ監視システム１によれば、頻繁に注意喚起が実施されることによる煩わしさを軽減することができる。
さらに、上記のドライバ監視システム１において制御部１０は、ドライバの動作が検出できた場合に、注意喚起間隔時間をより長い時間に変更し、注意喚起を行った場合に、注意喚起間隔時間をより短い時間に変更する。

このようなドライバ監視システム１によれば、注意喚起間隔時間を変更することで、ドライバに煩わしくないようにすること、および覚醒状態を維持することを両立することができる。

なお、状態認識手段によってドライバの状態が認識できた場合にも注意喚起間隔時間をより長い時間に変更するようにしてもよい。
［その他の実施形態］
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。

例えば、上記実施形態において、画像処理を用いることなくドライバの操作を検出するための構成として、押ボタン２６を押すよう要求し、押ボタン２６への操作を検出する構成を採用したが、押ボタン２６に限らず、例えば、ペダルやステアリングの操作を要求し、この操作をペダルやステアリングに設けられたセンサによって検出してもよい。

また、上記実施形態では、ドライバ状態が明確である場合にはドライバに動作を求めないよう構成したが、ドライバ状態が明確である場合にも、ある時間毎に何らかの動作を求めるようにしてもよい。この場合、ドライバ状態が不明確である場合よりも動作を要求する周期を長くする構成や、ドライバの負担にならないより軽い動作を要求する構成を採用してもよい。

つまり、ドライバ状態が明確である場合にも動作を要求する場合、ドライバ状態が不明確である場合とは異なる動作を求めればよい。
［実施形態の構成と本発明の手段との対応関係］
上記実施形態における制御部１０は、本発明でいうドライバ監視装置に相当し、上記実施形態における押ボタン２６は、本発明でいう検知部に相当する。また、上記実施形態において制御部１０が実施する処理のうちの、Ｓ３０、Ｓ３５、Ｓ４０の処理は、本発明でいう注意喚起手段に相当し、上記実施形態におけるＳ４５、Ｓ６０の処理は、本発明でいう間隔時間変更手段に相当する。

さらに、上記実施形態におけるＳ１１０の処理は、本発明でいう撮像画像取得手段に相当し、上記実施形態におけるＳ１２０の処理は、本発明でいう顔認識手段に相当する。また、上記実施形態におけるＳ２１０の処理は、本発明でいう状態認識手段に相当し、上記実施形態におけるＳ２１５の処理は、本発明でいう認識安定性判定手段に相当する。

さらに、上記実施形態におけるＳ２３０、Ｓ２３５、Ｓ２４０、Ｓ２６０、Ｓ３１０の処理は、本発明でいう動作要求手段に相当し、上記実施形態におけるＳ２３５、Ｓ２４０、Ｓ２５０の処理は、本発明でいう注意禁止手段に相当する。また、上記実施形態におけるＳ２７０、Ｓ３１５の処理は、本発明でいう動作検出手段に相当する。

１…ドライバ監視システム、１０…制御部、１１…ＣＰＵ、１２…メモリ、２１…カメラ、２２…照明部、２５…オートパイロットシステム、２６…押ボタン、３１…警報部、３２…シート振動部、３３…空調変更部。

Claims

車両のドライバを監視するドライバ監視装置（１０）であって、
ドライバの状態を認識する状態認識手段（Ｓ２１０）と、
前記状態認識手段による認識安定性を判定する認識安定性判定手段（Ｓ２１５）と、
前記認識安定性が予め設定された基準値未満である場合に、前記認識安定性が前記基準値以上である場合とは異なる動作を行うよう前記ドライバに要求するか、あるいは同一の動作であっても異なるタイミングで前記ドライバに要求する動作要求手段（Ｓ２３０、Ｓ２３５、Ｓ２４０、Ｓ２６０、Ｓ３１０）と、
前記要求に対応するドライバの動作を検出する動作検出手段（Ｓ２７０、Ｓ３１５）と、
を備えたことを特徴とするドライバ監視装置。
請求項１に記載のドライバ監視装置において、
ドライバの顔を撮像した撮像画像を取得する撮像画像取得手段（Ｓ１１０）と、
前記撮像画像からドライバの顔の構成要素を認識する顔認識手段（Ｓ１２０）と、
を備え、
前記動作要求手段は、前記認識安定性が予め設定された基準値未満であって、ドライバの顔の構成要素のうちの予め設定された設定部位を認識できない場合、画像処理によらずにドライバの動作を検出するための非画像動作を要求すること
を特徴とするドライバ監視装置。
請求項２に記載のドライバ監視装置において、
前記動作要求手段は、前記設定部位を認識できた場合に、基準周期毎に前記ドライバに動作を要求し、前記設定部位を認識できなかった場合に、前記基準周期よりも短い短縮周期毎に前記ドライバに動作を要求すること
を特徴とするドライバ監視装置。
請求項２または請求項３に記載のドライバ監視装置において、
前記動作要求手段は、前記設定部位を認識できた場合に、前記設定部位に変化を与える動作を要求し、前記設定部位を認識できなかった場合に、ドライバ操作を検知する検知部（２６）にて検知可能な動作を要求すること
を特徴とするドライバ監視装置。
請求項１〜請求項４の何れか１項に記載のドライバ監視装置において、
前記動作検出手段にて前記要求に対するドライバの動作が検出できなかった場合、および前記状態認識手段にて認識したドライバの状態が運転に支障を及ぼす可能性がある状態である場合に、前記ドライバに対して注意喚起を行う注意喚起手段（Ｓ３０、Ｓ３５、Ｓ４０）、を備えたこと
を特徴とするドライバ監視装置。
請求項５に記載のドライバ監視装置において、
前記注意喚起を行ってから予め設定された注意喚起間隔時間以内には、前記注意喚起手段による注意喚起を禁止する注意禁止手段（Ｓ２３５、Ｓ２４０、Ｓ２５０）、
を備えたことを特徴とするドライバ監視装置。
請求項６に記載のドライバ監視装置において、
前記動作検出手段によって前記ドライバの動作が検出できた場合に、前記注意喚起間隔時間をより長い時間に変更し、前記注意喚起手段によって注意喚起を行った場合に、前記注意喚起間隔時間をより短い時間に変更する間隔時間変更手段（Ｓ４５、Ｓ６０）、
を備えたことを特徴とするドライバ監視装置。