JP3651571B2

JP3651571B2 - Driver status detection system

Info

Publication number: JP3651571B2
Application number: JP13045499A
Authority: JP
Inventors: 修山口
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1999-03-31
Filing date: 1999-03-31
Publication date: 2005-05-25
Anticipated expiration: 2019-03-31
Also published as: JP2000280780A

Description

【０００１】
【発明の属する技術分野】
本発明は、ドライバの顔を撮像してその画像からドライバの状態を検知することにより、ドライバの運転を支援するドライバ状態検知システムに関する。
【０００２】
【従来の技術】
ドライバ（運転手）の居眠りや脇見運転等による事故を未然に防ぐために、ドライバの顔を常時照明した状態でＣＣＤカメラ等の撮像デバイスにより撮像し、得られたドライバの顔の画像に基づいて、演算処理ユニット（ＣＰＵ）により例えば２値化処理等の画像処理を行うことにより、ドライバの目の位置、瞬き、開き具合等を認識してドライバの状態を検知する認識装置を有するドライバ状態検知システムが知られている。
【０００３】
このドライバ状態検知システムによれば、認識装置は、上記画像処理に基づく例えば目の瞬きの回数や開き具合等の判断からドライバの居眠り運転状態を検知した場合や、眼球の位置等の判断から脇見運転状態を検知した場合には、警報音等の警報をドライバに対して出力することにより、ドライバに対して注意を喚起させている。
【０００４】
上述した認識装置を有するドライバ状態検知システムにおいては、昼夜、天候等による運転環境での明るさの変化に対応できる必要がある。例えば、太陽光の直射では、ドライバの顔に影が生じることもあり、画像処理によるドライバの状態検知に支障をきたす可能性がある。
【０００５】
そこで、昼夜に亘り撮像でき、顔に対する屋外での外乱光（昼夜の照度変化や太陽光直射等）の影響を低減するために、上記ドライバの顔を照明する光として、外乱光の影響を受けにくい赤外線照明光を用いており、この赤外線照明光を常時ドライバの顔に照射することにより、ドライバの状態検知の精度を向上させている。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の認識装置を有するドライバ状態検知システムによれば、赤外線照明光を常時ドライバに照射していることになる。この赤外線は、連続して目に照射されると、強度によっては、視力障害を引き起こす恐れがあるため、連続して照射される可能性があるドライバにとっては、心理的な不安感を与えていた。
【０００７】
また、緊急時でない場合やドライバが気付いている場合においても、常時ＣＣＤカメラにより顔画像を撮像し、ＣＰＵが画像処理を実行しているため認識装置の構成要素の耐久性が悪化し、コストの増加を招く恐れが生じていた。
【０００８】
本発明は上述した事情に鑑みてなされたもので、赤外線ＬＥＤの照射を含む顔認識装置の起動／停止制御を、例えば車両の動作状態や車両周辺の状況に応じて行うことにより、ドライバに与える心理的不安感を低減させ、身体的な安全性を向上させ、さらに認識装置の耐久性を向上させることができるドライバ状態検知システムを提供することをその目的とする。
【０００９】
【課題を解決するための手段】
本発明に係るドライバ状態検知システムは、上述した課題を解決するために、請求項１に記載したように、ドライバの顔を照明しながら撮像し、得られた画像に基づいて前記ドライバの状態を認識する認識装置と、前記車両の走行状態を検出する走行状態検出手段と、検出された走行状態に応じて前記認識装置の駆動制御を行う制御手段とを備えたドライバ状態検知システムにおいて、前記認識装置は、ドライバの顔を照明する照明部と、この照明部により照明されたドライバの顔を撮像する撮像デバイスと、この撮像デバイスにより撮像された画像に基づいてドライバの状態を認識する認識部とを備え、前記制御手段は、検出された走行状態に応じて、前記照明部を消灯もしくはその強度を弱くするように制御するものである。
【００１１】
本発明に係るドライバ状態検知システムは、上述した課題を解決するために、請求項３に記載したように、ドライバの顔を照明しながら撮像し、得られた画像に基づいて前記ドライバの状態を認識する認識装置と、前記車両の周辺状況を検出する周辺状況検出手段と、検出された周辺状況に応じて前記認識装置の駆動制御を行う制御手段とを備えたドライバ状態検知システムにおいて、前記認識装置は、ドライバの顔を照明する照明部と、この照明部により照明されたドライバの顔を撮像する撮像デバイスと、この撮像デバイスにより撮像された画像に基づいてドライバの状態を認識する認識部とを備え、前記制御手段は、検出された周辺状況に応じて、前記照明部を消灯もしくはその強度を弱くするように制御するものである。
【００１３】
【発明の実施の形態】
本発明の実施の形態を添付図面を参照して説明する。
【００１４】
図１は、車両１内に搭載された本実施の形態に係るドライバ状態検知システム２の概略構成を示すブロック図である。
【００１５】
図１によれば、ドライバ状態検知システム２は、車両１内のドライバＤの顔を赤外線照明光により照射するための赤外線発光デバイスである赤外線ＬＥＤ３と、この赤外線照明光により照明されたドライバＤの顔を撮像する撮像デバイスとしてのＣＣＤカメラ４とを備えている。
【００１６】
また、ドライバ状態検知システム２は、赤外線ＬＥＤ３の点灯／消灯に係るＬＥＤ駆動処理部１０、ＣＣＤカメラ４の駆動処理（顔画像撮像処理）を行うカメラ駆動処理部１１、ＣＣＤカメラ４により撮像されたドライバＤの顔画像に基づいて２値化処理、濃淡情報によるパターンマッチング等の画像処理を行うことにより、ドライバＤの目の位置、瞬き、開き具合等を認識してドライバの状態を検知する認識処理部（ＣＰＵ）１２および検知されたドライバＤの運転状態に応じて警報音等の警報出力処理とを行う警報出力部１３を有する認識装置１５を備えている。
この認識装置１５は、赤外線発光デバイス３を点灯させてドライバの顔を赤外線により照明する照明部と、この照明部により照明された顔を撮像する撮像デバイス４と、この撮像デバイス４により撮像された画像に基づいてドライバの状態を認識する認識部１２とを備えており、制御手段１７は、検出された走行状態に応じて、前記照明部の赤外線発光デバイス３の点灯および消灯制御を行う手段１０を備えている。
【００１７】
また、ドライバ状態検知システム２は、ＬＥＤ駆動処理部１０の赤外線ＬＥＤ３に対する点灯／消灯に係る駆動処理タイミング制御と、カメラ駆動処理部１１のＣＣＤカメラ１０に対する駆動処理タイミング（撮像タイミング）制御とを行うコントローラ１７を備えている。
【００１８】
このコントローラ１７には、車両１の駆動エンジンの回転数を検出する回転数検出センサ２０と、ドライバＤがハンドルＨを操作した際のハンドル回転角度変化を検出する角度センサ２１と、自車両１の周囲の他車両からクラクションが自車両１に対して発せられた際に、そのクラクションを検出する音センサ２２とがそれぞれ接続されており、各センサ２０〜２２の検出信号は、コントローラ１７に送られるようになっている。
【００１９】
次に本実施形態に係るドライバ状態検知システム２の全体動作について説明する。
【００２０】
本実施形態のドライバ状態検知システム２によれば、車両１の起動（走行開始）に応じてコントローラ１７は、認識装置１５に駆動開始指令、すなわち、ＬＥＤ駆動処理部１０にＬＥＤ点灯制御指令およびカメラ駆動処理部１１に対してＣＣＤカメラ駆動指令をそれぞれ送信する。
【００２１】
この結果、ＬＥＤ駆動処理部１０の点灯駆動処理により赤外線ＬＥＤ３が点灯してドライバＤの顔が照明され、その照明状態においてカメラ駆動処理部１１の処理によりＣＣＤカメラ４が駆動してドライバＤの顔の画像が連続的に撮影される。そして、撮像されたドライバＤの顔画像に基づく認識処理部１２を介した画像処理が行われ、ドライバＤの状態検知処理が行われる。
【００２２】
このとき、コントローラ１７は、回転数検出センサ２０から送られた検出信号（回転数）に応じて、図２に示す処理を行っている。
【００２３】
すなわち、コントローラ１７は、回転数検出センサ２０から送られた走行中の車両１のエンジン回転数に基づいて、エンジンが停止状態であるか、あるいは、渋滞路や赤信号による信号待ちの停車中におけるアイドリング状態であるか否かを判断する（ステップＳ１）。
【００２４】
このステップＳ１の判断の結果ＮＯ、すなわち、エンジン停止状態およびアイドリング状態の何れでもない場合には、自車両１は走行中でありドライバ状態検知処理を行う必要があると判断してステップＳ１の処理を繰り返す。
【００２５】
一方、ステップＳ１の判断の結果ＹＥＳ、すなわち、例えば走行中の自車両１が渋滞路や赤信号による信号待ち等により停車してエンジンがアイドリング状態になるか、あるいは自車両１が完全に停止してエンジンが停止状態になった時、コントローラ１７は、認識装置１５に駆動停止指令、すなわち、ＬＥＤ駆動処理部１０にＬＥＤ消灯制御指令およびカメラ駆動処理部１１に対してＣＣＤカメラ駆動停止指令をそれぞれ送信する（ステップＳ２）。
【００２６】
この結果、ＬＥＤ駆動処理部１０の消灯駆動処理により赤外線ＬＥＤ３が消灯するとともに、ＣＣＤカメラ４の駆動が停止してドライバＤの顔の撮像が停止する。
【００２７】
続いて、コントローラ１７は、回転数検出センサ２０から送られたエンジン回転数に基づいて、エンジンの駆動が開始したか、あるいは、渋滞解消や信号の青信号変化等によりアイドリング状態が終了したか否かを判断する（ステップＳ３）。
【００２８】
このステップＳ３の判断の結果ＮＯ、すなわち、エンジン停止状態およびアイドリング状態の何れかである場合には、自車両１は停止状態あるいは渋滞路走行状態・信号待ち状態でありドライバ状態検知処理を行う必要がないと判断してステップＳ３の処理を繰り返す。
【００２９】
一方、ステップＳ３の判断の結果ＹＥＳ、すなわち、例えば停車中の自車両１が走行を開始（エンジンの駆動が開始）したか、あるいは、渋滞解消や信号の青信号変化等によりアイドリング状態が終了した際には、コントローラ１７は、ＬＥＤ駆動処理部１０にＬＥＤ点灯制御指令およびカメラ駆動処理部１１に対してＣＣＤカメラ駆動指令をそれぞれ送信して（ステップＳ４）、処理を終了する。
【００３０】
この結果、ＬＥＤ駆動処理部１０の点灯駆動処理により赤外線ＬＥＤ３が再点灯してドライバＤの顔が照明され、その照明状態においてカメラ駆動処理部１１の処理によりＣＣＤカメラ４が再駆動してドライバＤの顔の画像が連続的に撮影される。そして、撮像されたドライバＤの顔画像に基づく認識処理部１２の画像処理が再開され、ドライバＤの状態検知処理が再度行われる。
【００３１】
すなわち、本実施形態によれば、自車両１が停止（停車）状態か、あるいは渋滞や信号待ち等の状態においては、ドライバＤの顔認識処理を行う必要性の度合いが弱いと判断し、認識装置１５の駆動停止、すなわち、赤外線ＬＥＤ３の消灯、ＣＣＤカメラ４の撮像停止および認識処理部１２の認識処理停止を実現することができるため、赤外線ＬＥＤ３が常時継続してドライバＤの顔を照明することを防止してドライバＤの心理的不安感を低減させ、かつドライバＤの身体的安全性を向上させることができる。
【００３２】
さらに、本実施形態によれば、赤外線ＬＥＤ３、ＣＣＤカメラ４および認識処理部（ＣＰＵ）１２を常時駆動させることなく、必要性の度合いが高い（走行中）場合においてのみ駆動させることができるため、赤外線ＬＥＤ３、ＣＣＤカメラ４およびＣＰＵ１２の無駄な利用を避けて、それらの耐久性を向上させることができ、ドライバ状態検知システム２のコストを低減することができる。
【００３３】
一方、本実施形態では、コントローラ１７は、回転数検出センサ２０からの回転数に応じた図２に示す認識装置１５の駆動開始／停止処理に加えて、割り込み処理により図３に示す処理を行っている。
【００３４】
すなわち、コントローラ１７は、回転数検出センサ２０から送られた走行中の車両１のエンジン回転数およびコントローラ自体のタイマ機能に基づいて、自車両１のスピードが所定時間以上所定速度（例えば、８０ｋｍ以上）で運転しているか否かを判断する（ステップＳ１０）。
【００３５】
このステップＳ１０の判断の結果ＮＯ、すなわち、自車両１が一般道路を走行中である場合には、ドライバ状態検知処理を行う必要があると判断してステップＳ１０の処理を繰り返す。
【００３６】
一方、例えば、自車両１が高速道路を走行している際には、ステップＳ１０の判断の結果はＹＥＳとなり、コントローラ１７は、ＬＥＤ駆動処理部１０にＬＥＤ消灯制御指令を送信し、カメラ駆動処理部１１に対してＣＣＤカメラ駆動停止指令を送信する（ステップＳ１１）。
【００３７】
この結果、ＬＥＤ駆動処理部１０の消灯駆動処理により赤外線ＬＥＤ３が消灯するとともに、ＣＣＤカメラ４の駆動が停止してドライバＤの顔の撮像が停止する。
【００３８】
次いで、コントローラ１７は、角度センサ２１からハンドル角変化信号が送信されているか否かを判断する（ステップＳ１２）。
【００３９】
このステップＳ１２の判断の結果ＮＯ、すなわち、角度センサ２１からハンドル角変化信号が送信されていなければ、ドライバＤはハンドルを回転操作してはおらず、ドライバ状態検知処理を行う必要がないと判断してステップＳ１２の処理を繰り返す。
【００４０】
一方、ステップＳ１２の判断の結果ＹＥＳ、すなわち、ドライバＤがハンドルを回転操作して角度センサ２１からハンドル角変化信号が送信された際には、コントローラ１７は、ＬＥＤ駆動処理部１０にＬＥＤ点灯制御指令を送信し、カメラ駆動処理部１１に対してＣＣＤカメラ駆動指令を送信して（ステップＳ１３）、割り込み処理を終了し、処理をメインに戻す。
【００４１】
この結果、赤外線ＬＥＤ３の再点灯により照明されたドライバＤの顔画像がＣＣＤカメラ４により連続的に撮影され、認識処理部１２の画像処理に基づくドライバＤの状態検知処理が再度行われる。
【００４２】
すなわち、本実施形態によれば、自車両１が走行中においても、例えば高速道路を走行中においては、ハンドル角操作をドライバＤが行わない間は、ドライバＤの顔認識処理を行う必要性の度合いが弱いと判断し、認識装置１５の駆動停止、すなわち、赤外線ＬＥＤ３の消灯、ＣＣＤカメラ４の撮像停止および認識処理部１２の認識処理停止を実現することができるため、赤外線ＬＥＤ３の常時照射に起因したドライバＤに対する心理的不安感を低減し、その身体的安全性を向上させるとともに、認識装置１５の各構成要素（赤外線ＬＥＤ３、ＣＣＤカメラ４および認識処理部１２等）の継続的な駆動を回避して耐久性の向上・コスト低減に寄与することができる。
【００４３】
さらに、本実施形態では、コントローラ１７は、図２に示す認識装置１５の駆動停止時（ステップＳ２〜ステップＳ３の判断→ＮＯ）、および図３に示す認識置１５の駆動停止時（ステップＳ１１〜ステップＳ１２の判断→ＮＯ）において、例えば、割り込み処理により、図４に示す処理を行っている。
【００４４】
すなわち、コントローラ１７は、音センサ２２から自車両１に対するクラクションに基づく検出信号が送られてきたか否かを判断する（ステップＳ２０）。
【００４５】
このステップＳ２０の判断の結果ＮＯ、すなわち、自車両１の周囲の他車両から自車両１に対してクラクションが鳴らされていないと判断された場合には、自車両１はドライバ状態検知処理を行う必要がないと判断してステップＳ２０の処理を繰り返す。
【００４６】
一方、ステップＳ２０の判断の結果ＹＥＳ、すなわち、自車両１の周囲の他車両から自車両１に対してクラクションが鳴らされたと判断された場合には、コントローラ１７は、認識装置１５に駆動開始指令、すなわち、ＬＥＤ駆動処理部１０にＬＥＤ点灯制御指令を送信し、カメラ駆動処理部１１に対してＣＣＤカメラ駆動指令を送信する（ステップＳ２１）。
【００４７】
この結果、ＬＥＤ駆動処理部１０の点灯駆動処理により赤外線ＬＥＤ３が点灯するとともに、ＣＣＤカメラ４の駆動が開始してドライバＤの顔の撮像が開始する。
【００４８】
続いて、コントローラ１７は、自車両１に対する他車両からのクラクションが終了したか否かを判断する（ステップＳ２２）。
【００４９】
このステップＳ２２の判断の結果ＮＯ、すなわち、自車両１に対してクラクションが鳴らされている場合には、ドライバ状態検知処理を継続して行う必要があると判断してステップＳ２２の処理を繰り返す。
【００５０】
一方、ステップＳ２２の判断の結果ＹＥＳ、すなわち、自車両１に対するクラクションの出力が終了した場合には、コントローラ１７は、ＬＥＤ駆動処理部１０にＬＥＤ消灯制御指令およびカメラ駆動処理部１１に対してＣＣＤカメラ駆動停止指令をそれぞれ送信して（ステップＳ２３）、割り込み処理を終了し、処理をメインの処理に戻す。
【００５１】
すなわち、本実施形態によれば、認識装置１５の駆動停止状態において、他車両から自車両１に対してクラクションが鳴らされた際においては、ドライバＤの顔認識処理を行う必要性の度合いが高いと判断して、認識装置１５の駆動開始（すなわち、赤外線ＬＥＤ３の点灯、ＣＣＤカメラ４の撮像開始および認識処理部１２の認識処理開始）処理を行うことができ、それ以外の場合においては、顔認識処理の必要性の度合いが弱いと判断して、赤外線ＬＥＤ３の消灯等を実現することができるため、赤外線ＬＥＤ３の常時照射に起因したドライバＤに対する心理的不安感を低減し、その身体的安全性を向上させるとともに、認識装置１５の各構成要素（赤外線ＬＥＤ３、ＣＣＤカメラ４および認識処理部１２等）の継続的な駆動を回避して耐久性の向上・コスト低減に寄与することができる。
【００５２】
上述した実施形態においては、センサ２０〜２２からの検出信号に応じて、認識装置１５の制御を行っているが、本発明はこれに限定されるものではなく、認識装置１５の認識処理（赤外線ＬＥＤ３の点灯、ＣＣＤカメラ４の撮像処理および認識処理部１２の認識処理を適当な時間間隔毎に（周期的に）行うようにしてもよい。
【００５３】
すなわち、コントローラ１７は、図５に示すように、タイマ機能により予め設定された時間（待機時間）が経過したか否かを判断し（ステップＳ３０）、経過していない場合には（ステップＳ３０→ＮＯ）、ステップＳ３１にてタイマを更新してステップＳ３０の判断に戻り、上述した判断処理を繰り返す。
【００５４】
一方、待機時間が経過した場合には、コントローラは、ＬＥＤ駆動処理部１０にＬＥＤ点灯制御指令およびカメラ駆動処理部１１に対してＣＣＤカメラ駆動指令をそれぞれ送信する（ステップＳ３２）。この結果、ＬＥＤ駆動処理部１０の点灯駆動処理により赤外線ＬＥＤ３が点灯するとともに、ＣＣＤカメラ４の駆動が開始してドライバＤの顔の撮像が開始する。
【００５５】
上記赤外線ＬＥＤ３の点灯およびＣＣＤカメラ４の駆動により撮像されたドライバＤの顔画像に基づいて、認識処理部１２は画像処理を実行し、ドライバＤの顔認識処理（状態検知処理）を一定時間行う（ステップＳ３３）。
【００５６】
このとき、認識処理部１２は、一定時間ドライバＤの顔状態に基づく状態検知処理を行っても、ドライバＤの状態が正常、すなわち、居眠りなどをしていないと認識された場合、認識装置１５は、予め設定された認識時間が経過したか否かを判断する（ステップＳ３４）。
【００５７】
このステップＳ３４の判断の結果ＮＯ、すなわち、認識時間が経過していないか、あるいはさらに顔認識処理に基づくドライバ運転状態検知処理が必要と判断された場合には（ステップＳ３４→ＮＯ）、ステップＳ３５にてタイマを更新してステップＳ３４の判断に戻り、上述した判断処理を繰り返す。
【００５８】
一方、ステップＳ３４の判断の結果ＹＥＳ、すなわち、認識時間が経過した場合には、コントローラ１７は、認識装置１５に駆動停止指令、すなわち、ＬＥＤ駆動処理部１０にＬＥＤ消灯制御指令およびカメラ駆動処理部１１に対してＣＣＤカメラ駆動停止指令をそれぞれ送信する（ステップＳ３６）。
【００５９】
この結果、ＬＥＤ駆動処理部１０の消灯駆動処理により赤外線ＬＥＤ３が消灯するとともに、ＣＣＤカメラ４の駆動が停止してドライバＤの顔の撮像が停止する。
【００６０】
ステップＳ３６の処理後、コントローラ１７は、ステップＳ３０のタイマ処理に戻り、上述したステップＳ３０〜Ｓ３６の処理を繰り返す。
【００６１】
すなわち、本実施形態によれば、予め設定した待機時間経過毎に認識装置１５の駆動を開始させ、待機時間中は認識装置１５の駆動停止、すなわち、赤外線ＬＥＤ３の消灯、ＣＣＤカメラ４の撮像停止および認識処理部１２の認識処理の停止を実現することができるため、赤外線ＬＥＤ３の常時照射に起因したドライバＤに対する心理的不安感を低減し、その身体的安全性を向上させるとともに、認識装置１５の各構成要素（赤外線ＬＥＤ３、ＣＣＤカメラ４および認識処理部１２等）の継続的な駆動を回避して耐久性の向上・コスト低減に寄与することができる。
【００６２】
なお、本実施形態では、コントローラ１７は、図２〜図４に示した各処理をそれぞれ実行することにより、認識装置１５の駆動（赤外線ＬＥＤ３の点灯等）を、その必要性に応じて非継続的に行うようにしているが、図２〜図４の内の何れか１つの処理を行うようにしてもよい。
【００６３】
また、本実施形態では、主として赤外線ＬＥＤの点灯、消灯制御を中心にして説明したが、本発明はこれに限定されるものではなく、周期的、自車両の動作状態、周辺状況等に応じて、赤外線ＬＥＤの点灯強度制御を行ってもよい。
【００６４】
赤外線照明の強度によって、人体の目への影響が変化するため、照明の強度を調整することで、その影響を低減することができる。
【００６５】
例えば、外部の照明条件に応じて、外部が明るい時には照明の強度を弱くする制御や、認識を高精度に行いたい時にだけ照明の強度を強くし、通常は弱いままで制御を行ってもよい。
【００６６】
さらに、本実施形態では、自車両１のエンジンの回転数を検出することにより、自車両１が（１）停止しているか、（２）信号待ち・渋滞中か、（３）高速運転中か等、自車両１の動作状態を検出・特定し、その特定された動作状態に応じて認識装置１５の駆動開始／停止制御を行うようにしたが、本発明はこれに限定されるものではない。
【００６７】
例えば、図６に示すように、道路の路側に所定間隔毎に設置されたＶＩＣＳ（ＶｅｈｉｃｌｅＩｎｆｏｒｍａｔｉｏｎＣｏｍｍｕｎｉｃａｔｉｏｎＳｙｓｔｅｍ）２３から交通情報や渋滞情報等を入手し、入手した交通情報や渋滞情報等に応じて、現在の自車両１の動作状態および自車両周辺の状況を検出・特定してもよい。この場合、コントローラ１７Ａに、ＶＩＣＳから送信される交通情報や渋滞情報等の情報信号（ＦＭ多重信号や光信号等）を無線で受信する機能を搭載しておけばよい。
認識装置１５は、赤外線発光デバイス３を点灯させてドライバの顔を赤外線により照明する照明部と、この照明部により照明された顔を撮像する撮像デバイス４と、この撮像デバイス４により撮像された画像に基づいてドライバの状態を認識する認識部１２とを備えており、前記制御手段１７Ａは、検出された周辺状況に応じて、前記照明部の赤外線発光デバイス３の点灯および消灯制御を行う手段１０を備えている。
【００６８】
また、本実施形態では、コントローラ１７は、自車両１の走行状態や自車両１に対するクラクション等の周囲の状況に応じてＬＥＤ駆動処理部１０の赤外線ＬＥＤ３に対する点灯／消灯に係る駆動処理タイミング制御と、カメラ駆動処理部１１のＣＣＤカメラ１０に対する駆動処理タイミング（撮像タイミング）制御とをそれぞれ行うようにしたが、本発明はこれに限定されるものではなく、ＬＥＤ駆動処理部１０の赤外線ＬＥＤ３に対する点灯／消灯に係る駆動処理タイミング制御のみを行うようにしてもよい。
【００６９】
【発明の効果】
以上述べたように、本発明のドライバ状態検知システムによれば、自車両の動作状態、あるいは自車両の周辺の状況に応じて、赤外線発光デバイスの点灯・消灯制御や強度調整制御を含む認識装置の駆動制御（起動／停止制御）を実行することができるため、赤外線発光デバイスが常時継続してドライバの顔を照明することを防止してドライバの心理的不安感を低減することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るドライバ状態検知システム検知装置の概略構成を示すブロック図。
【図２】図１に示すコントローラの処理の一例を示す概略フローチャート。
【図３】図１に示すコントローラの処理の一例を示す概略フローチャート。
【図４】図１に示すコントローラの処理の一例を示す概略フローチャート。
【図５】図１に示すコントローラの処理の一例を示す概略フローチャート。
【図６】本発明の実施の形態の変形例に係るドライバ状態検知システムの概略構成を示すブロック図。
【符号の説明】
１車両
２ドライバ状態検知システム
３赤外線ＬＥＤ
４ＣＣＤカメラ
１０ＬＥＤ駆動処理部
１１カメラ駆動処理部
１２認識処理部
１３警報出力部
１５認識装置
１７、１７Ａコントローラ
２０回転数検出センサ
２１角度センサ
２２音センサ
２３ＶＩＣＳ
Ｄドライバ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a driver state detection system that supports driving of a driver by capturing a driver's face and detecting the state of the driver from the image.
[0002]
[Prior art]
In order to prevent an accident caused by a driver (driver) falling asleep or driving aside, etc., the driver's face is always illuminated, and the image is taken with an imaging device such as a CCD camera. Based on the obtained driver's face image, A driver state detection system having a recognition device for recognizing the driver's eye position, blinking, opening degree, etc. by performing image processing such as binarization processing by an arithmetic processing unit (CPU), for example. It has been known.
[0003]
According to this driver state detection system, the recognition device detects a driver's dozing state based on, for example, the number of blinks of eyes or the degree of opening based on the above image processing, or looks aside from the determination of the position of the eyeball. When the driving state is detected, the driver is alerted by outputting an alarm such as an alarm sound to the driver.
[0004]
In the driver state detection system having the above-described recognition device, it is necessary to be able to cope with changes in brightness in the driving environment due to day and night, weather, and the like. For example, direct sunlight may cause a shadow on the driver's face, which may hinder driver status detection by image processing.
[0005]
Therefore, in order to reduce the influence of outdoor disturbance light (such as illuminance change during the day and night and direct sunlight) on the face, it can be imaged day and night, and is affected by disturbance light as light that illuminates the driver's face. Difficult infrared illumination light is used, and the driver's state detection accuracy is improved by always irradiating the driver's face with this infrared illumination light.
[0006]
[Problems to be solved by the invention]
However, according to the driver state detection system having the conventional recognition device, the driver is always irradiated with infrared illumination light. If this infrared ray is continuously irradiated to the eyes, it may cause visual impairment depending on the intensity. Therefore, it gives psychological anxiety to drivers who may be irradiated continuously. .
[0007]
Even when it is not an emergency or when the driver is aware, the face image is always captured by the CCD camera, and the CPU executes the image processing. There was a risk of an increase.
[0008]
The present invention has been made in view of the above-described circumstances, and gives the driver the start / stop control of the face recognition device including the irradiation of the infrared LED, for example, according to the operation state of the vehicle and the situation around the vehicle. It is an object of the present invention to provide a driver state detection system that can reduce psychological anxiety, improve physical safety, and further improve the durability of a recognition device.
[0009]
[Means for Solving the Problems]
In order to solve the above-described problem, the driver state detection system according to the present invention captures an image of the driver's face while illuminating the driver's face, and determines the driver state based on the obtained image. In the driver state detection system, comprising: a recognition device that recognizes; a traveling state detection unit that detects a traveling state of the vehicle; and a control unit that performs drive control of the recognition device according to the detected traveling state. An apparatus includes an illumination unit that illuminates a driver's face, an imaging device that captures an image of the driver's face illuminated by the illumination unit, and a recognition unit that recognizes a driver state based on an image captured by the imaging device. The control means controls the illumination unit to be turned off or weakened in accordance with the detected traveling state.
[0011]
In order to solve the above-described problem, the driver state detection system according to the present invention captures an image of the driver's face while illuminating the driver's face, and determines the driver state based on the obtained image. In the driver state detection system, comprising: a recognition device that recognizes; a surrounding state detection unit that detects a surrounding state of the vehicle; and a control unit that performs drive control of the recognition device according to the detected surrounding state. An apparatus includes an illumination unit that illuminates a driver's face, an imaging device that captures an image of the driver's face illuminated by the illumination unit, and a recognition unit that recognizes a driver state based on an image captured by the imaging device. The control means controls the illumination unit to be turned off or weakened in accordance with the detected surrounding situation.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described with reference to the accompanying drawings.
[0014]
FIG. 1 is a block diagram showing a schematic configuration of a driver state detection system 2 according to the present embodiment mounted in a vehicle 1.
[0015]
According to FIG. 1, the driver state detection system 2 includes an infrared LED 3 that is an infrared light emitting device for irradiating the face of the driver D in the vehicle 1 with infrared illumination light, and the driver D illuminated with the infrared illumination light. A CCD camera 4 is provided as an imaging device for imaging the face.
[0016]
Further, the driver state detection system 2 is imaged by the LED drive processing unit 10 related to turning on / off the infrared LED 3, the camera drive processing unit 11 that performs the driving process (face image capturing process) of the CCD camera 4, and the CCD camera 4. Recognition that detects the driver's state by recognizing the position, blinking, opening, etc. of driver D's eyes by performing image processing such as binarization processing and pattern matching using shading information based on the face image of driver D A recognition device 15 having an alarm output unit 13 that performs an alarm output process such as an alarm sound according to the processing state of the processing unit (CPU) 12 and the detected driver D is provided.
The recognizing device 15 turns on the infrared light emitting device 3 to illuminate the driver's face with infrared rays, the imaging device 4 that images the face illuminated by the illumination unit, and the imaging device 4 And a recognition unit 12 for recognizing the state of the driver based on the image. The control unit 17 controls the turning on and off of the infrared light emitting device 3 of the illumination unit according to the detected traveling state. It has.
[0017]
The driver state detection system 2 performs drive processing timing control related to turning on / off the infrared LED 3 of the LED drive processing unit 10 and drive processing timing (imaging timing) control of the camera drive processing unit 11 for the CCD camera 10. A controller 17 is provided.
[0018]
The controller 17 includes a rotational speed detection sensor 20 that detects the rotational speed of the drive engine of the vehicle 1, an angle sensor 21 that detects a change in the rotational angle of the steering wheel when the driver D operates the steering wheel H, and the vehicle 1. When a horn is emitted from the surrounding vehicle to the host vehicle 1, a sound sensor 22 for detecting the horn is connected to each other, and detection signals of the sensors 20 to 22 are sent to the controller 17. It is like that.
[0019]
Next, the overall operation of the driver state detection system 2 according to the present embodiment will be described.
[0020]
According to the driver state detection system 2 of the present embodiment, in response to the start (running start) of the vehicle 1, the controller 17 sends a drive start command to the recognition device 15, that is, an LED lighting control command and a camera to the LED drive processing unit 10. A CCD camera drive command is transmitted to the drive processor 11.
[0021]
As a result, the infrared LED 3 is turned on by the lighting drive processing of the LED drive processing unit 10 and the face of the driver D is illuminated, and the CCD camera 4 is driven by the processing of the camera drive processing unit 11 in the illumination state, and the face of the driver D Images are taken continuously. Then, image processing is performed via the recognition processing unit 12 based on the captured face image of the driver D, and the state detection processing of the driver D is performed.
[0022]
At this time, the controller 17 performs the process shown in FIG. 2 according to the detection signal (rotation speed) sent from the rotation speed detection sensor 20.
[0023]
That is, the controller 17 is based on the engine speed of the running vehicle 1 sent from the rotation speed detection sensor 20, or the engine 17 is in a stopped state, or during a stop waiting for a signal due to a traffic jam or a red signal. It is determined whether or not the engine is idling (step S1).
[0024]
If the result of the determination in step S1 is NO, that is, if neither the engine stop state nor the idling state is determined, it is determined that the host vehicle 1 is traveling and the driver state detection process needs to be performed, and the process in step S1 repeat.
[0025]
On the other hand, as a result of the determination in step S1, YES, that is, for example, the traveling vehicle 1 stops due to a traffic jam or waiting for a signal due to a red signal and the engine enters an idling state, or the vehicle 1 stops completely. When the engine is stopped, the controller 17 issues a drive stop command to the recognition device 15, that is, a LED turn-off control command to the LED drive processing unit 10 and a CCD camera drive stop command to the camera drive processing unit 11. Transmit (step S2).
[0026]
As a result, the infrared LED 3 is turned off by the turn-off drive processing of the LED drive processing unit 10, and the driving of the CCD camera 4 is stopped, and the imaging of the face of the driver D is stopped.
[0027]
Subsequently, based on the engine speed sent from the rotation speed detection sensor 20, the controller 17 starts driving the engine, or determines whether the idling state has ended due to the elimination of traffic jams or the change of a green signal. Is determined (step S3).
[0028]
If the result of determination in step S3 is NO, that is, if the engine is in either an engine stop state or an idling state, the host vehicle 1 is in a stop state or a traffic jam running state / signal waiting state, and driver state detection processing needs to be performed. It is determined that there is not, and the process of step S3 is repeated.
[0029]
On the other hand, if the result of the determination in step S3 is YES, that is, for example, when the host vehicle 1 is stopped (engine driving is started), or the idling state is ended due to a congestion cancellation or a green signal change. The controller 17 transmits an LED lighting control command to the LED drive processing unit 10 and a CCD camera drive command to the camera drive processing unit 11 (step S4), and ends the process.
[0030]
As a result, the infrared LED 3 is re-lighted by the lighting drive processing of the LED drive processing unit 10 to illuminate the face of the driver D, and the CCD camera 4 is re-driven by the processing of the camera drive processing unit 11 in the illumination state. Images of the face are taken continuously. Then, the image processing of the recognition processing unit 12 based on the captured face image of the driver D is restarted, and the state detection processing of the driver D is performed again.
[0031]
That is, according to the present embodiment, when the host vehicle 1 is in a stopped (stopped) state or in a traffic jam or a signal waiting state, it is determined that the degree of necessity of performing the face recognition processing of the driver D is weak and the recognition is performed. Since the drive of the device 15 can be stopped, that is, the infrared LED 3 can be turned off, the imaging of the CCD camera 4 can be stopped, and the recognition processing unit 12 can be stopped. The infrared LED 3 constantly illuminates the face of the driver D. This can prevent the driver D's psychological anxiety and improve the physical safety of the driver D.
[0032]
Furthermore, according to the present embodiment, the infrared LED 3, the CCD camera 4, and the recognition processing unit (CPU) 12 can be driven only when the degree of necessity is high (running) without always driving. By avoiding wasteful use of the infrared LED 3, the CCD camera 4, and the CPU 12, their durability can be improved, and the cost of the driver state detection system 2 can be reduced.
[0033]
On the other hand, in the present embodiment, the controller 17 performs the processing shown in FIG. 3 by interrupt processing in addition to the driving start / stop processing of the recognition device 15 shown in FIG. 2 according to the rotational speed from the rotational speed detection sensor 20. ing.
[0034]
That is, the controller 17 determines that the speed of the host vehicle 1 is equal to or higher than a predetermined speed (for example, 80 km or higher) based on the engine speed of the running vehicle 1 sent from the rotation speed detection sensor 20 and the timer function of the controller itself. ) Is judged (step S10).
[0035]
If the result of determination in step S10 is NO, that is, if the host vehicle 1 is traveling on a general road, it is determined that it is necessary to perform driver state detection processing, and the processing in step S10 is repeated.
[0036]
On the other hand, for example, when the host vehicle 1 is traveling on an expressway, the result of the determination in step S10 is YES, and the controller 17 transmits an LED turn-off control command to the LED drive processing unit 10 to perform camera drive processing. A CCD camera drive stop command is transmitted to the unit 11 (step S11).
[0037]
As a result, the infrared LED 3 is turned off by the turn-off drive processing of the LED drive processing unit 10, and the driving of the CCD camera 4 is stopped, and the imaging of the face of the driver D is stopped.
[0038]
Next, the controller 17 determines whether or not a handle angle change signal is transmitted from the angle sensor 21 (step S12).
[0039]
If the result of determination in step S12 is NO, that is, if the handle angle change signal is not transmitted from the angle sensor 21, it is determined that the driver D has not rotated the handle and does not need to perform driver state detection processing. Step S12 is repeated.
[0040]
On the other hand, as a result of the determination in step S12, that is, when the driver D rotates the handle and a handle angle change signal is transmitted from the angle sensor 21, the controller 17 controls the LED drive processing unit 10 to turn on the LED. A command is transmitted, a CCD camera drive command is transmitted to the camera drive processing unit 11 (step S13), the interrupt process is terminated, and the process returns to the main.
[0041]
As a result, the face image of the driver D illuminated by the re-lighting of the infrared LED 3 is continuously photographed by the CCD camera 4, and the state detection process of the driver D based on the image processing of the recognition processing unit 12 is performed again.
[0042]
That is, according to the present embodiment, even when the host vehicle 1 is traveling, for example, while traveling on an expressway, the driver D needs to perform face recognition processing while the driver D does not perform the steering angle operation. Since it is determined that the degree is weak and the driving of the recognition device 15 is stopped, that is, the infrared LED 3 is turned off, the imaging of the CCD camera 4 is stopped, and the recognition processing unit 12 is stopped. The resulting psychological anxiety about the driver D is reduced, the physical safety thereof is improved, and each component of the recognition device 15 (infrared LED 3, CCD camera 4, recognition processing unit 12, etc.) is continuously driven. By avoiding this, it is possible to improve durability and reduce costs.
[0043]
Furthermore, in the present embodiment, the controller 17 stops the driving of the recognition device 15 shown in FIG. 2 (determination in steps S2 to S3 → NO) and stops driving the recognition device 15 shown in FIG. 3 (steps S11 to S11). In step S12 → NO), for example, the processing shown in FIG. 4 is performed by interrupt processing.
[0044]
That is, the controller 17 determines whether or not a detection signal based on a horn for the host vehicle 1 has been sent from the sound sensor 22 (step S20).
[0045]
If the result of determination in step S20 is NO, that is, if it is determined that the horn is not sounded from the other vehicles around the host vehicle 1 to the host vehicle 1, the host vehicle 1 performs the driver state detection process. It is determined that it is not necessary, and the process of step S20 is repeated.
[0046]
On the other hand, if the result of determination in step S20 is YES, that is, if it is determined that another vehicle around the host vehicle 1 has horned the host vehicle 1, the controller 17 instructs the recognition device 15 to start driving. That is, an LED lighting control command is transmitted to the LED drive processing unit 10, and a CCD camera drive command is transmitted to the camera drive processing unit 11 (step S21).
[0047]
As a result, the infrared LED 3 is turned on by the lighting drive process of the LED drive processing unit 10, and the CCD camera 4 starts to be driven to start imaging the face of the driver D.
[0048]
Subsequently, the controller 17 determines whether or not the horn from the other vehicle with respect to the host vehicle 1 has ended (step S22).
[0049]
If the result of determination in step S22 is NO, that is, if a horn is ringing on the host vehicle 1, it is determined that it is necessary to continue the driver state detection process, and the process of step S22 is repeated.
[0050]
On the other hand, if the result of determination in step S22 is YES, that is, if horn output to the host vehicle 1 is completed, the controller 17 instructs the LED drive processing unit 10 to turn off the LED and controls the CCD to the camera drive processing unit 11. A camera drive stop command is transmitted (step S23), the interrupt process is terminated, and the process returns to the main process.
[0051]
That is, according to this embodiment, when the horn is sounded from the other vehicle to the host vehicle 1 in the driving stop state of the recognition device 15, the degree of necessity of performing the face recognition processing of the driver D is high. And the start of driving of the recognition device 15 (that is, the lighting of the infrared LED 3, the start of imaging of the CCD camera 4 and the start of recognition processing of the recognition processing unit 12) can be performed. Since it is determined that the necessity of the recognition process is weak and the infrared LED 3 can be turned off, the psychological anxiety about the driver D due to the constant irradiation of the infrared LED 3 is reduced, and its physical safety And the continuous driving of each component of the recognition device 15 (infrared LED 3, CCD camera 4, recognition processing unit 12, etc.) is avoided and resistance is improved. It is possible to contribute to improvement and cost reduction of sex.
[0052]
In the above-described embodiment, the recognition device 15 is controlled according to the detection signals from the sensors 20 to 22. However, the present invention is not limited to this, and the recognition process (infrared ray) of the recognition device 15 is performed. You may make it perform lighting of LED3, the imaging process of CCD camera 4, and the recognition process of the recognition process part 12 for every suitable time interval (periodically).
[0053]
That is, as shown in FIG. 5, the controller 17 determines whether or not a time (standby time) preset by the timer function has elapsed (step S30), and if not (step S30 → NO), the timer is updated in step S31, the process returns to the determination in step S30, and the above-described determination process is repeated.
[0054]
On the other hand, when the standby time has elapsed, the controller transmits an LED lighting control command to the LED drive processing unit 10 and a CCD camera drive command to the camera drive processing unit 11 (step S32). As a result, the infrared LED 3 is turned on by the lighting drive process of the LED drive processing unit 10, and the CCD camera 4 starts to be driven to start imaging the face of the driver D.
[0055]
Based on the face image of the driver D imaged by turning on the infrared LED 3 and driving the CCD camera 4, the recognition processing unit 12 executes image processing and performs face recognition processing (state detection processing) of the driver D for a predetermined time. (Step S33).
[0056]
At this time, if the recognition processing unit 12 recognizes that the state of the driver D is normal, i.e., does not fall asleep after performing the state detection processing based on the face state of the driver D for a certain period of time, the recognition device 15. Determines whether or not a preset recognition time has elapsed (step S34).
[0057]
If the result of determination in step S34 is NO, that is, if it is determined that the recognition time has not elapsed, or further that driver driving state detection processing based on face recognition processing is necessary (step S34 → NO), step S35 The timer is updated and the process returns to the determination in step S34 to repeat the determination process described above.
[0058]
On the other hand, if the result of determination in step S34 is YES, that is, if the recognition time has elapsed, the controller 17 instructs the recognition device 15 to stop driving, that is, the LED drive processor 10 sends the LED extinguishing control command and the camera drive processor. 11 sends a CCD camera drive stop command to the CPU 11 (step S36).
[0059]
As a result, the infrared LED 3 is turned off by the turn-off drive processing of the LED drive processing unit 10, and the driving of the CCD camera 4 is stopped, and the imaging of the face of the driver D is stopped.
[0060]
After the process of step S36, the controller 17 returns to the timer process of step S30 and repeats the processes of steps S30 to S36 described above.
[0061]
That is, according to the present embodiment, the driving of the recognition device 15 is started every elapse of a preset standby time, and the driving of the recognition device 15 is stopped during the standby time, that is, the infrared LED 3 is turned off and the imaging of the CCD camera 4 is stopped. Since the recognition processing of the recognition processing unit 12 can be stopped, the psychological anxiety about the driver D due to the constant irradiation of the infrared LED 3 is reduced, and the physical safety is improved. These components (infrared LED 3, CCD camera 4, recognition processing unit 12, etc.) can be prevented from being continuously driven, thereby contributing to improvement in durability and cost reduction.
[0062]
In the present embodiment, the controller 17 does not continue the driving of the recognition device 15 (lighting of the infrared LED 3 or the like) according to the necessity by executing each process shown in FIGS. However, any one of the processes in FIGS. 2 to 4 may be performed.
[0063]
Further, in the present embodiment, the description is mainly focused on the control of turning on and off the infrared LED, but the present invention is not limited to this, and periodically, according to the operation state of the host vehicle, the surrounding situation, and the like. The lighting intensity of the infrared LED may be controlled.
[0064]
Since the influence on the human eye changes depending on the intensity of the infrared illumination, the influence can be reduced by adjusting the intensity of the illumination.
[0065]
For example, depending on the external lighting conditions, when the outside is bright, it is possible to reduce the intensity of the illumination, or to increase the intensity of the illumination only when it is desired to perform recognition with high accuracy. .
[0066]
Furthermore, in the present embodiment, whether the host vehicle 1 is (1) stopped, (2) waiting for a signal / congested, or (3) driving at high speed by detecting the rotational speed of the engine of the host vehicle 1 For example, the operation state of the host vehicle 1 is detected and specified, and the drive start / stop control of the recognition device 15 is performed according to the specified operation state. However, the present invention is not limited to this. .
[0067]
For example, as shown in FIG. 6, traffic information, traffic jam information, etc. are obtained from a VICS (Vehicle Information Communication System) 23 installed at predetermined intervals on the road side of the road, and according to the obtained traffic information, traffic jam information, etc. The current operation state of the host vehicle 1 and the situation around the host vehicle may be detected and specified. In this case, the controller 17A may be equipped with a function of wirelessly receiving information signals (FM multiplexed signals, optical signals, etc.) such as traffic information and traffic jam information transmitted from the VICS.
The recognition device 15 turns on the infrared light emitting device 3 to illuminate the driver's face with infrared rays, the imaging device 4 that images the face illuminated by the illumination unit, and the image captured by the imaging device 4 And a controller 10 for recognizing the state of the driver based on the control unit 17A. The controller 17A controls the turning on and off of the infrared light emitting device 3 of the illumination unit according to the detected surrounding situation. It has.
[0068]
Further, in the present embodiment, the controller 17 performs drive processing timing control related to turning on / off the infrared LED 3 of the LED drive processing unit 10 according to the surrounding state such as the running state of the own vehicle 1 and the horn for the own vehicle 1. The drive processing timing (imaging timing) control for the CCD camera 10 of the camera drive processing unit 11 is performed. However, the present invention is not limited to this, and the LED drive processing unit 10 is turned on to the infrared LED 3. Only the drive processing timing control related to / extinction may be performed.
[0069]
【The invention's effect】
As described above, according to the driver state detection system of the present invention, the recognition device including the on / off control of the infrared light emitting device and the intensity adjustment control according to the operation state of the host vehicle or the situation around the host vehicle. Therefore, it is possible to prevent the infrared light emitting device from constantly illuminating the driver's face and to reduce the driver's psychological anxiety.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of a driver state detection system detection apparatus according to an embodiment of the present invention.
FIG. 2 is a schematic flowchart showing an example of processing of the controller shown in FIG.
FIG. 3 is a schematic flowchart showing an example of processing of the controller shown in FIG. 1;
4 is a schematic flowchart showing an example of processing of the controller shown in FIG.
FIG. 5 is a schematic flowchart showing an example of processing of the controller shown in FIG. 1;
FIG. 6 is a block diagram showing a schematic configuration of a driver state detection system according to a modification of the embodiment of the present invention.
[Explanation of symbols]
1 Vehicle 2 Driver status detection system 3 Infrared LED
4 CCD camera 10 LED drive processing unit 11 Camera drive processing unit 12 Recognition processing unit 13 Alarm output unit 15 Recognition device 17, 17A Controller 20 Rotational speed detection sensor 21 Angle sensor 22 Sound sensor 23 VICS
D driver

Claims

A recognition device that captures an image while illuminating the face of the driver and recognizes the state of the driver based on the obtained image, a traveling state detection unit that detects a traveling state of the vehicle, and a detected traveling state In a driver state detection system comprising a control unit that performs drive control of the recognition device ,
The recognition device includes an illumination unit that illuminates a driver's face;
An imaging device that images the face of the driver illuminated by the illumination unit;
A recognition unit that recognizes the state of the driver based on an image captured by the imaging device;
The said control means is controlled so that the said illumination part may be extinguished or the intensity | strength weakened according to the detected driving state .

The driver state detection system according to claim 1 , wherein the traveling state detection unit detects a traveling state of the vehicle in accordance with the number of revolutions of an automobile engine .

A recognition device that captures an image while illuminating the face of the driver, recognizes the state of the driver based on the obtained image, a surrounding state detection unit that detects the surrounding state of the vehicle, and according to the detected surrounding state In a driver state detection system comprising a control unit that performs drive control of the recognition device ,
The recognition device includes an illumination unit that illuminates a driver's face;
An imaging device that images the face of the driver illuminated by the illumination unit;
A recognition unit that recognizes the state of the driver based on an image captured by the imaging device;
The control means controls the lighting unit to turn off or weaken the illumination unit according to the detected surrounding situation .

The driver state detection system according to claim 3, wherein the surrounding state detection unit detects a surrounding state of the vehicle according to traffic information and traffic jam information obtained from the outside .