JP2000040148A - 居眠り運転防止装置 - Google Patents

Abstract

(57)【要約】 【課題】 動画像上の変化成分を時系列的に抽出して運
転者の居眠りを効率的に防止する。 【解決手段】 自動車２の運転者３の眼部を含む映像
を、ビデオカメラ４が動画像として順次的に撮像する。
ＣＰＵ７は、最新の映像と、フレームメモリ６に記憶さ
れている前の映像との間で輝度が変化した領域の面積を
算出し、輝度が増加した領域と減少した領域との面積差
の時系列的なパターンと標準の瞬目波形との間で相関係
数をとる演算を行う。相関係数が基準値を超えると、瞬
目の時点が抽出され、瞬目の抽出に基づいて運転者３の
覚醒状態が判定される。覚醒状態が低下していると判定
されたときには、警報装置１２による居眠り防止のため
の処置が行われる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、交通機関など移動
体の運転者の居眠り防止を、運転者の動画像から抽出さ
れる瞬目に基づいて行う居眠り運転防止装置に関する。

【０００２】

【従来の技術】自動車などの各種移動体の運転者が運転
中に居眠りしてしまうと、きわめて危険な状態となり、
重大な事故を引起こす可能性が生じる。自動車の交通事
故発生を抑止するためには、たとえば各種センサおよび
コンピュータ技術を応用して、自動車をより高機能化し
た先進安全自動車の研究開発が盛んになってきている。
先進安全自動車は、Advanced Safety VehicleからＡＳ
Ｖと略称され、障害物センサ、車間距離センサ、路面セ
ンサ、衝突検知センサなどを備え、そして車外のドライ
ビング状況を自動的に把握し、危険な状況に至る前に警
告を発したり、回避動作を自動車の運転者の操作に優先
して自動的に行うようにしている。これに対し、車内の
ドライビング状況として、運転者の運転操作に対する注
意力や生理的な状況を監視し、適切な状況にない場合に
警告を発するシステムも考えられている。

【０００３】自動車の運転に限らず、一般的に、対象物
の動画像を入力し、動画像上の変化成分を時系列情報と
して抽出して、人間の行動や生理的状態を把握する考え
方は、特開平７−１２９７８１に開示されている。この
先行技術の原理を、車両の運転者の居眠り防止に適用す
ることも可能である。人間のまばたきについて、たとえ
ば信学技報ＰＲＵ９５−３０（１９９５年５月発行）に
は、「居眠り検知のためのまばたき検出と覚醒度推定」
という題名の論文が掲載されている。この考え方に基づ
いて、瞬目を動画像から検出することができれば、有効
な居眠り防止が可能であると期待される。

【０００４】

【発明が解決しようとする課題】自動車の運転者の居眠
り状態を、覚醒レベルを検出して判定するためには、各
種センサを運転者に直接装着あるいは接触させて、運転
者の生理的状態を監視する必要がある。覚醒レベル判定
に有効と考えられる生理的状態としては、脳波、心拍
数、心電図波形、呼吸数、皮膚抵抗、皮膚電位水準、眼
球運動などの項目が対象となる。これらの対象について
計測を行うためには、センサを運転者に直接接触させた
り装着させたりする必要がある。しかしながら、センサ
などを運転者に直接接触させたり装着させたりすると、
運転者の動作をある程度、物理的に拘束するので、実用
化の点では好ましくない。

【０００５】自動車の運転のための各種操作装置の操作
状況を監視し、運転操作状況から運転者の居眠り運転状
態を推定する考え方も提案されている。しかしながら、
運転操作状況の変化は、居眠り運転状態が開始されてか
ら生じるので、居眠りに至る前に警告したりすることは
困難である。

【０００６】特開平７−１２９７８１に開示されている
考え方を居眠り運転防止にも適用すれば、動画像の撮像
は運転者に直接接触することなく行うことができ、運転
者を物理的に拘束する必要がないので好ましい。しかし
ながら、特開平７−１２９７８１の先行技術では、幅広
い対象に対して共通に適用することができる時系列画像
情報の抽出について記載されているけれども、居眠り運
転をいかにして検出し、判定するかについての具体的な
示唆はなされていない。

【０００７】本発明の目的は、動画像の時系列的な変化
に基づいて、居眠り状態の開始前に居眠り運転防止のた
めの処置を実行することができる居眠り運転防止装置を
提供することである。

【０００８】

【課題を解決するための手段】本発明は、移動体の運転
者の居眠り運転を防止するための装置であって、運転者
の眼部を含む映像を、順次的に撮像して出力する撮像手
段と、撮像手段によって出力される映像を記憶する映像
記憶手段と、撮像手段によって撮像される映像Ｆ（ｎ）
と、映像記憶手段によって記憶されている先行する映像
Ｆ（ｎ−１）とで対応する領域間の輝度の差を演算し、
輝度が増加する領域と輝度が減少する領域との面積の差
を演算する面積差演算手段と、面積差演算手段によって
演算される面積の差の演算結果を、時系列的に記憶する
面積差記憶手段と、面積差記憶手段に記憶されている面
積差演算結果の時系列パターンと、予め設定される標準
瞬目パターンとの相関係数を求め、相関係数が予め定め
る基準値を超える時点を瞬目として抽出する瞬目抽出手
段と、瞬目抽出手段によって抽出される瞬目の時点で、
運転者の覚醒状態を判定する覚醒判定手段と、覚醒判定
手段によって、運転者の覚醒状態が低下していると判定
されるとき、予め定める居眠り防止処置を実行する居眠
り防止手段とを含むことを特徴とする居眠り運転防止装
置である。

【０００９】本発明に従えば、撮像手段によって順次的
に撮像される運転者の眼部を含む映像は、映像記憶手段
に記憶され、面積差演算手段によって、連続する映像Ｆ
（ｎ），Ｆ（ｎ−１）間で輝度の増加する領域と減少す
る領域との面積の差が演算される。面積差の演算結果は
面積差記憶手段に時系列的に記憶され、瞬目抽出手段に
よって、予め設定される標準瞬目パターンとの相関係数
が求められ、相関係数が予め定める基準値を超える時点
が瞬目として抽出される。瞬目が検出されると、瞬目に
ついての頻度や時間間隔の変動などに基づいて、運転者
の覚醒状態が覚醒判定手段によって判定される。居眠り
防止手段は、覚醒判定手段によって運転者の覚醒状態が
低下していると判定されるとき、予め定める居眠り防止
処置を実行するので、実際に居眠り運転に至る前に有効
に抑止することができる。

【００１０】また本発明で前記撮像手段は、前記運転者
の眼部を含む映像のうち、赤色成分のみを出力すること
を特徴とする。

【００１１】本発明に従えば、人間の顔面を赤、緑およ
び青のＲＧＢ３原色成分を含むカラー画像として撮像す
るときに、眼部とその周囲の皮膚との輝度の差は、赤色
成分のみで対比する方が、他の色成分を含んだり、赤色
成分が抜けている場合よりも輝度の差が明瞭に区別さ
れ、瞬目の抽出を容易に行うことができる。

【００１２】また本発明で前記面積差演算手段は、前記
映像のうち、眼部およびその周囲の領域を、演算処理の
対象となるウインドウとして設定するウインドウ設定手
段と、ウインドウ設定手段によって設定されるウインド
ウ内の映像を表す画素毎に、前記映像Ｆ（ｎ），Ｆ（ｎ
−１）間の差分を算出する差分算出手段と、差分算出手
段によって算出される各画素毎の差分値を２値化する２
値化手段と、２値化手段によって２値化された差分値に
基づいて、輝度が増加する画素数と輝度が減少する画素
数との差を、前記面積の差として算出する画素数差算出
手段とを備えることを特徴とする。

【００１３】本発明に従えば、面積差演算手段による輝
度が増加する領域と輝度が減少する領域の面積差の演算
は、ウインドウ設定手段によって設定されるウインドウ
を演算処理の対象とし、ウインドウ内で画素毎に差分算
出手段によって差分が算出される。２値化手段は、差分
算出手段によって算出される各画素毎の差分値を２値化
し、画素数差算出手段は、２値化された差分値に基づい
て、輝度が増加する画素の数と輝度が減少する画素の数
との差を面積の差として算出する。差分値を２値化する
ことによって、各画素は輝度が増加する画素であるか、
減少する画素であるか、または輝度に変化が生じない画
素であるかのいずれかに分けることができ、面積差の演
算を迅速に行って瞬目の抽出に要する時間を算出し、覚
醒状態の低下が生じると直ちに居眠り防止手段の処置を
迅速かつ適切に開始させることができる。

【００１４】

【発明の実施の形態】図１は、本発明の実施の一形態と
しての居眠り運転防止装置１の概略的なシステム構成を
示す。居眠り運転防止装置１は、自動車２の運転者３の
顔面の映像を撮像するビデオカメラ４を含む。ビデオカ
メラ４の出力する映像のうちの赤色成分は、画像処理装
置５でアナログ／デジタル変換やノイズ除去等の処理が
施される。画像処理装置５で処理された映像に対応する
デジタルデータは、たとえば８ビットであり、フレーム
メモリ６に出力されて画素ごとに記憶される。中央処理
装置（以下、「ＣＰＵ」と略称する）７は、プログラム
メモリ８に記憶されるプログラムに従って、フレームメ
モリ６に記憶されている映像データと、ビデオカメラ４
が撮像して画像処理装置５によって処理される映像デー
タとの間で演算処理を行い、瞬目を抽出する。瞬目の抽
出を効率的に行うため、キーボードなどの入力装置９か
ら、ＣＰＵ７が演算処理を行う映像の対象範囲を限定す
るウインドウの設定などが行われる。瞬目の抽出は、ビ
デオカメラ４が撮像する映像の変化は、時系列パターン
メモリ１０に順次記憶し、標準瞬目パターンメモリ１１
に記憶されている標準パターンと相関係数をとって瞬目
の抽出を行う。

【００１５】時系列パターンメモリ１０に記憶されてい
るデータに基づいて選べるパターンと、標準瞬目パター
ンメモリ１１に記憶されている標準瞬目パターンとがあ
る程度一致すると、相関係数の値が１に近づく。自動車
２が一定速度で一方方向に走行しているような状態で
は、運転者３の頭部を含む姿勢にはほとんど変化がな
く、眼部のまばたきである瞬目のみが変化として検出さ
れる。運転者３の覚醒状態が低下して居眠り運転な近づ
くと、たとえば瞬目の動作が低速になり、時間間隔が短
くなって頻度が増大するようになる。ＣＰＵ７は、瞬目
抽出後に、覚醒状態の低下を検出すると、警報装置１２
を介して運転者３に対する警報を行う。また、自動車２
にブレーキをかけたりすることも可能である。

【００１６】図２は、図１の運転者３が自動車２の前方
を注視している状態のビデオカメラ４の撮影画面を示
す。図２（ａ）は、ビデオカメラ４が撮像するカラー原
画像を示す。ビデオカメラ４は、赤、緑および青をＲ，
Ｇ，Ｂの３原色に分解して撮像する。ビデオカメラ４
は、乗用車のフロントパネル上ほぼ中央の位置に固定
し、運転者３の顔面を前方左下の位置から撮像してい
る。図２（ｂ）は赤成分画像を示し、図２（ｃ）は緑成
分画像、図２（ｄ）は青成分画像をそれぞれ示す。緑や
青の成分画像は、肌色の顔面図が暗く映っており、眼部
との輝度差が小さいので、眼部でのまばたきである瞬目
の抽出にはあまり有効ではないことが判る。図２（ｂ）
に示す赤成分画像のみを用いて、瞬目抽出のための処理
を行う。

【００１７】なお、図２（ｂ）に示すウインドウ２０
は、画像処理による瞬目の抽出を効率的に行うために設
定する。図２に示すような前方注視の状態では、フロン
トパネルに設定するビデオカメラ４に対して、運転者間
の左の目の位置はほぼ一定した位置となるので、比較的
狭いウインドウ２０の範囲内に眼部を確実に収めること
ができる。

【００１８】図３は、運転者３が運転中にバックミラー
を確認している状態を示すビデオカメラ４の撮影画面を
示す。このような動きがある画面で眼部を確実にとらえ
るためには、ウインドウ２１を、図２に示すウインドウ
２０よりも広く設定する必要がある。

【００１９】図４は、図１のＣＰＵ７の処理手順を示
す。ステップａ１から処理を開始し、ステップａ２で
は、ビデオカメラ５が撮像する運転者３の映像を、画像
処理装置５で処理した後、フレームメモリ６に記憶す
る。フレームメモリ６には、少なくとも連続する２フレ
ーム分の映像が記憶される。そのうちの最新フレームを
Ｆ（ｎ）、１つ前のフレームをＦ（ｎ−１）として表
す。ステップａ３では、図２や図３に示すようなウイン
ドウ２０，２１を設定する。図２に示すような前方注視
時と、図３に示すようなバックミラー確認時とのウイン
ドウ２０，２１の切換えは、たとえば全体的な頭部の動
きを画像認識処理で判断して行う。図２のウインドウ２
０は、ビデオカメラ４の方向を向いている左目を中心
に、画素を単位として７０ピクセル×８０ピクセルの矩
形領域に設定し、顔に動きのあるバックミラー確認操作
時の映像に対しては１２０ピクセル×８０ピクセルの矩
形領域のウインドウ２１を設定する。

【００２０】ステップａ４では、ビデオカメラ４から出
力信号に乗ってくるノイズを除去するため、平滑化処理
を行う。たとえば図５（ａ）に示すように、画像フレー
ム上に対象となる画素３０を中心に上下左右方向および
斜め方向に隣接する８画素３１〜３８を対象とし、３×
３ピクセルの小領域を設定し、単純平滑処理を行う。各
画素３０〜３８の輝度値をＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，
Ｇ，Ｈ，Ｉとする。各輝度値Ａ〜Ｉは、８ビットで表す
ことが多く、０を黒、２５５を白にそれぞれ対応させ
る。図５（ｂ）に示すように、各画素３０〜３８の係数
ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉは全て１として、
９の画素３０〜３８の輝度の平均値を、画素３０の輝度
とするフィルタ処理を行う。画素３０の輝度Ｅは、次の
第１式で表される。

【００２１】 Ｅ＝（a＊A＋b＊B＋c＊C＋d＊D＋e＊E＋f＊F＋g＊G＋h＊H＋i＊I）÷ｎ …（１） ここで、ｎは通常ａ＋ｂ＋ｃ＋ｄ＋ｅ＋ｆ＋ｇ＋ｈ＋ｉ
程度の値にする。ｎ＝８とすると、第１式の計算を、２
進データで３ビットシフトすることによって行うことが
できるので、高速化を図ることができる。

【００２２】図４のステップａ５では、最新フレームＦ
（ｎ）と前フレームＦ（ｎ−１）との対応画素間で輝度
の差分を求める。ステップａ６では、ステップａ５での
差演算の結果が負の値になった場合に、０に置換える。
このような演算をΘで表すものとする。ここで、 Δ⁺Ｆ（ｎ） ＝ Ｆ（ｎ）ΘＦ（ｎ−１） …（２） Δ^-Ｆ（ｎ） ＝ Ｆ（ｎ−１）ΘＦ（ｎ） …（３） と置くと、第２式は輝度の増加分を、第３式は輝度の減
少分をそれぞれ表す。

【００２３】ステップａ７では、第２式および第３式で
表される画面間差分の結果を２値化し、有効な輝度変化
領域として確定する。輝度が８ビットの符号なし整数で
表される場合には、たとえば図６に示すように、１５を
弁別基準値とし、輝度増加時もしくは減少時が１５以下
の領域を０、１６以上の輝度増加時もしくは減少時の領
域を１として２値化する。２値化の弁別基準値は、映像
の輝度分布などに従って調整可能にしておくことが好ま
しい。

【００２４】図４のステップａ８では、眼部の輝度変化
領域として可能性がある面積領域を残して、それ以外の
領域をノイズとして除去する。ステップａ３で設定する
ウインドウ２０，２１内には、眼部とともに周囲の顔面
部なども含まれる。顔面の向きが変わったり、周囲に光
の変化などによる影の変化で、眼部のまばたきの変化よ
りも大きな面積で輝度の変化が生じる可能性がある。ま
た眼部のまばたきよりも小さな変化で輝度の変化が生じ
る可能性もある。眼部の面積が約２５０ピクセルである
ときには、たとえば１０ピクセル以下および３００ピク
セル以上の領域の輝度の変化はノイズとして除去するこ
とができる。ノイズとして除去する具体的な方法として
は、たとえば眼部と判定される部分を１とし、ノイズと
して判定する部分を０とする。あるいはラベリング処理
で眼部と他の部分との区別を可能にしておくことが考え
られる。

【００２５】ラベリング処理は、たとえば図７に示すよ
うにして行う。２値化後、図７（ａ）に示すような輝度
１の画素の分布を想定する。図７（ｂ）は、画素間で８
近傍のいずれかが輝度１で連結している領域を抽出し、
番号付けした状態を示す。連結していない領域を区別す
るため、異なる番号を付ける。図７（ｃ）は、４近傍連
結領域のラベリング状態を示す。いずれの処理を選択す
るかは、用途に応じて決める。次に番号付けされた各領
域の面積を、構成画素数を計数して求める。画素数から
ノイズの判定を行い、ノイズと判定した領域の輝度を０
とする。

【００２６】ステップａ９では、ウインドウ２０，２１
内の輝度変化領域の面積を、輝度増加領域および輝度減
少領域で算出し、Ｓ⁺（ｎ）およびＳ^-（ｎ−１）でそれ
ぞれ表す。面積は、対応する画素の数で表される。

【００２７】ステップａ１０では、輝度増加面積と輝度
減少面積との差を演算し、ステップａ１１では演算結果
を次の第４式のように表す。

【００２８】 Ｄ（ｎ） ＝ Ｓ⁺（ｎ）−Ｓ^-（ｎ） …（４） ステップａ１２では、ステップａ１１の差演算の結果で
あるＤ（ｎ）を、時系列パターンメモリ１０に記憶し、
標準瞬目パターンメモリ１１に記憶されている標準瞬目
波形と時系列パターンメモリ１０に記憶される差演算結
果Ｄ（ｎ）の時系列パターンとの間で相関係数を求め
る。相関係数が一定値を超えた時点が瞬目として抽出さ
れる。瞬目が検出されないときには、ステップａ２に戻
る。瞬目が検出されると、ステップａ１３に移り、覚醒
状態が低下しているか否かを判定する。覚醒状態が低下
していないと判定されるときには、ステップａ２に戻
る。覚醒状態が低下して、居眠り運転に近づいていると
判定されるときには、ステップａ１４で、警報装置１２
が起動され、警報処置が実行される。

【００２９】図８は、図２に示すような前方注視時の輝
度変化面積の時間変化についての試験結果の一例を示
す。処理領域は図２に示すウインドウ２０で、７０×８
０＝５６００ピクセルの範囲である。実線は輝度の増大
があった部分の面積を画素単位のピクセル値で示し、破
線は輝度の減少があった部分の面積をピクセル値で示
す。瞬目期間は、ビデオカメラ４の撮像する画像を、Ｖ
ＴＲにも記憶しておき、映値を再生して後から判別して
いる。図９は、図３に示すようにバックミラー確認時の
輝度変化面積の時間変化についての試験結果の一例を示
す。図３に示すようにウインドウ２１の大きさは、１２
０×８０＝９６００ピクセルであり、図８よりも大きく
してある。図９は、図８に比較して輝度の変化が全般的
に大きいことが判る。

【００３０】図１０および図１１は、図８および図９の
輝度変化面積の時間変化に対する時間変化の差の時間変
化をそれぞれ示す。ただし、図３に示す輝度変化面積の
差Ｄ（ｎ）の符号を反転して、輝度の増加した面積から
減少した面積の差Ｄ（ｎ）は、輝度の減少面積よりも増
加面積の方が大きい場合に正の値となって、逆の場合に
負の値となる。したがって、瞬目期間中のまぶたが閉じ
つつある期間では正、開きつつある期間では負の値とな
る。図１０では、この傾向が明瞭に表れている。

【００３１】図１２は、図１０に示す５つの瞬目期間で
のそれぞれ９フレームについて輝度変化面積の差Ｄ
（ｎ）の平均値を求め、設定する標準瞬目波形の例を示
す。図１０および図１１に示す輝度変化面積の差Ｄ
（ｎ）の時系列パターンに含まれる瞬目波形を定量的に
評価するため、図１２に示す標準瞬目波形の９フレーム
分との間で相関係数を求める。図１３および図１４は、
図１０および図１１の任意の連続する９フレームと、図
１２に示す瞬目の標準波形との間での相関係数の値を、
対象となる９フレームの中央のフレームに相関係数値を
プロットして示す。前方注視時のグラフ図である図１３
から、相関係数が０．６以上のときに瞬目の抽出が可能
であると判る。図１３では、検出ミスも誤検出も発生し
ていない。この基準を、顔の動きを伴う図１４に適用し
た場合は、検出ミスと誤検出とが１つずつ発生している
ことが判る。

【００３２】なお、相関係数の算出は、たとえば次の第
５式に従って、ｒ（ｋ）を求めて行う。

【００３３】

【数１】

【００３４】ここで、Ｄ（ｋ＋ｍ）は、図１５（ａ）に
示す瞬目抽出波形Ｄ（ｎ）のｋ＋ｍフレームの値を示
す。Ｄｏ（ｍ）は、図１５（ｂ）に示す標準瞬目波形を
示す。また、Ｄ_av，Ｄｏ_avは、次の第６式、第７式に示
す平均値である。

【００３５】

【数２】

【００３６】ただし、Ｄ_avおよびＤｏ_avは、ほぼ零に近
い値なので、高速化を図るため、第５式は次の第８式の
ように簡略化することもできる。

【００３７】

【数３】

【００３８】本実施形態の瞬目検出では、顔の動きが伴
う場合に検出の精度が低下しているけれども、顔の動き
は全体的な画像のパターン認識などによって判定するこ
とができる。むしろ顔に動きがない前方注視時に、瞬目
の検出のみで居眠りの判定を行うことができることが重
要である。また、本実施形態の基本的な原理は、自動車
２の運転者３に適用できるばかりではなく、他の交通機
関の運転者に対しても同様に適用することができ、安全
性の確保などのために大きな効果を奏すると期待され
る。

【００３９】

【発明の効果】以上のように本発明によれば、運転者の
眼部を含む映像を撮像して抽出される瞬目に基づいて覚
醒状態が判定される。覚醒状態の判定では、撮像される
映像に基づいて行われるので、運転者に直接接触するこ
となく瞬目の時点を抽出して覚醒状態の判定を行い、覚
醒状態が低下して居眠り運転に至る前に適切な抑止処置
を行うことができる。

【００４０】また本発明によれば、撮像手段が撮像する
運転者の映像は赤色成分のみに基づいて瞬目抽出のため
の演算処理を行うので、有効な映像成分のみで迅速な瞬
目抽出を行い、居眠り運転の防止を効率的に行うことが
できる。

【００４１】また本発明によれば、瞬目の抽出を行う映
像の領域をウインドウを設定して限定し、映像間の差分
値を２値化して輝度の増減に対応する領域の面積を画素
の数として算出し、面積の差としての演算結果を得るの
で、面積差の演算を迅速に行い、瞬目の抽出処理を効率
的に行うことができる。

【図面の簡単な説明】

【図１】本発明の実施の一形態としての居眠り運転防止
装置１の概略的なシステム構成を示すブロック図であ
る。

【図２】図１のビデオカメラ４によって撮像される運転
者３の撮影画面を示す図である。

【図３】図１のビデオカメラ４によって撮像される運転
者３の撮影画面を示す図である。

【図４】図１の居眠り運転防止装置１のＣＰＵ７の処理
手順を示すフローチャートである。

【図５】図４のステップａ４の平滑化処理の対象となる
画素の輝度と係数とを示す図である。

【図６】図４のステップａ７の２値化処理の対応関係の
一例を示すグラフである。

【図７】図４のステップａ８のノイズ除去の一例として
のラベリング処理の概要を示す図である。

【図８】図２に示す前方注視時の輝度変化面積の時間変
化の一例を示すグラフである。

【図９】図３に示すバックミラー確認時の輝度変化面積
の時間変化の一例を示すグラフである。

【図１０】図８の輝度変化面積の差の時間変化を示すグ
ラフである。

【図１１】図９の輝度変化面積の差の時間変化を示すグ
ラフである。

【図１２】図１０の各瞬目期間を平均して得られる瞬目
の標準波形を示すグラフである。

【図１３】図１０の輝度変化面積の差の時系列的なパタ
ーンと図１２の標準瞬目波形との相関係数の時間変化を
示すグラフである。

【図１４】図１１の輝度変化面積の差の時系列パターン
と図１１の標準瞬目波形との相関係数の時間変化を示す
グラフである。

【図１５】相関係数算出の対象となる瞬目抽出波形と標
準瞬目波形とを示すグラフである。

【符号の説明】 １ 居眠り運転防止装置 ２ 自動車 ３ 運転者 ４ ビデオカメラ ５ 画像処理装置 ６ フレームメモリ ７ ＣＰＵ ８ プログラムメモリ ９ 入力装置 １０ 時系列パターンメモリ １１ 標準瞬目パターンメモリ １２ 警報装置 ２０，２１ ウインドウ

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１１年９月２７日（１９９９．９．２
７）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】請求項１

【補正方法】変更

【補正内容】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正内容】

【０００８】

【課題を解決するための手段】本発明は、移動体の運転
者の居眠り運転を防止するための装置であって、運転者
の眼部を含む映像を、順次的に撮像して出力する撮像手
段と、撮像手段によって出力される映像を記憶する映像
記憶手段と、撮像手段によって撮像される映像Ｆ（ｎ）
と、映像記憶手段によって記憶されている先行する映像
Ｆ（ｎ−１）とで対応する領域間の輝度の差を演算し、
輝度が増加する領域と輝度が減少する領域との面積の差
を演算する面積差演算手段と、面積差演算手段によって
演算される面積の差の演算結果を、時系列的に記憶する
面積差記憶手段と、面積差記憶手段に記憶されている面
積差演算結果の時系列パターンと、予め設定される標準
瞬目パターンとの相関係数を求め、相関係数が予め定め
る基準値を超える時点を瞬目として抽出する瞬目抽出手
段と、瞬目抽出手段によって抽出される瞬目の時点で、
瞬目の動作速度および時間間隔に基づき動作が低速にな
り、時間間隔が短くなっているときに、運転者の覚醒状
態が低下していると判定する覚醒判定手段と、覚醒判定
手段によって、運転者の覚醒状態が低下していると判定
されるとき、予め定める居眠り防止処置を実行する居眠
り防止手段とを含むことを特徴とする居眠り運転防止装
置である。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】０００９

【補正方法】変更

【補正内容】

【０００９】本発明に従えば、撮像手段によって順次的
に撮像される運転者の眼部を含む映像は、映像記憶手段
に記憶され、面積差演算手段によって、連続する映像Ｆ
（ｎ），Ｆ（ｎ−１）間で輝度の増加する領域と減少す
る領域との面積の差が演算される。面積差の演算結果は
面積差記憶手段に時系列的に記憶され、瞬目抽出手段に
よって、予め設定される標準瞬目パターンとの相関係数
が求められ、相関係数が予め定める基準値を超える時点
が瞬目として抽出される。瞬目が検出されると、瞬目に
ついての頻度や時間間隔の変動などに基づいて、瞬目の
動作が低速になり、時間間隔が短くなっているときに、
運転者の覚醒状態が低下していると覚醒判定手段によっ
て判定される。居眠り防止手段は、覚醒判定手段によっ
て運転者の覚醒状態が低下していると判定されるとき、
予め定める居眠り防止処置を実行するので、実際に居眠
り運転に至る前に有効に抑止することができる。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００１５

【補正方法】変更

【補正内容】

【００１５】時系列パターンメモリ１０に記憶されてい
るデータに基づいて選べるパターンと、標準瞬目パター
ンメモリ１１に記憶されている標準瞬目パターンとがあ
る程度一致すると、相関係数の値が１に近づく。自動車
２が一定速度で一方方向に走行しているような状態で
は、運転者３の頭部を含む姿勢にはほとんど変化がな
く、眼部のまばたきである瞬目のみが変化として検出さ
れる。運転者３の覚醒状態が低下して居眠り運転が近づ
くと、たとえば瞬目の動作が低速になり、時間間隔が短
くなって頻度が増大するようになる。ＣＰＵ７は、瞬目
抽出後に、覚醒状態の低下を検出すると、警報装置１２
を介して運転者３に対する警報を行う。また、自動車２
にブレーキをかけたりすることも可能である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 玉川 正一 大阪府大阪市北区曽根崎２−２−１ 梅新 21ビル６階 株式会社ジェイ・ネット内 (72)発明者 有賀 正剛 大阪府大阪市中央区高麗橋３−１−14 高 麗橋山本ビル４階 日本マイクロシステム ズ株式会社内 Ｆターム(参考） 3D037 FA05 FB01 FB09 5B057 AA16 BA02 CA01 CA08 CA12 CA16 CC03 DA08 DA20 DB02 DB06 DB08 DC14 DC30 DC34 5C086 AA23 BA22 CA28 CB36 DA08 DA33 EA15 EA41 EA45 FA02 GA04 5H180 AA01 CC05 LL01 LL06 LL09 LL20

Claims (3)

【特許請求の範囲】
1. 【請求項１】 移動体の運転者の居眠り運転を防止する
   ための装置であって、運転者の眼部を含む映像を、順次
   的に撮像して出力する撮像手段と、 撮像手段によって出力される映像を記憶する映像記憶手
   段と、 撮像手段によって撮像される映像Ｆ（ｎ）と、映像記憶
   手段によって記憶されている先行する映像Ｆ（ｎ−１）
   とで対応する領域間の輝度の差を演算し、輝度が増加す
   る領域と輝度が減少する領域との面積の差を演算する面
   積差演算手段と、 面積差演算手段によって演算される面積の差の演算結果
   を、時系列的に記憶する面積差記憶手段と、 面積差記憶手段に記憶されている面積差演算結果の時系
   列パターンと、予め設定される標準瞬目パターンとの相
   関係数を求め、相関係数が予め定める基準値を超える時
   点を瞬目として抽出する瞬目抽出手段と、 瞬目抽出手段によって抽出される瞬目の時点で、運転者
   の覚醒状態を判定する覚醒判定手段と、 覚醒判定手段によって、運転者の覚醒状態が低下してい
   ると判定されるとき、予め定める居眠り防止処置を実行
   する居眠り防止手段とを含むことを特徴とする居眠り運
   転防止装置。
2. 【請求項２】 前記撮像手段は、前記運転者の眼部を含
   む映像のうち、赤色成分のみを出力することを特徴とす
   る請求項１記載の居眠り運転防止装置。
3. 【請求項３】 前記面積差演算手段は、 前記映像のうち、眼部およびその周囲の領域を、演算処
   理の対象となるウインドウとして設定するウインドウ設
   定手段と、 ウインドウ設定手段によって設定されるウインドウ内の
   映像を表す画素毎に、前記映像Ｆ（ｎ），Ｆ（ｎ−１）
   間の差分を算出する差分算出手段と、 差分算出手段によって算出される各画素毎の差分値を２
   値化する２値化手段と、 ２値化手段によって２値化された差分値に基づいて、輝
   度が増加する画素数と輝度が減少する画素数との差を、
   前記面積の差として算出する画素数差算出手段とを備え
   ることを特徴とする請求項１または２記載の居眠り運転
   防止装置。