JP2021026701A - 居眠り運転防止装置 - Google Patents

Abstract

【課題】カメラで撮像した運転者の顔画像を解析し、居眠り状態に陥ったと推定されるときに警報音を発生させる居眠り運転防止装置において、運転者が左右を向いた状態でも居眠り状態を精度良く検出できるようにする。【解決手段】運転者17の前方の正面と左右に配置された３台のカメラ1a,2a,3aから得られる各撮像データを所定時間毎（例えば１sec毎）にセーブし、それぞれ顔面画像を切り出して解析し、最も正面方向から撮像されている顔面画像データを選択して、運転者が居眠り状態に陥ったかどうかを判断する。前記顔面画像データの選択については、顔面画像における顔構成要素の配置領域の偏りの度合いを確認し、最も偏りが少ないものを選択する。【選択図】図５

Description

本発明は、車両の運転席の前方に設けたカメラで運転者の顔面を撮像し、その顔画像を解析して運転者が居眠り状態に陥ったと推定される際にアラーム音などを発生させる居眠り運転防止装置に係る。

従来から、自動車など車輌の運転者の顔画像を解析して居眠り状態かどうかを判定することにより運転者に注意を促す居眠り運転防止装置が普及しており、そのための顔画像の解析方法と居眠り状態の判定の方法については数多くの提案がなされている。

たとえば、下記特許文献１〜５では、カメラで撮像した運転者の顔画像を解析して眼の部分を抽出し、その上瞼の動きなどから瞬目を検出することにより、閉眼状態が所定時間以上継続していると推定されるような場合に、警報音などを出力させて運転者へ覚醒を促すようにしている。

そして、カメラの配置位置としては、自動車のインストルメントパネルやダッシュボードにおける運転者に正対する位置やステアリングコラムの上面とされているが（特許文献１の図２、特許文献３の図１、特許文献４の第3頁［0013］）、フロントガラスの上側に配置されるような場合もある（特許文献５の第4頁［0019］）。

なお、本願出願人においては、下記非特許文献１に示すように、すでにステアリングコラムの上面又はインストルメントパネルの前方下段に設置される居眠り運転防止装置を製造・販売している。
この装置の基本機能は前記従来技術と同様であり、カメラで運転者の顔面を撮像し、瞼の動きで閉眼状態を確認して、居眠り状態と判定した場合に警報音を発するようにしたものである。

特開平０６−２７８４９５号公報 特開平０８−１４７５８４号公報 特開２０００−０４０１４８号公報 特開２００１−００５９５２号公報 特開２００８−０７７１８９号公報

株式会社慶洋エンジニアリング、"居眠りウォッチャーひとみちゃん／取扱説明書／ＡＮ−Ｓ０１８"、［online］、２０１５年９月１４日、株式会社慶洋エンジニアリング／製品情報／取付説明書・取扱説明書ダウンロード、［令和１年７月８日検索］、インターネット＜http://www.keiyoeng.co.jp/manuals/images/AN-S018_TORISETSU.pdf＞

上記の居眠り運転防止装置においては、カメラと装置本体が一体的に構成されているか否かを問わず、カメラの光軸を一定範囲で揺動させることが可能な調整機構を設けておき、カメラの光軸が運転者の顔面に正対するように固定できるようになっている。
また、顔画像の解析プログラムはカメラの光軸が顔面に正対している状態での顔画像データを前提に作成されている。

ところで、運転者が左右を向いたときには、当然にその角度に応じて顔面を側方から撮像した顔画像データがカメラから得られることになるが、前記解析プログラムは正面から見た顔画像についてのものであるため、必然的に瞼の検出・認識の精度は低下する。
例えば、前記非特許文献１の第15頁では、運転者が左右約６０°以上を向いた状態では認識範囲外とされているが、顔画像から瞼を良好に良く検出して居眠り感知が可能な範囲は左右約３０°とされており、運転者の顔の向きが左右約３０°を超えて大きくなると居眠り状態の判定精度は大きく低下することになる。

したがって、車両がカーブや曲がり角にさしかかって運転者が側方を向くと、瞼の検出が途絶えて居眠り状態の判定が不能になる傾向が生じる。
そして、運転者は、眠気を催していても、車両がカーブや曲がり角に差し掛かったときにはその進行方向へ無意識に顔を向けていることが多く、そのような運転状態において居眠り状態の判定が不能になって警報音が出ないことになると極めて危険である。

そこで、本願発明は、カメラを運転者の正面だけでなく左右にも配置し、負担の少ないデータ処理によって顔画像の解析に最適なカメラの顔画像データを選択することにより、居眠り状態の判定精度の向上とその安定化を実現することを
目的として創作された。

本願発明は、車両の運転者の顔面をカメラで撮像し、その顔面画像を解析することにより前記運転者が居眠り状態に陥ったかどうかを推定判断し、前記運転者が居眠り状態に陥ったと判断されたことに基づいて警報音を発生させる居眠り運転防止装置において、前記運転者の前方正面と前方左右の位置に前記運転者の顔面方向へ対物レンズの光軸を向けて設置された３台のカメラと、画像データの記憶手段と、前記３台のカメラがそれぞれ撮像している各画像データを所定時間毎に取り込んで前記記憶手段にセーブさせるデータ取り込み手段と、前記記憶手段にセーブせしめられた前記各画像データからそれぞれ顔面画像部分の切り出しを行う画像切り出し手段と、前記画像切り出し手段が切り出した各顔面画像データを解析し、顔面を最も正面方向から撮像したものと推定される顔面画像データを選択するデータ選択手段と、前記データ選択手段が選択した顔面画像データにおける居眠り推定要素の解析結果に基づいて、前記運転者が居眠り状態に陥ったかどうかを推定判断する推定判断手段とを具備したことを特徴とする居眠り運転防止装置に係る。

本願発明によると、運転者の前方の正面と左右に配置された３台のカメラを用い、各カメラによる顔面画像データを所定時間毎にセーブして解析し、最も正面方向から撮像されている顔面画像データを選択して、運転者が居眠り状態に陥ったかどうかを推定判断している。
したがって、運転者が斜め左右方向に顔を向けた状態においても、その方向に配置されたカメラから得られる画像データを用いると、より正面に近い方向から撮像された顔面画像データを用いて解析を行うことができ、データ選択手段によって選択された顔画像データに基づいて運転者が居眠り状態となったかどうかを判断すれば、常に高い精度で安定的な状態判断が可能になる。

本願発明における前記データ選択手段は、前記各顔面画像データの内、顔面画像内の顔構成要素の配置領域が水平方向に関して顔面画像内で最も中央に近い位置にある顔面画像データを選択する手段であることが望ましい。
眉、眼、鼻及び口からなる顔構成要素の配置領域は水平方向に関してほぼ顔面の中央にあるため、二次元的な顔面画像内で顔構成要素の配置領域が水平方向に関してより中央に近いほど、より正面から撮像された顔画像であるからである。

また、本願発明における前記推定判断手段としては、上記特許文献１〜５に開示されているものも含む様々なアルゴリズムを採用できるが、例えば、居眠り推定要素として上下の瞼の位置を検出し、閉眼状態が所定時間以上継続しているか否かに基づいて前記運転者が居眠り状態に陥ったかどうかを推定判断する手段とすることができる。

なお、本願発明の居眠り運転防止装置のハードウェア構成としては、前記３台のカメラの内、１台はカメラ以外の各機能部分と共に本体部に搭載されており、他の２台は前記本体部にケーブル接続された構成とすることが望ましい。
３台のカメラと本体部とをそれぞれ独立した構成とすることも可能ではあるが、ケーブル本数が多くなり、また警報音発生部は運転者の前方に位置させることが望ましいため、１台のカメラは本体部に搭載させておく構成が合理的である。

本願発明の居眠り運転防止装置は、車両の運転者が左右を向いた状態においても、左右に配置したカメラから得られている顔面画像を選択することで、できるだけ正面に近い角度から撮像した顔面画像を解析して居眠り状態を高い精度で判定し、また断続的に解析不能となって判定ができなくなるような事態をなくし、よって運転者が居眠り運転に陥ることをより確実に防止する。

実施形態に係る居眠り運転防止装置の設置状態を自動車の運転席から見た図である。 居眠り運転防止装置の本体部の正面図（Ａ）と平面図（Ｂ）と右側面図（Ｃ）と背面図（Ｄ）である。 居眠り運転防止装置の本体部と左右のカメラの筐体構成とそれらのケーブル接続関係を示す図である。 自動車のフロントガラスの前方から見た居眠り運転防止装置と運転者の関係を示す図である。 居眠り運転防止装置のシステム回路図と、その各カメラと運転者の位置関係を上側から見た概略図である。 居眠り運転防止装置のキャリブレーション動作を示すフローチャートである。 居眠り運転防止装置のキャリブレーション動作を示すフローチャートである。 居眠り運転防止装置による居眠り運転の判定及び警報動作を示すフローチャートである。 各カメラの顔面画像データから一つの顔面画像データを選択する際に用いられる顔面画像と顔構成要素の配置領域との関係を、運転者の顔面が正面から撮像されている場合（Ａ−1,2）、右側から撮像されている場合（Ｂ−1,2,3）及び左側から撮像されている場合（Ｃ−1,2,3）について説明するための図である。

以下、本願発明の実施形態に係る居眠り運転防止装置について、図面を参照しながら詳細に説明する。
この実施形態に係る装置は、図１に示すように、本体部1と右カメラ部2と左カメラ部3とから構成され、それぞれがカメラ1a,2a,3aを搭載しており、自動車のインストルメントパネル4の上面に各カメラ1a,2a,3aの光軸をほぼ運転者の顔面位置に向けた態様で貼着固定されている。
また、その設置状態では、本体部1のカメラ1aの光軸に対して左右のカメラ部2,3のカメラ2a,3aの各光軸はほぼ３５°をなすような配置になっているが、この角度は自動車のインストルメントパネルの形態や運転者座席シートのスライド位置やシートバックの角度などの条件によって相違する。

従来の単一カメラによる居眠り運転防止装置ではインストルメントパネル4の前方5やステアリングコラムの上側6に貼着固定されることが多く、ハンドル7の回転によって運転者の顔を撮像できない状態になることがあったが、この実施形態での配置固定ではそのような支障はない。

本体部1は、図２に示すように、筐体10と、それを支持固定するためのコ字状のブラケット11とローレットビス12からなる。
ここに、筐体10は、正面カメラ1aを搭載していると共に、マイクロコンピュータ回路や各種ドライバや電源回路等を搭載したプリント配線基板、警報音を出力するブザー、前面パネル部に配設されているＬＥＤ、後面パネル部に配設されているケーブル接続用のジャックや押しボタンスイッチなど各種の電子部品を内蔵している。
そして、筐体10はブラケット11の両側の各側板を貫通している各ローレットビス12によって揺動可能に支持されており、ブラケット11をインストルメントパネル4の上面に貼着固定した状態でローレットビス12を締付けて筐体10の揺動角度を固定することにより、正面カメラ1aの光軸の角度が固定できるようになっている。

一方、右カメラ部2と左カメラ部3は、図３に示すように、前記本体部1に対してそれぞれケーブル13,14で接続されている。
右カメラ部2と左カメラ部3については、カメラ2a,3aをそれぞれ搭載した筐体と、それらを支持固定するためのコ字状のブラケットとローレットビスからなることは前記本体部1の場合と同様であるが、その筐体はカメラを内蔵させているだけであるため本体部1の筐体10と比較して小さく、必然的にブラケットも小さなものになっている。
なお、15は電力供給用のケーブルであり、自動車のシガーソケット又はＡＣＣ／ＧＮＤに接続される。

図１に示した居眠り運転防止装置1,2,3の配置を車外正面からフロントウィンドウ16を介して見ると、運転者17との位置関係では図４に示すような態様となり、本体部1の正面カメラ1aと左右のカメラ部2,3の各カメラ2a,3aの光軸は運転者17の顔面方向に向いている。
したがって、本体部1と左右のカメラ部2,3をインストルメントパネル4の上面に設置する際には、ブラケットの取り付け位置とその方向を考慮すると共に、取り付け後においても、各ローレットビスを緩めた状態で各カメラ1a,2a,3aの光軸がほぼ運転者17の顔面を向くように揺動角度を調整した後、各ローレットビスを締付けて前記各光軸の向きを固定する。

図５は、本体部1のシステム回路と、各カメラ1a,2a,3aと運転者17との関係を上側から模式的に表した図である。
本体部1において、21は各カメラ1a,2a,3aを駆動するカメラドライバ、22,23は顔面照射用の赤外光ＬＥＤ、24はその赤外光ＬＥＤ22,23を駆動するＬＥＤドライバ、25は動作状態を示すインジケータランプとしての３色ＬＥＤ、26はその３色ＬＥＤ25を駆動するＬＥＤドライバ、27は警報用ブザー、28はそのブザー27を駆動するブザードライバ、29,30,31はカメラ1a,2a,3aからの画像信号を増幅するアンプ、32,33,34はアンプ29,30,31が増幅した画像信号をデジタル信号へ変換するＡ/Ｄ変換器、35は各カメラ1a,2a,3aの感度やブザー27の音量を調整する際に用いるＡＤＪボタン、36はキャリブレーション時の動作指示や居眠り運転防止モードのＯＮ／ＯＦＦ設定を行うＳＥＴボタン、37はマイクロコンピュータ回路であり、それらの電子部品や回路は図示する関係で接続されている。
なお、38は電源回路であり、外部電源（例えば、シガーソケット）から供給される電力をドライバ21,24,26,28やマイクロコンピュータ回路37などへ所要電圧にて供給する。

そして、マイクロコンピュータ回路37はＣＰＵ41のバスに対してプログラムメモリ42と画像メモリ43と作業用メモリ44とタイマー45とＩ/Ｏポート46が接続された基本構成を備え、システム全体の動作制御はＡＤＪボタン35やＳＥＴボタン36からの指示入力に基づいてＣＰＵ41がプログラムメモリ42のプログラムを実行することにより行われる。
以下、この実施形態の居眠り運転防止装置におけるキャリブレーション動作及び居眠り運転の判定・警報動作について、フローチャートを参照して説明する。

＜キャリブレーション動作＞
この動作の手順は図６及び図７のフローチャートに示され、居眠り運転防止装置のシステムを最初に立ち上げた時や運転者17が変わった場合などに、各カメラ1a,2a,3aが運転者17の顔面を適正に撮像・解析し得る状態に光軸方向や感度を調整するために実行される。
まず、自動車のエンジンが始動されて電源がＯＮになると、システムの初期化が開始されて、その初期化動作中であることは３色ＬＥＤ25の発光状態を赤→緑→青→赤に順次発光制御して示され、初期化が完了した時点で発光状態が赤色点滅状態とされる（ステップS1〜S5）。
また、初期化が完了すると、本体部1の前面の左右に設けられている赤外光ＬＥＤ22,23も点灯され、運転者17を赤外光で照射した状態となる（ステップS5）。

ここで、ＳＥＴボタン36が短押しされると、タイマー45のカウントが開始され、運転者17は速やかに正規の運転姿勢をとって正面を見る（ステップS6〜S8）。
そして、その状態において、アンプ29で増幅されＡ/Ｄ変換器32でデジタル信号に変換された正面カメラ1aによる撮像データをＩ/Ｏポート46から画像メモリ43に取り込む（S9）。

次いで、画像メモリ43に展開された撮像データに顔面画像が存在し、その全体が切り出し可能かどうかを確認し、それが可能な場合にはその顔面画像を解析し、上下瞼の位置が検出可能かどうかを確認する（ステップS10〜12）。
ただし、ここでの顔面画像とは、一例として図９（Ａ-１）における方形領域abcdに相当し、水平方向に関しては両耳より中央側の区間、垂直方向に関しては眉と顎の先端との間の区間とする。

そして、前記各確認の結果、顔面画像の切り出しが可能で、上下瞼の位置検出が可能であれば、３色ＬＥＤ25を緑色点滅状態に発光制御して次の手順への移行を促すが（ステップS10〜13）、一方、顔面画像の切り出しが不可能であった場合、又はそれが可能であっても上下瞼の位置検出が不可能であった場合には、タイマー45が５secをカウントするのを待って、Ｉ/Ｏポート46を介してブザードライバ28によりブザー27を起動させると共にタイマー45をリセットする（ステップS10,S12→S14,S15）。

後者の場合、運転者17はブザー音の鳴動と３色ＬＥＤ25の赤色点滅状態の継続によって正面カメラ1aによる撮像が不調であったことを確認できる。
したがって、運転者17は、正面カメラ1aの光軸の調整を行い、またＡＤＪボタン35のＯＮ操作でカメラ感度の調整を行った後（ステップS16）、再度ＳＥＴボタン36を短押しすることでステップS7〜S15を再実行させ、３色ＬＥＤ25が赤色点滅状態から緑色点滅状態になって正面カメラ1aから適正な撮像状態が得られるまでそれらの手順を繰り返す（ステップS16→S6, S7〜S16）。

以上の手順で正面カメラ1aの光軸の調整とカメラ感度の調整が完了して３色ＬＥＤ25が緑色点滅状態になると、運転者17はＳＥＴボタン36を再度短押しする（図６のステップS13→図７のステップ17）。
この操作によって、前記と同様にタイマー45のカウントが開始されるが（ステップS18）、３色ＬＥＤ25が緑色点滅状態での今回の調整は右カメラ部2のカメラ2aについて行うものである。
したがって、運転者17は正規の運転姿勢で右側約３５°（右側カメラ部2）を見るようにし（ステップS19）、その状態において、アンプ29で増幅されＡ/Ｄ変換器32でデジタル信号に変換されているカメラ2aによる撮像データをＩ/Ｏポート46から画像メモリ43に取り込む（ステップS20）。

以降の右カメラ部2のカメラ2aに係る調整手順は前記の正面カメラ1aに係る調整手順と同様であり（ステップS21〜S27→S17〜S19）、３色ＬＥＤ25が緑色点滅状態から青色点滅状態になってカメラ2aから適正な撮像状態が得られるまで実行される。

前記右側のカメラ2aに係る調整手順が完了すると、３色ＬＥＤ25が青色点滅状態になっているが、その状態では左カメラ部3のカメラ3aに係る調整手順が実行される。
この手順は右と左の相違があるだけで、前記右側のカメラ2aに係る調整手順と同様のことが実行され、運転者17はＳＥＴボタン36を再度短押した後に正規の運転姿勢で左側約３５°（左側カメラ部3）を見るようにし、タイマー45で５secをカウントしながら、左のカメラ3aから適正な撮像状態が得られるまで調整手順が実行され、最終的に３色ＬＥＤ25が青色点滅状態から青色点灯状態に変化することでその完了を確認する（ステップS28〜S38）。

以上のキャリブレーションを実行した後においては、各カメラ1a,2a,3aの光軸が正面・左右方向から正規の運転姿勢をとった運転者の顔面に向いた状態になっており、またそれぞれの感度も適正に調整されていることから、同一の運転者であれば、逐一キャリブレーション動作を行わせる必要はなく、そのまま下記の居眠り運転の判定・警報動作を実行させることができる。

なお、運転者が変わったなどの理由で、キャリブレーションを再実行させる場合には、後記図８におけるステップS56の段階で、ＡＤＪボタン35を押しながらＳＥＴボタン36を短押しすることで、図６のステップS6から図７のステップS38までの手順を実行させる。

＜居眠り運転の判定・警報動作＞
この動作の手順は図８のフローチャートに示される。
まず、自動車のエンジンが始動されて電源がＯＮになると、システムの初期化が実行されることは前記キャリブレーション動作の場合と同様であるが、すでにそのキャリブレーションが完了しているため、システムの初期化完了後には３色ＬＥＤ25が青色点灯状態になる（ステップS51〜S55）。
なお、本体部1の各赤外光ＬＥＤ22,23が点灯され、運転者17を赤外光で照射した状態となることは同様である（ステップS55）

ここで、運転者17がＳＥＴボタン36を長押しすると実質的に判定・警報動作が開始され、タイマー45のカウントが開始されると共に、アンプ29.30,31で増幅されＡ/Ｄ変換器32,33,34でデジタル信号に変換された各カメラ1a,2a,3aの撮像データがＩ/Ｏポート46を介して順に画像メモリ43に取り込まれる（ステップS56〜S58）。

したがって、画像メモリ43には各カメラ1a,2a,3aによる３枚の撮像データ（運転者17の顔面を含んでいる）が展開されていることになるが、ＣＰＵ14は各撮像データからそれぞれ顔面画像を切り出す（ステップS59）。
ここに、顔面画像は前記キャリブレーション動作（図６、図７）の中でも説明したように、水平方向に関しては両耳より中央側の区間、垂直方向に関しては眉と顎の先端との間の区間として囲まれた方形領域の画像であり、図９（Ａ-１）における方形領域abcdに相当する。

そして、切り出された各顔面画像を解析することにより、顔構成要素の配置領域を求める（ステップS60,S61）。
ここでの顔構成要素とは、両眉、両目、鼻及び唇が相当し、それらの配置領域とは、水平方向に関しては両眉尻の間又は両目尻の間、垂直方向に関しては眉の上側と唇の下側の間に含まれる領域であり、図９（Ａ-１）における方形領域efghに相当する。

次いで、各カメラ1a,2a,3aに係る顔面画像と顔構成要素の配置領域について、ｄｈの距離に対するａｅの距離の比（＝Ｒ）を求める（ステップS62）。
ここに、前記Ｒは、顔面画像内における顔構成要素の配置領域の左右への偏りを示す数値であり、図９の(Ａ―1,2)、(Ｂ―1,2,3)及び(Ｃ―1,2,3)から明らかなように、カメラ1a,2a,3aが運転者の顔面をどれだけ正面から捉えているかを表すものである。
すなわち、Ｒの値が「１」に近いほど運転者の顔面を正面から撮像している状態にあり、それだけ顔面画像を正確に解析できることになる。

より具体的には、図９において、(Ａ―1)は運転者の顔面を正面から捉えた顔面画像に係るものであるが、(Ａ―2)に示されるように、ａｅ≒ｄｈであり、Ｒ＝ａｅ／ｄｈ≒１となる。
一方、(Ｂ―1)は運転者の顔面を右側から捉えた顔面画像に係るものであるが、(Ｂ―2)の状態ではａｅ＞ｄｈであり、Ｒ＝ａｅ／ｄｈ＞１となる。なお、(Ｂ―3)の状態ではｄｈ＝０となってＲ＝ａｅ／ｄｈが求まらないが、ｄｈ＝０が確認された時点で、その顔面画像は選択されないものとして取り扱う。
また、(Ｃ―1)は運転者の顔面を右側から捉えた顔面画像に係るものであるが、(Ｃ―2)及び(Ｃ―3)の状態ではａｅ＜ｄｈ及び０＝ａｅ＜ｄｈであり、Ｒ＝ａｅ／ｄｈ＜１及びＲ＝ａｅ／ｄｈ＝０となる。

そこで、図８のフローチャートに戻って、各カメラ1a,2a,3aから得られている運転者の顔面画像について、それぞれ前記Ｒ＝ａｅ／ｄｈの値が求まると、その値が最も１に近い顔面画像を選択し（ステップS63）、その選択した顔面画像について上下の瞼が閉じた状態にあるか否かを確認する（ステップS63）。
この瞼の状態確認は、その顔面画像を解析して得られる上瞼と下瞼の位置に基づいて、図９の(Ａ―2)で示されるように、それらの最大間隔ｗが所定値以下であるかどうかによって瞼が閉じているかどうかを判定する。

そして、その判定結果が「上下瞼が閉状態」であった場合には、前回の判定結果が「上下瞼が閉状態」であったか否かを確認し、２回連続して閉状態である場合には運転者が居眠り運転を行っている可能性がありとして、直ちにブザードライバ28を作動させてブザー27から警報音を出力させる（ステップS64,S65,S66）。
一方、それ以外の場合、すなわち、今回の判定結果が「上下瞼が開状態」であった場合、又は「上下瞼が閉状態」であったとしても前回の判定結果が「上下瞼が開状態」であった場合には警報音は出力させない（ステップS64,S65→S67）。

この実施形態に係る居眠り運転防止装置では、前記ステップS57でタイマー45のカウントを開始させた後、この段階までを１sec以内で実行するようになっており、タイマー45が１secをカウントした時点でリセットして再びカウントを開始させた後、ステップS57からステップS68までの手順を実行させるという動作を繰り返す。
したがって、運転者が前記手順（ステップS57〜S68）の２サイクル分に相当する時間である２sec間に亘って瞼を閉じていた場合には、居眠り運転の可能性ありとしてブザー27から警報音を出力させるようになっており、居眠り運転を有効に防止できる。
なお、実際には前記手順（ステップS57〜S68）は１secよりも十分に短い時間内に実行させることができるため、タイマー45のセット／リセットの間隔を短く設定しておくことで上下瞼の閉状態の継続時間を短くして居眠り運転の検出・判定を行わせることが可能であり、更には、例えば、ＡＤＪボタン35の所定操作によって０.５sec／１sec／２sec／２.５secのように選択的に変更できるようにしてもよい。

この実施形態に係る居眠り運転防止装置によれば、運転者がほぼ正面を見た運転姿勢にある状態では、図９の（Ａ−1）に近い傾向の画像が得られている正面のカメラ1aによる顔面画像が選択されるが、運転者が左/右方向を見ていると正面のカメラ1aによる顔面画像よりも左/右のカメラ2a/3aによる顔面画像の方が図９の（Ａ−1）に近い傾向の画像が得られるようになり、逆に正面のカメラ1aによる顔面画像は図９の（Ｂ−1）/（Ｃ−1）に近い傾向の画像になるため、左/右のカメラ2a/3aによる顔面画像が選択される。

したがって、居眠り運転状態かどうかの判定に際しては、たとえが左右方向を向いた状態にあっても、より正面から撮像した顔面画像に基づいた判定が可能であり、顔面画像を解析して得られる左右の眼の上瞼と下瞼の位置を高い精度で検出でき、引いては居眠り状態か否かの判定をより正確に行えることになる。
より具体的には、この実施形態では左右のカメラ2a,3aの光軸が正面のカメラ1aの光軸に対して３５°の角度を有する条件で運転者17の顔面に向いているため、運転者17の顔面が正面から左右に約５０°振られた場合であっても左右の眼の上下瞼を明瞭に検出でき、居眠り状態か否かの判定精度が低下することはない。

なお、この実施形態では、各カメラ1a,2a,3aから得られている運転者の各顔面画像における顔構成要素の配置領域の偏り具合に基づいて最も正面から撮像されている顔面画像を選択しているが（ステップS61〜S63）、顔構成要素の配置領域の幅が最大になっている顔面画像を選択するようにしてもよい。
ここで、「顔構成要素の配置領域の幅」については単に両目尻の間の距離としてもよく、その場合、運転者が大きく左右を向くと顔面画像中に目尻が含まれていないことがあるが、そのような顔面画像では瞼と背景との境界を目尻とする。

本発明は、車輌に搭載され、運転者の居眠りを防止して車輌事故の発生を未然に防止するための警報装置として適用できる。

1…本体部、2…右カメラ部、3…左カメラ部、1a,2a,3a…カメラ、4…インストルメントパネル、5…インストルメントパネルの前方、6…ステアリングコラムの上側、7…ハンドル、10…筐体、11…ブラケット、12…ローレットビス、13,14,15…ケーブル、16…フロントウィンドウ、17…運転者、21…カメラドライバ、22,23…赤外光ＬＥＤ、24…ＬＥＤドライバ、25…３色ＬＥＤ、26…ＬＥＤドライバ、27…警報用ブザー、28…ブザードライバ、29,30,31…アンプ、32,33,34…Ａ/Ｄ変換器、35…ＡＤＪボタン、36…ＳＥＴボタン、37…マイクロコンピュータ回路、38…電源回路、41…ＣＰＵ、42…プログラムメモリ、43…画像メモリ、44…作業用メモリ、45…タイマー、46…Ｉ/Ｏポート。

Claims (4)

1. 車両の運転者の顔面をカメラで撮像し、その顔面画像を解析することにより前記運転者が居眠り状態に陥ったかどうかを推定判断し、前記運転者が居眠り状態に陥ったと判断されたことに基づいて警報音を発生させる居眠り運転防止装置において、
   前記運転者の前方正面と前方左右の位置に前記運転者の顔面方向へ対物レンズの光軸を向けて設置された３台のカメラと、
   画像データの記憶手段と、
   前記３台のカメラがそれぞれ撮像している各画像データを所定時間毎に取り込んで前記記憶手段にセーブさせるデータ取り込み手段と、
   前記記憶手段にセーブせしめられた前記各画像データからそれぞれ顔面画像部分の切り出しを行う画像切り出し手段と、
   前記画像切り出し手段が切り出した各顔面画像データを解析し、顔面を最も正面方向から撮像したものと推定される顔面画像データを選択するデータ選択手段と、
   前記データ選択手段が選択した顔面画像データにおける居眠り推定要素の解析結果に基づいて、前記運転者が居眠り状態に陥ったかどうかを推定判断する推定判断手段と
   を具備したことを特徴とする居眠り運転防止装置。
2. 前記データ選択手段が、前記各顔面画像データの内、顔面画像内の顔構成要素の配置領域が水平方向に関して顔面画像内で最も中央に近い位置にある顔面画像データを選択する手段である請求項１に記載の居眠り運転防止装置。
3. 前記推定判断手段が、居眠り推定要素として上下の瞼の位置を検出し、閉眼状態が所定時間以上継続しているか否かに基づいて前記運転者が居眠り状態に陥ったかどうかを推定判断する手段である請求項１又は請求項２に記載の居眠り運転防止装置。
4. 前記３台のカメラの内、１台はカメラ以外の各機能部分と共に本体部に搭載されており、他の２台は前記本体部にケーブル接続された構成からなる請求項１、請求項２又は請求項３に記載の居眠り運転防止装置。

Images