JP2006315636A

JP2006315636A - 安全確認履行検出装置

Info

Publication number: JP2006315636A
Application number: JP2005143115A
Authority: JP
Inventors: Masayuki Kaneda; 雅之金田; Kinya Iwamoto; 欣也岩本; Haruo Matsuo; 治夫松尾
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2005-05-16
Filing date: 2005-05-16
Publication date: 2006-11-24

Abstract

【課題】動きの速い安全確認履行動作、動きの大きい安全確認履行動作を確実に検出する。
【解決手段】近赤外光照明器１によって、運転者の頭部に照明された近赤外光のうち、運転者の頭部を支えるヘッドレスト３０の頭部受け面３０ａに設けられた近赤外光センサ２で、運転者の頭部によって遮光されることなく到達した近赤外光の光強度レベルを検出する。動き検出回路３は、この検出された近赤外光の光強度レベルに基づいて、運転者の頭部の動きを検出する。そして、安全確認履行判定回路１１は、検出された頭部の動きが、走行状況に対応した安全確認の履行を示す動きであるかどうかを判定する。
【選択図】図１

Description

本発明は、車両走行中における運転者の安全確認履行動作を検出する安全確認履行検出装置に関する。

車両運転中の運転者の視覚による安全確認は、快適な車両走行を実現する上で重要な行為であり、運転免許取得のための教習段階でも徹底した指導がなされている。

しかしながら、実際、運転者が、この視覚による安全確認を、適切な場面で確実に履行しているとはいえず、この安全確認の不履行が、快適な車両走行を阻害する原因の一つであるとされている。

そこで、車両側から運転者に対して安全確認の履行を促すための技術が開示されている（例えば、特許文献１、特許文献２参照。）。

特許文献１では、運転者の視線を追跡し、追跡した運転者の視線に基づき、運転者が、運転中に何か考え事などをして漫然と運転している状態であるかどうかを判定している。この特許文献１で開示されている技術を適用すると、運転者が、車両を漫然と運転していると判定された場合には、警報などで運転者に対して、その旨を報知することで、事故防止をすることができる。

また、特許文献２では、車両の走行環境に基づいて運転者に要求される視線領域を予測して、実際の運転者がこの視線領域を見たかどうかを判定することで、運転者がとるべき注意行動を監視する。この特許文献２開示されている技術を適用すると、監視結果に応じて、警報などで運転者に対して、その旨を報知することで、事故防止をすることができる。
特許３２５７３１０号公報特開２００２−８３４００号公報

特許文献１、特許文献２で開示された技術では、車両内に固定的に設置されたカメラによって撮像された運転者の眼といった顔の特定部位の画像を画像処理することで、運転者の視線方向や、顔の向きを検出していた。

運転者が、実際に安全確認を履行する際には、非常に速い速度で顔を動かしたり、大きな動作をすることがある。したがって、固定的に設置されたカメラでは、顔の特定部位の動きを追跡することができない場合や、特定部位の位置がカメラの撮像範囲外となってしまう場合があり、運転者の視線方向や顔の向きを確実に検出することができないことがある。

このような場合には、運転者が、安全確認を履行したかどうかを判別することは非常に困難であるため、判別された結果も精度の低い結果となってしまう。

そこで、本発明は、上述したような問題を解決するために案出されたものであり、車両を運転する運転者による動きの速い安全確認履行動作や、動きの大きな安全確認履行動作までも確実に検出することができる安全確認履行検出装置を提供することを目的とする。

本発明の安全確認履行検出装置は、運転者の頭部を所定の波長帯域の照明光で照明する照明手段と、前記照明手段によって照明された照明光のうち、前記運転者の頭部によって遮光されることなく到達した光を検出する検出手段と、前記検出手段によって検出された検出結果に基づいて、運転者の頭部の動きを検出する動き検出手段と、車両の走行環境情報を検出する走行環境検出手段と、前記走行環境検出手段によって検出された前記走行環境情報に基づいて、前記車両の現在の走行状況が、運転者による安全確認が必要な走行状況であるかどうかを特定する走行状況特定手段と、前記走行状況特定手段によって前記車両の現在の走行状況が、運転者による安全確認が必要な走行状況であると特定された場合に、前記動き検出手段によって、検出された運転者の頭部の動きが、前記特定された走行状況に対応した安全確認の履行を示す動きであるかどうかを判定する安全確認履行判定手段とを備えることにより、上述の課題を解決する。

また、本発明の安全確認履行検出装置は、所定の波長帯域の照明光で、運転者の頭部を照明した際に、前記運転者の頭部によって遮光されることなく到達した光を検出した検出結果に基づいて、前記運転者の頭部の動きを検出し、車両の走行環境情報に基づいて、前記車両の現在の走行状況が、運転者による安全確認が必要な走行状況であると特定された場合に、検出された前記運転者の頭部の動きが、前記特定された走行状況に対応した安全確認の履行を示す動きであるかどうかを判定することにより、上述の課題を解決する。

本発明の安全確認履行検出装置は、照明手段によって、運転者の頭部に照明された照明光のうち、運転者の頭部によって遮光されることなく到達した光を検出することで、運転者の頭部の動きを検出し、運転者による安全確認が必要な走行状況である場合に、検出された頭部の動きが、前記走行状況に対応した安全確認の履行を示す動きであるかどうかを判定する。

これにより、運転者が、顔を速く動かすことで安全確認を履行した場合や、顔を大きく動かすことで安全確認を履行した場合であっても、確実に頭部の動きを検出することができるため、運転者が安全確認を履行したのか、履行していないのかという判定を高い精度で判定することを可能とする。

したがって、運転者が、走行状況に応じて要求される安全確認を履行しなかった場合に、確実に安全確認を履行するように促すことができるため、快適な車両走行を提供することを可能とする。

以下、本発明の実施の形態について図面を参照して説明する。

［第１の実施の形態］
まず、図１を用いて、本発明の第１の実施の形態として示す安全確認履行検出装置の構成について説明をする。

図１に示すように安全確認履行検出装置は、近赤外光照明器１と、近赤外光センサ２と、動き検出回路３と、ナビゲーションシステム４と、車速センサ５と、操舵角センサ６と、アクセルセンサ７と、Ｔ／Ｍシフト位置センサ８と、ウインカースイッチセンサ９と、ブレーキスイッチセンサ１０と、安全確認履行判定回路１１と、報知装置１２とを備えている。

安全確認履行検出装置は、車両に搭載され、車両操作における安全確認が必要な場面での運転者の安全確認不履行を検出し、運転者に注意を促すことができる。

近赤外光照明器１は、近赤外波長領域の近赤外光を照明する照明器である。近赤外光照明器１は、近赤外光センサ２が設けられた運転席（運転者用シート）のヘッドレスト３０方向を近赤外光で照明する。例えば、近赤外光照明器１は、近赤外光を発光する光源として、複数個の近赤外発光ダイオードを備えている。

近赤外光照明器１は、例えば、図２に示すように、車両のダッシュボード４０上の領域４１のように、ステアリングホイール３１と重ならずに、ステアリングホイール３１の外周よりも外側となる運転者の斜め前方方向から照明することができる位置に設置する。

後で詳細に説明するように、近赤外光照明器１から出射された近赤外光は、ヘッドレスト３０の頭部受け面３０ａに設けられた近赤外光センサ２によって受光されるが、頭部受け面３０ａの前方には、運転者の頭部が存在する。

したがって、運転者の頭部によって、近赤外光が遮られることにより、近赤外光センサ２で検出される近赤外光の光強度レベルが変化するため、運転者の頭部の動きを検出することができる。

そこで、図２に示すように、近赤外光センサ２が設けられたヘッドレスト３０方向を照明する近赤外光の照明方向が、左右方向、斜め前方からとなるように、近赤外光照明器１を設置することで、運転者の頭部の前後方向への動きをより的確に捉えることができる。

また、例えば、近赤外光照明器１を、ダッシュボード４０の領域４２に設置すると、ステアリングホイール３１や、運転者の腕の位置などによって、所望する箇所への近赤外光の照明が妨げられてしまう。

以上のような理由から、領域４２のような箇所へ、近赤外光照明器１を設置することは避け、領域４１のように、運転者の頭部を、左右方向、斜め前方から照明することができるような位置に、近赤外光照明器１を設置する。

実際には、ダッシュボード４０は、近赤外光センサ２を取り付けたヘッドレスト３０よりも下方に存在するため、近赤外光照明器１は、運転者の頭部に対して、左右方向の斜め前方且つ下方から、近赤外光を出射する位置に設置されることになる。

近赤外光センサ２は、近赤外光照明器１から出射された近赤外光を感知するフォトダイオードなどの受光素子であり、運転席（運転者用シート）のヘッドレスト３０の頭部受け面３０ａに、複数設けられている。近赤外光センサ２で検出された検出値は、動き検出回路３に出力される。近赤外光センサ２のヘッドレスト３０への設置の仕方については、後で詳細に説明をする。

動き検出回路３は、ヘッドレスト３０に設けられた近赤外光センサ２で検出された近赤外光の光強度レベルの変化から、運転者の頭部の動きを検出する。動き検出回路３による、運転者の頭部の頭部の動きを検出する原理については、後で詳細に説明をする。

ナビゲーションシステム４は、ＧＰＳ（Global Positioning System）などにより、当該安全確認履行検出装置が搭載された車両の現在地位を算出し、例えば、地図データから描画された車両の現在位置に対応する地図を表示することで、所望の目的地までの経路案内をする。ナビゲーションシステム４は、車両の走行環境を検出する。ナビゲーションシステム４は、算出した車両の現在の位置を示す現在位置情報や、道路の状態や形状などを示す道路形態情報を、安全確認履行判定回路１１に出力する。

車速センサ５は、変速機の出力側の回転数や車輪の回転数を計測することで車両速度を検出する。車速センサ５は、検出した車両速度を車速信号として安全確認履行判定回路１１に出力する。

操舵角センサ６は、運転者の現在の操舵状況（現在の操舵角）を検出するためのセンサである。具体的には、操舵角センサ６は、車両のステアリングホイールと一体で回転するステアリングシャフトの回転変位を直接又はギヤ機構等により増幅した後、ロータリエンコーダやポテンショメータ等の角度検出機構によって、現在の操舵角を操舵角検出信号として検出する。操舵角センサ６は、検出した操舵角を操舵角信号として安全確認履行判定回路１１に出力する。

アクセルセンサ７は、車両のアクセル開度を検出するセンサである。アクセルセンサ７は、アクセル開度をアクセル開度信号として安全確認履行判定回路１１に出力する。

Ｔ／Ｍシフト位置センサ８は、車両のトランスミッションのギヤの組み合わせを変えるシフトレバーの位置を検出するセンサである。Ｔ／Ｍシフト位置センサ８は、シフト位置をシフト位置信号として安全確認履行判定回路１１に出力する。

ウインカースイッチセンサ９は、車両に搭載されたウインカー（ターンシグナルランプ）に点滅指示があったかどうかを検出するセンサである。ウインカースイッチセンサ９は、点滅指示をウインカースイッチ信号として安全確認履行判定回路１１に出力する。

ブレーキスイッチセンサ１０は、車両のブレーキペダルの踏み込みを検出するセンサである。ブレーキスイッチセンサ１０は、ブレーキペダルの踏み込みをブレーキスイッチ信号として安全確認履行判定回路１１に出力する。

安全確認履行判定回路１１は、動き検出回路３、ナビゲーションシステム４、車速センサ５、操舵角センサ６、アクセルセンサ７、Ｔ／Ｍシフト位置センサ８、ウインカースイッチセンサ９、ブレーキスイッチセンサ１０などから出力された値で示される走行環境情報に基づき、現在の車両の走行状況が、車両操作における安全確認が必要な状況であるかどうかを特定する。

そして、安全確認履行判定回路１１は、現在の車両の走行状況を、安全確認が必要な走行状況であると特定した場合、動き検出回路３によって検出される運転者の頭部の動きから、運転者が、安全確認を履行したか、安全確認を怠った（安全確認不履行）かどうかを判定する。

安全確認履行判定回路１１は、安全確認の履行、不履行を判定した判定結果を報知装置１２に出力する。

報知装置１２は、安全確認履行判定回路１１から出力された判定結果に基づき、例えば、運転者が安全確認を怠った場合には、警報をならすなどして運転者に注意を喚起する。

続いて、動き検出回路３による運転者の頭部の動きを検出する原理について説明をする。運転者が、車両に搭乗して運転席（運転者用シート）に着座すると、運転者の頭部は、ヘッドレスト３０の頭部受け面３０ａ、前面に位置することになる。

ところで、図３（ａ）、（ｂ）は、それぞれ運転者の頭部Ｘが、正面を向いている場合、右前方を向いている場合に、ヘッドレスト３０へ向けて近赤外光照明器１によって近赤外光を照明した様子を示した図である。

図３（ａ）に示すように、運転者の頭部Ｘが正面を向いている場合、ヘッドレスト３０を照明した近赤外光は、頭部Ｘに遮られることで、ヘッドレスト３０の頭部受け面３０ａの領域ａ１には到達せず、領域ｂ１のみに到達することになる。

また、図３（ｂ）に示すように、運転者の頭部Ｘが右前方を向いている場合、ヘッドレスト３０を照明した近赤外光は、頭部Ｘに遮られることで、ヘッドレスト３０の頭部受け面３０ａの領域ａ２には到達せず、領域ｂ２のみに到達することになる。

図３（ｂ）に示すように、運転者が、頭部Ｘを右前方に動かす動作は、例えば、車両走行中に、見通しの悪い交差点などに差し掛かった場合に、一旦停止して右側方の安全確認を履行する際の動作と一致する。

このように、運転者が、視覚的な安全確認を履行する際の頭部Ｘの動きは、左右方向への動きが大きく、頭部Ｘの動きによって、近赤外光が遮られる領域、言い換えれば、ヘッドレスト３０の頭部受け面３０ａに到達する近赤外光の領域が変化する。

そこで、図４に示すように、ヘッドレスト３０の頭部受け面３０ａの左右方向に、複数の近赤外光センサ２を、所定間隔で、少なくともライン状に配置すると、安全確認を履行する際の運転者の頭部の動きに応じて、近赤外光センサ２で検出される近赤外光の光強度レベルが変化する。したがって、動き検出回路３は、この近赤外光センサ２からの検出値を受け取ることで、運転者が、安全確認を履行したかどうかを判定することができる。

また、動き検出回路３は、近赤外光センサ２の光強度レベルの変化パターンを検証することで、運転者がどのような安全確認を履行したかを推定することもできる。

また、図５に示すように、ヘッドレスト３０の頭部受け面３０ａに、複数の近赤外光センサ２を、マトリクス状に２次元配置させると、運転者の頭部の動き検出の精度を上げることができる。

図６（ａ）、（ｂ）、（ｃ）は、それぞれ運転者の頭部Ｘが、正面を向いている場合、左後方を向いている場合、右後方を向いている場合の様子を示した図である。図６（ａ）、（ｂ）、（ｃ）に示すように、運転者の頭部Ｘの動きに応じて、ヘッドレスト３０の頭部受け面３０ａには、頭部Ｘによる影ｓｈ１、ｓｈ２、ｓｈ３が形成されることになる。

そこで、図５に示すように、頭部受け面３０ａに、複数の近赤外光センサ２をマトリクス状に配置させた場合、図６（ａ）、（ｂ）、（ｃ）で示したような運転者の頭部Ｘによる影の部分と、近赤外光照明器１から出射された近赤外光が当たっている部分との光強度レベルの違いを明確に検出することができる。

したがって、動き検出回路３は、近赤外光センサ２による検出値から、運転者の頭部Ｘの動きを、頭部Ｘの形として捉えることができるため、運転者がどうのような安全確認を履行したかを精度よく推定することができる。

ところで、太陽光には、近赤外光成分が含まれているため、ヘッドレスト３０の頭部受け面３０ａに設けられた近赤外光センサ２は、太陽が現れている昼間の時間帯において、この近赤外光成分まで検出してしまう虞がある。

このように、近赤外光センサ２で、太陽光の近赤外光成分まで検出してしまった場合には、運転者の頭部Ｘの動きを正確に検出することができない可能性がある。

そこで、太陽光に含まれる近赤外光成分と、近赤外光照明器１から出射される近赤外光とを区別する必要がある。以下に、その具体的な手法を示す。

まず、図７に示すように、近赤外光センサ２の受光面を、ヘッドレスト３０より下方に設置されている近赤外光照明器１から出射される近赤外光の光軸と垂直となるように下方へ角度をつけて、近赤外光センサ２をヘッドレスト３０内に埋設する。

このとき、近赤外光センサ２を、ヘッドレスト３０内に、ある程度の深さで埋設させることで、ヘッドレスト３０の下方から照射されることのない太陽光の近赤外光成分を、近赤外光センサ２で検出できないようにする。

つまり、近赤外光センサ２の近赤外光を検出する検出範囲を、上述したように近赤外光照明器１から出射される近赤外光のみに制限することで、近赤外光センサ２に、近赤外光照明器１の出射方向に応じた検出指向性を持たせるようにしている。

上述したように、近赤外光センサ２の受光面と、近赤外光照明器１から出射される近赤外光の光軸とは、垂直となっているため、近赤外光センサ２は、近赤外光照明器１から出射される近赤外光を確実に受光することができる。

これにより、近赤外光センサ２は、運転者の頭部の動きを検出する際に必要となる近赤外光照明器１から出射される近赤外光のみを検出し、必要のない太陽光の近赤外光成分を排除することができる。

また、近赤外光照明器１から出射する近赤外光をパルス発光させることで、近赤外光センサ２で受光されてしまう可能性のある太陽光の近赤外光成分と区別することもできる。つまり、動き検出回路３は、近赤外光センサ２から、周期的なパルス信号が出力された場合に、近赤外光照明器１から出射された近赤外光が受光されたことを把握できるため、この時だけ運転者の頭部の動きを検出するようにする。

また、このように、近赤外光照明器１から出射する近赤外光をパルス発光させると、光源として、近赤外発光ダイオードを用いた場合に、この近赤外発光ダイオードのパルス発振により、発熱量を低減させることができる。したがって、近赤外光照明器１への電流増加を見込めるため、発光強度を高めることができ、近赤外光センサ２による検出精度の向上を図ることができる。

続いて、図８に示すフローチャートを用いて、安全確認履行検出装置の処理動作について説明をする。

図８に示すフローチャートでは、一例として、車両発進時において、運転者に要求される右後方を含む右方向の目視による安全確認を履行する場合について説明をする。

まず、ステップＳ１において、車両の走行環境を示す情報として、ナビゲーションシステム４で取得される情報、各種センサで検出される検出値が、安全確認履行判定回路１１へ供給される。

以下に示す、ステップＳ２〜ステップＳ６までの工程は、安全確認履行判定回路１１に供給される情報、検出値に基づき、安全確認履行判定回路１１によって、車両が停止状態にあるのか、駐車状態からの発進時であるのかどうかを判定する工程である。

ステップＳ２において、安全確認履行判定回路１１は、ナビゲーションシステム４から出力される、ＧＰＳによって測定された位置情報と、現在車両が走行している走行路の道路形態情報から、現在車両が走行している走行路が、単路で且つ路肩であるかどうかを判定する。安全確認履行判定回路１１は、単路で且つ路肩である場合は、工程をステップＳ３へと進め、そうでない場合は、工程をステップＳ１４へと進める。

ステップＳ３において、安全確認履行判定回路１１は、Ｔ／Ｍシフト位置センサ８から出力されるシフトスイッチ信号に基づき、シフトレバーの位置が、車両が運転状態であることを示すＤ（Drive）レンジであるのかどうかを判定する。安全確認履行判定回路１１は、シフトレバーの位置が、Ｄレンジである場合は、工程をステップＳ４へと進め、そうでない場合は、工程をステップＳ１４へと進める。

ステップＳ４において、安全確認履行判定回路１１は、車速センサ５から出力される車速信号に基づき、車両が停止状態であるのかどうかを判定する。安全確認履行判定回路１１は、車両が停止状態である場合には、工程をステップＳ５へと進め、そうでない場合は、工程をステップＳ１４へと進める。

ステップＳ５において、安全確認履行判定回路１１は、ウインカースイッチセンサ９から出力されるウインカースイッチ信号に基づき、車両の右方向への旋回を報知する右ウインカーが動作しているかどうかを判定する。安全確認履行判定回路１１は、右ウインカーが動作している場合には、工程をステップＳ６へと進め、そうでない場合は、工程をステップＳ１４へと進める。

ステップＳ６において、安全確認履行判定回路１１は、ブレーキスイッチセンサ１０から出力されるブレーキスイッチ信号に基づき、ブレーキペダルが踏み込まれていないのかどうかを判定する。安全確認履行判定回路１１は、ブレーキペダルが踏み込まれていない場合（ＯＦＦ）には、工程をステップＳ１２へと進め、そうでない場合、つまりブレーキペダルが踏み込まれている場合（ＯＮ）は、工程をステップＳ７へと進める。

ステップＳ６の工程は、ブレーキペダルが踏み込まれた車両の発進間際の状態であるかどうかを判定している。つまり、ステップＳ７へ工程が進む場合、車両は、ブレーキペダルが踏み込まれた発進間際の状態となっている。

ステップＳ７において、安全確認履行判定回路１１は、安全確認履行フラグが立っているかどうかを判定する。安全確認履行判定回路１１は、安全確認履行フラグが立っている場合（ＯＮ）には、工程をステップＳ１１へと進め、そうでない場合には、工程をステップＳ８へと進める。

ステップＳ７の工程は、車両の発進準備が整い、ブレーキペダルが踏み込まれた状態で、運転者が、右後方を含む右方向の安全確認をすでに履行しているかどうかを判定している。

ステップＳ８において、安全確認履行判定回路１１は、動き検出回路３からの検出結果に基づいて、運転者が、右後方を含む右方向の安全確認を履行したかどうかを判定する。安全確認履行判定回路１１は、運転者によって右後方を含む右方向の安全確認が履行されたと判定した場合には、工程をステップＳ９へと進め、そうでない場合には、一旦、このルーチンを抜けて、ステップＳ１からの工程を繰り返す。

ステップＳ９において、安全確認履行判定回路１１は、運転者による右後方を含む右方向の安全確認が履行されたことに応じて、安全確認履行フラグをＯＮにする。

ステップＳ１０において、安全確認履行判定回路１１は、当該安全確認履行判定回路１１が保持する図示しないタイマーによる計時を開始する。このタイマーによる計時は、ステップＳ８において、運転者によって右後方を含む右方向の安全確認が履行され、ステップＳ９において、ＯＮされた安全確認履行フラグの有効期限をカウントするために行われる。

一般に、路肩に一旦停止させた車両を発進させ、走行車線に戻ろうとする場合、特に、戻ろうとする走行車線を、他の車両が頻繁に走行している場合には、その発進タイミングが非常に重要となってくる。

このように、時々刻々と変化する道路状況において、運転者が、右後方を含む右方向の安全確認を履行してから、車両を発進させるまでのタイミングが、良好に走行車線へと戻るための重要な要因となっている。

したがって、ステップＳ８、ステップＳ９において、車両を発進させる前に、運転者が右後方を含む右方向の安全確認を履行したとしても、発進タイミングがずれてしまった場合には、安全確認を履行したことが無意味になってしまう。

そこで、安全確認履行判定回路１１は、安全確認履行フラグをＯＮとした後に、図示しないタイマーによって計時を開始し、所定の時間内に、車両を発進させなかった場合には、発進タイミングがずれたと見なし、安全確認履行フラグをＯＦＦにし、安全確認を履行したことを取り消す。

つまり、安全確認履行フラグには、有効期限があり、安全確認履行判定回路１１は、図示しないタイマーによって計時することで、この有効期限をカウントし、有効期限を経過してしまった安全確認履行フラグを無効とする。

安全確認履行判定回路１１は、ステップＳ１０の工程が終了すると、一旦、このルーチンを抜けて、ステップＳ１からの工程を繰り返す。

ステップＳ１１において、安全確認履行判定回路１１は、図示しないタイマーで計時されている時間が、所定の時間内かどうか判定をし、安全確認履行フラグの有効、無効を判定する。

安全確認履行判定回路１１は、タイマーによって計時された時間が、所定の時間内であった場合には、一旦、このルーチンを抜けて、ステップＳ１からの工程を繰り返す。また、安全確認履行判定回路１１は、タイマーによって計時された時間が、所定の時間内でなかった場合には、工程をステップＳ１４へと進める。

ステップＳ１２において、安全確認履行判定回路１１は、ステップＳ６において、ブレーキペダルが踏み込まれていないことに応じて、安全確認履行フラグがＯＮであるかどうかを判定する。

この時点での車両は、路肩にて停止状態で、シフトレバーがＤレンジとされ、右ウインカーが点滅している状態である。ここで、ブレーキペダルの踏み込みがないということは、アクセルペダルを踏み込もうとしている段階である。

安全確認履行判定回路１１は、安全確認履行フラグがＯＮである場合には、工程をステップＳ１４へと進め、そうでない場合には、工程をステップＳ１３へと進める。

このとき、安全確認履行フラグが、ＯＮの場合には、車両は、発進する。

ステップＳ１３において、安全確認履行判定回路１１は、安全確認履行フラグがＯＮでないことに応じて、報知装置１２を制御し、ブレーキペダルの踏み込みを外して、アクセルペダルを踏み込もうとしている運転者に対して、右後方を含む右方向の安全確認の履行を促す注意喚起を行う。

ステップＳ１４において、安全確認履行判定回路１１は、安全確認履行フラグをＯＦＦにし、図示しないタイマーによる計時をストップさせ、さらに計時された時間をリセットする。

このステップＳ１４の工程は、この処理ルーチンを繰り返す中で、車両が発進した場合、運転者に注意喚起をした場合、シフトレバーの位置がＤレンジ以外になった場合、ウインカーがＯＦＦになった場合にも、発進準備操作が中止されたとして、実行されることになる。

このようにして、本発明の第１の実施の形態として示す安全確認履行検出装置は、安全確認履行判定回路１１によって、走行環境情報に基づき、現在の走行状況が安全確認を必要とする走行状況であると特定された場合に、動き検出回路３によって検出される運転者の頭部の動きが、特定された走行状況に対応した安全確認の履行を示す動きであるかどうかを判定することができる。

上述したように、動き検出回路３は、近赤外光照明器１から照明される近赤外光のうち、運転者の頭部で遮光された近赤外光成分のみを、ヘッドレスト３０の頭部受け面３０ａに設置された近赤外光センサ２により検出し、その光強度レベルの変化を捉えることで、運転者の頭部の動きを検出している。

したがって、運転者が、非常に速い動作をした場合でも検出の応答遅れがなく、大きな動作で安全確認を履行した場合でも、検出範囲外となることはないため、確実に運転者の頭部の動きを検出することができる。

続いて、図９、図１０、図１１、図１２に示すフローチャートを用いて、車線変更をする際の安全確認の履行、交差点での右折に伴う安全確認の履行、巻き込み防止を目的とした安全確認の履行、出会い頭での事故防止を目的とした安全確認の履行といった、車両操作において代表的な安全確認を履行する際の、安全確認履行検出装置の処理動作について説明をする。

なお、ここで示す安全確認の履行動作は、図８に示したフローチャートと同様に、一例であって、本発明は、このような特定の安全確認の履行に限定されるものではない。したがって、本発明は、車両走行に伴うあらゆる安全確認を履行する際において、動き検出回路３により運転者の頭部の動きを検出し、安全確認履行判定回路１１によって、走行状況に対応した的確な安全確認が履行されたのかどうかを判定することができる。

また、図８、図９、図１０、図１１に示すフローチャートで説明される第１の実施の形態として示す安全確認履行検出装置の処理動作は、後述する第２の実施の形態、第３の実施の形態、第４の実施の形態として示す安全確認履行検出装置の処理動作と全く同じである。

まず、図９に示すフローチャートを用いて、右方向への車線変更を行う際に、右方向を走行する車両や、右後方から接近する車両との接触の防止を目的として、安全確認の履行を促す安全確認履行検出装置の動作について説明する。

まず、安全確認履行判定回路１１は、各種センサ、ナビゲーションシステム４から、車両走行環境情報を取得する（ステップＳ２１）。

続いて、安全確認履行判定回路１１は、ナビゲーションシステム４から取得される、車両の現在位置情報と、道路情報とから単路かどうかを判定し（ステップＳ２２）、Ｔ／Ｍシフト位置センサ８からの検出値に基づいて、シフトレバーがＤレンジであるかどうかを判定し（ステップＳ２３）、車速センサ５からの検出値に基づいて、車両走行状態であるのかを判定し（ステップＳ２４）、ウインカースイッチセンサ９からの検出値に基づいて、右ウインカーがＯＮ状態とされることで、右方向の車線変更準備状態となっているかどうかを判定し（ステップＳ２５）、操舵角センサ６からの検出値に基づいて、ステアリングホイールが右方向に操舵されたかどうかを判定（ステップＳ２６）する。

さらに、安全確認履行判定回路１１は、ステアリングホイールが右方向に操舵される前に、車両の右後方を含む右方向の安全確認が履行されたかどうかを判定し（ステップＳ２７、ステップＳ２８）、された場合には、安全確認履行フラグをＯＮにする（ステップＳ２９）。

また、安全確認履行判定回路１１は、ステアリングホイールが右方向に操舵された場合には、安全確認が履行されたかどうかを判定し（ステップＳ３０）、されていない場合には、報知装置１２を介して運転者に注意喚起する（ステップＳ３１）。

この処理ルーチンにおいて、車両走行路が単路でない場合、ステアリングホイールを右方向に操舵した場合、シフトレバーがＤレンジ以外の場合、車両停止した場合、右ウインカをＯＦＦにした場合には、安全確認履行フラグをＯＦＦにする（ステップＳ３２）。

次に、図１０に示すフローチャートを用いて、交差点を右折する際に、右折先にいる横断歩道上の歩行者や、右後方から接近する自転車などとの接触防止を目的として、安全確認の履行を促す安全確認履行検出装置の動作について説明をする。

まず、安全確認履行判定回路１１は、各種センサ、ナビゲーションシステム４から、車両走行環境情報を取得する（ステップＳ４１）。

続いて、安全確認履行判定回路１１は、ナビゲーションシステム４から取得される、車両の現在位置情報と、道路情報とから交差点中央付近かどうかを判定し（ステップＳ４２）、Ｔ／Ｍシフト位置センサ８からの検出値に基づいて、シフトレバーがＤレンジであるかどうかを判定し（ステップＳ４３）、車速センサ５からの検出値に基づいて、車両停止状態であるのかを判定し（ステップＳ４４）、ウインカースイッチセンサ９からの検出値に基づいて、右ウインカーがＯＮ状態とされることで、右折待ち状態となっているかどうかを判定し（ステップＳ４５）、ブレーキスイッチセンサ１０からの検出値に基づいて、ブレーキペダルが踏み込まれたのかどうかを判定する（ステップＳ４６）。

さらに、安全確認履行判定回路１１は、ブレーキペダルの踏み込みが外される前に、車両の右後方を含む右方向の安全確認が履行されたかどうかを判定し（ステップＳ４７、ステップＳ４８）、された場合には、安全確認履行フラグをＯＮにする（ステップＳ４９）と共に、タイマーによる計時を開始して（ステップＳ５０）、所定の時間となるまで計時を続け（ステップＳ５１）、安全確認履行フラグの有効期限をカウントする。

また、安全確認履行判定回路１１は、ブレーキペダルの踏み込みが外された場合には、右折を開始する前に、安全確認が履行されたかどうかを判定し（ステップＳ５２）、されていない場合には、報知装置１２を介して運転者に注意を喚起する（ステップＳ５３）。

この処理ルーチンにおいて、車両が交差点中央付近にいない場合、ブレーキペダルの踏み込みを外した場合、シフトレバーがＤレンジ以外の場合、車両停止した場合、右ウインカをＯＦＦにした場合には、安全確認履行フラグをＯＦＦにして、タイマーによる計時をストップさせ、さらに計時された時間をリセットする（ステップＳ５４）。

次に、図１１に示すフローチャートを用いて、交差点を左折する際に、車両左後方から直進してくる２輪車や、左折付近にいる歩行者の巻き込み防止を目的として、安全確認の履行を促す安全確認履行検出装置の動作について説明をする。

まず、安全確認履行判定回路１１は、各種センサ、ナビゲーションシステム４から、車両走行環境情報を取得する（ステップＳ６１）。

続いて、安全確認履行判定回路１１は、ナビゲーションシステム４から取得される、車両の現在位置情報と、道路情報とから車両が交差点に接近中かどうかを判定し（ステップＳ６２）、Ｔ／Ｍシフト位置センサ８からの検出値に基づいて、シフトレバーがＤレンジであるかどうかを判定し（ステップＳ６３）、車速センサ５からの検出値に基づいて、車両走行状態であるのかを判定し（ステップＳ６４）、ウインカースイッチセンサ９からの検出値に基づいて、左ウインカーがＯＮ状態とされることで、左折準備状態となっているかどうかを判定し（ステップＳ６５）、操舵角センサ６からの検出値に基づいて、ステアリングホイールが左方向に操舵されたかどうかを判定（ステップＳ６６）する。

さらに、安全確認履行判定回路１１は、ステアリングホイールが左方向に操舵される前に、車両の左後方を含む左方向の安全確認が履行されたかどうかを判定し（ステップＳ６７、ステップＳ６８）、された場合には、安全確認履行フラグをＯＮにする（ステップＳ６９）。

また、安全確認履行判定回路１１は、ステアリングホイールが左方向に操舵された場合には、安全確認が履行されたかどうかを判定し（ステップＳ７０）、されていない場合には、報知装置１２を介して運転者に注意喚起する（ステップＳ７１）。

この処理ルーチンにおいて、車両が交差点に接近中でない場合、ステアリングホイールを左方向に操舵した場合、シフトレバーがＤレンジ以外の場合、車両停止した場合、左ウインカをＯＦＦにした場合には、安全確認履行フラグをＯＦＦにする（ステップＳ７２）。

さらに、図１２に示すフローチャートを用いて、優先走行することができない無信号交差点を通過する際の、出会い頭の事故防止を目的として、安全確認の履行を促す安全確認履行検出装置の動作について説明をする。

まず、安全確認履行判定回路１１は、各種センサ、ナビゲーションシステム４から、車両走行環境情報を取得する（ステップＳ８１）。

続いて、安全確認履行判定回路１１は、ナビゲーションシステム４から取得される、車両の現在位置情報と、道路情報とから、無信号交差点において優先走行をすることできない状態であるかどうかを判定し（ステップＳ８２）、Ｔ／Ｍシフト位置センサ８からの検出値に基づいて、シフトレバーがＤレンジであるかどうかを判定し（ステップＳ８３）、車速センサ５からの検出値に基づいて、車両停止状態であるのかを判定し（ステップＳ８４）、ブレーキスイッチセンサ１０からの検出値に基づいて、ブレーキペダルの踏み込みが外されたのかどうかを判定する（ステップＳ８５）。

さらに、安全確認履行判定回路１１は、ブレーキペダルの踏み込みが外される前に、車両の左右方向の安全確認が履行されたかどうかを判定し（ステップＳ８６、ステップＳ８７）、された場合には、安全確認履行フラグをＯＮにする（ステップＳ８８）と共に、タイマーによる計時を開始して（ステップＳ８９）、所定の時間となるまで計時を続け（ステップＳ９０）、安全確認履行フラグの有効期限をカウントする。

また、安全確認履行判定回路１１は、ブレーキペダルの踏み込みが外された場合には、交差点への進入を開始する前に、安全確認が履行されたかどうかを判定し（ステップＳ９１）、されていない場合には、報知装置１２を介して運転者に注意を喚起する（ステップＳ９２）。

この処理ルーチンにおいて、無信号交差点において優先走行をできる場合、ブレーキペダルの踏み込みを外した場合、シフトレバーがＤレンジ以外の場合、車両走行した場合には、安全確認履行フラグをＯＦＦにして、タイマーによる計時をストップさせ、さらに計時された時間をリセットする（ステップＳ９３）。

ところで、見通しの悪い交差点などでは、通常の交差点などで行う左右方向の安全確認を履行するだけでは不十分なことがある。見通しの悪い交差点などでは、運転者は、通常の位置から身を乗り出し、頭部をフロントガラス方向へと近づけて、前方の視界を広げてから左右方向の安全確認を履行することが望ましい。

本発明の第１の実施の形態として示す安全確認履行検出装置では、このような見通しの悪い交差点などにおける安全確認の履行を検出することができる。

図１３は、運転者が頭部Ｘを正面を向けている状態を示した図である。見通しのよい直線の走行路を走行している場合には、運転者の頭部Ｘの状態は、図１３に示すようになる。

図１４（ａ）、（ｂ）は、どちらも運転者が頭部Ｘを右方向へ向けた際の様子を示した図である。図１４（ａ）では、通常の見通しのよい交差点を右折するような場合に、運転者が、頭部Ｘを右方向に傾け、安全確認を履行している様子を示しており、図１４（ｂ）では、見通しの悪い交差点を右折するような場合に、運転者が、頭部Ｘを右方向に傾け、安全確認を履行している様子を示している。

また、図１５（ａ）では、通常の見通しのよい交差点を左折するような場合に、運転者が、頭部Ｘを左方向に傾け、安全確認を履行している様子を示しており、図１５（ｂ）では、見通しの悪い交差点を左折するような場合に、運転者が、頭部Ｘを左方向に傾け、安全確認を履行している様子を示している。

図１４（ａ）、（ｂ）、又は図１５（ａ）、（ｂ）から分かるように、見通しのよい交差点での安全確認した場合と、見通しの悪い交差点で安全確認した場合は、どちらも運転者の頭部Ｘの動きは、変わらない。

しかしながら、運転者が身を乗り出すことで頭部Ｘが前方向に移動したことにより、ヘッドレスト３０の頭部受け面３０ａに形成される影の濃さに違いが生じている。具体的には、ヘッドレスト３０の頭部受け面３０ａ側に頭部Ｘが近い場合には、頭部Ｘによって形成される影が濃く、頭部Ｘが離れた場合には、頭部Ｘによって形成される影が薄くなっている。

そこで、上述した図５に示すように、複数の近赤外光センサ２をマトリクス状に配置した場合には、頭部Ｘの前後方向の位置の違いによって、頭部受け面３０ａに形成される影領域の近赤外光センサ２で検出される近赤外光の光強度レベルに違いを明確に検出することができるため、運転者が見通しの悪い交差点において、確実に安全確認を履行しているのかどうかを判定することができる。

具体的には、運転者の頭部Ｘが前方にある場合に、ヘッドレスト３０の頭部受け面３０ａに形成される影領域の光強度は、頭部Ｘが後方にある場合に形成される影領域の光強度に較べて強く検出されることになる。

このようにして、本発明の第１の実施の形態として示す安全確認履行検出装置は、見通しの悪い交差点などにおける運転者の安全確認の履行状況を確実に検出しすることができる。

上述したように、第１の実施の形態として示す安全確認履行検出装置では、ヘッドレスト３０の頭部受け面３０ａに設けた近赤外光センサ２で、運転者の頭部の動き応じて変化する影の形、影の濃淡を検出することで、運転者の頭部の動きを検出している。

したがって、運転席（運転者用シート）の後方にいる車両の同乗者が、ヘッドレスト３０の頭部受け面３０ａを手などで覆った場合、例え、それが頭部を動かすことで安全確認を履行した場合のあるパターンと瞬間的に一致していたとしても、頭部の時系列的な動きとは一致しないため、誤検出を招くことはない。

以上、詳細に説明したように、本発明の第１の実施の形態として示す安全確認履行検出装置は、安全確認履行判定回路１１によって、走行環境情報に基づき、現在の走行状況が安全確認を必要とする走行状況であると特定された場合に、動き検出回路３によって検出される運転者の頭部の動きが、特定された走行状況に対応した安全確認の履行を示す動きであるかどうかを判定することができる。

動き検出回路３は、近赤外光照明器１から照明される近赤外光のうち、運転者の頭部で遮光されることなく到達した近赤外光のみを、ヘッドレスト３０の頭部受け面３０ａに設置された近赤外光センサ２により検出し、その光強度レベルの変化を捉えることで、運転者の頭部の動きを検出している。

また、図示しないが、近赤外光照明器１と、ヘッドレスト３０の頭部受け面３０ａに設けた近赤外光センサ２とを入れ替えた場合でも、動き検出回路３は、運転者の頭部の動きを同様の原理により検出することができる。

つまり、図１において、近赤外光照明器１が設置されている位置に、複数の近赤外光センサ２を設置し、同じく図１において、ヘッドレスト３０の頭部受け面３０ａの近赤外光センサ２が設置されている位置に、複数の近赤外光照明器１を設置するようにする。

動き検出回路３は、複数の近赤外光照明器１によって、ヘッドレスト３０側から照明され、運転者の頭部で遮光されることなく複数の近赤外光センサ２に到達した近赤外光の光強度レベルを検出することで、運転者の頭部の動きを検出することができる。

このような構成とした場合、運転者の頭部の動きを精度よく検出するには、ヘッドレスト３０の頭部受け面３０ａに複数の近赤外光照明器１を設置する必要があると共に、運転者の前方に設置する近赤外光センサ２も複数必要となるため、図１に示した安全確認履行検出装置の方が、設置スペース、コストの面で優位性がある。

［第２の実施の形態］
次に、図１６を用いて、本発明の第２の実施の形態として示す安全確認履行検出装置のについて説明をする。

第２の実施の形態として示す安全確認履行検出装置では、第１の実施の形態として示した安全確認履行検出装置に、運転者の顔画像を撮像して画像処理することで、運転者の眼の位置を検出し、且つ追跡する処理を付加することで、運転者の安全確認の履行行動を検出する精度を向上させている。

図１６に示す第２の実施の形態として示す安全確認履行検出装置は、図１に示した安全確認履行検出装置に、運転者の顔を撮像する撮像カメラ１３と、撮像カメラ１３で撮像された顔画像を画像処理することで、運転者の眼を追跡する処理装置１４とをさらに備えている。

したがって、図１６に第２の実施の形態として示す安全確認履行検出において、図１を用いて説明した第１の実施の形態として示す安全確認履行検出装置と重複する箇所については、同一符号を付して説明を省略する。

撮像カメラ１３は、撮像部に例えばＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）を備え、運転席（運転者用シート）に着座した運転者の顔を撮像し、撮像した画像データを処理装置１４へ出力する。撮像カメラ１３の設置位置は、運転者の顔画像を撮像することができ、運転者の運転操作を阻害することがなければ、車両内のどの位置であってもよく、例えば、図１６に示すように、運転者の正面などに設置される。

処理装置１４は、撮像カメラ１３から出力された画像データから運転者の眼の位置を検出し、検出した運転者の眼の位置を基準として、眼の追跡を行う。処理装置１４は、眼の追跡を行う際、追跡をしている対象が正しいかどうかを判定する判定処理も行う。

まず、撮像カメラ１３によって撮像された画像データから処理装置１４により運転者の眼の位置を検出する処理について説明をする。

図１７は、処理装置１４によって、眼の位置検出処理に際して実行される初期処理について説明するための図である。なお、図１７は、縦４８０画素、横５１２画素の画像を示した図であり、この図を一例として初期処理について説明をする。

まず、処理装置１４は、縦方向の全ての画素について濃度値のデータを取得し、図１７に示すように、画像の縦方向への濃度値の変化が所定の条件を満たす画素を、各縦ライン上で抽出する。この結果を、２次元ｘｙ平面上にプロットすると、図１８に示すようになる。図１８に示すように、抽出された画素は、運転者の眉、眼、鼻、及び口の位置に対応するものとなっている。

次に、処理装置１４は、隣接する縦ラインにおいて、上下方向に変位の少ない、つまり上下方向で所定の変位内で近接している画素同士をグループ化する。図１９にグループ化した際の様子を示す。これは、横方向に黒く長くなる濃度的な特徴を捉えたものである。

このようにして、処理装置１４は、図１９に示すように、運転者の右眉、左眉、右眼、左眼、鼻及び口の位置を、それぞれに対応した連続データＧ１〜Ｇ６として取得することができる。

続いて、処理装置１４は、図２０に示すようにグループ化された画素に対して、ゾーン化処理を行う。

ゾーン化処理とは、図２０に示すように、連続データＧ１〜Ｇ６として捉えられた顔の特徴量から、縦方向に各特徴量が出現する箇所を１つのゾーンとする処理であり、これにより、特徴量の相対位置関係を知ることができる。例えば、図２０に示すように、連続データＧ１、Ｇ３は、ＺＯＮＥ：Ｌ、連続データＧ５、Ｇ６は、ＺＯＮＥ：Ｃ、連続データＧ２、Ｇ４は、ＺＯＮＥ：Ｒにゾーン化される。

処理装置１４では、このようなゾーン化処理を行うことで、各ゾーンに属する連続データ、つまり顔の特徴量として捉えられた運転者の右眉、右眼と、左眉、左眼と、鼻、口との相対位置関係を判断している。このようにして、処理装置１４は、撮像カメラ１３で撮像された画像から運転者の眼の位置を検出する。

続いて、撮像カメラ１３で撮像された画像データから検出した運転者の眼の位置を基準にして、処理装置１４により実行される運転者の眼の追跡処理について説明をする。処理装置１４は、眼の追跡処理をするにあたり、上述したようにして眼の位置を検出した後、検出した眼の位置の座標位置を記憶し、この座標位置を基準にした追跡領域を、撮像カメラ１３で撮像された画像データに対して設定する。この追跡領域は、撮像カメラ１３で撮像された画像データよりも小さい領域となる。

そして、処理装置１４は、撮像カメラ１３から画像データが出力される毎に、追跡領域内における眼の位置を検出することで、眼の追跡処理を実行する。

次に、図２１（ａ）、（ｂ）、（ｃ）、（ｄ）を用いて、処理装置１４による眼の追跡処理について具体的に説明をする。

図２１（ａ）は、眼の追跡処理をする際の最初の工程において、撮像カメラ１３で撮像された画像データに対して設定された追跡領域を示した図である。図２１（ａ）に示すように、まず、処理装置１４は、眼の位置検出を行った画像フレームと、同一の画像フレームに対して、検出された眼の位置を基準とする座標位置を設定することで追跡領域を設定する。

そして、処理装置１４は、上述した眼の位置検出処理と同様に、追跡領域内の画像データから連続データを抽出し、眼の位置を検出する。

眼の追跡処理は、眼の位置検出処理に較べ、対象となる画像領域が小さくなっており、また、眼の微妙な動きも検出する必要があるため、精度よく連続データを抽出する必要がある。したがって、眼の追跡処理における、連続データ抽出においては、縦ラインの走査間隔密度を図１７で示した縦ラインの走査間隔密度よりも高くする必要がある。

図２１（ａ）に示す眼の追跡処理の初期段階では、眼の位置検出を行った画像フレームと、同一の画像フレームに対して追跡領域を設定しているため、追跡領域内で検出される眼の検出位置は、追跡領域内から検出された眼の検出位置の方が、高い解像度で検出を行っているため、精度アップによる眼の中心位置の若干の補正はあるものの、上述した撮像カメラ１３で撮像された画像データから検出される眼の位置とほぼ同じとなっている。

運転者の顔に動きがあると、例えば、図２１（ｂ）、（ｃ）、（ｄ）に示すように、処理装置１４は、撮像カメラ１３から出力される画像データから、検出される眼の位置に応じて決まる新たな座標位置の追跡領域を、フレーム毎に次々に設定していく。

図２１（ｂ）、（ｃ）、（ｄ）において、実線で示す眼の位置は、今回、撮像カメラ１３で撮像されたフレームの画像データから検出された眼の位置を示しており、破線で示す眼の位置は、前回、撮像カメラ１３で撮像されたフレームの画像データから検出された眼の位置を示している。

処理装置１４は、撮像カメラ１３から出力される画像データより眼の位置が検出された場合、検出された眼の位置を中心として追跡領域を設定する（図２１（ａ））。このときに検出された眼の座標位置を（ｘｋ１，ｙｋ１）とする。

その後、画像が入力された場合、処理装置１４は、（ｘｋ１，ｙｋ１）を中心とする追跡領域内から眼の位置を検出する（図２１（ｂ））。このときに検出された眼の座標位置を（ｘｋ２，ｙｋ２）とする。

そして、処理装置１４は、新たに検出された座標位置（ｘｋ２，ｙｋ２）を中心とする追跡領域を設定する（図２１（ｃ））。

その後、画像が入力された場合、処理装置１４は、（ｘｋ２，ｙｋ２）を中心とする追跡領域内から眼の位置を検出する（図２１（ｃ））。このときに検出された眼の座標位置を（ｘｋ３，ｙｋ３）とする。

そして、処理装置１４は、新たに検出された座標位置（ｘｋ３，ｙｋ３）を中心とする追跡領域を設定する（図２１（ｄ））。

以下、処理装置１４は、撮像カメラ１３からフレーム毎に出力される画像データを取得する度に、設定された追跡領域内から新たに検出された眼の座標位置を取得し、この座標位置を中心とする新たな追跡領域を設定していく。

このようにして、処理装置１４によって、設定された追跡領域は、安全確認履行判定回路１１に出力される。

安全確認履行判定回路１１は、この処理装置１４から出力される追跡領域に基づいて、運転者が安全確認を履行しているかどうかを判定する。

上述したように、顔の動きなどにより眼の位置が大幅に変化すると、図２１（ｂ）に示すようになり、眼の位置の変化が少ないと、図２１（ｃ）、（ｄ）に示すようになる。したがって、ある一方の方向に徐々に眼の位置が変化していく場合については、その方向に順次、眼の追跡領域が更新されるように設定される。また、眼の動きが滞留すると、同じ場所で眼の追跡領域が更新されることになる。

このようにして、撮像カメラ１３で撮像された１フレーム前の画像データから取得される眼の位置情報を基に、眼の追跡領域を更新することで、１フレーム間の眼の動きが追跡領域内に収まる範囲であれば、眼の追跡処理を実行することができる。

したがって、運転者が安全確認などを必要として、右方向又は左方向を見るように安全確認を履行した場合、追跡領域は、図２２（ａ）に示す正面方向を向いている際の追跡領域から、図２２（ｂ）に示す左方向を向いている際の追跡領域、図２２（ｃ）に示す右方向を向いている際の追跡領域へと変化することになる。

図２２（ａ）、（ｂ）、（ｃ）に示すように、正面から、左方向、右方向へと運転者の頭部を動かすことで、右眼の追跡領域は、（ＲＸ１，ＲＹ１）を中心とする座標位置から、（ＲＸ２，ＲＹ２）を中心とする座標位置、（ＲＸ３，ＲＹ３）を中心とする座標位置へと変化する。

また、図２１（ａ）、（ｂ）、（ｃ）に示すように、正面から、左方向、右方向へと運転者の頭部を動かすことで、左眼の追跡領域は、（ＬＸ１，ＬＹ１）を中心とする座標位置から、（ＬＸ２，ＬＹ２）を中心とする座標位置、（ＬＸ３，ＬＹ３）を中心とする座標位置へと変化する。

したがって、追跡領域の変化は、撮像カメラ１３で撮像された画像データ上に設定される座標上において、絶対的な座標変化として現れるため、安全確認履行判定回路１１は、処理装置１４から出力される追跡領域の変化情報を取得することで、運転者がどのような安全確認を履行したのか、又は、必要な場所で安全確認を履行しなかったのかを判定することができる。

また、処理装置１４は、眼の追跡領域内において、眼を示す連続データが検出できたか、検出できなかったのかを安全確認履行判定回路１１に出力する。

処理装置１４から眼を示す連続データが検出できず、眼の動きを正しく追跡できない状態というのは、例えば、運転者の頭部が、速く大きく動いたため、追跡領域内から眼が外れてしまった状態、あるいは頭部の回転動作によって、撮像カメラ１３を設置した位置から運転者の両眼を撮像できない状態などである
本発明の第２の実施の形態として示す安全確認履行検出装置では、動き検出回路３によって検出される運転者の頭部の動きから、安全確認履行判定回路１１により安全確認を履行したかどうかを判定することができる。

そこで、安全確認履行判定回路１１において、上述したように、眼の追跡を正しく実行できないと判定された場合には、眼の追跡をできないほど、速い動きで安全確認を履行した、あるいは眼の追跡をできないほど大きな動きで安全確認を履行したとすることができる。

安全確認履行判定回路１１は、この眼の追跡を正しく実行できなかったという判定と、動き検出回路３による運転者の頭部の動きの検出結果とを組み合わせて、安全確認を履行したかどうかを判定することで、非常に精度の高い判定処理を実行することができる。

第２の実施の形態として示す安全確認履行判定回路１１は、近赤外光センサ２で検出された検出値に基づき頭部の動きの変化を検出することで行う安全確認の履行判定と、処理装置１４から追跡領域の変化に基づく安全確認の履行判定とを共に、実行することで、高い精度で、運転者の安全確認の履行判定を行うことができる。

このとき、例えば、安全確認履行判定回路１１は、走行環境情報に基づき、現在の走行状況が安全確認を必要とする走行状況であると特定された場合に、動き検出回路３によって頭部の動きが検出される前に、眼の動きの追跡結果を取得して、特定された走行状況に対応した安全確認の履行へと移るためになされる眼の動きであるかどうかを判定する。

これにより、安全確認履行判定回路１１は、動き検出回路３によって運転者の頭部の動きを検出することで、安全確認を履行したかどうかを判定する場合よりも、より高い精度で、安全確認が履行されたかどうかを判定することができる。

また、動き検出回路３によって検出された運転者の頭部の動きが大きい場合、速度が速い場合には、安全確認履行判定回路１１において、少なくとも眼の動きを追跡できない状態であるという判定結果がなされたかどうかを取得することで、より高い精度で安全確認が履行されたかどうかを判定することができる。

以上、詳細に説明しように、本発明の第２の実施の形態として示す安全確認履行検出装置は、安全確認履行判定回路１１によって、走行環境情報に基づき、現在の走行状況が安全確認を必要とする走行状況であると特定された場合に、動き検出回路３によって検出される運転者の頭部の動きと、眼の動きの追跡結果とから、特定された走行状況に対応した安全確認の履行を示す動きであるかどうかを判定する。

これにより、安全確認履行判定回路１１は、安全確認が履行されたかどうかをより高い精度で判定することができる。このとき、眼の動きを追跡できないことを逆に利用することで、動き検出回路３の検出結果の精度を向上させることができる。

なお、上述した撮像カメラ１３と、処理装置１４とによる、撮像された画像から眼の動きを検出し、動きを追跡する処理は、一例であって、現在開示、実施されているどのような手法を用いてもよい。

［第３の実施の形態］
次に、図２３を用いて、本発明の第３の実施の形態として示す安全確認履行検出装置のについて説明をする。

第３の実施の形態として示す安全確認履行検出装置では、第１の実施の形態とし示した安全確認履行検出装置において、ヘッドレスト３０の頭部受け面３０ａに設置した近赤外光センサ２に代えて、近赤外光照明器１から出射された近赤外光を反射する反射器２１を設け、動き検出回路３に代え、処理装置２３を設け、さらに、撮像カメラ２２を付加することで、運転者の安全確認の履行行動を検出する。

したがって、図２３に示す第３の実施の形態として示す安全確認履行検出装置において、図１を用いて説明した第１の実施の形態として示す安全確認履行検出装置と重複する箇所については、同一符号を付して説明を省略する。

反射器２１は、上述したように近赤外光照明器１から出射された近赤外光を反射する。例えば、反射器２１は、光源である近赤外光照明器１から出射された近赤外光を再帰反射するように、微少な複数のビーズが配列されてなる反射材によって構成される。反射材を、反射器２１として使用するには、所定のサイズに形成した複数の反射材を、所定の間隔でヘッドレスト３０の頭部受け面３０ａ上に配置させるようにする。

撮像カメラ２２は、撮像部に例えばＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）を備え、運転席（運転者用シート）に着座した運転者の顔、並びにヘッドレスト３０の頭部受け面３０ａに設置された反射器２１からの反射光を撮像し、撮像した画像データを処理装置２３の追跡処理回路２４へ出力する。撮像カメラ２２の設置位置は、運転者の顔、並びにヘッドレスト３０の頭部受け面３０ａに設置された反射器２１からの反射光を撮像することができ、運転者の運転操作を阻害することがなければ、車両内のどの位置であってもよく、例えば、図２４に示すように、運転者の左前方などに設置される。

第１の実施の形態でも示したように、近赤外光照明器１は、例えば、図２４に示すように、車両のダッシュボード４０上の領域４１のように、ステアリングホイール３１と重ならずに、運転者の斜め前方から照明することができる位置に設置する。

後で詳細に説明するように、近赤外光照明器１から出射された近赤外光は、ヘッドレスト３０の頭部受け面３０ａに設けられた反射器２１によって反射されるが、頭部受け面３０ａの前方には、運転者の頭部が存在する。

したがって、運転者の頭部によって、近赤外光が遮られることにより、反射器２１で反射される近赤外光の反射光には、高輝度反射をする領域が部分的に形成されることになる。これを、撮像カメラ２２で撮像し、撮像された画像から高輝度領域の変化を捉えることにより、運転者の頭部の動きを検出することができる。

そこで、図２４に示すように、反射器２１が設けられたヘッドレスト３０を照明する近赤外光の照明方向が、左右方向、斜め前方からとなるように、近赤外光照明器１を設置することで、運転者の頭部の前後方向への動きをより的確に捉えることができる。

実際には、ダッシュボード４０は、反射器２１を取り付けたヘッドレスト３０よりも下方に存在するため、近赤外光照明器１は、運転者の頭部に対して、左右方向の斜め前方且つ下方から、近赤外光を出射する位置に設置されることになる。

処理装置２３は、追跡処理回路２４と、動き検出回路２５とを備えている。追跡処理回路２４は、撮像カメラ２２から出力された画像データのうち顔を撮像した顔画像データから、運転者の眼の位置の検出をする検出処理、検出した運転者の眼の位置を基準として、眼の追跡をする追跡処理、追跡をしている対象が正しいかどうかを判定する判定処理を実行する。

動き検出回路２５は、撮像カメラ２２から出力された画像データから、ヘッドレスト３０の頭部受け面３０ａに取り付けた反射器２１から反射される反射光の輝度の変化、詳しくは高輝度領域の変化を捉えることで運転者の頭部の動きを検出する。

第３の実施の形態として示す安全確認履行検出装置の安全確認履行判定回路１１は、まず、追跡処理回路２４から出力された運転者の眼の位置を追跡することで、運転者が安全確認を履行すべく頭部を動かす前に、見るべき視線方向へ視線を移動させているかどうかを判定する。

そして、ヘッドレスト３０の頭部受け面３０ａから反射された反射光の高輝度領域の変化を撮像カメラ２２で撮像された画像データから捉えることで、運転者の頭部の動きを検出し、所望の安全確認を履行しているかどうかを判定する。

なお、追跡処理回路２４による処理は、運転者の安全確認の履行動作を判定するために必ずしも必要な処理ではなく、第２の実施の形態として示す安全確認履行検出装置と同様に、動き検出回路２５によって検出される運転者の頭部の動きによる安全確認の履行判定の精度を向上させるために行っている。

続いて、処理装置２３の追跡処理回路２４、動き検出回路２５が実行する処理動作ついて詳細に説明をする。

まず、追跡処理回路２４について説明をする。追跡処理回路２４は、撮像カメラ２２によって撮像された画像データから、運転者の眼の位置を検出する。追跡処理回路２４は、運転者の眼の位置を検出するにあたり、図２５に示すように画像の縦方向に濃度値を読み出す。そして、濃度的に暗くなる変極点と、その変極点の上下の位置の濃度変化率が所定値以上であることを条件にして、図２６に示すように、縦方向の走査ライン上の画素を抽出していく。

追跡処理回路２４は、隣り合う縦方向の走査ライン上で上下方向における濃度の近接程度を判定し、濃度値の変化が所定の条件を満たす画素をグループ化し、所定以上の連続性のあるもの連続データとして抽出する。この連続データは、所定の条件を満たす場合に、眼の候補データとして抽出される。

図２７は、連続データの形状によって眼の候補データを抽出している様子を示している。眼の候補データの抽出条件としては、“上方向に凸となる円弧状の特徴を有する連続データ”として規定することができる。

追跡処理回路２４は、最終的に眼の位置検出をする際、“眼の形状として定義したものが２つあり、且つ、その相互位置関係の条件を満足する”かどうかで行う。以下に、この定義に基づいた追跡処理回路２４による眼の位置の検出処理について具体的に説明をする。

なお、以下においては、説明のため、撮像カメラ２２で撮像された１フレームの画像データにおいて、画像データが示す画像の下部に出現した眼の候補データから、眼の位置を探索する場合を一例として示すが、探索する順序は、画像中のどの位置に存在する候補データから行ってもよく、これにより本発明が限定されることはない。

まず、図２８に示すように、追跡処理回路２４は、画像の下部において眼の候補データとして抽出された連続データＧ１１を、右眼又は左眼であると仮定する。そして、その眼がどちらにあっても対応できるように、抽出した眼の候補データである連続データＧ１１の中心位置を基準として、横長の眼の探索領域ＥＦ１１を設定する。

追跡処理回路２４は、設定した探索領域ＥＦ１１内において、上述した最終的な眼の位置検出の条件を満足するかどうか判定し、満足しない場合は、図２９に示すように画像上の一つ上にある候補データである連続データＧ１２に対して同様に探索領域ＥＦ１２を設定する。

追跡処理回路２４は、設定した探索領域内ＥＦ１２内でも、上述した最終的な眼の位置検出の条件を満足できなかった場合には、図３０に示すように画像上の一つ上にある候補データである連続データＧ１３に対して同様に探索領域ＥＦ１３を設定する。

追跡処理回路２４は、図３１に示すように、探索領域ＥＦ１３内の候補データである連続データＧ１３が、“上方向に凸となる円弧状の特徴を有する連続データ”であり、探索領域ＥＦ１３内において、もう一方の眼である連続データＧ１４が、同様に“上方向に凸となる円弧状の特徴を有する連続データ”であることを満足し、“両眼の相互位置関係”も満足していることから、連続データＧ１３、連続データＧ１４が存在する位置を、最終的な眼の位置として検出する。

追跡処理回路２４は、このようにして、眼の位置を示す候補データである連続データＧ１３から、上述した条件に基づいて、設定された探索領域ＥＦ１３内に位置する左眼の位置並びに右眼の位置を検出することができる。このように、２つの眼の位置を検出する際に基準として用いた連続データ、前述までの説明における連続データＧ１３を基準眼と呼ぶ。

検出された眼の位置を追跡していく場合には、この基準眼の追跡を行うことになるが、この基準眼と対になるもう一方の眼の位置を、基準眼の追跡中において適宜確認することで、基準眼の追跡精度を一定レベルに保持することができる。

以上を踏まえて、追跡処理回路２４で検出された眼の位置を示す連続データＧ１３を、図３２に示すように、基準眼ＰＬとし、この基準眼ＰＬを追跡するために設定される、基準眼の中心点ＰＬ１を中心とする領域を追跡領域ＴＬ１とする。そして、基準眼ＰＬに対応する、もう１つの眼の位置を相対的に定義する位置情報として基準点ＳＲ１を定義し、この基準点ＳＲ１によって特定される、もう１つの眼の位置を含む領域を相対領域ＴＲ１とする。

続いて、上述のようにして定義された基準眼ＰＬの追跡処理について説明をする。

まず、撮像カメラ２２で撮像された画像データが出力されると、図３３（ａ）に示すように、追跡処理回路２４は、出力された画像データに基づいて、上述したように眼の位置を検出し、さらに基準眼ＰＬの中心点ＰＬ１を基に基準点ＳＬ１を設定し、撮像カメラ２２で撮像される画像のフレーム間の眼の位置の動きに対応できる必要最小源の領域として、追跡領域ＴＬ１を設定する。

続いて、追跡処理回路２４は、図３３（ｂ）に示すように、撮像カメラ２２から次のフレームの画像データが出力されると、前のフレームの画像データにおいて、設定した追跡領域ＴＬ１内において、新たに撮像された画像データで示される基準眼ＰＬの中心点ＰＬ２の位置を検出する。

図３３（ｂ）に示すように、運転者の頭部に動きがある場合、基準眼ＰＬの中心位置は、追跡領域ＴＬ１内において、中心点ＰＬ１から中心点ＰＬ２へと移動することになる。図３３（ａ）に示すように、追跡領域ＴＬ１は、基準点ＳＬ１と、中心点ＰＬ１との相対的な位置関係によって定義されており、これは一定とされている。

したがって、追跡処理回路２４は、基準眼ＰＬの中心位置が中心点ＰＬ１から中心点ＰＬ２に変化したことに応じて、基準点ＳＬ１と、中心点ＰＬ１との相対的な位置関係を踏襲した、図３３（ｂ）に示すような、基準眼ＰＬの新たな中心位置である中心点ＰＬ２に対する基準点ＳＬ２を設定し、新たな追跡領域ＴＬ２を設定する。

追跡処理回路２４は、撮像カメラ２２によって画像が撮像される毎に、この処理を繰りかえし新たな追跡領域を設定していくことで、運転者の基準眼ＰＬの位置を追跡し、運転者の視線方向の変化を検出する。

図３４（ａ）乃至（ｅ）は、運転者が、正面方向へ向けている視線を右方向へと移動させた際の様子を示した図である。このとき、図３３（ａ）乃至（ｅ）に示すように、各画像間で、基準眼ＰＬの座標が異なる追跡領域ＴＬ１乃至ＴＬ４へと推移しているのが分かる。

追跡処理回路２４は、このようにして基準眼ＰＬの変化に伴って追跡領域を更新していくと共に、上述したように、もう一つの眼のデータが存在するかどうかを、相対領域ＴＲ１の基準点ＳＲ１を用いて判定することで、眼の追跡が正確に実行されているかどうかの確認をする。

図３５（ａ）乃至（ｅ）は、運転者が、正面方向へ向けている視線を左方向へと移動させた際の様子を示した図である。右方向へ視線を向ける場合も、左方向へ視線を向ける場合と同様に、図３５（ａ）乃至（ｅ）に示すように、各画像間で、基準眼ＰＬの座標が異なる追跡領域ＴＬ１から、追跡領域ＴＬ１２、ＴＬ１３、ＴＬ１４へと推移しているのが分かる。

続いて、動き検出回路２５による運転者の頭部の動きを検出する原理について説明をする。運転者が、車両に搭乗して運転席（運転者用シート）に着座すると、運転者の頭部は、ヘッドレスト３０の頭部受け面３０ａ、前面に位置することになる。

図３６は、反射器２１として、微少なビーズ状の構造による再帰反射特性を有し、所定のサイズに形成された複数の反射材２１ａを、ヘッドレスト３０の頭部受け面３０ａに、所定の間隔でライン状に設置した様子を示した図である。

図３６に示す例では、運転者の頭部の前後方向の動きと、回転方向の動きの検出精度を向上させるために、ヘッドレスト３０の頭部受け面３０ａの上部と、下部に、それぞれ１ラインずつ左右方向に複数の反射材２１ａを取り付けている。

なお、左右方向に、複数の反射材２１ａを１ラインだけ取り付けるようにしても、運転者の頭部の動きを検出することができる。

また、図３７に示すように、ヘッドレスト３０の頭部受け面３０ａに、複数の反射材２１ａをマトリクス状に２次元配置させると、運転者の頭部の動き検出の精度を上げることができる。

このように、ヘッドレスト３０の頭部受け面３０ａに設置された反射材２１ａによって、近赤外光照明器１から出射された近赤外光は、反射されることになる。反射材２１ａによって反射された反射光は、撮像カメラ２２によって撮像され、動き検出回路２５に出力される。

動き検出回路２５は、撮像カメラ２２から出力された撮像画像から反射材２１ａによって反射された反射光による輝度分布に基づき、運転者の頭部の形状を把握し、時間的な高輝度領域の変化から、運転者の頭部の動きを検出する。

図３８（ａ）、（ｂ）、（ｃ）は、ヘッドレスト３０の頭部受け面３０ａに、図３６に示すように反射材２１ａが取り付けられた際に、正面を向いている運転者の様子と、左方向に頭部を動かした様子と、右方向に頭部を動かした様子を示した図である。

また、図３９（ａ）、（ｂ）、（ｃ）は、ヘッドレスト３０の頭部受け面３０ａに、図３７に示すように反射材２１ａが取り付けられた際の、正面を向いている運転者の様子と、左方向に頭部を動かした様子と、右方向に頭部を動かした様子を示した図である。

図３８、図３９からも分かるように、運転者が頭部Ｘを動かすことによって、近赤外光照明器１から出射される近赤外光を反射することができる反射材２１ａの領域、つまり反射光の輝度が変化する。

したがって、撮像カメラ２２で撮像される画像では、反射材２１ａによって反射される反射光による高輝度領域の変化として、運転者の頭部Ｘの動きが捉えられるため、動き検出回路２５は、この高輝度領域の変化から運転者の頭部Ｘが、右方向に回転したのか、左方向に回転したのかっといった動きを検出することができる。

ところで、第１の実施の形態として示す安全確認履行検出装置においても説明したように、太陽光には、近赤外光成分が含まれているため、ヘッドレスト３０の頭部受け面３０ａに設けられた反射材２１ａは、太陽が現れている昼間の時間帯において、この近赤外光成分まで反射してしまうことになる。

このように、反射材２１ａで、太陽光の近赤外光成分まで反射してしまった場合には、撮像カメラ２２で撮像される画像で示される輝度も、不要な成分によって変化してしまっているため、運転者の頭部Ｘの動き正確に検出することができない可能性がある。

そこで、太陽光に含まれる近赤外光成分と、近赤外光照明器１から出射される近赤外光とを区別する必要がある。

以下に、その具体的な手法を示す。まず、上述したように、ヘッドレスト３０の頭部受け面３０ａに取り付ける反射材２１ａに、再帰反射特性を持たせるという手法がある。再帰反射特性とは、通常の反射とは異なり、光源から出射された光をそのまま光源の方向へと反射する特性のことである。

したがって、ヘッドレスト３０の頭部受け面３０ａに取り付ける反射材２１ａに再帰反射特性を与え、近赤外光照明器１から出射される近赤外光の光軸と、撮像カメラ２２の光軸とをほぼ同一となるように光学系の配置を規定することで、ヘッドレスト３０の下方から照射されることのない太陽光の近赤外光成分を、撮像カメラ２２で撮像できないようにする。

上述したように、再帰反射特性を有する反射材２１ａは、光源から出射された光をそのまま光源方向へと反射する。

これにより、近赤外光照明器１と、ほぼ同一の光軸上にある撮像カメラ２２は、近赤外光照明器１から出射され、反射材２１ａで再帰反射された近赤外光のみを撮像し、必要のない太陽光の近赤外光成分を排除することができる。

また、近赤外光照明器１から出射する近赤外光をパルス発光させることで、反射材２１ａで反射されてしまう太陽光の近赤外光成分と区別することもできる。

つまり、動き検出回路２５は、撮像カメラ２２で撮像された画像より、周期的なパルス信号に同期して高輝度領域が変化する場合に、近赤外光照明器１から出射された近赤外光が反射材２１ａで反射されて、撮像カメラ２２で撮像されたことを把握できるため、この時だけ運転者の頭部の動きを検出するようにする。

また、このように、近赤外光照明器１から出射する近赤外光をパルス発光させると、光源として、近赤外発光ダイオードを用いた場合に、この近赤外発光ダイオードのパルス発振により、発熱量を低減させることができる。したがって、近赤外光照明器１への電流増加を見込めるため、発光強度を高めることができ、反射光の検出精度の向上を図ることができる。

本発明の第３の実施の形態として示す安全確認履行検出装置では、このような見通しの悪い交差点などにおける安全確認の履行を検出することができる。

図４０は、運転者が頭部Ｘを正面を向けている状態を示した図である。見通しのよい直線の走行路を走行している場合には、運転者の頭部Ｘの状態は、図４０に示すようになる。

図４１（ａ）、（ｂ）は、どちらも運転者が頭部Ｘを右方向へ向けた際の様子を示した図である。図４１（ａ）では、通常の見通しのよい交差点を右折するような場合に、運転者が、頭部Ｘを右方向に傾け、安全確認を履行している様子を示しており、図４１（ｂ）では、見通しの悪い交差点を右折するような場合に、運転者が、頭部Ｘを右方向に傾け、安全確認を履行している様子を示している。

また、図４２（ａ）では、通常の見通しのよい交差点を左折するような場合に、運転者が、頭部Ｘを左方向に傾け、安全確認を履行している様子を示しており、図４２（ｂ）では、見通しの悪い交差点を左折するような場合に、運転者が、頭部Ｘを左方向に傾け、安全確認を履行している様子を示している。

図４１（ａ）、（ｂ）、又は図４２（ａ）、（ｂ）から分かるように、見通しのよい交差点での安全確認した場合と、見通しの悪い交差点で安全確認した場合は、どちらも運転者の頭部Ｘの動きは、変わらない。

そこで、上述した図３６に示すように、複数の反射材２１ａをライン状に配置した場合には、頭部Ｘの前後方向の位置の違いによって、頭部受け面３０ａに形成される影領域の反射材２１ａで反射され反射光を、撮像カメラ２２で撮像した画像の高輝度領域の分布の違いを明確に検出することができるため、運転者が見通しの悪い交差点において、確実に安全確認を履行しているのかどうかを判定することができる。

具体的には、運転者の頭部Ｘが前方にある場合に、ヘッドレスト３０の頭部受け面３０ａに形成される影領域を撮像した画像の反射光の輝度は、頭部Ｘが後方にある場合に形成される影領域の輝度に較べて強く検出されることになる。

このようにして、本発明の第３の実施の形態として示す安全確認履行検出装置は、見通しの悪い交差点などにおける運転者の安全確認の履行状況を確実に検出することができる。また、ヘッドレスト３０の頭部受け面３０ａに取り付ける複数の反射材２１ａをマトリクス状に２次元配置させた場合には、さらに精度よく安全確認の履行状況を検出することができる。

以上、詳細に説明したように、本発明の第３の実施の形態として示す安全確認履行検出装置は、安全確認履行判定回路１１によって、走行環境情報に基づき、現在の走行状況が安全確認を必要とする走行状況であると特定された場合に、処理装置２３の動き検出回路２５によって検出される運転者の頭部の動きが、特定された走行状況に対応した安全確認の履行を示す動きであるかどうかを判定することができる。

動き検出回路２５は、近赤外光照明器１から照明され、ヘッドレスト３０の頭部受け面３０ａに設置された反射器２１で反射され、運転者の頭部で遮光されることなく到達した反射光を撮像カメラ２２で撮像し、反射光の輝度の変化を捉えることで、運転者の頭部の動きを検出している。

また、安全確認履行判定回路１１は、追跡処理回路２４によって追跡される眼の動きの追跡結果も取得し、特定された走行状況に対応した安全確認の履行を示す動きであるかどうかを判定する。

これにより、安全確認履行判定回路１１は、安全確認が履行されたかどうかをより高い精度で判定することができる。

なお、上述した撮像カメラ２２と、処理装置２３の追跡処理回路２４とによる、撮像された画像から眼の動きを検出し、動きを追跡する処理は、一例であって、現在開示、実施されているどのような手法を用いてもよい。

［第４の実施の形態］
次に、図４３を用いて、本発明の第４の実施の形態として示す安全確認履行検出装置について説明をする。

第４の実施の形態として示す安全確認履行検出装置は、図２３に示した第３の実施の形態として示した安全確認履行検出装置の近赤外光照明器１と、ヘッドレスト３０の頭部受け面３０ａに設けた反射器２１との代わりに、ヘッドレスト３０の頭部受け面３０ａに、自ら光を発光する発光器５１を備えた構成となっている。

第４の実施の形態として示す安全確認履行検出装置における、運転者の頭部の動きを検出する処理は、第３の実施の形態として示した安全確認履行検出装置における頭部の動きを検出する処理と原理的には同一であり、ヘッドレスト３０の前方に存在する運転者の頭部の動きによって変位する頭部受け面３０ａの光の高輝度領域を、撮像カメラ２２で撮像することで捉え、頭部の動きを検出するものである。

発光器５１は、例えば、ヘッドレスト３０の頭部受け面３０ａに設けた複数の発光ダイオードなどである。撮像カメラ２２は、この頭部受け面３０ａに設けた発光器５１からの光を撮像し、処理装置２３の動き検出回路２５は、運転者の頭部によって遮光された領域の変位により、運転者の頭部の動きを検出する。

安全確認履行判定回路１１は、処理装置２３によって検出された運転者の頭部の動きに基づき、運転者が必要な安全確認を履行しているかどうかを判定する。

図４４（ａ）、（ｂ）、（ｃ）は、ヘッドレスト３０の頭部受け面３０ａに、発光器５１として複数の発光ダイオード５１ａをライン状に取り付けた際に、正面を向いている運転者の様子と、左方向に頭部を動かした様子と、右方向に頭部を動かした様子を示した図である。

図４４からも分かるように、運転者が頭部Ｘを動かすことによって、発光ダイオード５１ａから発光された光が、頭部Ｘによって遮光される箇所が変化する。したがって、撮像カメラ２２で撮像される画像では、発光ダイオード５１ａから発光される光による高輝度領域の変化として、運転者の頭部Ｘの動きが捉えられるため処理装置２３の動き検出回路２５は、この高輝度領域の変化から運転者の頭部Ｘが、右方向に回転したのか、左方向に回転したのかっといった動きを検出することができる。

また、第４の実施の形態として示す安全確認履行検出装置においても、第３の実施の形態で示した安全確認履行検出装置と同様に、追跡処理回路２４において、運転者の眼の動きを追跡し、追跡結果に応じて、特定された走行状況に対応した安全確認の履行を示す動きであるかどうかを判定することもできる。

これにより、安全確認履行判定回路１１は、上述の第３の実施の形態において説明した理由により安全確認が履行されたかどうかをより高い精度で判定することができる。

また、ヘッドレスト３０の頭部受け面３０ａに取り付けた発光ダイオード５１ａをパルス発光させると、パルス発振により、発熱量を低減させることができる。これにより、発光ダイオード５１ａへの電流増加を見込めるため、発光強度を高めることができ、検出精度の向上を図ることができる。

また、発光ダイオード５１ａを、近赤外光を発光する近赤外発光ダイオードとして、パルス発光させた場合には、第３の実施の形態でも説明したように、撮像カメラ２２で撮像された画像から、周期的なパルス信号に同期した高輝度領域の変化を識別することができるため、この時だけ、動き検出回路２５によって、運転者の頭部の動きを検出するようにすることで、太陽光に含まれる近赤外光成分を撮像することによる誤検出を回避することができる。

以上、詳細に説明したように、本発明の第４の実施の形態として示す安全確認履行検出装置は、安全確認履行判定回路１１によって、走行環境情報に基づき、現在の走行状況が安全確認を必要とする走行状況であると特定された場合に、処理装置２３の動き検出回路２５によって検出される運転者の頭部の動きが、特定された走行状況に対応した安全確認の履行を示す動きであるかどうかを判定することができる。

動き検出回路２５は、ヘッドレスト３０の頭部受け面３０ａに設置された発光器５１から発光され、運転者の頭部で遮光されることなく到達した光を撮像カメラ２２で撮像し、撮像された光の輝度の変化を捉えることで、運転者の頭部の動きを検出している。

［ヘッドレスト駆動機構］
上述したように、第１乃至第４の実施の形態として示した安全確認履行検出装置では、運転者の頭部の動きによって変化するヘッドレスト３０の頭部受け面３０ａに設けられた近赤外光センサ２の検出値、反射器２１からの反射光、発光器５１からの光に基づいて運転者の頭部の動きを検出していた。

したがって、ヘッドレスト３０の頭部受け面３０ａと、運転者の頭部の位置関係は、非常に重要である。しかしながら、運転者は、それぞれ身長、体型などが異なるため、運転席（運転者用シート）に着座した際に、運転者の頭部の位置と、近赤外光センサ２、反射器２１又は発光器５１が取り付けられた頭部受け面３０ａとの上下の位置関係が、頭部の動きを正確、且つ確実に検出できるような位置関係となっていない場合がある。

そこで、例えば、第３の実施の形態として示す安全確認履行検出装置に、図４５に示すような、ヘッドレスト３０を上下方向に駆動するヘッドレスト駆動モータ６１と、ヘッドレスト駆動モータ６１を制御するコントローラ６２とを設け、コントローラ６２の制御に応じて、ヘッドレスト３０の位置が、運転者の頭部を検出するのに適した位置となるように、ヘッドレスト駆動モータ６１を動作させるようにする。

上述したように、第３の実施の形態として示した安全確認履行検出装置では、撮像カメラ２２によって運転者の顔の画像を撮像し、撮像した顔画像から検出される運転者の眼の位置の追跡を行っている。

これにより、運転者の眼の位置、つまり、運転席（運転者用シート）に着座した運転者の上下方向の顔の位置が分かる。したがって、検出された眼の位置と、撮像カメラ２２で撮像された画像中の反射器２１からの反射光による高輝度領域との、縦方向の相対的な位置関係が分かる。そこで、コントローラ６２は、ヘッドレスト駆動モータ６１を制御して、この相対位置が適切となるように、ヘッドレスト３０の上下方向の位置を調整する。

図４５に示すコントローラ６２には、処理装置２３から、運転者の眼の位置に合わせて、上述した相対位置に基づき、ヘッドレスト３０の上下方向の位置が適切となるように駆動するための制御値が送信される。コントローラ６２は、この制御値に基づいて、ヘッドレスト駆動モータ６１を駆動することで、ヘッドレスト３０を、運転者の眼の位置に応じた、適切な位置となるように上下方向の位置を自動的に調整することができる。

これは、図４３に示す第４の実施の形態でも同様である。図４６に示すように、第４の実施の形態として示す安全確認履行検出装置も、ヘッドレスト駆動モータと６１と、コントローラ６２とを備えることで、検出された運転者の眼の位置に応じた、コントローラ６２の制御により、ヘッドレスト駆動モータ６１を駆動することで、ヘッドレスト３０を、運転者の眼の位置と、撮像カメラ２２で撮像された画像中の発光器５１から発光される光による高輝度領域との、縦方向の相対的な位置関係に応じた、適切な位置となるように上下方向の位置を自動的に調整することができる。

また、図１６に示す第２の実施の形態として示す安全確認履行検出装置も、撮像カメラ１３で、運転者の顔の画像を撮像し、眼の位置の追跡処理を行っているため、図４７に示すように、ヘッドレスト駆動モータ６１と、コントローラ６２とを備えることで、ヘッドレスト３０のを、運転者の眼の位置に応じた、適切な位置となるように上下方向の位置を調整することができる。

この場合、ヘッドレスト３０の頭部受け面３０ａに設けられた近赤外光センサ２によって光強度が検出される領域と、眼の位置との、縦方向の相対的な位置関係に応じて、ヘッドレスト３０の上下方向の位置調整が自動的になされる。

このように、ヘッドレスト３０の位置を、運転者の目の位置に応じた適切な位置となるように調整すると、図４８（ａ）、（ｂ）、（ｃ）に示すように、運転者の頭部Ｘが正面を向いている場合、運転者の頭部Ｘが左方向を向いている場合、運転者の頭部Ｘが右方向を向いている場合というように、安全確認を履行するどのような動作を行ったとしても、ヘッドレスト３０の頭部受け面３０ａ上に、確実に顔の主要な輪郭線を影として射影させることができるため、より安定した状態で、運転者の頭部の動きを検出することができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

本発明の第１の実施の形態として示す安全確認履行検出装置について説明するための図である。近赤外光照明器の設置位置について説明するための図である。（ａ）は、運転者が正面を向いている場合に、ヘッドレストの頭部受け面に到達する近赤外光の様子を示した図であり、（ｂ）は、運転者が右方向を向いている場合に、ヘッドレストの頭部受け面に到達する近赤外光の様子を示した図である。ヘッドレストの頭部受け面に、近赤外光センサをライン状に配置させた様子を示した図である。ヘッドレストの頭部受け面に、近赤外光センサをマトリックス状に２次元配置させた様子を示した図である。運転者の頭部の動きに応じて、近赤外光センサで検出される近赤外光の光強度レベルが変化することについて説明するための図である。太陽光の近赤外光成分を排除するように、ヘッドレストの頭部受け面へ、近赤外光センサを設置する手法について説明するための図である。安全確認履行検出装置の処理動作について説明するためのフローチャートである。安全確認履行検出装置の処理動作について説明するためのフローチャートである。安全確認履行検出装置の処理動作について説明するためのフローチャートである。安全確認履行検出装置の処理動作について説明するためのフローチャートである。安全確認履行検出装置の処理動作について説明するためのフローチャートである。見通しの良い直線の走行路において、正面方向を向いている運転者の様子を示した図である。（ａ）は、見通しの良い交差点において、右方向を向いている運転者の様子を示した図であり、（ｂ）は、見通しの悪い交差点において、右方向を向いている運転者の様子を示した図である。（ａ）は、見通しの良い交差点において、左方向を向いている運転者の様子を示した図であり、（ｂ）は、見通しの悪い交差点において、左方向を向いている運転者の様子を示した図である。本発明の第２の実施の形態として示す安全確認履行検出装置について説明するための図である。眼の位置検出をする際に用いる画像の例を示した図である。眼の位置検出処理において、抽出された画素を示した図である。眼の位置検出処理において、グループ化された画素を示した図である。眼の位置検出処理において、グループ化された画素に対してゾーン化処理を実行した様子を示した図である。眼の追跡処理において、追跡領域が更新される様子について説明するための図である。眼の追跡処理において、運転者の頭部の動きが変化したことに応じて、追跡領域が変化する様子を具体的に示した図である。本発明の第３の実施の形態として示す安全確認履行検出装置について説明するための図である。近赤外光照明器、撮像カメラの設置位置について説明するための図である。眼の位置検出をする際に用いる画像の例を示した図である。眼の位置検出処理において、候補データを抽出する様子を示した図である。眼の位置検出処理において、抽出された候補データを示した図である。眼の位置検出処理において、候補データから眼の位置を示す連続データを探索する処理について説明するための図である。眼の位置検出処理において、候補データから眼の位置を示す連続データを探索する処理について説明するための図である。眼の位置検出処理において、候補データから眼の位置を示す連続データを探索する処理について説明するための図である。眼の位置検出処理において、２つの眼の位置が探索された様子を示した図である。眼の追跡処理において定義される基準眼について説明するための図である。眼の追跡処理において、追跡領域が更新されていく様子について説明するための図である。眼の追跡処理において、運転者が右方向に視線を移動させた場合に、追跡領域が更新されていく様子を示した図である。眼の追跡処理において、運転者が左方向に視線を移動させた場合に、追跡領域が更新されていく様子を示した図である。ヘッドレストの頭部受け面に、反射材をライン状に配置させた様子を示した図である。ヘッドレストの頭部受け面に、反射材をマトリックス状に２次元配置させた様子を示した図である。ヘッドレストの頭部受け面に、反射材をライン状に配置させた場合に、運転者の頭部が動くことで、反射材の反射領域が変化する様子を示した図である。ヘッドレストの頭部受け面に、反射材をマトリックス状に２次元配置させた場合に、運転者の頭部が動くことで、反射材の反射領域が変化する様子を示した図である。見通しの良い直線の走行路において、正面方向を向いている運転者の様子を示した図である。（ａ）は、見通しの良い交差点において、右方向を向いている運転者の様子を示した図であり、（ｂ）は、見通しの悪い交差点において、右方向を向いている運転者の様子を示した図である。（ａ）は、見通しの良い交差点において、左方向を向いている運転者の様子を示した図であり、（ｂ）は、見通しの悪い交差点において、左方向を向いている運転者の様子を示した図である。本発明の第４の実施の形態として示す安全確認履行検出装置について説明するための図である。ヘッドレストの頭部受け面に、発光ダイオードをライン状に配置させた場合に、運転者の頭部が動くことで、発光ダイオードの発光領域が変化する様子を示した図である。前記第３の実施の形態として示す安全確認履行検出装置に、ヘッドレスト駆動機構を搭載させた様子を示した図である。前記第４の実施の形態として示す安全確認履行検出装置に、ヘッドレスト駆動機構を搭載させた様子を示した図である。前記第２の実施の形態として示す安全確認履行検出装置に、ヘッドレスト駆動機構を搭載させた様子を示した図である。最適な位置に調整されたヘッドレストと、運転者の頭部の動きとを示した図である。

符号の説明

１近赤外光照明器
２近赤外光センサ
３動き検出回路
４ナビゲーションシステム
５車速センサ
６操舵角センサ
７アクセルセンサ
８シフト位置センサ
９ウインカースイッチセンサ
１０ブレーキスイッチセンサ
１１安全確認履行判定回路
１２報知装置
１３撮像カメラ
１４処理装置
２１反射器
２１ａ反射材
２２撮像カメラ
２３処理装置
２４追跡処理回路
２５動き検出回路
３０ヘッドレスト
３０ａ頭部受け面
５１発光器
５１ａ発光ダイオード
６１ヘッドレスト駆動モータ
６２コントローラ

Claims

運転者の頭部を所定の波長帯域の照明光で照明する照明手段と、
前記照明手段によって照明された照明光のうち、前記運転者の頭部によって遮光されることなく到達した光を検出する検出手段と、
前記検出手段によって検出された検出結果に基づいて、運転者の頭部の動きを検出する動き検出手段と、
車両の走行環境情報を検出する走行環境検出手段と、
前記走行環境検出手段によって検出された前記走行環境情報に基づいて、前記車両の現在の走行状況が、運転者による安全確認が必要な走行状況であるかどうかを特定する走行状況特定手段と、
前記走行状況特定手段によって前記車両の現在の走行状況が、運転者による安全確認が必要な走行状況であると特定された場合に、前記動き検出手段によって、検出された運転者の頭部の動きが、前記特定された走行状況に対応した安全確認の履行を示す動きであるかどうかを判定する安全確認履行判定手段とを備えること
を特徴とする安全確認履行検出装置。
前記安全確認履行判定手段によって、前記安全確認の履行を示す動きでないと判定されたことに応じて、前記運転者に対して、注意を喚起する注意喚起手段を備えること
を特徴とする請求項１記載の安全確認履行検出装置。
前記照明手段は、前記運転者の頭部に近赤外光を照明する近赤外光照明手段であり、
前記検出手段は、前記運転者の頭部を支えるヘッドレストの頭部受け面に設けられ、前記運転者の頭部によって遮光されることなく到達した前記近赤外光を検出する近赤外光検出手段であり、
前記動き検出手段は、前記近赤外光検出手段によって検出された前記近赤外光の光強度レベルに基づいて、前記運転者の頭部の動きを検出すること
を特徴とする請求項１記載の安全確認履行検出装置。
運転者の顔を撮像する撮像手段と、
前記撮像手段によって撮像された画像から運転者の眼の動きを追跡する追跡手段とを備え、
前記安全確認履行判定手段は、前記走行状況特定手段によって前記車両の現在の走行状況が、運転者による安全確認が必要な走行状況であると特定された場合に、
前記動き検出手段によって、検出された前記運転者の頭部の動きと、前記追跡手段によって追跡された運転者の眼の動きとから、前記特定された走行状況に対応した安全確認の履行を示す動きであるかどうかを判定すること
を特徴とする請求項３記載の安全確認履行検出装置。
前記近赤外光照明手段は、車両の進行方向を操舵するステアリングホイールの外周よりも外側となる運転者の前方方向から近赤外光を照明する位置に設置されること
を特徴とする請求項３又は請求項４記載の安全確認履行検出装置。
前記近赤外光照明手段は、近赤外光を所定の周期で前記運転者の頭部に照明すること
を特徴とする請求項３又は請求項４記載の安全確認履行検出装置。
前記近赤外光検出手段は、複数の近赤外光センサであり、前記ヘッドレストの頭部受け面に所定の間隔で横方向にライン状に配置されること
を特徴とする請求項３又は請求項４記載の安全確認履行検出装置。
前記近赤外光検出手段は、複数の近赤外光センサであり、前記ヘッドレストの頭部受け面にマトリックス状に２次元配置されること
を特徴とする請求項３又は請求項４記載の安全確認履行検出装置。
前記近赤外光検出手段は、複数の近赤外光センサであり、近赤外光照明手段の設置位置によって決まる近赤外光照明方向に応じた検出指向性を持つように、前記ヘッドレストの頭部受け面に配置されること
を特徴とする請求項３又は請求項４記載の安全確認履行検出装置。
前記撮像手段によって撮像された画像から、運転者の眼の位置を検出する位置検出手段と、
前記ヘッドレストの位置を、前記ヘッドレストが取り付けられた運転者用シートに対して、上下方向に駆動調整する駆動手段と、
前記近赤外光検出手段によって光強度レベルが検出された領域と、前記位置検出手段によって検出された運転者の眼の位置との縦方向の相対位置に応じて、前記ヘッドレストの位置を前記運転者用シートに対して上下方向に駆動調整するよう前記駆動手段を制御する制御手段とを備えること
を特徴とする請求項４記載の安全確認履行検出装置。
前記走行環境検出手段は、前記走行環境情報として、車両の現在位置を示す現在位置情報、車両の旋回方向を示すウインカースイッチ信号、車両のブレーキペダルが踏み込まれているかどうかを示すブレーキスイッチ信号、車両の現在の速度を示す車速信号、車両の進行方向を操舵するステアリングホイールの操舵角を示す操舵角信号、車両のアクセルペダルの踏み込み程度を示すアクセル開度信号、車両のシフトレバーの位置を示すシフト位置信号の少なくとも１つ以上の信号を検出すること
を特徴とする請求項３又は請求項４記載の安全確認履行検出装置。
前記照明手段は、前記運転者の頭部に近赤外光を照明する近赤外光照明手段であり、
前記検出手段は、前記運転者の頭部を支えるヘッドレストの頭部受け面に設けられ、前記運転者の頭部によって遮光されることなく到達した前記近赤外光を反射する反射手段によって反射された反射光及び前記運転者の頭部を撮像する撮像手段であり、
前記動き検出手段は、前記撮像手段によって撮像された画像中の前記反射光の輝度の変化に基づいて、前記運転者の頭部の動きを検出すること
を特徴とする請求項１記載の安全確認履行検出装置。
前記撮像手段によって撮像された画像から、運転者の眼の動きを追跡する追跡手段を備え、
前記安全確認履行判定手段は、前記走行状況特定手段によって前記車両の現在の走行状況が、運転者による安全確認が必要な走行状況であると特定された場合に、
前記動き検出手段によって、検出された前記運転者の頭部の動きと、前記追跡手段によって追跡された運転者の眼の動きとから、前記特定された走行状況に対応した安全確認の履行を示す動きであるかどうかを判定すること
を特徴とする請求項１２記載の安全確認履行検出装置。
前記撮像手段は、車両の進行方向を操舵するステアリングホイールの外周よりも外側となる運転者の前方方向から、前記反射手段によって反射された反射光及び運転者の頭部を撮像する位置に設置されること
を特徴とする請求項１２又は請求項１３記載の安全確認履行検出装置。
前記近赤外光照明手段は、車両の進行方向を操舵するステアリングホイールの外周よりも外側となる運転者の前方方向から近赤外光を照明する位置に設置されること
を特徴とする請求項１２又は請求項１３記載の安全確認履行検出装置。
前記近赤外光照明手段は、近赤外光を所定の周期で前記運転者の頭部に照明すること
を特徴とする請求項１２又は請求項１３記載の安全確認履行検出装置。
前記反射手段は、所定のサイズの複数の反射材であり、前記ヘッドレストの頭部受け面に所定の間隔で横方向にライン状に配置されること
を特徴とする請求項１２又は請求項１３記載の安全確認履行検出装置。
前記反射手段は、所定のサイズの複数の反射材であり、前記ヘッドレストの頭部受け面にマトリックス状に２次元配置されること
を特徴とする請求項１２又は請求項１３記載の安全確認履行検出装置。
前記撮像手段によって撮像された画像から、運転者の眼の位置を検出する位置検出手段と、
前記ヘッドレストの位置を、前記ヘッドレストが取り付けられた運転者用シートに対して、上下方向に駆動調整する駆動手段と、
前記撮像手段によって撮像された画像中の高輝度領域と、前記位置検出手段によって検出された運転者の眼の位置との縦方向の相対位置に応じて、前記ヘッドレストの位置を前記運転者用シートに対して上下方向に駆動調整するよう前記駆動手段を制御する制御手段とを備えること
を特徴とする請求項１２又は請求項１３記載の安全確認履行検出装置。
前記走行環境検出手段は、前記走行環境情報として、車両の現在位置を示す現在位置情報、車両の旋回方向を示すウインカースイッチ信号、車両のブレーキペダルが踏み込まれているかどうかを示すブレーキスイッチ信号、車両の現在の速度を示す車速信号、車両の進行方向を操舵するステアリングホイールの操舵角を示す操舵角信号、車両のアクセルペダルの踏み込み程度を示すアクセル開度信号、車両のシフトレバーの位置を示すシフト位置信号の少なくとも１つ以上の信号を検出すること
を特徴とする請求項１２又は請求項１３記載の安全確認履行検出装置。
前記照明手段は、前記運転者の頭部を支えるヘッドレストの頭部受け面に設けられた発光手段であり、
前記検出手段は、前記運転者の頭部によって遮光されることなく到達した前記発光手段によって発光された光及び前記運転者の頭部を撮像する撮像手段であり、
前記動き検出手段は、前記撮像手段によって撮像された画像中の輝度の変化に基づいて、前記運転者の頭部の動きを検出すること
を特徴とする請求項１記載の安全確認履行検出装置。
前記撮像手段によって撮像された画像から、運転者の眼の動きを追跡する追跡手段を備え、
前記安全確認履行判定手段は、前記走行状況特定手段によって前記車両の現在の走行状況が、運転者による安全確認が必要な走行状況であると特定された場合に、
前記動き検出手段によって、検出された前記運転者の頭部の動きと、前記追跡手段によって追跡された運転者の眼の動きとから、前記特定された走行状況に対応した安全確認の履行を示す動きであるかどうかを判定すること
を特徴とする請求項２１記載の安全確認履行検出装置。
前記撮像手段は、車両の進行方向を操舵するステアリングホイールの外周よりも外側となる運転者の前方方向から、前記発光手段によって発光された光及び運転者の頭部を撮像する位置に設置されること
を特徴とする請求項２１又は請求項２２記載の安全確認履行検出装置。
前記発光手段は、所定の周期で周期的に発光すること
を特徴とする請求項２１又は請求項２２記載の安全確認履行検出装置。
前記発光手段は、複数の発光ダイオードであり、前記ヘッドレストの頭部受け面に所定の間隔で横方向にライン状に配置されること
を特徴とする請求項２１又は請求項２２記載の安全確認履行検出装置。
前記発光手段は、複数の発光ダイオードであり、前記ヘッドレストの頭部受け面にマトリックス状に２次元配置されること
を特徴とする請求項２１又は請求項２２記載の安全確認履行検出装置。
前記撮像手段によって撮像された画像から、運転者の眼の位置を検出する位置検出手段と、
前記ヘッドレストの位置を、前記ヘッドレストが取り付けられた運転者用シートに対して、上下方向に駆動調整する駆動手段と、
前記撮像手段によって撮像された画像中の高輝度領域と、前記位置検出手段によって検出された運転者の眼の位置との縦方向の相対位置に応じて、前記ヘッドレストの位置を前記運転者用シートに対して上下方向に駆動調整するよう前記駆動手段を制御する制御手段とを備えること
を特徴とする請求項２１又は請求項２２記載の安全確認履行検出装置。
前記走行環境検出手段は、前記走行環境情報として、車両の現在位置を示す現在位置情報、車両の旋回方向を示すウインカースイッチ信号、車両のブレーキペダルが踏み込まれているかどうかを示すブレーキスイッチ信号、車両の現在の速度を示す車速信号、車両の進行方向を操舵するステアリングホイールの操舵角を示す操舵角信号、車両のアクセルペダルの踏み込み程度を示すアクセル開度信号、車両のシフトレバーの位置を示すシフト位置信号の少なくとも１つ以上の信号を検出すること
を特徴とする請求項２１又は請求項２２記載の安全確認履行検出装置。
所定の波長帯域の照明光で、運転者の頭部を照明した際に、前記運転者の頭部によって遮光されることなく到達した光を検出した検出結果に基づいて、前記運転者の頭部の動きを検出し、
車両の走行環境情報に基づいて、前記車両の現在の走行状況が、運転者による安全確認が必要な走行状況であると特定された場合に、検出された前記運転者の頭部の動きが、前記特定された走行状況に対応した安全確認の履行を示す動きであるかどうかを判定すること
を特徴とする安全確認履行検出装置。