JP2008212359A - 視線検出装置 - Google Patents

Abstract

【課題】目に障害を有する運転者であっても視線方向の誤検出を防止することが可能な視線検出装置を提供する。
【解決手段】本発明の一実施形態に係る視線検出装置１０は、車両運転者Ｄの左目の視線方向及び右目の視線方向を検出する検出手段１１，１２と、検出手段１１によって検出された左目の視線方向と右目の視線方向とが異なる場合に、運転者Ｄは左目及び右目の何れか一方に障害を有すると判断する第１の判断手段１２とを備える。左右何れかの目に障害を有している運転者Ｄの場合、障害を有する側の目の視線方向が障害を有さない側の目の視線方向と異なるので、この視線検出装置１０によれば、運転者Ｄの視線方向の誤検出を防止することができる。
【選択図】図１

Description

本発明は、視線検出装置に関するものである。

車両運転者の運転を支援する運転支援装置の一例として、運転者が脇見をしたときに警報を発する運転支援装置が知られている。この種の運転支援装置では、運転者の脇見を検出するために、運転者の視線方向を検出する視線検出装置が広く用いられている（例えば、特許文献１参照）。
特開２０００−３５１３３９号公報

ところで、車両運転者の中には、左目又は右目が義眼であるなど、左右何れかの目に障害を有する運転者が存在する。車両運転中、障害物の存在を認識するなど周囲状況確認のために運転者の目の視線方向が変化するが、義眼などの障害を有する場合にはその視線方向は一定となる。そのために、障害を有する側の目の視線方向と障害を有さない側の目の視線方向とが異なることがあり、従来の視線検出装置では、運転者の視線方向を誤検出してしまうおそれがある。

そこで、本発明は、目に障害を有する運転者であっても視線方向の誤検出を防止することが可能な視線検出装置を提供することを目的としている。

本発明の視線検出装置は、車両運転者の左目の視線方向及び右目の視線方向を検出する検出手段と、検出手段によって検出された左目の視線方向と右目の視線方向とが異なる場合に、運転者は左目及び右目の何れか一方に障害を有すると判断する第１の判断手段とを備えている。

一般に、車両運転中、周囲状況確認のために運転者の目の視線方向が変化し、運転者の左目及び右目の視線方向は同一あるいは略同一である。しかしながら、左目又は右目が義眼であるなど、左右何れかの目に障害を有する運転者の場合、障害を有する側の目の視線方向は一定となるので、障害を有する側の目の視線方向が障害を有さない側の目の視線方向と異なる。

この視線検出装置によれば、検出された左目の視線方向と右目の視線方向とが異なる場合に、第１の判断手段によって運転者が左目及び右目の何れか一方に障害を有すると判断されるので、運転者の視線方向の誤検出を防止することができる。

上記した視線検出装置は、検出手段によって検出された過去の左目の視線方向と過去の右目の視線方向とを記憶する記憶手段と、記憶手段に記憶された過去の左目の視線方向と検出手段によって検出された今回の左目の視線方向とを比較すると共に、記憶手段に記憶された過去の右目の視線方向と検出手段によって検出された今回の右目の視線方向とを比較し、視線方向に差異がない側の目に運転者は障害を有すると判断する第２の判断手段とを更に備えていることが好ましい。

この視線検出装置によれば、記憶手段によって過去の左目の視線方向と過去の右目の視線方向とが記憶されており、第２の判断手段によって、今回検出された左目の視線方向及び右目の視線方向がそれぞれ過去の左目の視線方向、過去の右目の視線方向と比較され、視線方向に差異がない側の目に運転者が障害を有すると判断されるので、障害を有する側の運転者の目を特定することができる。

上記した視線検出装置は、第２の判断手段によって障害を有すると判断された側の目と反対側の目の視線方向を出力する出力手段を更に備えていることが好ましい。

この視線検出装置によれば、障害を有さない側の運転者の目の視線方向を適切に検出することができる。

本発明によれば、目に障害を有する運転者であっても視線方向の誤検出を防止することが可能な視線検出装置を得ることができる。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。

図１は、本発明の実施形態に係る視線検出装置を有する運転支援装置の構成の一例を示す図である。図１に示す運転支援装置１は、車両運転者Ｄの視線方向を検出し、運転者Ｄが脇見をしたときに警報を発する。そのために、運転支援装置１は、視線検出装置１０と、撮像装置２と、操舵角センサ３と、車速センサ４と、運転支援ＥＣＵ（Electrical Control Unit）５と、警報器６とを備えている。

視線検出装置１０は、運転者Ｄの視線方向を検出し、この視線方向を示す視線方向信号を運転支援ＥＣＵ５へ送信する。視線検出装置１０の詳細は後述する。

撮像装置２は、例えばカメラであり、車両の車室前方中央に配置されている。撮像装置２は、車両前方の路面画像を撮影し、この路面画像データを運転支援ＥＣＵ５へ送信する。

操舵角センサ３は、車両の操舵角を検出し、この操舵角を示す操舵角信号を運転支援ＥＣＵ５へ送信する。

車速センサ４は、車両の速度を検出し、この速度を示す速度信号を運転支援ＥＣＵ５へ送信する。

運転支援ＥＣＵ５は、撮像装置２からの路面画像データを画像処理し、車両が走行している走行レーンの両端を区画する道路区画線（例えば、道路に描かれた白線や黄色線、道路上に配置された又は埋め込まれたブロック等）を検出し、車両が走行する走行レーンを認識する。

また、運転支援ＥＣＵ５は、この走行レーン及び操舵角センサ３からの操舵角信号に基づく車両の進行方向を考慮すると共に、車速センサ４からの速度信号に基づく緊急度を考慮して、視線検出装置１０からの視線方向信号に基づいて、運転者が脇見運転をしているか否かを判断する。運転支援ＥＣＵ５は、運転者が脇見運転をしていると判断した場合に警報器６に指令する。

警報器６は、運転支援ＥＣＵ５からの指令に応じて警報を発する。

次に、本発明の実施形態に係る視線検出装置１０について詳細に説明する。視線検出装置１０は、撮像装置１１と、視線検出ＥＣＵ（Electrical Control Unit）１２とを備えている。

撮像装置１１は、例えばカメラであり、車両室内の運転者Ｄ前方のコラムカバー９の上面に設置されている。撮像装置１１は、運転者Ｄの顔画像を撮像し、この顔画像データを視線検出ＥＣＵ１２へ送信する。

視線検出ＥＣＵ１２は、演算を行うＣＰＵ（Central Processing Unit）、ＣＰＵに各処理を実行させるためのプログラム等を記憶するＲＯＭ（Read Only Memory）、演算結果などの各種データを記憶するＲＡＭ（Random Access Memory）などから構成されている。このような構成により、視線検出ＥＣＵ１２は、特許請求の範囲に記載した検出手段、記憶手段、第１の判断手段、第２の判断手段及び出力手段として機能する。

視線検出ＥＣＵ１２は、撮像装置１１と共に検出手段として機能して、撮像装置１１からの顔画像データに基づいて画像処理を行い、運転者の左目の視線角度及び右目の視線角度を検出する。視線角度の検出方法としては、様々な方法が適用可能であり、例えば、目尻及び目頭の位置と瞳孔中心の位置との相対関係から求める方法や、プルキニエ像と瞳孔中心の位置との関係から求める方法などがある。

また、視線検出ＥＣＵ１２は、記憶手段として機能して、検出されるごとに検出された左目の視線角度と右目の視線角度とを記憶する。また、視線検出ＥＣＵ１２は、後述する第２の障害判断の結果（運転者は何れの目に障害を有するか）を記憶する。

また、視線検出ＥＣＵ１２は、第１の判断手段として機能して、検出された左目の視線角度と右目の視線角度とを比較し、これらの視線角度が略同一であるか否かを判断する。

一般に、車両運転中、上記したように視線方向が変化し、運転者の左目及び右目の視線角度は略同一である。しかしながら、左目又は右目が義眼であるなど、左右何れかの目に障害を有する運転者の場合、障害を有する側の目の視線方向は一定となるので、障害を有する側の目の視線角度が障害を有さない側の目の視線角度と異なる。そこで、視線検出ＥＣＵ１２は、左目の視線角度と右目の視線角度とが略同一である場合に、運転者は左目及び右目に障害を有さないと判断し、略同一でない場合に、運転者は左目又は右目に障害を有すると判断する（第１の障害判断）。

また、視線検出ＥＣＵ１２は、第２の判断手段として機能して、記憶された前回の左目の視線角度と今回検出された左目の視線角度とを比較し、前回の左目の視線角度と現在の左目の視線角度とが略同一であるか否かを判断する。同様に、視線検出ＥＣＵ１２は、記憶された前回の右目の視線角度と今回検出された右目の視線角度とを比較し、前回の右目の視線角度と現在の右目の視線角度とが略同一であるか否かを判断する。

上記したように、左目又は右目が義眼であるなど、左右何れかの目に障害を有する運転者の場合、障害を有する側の目の視線角度は変化しない。そこで、視線検出ＥＣＵ１２は、現在の視線角度と前回の視線角度とに差異がない側の目に運転者は障害を有すると判断する。本実施形態では、義眼の判定精度を向上させるために、現在の視線角度と前回の視線角度とが略同一であると判断した回数をカウントし、その回数が１０に達した場合に、そちら側の目に運転者は障害を有すると判断する。（第２の障害判断）。

また、視線検出ＥＣＵ１２は、出力手段として機能して、左目又は右目に障害を有する場合には障害を有さない側の運転者の目の視線角度を視線方向として運転支援ＥＣＵ５へ出力する。また、視線検出ＥＣＵ１２は、左目及び右目の両方とも障害を有さない場合には左目及び右目の少なくとも何れか一方の視線角度を視線方向として運転支援ＥＣＵ５へ出力する。また、視線検出ＥＣＵ１２は、第２の障害判断において左右両方の目に障害を有すると判断した場合、及び、第１の障害判断において左右何れかの目に障害を有すると判断した後に第２の障害判断において左右両方の目とも障害を有さないと判断した場合には、判別不能として運転者の目の視線角度を出力しない。

次に、図２を参照して視線検出装置１０の動作を説明すると共に、運転支援装置１の動作を説明する。図２は、視線検出ＥＣＵ１２が行う視線検出処理を示すフローチャートである。以下、説明を明確にするために、運転者が目に障害を有する一例として、運転者が目に義眼を有する場合について説明する。
（検出手段による視線検出工程）

まず、撮像装置１１が、一定時間ごとに運転者Ｄの顔画像を撮像し、この顔画像データを視線検出ＥＣＵ１２へ送信する。すると、視線検出ＥＣＵ１２は、一定時間ごとにこの顔画像データに基づいて画像処理を行い、運転者の左目の視線角度及び右目の視線角度を検出する。

次に、視線検出ＥＣＵ１２は、記憶されている前回の第２の障害判断の結果に基づいて、運転者の左目もしくは右目が義眼であると判断済みか否かを認識する（ステップＳ０１）。運転者の左右何れかの目が義眼であると判断済みの場合には、視線検出ＥＣＵ１２は、義眼でない側の目の視線角度を視線方向として運転支援ＥＣＵ５へ出力する（ステップＳ０２）と共に、右目及び左目の視線角度をそれぞれ記憶して（ステップＳ０３）、今回の視線検出処理を終了する。
（第１の判断手段による第１の障害判断工程）

ステップＳ０１において、運転者の左右何れかの目が義眼であるか未判断の場合には、視線検出ＥＣＵ１２は、今回検出した右目の視線角度と左目の視線角度とが略同一であるか否かを判断し（ステップＳ０４）、略同一である場合には左目及び右目の両方とも義眼でないとして、この視線角度を視線方向として運転支援ＥＣＵ５へ出力し（ステップＳ０５）、ステップＳ０３へ進む。

一方、今回検出した右目の視線角度と左目の視線角度とが略同一でない場合には、左右何れかの目が義眼であるとして、以下の第２の障害判断処理を行う。
（第２の判断手段による第２の障害判断工程）

まず、視線検出ＥＣＵ１２は、記憶されている前回の右目の視線角度と検出した現在の右目の視線角度とが略同一であるか否かを判断し（ステップＳ０６）、略同一でないと判断された場合には、記憶されている前回の左目の視線角度と検出した現在の左目の視線角度とが略同一であるか否かを判断して（ステップＳ０７）、略同一でないと判断された場合には、何れの眼が義眼であるか判別不能として、視線角度を視線方向として出力せず（ステップＳ０８）、第２の障害判断処理を終了すると共にステップＳ０３へ進む。

一方、ステップＳ０７において、前回の左目の視線角度と現在の左目の視線角度とが略同一であると判断された場合には、視線検出ＥＣＵ１２は、左目用義眼カウンタをインクリメントする。すなわち、視線検出ＥＣＵ１２は、左目用義眼カウンタのカウント値を１だけ増加する（ステップＳ０９）。その後、視線検出ＥＣＵ１２は、左目用義眼カウンタのカウント値が例えば１０に達したか否かを判断し（ステップＳ１０）、１０に達しない場合にはステップＳ０８の処理へ進み、１０に達した場合には、左目が義眼であると判断し、右目の視線角度を視線方向として運転支援ＥＣＵ５へ出力して（ステップＳ１１）、第２の障害判断処理を終了すると共にステップＳ０３へ進む。

ステップＳ０６において、前回の右目の視線角度と現在の右目の視線角度とが略同一であると判断された場合には、前回の左目の視線角度と現在の左目の視線角度とが略同一であるか否かを判断し（ステップＳ１２）、略同一であると判断された場合には、左右何れの眼が義眼であるか判別不能として、視線角度を視線方向として出力せず（ステップＳ１３）、第２の障害判断処理を終了してステップＳ０３へ進む。

一方、ステップＳ１２において、前回の左目の視線角度と現在の左目の視線角度とが略同一でないと判断された場合には、視線検出ＥＣＵ１２は、右目用義眼カウンタをインクリメントする。すなわち、視線検出ＥＣＵ１２は、右目用義眼カウンタのカウント値を１だけ増加する（ステップＳ１４）。その後、視線検出ＥＣＵ１２は、右目用義眼カウンタのカウント値が例えば１０に達したか否かを判断し（ステップＳ１５）、１０に達しない場合にはステップＳ１３の処理へ進み、１０に達した場合には、右目が義眼であると判断し、左目の視線角度を視線方向として運転支援ＥＣＵ５へ出力して（ステップＳ１６）、終了すると共にステップＳ０３へ進む。

このようにして、視線検出装置１０は、運転者の左目及び右目の何れか一方が義眼であるか否かを判断し、左右両方の目が義眼でない場合には、少なくとも左右何れかの一方の目の視線方向を運転支援ＥＣＵ５へ送信し、左右何れか一方の目が義眼である場合には、義眼でない側の運転者の目の視線方向を運転支援ＥＣＵ５へ送信する。

また、車速センサ４が車両の速度を検出して速度信号を運転支援ＥＣＵ５へ送信し、操舵角センサ３が車両の操舵角を検出して操舵角信号を運転支援ＥＣＵ５へ送信する。また、撮像装置２が、車両前方の路面画像を撮影して路面画像データを運転支援ＥＣＵ５へ送信する。

すると、運転支援ＥＣＵ５は、撮像装置２からの路面画像データを画像処理して車両が走行する走行レーンを認識し、この走行レーン及び操舵角に基づいて車両の進行方向を認識する。また、運転支援ＥＣＵ５は、車速に基づいて緊急度を認識する。その後、運転支援ＥＣＵ５は、車両の進行方向及び緊急度を考慮しつつ、視線検出装置１０からの視線方向信号に基づいて、運転者が脇見運転をしているか否かを判断する。運転支援ＥＣＵ５は、運転者が脇見運転をしていると判断した場合に警報器６に指令し、警報器６が警報を発して、運転者に注意を促す。

このように、本実施形態の視線検出装置１０によれば、視線検出ＥＣＵ１２が第１の判断手段として機能することによって、運転者が左右何れかの目に障害を有することを検出することができるので、運転者の視線方向の誤検出を防止することができる。

更に、本実施形態の視線検出装置１０によれば、視線検出ＥＣＵ１２が第２の判断手段として機能することによって、運転者が左右何れの目に障害を有するか特定することができ、障害を有さない側の運転者の目の視線方向を適切に検出することができる。

なお、本発明は上記した本実施形態に限定されることなく種々の変形が可能である。

本実施形態では、視線検出ＥＣＵ１２が第１の判断手段及び第２の判断手段の両方の機能を備える形態を例示したが、視線検出ＥＣＵは第１の判断手段のみの機能を備える形態であってもよい。この場合、視線検出ＥＣＵは、運転者の視線方向の誤検出を防止するために、運転者が左右何れかの目に障害を有することを検出したときには視線方向を出力しなければよい。

また、本実施形態では、視線検出ＥＣＵ１２は、現在の視線角度と前回の視線角度とが略同一であると判断する一致判断回数をカウントしてその回数が１０に達するまで運転者が障害を有すると判断する第２の障害判断を行わない形態を例示したが、視線検出ＥＣＵは、一致判断回数をカウントせずに一度の一致判断結果で第２の障害判断を行ってもよい。

また、本実施形態では、視線検出ＥＣＵ１２は、現在の視線角度を前回の視線角度と比較したが、視線検出ＥＣＵは、前回の視線角度に限らず過去何れかの視線角度と比較することも可能である。

本発明の実施形態に係る視線検出装置を有する運転支援装置の構成の一例を示す図である。 視線検出ＥＣＵが行う視線検出処理を示すフローチャートである。

符号の説明

１…運転支援装置、２…撮像装置、３…操舵角センサ、４…車速センサ、５…運転支援ＥＣＵ、６…警報器、９…コラムカバー、１０…視線検出装置、１１…撮像装置（検出手段）、１２…視線検出ＥＣＵ（検出手段、記憶手段、第１の判断手段、第２の判断手段、出力手段）、Ｄ…車両運転者。

Claims (3)

1. 車両運転者の左目の視線方向及び右目の視線方向を検出する検出手段と、
   前記検出手段によって検出された左目の視線方向と右目の視線方向とが異なる場合に、運転者は左目及び右目の何れか一方に障害を有すると判断する第１の判断手段と、
   を備える、視線検出装置。
2. 前記検出手段によって検出された過去の左目の視線方向と過去の右目の視線方向とを記憶する記憶手段と、
   前記記憶手段に記憶された過去の左目の視線方向と前記検出手段によって検出された今回の左目の視線方向とを比較すると共に、前記記憶手段に記憶された過去の右目の視線方向と前記検出手段によって検出された今回の右目の視線方向とを比較し、視線方向に差異がない側の目に運転者は障害を有すると判断する第２の判断手段と、
   を更に備える、請求項１に記載の視線検出装置。
3. 前記第２の判断手段によって障害を有すると判断された側の目と反対側の目の視線方向を出力する出力手段を更に備える、請求項２に記載の視線検出装置。

Images