JP2009245083A - 脇見運転検出警報システム - Google Patents

Abstract

【課題】
脇見運転によって危険が予測され、警報発令が必要な時にのみ脇見運転の警報を発令する脇見運転検出警報システムを提供する。
【解決手段】
車両に搭載したカメラと、前記カメラによって運転者を撮影し、撮影された画像データを処理して前記運転者が注視している視野を判定する視線検出部と、車両に搭載したレーダーと、前記視線検出部とのデータに基づき、前記運転者が注視していない方向にレーダー探索方向を設定して前記運転者が注視していない方向の障害物を探索する障害物探索部と、前記障害物探索部が障害物を検出した場合に、脇見運転警報を発するかどうかを判定し警報を発令する警報設定部と、を含んで構成されることを特徴とする脇見運転検出警報システム。

【選択図】 図１

Description

本発明は脇見運転検出警報システムに係り、より詳しくは、脇見運転によって危険が予測される場合に脇見運転警報を発する脇見運転検出警報システムに関する。

従来より、カメラを用いて運転者の視線を検出し、検出結果から運転者が脇見運転をしていると判断した場合、運転者に対して警報を発するシステムがある。
運転者の視線を検出する装置としては、運転者の眼球に不可視光を入射し、眼球からの反射光から運転者の視線方向を検出する装置が開示されている（例えば、特許文献１参照）。又、ステレオカメラ法を用いて、眼球の白目部分の中心と黒目部分の中心とを求めて視線方向を検出する方法が開示されている（例えば特許文献２参照）。

脇見運転を検出する装置としては、視線方向検出手段によって運転者の視線を検出し、視線方向頻度分布を算出し、前記視線方向頻度分布をかくれマルコフモデルを用いて算出したパラメータに基づく運転行動パターンを解析し、運転者の運転行動意図を判定して脇見運転を検出する装置が報告されている（例えば特許文献３参照）。又、一定時間以上瞬きをしなかったり、眼球が正面を向いた画像が検出されなかった場合に脇見運転と推定する運転支援システムが開示されている（例えば特許文献４参照）。更に、運転者の正面から顔面を撮影して両眼の距離を測定して、両眼の距離から脇見運転を判定する装置が報告されている（例えば特許文献５参照）。

特許３２３２８７３号公報 特許４０３２９９４号公報 特開２００２−３３１８５０号公報 特開平１１−３０４４２８号公報 特開平７−６９１３９号公報

特許文献３〜５に示されているような従来の脇見運転検出方法は、カメラによって運転者の行動を観察し、脇見運転であるかどうかを判断し、運転中に運転者の視線が一定時間脇見運転行動をとった場合に脇見運転と判定し、ドライバーに対して脇見運転警報を発していた。

しかし、運転者の行動は多様で、従来の方法では脇見運転行動を正確に判断するのは困難であり、この為に誤報が多くなる傾向があった。
また、状況によっては、一定時間脇見運転行動をとったときでも、必ずしも危険ではないため、脇見運転を検出する度に警報を発生すると、ドライバーに煩わしさや、警報に対する慢性感を与えてしまい、警報の効果が薄れてしまうという問題があった。
本発明の課題は、脇見運転によって危険が予測され、警報発令が必要な時にのみ脇見運転の警報を発令する脇見運転検出警報システムを提供することにある。

かかる課題を解決するための本発明の脇見運転検出警報システムは、
車両１に搭載したカメラ２を有し、カメラ２によって運転者６の顔面を撮影し、撮影された画像データ７を処理して運転者６が注視している視野９を判定する視線検出部１１０と、
車両１に搭載したレーダー３を有し、視線検出部１１０のデータに基づき運転者６が注視していない方向にレーダー探索方向１１を設定して運転者６が注視していない方向の障害物１２を探索する障害物探索部１２０と、
障害物探索部１２０が障害物１２を検出した場合に脇見運転警報５を発するか否かを判定し警報を発令する警報設定部１３０と、を含んで構成されることを特徴とする。

又、本発明の視線検出部１１０は、カメラ２と、
運転者６の画像データ７から運転者６の視線方向１３を検出する視線検出手段１１１と、
運転者６の視線方向１３を複数回取り込んで運転者６の注視方向１６を検出する注視方向検出手段１１２と、
注視方向１６の注視方向時間履歴１４を作成する注視方向履歴作成手段１１４と、
注視方向１６から運転者６の有効視野１５を判定する有効視野判定手段１１３と、を含む。

更に、本発明の障害物探索部１２０は、レーダー３と、
有効視野１５から運転者６が注視していない方向を判定してその方向にレーダー探索方向１１を設定する探索方向設定手段１２１と、
障害物１２を検出した場合に、障害物１２の方向と距離、及び障害物１２と車両１双方の速度と移動方向とから、車両１と障害物１２との相対速度を算出し、車両１と障害物１２との距離及び相対速度から、障害物１２が車両１に到達する推定到達時間１７を算出して出力する障害物検出手段１２２と、を含む。

更に、本発明の警報設定部１３０は、
障害物探索部１２０が障害物１２を検出した場合に、視線検出部１１０に設けられた注視方向履歴作成手段１１４に於いて作成された注視方向時間履歴１４を参照し、運転者６が障害物１２を注視した履歴がない場合は障害物１２を検出した時間から、履歴がある場合は前回障害物１２を注視した時間からの経過時間を算出して脇見運転時間１９とし、脇見運転時間１９と、推定到達時間１７と、障害物１２の方向と距離、及び障害物１２と車両１双方の速度及び移動方向と、から成るデータの内の２以上を、あらかじめ入力されている脇見運転判定プログラムに入力し演算し、脇見運転警報５を発するか否かを決定する警報判定手段１３１と、
脇見運転警報５の発令形式を設定して出力する警報設定手段１３２と、
警報設定手段１３２の設定した警告方法に従って警報を発令する警報装置４と、を含む。

更に、本発明の警報設定手段１３２は、脇見運転警報５を発すると決定した場合に、脇見運転時間１９と、推定到達時間１７と、障害物１２の方向と距離、及び障害物１２と車両１双方の速度及び移動方向と、から成るデータの内の２以上を用いて、脇見運転判定プログラム２０を用いて障害物１２の危険度２１を算出し、危険度２１に対応して脇見運転警報５の発令形式を設定して出力する。

本発明は、運転者６の視線８を検出して運転者６の注視方向１６を判定し、運転者６が注視していない方向をレーダー３で探索し、障害物１２を検出した場合に、運転者６が障害物１２を認識しているか否かを判定し、運転者６が障害物１２を認識していないと判定した時にのみ脇見運転警報５を発令し、認識していると判定した時には脇見運転警報５を発令しないので、不要な警報発令がなくなるため、運転者６が脇見運転警報５を煩わしく感じたり、慣れによって警報を無視したりすることがなくなる。

運転者６が注視していない方向をレーダー３で探索し、障害物１２を検出した場合に脇見運転警報５を発するので、通常運転中に於いても、運転者６の視野の死角を補い、運転の安全性を高めることができる。

以下に、図面を参照して本発明の実施の形態を詳細に記載する。この記載は本発明を説明するためのものであって、この記載によって本発明の技術範囲を限定するものではない。本発明は、本発明の技術的範囲から逸脱しない範囲内で、多様に変更して実施することが可能である。

図１に、本発明の１実施例による脇見運転検出警報システムの構成を示すシステムブロック図を示す。図１によれば、本発明の脇見運転検出警報システムは、視線検出部１１０と、障害物探索部１２０と、警報設定部１３０と、から構成される。以下に各部について詳細に説明する。

（視線検出部）
視線検出部１１０は、カメラ２と、視線検出手段１１１と、注視方向検出手段１１２と、有効視野判定手段１１３と、注視方向履歴作成手段１１４と、を含む。
車両１に搭載したカメラ２によって運転者６の顔面を撮影し、視線検出手段１１１によって撮影された画像データ７を処理して運転者６の視線８を検出する。カメラ２と視線検出手段１１１とを組み合わせた装置は所謂視線検出装置であって公知である。カメラ２と視線検出手段１１１とは、車両１に搭載可能であって、データの取り出しが可能なものであれば、一般的なものでよい。

注視方向検出手段１１２は、視線検出手段１１１から出力された運転者６の視線方向１３のデータを複数回積算し、平均化して、運転者６の注視方向１６を検出し、出力する。積算時間は０．０１〜１秒間が好ましく、０．０２〜０．５秒間がより好ましく、最も好ましい中心値として０．１秒を例示できる。

有効視野判定手段１１３は、運転者６の注視方向１６と視角から視野９を決定する。運転時の運転者６の視角は一般的な値が公知であって、これを用いて視野を計算することができる。ここで得られる視野９は車両運転時の動態視野である。好ましくは、有効視野判定手段１１３は、視野９に安全率を含むファクターを加算して有効視野１５を決定し出力する。
有効視野１５の決定は、注視方向１６に対応する有効視野１５をあらかじめ計算して脇見運転判定プログラム２０に入力し、脇見運転判定プログラム２０を用いて算出することもできる。
注視方向履歴作成手段１１４は、注視方向時間履歴を作成し、警報判定手段１３１へ出力する。

（障害物探索部）
障害物探索部１２０は、レーダー３と、探索方向設定手段１２１と障害物検出手段１２２とを含む。探索方向設定手段１２１と障害物検出手段１２２とは一体化して、レーダー３を制御し、検出した障害物１２のデータを計算処理して障害物１２の情報を出力する。

レーダー３は、例として、（ミリ波）レーダー、赤外線レーダー、超音波探知器、ステレオカメラを挙げることができるが、本発明に於いては、車両に搭載可能であって障害物１２の方向と距離とが測定できるものであれば何れでもよく、レーダー３は前記の例示に限られるものではない。
探索方向設定手段１２１は、有効視野１５から運転者６が注視していない方向を判定し、その方向にレーダー探索方向１１を設定し、レーダー３によって障害物１２を探索する。

図２に、本発明の１実施例によるレーダー探索方向１１の設定方法を例示する。図２（Ａ）は、運転者の注視方向１０が前方正面である場合を示しこの場合は、レーダー探索方向１１は右方と左方とになる。図２（Ｂ）は、運転者の注視方向１０が左方である場合を示し、この場合は、レーダー探索方向１１は前方正面と右方とになる。図２（Ｃ）は、運転者の注視方向１０が後方である（前方を注視していない）場合を示し、この場合レーダー探索方向１１は前方正面と右方と左方とになる。
レーダー探索方向１１は前方正面と右方と左方とに限られるものではなく、任意の探索方向と探索方向の数を設定できる。

障害物検出手段１２２は、障害物１２を検出した場合に、障害物１２の方向と距離、及び障害物１２と車両１双方の速度と移動方向とから、車両１と障害物１２との相対速度を算出し、更に、車両１と障害物１２との距離及び相対速度から、障害物１２が車両１に到達する推定到達時間１７を算出する。より好ましくは、推定到達時間１７は、障害物１２が車両１の危険距離１８に到達する時間である。

ここで、危険距離１８は、障害物１２と車両１との間に許容される最少距離であって、それ以上接近することは実質的に衝突するとみなす事ができる距離である。危険距離１８は運転状況に対応する可変の値であって、障害物１２の方向と距離、及び障害物１２と車両１双方の速度と移動方向と、車両１の制動力と、をファクターとして設定される。例えば、車両１が高速走行している場合や、障害物１２が車両１の進行方向にある場合の危険距離１８は大きくなり、後を追従する障害物１２や横を並走する障害物１２に対する危険距離１８は小さく設定できる。危険距離１８の条件設定は、後述する脇見運転判定プログラム２０を作成する際に入力することができる。
推定到達時間１７の算出は、脇見運転判定プログラム２０を用いて行うこともできる。

（警報設定部）
警報設定部１３０は、警報判定手段１３１と警報設定手段１３２と警報装置４とを含む。
警報判定手段１３１は、障害物検出手段１２２が障害物１２を検出した場合に、視線検出部１１０に設けられた注視方向履歴作成手段１１４に於いて作成された注視方向時間履歴１４を参照し、運転者６が障害物１２を注視した履歴がない場合は障害物１２を検出した時間から、履歴がある場合は前回障害物１２を注視した時間からの経過時間を算出して脇見運転時間１９とする。

警報判定手段１３１は、更に、脇見運転時間１９を参照して警報を発令するか否かを決定する。警報を発令するか否かの判定基準は、例えば車両１の正面方向の脇見運転時間が所定時間以上であれば警報を発令するように決定することができる。又、前記判定基準は、脇見運転時間１９を推定到達時間１７で割った数値が所定の数値以上であれば警報を発令するように決定することができる。より好ましくは、警報判定手段１３１は、脇見運転時間１９と、推定到達時間１７と、障害物１２の方向と距離、及び障害物１２と車両１双方の速度及び移動方向と、のデータの内の２以上を、脇見運転判定プログラムに入力し演算し、警報を発令するように決定するか否かを判断する。

ここで、脇見運転判定プログラム２０は、車両１の種々の運転状況を想定して、障害物１２の方向と距離、及び障害物１２と車両１双方の速度及び移動方向と、の実測データに、運転状況に対応した条件や係数を加算して最適化した計算方法或いは事前にそれら予想される値に対する計算結果を、あらかじめコンピュータに入力したものであって、各段階で測定したデータを脇見運転判定プログラム２０に入力して演算すれば、最適化された計算結果が得られるようにしたものである。脇見運転判定プログラム２０は、有効視野１５と推定到達時間１７と危険距離１８と脇見運転時間１９と後述する危険度２１との算出にも用いることができる。
警報判定手段１３１は、脇見運転２２と判断した場合は、脇見運転警報５を発すると決定し、出力する。

警報設定手段１３２は、警報判定手段１３１が脇見運転警報５を発すると決定した場合に、障害物１２の危険度２１を算出し、危険度２１に対応して脇見運転警報５の発令形式を設定して出力する。
危険度２１の算出は、例えば、障害物１２が車両１に向かって所定以上の相対速度で接近してくる場合を危険度３とし、相対速度が所定値以下であるか又は障害物１２が静止している場合は危険度２とし、障害物１２の走行経路が車両１の走行経路から遠い場合又は車両１から離れていく場合、若しくは障害物１２は検出されないが運転者１２の車両１の進行方向に対する脇見運転時間が所定値以上の場合は危険度１とするように設定することができる。

好ましくは、警報設定手段１３２は、脇見運転時間１９と、推定到達時間１７と、障害物１２の方向と距離、及び障害物１２と車両１双方の速度及び移動方向と、のデータの内の２以上を、脇見運転判定プログラム２０に入力し演算して障害物１２の危険度２１を算出する。
警報設定手段１３２は危険度２１に対応して脇見運転警報５の発令形式を設定して出力する。

脇見運転警報５の発令形式は、例えば、以下のように設定できる。
危険度２１の数値に対応して危険度２１の大きい方から、警報レベル３と警報レベル２と警報レベル１とを設定し、警報レベル３の場合は脇見運転警告灯を点灯するとともに、音圧レベル６０〜１００ｄＢＳＰＬの警報音、より好ましくは音圧レベル６５〜９０ｄＢＳＰＬの警報音、さらに好ましくは音圧レベル７５〜８５ｄＢＳＰＬの警報音を発する警告方法を設定し、警報レベル２の場合は脇見運転警告灯を点灯するとともに音圧レベル３０〜７０ｄＢＳＰＬの警報音、より好ましくは音圧レベル４０〜６５ｄＢＳＰＬの警報音、さらに好ましくは音圧レベル５５〜６５ｄＢＳＰＬの警報音を発する警告方法を設定し、警報レベル１の場合は脇見運転警告灯を点灯するか又は音圧レベ３０〜７０ｄＢＳＰＬの警報音、より好ましくは音圧レベル４０〜６５ｄＢＳＰＬの警報音、さらに好ましくは音圧レベル５５〜６５ｄＢＳＰＬの警報音を発する警告方法を設定し、出力する。
警報装置４は、警報設定手段１３２の出力した警告方法に従って脇見運転警報を発令する。

（脇見運転検出警報システムの動作）
図３に本発明の１実施例による脇見運転検出警報システムの動作フローチャートを示す。
視線検出手段１１１は、カメラ２と、運転者６の画像データ７とから運転者６の視線８の方向を検出し（ステップＳ２０１）、次いで、注視方向検出手段は、運転者６の視線方向１３のデータを複数回取り込んで運転者６の注視方向１６を検出する（ステップＳ２０２）。

有効視野判定手段１１３は運転者６の注視方向１６から有効視野を判定する（ステップＳ２０３）。
探索方向設定手段１２１は、有効視野１５から運転者６が注視していない方向を判定してその方向にレーダー探索方向１１を設定する（ステップＳ２０４）。

障害物検出手段１２２は障害物を探索し（ステップＳ２０５）、障害物１２を検出した場合に（ステップＳ２０６、Ｙｅｓ）車両１と障害物１２との距離及び相対速度から、障害物１２が車両１に到達する推定到達時間１７を算出する（ステップＳ２０７）。

警報判定手段１３１は、注視方向履歴作成手段１１４において作成された注視方向時間履歴１４を参照して脇見運転時間を算出（ステップＳ２０８）する。警報判定手段１３１は、更に脇見運転時間１９と、推定到達時間１７と、障害物１２の方向と距離、及び障害物１２と車両１双方の速度及び移動方向と、のデータ内の２以上を、脇見運転判定プログラム２０に入力し演算し、脇見運転２２か否かを判定する。
警報判定手段１３１は、脇見運転２２と判定した場合は、脇見運転警報５を発すると決定し、出力する（ステップＳ２０９、Ｙｅｓ）。

警報設定手段１３２は、警報判定手段１３１が脇見運転警報５を発すると決定した場合に、障害物検出手段１２２のデータから障害物１２の危険度２１を算出し（ステップＳ２１０）、危険度２１に対応した脇見運転警報５の発令形式を設定して出力し（ステップＳ２１１）、警報装置４は警報設定手段１３２の設定した発令形式によって脇見運転警報５を発令する（ステップＳ２１２）。

以下に、実施例を示す。
本発明の特許請求の範囲によれば、本発明は脇見運転の判定と危険度の算出に脇見運転判定プログラムを用いるが、本実施例では、本発明の思想を明確にするために、脇見運転判定プログラムを用いない脇見運転の判定方法と危険度の算出方法とを例示する。この実施例の記載は、本発明を説明するためのものであって、この記載によって本発明の技術範囲を限定するものではない。

車両１に搭載したカメラ２によって運転者６の顔面を撮影し、撮影した画像データを処理して運転者６が注視している視野を検出し、運転者６が注視していない方向をレーダーによって探索した。レーダー３に検出された障害物１２が、車両１からｘ［ｍ］の距離からｙ［ｍ／ｓｅｃ］の速度で接近していて、運転者６がその障害物１２をｚ［ｓｅｃ］注視していない場合、
ｘ／ｙ≦ｚであれば警報レベル３とし、ｘ／ｙ＞ｚであれば警報レベル２とし、レーダー３が検出した障害物１２が車両１から遠ざかっている場合と、レーダー３は何も検出していないが運転者６の有効視野１５が所定時間以上にわたって車両１の走行方向からそれた場合と、は警報レベル１とする。
警報レベル３の場合は脇見運転警告灯を点灯するとともに音圧レベル８０ｄＢＳＰＬの警報音を発し、警報レベル２の場合は脇見運転警告灯を点灯するとともに音圧レベル６０ｄＢＳＰＬの警報音を発し、警報レベル１の場合は脇見運転警告灯を点灯するか。又は音圧レベル６０ｄＢＳＰＬの警報音を発する。

本発明の１実施例によるのシステムの構成を示すシステムブロック図である。 本発明の１実施例によるレーダー探索方向１１を設定方法を示す。 本発明の１実施例による脇見運転検出警報システムの動作フローチャートを示す。

符号の説明

１ 車両
２ カメラ
３ レーダー
４ 警報装置
５ 脇見運転警報
６ 運転者
７ 画像データ
８ 視線
９ 視野
１０ 運転者の注視方向
１１ レーダー探索方向
１２ 障害物
１３ 視線方向
１４ 注視方向時間履歴
１５ 有効視野
１６ 注視方向
１７ 推定到達時間
１８ 危険距離
１９ 脇見運転時間
２０ 脇見運転判定プログラム
２１ 危険度
２２ 脇見運転
１１０ 視線検出部
１１１ 視線検出手段
１１２ 注視方向検出手段
１１３ 有効視野判定手段
１１４ 注視方向履歴作成手段
１１５ 有効注視範囲
１２０ 障害物探索部
１２１ 探索方向設定手段
１２２ 障害物検出手段
１３０ 警報設定部
１３１ 警報判定手段
１３２ 警報設定手段

Claims (5)

1. 車両に搭載したカメラを有し、前記カメラによって運転者の顔面を撮影し、撮影された画像データを処理して前記運転者が注視している視野を判定する視線検出部と、
   車両に搭載したレーダーを有し、前記視線検出部のデータに基づき、前記運転者が注視していない方向にレーダー探索方向を設定して前記運転者が注視していない方向の障害物を探索する障害物探索部と、
   前記障害物探索部が障害物を検出した場合に、脇見運転警報を発するか否かを判定し警報を発令する警報設定部と、
   を含んで構成されることを特徴とする脇見運転検出警報システム。
2. 前記視線検出部は、
   前記カメラと、
   前記運転者の画像データから前記運転者の視線方向を検出する視線検出手段と、
   前記運転者の視線方向を複数回取り込んで前記運転者の注視方向を検出する注視方向検出手段と、
   前記注視方向から前記運転者の有効視野を判定する有効視野判定手段と、
   を含むことを特徴とする請求項１に記載の脇見運転検出警報システム。
3. 前記障害物探索部は、
   前記レーダーと、
   前記有効視野から前記運転者が注視していない方向を判定し、その方向に前記レーダー探索方向を設定する探索方向設定手段と、
   障害物を検出した場合に、前記障害物の方向と距離、及び前記障害物と車両双方の速度と移動方向とから、前記車両と前記障害物との相対速度を算出し、前記車両と前記障害物との距離及び前記相対速度から前記障害物が前記車両に到達する推定到達時間を算出して出力する障害物検出手段と、
   を含むことを特徴とする請求項１に記載の脇見運転検出警報システム。
4. 前記警報設定部は、
   前記障害物探索部が障害物を検出した場合に、前記視線検出部に設けられた注視方向履歴作成手段に於いて作成された注視方向時間履歴を参照して、前記運転者が前記障害物を注視した履歴がない場合は前記障害物を検出した時間から、前記履歴がある場合は前回障害物を注視した時間からの経過時間を脇見運転時間とし、前記脇見運転時間と、前記推定到達時間と、前記障害物の方向と距離、及び前記障害物と車両双方の速度及び移動方向と、から成るデータの内の２以上を、あらかじめ入力されている脇見運転判定プログラムに入力して演算し、前記脇見運転警報を発するか否かを決定する警報判定手段と、
   脇見運転警報の発令形式を設定して出力する警報設定手段と、
   前記警報設定手段の設定した警告方法に従って警報を発令する警報装置と、
   を含むことを特徴とする請求項１に記載の脇見運転検出警報システム。
5. 前記警報設定手段は、前記警報判定手段が前記脇見運転警報を発すると決定した場合に、前記脇見運転時間と、前記推定到達時間と、前記障害物の方向と距離、及び前記障害物と車両双方の速度及び移動方向と、から成るデータの内の２以上を用いて、前記脇見運転判定プログラムによって前記障害物の危険度を算出し、前記危険度に対応して前記脇見運転警報の発令形式を設定して出力することを特徴とする請求項４に記載の脇見運転検出警報システム。

Images