JP2005284473A - 運転支援システム、自動車、および運転支援方法 - Google Patents

Abstract

【課題】移動する被写体を運転手に通知する運転支援システム、自動車、および運転支援方法を提供する。
【解決手段】運転支援システムであって、車両からみた被写体の相対的な位置を検出する３Ｄカメラと、３Ｄカメラが検出した被写体の位置に基づいて、車両に対する被写体の相対的な移動ベクトルを検出する被写体移動ベクトル算出手段と、車両の移動速度と旋回角度によって被写体に生じる静止被写体ベクトルを算出する静止被写体ベクトル算出手段と、被写体の移動ベクトルの中で、静止被写体ベクトル算出手段が算出した静止被写体ベクトルとは異なる移動ベクトルを選択することで移動体を検出する移動体検出手段と、移動体検出手段が移動体として検出した被写体の中で、車両に近づく近接被写体を検出する近接被写体検出手段と、近接被写体検出手段が近接被写体を検出した場合に車両の運転手に警告を行う警告手段とを備える。
【選択図】図２

Description

本発明は、移動する被写体を運転手に通知する運転支援システム、自動車、および運転支援方法に関する。特に本発明は、自動車の前方を撮像することにより、移動する被写体を運転手に通知する運転支援システム、自動車、および運転支援方法に関する。

従来、車両に設置されたカメラを用いて車両の前方を撮像し、取得した画像から自車両の近づく被写体を検知して、運転手へ警告を与える車両用前方監視方法が提案されている（例えば、特許文献１参照）。

特開平６−１０７０９６号公報

しかしながら、運転手が被写体に既に気づいている場合、このような被写体について警告を与えられると、運転手にとっては非常に煩わしく感じられ、運転の妨げとなる場合がある。

そこで本発明は、上記の課題を解決することのできる運転支援システム、自動車、および運転支援方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

即ち、本発明の第一の形態によると、車両からみた被写体の相対的な位置を検出する位置検出手段と、位置検出手段が連続して検出した被写体の位置に基づいて、車両に対する被写体の相対的な移動ベクトルを算出する被写体移動ベクトル算出手段と、車両の移動速度を検出する速度検出手段と、車両の旋回角度を検出する舵角検出手段と、車両の移動速度、および旋回角度によって被写体に生じる移動ベクトルである静止被写体ベクトルを、速度検出手段が検出した車両の移動速度、および舵角検出手段が検出した車両の旋回角度に基づいて算出する静止被写体ベクトル算出手段と、被写体移動ベクトル算出手段が算出した被写体の移動ベクトルの中で、静止被写体ベクトル算出手段が算出した静止被写体ベクトルとは異なる移動ベクトルを選択し、当該移動ベクトルを有する被写体を、移動体として検出する移動体検出手段と、被写体移動ベクトル算出手段が算出した移動ベクトルを用いて、移動体検出手段が移動体として検出した被写体の中で、当該車両に近づいている近接被写体を検出する近接被写体検出手段と、近接被写体検出手段が近接被写体を検出した場合に車両の運転手に対して警告を行う警告手段と、車両を運転する運転手の視線方向を検出する視線検出手段とを備え、警告手段は、更に、視線検出手段が検出した運転手の視線方向が、被写体の方向と比較して所定以上離れていることを条件として警告を行う運転支援システムを提供する。このように本発明では運転手の視線から離れた被写体について警告を与えるので、運転手が車両への接近を気づいていない可能性のある被写体を適切に知らせることができる。これにより運転手は、安全に運転を行うことができる。

上記の位置検出手段は３Ｄカメラであり、被写体移動ベクトル算出手段は、３Ｄカメラにより撮像された被写体の３次元空間上の位置に基づいて３次元の移動ベクトルを算出してもよい。これにより、精度よく移動体を検知することができる。

上記の運転支援システムは、３Ｄカメラが検出した被写体の位置に基づいて、移動体が当該車両に近接するまでの時間を算出する近接時間算出手段を更に備え、警告手段は、更に、近接時間算出手段が算出した時間が、予め定められた時間よりも小さいことを条件として、運転手に対して警告を行ってよい。これにより運転手は、近接する被写体の中でも、衝突の危険性が高い被写体を知ることができる。そして、運転手は安全に運転を行うことができる。

上記の運転支援システムは、音声をステレオで出力するステレオ音声出力装置を更に備え、警告手段は、ステレオ音声出力装置を用いて、被写体の方向から警告メッセージを出力することにより運転手に対し警告を行ってもよい。これにより運転手は、自動車に近づく被写体があることを、容易に知ることができる。

上記の運転支援システムは、車両のフロントガラス上における運転手からみた近接被写体の位置を、フロントガラス位置として算出するフロントガラス位置算出手段を更に備え、警告手段は、フロントガラス上の、フロントガラス位置算出手段が算出したフロントガラス位置にマークを表示することにより警告を行ってもよい。これにより運転手は、自動車に近づく被写体の位置を、確実に知ることができる。

上記の運転支援システムは、フロントガラスを、内側から照射するフロントガラス照射手段を更に備え警告手段は、フロントガラス照射手段によりフロントガラスを内側から照射することにより、マークを表示してもよい。これにより運転手は、自動車に近づく被写体があることを、確実に知ることができる。

上記の運転支援システムは、フロントガラス上に設けられた透明な表示装置であるＥＬ表示手段を更に備え、警告手段は、ＥＬ表示手段によって、フロントガラス上にマークを表示してもよい。これにより運転手は、自動車に近づく被写体があることを、確実に知ることができる。

本発明の第２の形態においては、自動車からみた被写体の相対的な位置を検出する位置検出手段と、位置検出手段が連続して検出した被写体の位置に基づいて、自動車に対する被写体の相対的な移動ベクトルを算出する被写体移動ベクトル算出手段と、自動車の移動速度を検出する速度検出手段と、自動車の旋回角度を検出する舵角検出手段と、カメラが撮像する画像において、自動車の移動速度、および旋回角度によって被写体に生じる移動ベクトルである静止被写体ベクトルを、速度検出手段が検出した自動車の移動速度、および舵角検出手段が検出した自動車の旋回角度に基づいて算出する静止被写体ベクトル算出手段と、被写体移動ベクトル算出手段が算出した被写体の移動ベクトルの中で、静止被写体ベクトル算出手段が算出した静止被写体ベクトルとは異なる移動ベクトルを選択し、当該移動ベクトルを有する被写体を、移動体として検出する移動体検出手段と、被写体移動ベクトル算出手段が算出した移動ベクトルを用いて、移動体検出手段が移動体として検出した被写体の中で、当該自動車に近づいている近接被写体を検出する近接被写体検出手段と、近接被写体検出手段が近接被写体を検出した場合に自動車の運転手に警告を行う警告手段と、自動車を運転する運転手の視線方向を検出する視線検出手段とを備え、警告手段は、更に、視線検出手段が検出した運転手の視線方向が、被写体の方向と比較して所定以上離れていることを条件として警告を行う自動車を提供する。

上記の位置検出手段は、３Ｄカメラであり、被写体移動ベクトル算出手段は、３Ｄカメラにより撮像された被写体の３次元空間上の位置に基づいて３次元の移動ベクトルを算出してもよい。

上記の自動車は、音声をステレオで出力するステレオ音声出力装置を更に備え、警告手段は、ステレオ音声出力装置を用いて、被写体の方向から警告メッセージを出力することにより運転手に対し警告を行ってもよい。

上記の自動車は、フロントガラス上における近接被写体の位置を、フロントガラス位置として算出するフロントガラス位置算出手段を更に備え、警告手段は、フロントガラス上の、フロントガラス位置算出手段が算出したフロントガラス位置にマークを表示することにより警告を行ってもよい。

本発明の第３の形態においては、車両からみた被写体の相対的な位置を位置検出手段により検出する位置検出ステップと、位置検出手段が連続して検出した被写体の位置に基づいて、車両に対する被写体の相対的な移動ベクトルを算出する被写体移動ベクトル算出ステップと、車両の移動速度を検出する速度検出ステップと、車両の旋回角度を検出する舵角検出ステップと、車両の移動速度、および旋回角度によって被写体に生じる移動ベクトルである静止被写体ベクトルを、速度検出手段が検出した車両の移動速度、および舵角検出手段が検出した車両の旋回角度に基づいて算出する静止被写体ベクトル算出ステップと、被写体移動ベクトル算出ステップが算出した被写体の移動ベクトルの中で、静止被写体ベクトル算出ステップが算出した静止被写体ベクトルとは異なる移動ベクトルを選択し、当該移動ベクトルを有する被写体を、移動体として検出する移動体検出ステップと、被写体移動ベクトル算出ステップが算出した移動ベクトルを用いて、移動体検出ステップが移動体として検出した被写体の中で、当該車両に近づいている近接被写体を検出する近接被写体検出ステップと、近接被写体検出ステップが近接被写体を検出した場合に警告を行う警告ステップと、車両を運転する運転手の視線方向を検出する視線検出ステップとを備え、上記の警告ステップは、更に、視線検出ステップが検出した運転手の視線方向が、被写体の方向と比較して所定以上離れていることを条件として警告を行う運転支援方法を提供する。

上記の位置検出手段は３Ｄカメラであり、被写体移動ベクトル算出ステップは、３Ｄカメラにより撮像された被写体の３次元空間上の位置に基づいて３次元の移動ベクトルを算出してもよい。

警告ステップは、音声をステレオで出力するステレオ音声出力装置を用いて、被写体の方向から警告メッセージを出力することにより運転手に対し警告を行ってもよい。

上記の運転支援方法は、フロントガラス上における近接被写体の位置を、フロントガラス位置として算出するフロントガラス位置算出ステップを更に備え、警告ステップは、フロントガラス上の、フロントガラス位置算出ステップが算出したフロントガラス位置にマークを表示することにより警告を行ってもよい。

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明に係る運転支援システム１００を搭載した自動車１０の構成の一例を示す。本発明の運転支援システム１００は、３Ｄカメラ４２を有しており、自動車１０の略前方の被写体６００および６０２を撮像する。運転支援システム１００は、３Ｄカメラ４２を用いて動いている被写体を移動体として検出し、移動体の中で自動車１０へ近接する被写体を運転手２０へ通知することことにより、運転手２０の運転を支援することを目的とする。なお本発明において車両とは、自動車や列車などの自走する乗り物を指す。

図２は、運転支援システム１００が行う運転支援方法の一例を説明する図である。自動車１０の走行中に、３Ｄカメラ４２が連続したフレームを撮像すると、撮像された画像に含まれる被写体６００、６０２、および６０４のそれぞれは、各フレームにおいて異なる位置に現れる。この場合、複数のフレーム中の各被写体の位置を結ぶと、自動車１０に対する各被写体の相対速度に応じた移動ベクトルが得られる。本発明の運転支援システム１００は、自動車１０の走行状態から算出される静止した被写体の計算上の移動ベクトルと３Ｄカメラ４２が連続して被写体を撮像することにより得られる実際の移動ベクトルとを比較することにより、移動する被写体を見つけることを目的とする。

本図の例において、被写体６０４は地面に対して静止しており、被写体６００および被写体６０２は、地面に対して移動している。本発明の運転支援システム１００は、移動体として、移動をしている被写体６００および６０２を検知し、移動体として検知された被写体の中で、更に自動車１０に近接する被写体を運転手２０へ通知する。運転支援システム１００は、複数のＬＥＤ６１をフロントダッシュボード１４上に有しており、複数のＬＥＤ６１は、移動体として検知された被写体６００にマーク６７０を、フロントガラス１２上で重ねて表示することで運転手２０へ警告を行う。また運転支援システム１００は、複数のスピーカー６３を有しており、スピーカー６３から音声を出力することにより運転手２０へ警告を行う。

更に、本例の運転支援システム１００は、近接する被写体の中で、自動車１０と衝突するおそれの高い被写体を運転手２０へ通知することを目的とする。詳細は後述するが、運転支援システム１００は視線検出手段４０を有しており、運転手２０の視線方向を検知する。例えば運転手２０の視線が被写体６０２の方向を向いており、かつ被写体６００の方向から離れている場合、運転手２０が被写体６００には気づいていない可能性が高いので、運転支援システム１００は、運転手２０の視線方向から離れている被写体６００に対して、フロントガラス１２上にマーク６７０を重ねて表示することで警告を行う。

図３は、運転支援システム１００の機能構成の一例を示す。運転支援システム１００は、視線検出手段４０、３Ｄカメラ４２、被写体移動ベクトル算出手段４４、近接被写体検出手段４６、移動体検出手段４８、静止被写体ベクトル算出手段５０、速度検出手段５２、舵角検出手段５４、近接時間算出手段５６、警告手段５８、ステレオ音声出力装置６０、フロントガラス照射手段６２、およびフロントガラス位置算出手段６４を有する。

３Ｄカメラ４２は、自動車１０の進行方向に光軸が一致するように自動車１０に予め配置され、自動車１０の前方を連続して撮像する。３Ｄカメラ４２は、連続して撮像したそれぞれの画像において、自動車１０からみた被写体の相対的な位置を検出する。ここで３Ｄカメラ４２は内部に２つのカメラを含んでおり、各カメラにより撮像された被写体の特徴点の位置のずれを用いて自動車１０を基準とした被写体までの距離を求める。更に３Ｄカメラ４２は、撮像した画像中の各特徴点の位置を用いて、自動車１０からみた被写体の相対的な位置を算出する。また３Ｄカメラ４２は、検出した被写体の位置を用いて自動車１０の進行方向に対する被写体の方向を算出する。尚、３Ｄカメラ４２は、位置検出手段の一例である。運転支援システム１００は、３Ｄカメラ４２に代えて、音、赤外線、またはレーザー等を利用したセンシング手段を位置検出手段として備えてもよい。

被写体移動ベクトル算出手段４４は、３Ｄカメラ４２が算出した被写体の位置に基づいて、自動車１０に対する被写体の相対的な移動ベクトルを算出する。この場合、被写体移動ベクトル算出手段４４は、同じ特徴点の異なるフレーム間における位置の差分を求めることにより特徴点の移動ベクトルを算出する。このように本例の被写体移動ベクトル算出手段４４は、被写体の３次元空間上の位置に基づいて、３次元の移動ベクトルを算出する。

速度検出手段５２および舵角検出手段５４は、自動車１０の移動速度および旋回角度をそれぞれ検出する。そして静止被写体ベクトル算出手段５０は、被写体が静止していた場合に、自動車１０の移動速度および旋回速度によって被写体に生じる、自動車１０を基準とした移動ベクトルである静止被写体ベクトルを算出する。

移動体検出手段４８は、被写体移動ベクトル算出手段４４が算出した被写体の移動ベクトルの中で、静止被写体ベクトル算出手段５０から受け取った静止被写体ベクトルとは異なる移動ベクトルを選択し、この移動ベクトルを有する被写体を移動体として検出する。ここで移動体検出手段４８は、被写体移動ベクトル算出手段４４が算出した被写体の移動ベクトルと、静止被写体ベクトル算出手段５０が算出した静止被写体ベクトルとの差分を算出し、予め定められた大きさを超えた場合に、この移動ベクトルを有する被写体を移動体であると判断する。

近接被写体検出手段４６は、移動体検出手段４８によって移動体として検出された被写体の中で、被写体移動ベクトル算出手段４４が算出した移動ベクトルを用いて自動車１０に近づく近接被写体を検出する。本例の近接被写体検出手段４６は、自動車１０を中心とする所定の領域を示す情報を予め格納しており、３Ｄカメラ４２から受け取った被写体の方向がこの領域を向いている場合に、近接被写体検出手段４６はこの被写体を近接被写体として検出する。

近接時間算出手段５６は、３Ｄカメラ４２から受け取った各被写体の中から、移動体検出手段４８が移動体として検出した被写体の相対的な位置を示す情報を選択する。近接時間算出手段５６は、被写体の相対的な位置と、被写体移動ベクトル算出手段４４が算出した移動ベクトルを用いて、検出された移動体が自動車１０に接近するまでの時間を算出する。なお、近接するまでの時間とは、自動車１０を中心とする予め定められた領域内に、被写体が含まれるまでの時間であってよい。

視線検出手段４０は、自動車１０を運転する運転手２０の視線方向と、運転手２０の目の位置を検出する。尚、視線検出手段４０が行う詳細な動作は後述する。

近接被写体検出手段４６が近接被写体を検出した場合に、警告手段５８は警告を行う。ここで警告手段５８は、近接時間算出手段５６によって算出された時間が予め定められた時間よりも小さい場合に、運転手２０に対して警告を行う。これにより近接する被写体の中でも衝突の危険性が高い被写体を運転手へ知らせることができるので、運転手２０は、衝突を適切に回避することができる。

警告手段５８は、視線検出手段４０が検出した運転手２０の視線方向が被写体の方向と比較して所定以上離れていることを更に条件として、警告を行う。近接する被写体に運転手が既に気づいている場合、このような被写体について警告を与えられると、運転手２０にとっては非常に煩わしく感じられ、運転の妨げになる場合があるが、本発明の運転支援システム１００は、運転手２０の視線から離れた被写体について警告を与えるので、運転手２０が接近を気づいていない可能性のある被写体を知らせることができる。これにより運転手２０は、安全に運転を行うことができる。

ステレオ音声出力装置６０は、複数のスピーカー６３（図２参照）を備えており、音声をステレオで出力する。近接被写体検出手段４６が近接被写体を検出した場合に、警告手段５８は、ステレオ音声出力装置６０を用いて３Ｄカメラ４２から受け取った被写体の方向から警告メッセージを出力することにより、運転手２０に対して警告を行う。これにより、衝突の危険性が高い被写体の方向を確実に運転手へ知らせることができる。

また本例の警告手段５８は、近接被写体検出手段４６が検出した近接被写体の中で、近接時間算出手段５６により算出された時間が予め定められた時間よりも短く、かつ視線検出手段４０によって検出された運転手２０の視線方向が近接被写体の方向と離れている場合に、この近接被写体の相対的な位置をフロントガラス位置算出手段６４へ出力する。

フロントガラス位置算出手段６４は、運転手の目の位置と、近接被写体の位置とを結ぶ位置をフロントガラス位置として算出し、フロントガラス１２（図２参照）を内側から照射することで、フロントガラス１２に表示を行う。フロントガラス照射手段６２は、複数のＬＥＤ６１（図２参照）を含んでおり、それぞれのＬＥＤ６１は、フロントガラス１２上の所定の位置に光を照射し、かつ照射された光の反射光が、運転手２０の視線へ向かうように予め設置される。そしてフロントガラス照射手段６２は、フロントガラス照射手段６２から通知されたフロントガラス位置へマークを照射する。本例のフロントガラス照射手段６２は、マークとして被写体の周囲を囲む枠を表示する。これにより、衝突の危険性が高い被写体を、確実に運転手２０へ知らせることができる。

なお本例のフロントガラス位置算出手段６４は、運転手２０が算出した目の位置を用いてフロントガラス位置を算出したが、他の方法としてはフロントガラス位置算出手段６４は、運転手２０が座る運転席の位置に基づいて、目の位置を推測してもよい。さらに簡易には、フロントガラス位置算出手段６４は、予め想定される運転手２０の目の位置を格納していてもよい。

また他の例において、運転支援システム１００は、フロントガラス照射手段６２に代えて、フロントガラス１２上に設けられた透明な表示装置であるＥＬ表示手段を有してもよい。これにより、フロントガラス１２に、マークを正確に表示することができる。そして衝突の危険性が高い被写体を、確実に運転手２０へ知らせることができる。

図４および図５は、運転支援システム１００の動作の一例を示すフローチャートである。３Ｄカメラ４２は、連続して自動車１０の前方を撮像し、連続して取得した画像において、自動車１０からみた被写体の相対的な位置を検出する（Ｓ１００）。また３Ｄカメラ４２は、自動車１０の進行方向を基準として自動車１０からみた被写体の方向を算出する。

被写体移動ベクトル算出手段４４は、３Ｄカメラ４２より受け取った被写体の座標に基づいて、自動車１０に対する被写体の相対的な移動ベクトルを算出する（Ｓ１０５）。この場合、被写体移動ベクトル算出手段４４は、同じ特徴点の異なるフレーム間における位置の差分を求めることにより特徴点の移動ベクトルを算出する。

速度検出手段５２および舵角検出手段５４は、自動車１０の移動速度および旋回角度をそれぞれ検出し（Ｓ１１０）、検出した移動速度および旋回角度を静止被写体ベクトル算出手段５０へ出力する。静止被写体ベクトル算出手段５０は、被写体が静止していた場合に、自動車１０の移動速度および旋回速度によって被写体に生じる、自動車１０を基準とした移動ベクトルを算出する（Ｓ１１５）。なお本明細書では、この移動ベクトルを静止被写体ベクトルと呼ぶ。

移動体検出手段４８は、被写体移動ベクトル算出手段４４が算出した被写体の移動ベクトルの中で、静止被写体ベクトル算出手段５０が算出した静止被写体ベクトルとは異なる移動ベクトルを選択し、この移動ベクトルを有する被写体を、移動体として検出する（Ｓ１２０）。本例の移動体検出手段４８は、被写体移動ベクトル算出手段４４が算出した移動ベクトルと、静止被写体ベクトル算出手段５０が算出した静止被写体ベクトルとの差分を各特徴点について算出し、予め定められた大きさを超えた場合に、この移動イベクトルを有する被写体を移動体であると判断する。

近接被写体検出手段４６は、被写体移動ベクトル算出手段４４が算出した移動ベクトルを用いて、移動体検出手段４８が移動体として検出した被写体の中で、自動車１０に近づいている近接被写体を検出する（Ｓ１２５）。本例の近接被写体検出手段４６は、自動車１０を中心とした所定の領域の位置を示す情報を予め格納しており、各特徴点から自動車１０へ向かう移動ベクトルが、所定の領域を向いている場合に、近接被写体検出手段４６はこの特徴点が自動車１０に近づいていると判断する。そして近接被写体検出手段４６は、近接被写体を検出した旨を警告手段５８へ出力する。

近接時間算出手段５６は、３Ｄカメラ４２が算出した各被写体の相対的な位置を示す情報の中から、移動体検出手段４８が移動体として検出した被写体の相対的な位置を示す情報を選択する。近接時間算出手段５６は、被写体の相対的な位置と、被写体移動ベクトル算出手段４４が算出した移動ベクトルとを用いて、移動体が自動車１０に接近するまでの時間を算出し（Ｓ１３０）、算出した時間を警告手段５８へ出力する。

視線検出手段４０は、自動車１０を運転する運転手２０の視線方向を検出し（Ｓ１３５）、検出した視線方向を警告手段５８へ出力する。また視線検出手段４０は、運転手２０の目の位置を検出して、フロントガラス位置算出手段６４へ出力する。

ここで被写体の移動ベクトルの方向が、自動車１０を向いている場合（Ｓ１４０：ＹＥＳ）、本フローチャートはステップＳ１４５へ進む。本例の近接被写体検出手段４６は、自動車１０を中心とする所定の領域を示す情報を予め格納しており、３Ｄカメラ４２から受け取った被写体の方向がこの領域を向いている場合に、近接被写体検出手段４６はこの被写体を近接被写体として検出する。

そして近接時間算出手段５６が算出した時間が、予め定められた時間よりも小さい場合、例えば５秒以下である場合（Ｓ１４５：ＹＥＳ）、本フローチャートはステップＳ１５０へ進む。そして視線検出手段４０が検出した運転手２０の視線方向が、被写体の方向と比較して所定以上、例えば３０度以上離れている場合（Ｓ１５０：ＹＥＳ）、警告手段５８は、フロントガラス１２にマーク（図２参照）を表示することにより、警告を行う（Ｓ１５５）。更に警告手段５８は、ステレオ音声出力装置６０を用いて、被写体の方向から警告メッセージを出力する（Ｓ１６０）。このように近接する被写体の中でも、衝突の危険性が高い被写体を運転手２０へ知らせるとともに、運転手２０が自動車１０への接近を気づいていない可能性の高い被写体を知らせるので、運転手２０は、衝突を適切に回避することができる。更に、音声を用いて衝突の危険性が高い被写体を運転手２０へ知らせるので、運転手２０は危険を回避することができる。

被写体の移動ベクトルの方向が、自動車１０を向いていない場合（Ｓ１４０：ＮＯ）、近接時間算出手段５６によって算出された時間が予め定められた時間よりも大きい場合（Ｓ１４５：ＮＯ）、または視線検出手段４０が検出した運転手２０の視線方向が、被写体の方向と比較して、所定以上離れていない場合（Ｓ１５０：ＮＯ）、本フローチャートは、Ｓ１６５へ進む。そして自動車１０の走行速度が所定の速度以上である場合（Ｓ１６５：ＹＥＳ）、本フローチャートはステップＳ１４０へ進み、ステップＳ１４０からステップＳ１６０までの動作を繰り返す。自動車１０の速度が所定の速度よりも小さい場合、本フローチャートは終了する。

図６は、ステップＳ１３５の詳細な動作の一例を示すフローチャートである。本例の視線検出手段４０は、例えば２つのカメラを内蔵しており、運転手２０の顔を撮像することで運転手２０の立体の顔画像を作成する。この場合、視線検出手段４０は、運転手２０の両眼の位置および鼻の位置を検出する（Ｓ３００）。そして人間の顔の形状が略左右対称であることを利用して、視線検出手段４０は顔が向いている方向を求める（Ｓ３０５）。尚、視線検出手段４０は、運転手２０の両眼の位置を算出して、先に説明したフロントガラス位置算出手段６４へ、算出した目の位置を出力する。

ここで人間の目の大きさは、顔や頭の大きさ、或いは両眼の距離に基づいて算出することが可能である。本例の視線検出手段４０は、両眼の距離に応じた目の大きさを予め格納しており、これにより視線検出手段４０は、目の距離を算出することにより、目の大きさを算出する（Ｓ３１０）。そして視線検出手段４０は、更に目の中の瞳の位置をそれぞれ算出する（Ｓ３１５）。

ここで視線検出手段４０は、両眼を結ぶ線分の中点、および２つの瞳を結ぶ線分の中点のそれぞれの位置を算出し、両眼を結ぶ線分の中点に対する、２つの瞳を結ぶ線分の中点のずれ量を算出する（Ｓ３２０）。そして視線検出手段４０は、目の大きさと、算出した瞳の位置のずれ量とから、瞳が向いている方向を算出する（Ｓ３２５）。一例として、顔の正面方向に対して瞳の回転角度を定義した場合に、回転角度の正弦を目の半径に乗じた値が、算出したずれ量に相当することを利用して、視線検出手段４０は、瞳が向いている方向を算出する。そして、既に算出した顔が向いている方向に、瞳が向いている方向を加算することで、視線方向を算出する（Ｓ３３０）。以上で、本フローチャートは終了する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

本発明に係る運転支援システム１００を搭載した自動車１０の構成の一例を示す。 運転支援システム１００が行う運転支援の一例を説明する図である。 運転支援システム１００の機能構成の一例を示す図である。 運転支援システム１００の動作の一例を示すフローチャートである。 運転支援システム１００の動作の一例を示すフローチャートである。 ステップＳ１３５の詳細な動作の一例を示すフローチャートである。

符号の説明

１０・・・自動車、１２・・・フロントガラス、１４・・・フロントダッシュボード、２０・・・運転手、４０・・・視線検出手段、４２・・・３Ｄカメラ、４４・・・被写体移動ベクトル算出手段、４６・・・近接被写体検出手段、４８・・・移動体検出手段、５０・・・静止被写体ベクトル算出手段、５２・・・速度検出手段、５４・・・舵角検出手段、５６・・・近接時間算出手段、５８・・・警告手段、６０・・・ステレオ音声出力装置、６１・・・ＬＥＤ、６２・・・フロントガラス照射手段、６４・・・フロントガラス位置算出手段、６３・・・スピーカー、１００・・・運転支援システム、６００、６０２、６０４・・・被写体、６７０・・・マーク

Claims (15)

1. 車両からみた、被写体の相対的な位置を検出する位置検出手段と、
   前記位置検出手段が連続して検出した前記被写体の位置に基づいて、前記車両に対する前記被写体の相対的な移動ベクトルを算出する被写体移動ベクトル算出手段と、
   前記車両の移動速度を検出する速度検出手段と、
   前記車両の旋回角度を検出する舵角検出手段と、
   前記車両の前記移動速度、および前記旋回角度によって前記被写体に生じる移動ベクトルである静止被写体ベクトルを、前記速度検出手段が検出した前記車両の前記移動速度、および前記舵角検出手段が検出した前記車両の前記旋回角度に基づいて算出する静止被写体ベクトル算出手段と、
   前記被写体移動ベクトル算出手段が算出した前記被写体の前記移動ベクトルの中で、前記静止被写体ベクトル算出手段が算出した前記静止被写体ベクトルとは異なる移動ベクトルを選択し、当該移動ベクトルを有する前記被写体を、移動体として検出する移動体検出手段と、
   前記被写体移動ベクトル算出手段が算出した前記移動ベクトルを用いて、前記移動体検出手段が移動体として検出した前記被写体の中で、当該車両に近づいている近接被写体を検出する近接被写体検出手段と、
   前記近接被写体検出手段が前記近接被写体を検出した場合に前記車両の運転手に対して警告を行う警告手段と、
   前記車両を運転する前記運転手の視線方向を検出する視線検出手段と
   を備え
   前記警告手段は、更に、前記視線検出手段が検出した前記運転手の前記視線方向が、前記被写体の方向と比較して所定以上離れていることを条件として警告を行う運転支援システム。
2. 前記位置検出手段は３Ｄカメラであり、前記被写体移動ベクトル算出手段は、前記３Ｄカメラにより撮像された被写体の３次元空間上の位置に基づいて３次元の移動ベクトルを算出する請求項１に記載の運転支援システム。
3. 前記３Ｄカメラが検出した前記被写体の位置に基づいて、前記移動体が当該車両に近接するまでの時間を算出する近接時間算出手段を更に備え、
   前記警告手段は、更に、前記近接時間算出手段が算出した前記時間が、予め定められた時間よりも小さいことを条件として、前記運転手に対して警告を行う請求項２に記載の運転支援システム。
4. 音声をステレオで出力するステレオ音声出力装置を更に備え、
   前記警告手段は、前記ステレオ音声出力装置を用いて、前記被写体の方向から警告メッセージを出力することにより前記運転手に対し警告を行う請求項１に記載の運転支援システム。
5. 前記車両のフロントガラス上における前記運転手からみた前記近接被写体の位置を、フロントガラス位置として算出するフロントガラス位置算出手段を更に備え
   前記警告手段は、前記フロントガラス上の、前記フロントガラス位置算出手段が算出した前記フロントガラス位置にマークを表示することにより警告を行う請求項１に記載の運転支援システム。
6. 前記フロントガラスを、内側から照射するフロントガラス照射手段を更に備え
   前記警告手段は、前記フロントガラス照射手段により前記フロントガラスを内側から照射することにより、マークを表示する請求項１に記載の運転支援システム。
7. フロントガラス上に設けられた透明な表示装置であるＥＬ表示手段を更に備え
   前記警告手段は、前記ＥＬ表示手段によって、前記フロントガラス上にマークを表示する請求項１に記載の運転支援システム。
8. 自動車からみた、被写体の相対的な位置を検出する位置検出手段と、
   前記位置検出手段が連続して検出した前記被写体の位置に基づいて、前記自動車に対する前記被写体の相対的な移動ベクトルを算出する被写体移動ベクトル算出手段と、
   前記自動車の移動速度を検出する速度検出手段と、
   前記自動車の旋回角度を検出する舵角検出手段と、
   前記自動車の前記移動速度、および前記旋回角度によって前記被写体に生じる移動ベクトルである静止被写体ベクトルを、前記速度検出手段が検出した前記自動車の前記移動速度、および前記舵角検出手段が検出した前記自動車の前記旋回角度に基づいて算出する静止被写体ベクトル算出手段と、
   前記被写体移動ベクトル算出手段が算出した被写体の移動ベクトルの中で、前記静止被写体ベクトル算出手段が算出した前記静止被写体ベクトルとは異なる移動ベクトルを選択し、当該移動ベクトルを有する前記被写体を、移動体として検出する移動体検出手段と、
   前記被写体移動ベクトル算出手段が算出した前記移動ベクトルを用いて、前記移動体検出手段が移動体として検出した前記被写体の中で、当該自動車に近づいている近接被写体を検出する近接被写体検出手段と、
   前記近接被写体検出手段が前記近接被写体を検出した場合に前記自動車の前記運転手に警告を行う警告手段と、
   前記自動車を運転する前記運転手の視線方向を検出する視線検出手段と
   を備え
   前記警告手段は、更に、前記視線検出手段が検出した前記運転手の前記視線方向が、前記被写体の方向と比較して所定以上離れていることを条件として警告を行う自動車。
9. 前記位置検出手段は３Ｄカメラであり、前記被写体移動ベクトル算出手段は、前記３Ｄカメラにより撮像された被写体の３次元空間上の位置に基づいて３次元の移動ベクトルを算出する請求項８に記載の自動車。
10. 音声をステレオで出力するステレオ音声出力装置を更に備え、
    前記警告手段は、前記ステレオ音声出力装置を用いて、前記被写体の方向から警告メッセージを出力することにより前記運転手に対し警告を行う請求項８に記載の自動車。
11. フロントガラス上における前記近接被写体の位置を、フロントガラス位置として算出するフロントガラス位置算出手段を更に備え、
    前記警告手段は、前記フロントガラス上の、前記フロントガラス位置算出手段が算出した前記フロントガラス位置にマークを表示することにより警告を行う請求項８に記載の自動車。
12. 車両からみた、被写体の相対的な位置を位置検出手段により検出する位置検出ステップと、
    前記位置検出手段が連続して検出した被写体の位置に基づいて、前記車両に対する前記被写体の相対的な移動ベクトルを算出する被写体移動ベクトル算出ステップと、
    前記車両の移動速度を検出する速度検出ステップと、
    前記車両の旋回角度を検出する舵角検出ステップと、
    前記車両の前記移動速度、および前記旋回角度によって前記被写体に生じる移動ベクトルである静止被写体ベクトルを、前記速度検出手段が検出した前記車両の前記移動速度、および前記舵角検出手段が検出した前記車両の前記旋回角度に基づいて算出する静止被写体ベクトル算出ステップと、
    前記被写体移動ベクトル算出ステップが算出した前記被写体の前記移動ベクトルの中で、前記静止被写体ベクトル算出ステップが算出した前記静止被写体ベクトルとは異なる移動ベクトルを選択し、当該移動ベクトルを有する前記被写体を、移動体として検出する移動体検出ステップと、
    前記被写体移動ベクトル算出ステップが算出した前記移動ベクトルを用いて、前記移動体検出ステップが移動体として検出した前記被写体の中で、当該車両に近づいている近接被写体を検出する近接被写体検出ステップと、
    前記近接被写体検出ステップが前記近接被写体を検出した場合に警告を行う警告ステップと、
    前記車両を運転する前記運転手の視線方向を検出する視線検出ステップと
    を備え
    前記警告ステップは、更に、前記視線検出ステップが検出した前記運転手の前記視線方向が、前記被写体の方向と比較して所定以上離れていることを条件として警告を行う運転支援方法。
13. 前記位置検出手段は３Ｄカメラであり、前記被写体移動ベクトル算出ステップは、前記３Ｄカメラにより撮像された被写体の３次元空間上の位置に基づいて３次元の移動ベクトルを算出する請求項１２に記載の運転支援方法。
14. 前記警告ステップは、音声をステレオで出力するステレオ音声出力装置を用いて、前記被写体の方向から警告メッセージを出力することにより前記運転手に対し警告を行う請求項１２に記載の運転支援方法。
15. フロントガラス上における前記近接被写体の位置を、フロントガラス位置として算出するフロントガラス位置算出ステップを更に備え、
    前記警告ステップは、前記フロントガラス上の、前記フロントガラス位置算出ステップが算出した前記フロントガラス位置にマークを表示することにより警告を行う請求項１２に記載の運転支援方法。

Images