JP2006146429A

JP2006146429A - 自動追尾装置

Info

Publication number: JP2006146429A
Application number: JP2004333471A
Authority: JP
Inventors: Akihiro Ishizuka; 晶啓石塚
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2004-11-17
Filing date: 2004-11-17
Publication date: 2006-06-08

Abstract

【課題】運転者が注意を向けた対象物を自動追尾し、自車両に影響を及ぼす動作や変化を対象物が行なった場合、運転者に警告する自動追尾装置を得る。
【解決手段】運転者の視線方向から注視した対象物を検知する車内カメラ２と、自車両周辺全方向に存在する自車両に影響を及ぼす可能性のある対象物を検知する車外カメラ１と、車内カメラ２により検知された対象物と車外カメラ１により検知された対象物が同一の場合、その対象物を自動追尾する追尾対象認定手段７と、この追尾対象認定手段７により追尾した対象物の自車両に影響を及ぼす動作、変化を判断し、その判断結果に基づいて運転者に警告する警告発生判断手段９および警告出力手段１０とを備える。
【選択図】図１

Description

この発明は、運転者の視線認識を利用した自動追尾装置に関し、特に、自車両の運行に影響を及ぼす可能性のある対象物を自動追尾し、運転者に警告する自動追尾装置に関するものである。

従来、視線認識を利用して対象物を検知する対象物検知装置として、運転者の視線から注意方向を検知し、この検知した注意方向と異なる方向の障害物等を検知して運転者に伝達するというものがある（例えば、特許文献１参照）。

特開平６−２４３３９８号公報

しかしながら、上述したような従来の対象物検知装置では、運転者の視線から注意方向以外の領域において、対象物を検知し運転者に伝達するものであり、運転者の認知遅れを補うものであるが、運転者に警告を伝達しても運転者の注意していない方向の対象物に対する警告のため、運転者が警告を受けた後それがどのような警告であるかを認知するまでに時間が必要となるという問題点があった。また、従来の対象物検知装置では、警告を要するかどうかという判断基準で対象物を認知するため、運転者が意図的に注意を持続して向けておきたい特定の対象物を追尾し続けることができないという問題点があった。

この発明は、運転者の注意方向以外の対象物を自動的に検知するのではなく、運転者が意図的に注意を向けた対象物を視線が外れた後も自動追尾し、警告後の認知時間を短縮することができる自動追尾装置を得ることを目的とする。

この発明に係る自動追尾装置は、運転者視線検出手段により運転者の視線方向から注視した対象物を検知し、自車両周辺全方向対象物検出手段により自車両周辺全方向に存在する自車両に影響を及ぼす可能性のある対象物を検知し、両手段で検知された対象物が同一の場合、対象物自動追尾手段によりその対象物を自動追尾し、警告伝達手段により追尾した対象物の自車両に影響を及ぼす動作、変化を判断して、その判断結果に基づいて運転者に警告するものである。

この発明に係る自動追尾装置は、自車両周辺全方向対象物検出手段により自車両周辺全方向に存在する自車両に影響を及ぼす可能性のある対象物を検知し、入力手段でこの検知された対象物の追尾を設定し、この追尾設定された対象物を対象物自動追尾手段により自動追尾し、警告伝達手段により追尾した対象物の自車両に影響を及ぼす動作、変化を判断して、その判断結果に基づいて運転者に警告するものである。

この発明は、運転者の視線方向から運転者の注意を向けている対象物を検知し、対象物を自動追尾して自車両に影響がある場合は運転者に警告を伝達するので、運転者は常時他方向に注意を向ける必要が無くなり、それだけ警告後の認知時間を短縮され、運転者の負担が軽減されるという効果がある。
また、この発明は、入力手段を用いて運転者による対象物設定行ない、対象物自動追尾の動作に入るので、運転者の負担が軽減されると共に、高価な車内カメラ等を省略でき、コストの低廉化が図れる等の効果がある。

以下、この発明の実施の一形態を、図１〜図７を参照して、説明する。
実施の形態１．
図１は、この発明の実施の形態１による自動追尾装置の構成を示すブロック図である。
図１において、本実施の形態による自動追尾装置は、自車両の前方左右角に取り付けられた自車両周辺全方向対象物検出手段としての複数の車外カメラ１と、自車両内に設けられて、運転者の視線を追尾する運転者視線検出手段としての車内カメラ２と、例えばＧＰＳやジャイロを用いて自車両の位置を取得する自車両位置取得手段３と、地図情報（例えば、交差点、信号、カーブ等）を取得する地図情報取得手段４と、自車両に関する例えば車速等の情報を取得する車両情報取得手段５と、車外カメラ１と車内カメラ２より取得した情報から対象物の候補を画像認識により選別する画像処理手段６と、この画像処理手段６で選別された対象物の候補を自動追尾すべき対象物であるかどうかを自車両位置取得手段３と地図情報取得手段４の出力および記録手段７ａに予じめ記録された危険となる状態情報に基づいて判断する追尾対象認定手段７と、この追尾対象認定手段７の判断結果に基づいて、例えば音声またはディスプレイにより、追尾する対象物を運転者に知らせる追尾対象出力手段８と、追尾対象認定手段７の判断結果に基づいて、自動追尾している対象物が自車両に危険な影響を及ぼす動作、変化、例えば、対象物の自車への距離、自車の進行方向速度と対象物の進行方向速度等により、警告するか否かを判断する警告発生判別手段９と、この警告発生判別手段９の出力に基づいて運転者に、例えば音声、表示等で警告を発する警告出力手段１０とを備える。

なお、自車両周辺全方向対象物検出手段としての複数の車外カメラ１は、赤外線、電波等を用いて自車両の周囲にある対象物の存在を検知し、対象物が何か、対象物までの距離、大きさ、色等を検出し、運転者視線検出手段としての車内カメラ２は、運転者の視線方向から運転者が注視している対象物を検知する。また、画像処理手段６は、予め対象物となり得る例えば歩行者、信号機、他車等のデータを格納しており、そのデータベースに基づき車外カメラ１と車内カメラ２より取得した情報から対象物が自動追尾の対象物の候補であるかどうかを選別する。

また、追尾対象認定手段７は、画像処理手段６で選別された対象物の候補が、車内カメラ２で検知された対象物と車外カメラ１で検知された対象物が同一であるものに相当すると見なされる場合には、その画像処理手段６で選別された対象物の候補を真の対象物として自動追尾し、その対象物と自車両までの距離、対象物の動作、移動、変化を記録すると同時に、自動追尾している対象物が自車両に影響を及ぼさないと判断した場合には、その自動追尾を終了、つまり中止するように働く。
なお、位置取得手段３、地図情報取得手段４、画像処理手段６、追尾対象認定手段７および追尾対象出力手段８は、対象物自動追尾手段を構成し、車両情報取得手段５、警告発生判別手段９および警告出力手段１０は、警告伝達手段を構成する。

次に、動作について、図２、図３を参照して説明する。
まず、図２のフローチャートを参照して説明する。
車内カメラ２により運転者の視線を検出し追尾して、運転者の視線方向から運転者が注視している対象物を検知し（ステップＳＴ１）、車外カメラ１により車外情報を検出、つまり、自車両の周囲全方向にある対象物の存在を検知し（ステップＳＴ２）、画像処理手段６により車外カメラ１と車内カメラ２より取得した情報から対象物の候補を画像認識により選別し（ステップＳＴ３）、追尾対象認定手段７により画像処理手段６で選別された対象物の候補が自車両に影響を及ぼすものかどうか、即ち、車内カメラ２で検知された対象物と車外カメラ１で検知された対象物が同一であるかどうかを、自車両位置取得手段３と地図情報取得手段４の出力に基づいて判断し（ステップＳＴ４）、対象物が自車両に影響を及ぼすものであれば、つまり、追尾すべき対象物であればその対象物を自動追尾する動作に入り（ステップＳＴ５）、対象物が自車両に影響を及ぼすものでなければ、自動追尾する必要はないのでその自動追尾を終了し、ステップＳＴ１に戻って上述の動作を繰り返す。

次に、ステップＳＴ６において、追尾対象認定手段７により対象物が自車両進行方向より後ろに位置したかどうかを判別し、対象物が自車両進行方向より後ろに位置すれば、実質的に自動追尾する必要はなくなったのでその自動追尾を終了し、ステップＳＴ１に戻って上述の動作を繰り返し、対象物が自車両進行方向より後ろに位置しなければ、まだその対象物は自動追尾する必要があるので、警告発生判別手段９により対象物が自車両に影響を及ぼす例えば接近する等の動作、変化をしたかどうかを判別し（ステップＳＴ７）、対象物が自車両に影響を及ぼす動作、変化をしなければ、ステップＳＴ１に戻って上述の動作を繰り返し、対象物が自車両に影響を及ぼす動作、変化をすれば、警告発生判別手段９の出力に基づいて、警告出力手段１０から運転者に、例えば音声、表示等で警告を発生して一連の動作を終了する。

図３は、一例として交差点で対象物を自動追尾する場合を示したもので、自車両１１が右折、自動追尾対象物（歩行者）１２が道路を横断、自動追尾対象物（他車両）１３が直進という位置関係において、追尾対象認定手段７により、運転者の視線方向１４が自動追尾対象物（歩行者）１２と自動追尾対象物（他車両）１３にそれぞれ向けた時点で自動追尾を開始し、自車両１１の運行に影響を及ぼすようであれば警告発生判別手段９によって警告出力手段１０を介して運転者に警告を行なうことで、自動追尾対象物（他車両）１３と自動追尾対象物（歩行者）１２と進行方向に分散しがちな運転者の注意方向を進行方向にのみ振り分けることが可能となり、運転者は対象物が自動追尾されていることを知っているため、安心して一方向に集中して運転することができ、運転者の負担を軽減することができる。

このようにして、この実施の形態１では、運転者の視線方向から運転者の注意を向けている対象物を検知し、運転者が意図的に注意を向けた対象物を視線が外れた後も自動追尾し、自車両に影響がある場合は運転者に警告を伝達することで、運転者は常時他方向に注意が向ける必要が無くなり、それだけ警告後の認知時間を短縮され、運転者の負担が軽減されるという効果がある。

実施の形態２．
図４は、この発明の実施の形態２による自動追尾装置の構成を示すブロック図である。なお、図４において、図１と対応する部分には同一符号を付し、その詳細説明を省略する。
図４において、運転者のマニュアル操作で対象物の追尾設定するための、例えばタッチパネルや音声による入力手段１５を設ける。この入力手段１５の入力側は車外カメラ１の出力側に接続され、その出力側は追尾対象認定手段７Ａの入力側に接続されると共に、警告発生判別手段９Ａに接続される。従って、本実施の形態では、図１で用いた車内カメラ２は不要である。なお、入力手段１は、追尾対象認定手段７Ａに対してマニュアルで対象物追尾の設定を行い、警告発生判別手段９Ａに対してマニュアルで対象物追尾のキャンセルを行う。その他の構成は、図１の場合と同様である。
なお、本実施の形態では、位置取得手段３、地図情報取得手段４、画像処理手段６Ａ、追尾対象認定手段７Ａおよび追尾対象出力手段８は、対象物自動追尾手段を構成し、車両情報取得手段５、警告発生判別手段９Ａおよび警告出力手段１０は、警告伝達手段を構成する。

次に、動作について、図５を参照して説明する。
車外カメラ１により車外情報を検出、つまり、自車両の周囲全方向にある対象物の存在を検知し（ステップＳＴ１１）、画像処理手段６Ａにより車外カメラ１より取得した情報から対象物の候補を画像認識により選別し（ステップＳＴ１２）、選別された対象物の候補から入力手段１５により運転者のマニュアル操作で追尾すべき対象物の設定をする（ステップＳＴ１３）。

次いで、追尾対象認定手段７Ａでは、運転者による対象物設定の操作があったか否かを判別し（ステップＳＴ１４）、運転者による対象物設定の操作がなければステップＳＴ１に戻って上述の動作を繰り返し、運転者による対象物設定の操作があれば、対象物自動追尾の動作に入る（ステップＳＴ１５）。次いで、運転者による対象物キャンセルの操作があったか否かを判別し（ステップＳＴ１６）、対象物キャンセルの操作があれば、自動追尾する必要はないのでその自動追尾を終了し、ステップＳＴ１に戻って上述の動作を繰り返し、対象物キャンセルの操作がなければ、まだその対象物は自動追尾する必要があるので、警告発生判別手段９Ａにより対象物が自車両に影響を及ぼす例えば接近する等の動作、変化をしたかどうかを判別し（ステップＳＴ１７）、対象物が自車両に影響を及ぼす動作、変化をしなければ、ステップＳＴ１に戻って上述の動作を繰り返し、対象物が自車両に影響を及ぼす動作、変化をすれば、警告発生判別手段９Ａの出力に基づいて、警告出力手段１０から運転者に、例えば音声、表示等で警告を発生して一連の動作を終了する。

このようにして、この実施の形態２では、入力手段を用いて運転者による対象物設定を行なうことで、対象物自動追尾の動作に入るので、運転者の負担が軽減されると共に、高価な車内カメラ等を省略できるので、コストの低廉化が図れる等の効果がある。

実施の形態３．
図６は、この発明の実施の形態３による自動追尾装置を用いて交差点で対象物を自動追尾する場合の一例を示すもので、その構成については、上記実施の形態１または２と同様のものを用いてよいが、ここでは、図１に示す実施の形態１の構成を用いた場合を例に説明する。
図６では、交差点で自車両１１が左折を開始し、歩行者が横断を始めていない状態を示しており、２方向からそれぞれ自動追尾対象物である歩行者１２と同じく歩行者１２が同時に横断を始めようとしていることを、運転者が車外カメラ１や車内カメラ２等からの情報を元に追尾対象物の認定の処理を行なう追尾対象認定手段７により認知し、運転者の視線方向１４がそれぞれに向き、歩行者１２の自動追尾を開始する。これより、運転者は進行方向のみに注意を向けている最中に、どちらか一方または両方の歩行者１２が横断を開始して自車両１１の運行に影響が発生したとしても、追尾対象認定手段７の出力に基づき警告発生判別手段９によって歩行者１２の動作を把握し、必要に応じて警告出力手段１０によって警告を行なうことで、運転者は安心して自車両１１の運行を円滑に行なうことができる。

このようにして、この実施の形態３では、自車両が交差点等で一方向に曲がる場合に、同時に横断を始めようとしている複数の歩行者を自動追尾し、運転者が進行方向のみに注意を向けている最中に、どちらか一方または両方の歩行者が横断を開始して自車両の運行に影響が発生した場合でも、その歩行者の動作を把握し、必要に応じて警告を行なうので、運転者は安心して自車両の運行を円滑に行なうことができ、それだけ運転者の負担を軽減することができるという効果がある。

実施の形態４．
図７は、この発明の実施の形態４による自動追尾装置を用いて交差点で対象物を自動追尾する場合の他の一例を示すもので、その構成については、上記実施の形態１または２と同様のものを用いてよいが、ここでも、図１に示す実施の形態１の構成を用いた場合を例に説明する。
図７では、交差点に設けられた信号機１６に対して自車両１１が信号待ちして停車している状態を示しており、本実施の形態では、信号機１６を自動追尾対象物とした場合である。運転者が信号機１６の信号の色が青色に変わる瞬間を確認するため、信号機１６に注意を向けていることが、車外カメラ１や車内カメラ２等からの情報を元に検知されると、追尾対象認定手段７により信号機１６は自動追尾対象物として認識され、運転者が車内で地図などを確認して信号機１６に注意を向けていなかったとしても、信号機１６の信号の色が青に変わった時点でこれを追尾対象認定手段７からの出力に基づいて警告発生判別手段９で判断し、警告出力手段１０によって運転者に信号機１６の信号の色が青になったことを警告する。

このようにして、この実施の形態４では、信号機の信号待ちの際に、一度その信号を見て追尾対象物とすれば信号の色が変わった際に運転者に信号機の信号の色が青になったことを警告するので、運転者の負担を軽減することができ、また、運転者が信号の色の変化に気がつかないで自車両発進が遅れるのを防止できるという効果がある。

実施の形態５．
本実施の形態は、図７において、信号機１６の信号の色が青で、自車両１１が交差点を通過する場合である。運転者の視線方向１４により信号機１６の色が青であることに運転者が注意を向けていることが、車外カメラ１や車内カメラ２等からの情報を元に検知されると、追尾対象認定手段７により信号機１６は自動追尾対象として認識され、自車両１１の運行に影響が出た場合、例えば信号機１６が赤になり交差点進入前に停車しなくてはいけない場合に、これを追尾対象認定手段７からの出力に基づいて警告発生判別手段９で判断し、その判断結果に基づき警告出力手段１０によって運転者に警告する。

このようにして、この実施の形態５では、信号機の色が赤になり交差点進入前に停車しなくてはいけない場合にこれを運転者に警告することで、運転者は走行中、必要最低限の信号確認以外は進行方向に注意を向けることができ、それだけ運転者の負担を軽減することができると共に、より精度の高い自動追尾が可能になるという効果がある。

この発明の実施の形態１による自動追尾装置の構成を示すブロック図である。この発明の実施の形態１による自動追尾装置の動作説明に供するためのフローチャートである。この発明の実施の形態１による自動追尾装置の要部の動作を説明するための模式図である。この発明の実施の形態２による自動追尾装置の構成を示すブロック図である。この発明の実施の形態２による自動追尾装置の動作説明に供するためのフローチャートである。この発明の実施の形態３による自動追尾装置の要部の動作を説明するための模式図である。この発明の実施の形態４による自動追尾装置の要部の動作を説明するための模式図である。

符号の説明

１車外カメラ、２車内カメラ、３自車両位置取得手段、４地図情報取得手段、５車両情報取得手段、６画像処理手段、７追尾対象認定手段、７ａ記録手段、８追尾対象出力手段、９警告発生判別手段、１０警告出力手段、１１自車両、１２自動追尾対象物（歩行者）、１３自動追尾対象物（他車両）、１４運転者の視線方向、１５入力手段、１６自動追尾対象物（信号機）。

Claims

運転者の視線方向から注視した対象物を検知する運転者視線検出手段と、
自車両周辺全方向に存在する自車両に影響を及ぼす可能性のある対象物を検知する自車両周辺全方向対象物検出手段と、
上記運転者視線検出手段により検知された対象物と上記自車両周辺全方向対象物検出手段により検知された対象物が同一の場合、その対象物を自動追尾する対象物自動追尾手段と、
該対象物自動追尾手段により追尾した対象物の自車両に影響を及ぼす動作、変化を判断し、その判断結果に基づいて上記運転者に警告する警告伝達手段と
を備えたことを特徴とする自動追尾装置。
自車両周辺全方向に存在する自車両に影響を及ぼす可能性のある対象物を検知する自車両周辺全方向対象物検出手段と、
該自車両周辺全方向対象物検出手段により検知された対象物に対して追尾の設定を行なうための入力手段と、
該入力手段で設定された対象物を自動追尾する対象物自動追尾手段と、
該対象物自動追尾手段により追尾した対象物の自車両に影響を及ぼす動作、変化を判断し、その判断結果に基づいて運転者に警告する警告伝達手段と
を備えたことを特徴とする自動追尾装置。
対象物自動追尾手段は、運転者の視線方向が別の対象物に移動した後も自動追尾し、その対象物が自車両に影響を及ぼす動作または変化を行なったかを監視することを特徴とする請求項１記載の自動追尾装置。
警告伝達手段は、対象物自動追尾手段により追尾された対象物の自車両に影響を及ぼす動作または変化が確認され、かつ運転者の注意が追尾中の対象物に十分払われていない場合に、上記運転者に警告することを特徴とする請求項１から請求項３のうちのいずれか１項記載の自動追尾装置。
追尾する対象物が、交差点を横断する歩行者と他の車両であることを特徴とする請求項１から請求項４のうちのいずれか１項記載の自動追尾装置。
追尾する対象物が、交差点の双方から横断する複数の歩行者であることを特徴とする請求項１から請求項４のうちのいずれか１項記載の自動追尾装置。
追尾する対象物が、交差点に設置された信号機であることを特徴とする請求項１から請求項４のうちのいずれか１項記載の自動追尾装置。