JP2008084138A - 車両の周辺監視装置および周辺監視用プログラム - Google Patents

Abstract

【課題】車両の走行路の方向に対して、車両の進行方向が一時的なずれを生じる状況を考慮し、車両の前方側の対象物と車両との接触の可能性を従来よりも高い確度で判断することができる車両の周辺監視装置を提供する。
【解決手段】車両１０の前方側に存在する対象物の車両１０に対する相対位置を撮像画像などを基に検出する。また、車両１０の走行路（走行レーン）の車両に対する向きを特定可能な走行路情報（車両前方の白線の画像など）を取得する。その走行路情報により特定される走行路の向きに応じて、検出した対象物の相対位置を補正する（ＳＴＥＰ１８）。補正した相対位置の時系列を基に、対象物の車両１０に対する移動方向を表す相対移動ベクトルを求める（ＳＴＥＰ１９）。補正後の相対位置とそれに基づく相対移動ベクトルとに基づいて、車両と対象物との接触の可能性などを判断する（ＳＴＥＰ２０）。
【選択図】図４

Description

本発明は、車両の周辺、特に前方側に存在する人などの対象物を監視する装置に関する。

従来、この種の装置としては、例えば特許文献１に見られるものが知られている。この特許文献１に見られる技術では、レーザを使用したスキャン型距離検出手段を用いて、車両の前方に存在する物体（対象物）の該車両に対する相対位置、相対速度および相対速度方向（移動方向）を検出する。そして、その検出した相対位置、相対速度および相対速度方向に基づいて、物体と車両との衝突の可能性を判断し、衝突の可能性があると判断したときに、警報を出力するようにしている。
特開平７−１０５４９７号公報

ところで、車両が道路の走行レーンを走行しているとき、該車両の走行は走行レーンに沿うように行なわれるので、該車両の進行方向は、平均的には、走行レーンの向き（延在方向）とほぼ同方向になる。ただし、該車両の進行方向は、常に（定常的に）走行レーンの向きと合致するわけではなく、一般には、該走行レーンの向きに対して変動を伴う。すなわち、車両の進行方向（車両の速度ベクトルの向き）が、走行レーンの向きに対して若干、左右などにふらつきながら、平均的に走行レーンに沿うように、車両の走行が行なわれる。

一方、前記特許文献１に見られる技術で検出される物体の相対位置、相対速度、および相対速度方向は、車両の瞬時瞬時の前後方向または進行方向を基準とした位置、速度、および方向である。

このため、車両が平均的に走行レーンに沿うように走行した場合に、将来のある時刻で、車両の前方側の物体と車両との接触が発生する可能性が高い状況であっても、車両の進行方向が一時的に走行レーンの向きに対して傾いているような状況では、物体と車両との接触が発生しないと判断されてしまう場合がある。

例えば、図７（詳細は後述する）を参照して、走行レーン５０（走行路）を、人などの対象物Ｘ２が、矢印Ａ２の向きに横断しようとしている状況で、現在時刻における車両１０（実線示の車両１０）の進行方向が、矢印Ｂで示すように、一時的に走行レーン５０の向きに対して傾いている場合を想定する。この場合、車両１０は、平均的には、走行レーン５０に沿って走行するので、近い将来のある時刻において、対象物Ｘ２と車両１０とが、例えば走行レーン５０上の点Ｐの位置で接触する可能性がある。しかるに、現在時刻での車両１０の進行方向は、矢印Ｂの向きであるので、人などの対象物Ｘ２が点Ｐの位置に達する時刻では、車両１０は、点Ｐから横方向に離れた点Ｑの位置に達すると予測されてしまい、車両１０と対象物Ｘ２との接触が発生しないと誤認されてしまう恐れがある。

本発明はかかる背景に鑑みてなされたものであり、車両の走行路の方向に対して、車両の進行方向が一時的なずれを生じる状況を考慮し、車両の前方側の対象物と車両との接触の可能性を従来よりも高い確度で判断することができる車両の周辺監視装置および周辺監視用プログラムを提供することを目的とする。

本発明の車両の周辺監視装置は、かかる目的を達成するために、車両の前方側に存在する対象物の該車両に対する相対位置を検出する対象物位置検出手段と、前記車両が走行している走行路の該車両に対する向きを特定可能な走行路情報を取得する走行路情報取得手段と、前記検出された対象物の相対位置を、前記取得された走行路情報に基づき補正する対象物位置補正手段と、少なくとも前記補正された対象物の相対位置を用いて該対象物の前記車両との接触の可能性を判断する接触可能性判断手段とを備えたことを特徴とする（第１発明）。

この第１発明によれば、対象物位置検出手段により検出された対象物の相対位置（車両に固定された座標系での対象物の位置）が、前記車両に対する前記走行路の向き（走行路の延在方向の向き）を特定可能な走行路情報に基づき補正される。ここで、車両は、基本的には、その操舵によって平均的に走行路に沿うように走行する。換言すれば、走行路の向きを車両の進行方向の目標方向として車両の走行が行なわれる。このため、該車両の平均的な進行方向は、前記走行路の向きとほぼ同方向になる。そして、その走行路の向きは、前記走行路情報により特定可能である。

従って、前記検出された対象物の相対位置を前記走行路情報に基づき補正することによって、車両の瞬時的な進行方向が一時的に走行路の向きに対してずれを生じる状況であっても、車両の進行方向をその目標とされる進行方向（走行路の向きとほぼ同方向）に合わせた状態での対象物の相対位置を認識することが可能となる。このため、この補正された相対位置を用いて対象物と車両との接触の可能性を判断することによって、車両の走行路の向きに対して、車両の進行方向が一時的なずれを生じる状況であっても、平均的に走行路に沿うように走行する車両の前方側の対象物と該車両との接触の可能性を従来よりも高い確度で判断することが可能となる。

なお、第１発明において、対象物位置検出手段としては、レーダを使用するものや、複数の撮像装置による撮像画像を使用するもの、あるいは、レーダと撮像装置とを併用するものなどが挙げられる。また、走行路情報としては、白線や黄線などのレーンマーカ、ガードレール、歩道などの撮像画像情報、地図情報などが挙げられる。

この第１発明では、より具体的には、前記対象物位置補正手段は、前記補正された対象物の相対位置が、前記走行路情報により特定される前記走行路の向きに前記車両の進行方向を一致させたと仮定した場合における該車両に対する対象物の相対位置に等しくなるように前記検出された対象物の相対位置を前記走行路情報により特定される前記走行路の向きに応じて補正することが好適である（第２発明）。

このような補正によって、走行路情報により特定される前記走行路の向きに前記車両の進行方向を一致させたと仮定した場合における、すなわち、車両の進行方向を目標とする進行方向に向けた状態での、該車両に対する対象物の相対位置を前記補正された相対位置によって認識することができる。従って、その補正された相対位置に基づいて、走行路に沿って走行しようとしている車両と対象物との接触の可能性を適正に判断できる。

なお、このような対象物の相対位置の補正は、具体的には、走行路の向きに対する車両の進行方向の傾き角だけ、前記検出された相対位置を回転変換することにより行なうことができる。

前記第１発明または第２発明では、前記接触可能性判断手段は、例えば、前記補正された対象物の相対位置が所定の領域内に存在するか否かに基づき、該対象物の車両との接触の可能性を判断する手段を備える（第３発明）。

この第３発明によれば、車両の進行方向が走行路の向きに対して一時的にずれている状況であっても、走行路の向きと同方向（車両の目標とされる進行方向）での車両の前方正面側で、該車両に比較的近い領域など、車両が走行路にほぼ沿って走行した場合に、車両との接触が生じる恐れがある所定の領域に対象物が存在するか否かを判断することができる。従って、対象物と車両との接触の可能性を適正に判断することができる。

さらに、第１〜第３発明では、前記接触可能性判断手段は、例えば前記補正後の対象物の相対位置の時系列に基づき該対象物の前記車両に対する相対的な移動方向を表す相対移動ベクトルを求める手段と、該相対移動ベクトルに基づき前記対象物の車両との接触の可能性を判断する手段とを備える（第４発明）。

この第４発明によれば、車両の進行方向が走行路の向きに対して一時的にずれている状況であっても、車両が走行路の向きと同方向（車両の目標とされる進行方向）に走行した場合に、対象物が車両に対して相対的にどのような向きに移動するか否かを前記相対移動ベクトルに基づいて認識できる。従って、該相対移動ベクトルに基づいて、対象物と車両との接触の可能性を適正に判断できる。例えば、該相対移動ベクトルにより表される対象物の相対的な移動方向が、車両の正面に向かってくるような向きであるときには、車両が走行路に沿って走行した場合に、将来的に該対象物と車両と接触の可能性があると判断できる。

なお、この第４発明における相対移動ベクトルとしては、例えば、前記補正された対象物の相対位置の時系列から把握される該対象物の相対速度ベクトルや、該対象物の相対位置の時系列を結ぶ線を近似する直線の向きを有するベクトルなどが挙げられる。

また、本発明の車両の周辺監視装置は、前記第１発明と別の態様として、車両の前方側に存在する対象物の該車両に対する相対的な移動方向を表す相対移動ベクトルを認識する相対移動ベクトル認識手段と、前記車両が走行している走行路の該車両に対する向きを特定可能な走行路情報を取得する走行路情報取得手段と、前記認識された相対移動ベクトルを前記取得された走行路情報に基づき補正する相対移動ベクトル補正手段と、少なくとも前記補正された相対移動ベクトルに基づいて該対象物の前記車両との接触の可能性を判断する接触可能性判断手段とを備えたことを特徴とする（第５発明）。

この第５発明によれば、前記相対移動ベクトル認識手段により認識された対象物の相対移動ベクトル（車両に固定された座標系での対象物の移動方向を表すベクトル）を、前記車両に対する前記走行路の向きを特定可能な走行路情報に基づき補正する。従って、この補正によって、車両の瞬時的な進行方向が一時的に走行路の向きに対してずれを生じる状況であっても、車両の進行方向をその目標とされる進行方向（走行路の向きとほぼ同方向）に合わせた状態での該車両に対する対象物の移動方向を表す相対移動ベクトルを得ることが可能となる。このため、この補正された相対移動ベクトルに基づいて対象物と車両との接触の可能性を判断することによって、車両の走行路の向きに対して、車両の進行方向が一時的なずれを生じる状況であっても、平均的に走行路に沿うように走行する車両の前方側の対象物と車両との接触の可能性を従来よりも高い確度で判断することが可能となる。

なお、第５発明において、相対移動ベクトル認識手段は、例えばレーダや複数の撮像装置による撮像画像を使用して検出される対象物の相対位置の時系列から相対移動ベクトルを認識すればよい。その相対移動ベクトルとしては、前記第４発明と同様に、対象物の車両に対する相対速度ベクトルや、対象物の相対位置の時系列を結ぶ線を近似する直線の向きを有するベクトルなどが挙げられる。あるいは、相対移動ベクトル認識手段は、レーダを使用した場合には、ドップラー効果を利用して検出される対象物の相対速度により該対象物の相対移動ベクトルを認識するようにしてもよい。また、走行路情報としては、前記第１発明と同様に、白線や黄線などのレーンマーカ、ガードレール、歩道などの撮像画像情報、地図情報などが挙げられる。

この第５発明では、より具体的には、前記相対移動ベクトル補正手段は、前記補正された相対移動ベクトルの向きが、前記走行路情報により特定される前記走行路の向きに前記車両の進行方向を一致させたと仮定した場合における該車両に対する対象物の相対的な移動方向と等しくなるように前記認識された相対移動ベクトルを前記走行路情報により特定される前記走行路の向きに応じて補正することが好適である（第６発明）。

このような補正によって、走行路情報により特定される前記走行路の向きに前記車両の進行方向を一致させたと仮定した場合における、すなわち、車両の進行方向を目標とする進行方向に向けた状態での、該車両に対する対象物の移動方向を前記補正された相対移動ベクトルによって認識することができる。従って、その補正された相対移動ベクトルに基づいて、走行路に沿って走行しようとしている車両と対象物との接触の可能性を適正に判断できる。例えば、前記補正された相対移動ベクトルにより表される対象物の相対的な移動方向が、車両（進行方向を走行路の向きと同方向に向けた車両）の正面に向かってくるような向きであるときには、車両が走行路に沿って走行した場合に、将来的に該対象物と車両と接触の可能性があると判断できる。

なお、第６発明における相対移動ベクトルの補正は、具体的には、走行路の向きに対する車両の進行方向の傾き角だけ、前記認識された相対移動ベクトルを回転変換することにより行なうことができる。

また、本発明の車両の周辺監視用プログラムは、車両の前方側に存在する対象物の該車両に対する相対位置を検出するための処理と、前記車両が走行している走行路の該車両に対する向きを特定可能な走行路情報を取得する処理と、前記検出された対象物の相対位置を、前記取得された走行路情報に基づき補正する処理と、少なくとも前記補正された対象物の相対位置を用いて該対象物の前記車両との接触の可能性を判断する処理とをコンピュータに実行させる機能を備えることを特徴とする（第７発明）。

この第７発明によれば、前記第１発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。

あるいは、本発明の車両の周辺監視用プログラムは、車両の前方側に存在する対象物の該車両に対する相対的な移動方向を表す相対移動ベクトルを認識する処理と、前記車両が走行している走行路の該車両に対する向きを特定可能な走行路情報を取得する処理と、前記認識された相対移動ベクトルを前記取得された走行路情報に基づき補正する処理と、少なくとも前記補正された相対移動ベクトルに基づいて該対象物の前記車両との接触の可能性を判断する処理とをコンピュータに実行させる機能を備えることを特徴とする（第８発明）。

この第８発明によれば、前記第５発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。

本発明の第１実施形態を図１〜図７を参照して説明する。

まず、図１および図２を参照して、本実施形態の車両の周辺監視装置のシステム構成を説明する。図１は該周辺監視装置の全体構成を示すブロック図、図２は該周辺監視装置を搭載した車両の外観を示す斜視図である。なお、図２では、周辺監視装置の一部の構成要素の図示を省略している。

図１および図２を参照して、本実施形態の周辺監視装置は、画像処理ユニット１を備える。この画像処理ユニット１には、車両１０の前方の画像を撮像する撮像装置としての２つの赤外線カメラ２Ｒ，２Ｌが接続されると共に、車両１０の走行状態を検出するセンサとして、車両１０のヨーレートを検出するヨーレートセンサ３と、車両１０の走行速度（車速）を検出する車速センサ４と、車両１０のブレーキ操作（詳しくはブレーキペダルが操作されているか否か）を検出するブレーキセンサ５とが接続されている。さらに、画像処理ユニット１には、音声などによる聴覚的な注意喚起情報を出力するためのスピーカ６と、前記赤外線カメラ２Ｒ，２Ｌにより撮像された画像や視覚的な注意喚起情報を表示するための表示装置７とが接続されている。各赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有し、それにより撮像される物体の温度が高いほど、その物体の画像の出力信号のレベルが高くなる（該物体の画像の輝度が高くなる）特性を有している。なお、本実施形態では、撮像装置として、赤外線カメラ２Ｒ，２Ｌを使用するが、可視光域に感度を有するカメラを使用してもよい。

画像処理ユニット１は、詳細な図示は省略するが、Ａ／Ｄ変換回路、マイクロコンピュータ（ＣＰＵ、ＲＡＭ、ＲＯＭ）、画像メモリなどを含む電子回路により構成され、前記赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５の出力（アナログ信号）がＡ／Ｄ変換回路を介してデジタル化されて入力される。そして、画像処理ユニット１は、入力されたデータを基に、人（歩行者）などの対象物を検出する処理や、その検出した対象物と車両１０との接触の可能性を判断する処理、必要に応じて前記スピーカ６や表示装置７を介して運転者に警報を発する処理などをマイクロコンピュータにより実行する。これらの処理は、マイクロコンピュータのＲＯＭにあらかじめ実装されたプログラムを該マイクロコンピュータにより実行することにより実現され、そのプログラムは、本発明の車両の周辺監視用プログラムを含んでいる。また、そのプログラムの実行によって実現される画像処理ユニット１の処理機能によって、本発明の各手段が実現される。

図２に示すように、前記赤外線カメラ２Ｒ，２Ｌは、車両１０の前方を撮像するために、車両１０の前部（図ではフロントグリルの部分）に取り付けられている。この場合、赤外線カメラ２Ｒ，２Ｌは、それぞれ、車両１０の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。それらの位置は、車両１０の車幅方向の中心に対して左右対称である。そして、該赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行に車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように車両１０の前部に固定されている。

また、前記表示装置７は、本実施形態では、例えば車両１０のフロントウィンドウに画像などの情報を表示するヘッド・アップ・ディスプレイ７ａ（以下、ＨＵＤ７ａという）を備えている。なお、表示装置７は、ＨＵＤ７ａの代わりに、もしくは、ＨＵＤ７ａと共に、車両１０の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイを含んでもよい。

次に、本実施形態の周辺監視装置の全体的動作を図３および図４のフローチャートを参照して説明する。なお、図３および図４のフローチャートの処理のうちの一部の処理は、例えば本願出願人が先に提案した特開２００３−２８４０５７号公報（以下、特許文献２という）の図３に記載されている処理と同じであるので、その同じ処理については、本明細書での詳細な説明は省略する。補足すると、図３および図４のフローチャートの処理は、画像処理ユニット１のマイクロコンピュータが実行するプログラムにより実現される処理である。

まず、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌのそれぞれの出力信号である赤外線画像を取得して（ＳＴＥＰ１）、Ａ／Ｄ変換し（ＳＴＥＰ２）、それぞれの画像を画像メモリに格納する（ＳＴＥＰ３）。これにより、各赤外線カメラ２Ｒ，２Ｌにより撮像された画像が画像処理ユニット１に取り込まれる。以降、赤外線カメラ２Ｒから得られた画像を右画像、赤外線カメラ２Ｌから得られた画像を左画像という。これらの右画像および左画像は、いずれもグレースケール画像である。なお、ＳＴＥＰ１〜３の処理は、前記特許文献２の図３のＳ１〜Ｓ３の処理と同じである。

次いで、画像処理ユニット１は、前記右画像および左画像のうちの一方を基準画像とし、この基準画像を２値化する（ＳＴＥＰ４）。基準画像は、本実施形態では右画像である。この２値化処理は、基準画像の各画素の輝度値を所定の輝度閾値と比較し、基準画像のうちの、該所定の輝度閾値よりも高い輝度値を有する領域（比較的明るい領域）を「１」（白）とし、該輝度閾値よりも低い輝度値を有する領域（比較的暗い領域）を「０」（黒）とする処理である。以降、この２値化処理により得られる画像（白黒画像）を２値化画像という。そして、この２値化画像のうちの、「１」とされる領域を高輝度領域という。なお、この２値化画像は、グレースケール画像（右画像および左画像）とは別に画像メモリに記憶される。

次いで、画像処理ユニット１は、前記２値化画像に対してＳＴＥＰ５〜７の処理を実行し、該２値化画像から対象物（より正確には対象物に対応する画像部分）を抽出する。すなわち、前記２値化画像の高輝度領域を構成する画素群を、基準画像の縦方向（ｙ方向）に１画素分の幅を有して横方向（ｘ方向）延在するラインに分類し、その各ラインを、その位置（基準画像上での２次元位置）の座標と長さ（画素数）とからなるランレングスデータに変換する（ＳＴＥＰ５）。そして、このランレングスデータにより表されるラインのうちの、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）を付し（ＳＴＥＰ６）、そのライン群のそれぞれを対象物として抽出する（ＳＴＥＰ７）。

なお、ＳＴＥＰ５〜７の処理により抽出される対象物には、一般には、人（歩行者）だけでなく、他車両、電柱、自動販売機などの人口構造物なども含まれる。また、同一の物体の複数の局所部分が対象物として抽出される場合もある。

次いで、画像処理ユニット１は、上記の如く抽出した各対象物の重心の位置（基準画像上での位置）と面積と外接四角形の縦横比とを求める（ＳＴＥＰ８）。なお、各対象物の重心の位置は、該対象物に含まれるランレングスデータの各ラインの位置（各ラインの中心位置）の座標に該ラインの長さを乗じたものを、該対象物に含まれるランレングスデータの全てのラインについて加算し、その加算結果を該対象物の面積により除算することにより求められる。また、各対象物の重心の代わりに、該対象物の外接四角形の重心（中心）の位置を求めてもよい。

次いで、画像処理ユニット１は、前記ＳＴＥＰ７で抽出した対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎の同一対象物の認識を行なう（ＳＴＥＰ９）。この処理では、ある演算処理周期の時刻（離散系時刻）ｋにおけるＳＴＥＰ７の処理により対象物Ａが抽出され、次の演算処理周期の時刻ｋ＋１におけるＳＴＥＰ７の処理により対象物Ｂが抽出されたとしたとき、それらの対象物Ａ，Ｂの同一性が判定される。この同一性の判定は、例えば、それらの対象物Ａ，Ｂの２値化画像上での形状やサイズ、基準画像（グレースケール画像）上での輝度分布の相関性などに基づいて行なえばよい。そして、それらの対象物Ａ，Ｂが互いに同一であると判定された場合に、時刻ｋ＋１で抽出した対象物Ｂのラベル（ＳＴＥＰ６で付したラベル）が対象物Ａのラベルと同じラベルに変更される。

なお、前記したＳＴＥＰ５〜９の処理は、前記特許文献２の図３のＳ５〜Ｓ９の処理と同じである。

次いで、画像処理ユニット１は、前記車速センサ４およびヨーレートセンサ５の出力（車速の検出値およびヨーレートの検出値）を読み込む（ＳＴＥＰ１０）。なお、このＳＴＥＰ１０では、読込んだヨーレートの検出値を積分することにより、車両１０の回頭角（方位角）の算出も行なわれる。

一方、画像処理ユニット１は、ＳＴＥＰ９，１０の処理と並行して、あるいは時分割処理により、ＳＴＥＰ１１〜１３の処理を実行する。このＳＴＥＰ１１〜１３の処理は、ＳＴＥＰ７で抽出した各対象物の車両１０からの距離を求める処理であり、前記特許文献２の図３のＳ１１〜Ｓ１３の処理と同じである。その処理を概略的に説明すると、まず、右画像（基準画像）のうち、各対象物に対応する領域（例えば該対象物の外接四角形の領域）を探索画像Ｒ１として抽出する（ＳＴＥＰ１１）。

次いで、左画像中で、右画像の探索画像Ｒ１に含まれる対象物と同じ対象物を探索するための領域である探索領域Ｒ２が設定され、その探索領域Ｒ２内で、探索画像Ｒ１との相関性が最も高い領域が、探索画像Ｒ１に対応する画像（探索画像Ｒ１と同等の画像）である対応画像Ｒ３として抽出される（ＳＴＥＰ１２）。この場合、左画像の探索領域Ｒ２のうち、右画像の探索画像Ｒ１の輝度分布に最も一致する輝度分布を有する領域が対応画像Ｒ３として抽出される。なお、ＳＴＥＰ１２の処理は、２値化画像ではなく、グレースケール画像を使用して行なわれる。

次いで、右画像における前記探索画像Ｒ１の重心の横方向位置（ｘ方向位置）と、左画像における前記対応画像Ｒ３の重心の横方向位置（ｘ方向位置）との差分の画素数を視差Δｄとして算出し、その視差Δｄを用いて、対象物の車両１０からの距離ｚ（車両１０の前後方向における距離）が算出される（ＳＴＥＰ１３）。距離ｚは、次式（１）により算出される。

ｚ＝（ｆ×Ｄ）／（Δｄ×ｐ） ……（１）

なお、ｆは赤外線カメラ２Ｒ，２Ｌの焦点距離、Ｄは赤外線カメラ２Ｒ，２Ｌの基線長（光軸の間隔）、ｐは画素ピッチ（１画素分の長さ）である。

以上がＳＴＥＰ１１〜１３の処理の概要である。なお、ＳＴＥＰ１１〜１３の処理は、前記ＳＴＥＰ７で抽出された各対象物に対して実行される。

前記ＳＴＥＰ１０およびＳＴＥＰ１３の処理の終了後、画像処理ユニット１は、次に、各対象物の実空間上での位置（車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ１４）。ここで算出される実空間位置は、図２に示すように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点を原点として設定された実空間座標系（ＸＹＺ座標系）での位置（Ｘ，Ｙ，Ｚ）である。この実空間座標系のＸ方向およびＹ方向は、それぞれ車両１０の車幅方向、上下方向（鉛直方向）であり、これらのＸ方向およびＹ方向は、前記右画像および左画像のｘ方向（横方向）、ｙ方向（縦方向）と同方向である。また、実空間座標系のＺ方向は、車両１０の前後方向である。そして、対象物の実空間位置（Ｘ，Ｙ，Ｚ）は次式（２）、（３）、（４）により算出される。

Ｘ＝ｘ×ｚ×ｐ／ｆ ……（２）
Ｙ＝ｙ×ｚ×ｐ／ｆ ……（３）
Ｚ＝ｚ ……（４）

なお、ｘ、ｙは基準画像上での対象物のｘ座標、ｙ座標である。

次いで、画像処理ユニット１は、車両１０の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、対象物の実空間位置（Ｘ，Ｙ，Ｚ）のうちのＸ方向の位置ＸおよびＺ方向の位置Ｚを上記式（２）、（４）により求めた値から、前記ＳＴＥＰ１０で求めた回頭角の時系列データに応じて補正する（ＳＴＥＰ１５）。具体的には、画像処理ユニット１の現在の演算処理周期の時刻から次回の演算処理周期の時刻までの回頭角の変化量を、現在時刻までの回頭角の時系列データを基に求める（推定する）。なお、その回頭角の補正量は、例えば、車両１０のヨーレートの検出値（現在値）に、演算処理周期の１周期分の時間を乗じることで求めてもよい。そして、その求めた回頭角の変化量だけ、ＳＴＥＰ１４で求めた対象物の実空間位置をＹ軸（鉛直軸）の回りに回転変換する（回頭角の変化量により定まるＹ軸まわりの回転変換の行列をＳＴＥＰ１４で求めた実空間位置（Ｘ，Ｙ，Ｚ）の列ベクトルに乗じる）ことにより、該実空間位置（Ｘ，Ｙ，Ｚ）のＸ方向の位置ＸおよびＺ方向の位置Ｚを補正する。この補正後の実空間位置は、車両１０の進行方向をＺ方向、これに直交する水平方向をＸ方向、鉛直方向をＹ方向とする座標系での対象物の位置に相当する。

なお、車両１０が直進走行をしている状況など、車両１０の進行方向と前後方向とが一致もしくはほぼ一致する状況（車両１０の横滑りが十分に小さい状況）では、ＳＴＥＰ１５の処理は省略してもよい。

補足すると、以上説明したＳＴＥＰ１〜１５の処理によって、本発明（第１発明）における対象物位置検出手段が構成される。

一方、前記したＳＴＥＰ４〜ＳＴＥＰ１５の処理と並行して、あるいは、時分割処理により、画像処理ユニット１は、ＳＴＥＰ３で取得したグレースケール画像を基に、車両１０が走行している走行路である走行レーンの、車両１０に対する向き（車両１０に対する走行レーンの延在方向の向き）を特定可能な走行路情報を取得する処理をＳＴＥＰ１６、１７で実行する。

本実施形態では、走行レーンの左側もしくは右側のレーンマーカ（白線や黄線など、走行レーンの両側もしくは片側の境界を規定するマーカ）を走行レーンの向きを特定可能な走行路情報として用い、そのレーンマーカをＳＴＥＰ１６，１７の処理により検出（認識）する。具体的には、まず、画像処理ユニット１は、前記ＳＴＥＰ３で取得したグレースケール画像から、エッジ検出を行なう（ＳＴＥＰ１６）。エッジ検出は、右画像または左画像の左右方向（ｘ方向）での輝度の微分値の絶対値が、所定値以上となる点を抽出することで行なわれる。次いで、画像処理ユニット１は、ＳＴＥＰ１６で検出したエッジを基に、走行レーンの左側もしくは右側のレーンマーカを検出する（ＳＴＥＰ１７）。具体的には、ＳＴＥＰ１７で検出したエッジのうちの、車両１０の左側および右側のうちの一方側で直線状に連続するものを、レーンマーカとして検出する。これにより、レーンマーカが、走行レーンの向きを特定可能な走行路情報として取得される。なお、撮像画像に基づく、白線や黄線などのレーンマーカの検出手法は、種々様々の手法が公知となっており、そのいずれの手法を用いてもよい。また、白線や黄線に限らず、ドットボッツなどのレーンマーカの列を検出するようにしてもよい。

このようにして検出されるレーンマーカの延在方向の、車両１０に対する向きが、該車両１０に対する走行レーンの向きを表すものとなる。

補足すると、白線などのレーンマーカ以外に、走行レーンの側方の歩道、ガードレールなどを、走行レーンの向きを特定可能な走行路情報として検出するようにしてもよい。また、車両１０の外部との通信や、地図データなどを基に、車両１０の前方の道路の曲率などを認識できる場合には、その情報を走行路情報として用いてもよい。また、本実施形態では、赤外線カメラ２Ｒまたは２Ｌによる撮像画像（赤外線画像）を使用して、レーンマーカを検出するようにしたが、赤外線カメラ２Ｒ，２Ｌとは別の撮像装置（可視光域に感度を有するカメラ）を車両１０に搭載しておき、その撮像装置による車両１０の前方の撮像画像（可視光画像）からレーンマーカを検出するようにしてもよい。

なお、ＳＴＥＰ１６，１７の処理によって、本発明における走行路情報取得手段が構成される。

上記のようにＳＴＥＰ１５およびＳＴＥＰ１７の処理を実行した後、画像処理ユニット１は、次に、ＳＴＥＰ１５で求めた対象物の実空間位置（Ｘ，Ｙ，Ｚ）を、ＳＴＥＰ１７で検出したレーンマーカにより特定される走行レーンの向き（車両１０に対する向き）に応じて補正する（ＳＴＥＰ１８）。この補正は、次のように行なわれる。

すなわち、前記ＳＴＥＰ１７で検出したレーンマーカの、前記右画像上または左画像上での傾き角を基に、該レーンマーカの、車両１０の前後方向に対する傾き角（水平面内での傾き角）が求められる。なお、この傾き角は、車両１０の前方側で、該車両１０から所定の距離だけ離れた位置（車両１０に近い位置）におけるレーンマーカの傾き角である。そして、この傾き角に、前記ＳＴＥＰ１５の処理で使用した回頭角の変化量（演算処理周期の１周期当たりの回頭角の変化量）を加えることによって、車両１０の進行方向に対するレーンマーカの傾き角（これは車両１０の進行方向と走行レーンの向き（水平面内での向き）とのずれ角を意味する）が求められる。

なお、車両１０の前後方向と進行方向とが一致またはほぼ一致する状況では、レーンマーカの、車両１０の前後方向に対する傾き角をそのまま、車両１０の進行方向に対するレーンマーカの傾き角として求めればよい。

さらに、このようにして求めた傾き角だけ、ＳＴＥＰ１５で求めた対象物の実空間位置（Ｘ，Ｙ，Ｚ）をＹ軸まわりに（鉛直軸まわりに）回転変換する（傾き角に応じて定まるＹ軸まわりの回転変換の行列をＳＴＥＰ１５で求めた実空間位置（Ｘ，Ｙ，Ｚ）の列ベクトルに乗じる）ことによって、該実空間位置（Ｘ，Ｙ，Ｚ）が補正される。このような補正によって得られる対象物の実空間位置は、車両１０の進行方向を走行レーンの向きと同方向（車両１０の目標とする進行方向）に合致させたと仮定した場合における該車両１０に対する対象物の相対的な実空間位置、具体的には、走行レーンの向きをＺ方向、これと直交する水平方向をＸ方向、鉛直方向をＹ方向として、当該車両１０（進行方向を走行レーンの向きに合致させた車両１０）に固定された座標系での位置を意味する。以降、このＳＴＥＰ１８での補正後の対象物の実空間位置をレーン基準実空間位置、このレーン基準実空間位置に対応する座標系（走行レーンの向きをＺ方向とする座標系）をレーン基準実空間座標系という。また、前記ＳＴＥＰ１５で求められた対象物の実空間位置を車両基準実空間位置、この車両基準実空間位置に対応する座標系（車両１０の実際の進行方向をＺ方向とする座標系）を車両基準実空間座標系という。

ここで、図７は、実線で示す車両１０が、レーンマーカ５０ａ，５０ｂで区画された走行レーン５０を走行している状況を示している。この図示の状況では、実線で示す車両１０の現在の進行方向は、矢印Ｂで示す方向であり、その進行方向は、走行レーン５０の向き（レーンマーカ５０ａ，５０ｂの延在方向）に対して角度θx（≠０）の傾き角だけ傾いている。なお、図示の例では、車両１０の前後方向と進行方向とが合致している状況を示している。この場合、図中の斜線付きの円で表す対象物Ｘ１，Ｘ２の車両基準実空間位置は、実線示の車両１０の進行方向をＺ方向として、該車両１０に固定された車両基準実空間座標系での位置を表すものとなる。一方、前記レーン基準実空間位置は、図７に二点鎖線で示す車両１０、すなわち、その進行方向（前後方向）を走行レーンの向きと同方向に合致させた車両１０の進行方向（＝走行レーンの向き）をＺ方向として、該車両１０に固定されたレーン基準実空間座標での位置を表すものとなる。

ＳＴＥＰ１８の処理の後、画像処理ユニット１は、対象物の車両１０に対する移動ベクトルを求める（ＳＴＥＰ１９）。具体的には、同一対象物についてのレーン基準実空間位置の、所定期間（現在時刻から所定時間前までの期間。以下、モニタ期間という）における時系列データを近似する直線を求め、所定時間前の時刻（モニタ期間の初期時刻）での該直線上の対象物の位置（点）から、現在時刻（モニタ期間の終了時刻）における該直線上の対象物の位置（点）に向かうベクトルを対象物の移動ベクトルとして求める。このようにして求められる移動ベクトルは、本発明における相対移動ベクトルに相当し、対象物の車両１０に対する相対速度ベクトルに比例する。そして、該移動ベクトルは、車両１０の進行方向を走行レーンの向きに合致させた場合における対象物の車両１０に対する相対的な移動方向を示すものとなる。

次いで、画像処理ユニット１は、前記ＳＴＥＰ７で抽出された各対象物（２値化対象物）が、車両１０との接触を回避すべき回避対象であるか否かを判定する回避対象判定処理を実行する（ＳＴＥＰ２０）。この回避対象判定処理については詳細を後述する。

上記ＳＴＥＰ２０の回避対象判定処理で、対象物が回避対象でないと判定された場合（より正確には、全ての対象物が回避対象でないと判定された場合）には、ＳＴＥＰ２０の判定結果がＮＯとなる。この場合には、今回の演算処理周期の処理が終了し、次回の演算処理周期でＳＴＥＰ１からの処理が繰り返される。また、ＳＴＥＰ２０で、対象物が回避対象であると判定された場合（回避対象であると判定された対象物が存在する場合）には、ＳＴＥＰ２０の判定結果がＹＥＳとなる。この場合には、ＳＴＥＰ２１に進んで、画像処理ユニット１は、回避対象であると判定された対象物に対する車両１０の運転者の注意を喚起すべきが否かを判定する注意喚起出力判定処理を実行する。この注意喚起出力判定処理では、前記ブレーキセンサ５の出力から、運転者による車両１０のブレーキ操作がなされていることが確認され、且つ、車両１０の減速加速度（車速の減少方向の加速度を正とする）が所定の閾値（＞０）よりも大きいときには、注意喚起を行なわないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、車両１０の減速加速度が所定の閾値以下である場合には、注意喚起を行なうべきと判定される。

そして、画像処理ユニット１は、注意喚起を行なうべきと判定した場合（ＳＴＥＰ２１の判断結果がＹＥＳとなる場合）には、前記スピーカ６と表示装置７とによる注意喚起を車両１０の運転者に対して行なう注意喚起処理を実行する（ＳＴＥＰ２２）。そして、この注意喚起処理の後、今回の演算処理周期の処理が終了して、次回の演算処理周期でＳＴＥＰ１からの処理が再開される。上記注意喚起処理では、例えば表示装置７に前記基準画像を表示すると共に、その基準画像中の、回避対象の対象物の画像を強調的に表示する。さらに、そのような対象物が存在することをスピーカ６から運転者に音声案内する。これにより、該対象物に対する運転者の注意が喚起される。なお、運転者に対する注意喚起は、スピーカ６および表示装置７のいずれか一方だけで行なうようにしてもよい。

また、ＳＴＥＰ２１で注意喚起を行なわないと判断したとき（全ての回避対象の対象物について注意喚起を行なわないと判断したとき）には、ＳＴＥＰ２１の判断結果がＮＯとなる。この場合には、そのまま今回の演算処理周期の処理が終了して、次回の演算処理周期でＳＴＥＰ１からの処理が再開される。

補足すると、本実施形態では、前記表示装置７およびスピーカ６が本発明における所定の機器に相当する。また、車両１０が車両のステアリング装置、ブレーキ装置、アクセル装置のいずれかをアクチュエータによって操作可能（ひいては車両１０の走行挙動を操作可能）なものである場合には、ＳＴＥＰ２０で回避対象であると判定された対象物との接触を回避するように、もしくは、回避が容易になるように車両１０のステアリング装置、ブレーキ装置、アクセル装置を制御するようにしてもよい。例えば、運転者によるアクセルペダルの必要踏力が、回避対象の対象物が存在しない場合（通常の場合）よりも大きくなるようにアクセル装置を制御して加速しにくくする。あるいは、回避対象と車両１０との接触を回避するために要求されるステアリング装置の操舵方向側へのステアリングハンドルの要求回転力を、反対側へのステアリングハンドルの要求回転力よりも低くして、当該操舵方向側へのステアリングハンドルの操作を容易に行い得るようにする。あるいは、ブレーキ装置のブレーキペダルの踏み込み量に応じた車両１０の制動力の増加速度を、通常の場合よりも高くする。このようにすることで、回避対象との接触を避けるための車両１０の運転が容易になる。

なお、上記のようなステアリング装置の制御と、前記表示装置７もしくはスピーカ６による注意喚起とは、並行して行なうようにしてもよい。

以上が本実施形態の周辺監視装置の全体的作動である。

次に、説明を後回しにしたＳＴＥＰ２０の回避対象判定処理を図５、図６および前記図７を参照して詳細に説明する。図５はＳＴＥＰ２０の処理を示すフローチャート、図６はその処理で使用する第１領域ＡＲ１および第２領域ＡＲ２を説明するための図である。

図５を参照して、ＳＴＥＰ２０の回避対象判定処理では、まず、対象物のレーン基準実空間位置に関する第１の判定処理としての第１対象物位置判定処理が実行される（ＳＴＥＰ３１）。この第１対象物位置判定処理は、車両１０と対象物との接触を車両１０の操舵やブレーキ操作によって余裕をもって回避し得るか否かを判定するための処理である。具体的には、該第１対象物位置判定処理では、赤外線カメラ２Ｒ，２Ｌの撮像領域（赤外線カメラ２Ｒ，２Ｌの視野角内領域）のうち、走行レーンの方向（前記レーン基準実空間座標系のＺ方向）での車両１０からの距離が、所定値以下となる領域（以下、第１領域ＡＲ１という）に対象物の現在のレーン基準実空間位置（レーン基準実空間位置の今回値）が存在するか否かが判定される。

この場合、車両１０からの距離に関する所定値は、前記ＳＴＥＰ４で抽出された対象物（２値化対象物）毎に設定される。具体的には、前記ＳＴＥＰ１９で移動ベクトルを求めるための前記モニタ期間の時間で、該移動ベクトルのＺ方向成分（前記レーン基準実空間座標系でのＺ方向成分）を除算することにより、該モニタ期間での対象物の平均速度Ｖz（走行レーンの方向での対象物の相対速度の平均値Ｖz）が求められ、この平均速度Ｖzに所定の定数Ｔ（時間の次元の定数）を乗じてなる値Ｖz・Ｔが前記第１領域ＡＲ１の、Ｚ方向の境界を規定する上記所定値として設定される。

このように設定される第１領域ＡＲ１は、平面視で、図６の三角形ａｂｃの領域となる。なお、線分ａｂを含む直線Ｌ１、線分ａｃを含む直線Ｌ２は、赤外線カメラ２Ｒ，２Ｌの視野角（水平方向の視野角）の左右の境界線である。また、第１領域ＡＲ１は、上下方向では、所定の高さ（例えば車両１０の高さの２倍程度の高さ）を有する領域である。

補足すると、図６では、車両１０は、その進行方向を走行レーンの向きに合致させた状態で記載している。

ＳＴＥＰ３１の第１対象物位置判定処理は、上記の如く各対象物に対応して定まる第１領域ＡＲ１に対象物が存在するか否かを判定する処理であり、対象物の現在のレーン基準実空間位置のＺ方向位置（これは走行レーンの向きと同方向での対象物の車両１０からの距離を意味する）がＶz・Ｔ以下で、且つ、Ｙ方向位置（鉛直方向位置）が所定の高さ以下の位置であるときに、該対象物が第１領域ＡＲ１に存在すると判定される。なお、走行レーンの向きと同方向における対象物の相対速度Ｖzが車両１０から遠ざかる向きの相対速度である場合には、該対象物は第１領域ＡＲ１に存在しないと判定される。

ＳＴＥＰ３１において、対象物が第１領域ＡＲ１内に存在しないと判定された場合（ＳＴＥＰ３１の判定結果がＮＯとなる場合）は、車両１０の操舵やブレーキ操作によって該対象物と車両１０との接触を余裕をもって回避し得る状況である。そして、この場合には、画像処理ユニット１は、ＳＴＥＰ３７において、該対象物が回避対象で無い（車両１０の接触の可能性が無い）と判定し、該対象物についての回避対象判定処理を終了する。

一方、ＳＴＥＰ３１において、対象物が第１領域ＡＲ１内に存在すると判定された場合（ＳＴＥＰ３１の判断結果がＹＥＳとなる場合）には、画像処理ユニット１はさらに、対象物のレーン基準実空間位置に関する第２の判定処理としての第２対象物位置判定処理を実行する（ＳＴＥＰ３２）。この第２対象物位置判定処理は、対象物の位置が現在位置に維持されたとした場合に、車両１０と対象物との接触の可能性が高いか否かを判定するための処理である。

具体的には、該第２対象物位置判定処理では、対象物が、図６に示すように車両１０（その進行方向を走行レーンの向きに合致させた車両）の両側で該車両１０の進行方向（＝走行レーンの方向）に延在するように設定された一対の境界線Ｌ３，Ｌ４の間の領域ＡＲ２（以下、第２領域ＡＲ２という）に存在するか否かが判定される。

この場合、第２領域ＡＲ２の左右の境界線Ｌ３，Ｌ４は、それらの間隔をＷとしたとき、図６に示すように、車両１０の車幅中心線Ｌ０（より正確には、車両１０の前端の車幅方向の中心点を通って走行レーンの方向に平行な線）から左右に同じ間隔Ｗ／２を有する位置に設定される。そして、境界線Ｌ３，Ｌ４の間隔Ｗは、車両１０の車幅αよりも若干広い間隔に設定される。ＳＴＥＰ３２の第２対象物位置判定処理は、上記の如く定まる第２領域ＡＲ２（この第２領域ＡＲ２の境界線Ｌ３，Ｌ４は走行レーンの向きに平行である）に対象物が存在するか否かを判定する処理である。その判定は、対象物の現在のレーン基準実空間位置のＸ方向成分の値が、第２領域ＡＲ２の、境界線Ｌ３のＸ方向位置（レーン基準実空間座標系でのＸ方向位置）と、境界線Ｌ４のＸ方向位置（レーン基準実空間座標系でのＸ方向位置）との間の値であるか否によって判定される。

例えば、前記図７に示す状況において、第２領域ＡＲ２は、同図７に二点鎖線で示す領域に設定される。従って、図７中の対象物Ｘ１については、そのレーン基準実空間位置が第２領域ＡＲ２に存在すると判定される。なお、仮に前記車両基準座標系で第２領域ＡＲ２を設定すると、該第２領域ＡＲ２は、図７の実線で示す領域となる。この場合には、対象物Ｘ１は、第２領域ＡＲ２に存在しないこととなる。

補足すると、第２領域ＡＲ２の幅Ｗは、車両１０の走行環境（車両１０の車速や、前走車との車間距離など）に応じて変化させるようにしてもよい。

ＳＴＥＰ３２において、対象物のレーン基準実空間位置が第２領域ＡＲ２に存在すると判定された場合（ＳＴＥＰ３２の判定結果がＹＥＳとなる場合）は、対象物が現在位置に留まったとした場合に、該対象物が近い将来において、車両１０と接触する可能性が高い。これは、現在の車両１０の実際の進行方向が走行レーンの向きと合致していなくても、該車両１０は、将来的には、走行レーンの向きとほぼ同じ方向に走行するからである。そして、この場合には、本実施形態では、対象物が歩行者（人）であることを要件として、該対象物が回避対象であると判定する。

具体的には、画像処理ユニット１は、次に、対象物が歩行者（人）であるか（より正確には人である可能性が高いか否か）の判定処理を行なう（ＳＴＥＰ３３）。対象物が歩行者であるか否かの判定は、公知の手法（例えば前記特許文献２に記載されている手法）を使用すればよく、グレースケール画像上での対象物の形状や大きさ、輝度分布等の特徴に基づいて行なうことができる。

このＳＴＥＰ３３の歩行者判定処理で、対象物が歩行者である可能性が高いと判断した場合には、対象物が歩行者であるとの判定の信頼性を高めるために、ＳＴＥＰ３４に進み、該対象物が人工構造物であるか否かの判定処理が行なわれる。対象物が人工構造物であるか否かの判定は、例えば前記特許文献２の図５のＳ３５の処理と同様に行なわれる。従って、本明細書での詳細な説明は省略するが、概略的には、グレースケール画像上での対象物の直線部分や直角部分の有無、あらかじめ定められた登録図形との対象物の画像の一致度合いなどに基づいて行なわれる。

ＳＴＥＰ３４で、対象物が人工構造物でないと判定された場合（ＳＴＥＰ３４の判定結果がＮＯとなる場合）には、該対象物が人（歩行者）である確度が高い。そこで、この場合には、画像処理ユニット１は、ＳＴＥＰ３５において、対象物が回避対象であると判定し、第１回避対象判定処理を終了する。従って、対象物が前記第１領域ＡＲ１内の第２領域ＡＲ２に存在し、且つ、対象物が歩行者である可能性が高く、且つ、人工構造物でないと判定された場合には、対象物が回避対象であると判定される。

また、ＳＴＥＰ３３で対象物が歩行者でないと判定され、あるいは、ＳＴＥＰ３４で対象物が人工構造物であると判定された場合には、前記ＳＴＥＰ３６に進んで、対象物が回避対象で無いと判定され、第１回避対象判定処理が終了する。

一方、前記ＳＴＥＰ３２において、対象物が第２領域ＡＲ２に存在しないと判定された場合（ＳＴＥＰ３２の判定結果がＮＯとなる場合）には、画像処理ユニット１は、次に、対象物の移動方向に関する進入接触判定処理を実行する（ＳＴＥＰ３７）。この進入接触判定処理は、対象物が前記第２領域ＡＲ２に進入し、且つ、車両１０と接触する可能性が高いか否かを判定する処理である。具体的には、前記ＳＴＥＰ１９で求めた対象物の移動ベクトルが現状に維持されると仮定し、この移動ベクトルを含む直線と、車両１０の前端位置におけるレーン基準実空間座標系のＸＹ平面との交点のＸ方向位置が求められる。そして、この求めたＸ方向位置が、車両１０の前端面の車幅方向の中心点（レーン基準実空間座標系の原点）を中心とする所定範囲（車両１０の車幅よりも若干広い範囲）に存在することを要件（以下、進入接触要件という）として、この進入接触要件が満たされるか否かが判定される。

ＳＴＥＰ３７において、対象物が前記進入接触要件を満たす場合（ＳＴＥＰ３７の判定結果がＹＥＳとなる場合）には、対象物が将来、車両１０と接触する可能性が高い。そこで、この場合には、画像処理ユニット１は、前記ＳＴＥＰ３５において、該対象物が回避対象であると判定し、回避対象判定処理を終了する。

図７に示す状況では、対象物Ｘ２が、進入接触要件を満たし、該対象物Ｘ２が、回避対象であると判定される。なお、仮に車両基準実空間座標系で移動ベクトルを認識した場合には、図７に示す状況では、ＳＴＥＰ３７で対象物Ｘ２が、進入接触要件を満たさないものとなる。

また、ＳＴＥＰ３７において、対象物が前記進入接触要件を満たさない場合（ＳＴＥＰ３７の判定結果がＮＯとなる場合）には、対象物が車両１０と接触する可能性が低いので、画像処理ユニット１は、前記ＳＴＥＰ３７において、該対象物が回避対象で無いと判定し、回避対象判定処理を終了する。

以上がＳＴＥＰ２０の回避対象判定処理の詳細である。

補足すると、前記ＳＴＥＰ１９と、ＳＴＥＰ２０のうちのＳＴＥＰ３１，３２，３７の処理によって、本発明（第１発明）における接触可能性判断手段が構成される。

以上説明した実施形態では、車両１０の進行方向を走行レーンの向きに合致させた状態での該車両１０に対する対象物の相対位置や移動ベクトルを認識し、その相対位置や移動ベクトルに基づいて車両１０と対象物との接触の可能性が判断されることとなる。このため、車両１０の進行方向が、走行レーンの向きに対して変動する場合であっても、車両１０と対象物との接触の可能性を高い確度で判断することができる。

次に、本発明の第２実施形態を図８を参照して説明する。なお、本実施形態では、前記第１実施形態と一部の処理のみが相違するので、その相違する部分を中心に説明し、第１実施形態と同一の構成部分および処理部分については、前記第１実施形態と同一の参照符号を用い、詳細な説明を省略する。

前記第１実施形態では、対象物の車両１０に対する相対移動ベクトルとしての移動ベクトルを、図４のＳＴＥＰ１８で求めた対象物の実空間位置（走行レーンの向きに応じた補正後の実空間位置）の時系列に基づいて、求めるようにした。これに対して、本実施形態では、前記ＳＴＥＰ１５で求めた対象物の実空間位置（車両１０の回頭角の変化に応じた補正後の実空間位置）の時系列を基に、対象物の移動ベクトルを求め、その移動ベクトルを走行レーンの向きに応じて補正する。

図８は、本実施形態におけるＳＴＥＰ１８以降の処理を示すフローチャートである。

同図を参照して、本実施形態では、画像処理ユニット１は、前記図３のＳＴＥＰ１５およびＳＴＥＰ１７の処理を実行した後、ＳＴＥＰ１５で求めた対象物の実空間位置（車両基準実空間位置）を、ＳＴＥＰ１７で検出したレーンマーカにより特定される走行レーンの向きに応じて補正する（ＳＴＥＰ１８）。この処理は、第１実施形態のＳＴＥＰ１８の処理と同じである。これにより、対象物の前記レーン基準実空間位置が求められる。

次いで、画像処理ユニット１は、対象物の車両１０に対する移動ベクトルを求める（ＳＴＥＰ１９ａ）。この場合、ＳＴＥＰ１９ａの処理では、同一対象物についての車両基準実空間位置、すなわち、ＳＴＥＰ１５で求めた実空間位置の、所定期間（現在時刻から所定時間前までのモニタ期間）における時系列データを近似する直線を求め、所定時間前の時刻（モニタ期間の初期時刻）での該直線上の対象物の位置（点）から、現在時刻（モニタ期間の終了時刻）における該直線上の対象物の位置（点）に向かうベクトルを対象物の移動ベクトルとして求める。このＳＴＥＰ１９ａの処理によって、本願発明における相対移動ベクトル認識手段が構成される。

次いで、画像処理ユニット１は、ＳＴＥＰ１９ａで求めた移動ベクトル（相対移動ベクトル）を、ＳＴＥＰ１７で検出したレーンマーカにより特定される走行レーンの向き（車両１０に対する向き）に応じて補正する（ＳＴＥＰ１９ｂ）。この補正は、ＳＴＥＰ１８の処理と同様に移動ベクトルを回転変換することで行なわれる。具体的には、車両１０の進行方向に対するレーンマーカの傾き角（これはＳＴＥＰ１８で求められる）だけ、ＳＴＥＰ１９ａで求めた対象物の移動ベクトルをＹ軸まわりに（鉛直軸まわりに）回転変換する（レーンマーカの傾き角に応じて定まるＹ軸まわりの回転変換の行列をＳＴＥＰ１９ａで求めた移動ベクトル（詳しくは前記車両基準実空間座標系での座標成分値から構成されるベクトル）に乗じる）ことによって、該移動ベクトルが補正される。このようにして補正された移動ベクトルは、車両１０の進行方向を走行レーンの向きに合致させた場合における該車両１０に対する対象物の相対的な移動方向を表す。従って、この移動ベクトルは、前記第１実施形態において、ＳＴＥＰ１９で求められる移動ベクトルに相当するものである。

補足すると、ＳＴＥＰ１９ｂの処理によって、本発明（第５発明）における相対移動ベクトル補正手段が構成される。

上記ＳＴＥＰ１９ｂの処理の後には、前記第１実施形態のＳＴＥＰ２０〜２２の判断処理と同じ処理が実行される。この場合、本実施形態では、ＳＴＥＰ２０のうちのＳＴＥＰ３７の処理によって、本発明（第５発明）における接触可能性判断手段が構成される。

以上説明した以外の処理および構成は、前記第１実施形態と同じである。

以上説明した第２実施形態においては、第１実施形態と同様に、車両１０の進行方向が、走行レーンの向きに対して変動する場合であっても、車両１０と対象物との接触の可能性を高い確度で判断することができる。

なお、以上説明した各実施形態では、撮像画像を基に、対象物の車両１０に対する相対位置や、相対移動ベクトルを求めるようにしたが、例えばレーダを使用して、対象物の相対位置や、相対移動ベクトルを求めるようにしてもよい。また、前記各実施形態では、対象物の相対位置の時系列を基に、対象物の相対移動ベクトルを求めるようにしたが、走査型のレーダを使用した場合には、ドップラ効果を利用して、対象物の相対移動ベクトルを直接的に検出するようにすることも可能である。

また、前記各実施形態では、平面視での車両１０の進行方向と車両１０の前方の走行レーンの向きとのずれを考慮し、該車両１０の進行歩行を車両１０の前方の走行レーンの向きに合致させるように、対象物の車両１０に対する相対位置や、相対移動ベクトルをＹ軸まわりに（上下方向の軸まわりに）回転変換して補正する場合を例に採って説明した。ただし、路面の水平面からの傾きや車両１０のピッチングなどに起因して、側面視において車両１０の進行方向もしくは前後方向と車両１０の前方の走行路の向きのずれが生じているような場合には、対象物の車両１０に対する相対位置や、相対移動ベクトルをＸ軸まわりに（左右方向の軸まわりに）回転変換して補正するようにしてもよい。例えば、車両が坂を下っており、その坂を下った先の水平な走行路に対象物が存在する場合に、その水平な走行路の向き（側面視での向き）に車両１０の進行方向もしくは前後方向を合致させるように、対象物の車両１０に対する相対位置や、相対移動ベクトルをＸ軸まわりに回転変換して補正することを行なうようにしてもよい。同様に、例えば、車両が水平な走行路を走行しており、その先の坂に対象物が存在する場合に、その坂の向き（側面視での向き）に車両１０の進行方向もしくは前後方向を合致させるように、対象物の車両１０に対する相対位置や、相対移動ベクトルをＸ軸まわりに回転変換して補正するようにしてもよい。なお、Ｙ軸まわりの回転変換とＸ軸まわりの回転変換とは併用してもよい。

本発明の第１実施形態における車両の周辺監視装置の全体構成を示すブロック図。 図１の周辺監視装置を搭載した車両の外観を示す斜視図。 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。 図４のＳＴＥＰ２０の処理を示すフローチャート。 図４のフローチャートの処理で使用する第１領域ＡＲ１および第２領域ＡＲ２を説明するための図。 実施形態における車両１０が走行レーン５０（走行路）を走行している状態を示す図。 本発明の第２実施形態における画像処理ユニットの要部の処理を示すフローチャート。

符号の説明

１０…車両、ＳＴＥＰ１〜１５…対象物位置検出手段、ＳＴＥＰ１６，１７…走行路情報取得手段、ＳＴＥＰ１９，３１，３２，３７…接触可能性判断手段、ＳＴＥＰ１９ｂ…相対移動ベクトル補正手段。

Claims (8)

1. 車両の前方側に存在する対象物の該車両に対する相対位置を検出する対象物位置検出手段と、
   前記車両が走行している走行路の該車両に対する向きを特定可能な走行路情報を取得する走行路情報取得手段と、
   前記検出された対象物の相対位置を、前記取得された走行路情報に基づき補正する対象物位置補正手段と、
   少なくとも前記補正された対象物の相対位置を用いて該対象物の前記車両との接触の可能性を判断する接触可能性判断手段とを備えたことを特徴とする車両の周辺監視装置。
2. 前記対象物位置補正手段は、前記補正された対象物の相対位置が、前記走行路情報により特定される前記走行路の向きに前記車両の進行方向を一致させたと仮定した場合における該車両に対する対象物の相対位置に等しくなるように前記検出された対象物の相対位置を前記走行路情報により特定される前記走行路の向きに応じて補正することを特徴とする請求項１記載の車両の周辺監視装置。
3. 前記接触可能性判断手段は、前記補正された対象物の相対位置が所定の領域内に存在するか否かに基づき、該対象物の車両との接触の可能性を判断する手段を備えることを特徴とする請求項１または２記載の車両の周辺監視装置。
4. 前記接触可能性判断手段は、前記補正された対象物の相対位置の時系列に基づき該対象物の前記車両に対する相対的な移動方向を表す相対移動ベクトルを求める手段と、該相対移動ベクトルに基づき前記対象物の車両との接触の可能性を判断する手段とを備えることを特徴とする請求項１〜３のいずれか１項に記載の車両の周辺監視装置。
5. 車両の前方側に存在する対象物の該車両に対する相対的な移動方向を表す相対移動ベクトルを認識する相対移動ベクトル認識手段と、
   前記車両が走行している走行路の該車両に対する向きを特定可能な走行路情報を取得する走行路情報取得手段と、
   前記認識された相対移動ベクトルを前記取得された走行路情報に基づき補正する相対移動ベクトル補正手段と、
   少なくとも前記補正された相対移動ベクトルに基づいて該対象物の前記車両との接触の可能性を判断する接触可能性判断手段とを備えたことを特徴とする車両の周辺監視装置。
6. 前記相対移動ベクトル補正手段は、前記補正された相対移動ベクトルの向きが、前記走行路情報により特定される前記走行路の向きに前記車両の進行方向を一致させたと仮定した場合における該車両に対する対象物の相対的な移動方向と等しくなるように前記認識された相対移動ベクトルを前記走行路情報により特定される前記走行路の向きに応じて補正することを特徴とする請求項５記載の車両の周辺監視装置。
7. 車両の前方側に存在する対象物の該車両に対する相対位置を検出するための処理と、前記車両が走行している走行路の該車両に対する向きを特定可能な走行路情報を取得する処理と、前記検出された対象物の相対位置を、前記取得された走行路情報に基づき補正する処理と、少なくとも前記補正された対象物の相対位置を用いて該対象物の前記車両との接触の可能性を判断する処理とをコンピュータに実行させる機能を備えることを特徴とする車両の周辺監視用プログラム。
8. 車両の前方側に存在する対象物の該車両に対する相対的な移動方向を表す相対移動ベクトルを認識する処理と、前記車両が走行している走行路の該車両に対する向きを特定可能な走行路情報を取得する処理と、前記認識された相対移動ベクトルを前記取得された走行路情報に基づき補正する処理と、少なくとも前記補正された相対移動ベクトルに基づいて該対象物の前記車両との接触の可能性を判断する処理とをコンピュータに実行させる機能を備えることを特徴とする車両の周辺監視用プログラム。

Images