JP2015219721A - 動作支援システム及び物体認識装置 - Google Patents

Abstract

【課題】検出結果の信頼性を制御に反映することが可能な動作支援システム及び物体認識装置を提供する。
【解決手段】動作支援システム１０又は物体認識装置１２では、第２物体１００ｃ（カメラ物標）の認識が継続している画像認識継続時間Ｔｃｒと、第１物体１００ｒ（レーダ物標）及び第２物体１００ｃについての横方向速度又は横方向速度の算出の可否に基づいて衝突可能性又は動作支援を変更する。
【選択図】図２

Description

本発明は、車両等の移動物体の動作支援を行う動作支援システム及び当該動作支援システムで利用可能な物体認識装置に関する。

特許文献１では、不必要な回避支援を削減することができる運転支援装置を提供することを目的としている（［０００６］、要約）。当該目的を達成するため、特許文献１の運転支援装置１は、障害物に関する情報を検出する障害物検出手段と、自車両が障害物の現在位置に最接近するまでの余裕時間（ＴＴＣ）を算出する余裕時間算出手段と、余裕時間が経過したときの障害物の将来位置を推定する将来位置推定手段と、自車両が回避すべき回避対象領域を設定する回避対象領域設定手段と、回避対象領域を回避する走行経路を設定する走行経路設定手段とを備える（要約）。回避対象領域設定手段は、将来位置及びその周辺位置における障害物との衝突リスクポテンシャルを評価し、衝突リスクポテンシャルに基づいて回避対象領域を設定する（要約）。

衝突リスクポテンシャルの評価では、将来位置を基準に、その周辺位置の衝突リスクポテンシャルの分布を生成する（図２のＳ５、［００２８］）。すなわち、リスクパターンＤＢ４に記憶されたパターンのうち、障害物の種類に対応するパターンを取得し、そのパターンの基準位置を前記将来位置に合わせ、そのパターンの向きを障害物の向きに合わせる。これにより、前記将来位置の周辺位置における衝突リスクポテンシャルの分布を生成する（［００２８］）。回避対象領域は、例えば、衝突リスクポテンシャルがある閾値以上となる範囲とされる（［００３１］）。

特許文献１における障害物検出手段（障害物検出装置２）は、例えば、車外カメラ、レーダ等により、障害物に関する情報を検出する装置であるとされている（［００１８］）。

特許文献２では、レーダ（ミリ波）による障害物検出結果と、画像認識による障害物検出結果を照合して、両者で検出した場合とそれぞれのみで検出した場合に分岐する（要約）。そして、分岐結果に応じて走行支援制御の開始条件を変更することで、運転者の注意に応じた支援制御を実行する（要約）。レーダ（ミリ波）及び画像認識それぞれで障害物が検出できた場合に関し、特許文献２では、ミリ波レーダ２１でも画像認識手段２２でも障害物を検出している場合には、障害物を正しく検知している可能性が高いため、通常のタイミングで支援制御を実行すると説明されている（［００７５］）。

特開２０１２−１７３７８６号公報 特開２００５−２３９１１４号公報

上記のような特許文献１では、主として、余裕時間（ＴＴＣ）に基づく障害物の将来位置と障害物の種類及び向きを用いて回避対象領域が設定される（［００２８］）。特許文献１では、特許文献２のようなレーダ（ミリ波）及び画像認識による障害物検出結果を組み合わせる構成における処理が検討されていない。加えて、特許文献１では、障害物検出手段（障害物検出装置２）の検出結果の信頼性に着目した制御については考慮されていない。

また、特許文献２では、レーダ及び画像認識それぞれによる障害物検出結果に基づき走行支援制御の開始条件を変更するものの、レーダ及び画像認識それぞれにより障害物が検出された場合における信頼性の相違又は変化については検討されていない。このため、特許文献２では、レーダ及び画像認識それぞれによる障害物検出結果が得られた場合、信頼性があることを前提として制御が行われると言える。従って、特許文献２では、レーダ及び画像認識それぞれによる障害物検出結果が得られた場合の信頼性の相違については検討されていない。

本発明は上記のような課題を考慮してなされたものであり、検出結果の信頼性を制御に反映することが可能な動作支援システム及び物体認識装置を提供することを目的とする。

本発明に係る動作支援システムは、移動物体の周辺に存在する周辺物体に対して電磁波を出射し、前記周辺物体からの反射波に対応する反射波信号を出力するレーダと、前記周辺物体を含む周辺画像を撮像し、前記周辺画像に対応する画像信号を出力するカメラと、前記反射波信号に含まれる前記周辺物体を第１物体として認識し、前記画像信号に含まれる前記周辺物体を第２物体として認識し、前記第１物体及び前記第２物体をマッチングさせて対象物体として特定し、前記対象物体に対する前記移動物体の衝突可能性を判定する衝突可能性判定装置と、前記衝突可能性に応じて前記移動物体の動作支援を行う動作支援装置とを備えるものであって、前記動作支援システムの一部又は全部は前記移動物体内又は前記移動物体外に設けられ、前記第２物体の認識が継続している画像認識継続時間と、前記第１物体及び前記第２物体についての横方向速度自体又は前記横方向速度の算出の可否とに基づいて前記衝突可能性又は前記動作支援を変更することを特徴とする。

レーダの検出結果（反射波信号）及びカメラの検出結果（画像信号）を組み合わせて対象物体を特定する場合、対象物体までの距離は、レーダの検出値を用いることで精度良く検出することが可能となる場合が多い。また、レーダの検出値により算出した対象物体までの距離を用いる場合、レーダの検出値よりも周辺画像の方が、周辺物体の横方向速度を精度良く算出することができる場合が多い。

本発明によれば、周辺画像に基づく第２物体の認識が継続している画像認識継続時間と、第１物体及び第２物体についての横方向速度自体又は横方向速度の算出の可否とに基づいて衝突可能性又は動作支援を変更する。

これにより、画像認識継続時間を用いることで、周辺画像に基づく横方向位置又は横方向速度の信頼性を衝突可能性又は動作支援に反映することが可能となる。加えて、第１物体及び第２物体についての横方向速度自体又は横方向速度の算出の可否を用いることで、レーダ及びカメラの検出結果の信頼性をより正確に反映した動作支援を行うことが可能となる。

前記衝突可能性判定装置は、前記対象物体が前記移動物体の進路上に存在する時間である進路オーバーラップ時間を算出する進路オーバーラップ時間算出部を備え、前記進路オーバーラップ時間算出部は、前記対象物体の現在位置又は将来位置の少なくとも一方が、前記移動物体の進路上に存在する場合、前記進路オーバーラップ時間を加算し、前記画像認識継続時間に基づいて、又は前記第１物体及び前記第２物体についての横方向速度自体若しくは前記横方向速度の算出の可否に基づいて前記進路オーバーラップ時間を加算する条件を変更してもよい。

本発明によれば、第２物体の認識が継続している画像認識継続時間に基づいて、又は周辺物体についての横方向速度自体若しくは横方向速度の算出の可否に基づいて進路オーバーラップ時間を加算する条件を変更する。

これにより、画像認識継続時間を用いることで、画像認識の信頼性を進路オーバーラップ時間に反映することが可能となる。或いは、周辺物体についての横方向速度又は横方向速度の算出の可否を用いることで、画像認識の信頼性をより正確に反映した進路オーバーラップ時間を算出することが可能となる。

前記衝突可能性判定装置は、前記進路オーバーラップ時間に応じて前記衝突可能性を判定してもよい。これにより、画像認識の信頼性を衝突可能性に反映することが可能となる。

前記移動物体に対して動作支援を行うに当たり、前記動作支援装置は、前記進路オーバーラップ時間に応じて前記動作支援を変更してもよい。これにより、画像認識の信頼性を動作支援に反映することが可能となる。

前記画像認識継続時間が所定の時間閾値を超えて継続して認識されている場合、前記進路オーバーラップ時間算出部は、少なくとも前記対象物体の将来位置が前記移動物体の進路上に存在すれば、前記進路オーバーラップ時間を加算してもよい。これにより、画像認識の信頼性が高い状態において、進路オーバーラップ時間を適切に反映することが可能となる。

前記画像認識継続時間が前記所定の時間閾値を超えて継続して認識されていない場合、前記進路オーバーラップ時間算出部は、前記第２物体の横方向速度が所定の速度閾値以上であり且つ少なくとも前記対象物体の将来位置が前記移動物体の進路上に存在すれば、前記進路オーバーラップ時間を加算してもよい。これにより、横方向速度が比較的大きいという緊急度合いの高い状況において、進路オーバーラップ時間を適切に算出することが可能となる。

前記対象物体の現在位置及び将来位置の両方が、前記移動物体の進路上に存在しない場合、前記進路オーバーラップ時間算出部は、前記進路オーバーラップ時間を減算してもよい。これにより、衝突可能性が低い場合、進路オーバーラップ時間を適切に算出することが可能となる。

前記進路オーバーラップ時間算出部は、前記対象物体の現在位置が前記移動物体の進路上に存在し且つ前記対象物体の将来位置が前記移動物体の進路上に存在しない場合、前記進路オーバーラップ時間の前回値を保持してもよい。これにより、衝突可能性が相対的に低い場合、進路オーバーラップ時間を適切に算出することが可能となる。

前記第１物体及び前記第２物体の両方の横方向移動が検出されている場合、前記進路オーバーラップ時間算出部は、少なくとも前記対象物体の将来位置が、前記移動物体の進路上に存在すれば、前記進路オーバーラップ時間を加算してもよい。これにより、衝突可能性が相対的に高い場合、進路オーバーラップ時間を適切に算出することが可能となる。

前記第１物体が認識され且つ前記第２物体が認識されていない場合、前記進路オーバーラップ時間算出部は、前記対象物体の現在位置及び将来位置の両方が、前記移動物体の進路上に存在すれば、前記進路オーバーラップ時間を加算してもよい。これにより、第２物体が認識されていない場合でも、進路オーバーラップ時間を適切に算出することが可能となる。

前記第１物体が認識され且つ前記第２物体が認識されていない場合、前記進路オーバーラップ時間算出部は、前記対象物体の現在位置及び将来位置の一方のみが、前記移動物体の進路上に存在すれば、前記進路オーバーラップ時間の前回値を保持してもよい。これにより、第２物体が認識されていない場合でも、進路オーバーラップ時間を適切に算出することが可能となる。

前記第２物体の横方向移動が検出され且つ前記第１物体の横方向移動が検出されず、且つ前記第２物体の横方向速度が所定の速度閾値を下回る場合、前記進路オーバーラップ時間算出部は、前記対象物体の現在位置及び将来位置が、前記移動物体の進路上に存在すれば、前記進路オーバーラップ時間を加算してもよい。これにより、第１物体の横方向移動が検出されない場合でも、進路オーバーラップ時間を適切に算出することが可能となる。

前記第２物体の横方向移動が検出され且つ前記第１物体の横方向移動が検出されず、且つ前記第２物体の横方向速度が前記所定の速度閾値を下回る場合、前記進路オーバーラップ時間算出部は、前記対象物体の現在位置及び将来位置の一方のみが、前記移動物体の進路上に存在すれば、前記進路オーバーラップ時間の前回値を保持してもよい。これにより、第１物体の横方向移動が検出されない場合でも、進路オーバーラップ時間を適切に算出することが可能となる。

本発明に係る物体認識装置は、移動物体の周辺に存在する周辺物体の位置に関する位置情報を取得する位置情報取得装置と、前記位置情報に基づく前記周辺物体の現在位置又は将来位置が前記移動物体の進路上に存在する時間である進路オーバーラップ時間を算出する進路オーバーラップ時間算出部とを備えるものであって、前記周辺物体の現在位置又は将来位置の少なくとも一方が、前記移動物体の進路上に存在する場合、前記進路オーバーラップ時間を加算し、前記位置情報取得装置による前記周辺物体の位置情報の取得が継続している位置情報取得継続時間に基づいて、又は前記周辺物体についての速度自体若しくは前記速度の算出の可否に基づいて前記進路オーバーラップ時間を加算する条件を変更することを特徴とする。

本発明によれば、周辺物体の位置情報の取得が継続している位置情報取得継続時間に基づいて、又は周辺物体についての横方向速度自体若しくは横方向速度の算出の可否に基づいて進路オーバーラップ時間を加算する条件を変更する。

これにより、位置情報取得継続時間を用いることで、位置情報の信頼性を進路オーバーラップ時間に反映することが可能となる。或いは、周辺物体についての速度自体又は速度の算出の可否を用いることで、位置情報の信頼性をより正確に反映した進路オーバーラップ時間を算出することが可能となる。

本発明によれば、検出結果の信頼性を制御に反映することが可能となる。

本発明の一実施形態に係る運転支援システムとしての車両の構成を示すブロック図である。 前記実施形態における運転支援制御のフローチャートである。 対象物体の現在位置に基づく進路オーバーラップ量を説明するための第１図である。 前記対象物体の前記現在位置に基づく前記進路オーバーラップ量を説明するための第２図である。 前記対象物体の将来位置に基づく前記進路オーバーラップ量を説明するための図である。 進路オーバーラップ時間の算出モードを選択するフローチャート（図２のＳ５の詳細）である。 前記進路オーバーラップ時間の前記算出モードの選択方法の説明図である。 前記進路オーバーラップ時間を算出するフローチャート（図２のＳ６の詳細）である。 前記進路オーバーラップ時間の算出方法の説明図である。

Ａ．一実施形態
Ａ１．構成
［Ａ１−１．全体構成］
図１は、本発明の一実施形態に係る運転支援システムとしての車両１０（以下「自車１０」ともいう。）の構成を示すブロック図である。車両１０は、物体認識装置１２、車両挙動安定システム１４（以下「ＶＳＡシステム１４」という。）、電動パワーステアリングシステム１６（以下「ＥＰＳシステム１６」という。）、ポップアップフードシステム１８（以下「ＰＵＨシステム１８」という。）、車速センサ２０及び警報装置２２を有する。

物体認識装置１２は、自車１０の周囲に現れる各種の周辺物体１００（例えば、歩行者１０２（図３、図５）、他車１０４（図４）及び壁）を検出する。そして、物体認識装置１２は、周辺物体１００（以下「検出物体１００」ともいう。）のうち自車１０の制御に関連するものを対象物体１００ｔａｒとして選択又は特定する。物体認識装置１２は、自車１０から対象物体１００ｔａｒまでの距離Ｌを算出すると共に、対象物体１００ｔａｒの属性Ｐｒｔａｒを判別する。ここでの属性Ｐｒｔａｒには、例えば、対象物体１００ｔａｒの種類Ｃａ（例えば、車両、歩行者（ヒト）又は壁）等が含まれる。

ＶＳＡシステム１４の電子制御装置３０（以下「ＶＳＡ ＥＣＵ３０」という。）は、車両挙動安定化制御を実行するものであり、図示しないブレーキシステム等の制御を介してカーブ路の旋回時、自車１０に対する他車１０４の接近時等における車両１０の挙動を安定化させる。

ＥＰＳシステム１６の電子制御装置３２（以下「ＥＰＳ ＥＣＵ３２」という。）は、操舵アシスト制御を実行するものであり、電動パワーステアリング装置の構成要素｛電動モータ、トルクセンサ及び舵角センサ（いずれも図示せず）等｝の制御を介して運転者による操舵をアシストする。

ＰＵＨシステム１８の電子制御装置３４（以下「ＰＵＨ ＥＣＵ３４」という。）は、車両１０が歩行者１０２（図３及び図５）との衝突事故に遭った場合、車両１０のポップアップフード（図示せず）を跳ね上げ、歩行者１０２の頭部が車体に当たったときの衝撃を和らげる。

車速センサ２０は、車両１０の車速Ｖ［ｋｍ／ｈ］を検出して物体認識装置１２等に出力する。警報装置２２は、物体認識装置１２等からの指令に基づき、運転者に対する警報を行う。警報装置２２は、例えば、図示しない表示装置及びスピーカを有する。

［Ａ１−２．物体認識装置１２］
図１に示すように、物体認識装置１２は、レーダ４０、カメラ４２及び物体認識電子制御装置４４（以下「物体認識ＥＣＵ４４」又は「ＥＣＵ４４」という。）を有する。

（Ａ１−２−１．レーダ４０）
レーダ４０は、電磁波（ここではミリ波）である送信波Ｗｔを車両１０の外部に出力し、送信波Ｗｔのうち検出物体１００（例えば、歩行者１０２、他車１０４）に反射して戻って来る反射波Ｗｒを受信する。そして、反射波Ｗｒに対応する検出信号（以下「反射波信号Ｓｗｒ」又は「信号Ｓｗｒ」という。）をＥＣＵ４４に出力する。以下では、レーダ４０が検出した検出物体１００を「第１物体１００ｒ」又は「レーダ物標１００ｒ」ともいう。

レーダ４０は、車両１０の前側（例えば、フロントバンパ及び／又はフロントグリル）に配置される。前側に加えて又は前側に代えて、車両１０の後ろ側（例えば、リアバンパ及び／又はリアグリル）又は側方（例えば、フロントバンパの側方）に配置してもよい。

また、後述するように、ミリ波を出力するレーダ４０の代わりに、レーザレーダ、超音波センサ等のセンサを用いることもできる。

（Ａ１−２−２．カメラ４２）
カメラ４２（撮像手段）は、車両１０の周囲（対象物体１００ｔａｒを含む。）の画像Ｉｍｃ（以下「周辺画像Ｉｍｃ」又は「撮像画像Ｉｍｃ」ともいう。）を取得する。そして、画像Ｉｍｃに対応する信号（以下「画像信号Ｓｉｃ」又は「信号Ｓｉｃ」という。）をＥＣＵ４４に出力する。以下では、カメラ４２が検出した検出物体１００を「第２物体１００ｃ」又は「カメラ物標１００ｃ」ともいう。

本実施形態では、１つのカメラ４２を用いるが、２つのカメラ４２を左右対称に配置させてステレオカメラを構成してもよい。カメラ４２は、１秒間に１５フレーム以上（例えば３０フレーム）で画像Ｉｍｃを取得する。カメラ４２は、主に可視光領域の波長を有する光を利用するモノクロカメラであるが、カラーカメラ又は赤外線カメラであってもよい。カメラ４２は、例えば、車両１０の車室内の前方部分における車幅方向中心部（例えば、バックミラー周辺）に配置されている。或いは、カメラ４２は、車両１０の前部バンパー部における車幅方向中心部に配置されてもよい。

（Ａ１−２−３．物体認識ＥＣＵ４４）
物体認識ＥＣＵ４４は、物体認識装置１２の全体を制御するものであり、図１に示すように、入出力部５０、演算部５２及び記憶部５４を有する。

レーダ４０からの反射波信号Ｓｗｒ及びカメラ４２からの画像信号Ｓｉｃは、入出力部５０を介して物体認識ＥＣＵ４４に供給される。また、物体認識ＥＣＵ４４と、ＶＳＡ ＥＣＵ３０、ＥＰＳ ＥＣＵ３２及びＰＵＨ ＥＣＵ３４との間の通信は、入出力部５０及び通信線５６を介して行われる。入出力部５０は、入力されたアナログ信号をデジタル信号に変換する図示しないＡ／Ｄ変換回路を備える。

演算部５２は、レーダ４０及びカメラ４２からの各信号Ｓｗｒ、Ｓｉｃに基づく演算を行い、演算結果に基づき、ＶＳＡ ＥＣＵ３０、ＥＰＳ ＥＣＵ３２及びＰＵＨ ＥＣＵ３４に対する信号を生成する。

図１に示すように、演算部５２は、レーダ情報処理部６０、カメラ情報処理部６２及び対象物体情報処理部６４を有する。各処理部６０、６２、６４は、記憶部５４に記憶されているプログラムを実行することにより実現される。前記プログラムは、図示しない無線通信装置（携帯電話機、スマートフォン等）を介して外部から供給されてもよい。前記プログラムの一部をハードウェア（回路部品）で構成することもできる。

レーダ情報処理部６０は、レーダ４０が検出した反射波Ｗｒ（反射波信号Ｓｗｒ）に基づいて検出物体１００（第１物体１００ｒ）の情報（以下「レーダ情報Ｉｒ」、「第１物体情報Ｉｒ」又は「情報Ｉｒ」という。）を算出する。カメラ情報処理部６２は、カメラ４２が取得した周辺画像Ｉｍｃを用いて検出物体１００（第２物体１００ｃ）の情報（以下「カメラ情報Ｉｃ」、「第２物体情報Ｉｃ」又は「情報Ｉｃ」という。）を算出する。

対象物体情報処理部６４（以下、「処理部６４」ともいう。）は、レーダ情報処理部６０が算出したレーダ情報Ｉｒと、カメラ情報処理部６２が算出したカメラ情報Ｉｃとを組み合わせた情報（以下「対象物体情報Ｉｔ」又は「情報Ｉｔ」という。）を算出する。換言すると、処理部６４は、いわゆるフュージョン処理を行う。情報Ｉｔは、レーダ４０が検出した検出物体１００（第１物体１００ｒ）と、カメラ４２が検出した検出物体１００（第２物体１００ｃ）とに基づいて特定する対象物体１００ｔａｒの情報である。

処理部６４は、ＴＴＣ算出部７０（以下「算出部７０」ともいう。）と、進路オーバーラップ時間算出部７２（以下「Ｔｏｌｐ算出部７２」又は「算出部７２」ともいう。）と、衝突可能性算出部７４（以下「Ｐｃ算出部７４」又は「算出部７４」ともいう。）とを備える。

ＴＴＣ算出部７０は、自車１０が対象物体１００ｔａｒに接触（又は衝突）するまでの時間を示すＴＴＣ（Time to Collision）を算出する。進路オーバーラップ時間算出部７２は、進路オーバーラップ時間Ｔｏｌｐを算出する。時間Ｔｏｌｐは、対象物体１００ｔａｒが車両１０の進路１０６（図３〜図５）上に存在する時間である。時間Ｔｏｌｐの詳細については、図２、図８、図９等を用いて後述する。

衝突可能性算出部７４は、衝突可能性Ｐｃを算出する。衝突可能性Ｐｃは、対象物体１００ｔａｒ（歩行者１０２等）が自車１０に接触（又は衝突）する可能性である。

記憶部５４は、デジタル信号に変換された撮像信号、各種演算処理に供される一時データ等を記憶するＲＡＭ（Random Access Memory）、及び実行プログラム、テーブル又はマップ等を記憶するＲＯＭ（Read Only Memory）等で構成される。

Ａ２．運転支援制御
［Ａ２−１．運転支援制御の全体的な流れ］
図２は、本実施形態における運転支援制御のフローチャートである。運転支援制御は、物体認識ＥＣＵ４４の演算部５２（処理部６０、６２、６４）及びその他のＥＣＵ３０、３２、３４の演算部（図示せず）が実行する。各ＥＣＵ３０、３２、３４、４４は、図２に示す処理を所定の演算周期（例えば、数μｓｅｃ〜数百ｍｓｅｃのいずれかの周期）で繰り返す。

ステップＳ１において、ＥＣＵ４４（レーダ情報処理部６０）は、レーダ４０からの反射波信号Ｓｗｒに基づいて、検出物体１００（レーダ物標１００ｒ）のレーダ情報Ｉｒを算出する。レーダ情報Ｉｒには、レーダ物標１００ｒの位置Ｐｏｒ、速度Ｖｒ、加速度ａｒ等が含まれる。なお、レーダ４０の検出範囲内に複数のレーダ物標１００ｒが存在する場合、ＥＣＵ４４は、各レーダ物標１００ｒについて位置Ｐｏｒ、速度Ｖｒ、加速度ａｒ等を算出する。

ステップＳ２において、ＥＣＵ４４（カメラ情報処理部６２）は、カメラ４２の画像信号Ｓｉｃ（撮像画像Ｉｍｃ）に基づいて、検出物体１００（カメラ物標１００ｃ）のカメラ情報Ｉｃを算出する。カメラ情報Ｉｃには、カメラ物標１００ｃの位置Ｐｏｃ、横方向速度Ｖｌｃ、加速度ａｃ、属性Ｐｒｃ等が含まれる。また、属性Ｐｒｃとしては、カメラ物標１００ｃの種類Ｃａ（歩行者、車両等）、大きさ等が含まれる。また、撮像画像Ｉｍｃ内に複数のカメラ物標１００ｃが存在する場合、ＥＣＵ４４は、各カメラ物標１００ｃについて位置Ｐｏｃ、横方向速度Ｖｌｃ、加速度ａｃ、属性Ｐｒｃ等を算出する。

ステップＳ３において、ＥＣＵ４４（対象物体情報処理部６４）は、レーダ情報Ｉｒ（レーダ物標１００ｒ）とカメラ情報Ｉｃ（カメラ物標１００ｃ）をマッチングするマッチング判断を行う。マッチング判断では、レーダ情報処理部６０で認識された第１物体１００ｒの位置Ｐｏｒ及びカメラ情報処理部６２で認識された第２物体１００ｃの位置Ｐｏｃが一致する又は所定距離内にあるときに同一の対象物体１００ｔａｒであると判定する。

ステップＳ４において、ＥＣＵ４４は、自車１０が対象物体１００ｔａｒに接触（又は衝突）するまでの時間を示すＴＴＣを算出する。

ステップＳ５において、ＥＣＵ４４は、進路オーバーラップ時間Ｔｏｌｐ（以下「オーバーラップ時間Ｔｏｌｐ」又は「時間Ｔｏｌｐ」ともいう。）の算出モードＭｏｌｐ（以下「モードＭｏｌｐ」ともいう。）を選択する。時間Ｔｏｌｐは、対象物体１００ｔａｒが車両１０の進路１０６（図３〜図５）上に存在する時間である。また、算出モードＭｏｌｐは、時間Ｔｏｌｐを算出するためのモードであり、本実施形態では、Ｍｏｄｅ １とＭｏｄｅ ２の２つを用いる。ステップＳ５の詳細は、図６を参照して後述する。

ステップＳ６において、ＥＣＵ４４は、ステップＳ５で選択した算出モードＭｏｌｐを用いてオーバーラップ時間Ｔｏｌｐを算出する。ステップＳ６の詳細は、図８を参照して後述する。

ステップＳ７において、ＥＣＵ４４は、ＴＴＣとオーバーラップ時間Ｔｏｌｐから衝突可能性Ｐｃを算出する。衝突可能性Ｐｃは、対象物体１００ｔａｒ（歩行者１０２等）が自車１０に接触（又は衝突）する可能性である。算出した衝突可能性Ｐｃは、例えば、ＥＣＵ３０、３２、３４に対してＥＣＵ４４から出力される。

なお、衝突可能性Ｐｃを用いずに、ＴＴＣ及び時間Ｔｏｌｐをそのまま用いることも可能である。その場合、例えば、ＴＴＣ及び時間Ｔｏｌｐそれぞれの閾値との関係で、警報装置２２を用いた警報、又は図示しないブレーキ装置を用いた自動ブレーキを行うことができる。

また、時間Ｔｏｌｐが閾値を超えた場合のみ、衝突可能性Ｐｃを判定すること、又は時間Ｔｏｌｐに応じてＴＴＣの閾値を変更することも可能である。

ステップＳ８において、ＥＣＵ４４は、衝突可能性Ｐｃに応じて運転支援を行う。具体的には、ＶＳＡ ＥＣＵ３０は、例えば、衝突可能性Ｐｃを用いて自動ブレーキ制御を実行する。ＥＰＳ ＥＣＵ３２は、例えば、衝突可能性Ｐｃを用いて自動ステアリング制御を実行する。ＰＵＨ ＥＣＵ３４は、衝突可能性Ｐｃを用いてＰＵＨ制御を実行する。物体認識ＥＣＵ４４は、警報装置２２を介して所定の警告（例えば、警告音の出力又は警告表示）を行う。

［Ａ２−２．進路オーバーラップ時間Ｔｏｌｐ］
（Ａ２−２−１．進路オーバーラップ時間Ｔｏｌｐの意義）
上記のように、本実施形態では、ＴＴＣに加え、進路オーバーラップ時間Ｔｏｌｐを用いて衝突可能性Ｐｃを算出する。すなわち、時間Ｔｏｌｐは、衝突可能性Ｐｃを判定するための一指標として用いられる。時間Ｔｏｌｐの値が小さい場合、衝突可能性Ｐｃが相対的に低いと判定され、時間Ｔｏｌｐの値が大きい場合、衝突可能性Ｐｃが相対的に高いと判定される。

（Ａ２−２−２．進路オーバーラップ時間Ｔｏｌｐの算出の概要）
本実施形態では、進路オーバーラップ時間Ｔｏｌｐの算出モードＭｏｌｐを選択した上で（図２のＳ５）、時間Ｔｏｌｐを算出する。算出モードＭｏｌｐには、Ｍｏｄｅ １及びＭｏｄｅ ２が含まれる。Ｍｏｄｅ １は、画像認識による第２物体１００ｃの横方向速度Ｖｌｃの信頼性（精度）が相対的に高い場合に用いられる。Ｍｏｄｅ ２は、画像認識による第２物体１００ｃの横方向速度Ｖｌｃの信頼性（精度）が相対的に低い場合に用いられる。各モードＭｏｌｐの詳細については、図７、図９等を参照して詳述する。

いずれの算出モードＭｏｌｐを用いる場合でも、進路オーバーラップの有無が利用される（図９）。そこで、まず進路オーバーラップについて説明する。

進路オーバーラップは、進路オーバーラップ量Ｄｏｌｐが所定の閾値ＴＨｄｏｌｐ（以下「オーバーラップ量閾値ＴＨｄｏｌｐ」ともいう。）以上である状態を意味する。本実施形態では、対象物体１００ｔａｒの現在位置Ｐｐｒｅ及び将来位置Ｐｆｔｒのそれぞれについて進路オーバーラップの有無が判定される。

（Ａ２−２−３．進路オーバーラップ量Ｄｏｌｐ）
（Ａ２−２−３−１．現在位置Ｐｐｒｅに基づく進路オーバーラップ量Ｄｏｌｐ）
図３及び図４は、対象物体１００ｔａｒの現在位置Ｐｐｒｅに基づく進路オーバーラップ量Ｄｏｌｐを説明するための第１図及び第２図である。図３では、対象物体１００ｔａｒとしての歩行者１０２が自車１０の前方に存在する。図４では、対象物体１００ｔａｒとしての他車１０４が自車１０の前方に存在する。図３及び図４において、破線１０８ｌは、車両１０の進路１０６の左端を示す仮想線であり、破線１０８ｒは、車両１０の進路１０６の右端を示す仮想線である。仮想線１０８ｌ、１０８ｒにより挟まれる領域が進路１０６となる。

図３及び図４では、破線１０８ｌ、１０８ｒが、車両１０の側面の位置に対応しているが、車両１０の進路１０６を算出する目的であれば、車幅方向に変位させることも可能である。

また、図３及び図４において、一点鎖線１１０ｌは、車両１０から見た際の対象物体１００ｔａｒ（歩行者１０２、他車１０４）の左端を示す仮想線である。一点鎖線１１０ｒは、車両１０から見た際の対象物体１００ｔａｒ（歩行者１０２、他車１０４）の右端を示す仮想線である。破線１０８ｌ、１０８ｒと同様、一点鎖線１１０ｌ、１１０ｒは、車幅方向に変位させることも可能である。

図３及び図４では、仮想線１０８ｌ、１０８ｒを直線としているが、例えば、車両１０が旋回中である場合、進路１０６に合わせて仮想線１０８ｌ、１０８ｒを曲線状としてもよい。仮想線１０８ｌ、１０８ｒを曲線状とするためには、例えば、図示しないヨーレートセンサにより検出したヨーレート等を用いて仮想線１０８ｌ、１０８ｒを演算することができる。また、図示しないナビゲーション装置又は進路１０６（走行路）周辺に配置された光ビーコン等の装置（路側装置）から、進路１０６の形状に関する情報を取得し、当該情報を用いて仮想線１０８ｌ、１０８ｒを算出することも可能である。

図３及び図４において、Ｄｏｌｐ＿ｌは、左側の仮想線１０８ｌを基準としたときの進路１０６に対する対象物体１００ｔａｒ（歩行者１０２又は他車１０４）のオーバーラップ量である。すなわち、オーバーラップ量Ｄｏｌｐ＿ｌは、進路１０６の左端を示す仮想線１０８ｌから対象物体１００ｔａｒ（歩行者１０２又は他車１０４）の右端を示す仮想線１１０ｒまでの距離を示す。但し、図４では、他車１０４の右端を示す仮想線１１０ｒが、進路１０６の右端を示す仮想線１０８ｒよりも右側に位置し、進路１０６内に存在しない。このため、図４の例では、オーバーラップ量Ｄｏｌｐ＿ｌは、仮想線１０８ｌ、１０８ｒ間の距離となり、オーバーラップ量Ｄｏｌｐ＿ｌが取り得る最大値となる。

同様に、Ｄｏｌｐ＿ｒは、右側の仮想線１０８ｒを基準としたときの進路１０６に対する対象物体１００ｔａｒ（歩行者１０２又は他車１０４）のオーバーラップ量である。すなわち、オーバーラップ量Ｄｏｌｐ＿ｒは、進路１０６の右端を示す仮想線１０８ｒから対象物体１００ｔａｒの左端を示す仮想線１１０ｌまでの距離を示す。但し、図４では、他車１０４の左端を示す仮想線１１０ｌが、進路１０６の左端を示す仮想線１０８ｌよりも左側に位置し、進路１０６内に存在しない。このため、図４の例では、オーバーラップ量Ｄｏｌｐ＿ｒは、仮想線１０８ｌ、１０８ｒ間の距離となり、オーバーラップ量Ｄｏｌｐ＿ｒが取り得る最大値となる。

図３及び図４では、対象物体１００ｔａｒの現在位置Ｐｐｒｅに基づくオーバーラップ量Ｄｏｌｐ＿ｒ、Ｄｏｌｐ＿ｒを示している。

ＥＣＵ４４は、進路オーバーラップ量Ｄｏｌｐ＿ｌ、Ｄｏｌｐ＿ｒのうち短い方の値を、オーバーラップ量Ｄｏｌｐとして用いる。オーバーラップ量Ｄｏｌｐ＿ｌ、Ｄｏｌｐ＿ｒが互いに等しい場合、いずれの値を用いてもよい。図３の例では、左側の進路オーバーラップ量Ｄｏｌｐ＿ｌが、進路オーバーラップ量Ｄｏｌｐとして用いられる。また、図４の例では、左右の進路オーバーラップ量Ｄｏｌｐ＿ｌ、Ｄｏｌｐ＿ｒが等しいため、進路オーバーラップ量Ｄｏｌｐ＿ｌ、Ｄｏｌｐ＿ｒのいずれか（例えば、Ｄｏｌｐ＿ｌ）が、進路オーバーラップ量Ｄｏｌｐとして用いられる。図３及び図４の例では、対象物体１００ｔａｒの現在位置Ｐｐｒｅに基づくオーバーラップ量Ｄｏｌｐが算出される。

（Ａ２−２−３−２．将来位置Ｐｆｔｒに基づく進路オーバーラップ量Ｄｏｌｐ）
図５は、対象物体１００ｔａｒの将来位置Ｐｆｔｒに基づく進路オーバーラップ量Ｄｏｌｐを説明するための図である。図５では、対象物体１００ｔａｒとしての歩行者１０２が自車１０の進路１０６に入ってくる様子を示している。図５では、現在位置Ｐｐｒｅの車両１０及び歩行者１０２を実線で示し、将来位置Ｐｆｔｒの車両１０及び歩行者１０２を破線で示している。なお、ここにいう将来位置Ｐｆｔｒは、例えば、ＴＴＣに基づいて算出される。

現在位置Ｐｐｒｅに基づくオーバーラップ量Ｄｏｌｐと同様、将来位置Ｐｆｔｒに基づくオーバーラップ量Ｄｏｌｐは、左側及び右側のオーバーラップ量Ｄｏｌｐ＿ｌ、Ｄｏｌｐ＿ｒを算出し、小さい方の値をオーバーラップ量Ｄｏｌｐとする。

（Ａ２−２−４．進路オーバーラップ時間Ｔｏｌｐの算出モードＭｏｌｐ）
（Ａ２−２−４−１．算出モードＭｏｌｐの概要）
上記のように、本実施形態の算出モードＭｏｌｐには、画像認識による第２物体１００ｃの横方向速度Ｖｌｃの信頼性に応じたＭｏｄｅ １及びＭｏｄｅ ２が含まれる。

（Ａ２−２−４−２．算出モードＭｏｌｐの選択）
図６は、進路オーバーラップ時間Ｔｏｌｐの算出モードＭｏｌｐを選択するフローチャート（図２のＳ５の詳細）である。図７は、進路オーバーラップ時間Ｔｏｌｐの算出モードＭｏｌｐの選択方法の説明図である。

図６のステップＳ１１において、ＥＣＵ４４は、少なくとも反射波Ｗｒについて物体認識が不可であるか否かを判定する。より具体的には、ＥＣＵ４４は、反射波信号Ｓｗｒに基づいて第１物体１００ｒの認識が不可であるか否かを判定する。

反射波Ｗｒについて物体認識が不可である場合（Ｓ１１：ＹＥＳ）、ステップＳ１２は、ＥＣＵ４４は、算出モードＭｏｌｐの選択が不可であると判定する。この場合、図２のステップＳ６において、ＥＣＵ４４は、進路オーバーラップ時間Ｔｏｌｐの算出を行わず、時間Ｔｏｌｐをゼロとする。

少なくとも反射波Ｗｒについて物体認識が可である場合（Ｓ１１：ＮＯ）、ステップＳ１３において、ＥＣＵ４４は、反射波Ｗｒ及び画像Ｉｍｃの両方について物体認識が可であるか否かを判定する。反射波Ｗｒ及び画像Ｉｍｃの両方について物体認識が可である場合（Ｓ１３：ＹＥＳ）、ステップＳ１４に進む。

なお、ステップＳ１１、Ｓ１３における反射波Ｗｒによる第１物体１００ｒの認識が可又は不可であるとは、第１物体１００ｒの存在が認識できるか否かを意味している。仮に、第１物体１００ｒの存在が認識できていたとしても、第１物体１００ｒの横移動が検知できない場合が存在する（後述するＳ１６参照）。これは、レーダ４０が受信する反射波Ｗｒに揺らぎが生じるためである。すなわち、レーダ情報処理部６０では、反射波Ｗｒにおける揺らぎを考慮して第１物体１００ｒの位置Ｐｏｒを特定するため、位置Ｐｏｒが検出できていても、速度Ｖｒが検出できない場合が起こり得る。

ステップＳ１４において、ＥＣＵ４４は、画像認識可能状態の継続時間Ｔｃｒ（以下「画像認識継続時間Ｔｃｒ」ともいう。）が十分長いか否かを判定する。具体的には、継続時間Ｔｃｒが閾値ＴＨｔｃｒ（以下「継続時間閾値ＴＨｔｃｒ」ともいう。）以上であるか否かを判定する。

ここにいう「継続時間Ｔｃｒが十分長い」とは、画像認識による第２物体１００ｃの横方向速度Ｖｌｃを精度良く検出することを担保できるほど、画像認識可能状態が継続していることを意味する。すなわち、継続時間Ｔｃｒが短い場合、横方向速度Ｖｌｃを算出するための画像Ｉｍｃのデータ数が少ないため、画像認識による第２物体１００ｃの横方向速度Ｖｌｃに誤差（又は突発的な誤認識）が生じる可能性が高くなる。これに対し、継続時間Ｔｃｒが長くなると、画像認識による第２物体１００ｃの横方向速度Ｖｌｃの信頼性（精度）が高くなる。そこで、ステップＳ１４のように、画像Ｉｍｃに基づく横方向速度Ｖｌｃの信頼性の程度に応じて処理を変更させる。

なお、継続時間Ｔｃｒが十分に長くない場合（図６のＳ１４：ＮＯ）、例えば、第１物体１００ｒの横方向速度Ｖｌｒ及び第２物体１００ｃの横方向速度Ｖｌｃを用いて信頼性を担保することとなる（後述する図６のＳ１６：ＹＥＳ、図７）。また、継続時間Ｔｃｒが十分に長い場合（Ｓ１４：ＹＥＳ）、オーバーラップ量Ｄｏｌｐの算出に当たっては、第１物体１００ｒの横方向速度Ｖｌｒを用いず、第２物体１００ｃの横方向速度Ｖｌｃのみを用いることで信頼性の向上を図っている（図７）。

継続時間Ｔｃｒが十分長くない場合（Ｓ１４：ＮＯ）、カメラ物標１００ｃの横方向速度Ｖｌｃの信頼性が相対的に低い。この場合、ステップＳ１５において、ＥＣＵ４４は、カメラ物標１００ｃの横方向速度Ｖｌｃが十分大きいか否かを判定する。具体的には、横方向速度Ｖｌｃが閾値ＴＨｖｌｃ（以下「横方向速度閾値ＴＨｖｌｃ」ともいう。）以上であるか否かを判定する。

ここにいう「横方向速度Ｖｌｃが十分に大きい」とは、例えば、継続時間Ｔｃｒが短く、横方向速度Ｖｌｃの信頼性が低い場合でも、横方向速度Ｖｌｃが相対的に高いため、継続時間Ｔｃｒが十分継続することを待っていられないほど、横方向速度Ｖｌｃが大きいことを意味する。別の観点からすると、閾値ＴＨｖｌｃは、例えば、歩行中又は走行中の歩行者１０２又は走行中の他車１０４であることが明らかな値（例えば、４〜２０ｋｍ／ｈ）とすることができる。

横方向速度Ｖｌｃが十分大きくない場合（Ｓ１５：ＮＯ）、ステップＳ１６において、ＥＣＵ４４は、レーダ物標１００ｒ及びカメラ物標１００ｃの横移動を検知できているか否かを判定する。換言すると、ＥＣＵ４４は、反射波Ｗｒ及び画像Ｉｍｃで横移動を検知できているか否かを判定する。上記のように、レーダ物標１００ｒの存在が認識できていたとしても、レーダ物標１００ｒの横移動を検知できない場合があり、ステップＳ１６では、このことを前提とした判定を行っている。

ステップＳ１４、Ｓ１５、Ｓ１６のいずれかが「ＹＥＳ」であった場合、ステップＳ１７において、ＥＣＵ４４は、算出モードＭｏｌｐとしてＭｏｄｅ １を選択する。

ステップＳ１３において「ＮＯ」であった場合又はステップＳ１４、Ｓ１５、Ｓ１６のいずれもが「ＮＯ」であった場合、ステップＳ１８において、ＥＣＵ４４は、算出モードＭｏｌｐとしてＭｏｄｅ ２を選択する。

（Ａ２−２−５．進路オーバーラップ時間Ｔｏｌｐの算出）
（Ａ２−２−５−１．全体的な流れ）
上記のように、本実施形態では、算出モードＭｏｌｐを選択した上で、現在位置Ｐｐｒｅ及び将来位置Ｐｆｔｒでの進路オーバーラップの有無に基づいて進路オーバーラップ時間Ｔｏｌｐを算出する（図２等）。

図８は、進路オーバーラップ時間Ｔｏｌｐを算出するフローチャート（図２のＳ６の詳細）である。図９は、進路オーバーラップ時間Ｔｏｌｐの算出方法の説明図である。

図８のステップＳ２１において、ＥＣＵ４４は、現在位置Ｐｐｒｅでの進路オーバーラップの有無を判定する。具体的には、ＥＣＵ４４は、現在位置Ｐｐｒｅに基づくオーバーラップ量Ｄｏｌｐ（図３及び図４）が、所定の閾値ＴＨｄｏｌｐ以上であれば、現在位置Ｐｐｒｅでの進路オーバーラップが有ると判定する。また、ＥＣＵ４４は、現在位置Ｐｐｒｅに基づくオーバーラップ量Ｄｏｌｐが、閾値ＴＨｄｏｌｐ未満であれば、現在位置Ｐｐｒｅでの進路オーバーラップがないと判定する。

ステップＳ２２において、ＥＣＵ４４は、将来位置Ｐｆｔｒでの進路オーバーラップの有無を判定する。具体的には、ＥＣＵ４４は、将来位置Ｐｆｔｒに基づくオーバーラップ量Ｄｏｌｐ（図５）が、所定の閾値ＴＨｄｏｌｐ以上であれば、将来位置Ｐｆｔｒでの進路オーバーラップが有ると判定する。また、ＥＣＵ４４は、将来位置Ｐｆｔｒに基づくオーバーラップ量Ｄｏｌｐが、閾値ＴＨｄｏｌｐ未満であれば、将来位置Ｐｆｔｒでの進路オーバーラップがないと判定する。なお、現在位置Ｐｐｒｅと将来位置Ｐｆｔｒとで閾値ＴＨｄｏｌｐを変更してもよい。

ステップＳ２３において、ＥＣＵ４４は、ステップＳ２１、Ｓ２２の判定結果に基づいて進路オーバーラップ時間Ｔｏｌｐを算出する。この際、ＥＣＵ４４は、図２のステップＳ５（図７）で選択した算出モードＭｏｌｐを用いる。時間Ｔｏｌｐの算出方法の詳細は、図９を用いて説明する。

（Ａ２−２−５−２．進路オーバーラップの有無と進路オーバーラップ時間Ｔｏｌｐの関係）
図９は、現在位置Ｐｐｒｅ及び将来位置Ｐｆｔｒにおける進路オーバーラップの有無と進路オーバーラップ時間Ｔｏｌｐの加算又は減算との関係を算出モードＭｏｌｐ毎に示す図である。

現在位置Ｐｐｒｅ及び将来位置Ｐｆｔｒの両方において進路オーバーラップがある場合、ＥＣＵ４４は、算出モードＭｏｌｐにかかわらず、時間Ｔｏｌｐの前回値に所定値（ここでは１）を加算して時間Ｔｏｌｐを増加させる。なお、現在位置Ｐｐｒｅ及び将来位置Ｐｆｔｒの両方において進路オーバーラップがある場合とは、対象物体１００ｔａｒの横方向速度Ｖｌｔ（又はカメラ物標１００ｃの横方向速度Ｖｌｃ）が相対的に低い状態を示している。

現在位置Ｐｐｒｅ及び将来位置Ｐｆｔｒの両方において進路オーバーラップがない場合、ＥＣＵ４４は、算出モードＭｏｌｐにかかわらず、時間Ｔｏｌｐの前回値から所定値（ここでは１）を減算して時間Ｔｏｌｐを減少させる。

現在位置Ｐｐｒｅにおいて進路オーバーラップがあり且つ将来位置Ｐｆｔｒにおいて進路オーバーラップがない場合、ＥＣＵ４４は、算出モードＭｏｌｐにかかわらず、時間Ｔｏｌｐの前回値を保持して時間Ｔｏｌｐを変化させない。

現在位置Ｐｐｒｅにおいて進路オーバーラップがなく且つ将来位置Ｐｆｔｒにおいて進路オーバーラップがある場合、ＥＣＵ４４は、算出モードＭｏｌｐに応じて、時間Ｔｏｌｐを算出する。

すなわち、算出モードＭｏｌｐがＭｏｄｅ １である場合、ＥＣＵ４４は、時間Ｔｏｌｐの前回値に所定値（ここでは１）を加算して時間Ｔｏｌｐを増加させる。Ｍｏｄｅ １は、横方向速度Ｖｌｃの信頼性が相対的に高いため、衝突可能性Ｐｃが高くなると評価できるためである。

一方、算出モードＭｏｌｐがＭｏｄｅ ２である場合、ＥＣＵ４４は、時間Ｔｏｌｐの前回値を保持して時間Ｔｏｌｐを変化させない。Ｍｏｄｅ ２は、横方向速度Ｖｌｃの信頼性が相対的に低いため、衝突可能性Ｐｃが高くなると評価できないためである。

なお、上記からもわかるように、時間Ｔｏｌｐは、現在位置Ｐｐｒｅ及び将来位置Ｐｆｔｒにおける進路オーバーラップに共通して算出されるものである。換言すると、本実施形態では、現在位置Ｐｐｒｅに対応した時間Ｔｏｌｐと、将来位置Ｐｆｔｒに対応した時間Ｔｏｌｐを別々に設定する訳ではない。但し、現在位置Ｐｐｒｅに対応した時間Ｔｏｌｐと、将来位置Ｐｆｔｒに対応した時間Ｔｏｌｐを別々に設定し、重み付けした上で加算することも可能である。

また、１回の演算周期における時間Ｔｏｌｐの増加量は一定である。このため、例えば、現在位置Ｐｐｒｅ及び将来位置Ｐｆｔｒの両方において進路オーバーラップがある場合でも、増加量が大きくなる訳ではない。但し、そのような増加量の変化を伴わせることも可能である。

さらに、ラップ量Ｄｏｌｐは、進路オーバーラップの有無を判定するために用いられ、１回の演算周期における時間Ｔｏｌｐの増加量に影響する訳ではない。換言すると、１回の演算周期における時間Ｔｏｌｐの増加量は、ラップ量Ｄｏｌｐの大小に影響を受けない。例えば、ラップ量Ｄｏｌｐが最大値であっても、増加量が大きくなる訳ではない。但し、そのような増加量の変化を伴わせることも可能である。

Ａ３．本実施形態の効果
以上のように、本実施形態によれば、周辺画像Ｉｍｃに基づく第２物体１００ｃの認識が継続している画像認識継続時間Ｔｃｒと、第１物体１００ｒ及び第２物体１００ｃについての横方向速度Ｖｌｒ、Ｖｌｃ自体又は横方向速度Ｖｌｒ、Ｖｌｃの算出の可否とに基づいて衝突可能性Ｐｃ又は運転支援を変更する（図２、図６〜図９）。

これにより、画像認識継続時間Ｔｃｒを用いることで、周辺画像Ｉｍｃに基づく横方向位置又は横方向速度Ｖｌｃの信頼性を衝突可能性Ｐｃ又は運転支援に反映することが可能となる。加えて、第１物体１００ｒ及び第２物体１００ｃについての横方向速度Ｖｌｒ、Ｖｌｃ自体又は横方向速度Ｖｌｒ、Ｖｌｃの算出の可否を用いることで、レーダ４０及びカメラ４２の検出結果の信頼性をより正確に反映した運転支援を行うことが可能となる。

本実施形態において、対象物体情報処理部６４（衝突可能性判定装置）は、対象物体１００ｔａｒが車両１０（移動物体）の進路１０６上に存在する時間である進路オーバーラップ時間Ｔｏｌｐを算出する進路オーバーラップ時間算出部７２を備える（図１）。算出部７２は、対象物体１００ｔａｒの現在位置Ｐｐｒｅ及び将来位置Ｐｆｔｒの両方又は将来位置Ｐｆｔｒのみが進路１０６上に存在する場合、進路オーバーラップ時間Ｔｏｌｐを加算する（図９）。算出部７２は、継続時間Ｔｃｒに基づいて、又は第１物体１００ｒ及び第２物体１００ｃについての横方向速度Ｖｌｒ、Ｖｌｃ自体若しくは横方向速度Ｖｌｒ、Ｖｌｃの算出の可否に基づいて進路オーバーラップ時間Ｔｏｌｐを加算する条件を変更する（図６、図７及び図９）。

本実施形態によれば、第２物体１００ｃの認識が継続している画像認識継続時間Ｔｃｒ（又は周辺物体１００の位置情報の取得が継続している位置情報取得継続時間）に基づいて、又は周辺物体１００についての横方向速度Ｖｌｒ、Ｖｌｃ自体若しくは横方向速度Ｖｌｒ、Ｖｌｃの算出の可否に基づいて進路オーバーラップ時間Ｔｏｌｐを加算する条件を変更する（図６、図７及び図９）。

これにより、継続時間Ｔｃｒを用いることで、画像認識（位置情報）の信頼性をオーバーラップ時間Ｔｏｌｐに反映することが可能となる。加えて、周辺物体１００についての横方向速度Ｖｌｃ自体又は横方向速度Ｖｌｃの算出の可否を用いることで、画像認識（位置情報）の信頼性をより正確に反映したオーバーラップ時間Ｔｏｌｐを算出することが可能となる。

本実施形態において、対象物体情報処理部６４（衝突可能性判定装置）は、進路オーバーラップ時間Ｔｏｌｐに応じて衝突可能性Ｐｃを判定する（図２のＳ７）。これにより、画像認識（位置情報）の信頼性を衝突可能性Ｐｃに反映することが可能となる。

本実施形態において、車両１０（移動物体）に対して運転支援を行うに当たり、物体認識装置１２、ＶＳＡシステム１４、ＥＰＳシステム１６及びＰＵＨシステム１８（動作支援装置）は、進路オーバーラップ時間Ｔｏｌｐに応じて運転支援を変更する（図２のＳ８）。これにより、画像認識（位置情報）の信頼性を運転支援に反映することが可能となる。

本実施形態において、画像認識継続時間Ｔｃｒが継続時間閾値ＴＨｔｃｒ（時間閾値）を超えて継続して認識されている場合（図６のＳ１４：ＹＥＳ）、進路オーバーラップ時間算出部７２は、少なくとも対象物体１００ｔａｒの将来位置Ｐｆｔｒが車両１０の進路１０６上に存在すれば、進路オーバーラップ時間Ｔｏｌｐを加算する（図９）。これにより、画像認識（位置情報）の信頼性が高い状態において、進路オーバーラップ時間Ｔｏｌｐを適切に反映することが可能となる。

本実施形態において、画像認識継続時間Ｔｃｒが継続時間閾値ＴＨｔｃｒ（時間閾値）を超えて継続して認識されていない場合（図６のＳ１４：ＮＯ）、進路オーバーラップ時間算出部７２は、カメラ物標１００ｃ（第２物体１００ｃ）の横方向速度Ｖｌｃが所定の速度閾値ＴＨｖｌｃ以上であり（Ｓ１５：ＹＥＳ）且つ少なくとも対象物体１００ｔａｒの将来位置Ｐｆｔｒが進路１０６上に存在すれば、進路オーバーラップ時間Ｔｏｌｐを加算する（図９）。これにより、横方向速度Ｖｌｃが比較的大きいという緊急度合いの高い状況において、進路オーバーラップ時間Ｔｏｌｐを適切に算出することが可能となる。

本実施形態において、対象物体１００ｔａｒの現在位置Ｐｐｒｅ及び将来位置Ｐｆｔｒの両方が、車両１０の進路１０６上に存在しない場合、進路オーバーラップ時間算出部７２は、進路オーバーラップ時間Ｔｏｌｐを減算する（図９）。これにより、衝突可能性Ｐｃが低い場合、進路オーバーラップ時間Ｔｏｌｐを適切に算出することが可能となる。

本実施形態において、進路オーバーラップ時間算出部７２は、対象物体１００ｔａｒの現在位置Ｐｐｒｅが車両１０の進路１０６上に存在し且つ対象物体１００ｔａｒの将来位置Ｐｆｔｒが進路１０６上に存在しない場合、進路オーバーラップ時間Ｔｏｌｐの前回値を保持する（図９）。これにより、衝突可能性Ｐｃが相対的に低い場合、進路オーバーラップ時間Ｔｏｌｐを適切に算出することが可能となる。

本実施形態において、第１物体１００ｒ及び第２物体１００ｃの両方の横方向移動が検出されている場合（図６のＳ１６：ＹＥＳ）、進路オーバーラップ時間算出部７２は、少なくとも対象物体１００ｔａｒの将来位置Ｐｆｔｒが、車両１０の進路１０６上に存在すれば、進路オーバーラップ時間Ｔｏｌｐを加算する（図９）。これにより、衝突可能性Ｐｃが相対的に高い場合、進路オーバーラップ時間Ｔｏｌｐを適切に算出することが可能となる。

本実施形態において、第１物体１００ｒが認識され且つ第２物体１００ｃが認識されていない場合（図６のＳ１３：ＮＯ）、進路オーバーラップ時間算出部７２は、対象物体１００ｔａｒの現在位置Ｐｐｒｅ及び将来位置Ｐｆｔｒの両方が、車両１０の進路１０６上に存在すれば、進路オーバーラップ時間Ｔｏｌｐを加算する（図９）。これにより、第２物体１００ｃが認識されていない場合でも、進路オーバーラップ時間Ｔｏｌｐを適切に算出することが可能となる。

本実施形態において、第１物体１００ｒが認識され且つ第２物体１００ｃが認識されていない場合（図６のＳ１３：ＮＯ）、進路オーバーラップ時間算出部７２は、対象物体１００ｔａｒの現在位置Ｐｐｒｅ及び将来位置Ｐｆｔｒの一方のみが、車両１０の進路１０６上に存在すれば、進路オーバーラップ時間Ｔｏｌｐの前回値を保持する（図９）。これにより、第２物体１００ｃが認識されていない場合でも、進路オーバーラップ時間Ｔｏｌｐを適切に算出することが可能となる。

第２物体１００ｃの横方向移動が検出され且つ第１物体１００ｒの横方向移動が検出されず（図６のＳ１６：ＮＯ）、且つ第２物体１００ｃの横方向速度Ｖｌｃが横方向速度閾値ＴＨｖｌｃ（速度閾値）を下回る場合（Ｓ１５：ＮＯ）、進路オーバーラップ時間算出部７２は、対象物体１００ｔａｒの現在位置Ｐｐｒｅ及び将来位置Ｐｆｔｒが、車両１０の進路１０６上に存在すれば、進路オーバーラップ時間Ｔｏｌｐを加算する（図９）。これにより、第１物体１００ｒの横方向移動が検出されない場合でも、進路オーバーラップ時間Ｔｏｌｐを適切に算出することが可能となる。

本実施形態において、第２物体１００ｃの横方向移動が検出され且つ第１物体１００ｒの横方向移動が検出されず（図６のＳ１６：ＮＯ）、且つ第２物体１００ｃの横方向速度Ｖｌｃが横方向速度閾値ＴＨＶｌｃ（速度閾値）を下回る場合（Ｓ１５：ＮＯ）、進路オーバーラップ時間算出部７２は、対象物体１００ｔａｒの現在位置Ｐｐｒｅ及び将来位置Ｐｆｔｒの一方のみが、車両１０の進路１０６上に存在すれば、進路オーバーラップ時間Ｔｏｌｐの前回値を保持する（図９）。これにより、第１物体１００ｒの横方向移動が検出されない場合でも、進路オーバーラップ時間Ｔｏｌｐを適切に算出することが可能となる。

Ｂ．変形例
なお、本発明は、上記実施形態に限らず、本明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。例えば、以下の構成を採用することができる。

Ｂ１．適用対象
上記実施形態では、物体認識装置１２を車両１０に適用したが、これに限らず、別の対象に適用してもよい。例えば、物体認識装置１２を船舶や航空機等の移動物体に用いることもできる。或いは、物体認識装置１２を、ロボット、セキュリティ用監視装置又は家電製品に適用してもよい。また、物体認識装置１２を車両１０（移動物体）自体に搭載するのではなく、車両１０の外部（例えば、光ビーコン等の路側装置）に配置してもよい。この場合、車両１０と物体認識装置１２の間で通信を行い、物体認識装置１２の認識結果（衝突可能性Ｐｃ又は対象物体情報Ｉｔ）を車両１０に送信することも可能である。

Ｂ２．物体認識装置１２の構成
上記実施形態では、物体認識装置１２の出力（衝突可能性Ｐｃ又は対象物体情報Ｉｔ）を、物体認識装置１２、ＶＳＡ ＥＣＵ３０、ＥＰＳ ＥＣＵ３２及びＰＵＨ ＥＣＵ３４で用いたが（図２のＳ８）、それ以外の用途で用いることも可能である。例えば、車両１０の駐車支援にも用いることができる。

上記実施形態では、ミリ波である送信波Ｗｔ及び反射波Ｗｒを使用するレーダ４０を用いたが、例えば、電磁波としての送信波Ｗｔの反射波Ｗｒを用いて第１物体１００ｒの情報Ｉｒを取得する観点からすれば、レーザレーダ、超音波センサ等のセンサを用いることもできる。

上記実施形態では、レーダ４０とカメラ４２を組み合わせて用いた（図１）。しかしながら、例えば、画像認識継続時間Ｔｃｒ（図６のＳ１４）を用いる観点からすれば、カメラ４２（画像Ｉｍｃ）のみを用いる構成にも本発明を適用可能である。反対に、継続時間Ｔｃｒと同様の指標をレーダ４０（反射波Ｗｒ）についても設定することで、レーダ４０（反射波Ｗｒ）のみを用いる構成にも本発明を適用してもよい。

Ｂ３．物体認識ＥＣＵ４４の制御
［Ｂ３−１．算出モードＭｏｌｐの選択］
上記実施形態では、算出モードＭｏｌｐの選択を、図６及び図７に示す方法により行った。しかしながら、算出モードＭｏｌｐを選択する観点からすれば、これに限らない。例えば、第２物体１００ｃの横方向速度Ｖｌｃの信頼性の観点からすれば、算出モードＭｏｌｐを３種類以上に分類することも可能である。

上記実施形態では、第２物体１００ｃの横方向速度Ｖｌｃを基準として算出モードＭｏｌｐを算出したが、その他の方向についての第２物体１００ｃの速度を用いることも可能である。また、第２物体１００ｃの代わりに第１物体１００ｒの横方向速度Ｖｌｒ又はその他の速度を用いて算出モードＭｏｌｐを選択することもできる。例えば、レーダ４０は、カメラ４２と比較して、前後方向の検出精度が高いことから、レーダ４０については、第１物体１００ｒの前後方向速度に基づいて算出モードＭｏｌｐを選択してもよい。

［Ｂ３−２．進路オーバーラップ時間Ｔｏｌｐの算出］
上記実施形態では、時間Ｔｏｌｐの算出を、図８及び図９に示す方法により行った。しかしながら、時間Ｔｏｌｐを算出する観点からすれば、これに限らない。例えば、現在位置Ｐｐｒｅ又は将来位置Ｐｆｔｒの一方のみを用いて時間Ｔｏｌｐを算出することも可能である。また、図９の一部を変更してオーバーラップ時間Ｔｏｌｐを算出することも可能である。

上記実施形態では、画像Ｉｍｃの信頼度が高くなると認識した場合、時間Ｔｏｌｐに所定値（１）を加算し、信頼度が低くなると認識した場合、時間Ｔｏｌｐから所定値（１）を減算した（図９）。しかしながら、画像Ｉｍｃの信頼度に応じて時間Ｔｏｌｐを変化させる観点からすれば、これに限らない。例えば、画像Ｉｍｃの信頼度が高くなると認識した場合、時間Ｔｏｌｐに加算する所定値を−１とし、信頼度が低くなると認識した場合、時間Ｔｏｌｐから減算する所定値を−１としてもよい。

１０…車両（移動物体、動作支援システム）
１２…物体認識装置（動作支援装置）
１４…ＶＳＡシステム（動作支援装置）
１６…ＥＰＳシステム（動作支援装置）
１８…ＰＵＨシステム（動作支援装置）
４０…レーダ（位置情報取得装置）
４２…カメラ（位置情報取得装置）
６４…対象物体情報処理部（衝突可能性判定装置）
７２…進路オーバーラップ時間算出部 １００…周辺物体
１００ｃ…第２物体 １００ｒ…第１物体
１００ｔａｒ…対象物体 １０６…進路
Ｉｍｃ…周辺画像 Ｐｃ…衝突可能性
Ｓｉｃ…画像信号 Ｓｗｒ…反射波信号
Ｔｃｒ…画像認識継続時間
ＴＨｔｃｒ…継続時間閾値（時間閾値）
ＴＨｖｌｃ…横方向速度閾値（速度閾値）
Ｔｏｌｐ…進路オーバーラップ時間 Ｖｌｃ…第２物体の横方向速度
Ｖｌｒ…第１物体の横方向速度 Ｗｒ…反射波
Ｗｔ…送信波（電磁波）

Claims (14)

1. 移動物体の周辺に存在する周辺物体に対して電磁波を出射し、前記周辺物体からの反射波に対応する反射波信号を出力するレーダと、
   前記周辺物体を含む周辺画像を撮像し、前記周辺画像に対応する画像信号を出力するカメラと、
   前記反射波信号に含まれる前記周辺物体を第１物体として認識し、前記画像信号に含まれる前記周辺物体を第２物体として認識し、前記第１物体及び前記第２物体をマッチングさせて対象物体として特定し、前記対象物体に対する前記移動物体の衝突可能性を判定する衝突可能性判定装置と、
   前記衝突可能性に応じて前記移動物体の動作支援を行う動作支援装置と
   を備える動作支援システムであって、
   前記動作支援システムの一部又は全部は前記移動物体内又は前記移動物体外に設けられ、
   前記第２物体の認識が継続している画像認識継続時間と、前記第１物体及び前記第２物体についての横方向速度自体又は前記横方向速度の算出の可否とに基づいて前記衝突可能性又は前記動作支援を変更する
   ことを特徴とする動作支援システム。
2. 請求項１記載の動作支援システムにおいて、
   前記衝突可能性判定装置は、前記対象物体が前記移動物体の進路上に存在する時間である進路オーバーラップ時間を算出する進路オーバーラップ時間算出部を備え、
   前記進路オーバーラップ時間算出部は、
   前記対象物体の現在位置又は将来位置の少なくとも一方が、前記移動物体の進路上に存在する場合、前記進路オーバーラップ時間を加算し、
   前記画像認識継続時間に基づいて、又は前記第１物体及び前記第２物体についての横方向速度自体若しくは前記横方向速度の算出の可否に基づいて前記進路オーバーラップ時間を加算する条件を変更する
   ことを特徴とする動作支援システム。
3. 請求項２記載の動作支援システムにおいて、
   前記衝突可能性判定装置は、前記進路オーバーラップ時間に応じて前記衝突可能性を判定する
   ことを特徴とする動作支援システム。
4. 請求項２又は３記載の動作支援システムにおいて、
   前記移動物体に対して動作支援を行うに当たり、前記動作支援装置は、前記進路オーバーラップ時間に応じて前記動作支援を変更する
   ことを特徴とする動作支援システム。
5. 請求項２〜４のいずれか１項に記載の動作支援システムにおいて、
   前記画像認識継続時間が所定の時間閾値を超えて継続して認識されている場合、前記進路オーバーラップ時間算出部は、少なくとも前記対象物体の将来位置が前記移動物体の進路上に存在すれば、前記進路オーバーラップ時間を加算する
   ことを特徴とする動作支援システム。
6. 請求項２〜５のいずれか１項に記載の動作支援システムにおいて、
   前記画像認識継続時間が所定の時間閾値を超えて継続して認識されていない場合、前記進路オーバーラップ時間算出部は、前記第２物体の横方向速度が所定の速度閾値以上であり且つ少なくとも前記対象物体の将来位置が前記移動物体の進路上に存在すれば、前記進路オーバーラップ時間を加算する
   ことを特徴とする動作支援システム。
7. 請求項２〜６のいずれか１項に記載の動作支援システムにおいて、
   前記対象物体の現在位置及び将来位置の両方が、前記移動物体の進路上に存在しない場合、前記進路オーバーラップ時間算出部は、前記進路オーバーラップ時間を減算する
   ことを特徴とする動作支援システム。
8. 請求項２〜７のいずれか１項に記載の動作支援システムにおいて、
   前記進路オーバーラップ時間算出部は、前記対象物体の現在位置が前記移動物体の進路上に存在し且つ前記対象物体の将来位置が前記移動物体の進路上に存在しない場合、前記進路オーバーラップ時間の前回値を保持する
   ことを特徴とする動作支援システム。
9. 請求項２〜８のいずれか１項に記載の動作支援システムにおいて、
   前記第１物体及び前記第２物体の両方の横方向移動が検出されている場合、前記進路オーバーラップ時間算出部は、少なくとも前記対象物体の将来位置が、前記移動物体の進路上に存在すれば、前記進路オーバーラップ時間を加算する
   ことを特徴とする動作支援システム。
10. 請求項２〜８のいずれか１項に記載の動作支援システムにおいて、
    前記第１物体が認識され且つ前記第２物体が認識されていない場合、前記進路オーバーラップ時間算出部は、前記対象物体の現在位置及び将来位置の両方が、前記移動物体の進路上に存在すれば、前記進路オーバーラップ時間を加算する
    ことを特徴とする動作支援システム。
11. 請求項２〜９のいずれか１項に記載の動作支援システムにおいて、
    前記第１物体が認識され且つ前記第２物体が認識されていない場合、前記進路オーバーラップ時間算出部は、前記対象物体の現在位置及び将来位置の一方のみが、前記移動物体の進路上に存在すれば、前記進路オーバーラップ時間の前回値を保持する
    ことを特徴とする動作支援システム。
12. 請求項２〜１１のいずれか１項に記載の動作支援システムにおいて、
    前記第２物体の横方向移動が検出され且つ前記第１物体の横方向移動が検出されず、且つ前記第２物体の横方向速度が所定の速度閾値を下回る場合、前記進路オーバーラップ時間算出部は、前記対象物体の現在位置及び将来位置が、前記移動物体の進路上に存在すれば、前記進路オーバーラップ時間を加算する
    ことを特徴とする動作支援システム。
13. 請求項２〜１２のいずれか１項に記載の動作支援システムにおいて、
    前記第２物体の横方向移動が検出され且つ前記第１物体の横方向移動が検出されず、且つ前記第２物体の横方向速度が所定の速度閾値を下回る場合、前記進路オーバーラップ時間算出部は、前記対象物体の現在位置及び将来位置の一方のみが、前記移動物体の進路上に存在すれば、前記進路オーバーラップ時間の前回値を保持する
    ことを特徴とする動作支援システム。
14. 移動物体の周辺に存在する周辺物体の位置に関する位置情報を取得する位置情報取得装置と、
    前記位置情報に基づく前記周辺物体の現在位置又は将来位置が前記移動物体の進路上に存在する時間である進路オーバーラップ時間を算出する進路オーバーラップ時間算出部と
    を備える物体認識装置であって、
    前記周辺物体の現在位置又は将来位置の少なくとも一方が、前記移動物体の進路上に存在する場合、前記進路オーバーラップ時間を加算し、
    前記位置情報取得装置による前記周辺物体の位置情報の取得が継続している位置情報取得継続時間に基づいて、又は前記周辺物体についての速度自体若しくは前記速度の算出の可否に基づいて前記進路オーバーラップ時間を加算する条件を変更する
    ことを特徴とする物体認識装置。

Images