JP2007255979A - 物体検出方法および物体検出装置 - Google Patents

Abstract

【課題】外部環境情報を取得するための特別な装置を用いることなく、物体検出精度の向上を図ることができる物体検出装置を提供すること。
【解決手段】カメラ１およびレーダ２から得られた情報に基づいて物体を検出するコントロールユニットＣＵを備えた物体検出装置であって、コントロールユニットＣＵには、画像情報と検波情報とに基づいて、外部環境を検出する外部環境検出処理部１３が含まれ、コントロールユニットＣＵは、物体検出に外部環境検出処理部１３の判断結果を反映させる。
【選択図】図１

Description

本発明は、レーダやカメラなどの物体センサから得られる情報に基づいて物体を検出する物体検出方法および物体検出装置に関し、特に、物体検出において外部環境に関する情報を反映させる方法および装置に関する。

従来、車両において衝突防止装置、車間距離制御装置、追従走行装置などの運転支援装置が提案されており、これらの運転支援装置では、自車両の前方を走行する車両などの物体（障害物）を検出する物体検出装置が用いられている。

このような物体検出装置において、外部から視程情報あるいは気象情報を入力し、この情報により物体検出の補正を行う車両検出装置が知られている（特許文献１参照）。

この車両検出装置は、外部から視程情報あるいは気象情報を取得する環境取得装置と、レーダを用いた第１の車両観測装置と、赤外線カメラを用いた第２の車両観測装置と、からの出力を選択する選択装置と、環境取得装置の出力と選択装置により選択された出力とにより自車両前方を走行する車両を検出する車両追尾装置と、この車両追尾装置からの出力により車両の異常走行や停止車両などの事象を判定する事象判定装置と、を備えている。

すなわち、ミリ波レーダを備えた第１の車両観測装置では、雪、霧などの天候の影響が少ない。しかし、方位角度分解能が低く、車両の大きさや識別が難しい。一方、赤外線カメラを備えた第２の車両観測装置では、車両の大きさ、速度位置を精度高く検出でき、かつ、夜間における検出性能にも優れている。しかし、雪、霧などの天候の影響が大きい。

そこで、雪や霧などの第２の車両観測装置で精度の高い検出ができない場合には、第１の車両観測装置の検出情報を選択する。一方、良好な天候で、第２の車両観測装置により精度の高い検出が可能な場合には、第２の車両観測装置の検出情報を選択する。これにより、常に、精度の高い車両検出を行うことができる。
特開２０００−１１１６４４号公報

上述の従来技術にあっては、外部環境に応じて、第１の車両観測装置の検出情報と第２の車両観測装置の検出情報とを選択するようにしているが、外部環境の情報をＶＩＣＳ（Vehicle Information and Communication System）などの装置外部の送信機器から入力するようにしている。

このＶＩＣＳなどの送信機器から得られる情報は、あらかじめ決められた固定点の天候の情報である。

このため、物体装置を固定して使用する場合は、物体検出位置に応じた天候情報を得ることができる可能性はあるが、物体検出装置を車載して使用する場合、ＶＩＣＳなどの送信設備を有していない道路を走行する場合には、天候情報が得られず、天候に応じた最適の検出情報が選択されないという問題があった。

本発明は、物体検出センサの出力に基づき、天候などの実際の外部環境を反映させた物体検出を行うことで、外部環境情報を取得するための特別な装置を用いることなく、物体検出精度の向上を図ることができる物体検出方法および物体検出装置を提供することを目的とする。

本発明は、上述の事情に鑑みなされたもので、物体センサで検出された物体検出対象領域の物体に関する情報に基づいて物体を検出する物体検出ステップを実行して物体検出対象領域に存在する物体を検出する物体検出方法であって、物体検出ステップに、前記取得ステップで取得された物体に関する情報に基づいて外部環境を検出する外部環境検出ステップと、物体センサから得られた情報とこの情報を変換した変換情報との少なくとも一方の情報である物体検出に使用する検出用情報に対して、外部環境を反映させる外部環境反映ステップと、が含まれていることを特徴とする物体検出方法である。

本発明では、物体の検出に外部環境情報を反映させて物体の検出精度を向上させるにあたって、物体検出装置の物体センサで検出された物体に関する情報に基づいて外部環境を判定するため、ＶＩＣＳなどの外部施設からの情報が得られない場所でも、外部環境の情報を取得でき、かつ、物体検出を行っている位置における外部環境情報を取得できる。

以下、本発明の実施の形態を図面に基づいて説明する。

この実施の形態の物体検出装置は、物体検出対象領域の物体に関する情報を取得する物体センサ（１，２）と、この物体センサ（１，２）から得られた情報に基づいて物体を検出する物体検出手段（ＣＵ）と、を備えた物体検出装置であって、前記物体センサ（１，２）として、物体検出対象領域の物体に関する画像情報を取得する画像情報取得手段（１）と、物体検出対象領域を検出波で走査して取得された検出波の反射に基づく物体に関する検波情報を取得する検波情報取得手段（２）と、が含まれ、前記物体検出手段（ＣＵ）には、画像情報と検波情報とに基づいて、外部環境を検出する外部環境検出手段（１３）が含まれ、前記物体検出手段（ＣＵ）は、物体検出に外部環境検出手段の判断結果を反映させることを特徴とする。

図１〜図１８に基づいて本発明の最良の実施の形態の実施例１の物体検出装置について説明する。

実施例１の物体検出装置は、図１に示すように、車両ＭＢに搭載されており、物体センサとしてカメラ（画像情報取得手段）１とレーダ（検波情報取得手段）２とを備えている。なお、この物体検出装置で検出された物体の情報は、運転支援装置の制御を実行する部分である図３に示す運転支援制御処理部２０に出力される。

カメラ１は、例えば、車室内の図示を省略したルームミラーの近傍位置に搭載されている。このカメラ１としては、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いた輝度画像を撮像する可視光用カメラと赤外線画像を撮像する赤外カメラとの少なくとも一方を用いることができるが、本実施例１では、可視光用カメラを用いている。

レーダ２は、車両ＭＢの前部に取り付けられ、車両前方（矢印ＦＲ方向）を水平方向にスキャニングし、車両前方に存在する物体（検知点）の距離と反射強度を検出する。なお、検知点は、物体を検出した位置であって、図１に示すＸＺ軸の座標上の位置として検出する。

このレーダ２としては、ミリ波レーダやレーザレーダや超音波レーダを用いることができるが、本実施例１では、ミリ波レーダを使用している。なお、ミリ波レーダの場合、検出物体の情報として、距離・反射強度・相対速度を得ることができる。また、レーザレーダの場合、検出物体の情報として、距離と光の反射強度とを得ることができる。

カメラ１およびレーダ２で得られた情報は、物体検出手段としてのコントロールユニットＣＵに入力される。コントロールユニットＣＵは、物体センサとしてのカメラ１やレーダ２を含む車載のセンサから信号を入力して、物体を検出しかつその種類を判別する物体検出制御を行うもので、ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory），ＣＰＵ（Central Processing Unit）などを備えた周知のものである。

このコントロールユニットＣＵにおける物体検出制御における処理の流れを、図２により、簡単に説明すると、まず、カメラ１とレーダ２を含むセンサから情報を入力し、図示を省略したメモリに保存する取得処理を実行する（ステップＳ１）。

次に、保存した入力情報に対し、これ以降の処理において使用する情報に変換する情報変換処理を実行する（ステップＳ２）。

次に、保存した入力情報および情報変換処理を行った情報（変換情報）に対し、検出対象である物体の種類との相関性に応じて、物体の種類ごとに物体の検出に利用する検出用情報のみを抽出する抽出処理を実行する（ステップＳ３）。

次に、ステップＳ３で抽出した検出用情報に対し、外部環境を検出する外部環境検出処理（ステップＳ４）を実施する。

次に、ステップＳ３で抽出した検出用情報に対し、ステップＳ４の外部環境検出処理で得られた天候環境に対応した有効度に基づいた重み付けを行う有効度重み付け処理（ステップＳ５）を実施する。

次に、抽出した検出用情報に対し、物体の種類別に、検出用情報と検出する物体との相関性に基づいて、検出用情報の物体検出に対する有効度に応じた重み付けを行う相関性重み付け処理（ステップＳ６）を実施する。

次に、相関性重み付け処理で重み付けを行った後の検出用情報を用いて検出領域内に存在する物体を検出するとともに、その物体の種類を判定する物体検出処理を実行する（ステップＳ７）。なお、本実施例１では、物体の種類として、車両ＡＢ（以下、車両ＡＢと車両ＭＢとを区別するために、前者を先行車両ＡＢ、後者を自車両ＭＢと称する）、二輪車ＭＳ、人物ＰＥ、道路構造物（壁ＷＯなど）を判別する。

次に、ステップＳ４の外部環境検出処理で得られた外部環境に基づいて、物体検出結果の信頼度を判定する信頼度判定処理（ステップＳ８）を実施する。

次に、ステップＳ８の信頼度判定処理の判定結果に基づいて、図外の運転支援制御装置における運転支援制御処理部２０（図３参照）の制御内容を決定する制御決定処理（ステップＳ９）を実施する。

図３は、コントロールユニットＣＵにおいて行われる上記各処理を行う部分を概念的に示すブロック図である。

変換処理部１１は、カメラ１からの画像情報、レーダ２からの検波情報を入力して、ステップＳ２の情報変換処理を実行する。

抽出処理部１２は、カメラ１からの画像情報、レーダ２からの検波情報、変換処理部１１で変換された変換情報から検出用情報を抽出するステップＳ３の抽出処理を実行する。

外部環境検出処理部（外部環境検出手段）１３は、検出用情報を入力し、ステップＳ４の外部環境検出処理を実行する。

有効度重み付け処理部（有効度重み付け処理部）１４は、抽出処理部１２で抽出された検出用情報に対し、外部環境検出処理部１３で検出された天候環境に応じた重み付けを行うステップＳ５の有効度重み付け処理を実行する。

相関性重み付け処理部１５は、有効度重み付け処理部１４で重み付けされた検出用情報に対し、さらに、検出する物体と検出用情報との相関性に応じ、検出情報の物体検出に対する有効度に応じた重み付けを行うステップＳ６の相関性重み付け処理を実行する。

物体検出処理部１６は、相関性重み付け処理部１５により重み付けされた検出用情報に基づいて物体を検出するステップＳ７の物体検出処理を実行する。

信頼度判定処理部（信頼度判定手段）１７は、物体検出処理部１６で検出した物体についてその信頼度を判定するステップＳ８の信頼度判定処理を実行し、その物体の検出結果ならびに信頼度の判定結果を運転支援制御処理部２０に出力する。

運転支援制御処理部（変更手段）２０は、運転支援制御を実行するとともに、信頼度判定処理部１７の判定結果に基づいて制御を決定する、ステップＳ９の制御決定処理を実行する。

次に、上記ステップＳ１〜Ｓ９の各処理について詳細に説明する。
まず、ステップＳ１の取得処理では、図４に示すように、カメラ１が撮像した画像情報（輝度画像情報）と、レーダ２が検知した検波情報である反射強度および距離とを、コントロールユニットＣＵ内のメモリ（図示省略）に保存する。本実施例１では、画像情報として、画素の輝度値を保存する。また、レーダ２の検知点の情報としては、レーダ２の水平方向のスキャン分解能ごとに、各角度における物体までの距離と反射強度とを保存する。

ここで、カメラ１による画像情報の一例を図５および図６に示す。
図５および図６は、自車両（車両ＭＢ）の前方に先行車両ＡＢと人物（歩行者）ＰＥと道路構造物としての壁ＷＯとが存在する場合の画像の一例を示しており、これらがカメラ１の撮像面１ａにおいて同図（ｂ）に示すように投影される。なお、図５（ａ）は、横から見た状態を示し、図６（ａ）は上から見た状態を示している。また、両図において、（ｃ）はカメラ１として赤外線カメラを用いた場合の赤外画像を示している。

これら図５，６では、カメラ１の路面への垂直投影点ＰＡから点ＰＦまでの距離をｚ、点ＰＡと点ＰＦとのｘ軸方向の間隔をｘｓとしている。

そこで、基準座標をカメラ１のレンズ１ｂの中心を原点とすると、基準座標系における点ＰＦの位置は、（ｘｓ，−Ｈ，ｚ）と表され、撮像面１ａの画像上において点ＰＦが位置する座標（ｘｃ，ｙｃ）は、焦点距離ｆを用いて、下記の式（１）および式（２）の関係で表される。
ｘｃ＝ｘｓ・ｆ／ｚ ・・・（１）
ｙｃ＝−Ｈ・ｆ／ｚ ・・・（２）

次に、レーダ２による検波情報の一例を図９に示す。
図９では（ａ）に示す図５および図６に示した画像情報と同様の物体の検知例を上から見た状態として（ｂ）に示している。この図に示すように、自車両（車両ＭＢ）の前方に存在する先行車両ＡＢと人物（歩行者）ＰＥと壁ＷＯとにおいて、電波が反射することで、物体が存在することを検出できる。なお、図において円形で示すｑＰ，ｑＡ，ｑＷが、それぞれ各物体の検知点を示している。

次に、変換処理部１１で実行されるステップＳ２の情報変換処理を説明する。
この情報変換処理では、画像情報を変換する処理と、検波情報を変換する処理とが行われる。この画像情報を変換する処理としては、図４に示すように、カメラ１から得られる輝度画像情報に対して、縦エッジ、横エッジ、エッジ強度を抽出するエッジ検出処理と、方向ベクトルを抽出する方向ベクトル算出処理と、オプティカルフローを算出するオプティカルフロー処理とが成される。また、検波情報を変換する処理としては、レーダ２からの検波情報から得られる計測点に基づいて相対速度を求める処理が成される。

上述のエッジ検出処理におけるエッジの検出は、ソーベルフィルタなどとのコンボリューション（たたみこみ（掛け合わせ））演算により算出できる。

図７は、単純なソーベルフィルタの例であり、（ａ）（ｂ）が縦エッジ用のフィルタ、（ｃ）（ｄ）が横エッジ用のフィルタである。このようなフィルタと画像情報とを掛け合わせることで、縦エッジと横エッジとを求めることができる。なお、これらのエッジ強度は、例えば、これらの値の絶対値として求めることができる。

また、方向ベクトルは、縦エッジの強度をＤｘ、横エッジの強度をＤｙとしたときに下記の式（３）の演算により求めることができる。
方向ベクトル＝Ｄｘ／Ｄｙ ・・・（３）

なお、この方向ベクトルの角度とエッジ強度との関係を図８に示す。

次に、オプティカルフローについて説明する。
オプティカルフローとは、ある時刻の画像上において、画像上のある点（ｘｃ、ｙｃ）に表示された映像と、その映像がΔｔ秒後に位置する画像上の点を結んだ矢印のことであり、一般的に画像上に撮像されたある物体上のある点の動きを示すこととなる。このようなオプティカルフローは、ブロックマッチングや勾配法など、従来提案されているいずれかの手法を適用して求めることができる。

このオプティカルフローについて、図９および図１０を用いて具体的に説明する。
これらの図９および図１０では、人物ＰＥが止まっていて、先行車両ＡＢが自車両ＭＢと同方向に前進している場合を示しており、図１０は図９に示す時点からΔｔ秒後の状態を示している。また、両図において、（ａ）は図５，図６で示したのと同様のカメラ１の画像であり、（ｂ）はレーダ２による検出範囲を上方から見た状態を示している。

ここで図９において人物ＰＥを示す値ｘｃ１，ｙｃ１，ｈｃ１は、図１０に示すΔｔ秒後には、前述した式（１）（２）において、分母となるｚの値だけが小さくなるため、自車両ＭＢの前進に伴って大きくなる。そこで、オプティカルフローの矢印は消失点ＶＰ（画像上の前方の無限遠点が撮像される点のことであり、図５，６の設定のように、カメラ１の光軸ＬＺを路面ＲＳと平行にした場合は、画像中心が消失点ＶＰとなる）から遠ざかる方向に長くなる。

同様に、壁ＷＯの上にある点なども、止まっているため、オプティカルフローは長くなる。また、これらのオプティカルフローは、消失点ＶＰを中心としてそこから画像の外側に向く矢印となる。

そこで、図１０の（ａ）に示す人物ＰＥのオプティカルフローは、足元では右下向きとなり、画像の中心近くの頭部付近では右向きとなる。

一方、先行車両ＡＢは、自車両ＭＢと等速運動をしていて、距離関係が略一定で前述の式（１）（２）においてｚの値が変化しないため、先行車両ＡＢを示す値に変化が殆ど無いことから、オプティカルフローの長さは短くなる．

次に、図４に戻り、レーダ２からの検波情報の変換処理について説明する。
上記のようにレーダ２の検波情報の変換処理は、計測点が有する距離データに基づいて相対速度を求める処理である。この相対速度は、時系列的に（例えば、０．１秒ごとに）レーダ２からの距離情報を取得する場合、ある一定時間の同一の計測点に対する距離変化／観測時間の長さで求めることができる。

あるいは、同一計測点間の最小二乗誤差直線を求め、その傾きを相対速度として求めてもよい。距離精度にはバラツキもあるため、例えば、０．１秒ごとの距離結果に対して求めた最小二乗誤差直線を求める方法を採ることで、計測点の１点程度の誤差や非計測点を補完して相対速度を安定して求めることができる。

さらに、このステップＳ２の情報変換処理では、上述した変換処理以外にも、後段の処理で必要な値を求める変換も行う。例えば、本実施例１では、外部環境検出処理において、エッジ強度の平均値とエッジ強度の最高値と輝度値の平均値あるいは分散が必要であり、このような値も変換処理部１１において算出する。

次に、抽出処理部１２で実行されるステップＳ３の抽出処理について説明する。
この抽出処理では、カメラ１からの画像情報、レーダ２からの検波情報、変換処理部１１で変換した変換情報のうちで、その後の処理で必要な検出用情報のみを選択する。

すなわち、ステップＳ７の物体検出処理では、検出する物体の種類ごとに使用する情報の種類があらかじめ設定されている。このため、この抽出処理では、物体の種類に応じ使用される情報のみを抽出する。

具体的には、図１１に示す抽出特性に基づき、検出する物体の種類に応じ「１」で示す情報である検出用情報のみを抽出するもので、これら検出用情報の抽出は、物体の種類ごとに並列に処理される。また、この図１１に示す抽出特性の設定は、あらかじめデータベースに格納されている。

この図１１の抽出特性の説明を、ステップＳ７における物体検出処理と併せて説明する。

物体検出処理では、物体の検出および判別として、先行車両ＡＢ、二輪車ＭＳ、人物（歩行者）ＰＥ、道路構造物（壁ＷＯなど）を検出および判別する。そこで、以下に、それぞれの物体の種類と、カメラ１およびレーダ２から入力された情報と、の相関について説明する。

一般的に、先行車両ＡＢや二輪車ＭＳはリフレクタ（反射板）を備え、レーダ２では、その検知点の反射強度が高い。また、反射強度が高いために、距離検出を精度高く行うことができ、相対速度も精度高く算出することができる。

一方、先行車両ＡＢと二輪車ＭＳとの差異として、一般的に、画像上では、先行車両ＡＢの場合は、水平エッジが強く長いのに対して、二輪車ＭＳの場合、形状が歩行者と似ていて、特徴的な直線エッジが無く、かつ、エッジの方向ベクトルの分散が大きい（エッジがいろいろな方向を向く）という特徴がある。

そこで、図１１に示すように、先行車両ＡＢと二輪車ＭＳとを検出対象とする場合は、縦エッジ・横エッジ・エッジ強度・方向ベクトル分散、反射強度・相対速度が「１」に設定され、これ以外の斜めエッジが「０」に設定されている。すなわち、先行車両ＡＢおよび二輪車ＭＳの検出には、「１」に設定した情報のみを抽出し、「０」に設定した情報は検出に使用しない。

一方、人物（歩行者）ＰＥは、レーダ２でも検出できる場合もあるが反射強度が低い。また、人物ＰＥは形状が縦長であり、縦エッジに特徴を有し、かつ、歩行者独特の足などの動き（つまりオプティカルフローの分布）などに特徴を有している。また、人物ＰＥは、移動速度が低く、画像上のオプティカルフローやレーダ２から求められる物体の距離変化から算出した相対速度が、自車両ＭＢに近づく速度として観測される。

そこで、人物ＰＥは、図１１に示すように、縦エッジ・方向ベクトル分散・相対速度が「１」に設定され、これらの情報のみを抽出し、その他の情報は「０」に設定し、抽出しないよう設定されている。

道路構造物（壁ＷＯなど）は、一般的に形状の規定が難しいが、道路に沿って並んで配置されており、かつ、人工物であることから、直線成分（エッジの強度と直線性）が強いという特徴がある。また、道路構造物（壁ＷＯなど）は、停止物であることから、時系列的な観測において、動かない物体である。そして、このような停止物は、画像上のオプティカルフローやレーダ２から求められる物体の距離変化から算出した相対速度が、自車両ＭＢに近づく速度として観測される。

そこで、道路構造物（壁ＷＯなど）を検出対象とする場合は、図１１に示すように、反射強度以外、すなわち縦エッジ、横エッジ、エッジ強度、方向ベクトル分散、相対速度が「１」に設定されている。

なお、ここでは物体検出処理で必要な検出用情報の抽出について説明したが、他の処理で必要な情報もこの抽出処理で抽出される。すなわち、本実施例１では、外部環境検出処理において用いるエッジ強度平均値と反射強度平均値と輝度に関する情報とを使用するため、これらの情報も抽出される。

次に、外部環境検出処理部１３で実行されるステップＳ４の外部環境検出処理について説明する。
この外部環境検出処理は、カメラ１およびレーダ２からの情報に基づいて天候環境を判断する処理である。すなわち、本実施例１では、カメラ１で得られる画像のエッジ強度の所定時間における平均値と、レーダ２で得られる反射強度の所定時間における平均値と、に基づいて判定する。なお、これらの平均値は、変換処理部１１による情報変換処理で算出され、抽出処理部１２による抽出処理で抽出されて外部環境検出処理部１３に入力される。

一般に、晴天の場合、カメラ１もレーダ２も、計測点を精度よく撮像および計測することができる。そこで、エッジ強度平均値および反射強度平均値の両方の値が高い場合には、晴天や薄曇りなどの好天と判定する。

一方、「もや」や「雨」や「小雪」など視認性がやや低下する環境では、カメラ１の画像が、好天時に比べて不鮮明になる一方、レーダ２の計測は環境の影響をほとんど受けずに精度の高い計測が可能である。そこで、カメラ１で得られるエッジ強度平均値がやや低下している状態で、レーダ２で得られる反射強度平均値が高い値に保たれる場合、「もや」や「雨」や「小雪」などの小悪天候と判定する。

図１２は、天候判定の一例を示している。この例では、自車両ＭＢの前方に、人物ＰＥ，二輪車ＭＳ，先行車両ＡＢ，道路構造物としての壁ＷＯが存在し、レーダ２の計測点を、同図（ｃ）において丸印で示している。また、この図（ｃ）では、丸印の大きさが反射強度を表している。このように、レーダ２では、各物体ＰＥ，ＭＳ，ＡＢ，ＷＯを正確に検出している。

一方、同図（ｂ）は、同図（ｃ）と同じ状況において、小悪天候の場合の入力画像を示している。ここで、画像は、レーダ２の方位で分割した領域ＬＬ１〜ＬＬ６に対応するように、各領域Ｉｍ１〜Ｉｍ６に分割されており、これらの領域Ｉｍ１やＩｍ６の全領域において、エッジ強度が低下している。

さらに、「濃霧」や「豪雨」や「大雪」の場合は、カメラ１の画像が、図１２（ｂ）に示す状態よりもさらに不鮮明になるとともに、レーダ２の計測強度も低下する。そこで、カメラ１で得られるエッジ強度平均値が大きく低下するとともに、レーダ２で得られる反射強度平均値も低下した場合、「濃霧」や「豪雨」や「大雪」などの大悪天候と判定する。

また、晴天の好天候であっても、朝日や夕日など日が傾いた状態で太陽に向かって走行する状況では、いわゆる逆光を受けて視認性が低下する場合があり、このような場合、逆光で強い光が入った部分の画素の情報を得ることが難しくなる。

図１２（ａ）は、同図（ｃ）と同じ状況において、カメラ１が逆光を受けた場合の入力画像を示している。この場合、画像は、各領域Ｉｍ１〜Ｉｍ６のうち、Ｉｍ１やＩｍ６ではエッジ強度が強く観測できるのに対して、領域Ｉｍ３，Ｉｍ４では、エッジを観測することがほとんどできない。

そこで、レーダ２の反射強度が全領域ＬＬ１〜ＬＬ６で高く、一方、カメラ１のエッジ強度が領域Ｉｍ１〜Ｉｍ６のうちの一部でしか観測されない場合には、「逆光」と判定する。さらに、このような「逆光」の場合には、エッジが検出されない領域（例えば、Ｉｍ３，Ｉｍ４）は、一般的に輝度の平均値が高い。そこで、本実施例１では、一部の領域でエッジが観測されない場合には、さらに、その領域の輝度を確認して、判定信頼性の向上を図っている。なお、この輝度としては、輝度の絶対値を用いてもよいし、輝度の時間あたりの平均値を用いてもよい。

ステップＳ４の外部環境検出処理では、以上のように、画像のエッジ強度の所定時間における平均値と、反射強度の所定時間における平均値と、に基づいて天候環境を判定する。そして、この天候環境の判定種類として、ステップＳ５における有効度重み付けに対応して、「小悪天候」「大悪天候」「逆光」「好天」を判別するもので、この判別は、各天候における実際のエッジ強度および反射強度の計測値に基づいて設定されている。

次に、有効度重み付け処理部１４で実行されるステップＳ５の有効度重み付け処理について説明する。
この有効度重み付け処理は、図１３に示すように設定された有効度特性に基づいて設定される。すなわち、この有効度重み付け処理は、ステップＳ３の外部環境検出処理において判別される小悪天候、大悪天候、逆光、好天に応じて各情報に重み付けを行うものである。

この重み付けの程度としては、重み付けが重い順に「高い」「中」「低い」「不可」の４通りが設定され、例えば、これらの重み付けに応じた係数を乗じる。なお、「不可」は、物体の検出に用いないことを示し、例えば、係数として「０」を乗じる。

次に、相関性重み付け処理部１５で実行されるステップＳ６の相関性重み付け処理について説明する。
この相関性重み付け処理は、図１４に示すように設定された相関性特性に基づいて設定されるもので、この重み付けは、前述したように、検出する物体の種類別に、物体検出に対する検出用情報の有効度に応じて設定されている。

すなわち、前述したステップＳ３の抽出処理において、検出する物体の種類ごとに、その物体を判別するのに利用する検出用情報を選択的に抽出するが、その判別する物体の種類と抽出された検出用情報との相関性に基づいて、物体検出に対する情報の有効度が異なる。そのため、このステップＳ６では、この物体と情報との相関性に応じた有効度の高さに応じた重み付けを行っている。

そこで、図示のように、例えば、「人物ＰＥ」を判定するために抽出した情報は、縦エッジおよび相対速度の重み付けを低く、方向ベクトル分散の重み付けは高く設定されている。ここで、本実施例では、重み付けが「低い」場合には、計測値に「０．２」の係数を乗じ、一方、重み付けが「高い」場合には、計測値に「１．０」の係数を乗ずるものとする。

また、他の（先行）車両ＡＢ、二輪車ＭＳ、道路構造物についても、それぞれ、図示のように重み付けが設定されている。

次に、物体検出処理部１６で実行されるステップＳ７の物体検出処理について説明する。
この物体検出処理では、抽出されさらに重み付けが成された検出用情報を投票表ＴＳに投票する投票処理と、その投票結果に基づいて、各種類の物体が存在するか否かを判別することで物体を検出する検出処理が実行される。

投票処理に用いる投票表ＴＳとして、人物ＰＥ、先行車両ＡＢ、二輪車ＭＳ、道路構造物（壁ＷＯなど）のそれぞれに対応した投票表を用意している。あるいは、投票表ＴＳにおいて、分割された各領域を、人物ＰＥ、先行車両ＡＢ、二輪車ＭＳ、道路構造物（壁ＷＯなど）のそれぞれに対応した階層を並列に設定している。そして、判別する物体の種類である人物ＰＥ、先行車両ＡＢ、二輪車ＭＳ、道路構造物（壁ＷＯなど）のそれぞれに対応して重み付けが行われた情報を、それぞれ物体の種類に対応した投票表あるいは階層に並列に投票する。この投票は、同時に並行して行ってもよいし、あるいは、投票時間をずらして行ってもよい。

図１５は、投票表ＴＳの一例を示している。なお、図１５では、投票表ＴＳに加えて、カメラ１からの情報である輝度画像ＫＰ、そのエッジ成分距離ＥＫ、レーダ２からの情報である反射強度ＲＫ、距離ＬＫ、および後述する実施例で示す赤外カメラからの情報である温度画像ＳＰを示している。また、図１５では、検出例として、先行車両ＡＢ、人物ＰＥ、道路構造物としての樹木ＴＲを検出する場合を示している。

投票表ＴＳは、前述した基準座標系におけるＸＺ平面に相当し、このＸＺを、Δｘ，Δｚの小領域に分割している。このΔｘ，Δｚは、例えば、１ｍや５０ｃｍ程度の分解能としている。なお、投票表ＴＳの大きさ、すなわち、ｚ軸方向寸法、ｘ軸方向寸法は、物体検出の要求距離や、物体検出精度などに応じて任意に設定する。

図１５では、投票表ＴＳとして、１つの表のみを示しているが、前述したように、本実施例１では、投票表ＴＳとして、人物ＰＥ用のもの、先行車両ＡＢ用のもの、二輪車ＭＳ用のもの、道路構造物（壁ＷＯ、樹木ＴＲなど）用のものがそれぞれ設定されている（図示省略）。あるいは、投票表ＴＳの各領域において、物体の種類毎に並列に投票が行われるようになっている。

次に、画像情報と投票表ＴＳとの関係を説明する。まず、画像上でも図１６（ａ）、図１７（ａ）に示すｘ，ｙ座標の画像表ＰＳを設定する。この画像表ＰＳの分解能Δｘ、Δｙは、図１８に示すように、実座標系上ではある微小角度θを示すこととなる。本実施例１では、画像処理結果の投票のしやすさから画像上に表を設け、その角度分解能をｘ方向とｙ方向ともθとし、その範囲に求められたエッジをＸＺ平面の投票表ＴＳに投票する。また、ここでθは、例えば１度から５度程度の間の角度に設定している。この分解能角度も、物体判別処理の精度や物体検出の要求距離や位置精度に応じて適宜設定すればよい。

なお、ＸＺ平面の投票表ＴＳと同様に基準座標系におけるＸＹ平面上に投票表を設定することもできる。

次に、図１６、図１７に示すように先行車両ＡＢ、二輪車ＭＳ、人物（歩行者）ＰＥ、壁ＷＯが存在する場合の投票表ＴＳへの投票例について説明する。なお、この投票例の説明として、カメラ１による画像情報を変換したエッジと、レーダ２による距離情報の投票例を説明する。

まず、レーダ２による距離情報の投票例として、人物ＰＥを観測した場合の点Ｑへの投票について説明する。

図１６（ｂ）に示すように、レーダ２により投票表ＴＳ上の点Ｑに相当する位置Ｑｘｚにおいて物体が計測された場合、投票表ＴＳのＱの位置が含まれる小領域Ｓｎに投票値を加算する。なお、この投票値は、前述した天候環境別および必要性の高さに基づく重み付けが成された値である。

次に、カメラ１の画像情報から得られたエッジの投票例を説明する。
まず、図１６（ａ）に示すように、ＸＹ軸をΔｘ，Δｙで分割した画像表ＰＳを設定し、これに投票する。図１７（ａ）は、エッジ処理した情報の投票例としての画像表ＰＳｅであり、このようなエッジが存在する場合、このエッジが存在する小領域に対応するＸＺ平面の投票表Ｋの小領域に、このエッジを示す投票値を加算する。なお、この投票値も、前述した天候環境別および必要性の高さに基づく重み付けが成された値である。

この際、ＸＹ平面とＸＺ平面における小領域との対応は、以下のようにして求める。例えば、画像表ＰＳｅのΔｘｅ，Δｙｅの大きさは、図１７（ｂ）に示すようにΔｘｅ＝ｆ×ｔａｎθ，Δｙｅ＝ｆ×ｔａｎθのようにある微小角度θに相当する大きさとして設定する。ここで、ｆは焦点距離である。

そして、画像表ＰＳｅの小領域が画像の原点（ｘ＝０，ｙ＝０の点）に対してなす角度を、投票表ＴＳにおける小領域がＸＺ表の原点（ｘ＝０，ｚ＝０の点）に対してなす角度に換算すればよい。具体的には、図１７（ａ）において、ｘ＝ｘｃｅの位置に存在している縦エッジＢｅを、投票表ＴＳに投票する場合を説明する。

この縦エッジＢｅは、画像表ＰＳｅの原点からΔｘｅの５個目に相当する位置に存在している。ここで、Δｘｅは、投票表ＴＳの角度θに相当することから、ｘ＝ｘｃｅは、投票表ＴＳの原点からα＝５×θだけ左に位置する。そこで、投票表ＴＳでは、原点から左側にα＝５×θだけ回動した位置において、角度θの幅の部分に相当する小領域に投票を行う（図においてＢに示す扇形の領域に投票する）。

また、同様の考えで先行車両ＡＢに相当する物体の位置の投票を考える。この場合、角度の計算は同じである。しかし、レーダ２からの情報の投票に基づいて、先行車両ＡＢまでの距離がわかっている場合は、その距離に相当する位置（ここでは、ｚ＝ｚ０付近）だけの小領域に投票を行う（図１７（ｂ）において符号ＡＢＲの部分）。
そして、以上のような投票処理を、ステップＳ３で抽出され、ステップＳ５，Ｓ６で重み付けされた各検出用情報について行う。この結果の一例が図１５であり、先行車両ＡＢに対応する投票部分を符号ｔＡＢ、人物ＰＥに対応する投票部分を符号ｔＰＥ、樹木ＴＲに対応する投票部分を符号ｔＴＲで示している。

次に、この投票表ＴＳへの投票が終了した後の、検出処理について説明する。
一般に、何らかの物体が存在する場合、距離やエッジなどの情報が多く存在することが多い。つまり、図１５に示す先行車両ｔＡＢ、人物（歩行者）ｔＰＥ、樹木ｔＴＲの領域のように、投票結果の値が高い位置には物体が存在すると判定する。

すなわち、その検出した物体の位置は、投票結果そのものが小領域の位置を示すことになるため、例えば、図１７の先行車両ＡＢの位置（ＡＢＲ）であれば、原点からの方位が左にα，距離ｚ０の位置に物体が検出されたと判定する。

次に、この検出された物体の種類の判別は、この表に加算された情報の内容に基づいて行う。すなわち、図１４に示す必要性特性などと照合することで求める。

例えば、投票された領域の投票値のうち、反射強度が非常に強く、横エッジも強ければ先行車両ＡＢであると判別する。また、縦エッジが弱いがエッジの方向ベクトルの分散が高く、相対速度が高ければ人物ＰＥと判別する。さらに、縦エッジおよびエッジ強度が弱く、人物と同様に方向ベクトル分散が強いが、反射強度が強かったり、相対速度が小さかったりした場合には、走行中の二輪車ＭＳと判別する。また、相対速度が高く、縦エッジやエッジ強度が強い場合には、道路構造物（壁ＷＯなど）と判別する。

本実施例１では、これらの判定を、各物体の種類用の投票表あるいは領域の各階層において行い、その種類判別結果を１つの投票表ＴＳに反映させるもので、物体の種類により特徴が異なることから、同一の領域において複数種類の判定結果が出ることはない。すなわち、人物用の投票表あるいは階層において、人物ＰＥであると判別された場合、同じ領域では、他の種類用の投票表あるいは階層において、先行車両ＡＢや二輪車ＭＳなどと判定されることはない。

次に、信頼度判定処理部１７で実行されるステップＳ８の信頼度判定処理について説明する。
この信頼度判定処理は、前述したように、ステップＳ７における物体検出結果の信頼度を、ステップＳ４の外部環境検出処理で得られた天候環境に基づいて判定する。

本実施例１では、図１４に示す検出物体の種類ごとの相関度特性と、天候環境に応じた各情報の有効度とに基づいて、信頼度判定処理が行われる。

すなわち、本実施例１では、図１４に示される物体の判定に用いる各検出用情報に乗じる必要度を示す前述した係数と、各検出用情報の天候環境に応じた有効度と、を乗じた値の合計を信頼値ＡＡとする。ここで、各検出用情報の天候環境に応じた有効度は、図１３の天候別の有効度特性に基づいて決定することもできるし、あるいは、理想状態で得られる値に対する実際に計測される絶対値の割合で決定することもできる。本実施例１では、後者の理想状態で得られる値に対する実際に計測される絶対値の割合、すなわち、実際の計測値を理想値で除算した値により決定するものとする。

この信頼度判定の一例を、「人物ＰＥ」が検出された場合を例に挙げて具体的に説明する。例えば、「人物ＰＥ」の検出には、図１１に示すように、縦エッジ、方向ベクトル分散、相対速度が抽出される。そして、図１４に示す相関性特性に基づき、縦エッジの重み付けは低く（係数０．２）、方向ベクトル分散の重み付けは高く（係数１．０）、相対速度の重み付けは低く（係数０．２）設定されている。

そこで、各検出用情報に乗じる係数と、各情報の天候環境に応じた有効度と、を乗じた値の合計である信頼値ＡＡは、人物ＰＥを検出する場合、下記式（４）で表される。
ＡＡ＝０．２×縦エッジ有効度＋１．０×方向ベクトル分散有効度＋０．２×相対速度有効度・・・（４）

この（４）式において、天候環境が理想状態における全ての情報の有効度を「１」と仮定すると、信頼値ＡＡは、下記式（５）より１．４となる。
ＡＡ＝０．２×１＋１．０×１＋０．２×１＝１．４・・・（５）

本実施例１では、「人物ＰＥ」が検出された場合の信頼度は、この１．４（＝基準値）を基準として求める。

例えば、天候環境が「好天」の場合は、縦エッジ、方向ベクトル分散、相対速度が理想状態と全て同じく１となるので、上記式（５）によりＡＡ＝１．４となり、基準値との比較値が１００％として得られる。この場合、信頼度が高いと判定する。

これに対し、例えば、「逆光」の場合、画像処理に関係する情報の有効度が下がる。例えば、縦エッジ、方向ベクトルの有効度（計測値／理想値）がそれぞれ０．３程度であったとすると、これを上記式（４）に代入すると、０．２×０．３＋１．０×０．３＋０．２×１＝０．５６となり、信頼値ＡＡ＝０．５６となる。

この信頼値ＡＡ＝０．５６という値は、基準値（１．４）の４０％であり、この場合の信頼度はかなり低いと判定する。

一方、何らかの理由によりレーダ２の位置情報から得られる相対速度の有効度のみが低下した場合を考える。ここで、仮に相対速度の有効度が０であるとすると、上記式（４）により、信頼値ＡＡ＝０．２×１＋１．０×１＋０．２×０＝１．２となる。

この場合、信頼値ＡＡ＝１．２という値は、基準値（１．４）と比較して、８５％であり、信頼度がかなり高いと判定する。

以上のように、各検出用情報に乗じる必要度の係数と、各検出用情報の天候環境に応じた有効度と、を乗じた値の合計を信頼値ＡＡとする処理を、各検出物体のそれぞれについて実行する。そして、各検出物体ごとの信頼値ＡＡを理想状態の基準値と比較して信頼度を判定する。

次に、ステップＳ９の制御決定処理について説明する。
この制御決定処理は、運転支援制御処理部２０において実行される。この運転支援制御処理部２０は、図外の運転支援装置の制御を実行する部分で、例えば、自動的に道路の白線内を走行するように制御したり、先行車両ＡＢに追従して走行したりする運転支援制御を実行する。

そこで、制御決定処理では、ステップＳ４で得られた天候環境と、ステップＳ８で得られた信頼度とに基づいて、運転支援制御処理部２０の支援制御内容を決定する。

すなわち、信頼度が所定値（例えば、６０％）よりも高い場合には、運転支援制御を実行するが、信頼度が所定値よりも低い場合には、運転支援を停止させる。

また、信頼度が所定値よりも高い場合であっても、ステップＳ４において、「豪雨」や「大雪」などの運転支援に相応しくない大悪天候と判定された場合にも、運転支援を停止させる。

ここで、信頼度は、全ての検出物体の信頼度の平均値を用いてもよいし、あるいは、運転支援制御の内容により制御に重要な物体、例えば、先行車両ＡＢの追従制御の場合には、先行車両ＡＢの信頼度を用いるようにしてもよい。

さらに、制御決定処理では、逆光と判定した場合には、図示を省略したナビゲーションシステムの表示装置およびスピーカを用いて、検出物体の存在を報せる報知処理を実行する。具体的には、例えば、音声により前方に存在する物体の種類を知らせたり、その物体の位置を、ナビゲーションシステムの表示装置上に表示したりする。

このように、制御決定処理では、信頼度および天候環境に応じて、運転支援制御を実行するか否か、報知処理を実行するか否かを決定する。

以上説明してきたように、本実施例１の物体検出装置では、物体検出センサとしてのカメラ１とレーダ２とからの入力情報に基づいて、外部環境としての天候環境を判別できるようにした。このため、ＶＩＣＳなどの外部通信設備から天候情報を得ることができない場所でも、物体検出を行っている位置の実際の天候情報を取得できる。また、本実施例１の物体検出装置を搭載した車両ＭＢは、走行により時々刻々と移動するが、この走行している道路の実際の天候情報を取得することができる。

したがって、従来のように、道路によっては天候情報を得ることができないという不具合や、走行している位置の実際の天候と、入力される天候情報とが異なるという不具合が生じることが無く、常に、走行位置の実際の天候環境に応じた物体検出を行うことが可能となり、従来よりも物体の検出精度を向上させることが可能となる。

また、実施例１では、変換情報および入力情報を投票表ＴＳに投票し、この投票結果に基づいて物体の種類を判別するようにした。

このため、検出対象となる物体に対し、どのセンサが検出していなければならないという条件（例えば、カメラ１とレーダ２との両方で検出しなければならないというような条件）が無くなる。よって、カメラ１とレーダ２との一方でしか検出できないような環境であっても、物体の検出およびその種類の判別が可能となり、ロバストな検出が可能となるという効果が得られる。しかも、この効果と同時に、カメラ１とレーダ２という複数の物体センサを搭載していることによる、信頼度の高い計測という効果も同時に得ることができるという利点も維持できる。

しかも、本実施例１では、天候環境に応じた有効度に基づき、各検出用情報の重み付けを行うようにしたため、天候により各情報が変化することによる影響を抑えて、検出精度を向上させることができる。

すなわち、本実施例１では、カメラ１の画像が不鮮明となる悪天候時には、カメラ１からの情報の有効度の重み付けを好天時よりも低くしている。さらに、悪天候の影響を受けにくいレーダ２からの情報にあっても、悪天候時には、好天候時と比較して、悪天候の影響を受けがちな反射強度の有効度の重み付けを低めに設定するとともに、悪天候の影響を受けにくい相対速度の有効度の重み付けを高く設定している。

このように、悪天候時の重み付けを設定することで、悪天候時の物体の検出精度を向上させることができる。説明を加えると、悪天候時に影響を受けて、例えば平均値が低下するような情報は、ノイズ成分の影響が大きくなる。このような情報の重み付けを低くすることで、ノイズ成分の除去を図ることができる。逆に、悪天候の影響を受けにくく、例えば平均値を高く維持できる情報は、ノイズ成分の影響も小さく、このような情報の重み付けを高くすることで、検出精度の向上を図ることができる。

さらに、本実施例１では、天候環境の判定として、好天や悪天候などの天候だけでなく、好天でも画像情報に影響を受ける逆光も判定できるようにしたため、外部環境に応じた制御精度をさらに向上させることができる。

すなわち、逆光の場合、図１２に示すように、逆光の影響を受けないレーダ２からの情報である反射強度および相対速度の有効度の重み付けを大きくする一方、逆光の影響を受けるカメラ１による情報の使用を停止している。このように、逆光という外部環境に応じた重み付けを設定することで、逆光時にも、精度の高い物体検出が可能となる。

加えて、本実施例１では、判別する物体の種類に応じて、その種類に応じた検出用情報を抽出して投票し、さらに、この投票の前に、上述の天候に応じた有効度の高さに応じた重み付けと、検出する物体との相関性に応じて検出用情報の有効度に応じた重み付けとを行うようにしている。このため、天候環境および物体との相関性に応じた有効度の高い情報だけを活用して物体の検出および物体の種類判定が可能となり、物体の検出信頼度および物体種類判別の信頼度を向上させることができる。

しかも、物体の検出に利用される必要情報だけを抽出するため、情報の保管用のメモリ容量の削減や計算量の削減にも効果があり、かつ、検出処理において使用する情報の数を減らして、検出処理の単純化を図ることも可能となる。

さらに、本実施例１では、入力情報を変換する情報変換処理において、画像情報からエッジを抽出するとともに、オプティカルフローを算出し、これらの変換情報を後段の検出処理で使用するようにしたため、物体の種類の判別における信頼性を向上させることができる。すなわち、一般に先行車両ＡＢやガードレールなど路上に存在する道路構造物（壁ＷＯなど）などの人工物はエッジ強度が強い場合が多いのに対し、人物ＰＥや乗車状態の二輪車ＭＳは、エッジ強度が弱い。また、オプティカルフローによる方向ベクトル分散は、相対速度が低い先行車両ＡＢや先行する二輪車ＭＳなどは低いのに対し、相対速度が高くなる人物ＰＥや道路構造物（壁ＷＯなど）は高くなる、というように物体の種類との相関性が高い。このような物体の種類との相関性の高い情報に変換して、物体検出処理を行うようにしているため、高い検出信頼性を得ることができる。加えて、前述したように、このような信頼性の高い情報を投票により加算して物体の検出および種類判別を行っていることからも、信頼性の向上を図ることができる。

また、本実施例１では、検出した物体の信頼値ＡＡを算出し、この信頼値ＡＡから得られる信頼度に応じ、信頼度が低い場合や大悪天候時には、運転支援制御を停止するようにした。このため、信頼度の低い情報に基づく運転支援や、運転支援に相応しくない状況での運転支援が行われることがなくなり、運転支援制御の信頼性向上を図ることができる。

さらに、本実施例１では、物体の検出に使用されるエッジやオプティカルフローや相対速度などを求める微分処理や積分処理やフィルタ処理を変換処理部１１において、入力直後に行うようにしている。このため、物体の検出に重要な値が、ノイズの影響を受けにくいようにでき、かつ、このように重要な値を、外部環境の検出や物体の検出および信頼度の判定のいずれでも活用でき、簡素な処理で信頼性の高い判定が可能となる。しかも、このような微分処理や積分処理やフィルタ処理を入力直後に行うことで、例えば、画像入力しながら並列に処理を行うパイプライン処理が可能になるなど、高速演算が可能になる。

次に、図１９に基づいて本発明の実施の形態の実施例２の物体検出装置について説明する。なお、この実施例２を説明するにあたり、前記実施例１と同一ないし均等な部分については、同一符号を付して、相違する部分を中心として説明する。

この実施例２の物体検出装置は、実施例１のごく一部を変更した例である。すなわち、この実施例２では、有効情報抽出処理において、投票表ＴＳに投票するにあたり、投票する値にしきい値を設定しており、このしきい値を越えた情報のみを投票するようにしている。

図１９は、その投票結果を示している。図１９と実施例１の図１５とを比較すると分かるように、図１５では投票されていた小さな値が削除されている。

すなわち、図１５に示す投票値（高さ）が低いデータはノイズである可能性が高い。そこで、本実施例２のように、投票する値にしきい値を設定することにより、ノイズを取り除いて、誤検出を防止し、検出精度の向上を図ることができる。

さらに、これにより、比較的少ない情報の種類数だけを用いた物体の種類判別が可能になり、情報の保管用のメモリ容量の削減や計算量の削減を図る効果が、さらに高まる。
他の構成および作用効果については、実施例１と同様であり、説明を省略する。

次に、本発明の実施の形態の実施例３の物体検出装置について説明する。なお、この実施例３を説明するにあたり、前記実施例１と同一ないし均等な部分については、同一符号を付して、相違する部分を中心として説明する。

実施例３の物体検出装置では、物体検出処理および有効度重み付け処理が実施例１とは相違する。
この実施例３では、エッジ強度と方向ベクトルに基づいて物体の検出・非検出を判断するようにしている。

具体的には、エッジ強度の分散（これをＡとする）と、方向ベクトルの分散（これをＢとする）とを用い、下記式（６）の判定値ＴＴを求める式を用いる。そして、得られた判定値ＴＴがあらかじめ設定された閾値Ｔよりも大きい場合に、物体が存在する（物体検出）と判定し、判定値ＴＴが閾値Ｔ未満の場合は、物体が存在しない（物体非検出）と判定する。
ＴＴ＝（１−β）Ａ＋βＢ×２・・・（６）

ここで、βは、有効度の重み付け用の係数であって、１．０未満の値である。この係数βは、天候に応じ変更されるもので、悪天候の場合には、好天の場合に比べて、大きな値が用いられる。

すなわち、「雨」「霧」のような悪天候時には、エッジ強度の信頼性が低いのに対し、方向ベクトルの分散の信頼性は高い。そこで、この信頼性に応じて、係数βの値を変更することにより、物体検出精度の信頼性を向上させることができる。
他の作用効果については、実施例１と同様であるので、説明を省略する。

次に、本発明の実施の形態の実施例４の物体検出装置について説明する。なお、前記実施例１と同一ないし均等な部分については、同一符号を付して、相違する部分を中心として説明する。

この実施例４の物体検出装置は、抽出処理部１２を省略し、カメラ１およびレーダ２からの情報、および変換処理部１１で変換された情報の全てに有効度の重み付けならびに必要度の重み付けを行った後、これら全ての情報を投票表ＴＳの対応する領域へ投票するようにしている。

そして、投票表ＴＳの各領域へ投票された情報の数に基づいて、その領域に物体が存在するか否かの判断、すなわち物体検出の判断を行う。さらに、投票された情報の種類から物体の種類の判別を行う。この物体の種類の判別には、例えば、図１１に示した物体の判別に使用する情報の抽出特性に基づいて判別する。すなわち、ある領域に投票された情報のうちで高い値を示す情報の組み合わせが、この図１１に示す物体の種類の「１」が記入された情報の組み合わせのいずれと一致するかに基づいて、物体の種類を判別する。
他の構成および作用効果については、実施例１と同様であり、説明を省略する。

次に、本発明の実施の形態の実施例５の物体検出装置について説明する。なお、前記実施例１と同一ないし均等な部分については、同一符号を付して、相違する部分を中心として説明する。

実施例５の物体検出装置は、物体センサとして、カメラ１と並列に赤外カメラ（図示省略）を用いた例である。なお、これらのカメラ１と赤外カメラとの画像例を、図５（ｂ）（ｃ）、図６の（ｂ）（ｃ）に示している。また、図１５、図１９にも温度画像ＳＰを示している。

赤外カメラは、温度に相当する値を画素値に変換できるカメラである。ここで、一般に二輪車ＭＳに乗った人物と、人物（歩行者）ＰＥとは、輝度のカメラ１の画像処理だけからは区別しにくい。

また、両者は、レーダ２からの情報である、反射強度および相対速度が相違するが、特に、二輪車ＭＳの速度が低い場合には、相対速度の差異が小さくなり、人物ＰＥと二輪車ＭＳとの判別が難しくなる。

そこで、本実施例５では、二輪車ＭＳが持つマフラの温度が、人物ＰＥの温度よりもはるかに高いことを利用し、赤外カメラから得られる温度情報に基づいて、投票された情報のうち、温度が高い情報が含まれる場合には、二輪車ＭＳと判別し、温度が高い情報が含まれない場合には、人物（歩行者）ＰＥと判別する。

さらに説明を加えると、温度が高い領域の有無は、赤外画像上で人物ＰＥまたは二輪車ＭＳが検出された位置の（複数の）画素値を判定し、その画素の中に、しきい値以上の画素値を持つ画素が、所定の個数（例えば３画素）以上存在する場合に、二輪車ＭＳと判定する。ここで、しきい値以上の画素値を持つ画素の個数は、ノイズにはならない程度となるように、単独（１画素）ではなく、例えば、少なくとも３画素が連続していることなどから判定する。また、温度（画素値）のしきい値は、人体では観測されることがありえない温度として、例えば、４５℃以上程度に設定する。

以上のように、実施例５の物体検出装置では、通常、形状が似ているために判別が難しい人物ＰＥと二輪車ＭＳとの判別の精度を向上させることができる。

また、人工物という点で、共通点が存在する先行車両ＡＢと道路構造物（壁ＷＯなど）との判別においても、温度の要素を判別に加えることで、両者の差異を明確にして、判別精度を向上させることができる。
他の構成および作用効果については、実施例１と同様であり、説明を省略する。

以上、図面を参照して、本発明の実施の形態および実施例１ないし実施例５を詳述してきたが、具体的な構成は、この実施の形態および実施例１ないし実施例５に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

例えば、実施例１〜５では、本発明の物体検出方法および物体検出装置として、車両に搭載して実行するものを示したが、これに限定されず、産業ロボットなど車両以外にも適用することができる。

また、実施例１〜５では、抽出処理において、物体の種類別に、物体の検出に必要な情報のみを抽出するようにしたが、この抽出時に、抽出した情報の有効度を判定するようにしてもよい。そして、有効度が低いと判定された場合には、その情報を用いた判定を行わないようにすることで、誤検出を防止することができる。

また、外部環境としての天候を判定するにあたり、実施例１では、エッジ強度と反射強度により判定を行う例を示したがこれに限定されない。例えば、カメラ１の情報として、エッジの数などを用いることができる。この場合、例えば、エッジの数が多いほど、好天候であり、エッジの数が少ないほど悪天候と判定する。また、レーダ２の情報として、計測点の数や強度分散値を用いることもできる。

さらに、「逆光」の判定において、実施例１では、レーダ２による反射強度が全領域ＬＬ１〜ＬＬ６で観測されているのに対して、カメラ１によるエッジ強度が、一部の領域において極端に低くなっており、さらに、その一部の領域の輝度が高い場合、「逆光」と判定するようにしたが、これに限定されない。例えば、判定条件に上記輝度を加えなくてもよい。あるいは、逆光の場合、自車両ＭＢが向きを変えることによって、全ての領域Ｉｍ１〜Ｉｍ６のエッジ強度が高くなったり、急に一部の領域のエッジ強度が下がったりというように、時系列的な変化が観測される。そこで、エッジ強度の一部の時系列的な変化が生じた場合に、逆光と判定するようにしてもよい。

また、実施例では、天候環境の判別を、物体検出装置のカメラ１とレーダ２とにより行うようにしたが、これに加え、車載の雨滴センサやワイパ装置や車外温度センサの信号を用いてもよい。これらの信号を用いることで、天候環境の判別をより精度高く行うことができる。

また、実施例１では、投票表ＴＳへの投票結果に基づいて物体を検出し、かつ、物体の種類を判別するものを示したが、これに限定されるものではない。例えば、検出する物体の種類によっては、カメラ１とレーダ２とのいずれか一方の情報のみを用いて検出するようにしてもよい。

具体的には、カメラ１からの画像情報だけを用いた物体検出の場合には、以下のような手法で検出することができる。
ａ．ある物体のモデルを定義し、物体検出用のテンプレートを用意した上で、そのテンプレートとの類似性より検出する。
ｂ．Hough変換などの直線を検出する手段を利用し、直線が多く存在する領域を物体とする。
ｃ．色領域により検出する。
ｄ．オプティカルフローにより、同じ動き（フロー）が集中している部分を物体とする。

一方、レーダ２の計測点のみを用いる場合は、一般的に、何らかの計測点が同じ距離に時間的に連続して観測された場合に、その位置には物体が存在すると判定できる。例えば、０．１ｍｓ周期のレーダ２がスキャンする場合、０．３ｍｓ連続してほぼ同じ方位同じ距離に計測点が観測された場合に、その方位には物体が存在すると検出する。あるいは、一般的に、ノイズは反射強度が弱く、かつ、計測点が単独で存在する場合が多い。このことから、例えば、図１２の距離ｚ０，ｚ１，ｚ２にそれぞれ存在する先行車両ＡＢ、人物ＰＥ、二輪車ＭＳのように、計測点が水平方向に連続して存在する場合、時系列的な観測無しに方位的に連続していることから、その方位に物体が存在すると判定してもよい。また、先行車両ＡＢや二輪車ＭＳのように、反射強度の強い計測点が観測された場合、時系列や方位の連続性が小さい場合であっても、反射強度の強さに基づき、あるしきい値以上の反射強度が観測された場合、その計測点の方位には物体があると判定してもよい。この場合、反射強度は、レーザレーダであればレーダが発光する光の強さに依存するため、しきい値は、例えば、実験的に予め車両計測した場合の一般的な反射強度（距離が遠ざかると弱くなるため、距離との関係などで求めておいてもよい）を求めておき、その実験的に調べた値をしきい値として設定すればよい。また、送出波に対する反射波の減衰率（送出波に対する反射波の強さの割合）を求めておき、その割合を物体検出のしきい値としてもよい。

また、実施例１では、信頼度の判定において、検出用情報の有効度を、計測値／理想値により算出する例を示したが、これに限定されるものではなく、検出された天候環境に応じ、図１３の有効度特性に基づいて有効度を決定するようにしてもよい。

また、信頼度の判定において、実施例１では、物体の検出に使用する情報の有効度と、相関性特性に応じた重み付け係数を乗じた値の合計で判定する例を示したが、これに限定されない。例えば、物体の検出を５種類の情報を使用して行うものについて、４種類が検出されない場合には、信頼度が低いと判定し、４種類以上が検出される場合には、信頼性が高いと判断することもできる。

さらに、信頼度の判定において、物体センサとしてのカメラ１とレーダ２とから、有効な信号が長時間にわたって観測できない場合には、物体センサ自体の故障と判断し、信頼度が低いと判定するようにしてもよい。また、故障と判断したときには、運転支援制御処理部２０では、あらかじめ設定されたフェイルセーフ制御を実行するようにする。このフェイルセーフ制御の一例としては、有効な物体センサのみの情報を用いて物体の検出を行うとともに、このようなフェイルセーフ制御を実行していることを運転者などに報知することが挙げられる。

また、実施例１〜５では、外部環境判定処理として、天候環境を判定するものを示したが、外部環境としては、天候環境に限定されない。例えば、走行環境を判定するようにしてもよい。この走行環境としては、具体的には、砂利道や悪路などの路面状態や、雷や装置の経時劣化などによるノイズの重畳状況などが挙げられる。

すなわち、砂利道や悪路を走行する場合、カメラ１およびレーダ２が車体と共に細かく上下に振動する。このため、カメラ１で得られる画像の全体が不鮮明となり、この画像情報で得られるエッジ全体が不鮮明になる。同様に、レーダ２で得られる位置情報も、車体の上下動に伴い、レーダ２の計測範囲が変化するため離散的となる。そこで、このような現象から、悪路あるいは砂利道と判断することができる。また、このような路面状態では、物体検出の信頼性が低下するとともに、運転支援に相応しい路面状況ではないため、運転支援制御処理部２０では、運転支援を停止するようにしてもよい。

一方、雷の発生や、装置の劣化などによりノイズが重畳される場合、上記の悪路と同様に画像が不鮮明となったり、エッジが不鮮明になったり、位置情報にぶれが生じたりという現象が生じる場合がある。そこで、このような場合に、ノイズが重畳する環境にあると判定することができる。このような場合にも、信頼性が低下するため、運転支援を停止したり、そのような状況であることを、画面や音により運転者に報せたりすることができる。

また、実施例１では、天候環境に応じた重み付けを行うにあたり、図１３に示すように、あらかじめデータベースに記憶させた特性に基づいて行うようにした。しかし、重み付けは、このようにあらかじめ設定された値に基づいて行うものに限定されるものではなく、例えば、エッジ強度あるいはその平均値や最高値などのように画像情報の入力の状態に相関する値に基づいて、重み付けを行うようにしてもよい。具体的には、エッジ強度やその平均値や最高値が相対的に低い場合には、相対的に高い場合に比べて、画像に関する情報の重み付けを低くしたり、あるいはレーダ２から得られる情報の重み付けを高くしたりしてもよい。

本発明の実施の形態の実施例１の物体検出装置を搭載した車両ＭＢを示す概略図であり、（ａ）は側方から見た図、（ｂ）は上方から見た図である。 前記実施例１の物体検出装置における物体検出制御の流れを示すフローチャートである。 前記実施例１の物体検出装置におけるコントロールユニットＣＵにて行われる各処理を行う部分を概念的に示すブロック図である。 前記実施例１の物体検出装置の物体検出制御における入力処理と情報変換処理との概略を説明する概念図である。 前記実施例１の物体検出装置におけるカメラ１の画像情報を説明する図であって、（ａ）は実施例１の物体検出装置を横から見た状態を示し、（ｂ）はカメラ１の撮像面１ａに投影された輝度画像を示しており、（ｃ）はカメラ１として赤外線カメラを用いた場合の赤外画像を示している。 前記実施例１の物体検出装置におけるカメラ１の画像情報を説明する図であって、（ａ）は実施例１の物体検出装置を上方から見た状態を示し、（ｂ）はカメラ１の撮像面１ａに投影された輝度画像を示しており、（ｃ）はカメラ１として赤外線カメラを用いた場合の赤外画像を示している。 前記実施例１の物体検出装置におけるカメラ１の画像情報の情報変換処理で用いるソーベルフィルタを示す概略図である。 前記実施例１の物体検出装置におけるカメラ１の画像情報の情報変換処理において、エッジの方向ベクトルの求め方の説明図であり、（ａ）は垂直エッジ成分算出用のフィルタを示し、（ｂ）は水平エッジ成分算出用のフィルタを示し、（ｃ）はエッジ強度とエッジ方向ベクトルとの関係を示している。 前記実施例１の物体検出装置におけるカメラ１の画像情報とレーダの距離検出の状態を示す説明図である。 前記実施例１の物体検出装置におけるカメラ１の画像情報の情報変換処理におけるオプティカルフローとレーダの距離検出の状態を示す説明図である。 前記実施例１の物体検出装置における抽出処理で用いる抽出特性を示す特性図である。 前記実施例１の物体検出装置において外部環境検出処理部１３で行う外部環境処理の一例の説明図であって、（ａ）は逆光を受けた場合の画像例を示し、（ｂ）は霧やもやなどの悪天候時の画像例を示し、（ｃ）はレーダ２による計測点の例を示している。 前記実施例１の物体検出装置において有効度重み付け処理部１４で行う有効度重み付け処理で用いる天候別の有効度重み付け特性を示す特性図である。 前記実施例１の物体検出装置において相関性重み付け処理部１５で行う相関性重み付け処理で用いる相関性重み付け特性を示す特性図である。 前記実施例１の物体検出装置における物体検出処理で用いる投票表ＴＳへの投票例を示す説明図である。 前記実施例１の物体検出装置におけるカメラ１による画像情報とレーダ２による計測点との関係を説明する説明図であり、（ａ）は画像情報を示し、（ｂ）は計測点を示している。 前記実施例１の物体検出装置におけるカメラ１による画像情報とレーダ２による計測点と投票との関係を説明する説明図であり、（ａ）はエッジ処理を行った画像情報を示し、（ｂ）は計測点と投票する領域との関係を示している。 前記実施例１の物体検出装置におけるカメラ１による画像情報を投票表ＴＳへ投票する位置関係を説明する説明図であり、（ａ）は側方から見た状態を示し、（ｂ）は上方から見た状態を示す。 本発明の実施の形態の実施例２の物体検出装置における物体検出処理で用いる投票表ＴＳへの投票例を示す説明図である。

符号の説明

１ カメラ（物体センサ）
２ レーダ（物体センサ）
１３ 外部環境検出処理部
１４ 有効度重み付け処理部（有効度重み付け手段）
１７ 信頼度判定処理部（信頼度判定手段）
ＡＢ 車両（物体）
ＣＵ コントロールユニット（物体検出手段）
ＭＢ 車両
ＭＳ 二輪車（物体）
ＰＥ 人物（物体）
ＴＲ 樹木（物体）
ＷＯ 壁（物体）

Claims (13)

1. 物体センサで検出された物体検出対象領域の物体に関する情報を取得する取得ステップと、
   取得された物体に関する情報に基づいて物体を検出する物体検出ステップと、
   を実行して物体検出対象領域に存在する物体を検出する物体検出方法であって、
   前記物体検出ステップに、前記取得ステップで取得された物体に関する情報に基づいて外部環境を検出する外部環境検出ステップと、物体センサから得られた情報とこの情報を変換した変換情報との少なくとも一方の情報である物体検出に使用する検出用情報に対して、外部環境を反映させる外部環境反映ステップと、が含まれていることを特徴とする物体検出方法。
2. 物体検出対象領域の物体に関する情報を取得する物体センサと、
   この物体センサから得られた情報に基づいて物体を検出する物体検出手段と、
   を備えた物体検出装置であって、
   前記物体センサとして、物体検出対象領域の物体に関する画像情報を取得する画像情報取得手段と、物体検出対象領域を検出波で走査して取得された検出波の反射に基づく物体に関する検波情報を取得する検波情報取得手段と、が含まれ、
   前記物体検出手段には、画像情報と検波情報とに基づいて、外部環境を検出する外部環境検出手段が含まれ、
   前記物体検出手段は、物体検出に外部環境検出手段の判断結果を反映させることを特徴とする物体検出装置。
3. 前記外部環境とは、天候環境と走行環境と機器作動環境との少なくとも１つであることを特徴とする請求項２に記載の物体検出装置。
4. 前記物体検出手段は、物体検出に外部環境検出手段の判断結果を反映させるにあたり、検出された外部環境に応じた前記検出用情報の有効度の重み付けを行う有効度重み付け手段を備えていることを特徴とする物体検出装置。
5. 前記物体検出手段は、車両に搭載され、少なくとも車両の進行方向に存在する物体を検出することを特徴とする請求項２〜４のいずれか１項に記載の物体検出装置。
6. 前記物体検出手段は、外部環境検出手段が検出する外部環境に応じて、物体検出手段の検出結果の信頼度を判定する信頼度判定手段を備えていることを特徴とする請求項２〜５のいずれか１項に記載の物体検出装置。
7. 前記信頼度判定手段の判定結果に基づいて、物体検出に基づいて行う処理を変更する変更手段を備えていることを特徴とする請求項２〜６のいずれか１項に記載の物体検出装置。
8. 前記外部環境検出手段は、画像情報から求めた物体画像のエッジ強度と、検波情報から求めた物体の反射強度と、に基づいて天候環境を検出することを特徴とする請求項２〜７のいずれか１項に記載の物体検出装置。
9. 前記有効度重み付け手段は、天候環境の種類別に、前記画像情報およびこの画像情報を変換して得られた画像変換情報と、前記検波情報およびこの検波情報を変換して得られた検波変換情報と、のいずれかを含む検出用情報の重み付けがあらかじめ設定されている
   ことを特徴とする請求項４〜８のいずれか１項に記載の物体検出装置。
10. 前記検出用情報は、画像情報から得られたエッジ、エッジ強度、方向ベクトル分散、および、検波情報から得られた反射強度、相対速度のいずれかが含まれていることを特徴とする請求項９に記載の物体検出装置。
11. 前記物体検出手段は、検出する物体の種類別に、前記検出用情報のうちで検出に有効な情報のみを抽出する抽出手段を備えていることを特徴とする請求項４〜１０のいずれか１項に記載の物体検出装置。
12. 前記物体検出手段は、検出する物体と前記処理情報との相関性に基づいて、処理情報の物体検出に対する有効度に応じた重み付けを行う相関性重み付け手段を備えていることを特徴とする請求項４〜１１のいずれか１項に記載の物体検出装置。
13. 前記信頼度判定手段は、物体の種類別に、その検出に有効な処理情報ごとに、有効度に応じた係数を乗じて得られた値の和に基づいて検出結果の信頼度を判定することを特徴とする請求項６〜１２のいずれか１項に記載の物体検出装置。

Images