JP2006234513A - 障害物検出装置 - Google Patents

Abstract

【課題】障害物検出装置での障害物検出処理において、演算オーバーヘッドの増大を抑制するとともに、歩行者などの障害物の誤検出や未検出の件数を効果的に削減すること。
【解決手段】 検出結果照合手段１６０は、距離・方位・相対速度検出手段１５０の検出結果と立体物検出手段１１０の検出結果との間で矛盾があった場合に、適応制御の実行指令を発行する制御手段を備えている。即ち、検出結果照合手段１６０は、その適応制御の実行指令を意味するフィードバック信号Ｓ１を検出範囲限定手段１４１とビーム方向・形状演算手段１４２に出力する。ビーム方向・形状演算手段１４２は、ミリ波レーダを構成する各個別アンテナの各受信信号の重み係数Ａ_m （複素数；１≦ｍ≦Ｍ）を立体物検出手段１１０の検出結果に適応させて変更する。レーダービーム制御１２２は与えられた重み係数Ａ_m に基づいて各方向毎の探索データ（受信信号）に関する総和を生成する。
【選択図】図４

Description

本発明は、指向性が可変制御可能なミリ波レーダを有し、歩行者、自転車、または車椅子からなる障害物を検出する、車両に搭載される障害物検出装置に関する。
本発明は、障害物検出装置における歩行者などの検出処理において、その誤検出や未検出の件数を削減するのに有効である。

車両に搭載される障害物検出装置としては、例えば下記の特許文献１や特許文献２に記載されている装置などが公知である。これら従来の障害物検出装置に搭載されているミリ波レーダは、障害物を探索すべき方位を機械的な動作によってスキャニングするものが一般的である。
特開２００４−８５３３７ 特開平８−２４０６５８

しかし、レーダでスキャニングを行うと、スキャニング動作に伴って、騒音や振動が発生してしまう問題が生じるばかりでなく、データ探索に必要以上に時間が掛かってしまうと言う問題が生じる。
一方、スキャン動作を伴わない単一アンテナから成るミリ波レーダを用いた場合には、スキャン方式のミリ波レーダの場合よりも障害物の検出に掛かる時間を短くすることができ、また、車両などの電磁波の反射率が高い物体は精度良く検出される。

しかしながら、スキャン動作を伴わない単一アンテナから成るミリ波レーダを用いて、電磁波反射率の小さな歩行者などの障害物を検出する場合には、ミリ波レーダの受信信号における障害物のＳ／Ｎ比が小さく、また、特に歩行者は車両よりも反射特性や形状などが動的に変化し易いため、誤検出や未検出の件数を低減することが困難であった。

本発明は、上記の課題を解決するために成されたものであり、その目的は、１サイクルの処理時間を短くし、歩行者や自転車などの電磁波の反射率が小さな障害物の位置を精度良く検出することである。

上記の課題を解決するためには、以下の手段が有効である。
即ち、本発明の第１の手段は、アレーアンテナにより指向性が可変制御可能なミリ波レーダを有し、歩行者、自転車、または車椅子からなる障害物を検出する、車両に搭載される障害物検出装置において、車両の周辺の状態を推定または検出する外界情報取得手段と、外界情報取得手段から提供された外界情報に基づいて指向性を可変制御する指向性可変制御手段と、指向性可変制御手段によって指向性が適応制御された、ミリ波レーダの受信信号に基づいて、障害物の位置を求める障害物位置推定手段とを備え、アレーアンテナの各アンテナ素子によって受信された各受信信号に対する重み付けの変更によって、上記のミリ波レーダの指向性を可変制御することである。

各アンテナ素子により受信される受信信号を重み付け加算して得られる受信信号により、検出範囲の方向と幅とを制御することができる。すなわち、等価的に、アンテナの指向性特性を制御できるので、ミリ波レーダのビームの方向と幅を等価的に制御したのと同じである。よって、上記の指向性とは、この等価的にみた、ミリ波レーダのビームの方向と幅をいう。指向性の制御は、実際には、受信アンテナの指向性の制御であるが、以下では、理解を容易にするために、単に、ミリ波レーダのビームの方向と幅を制御するものとして表現している。
また、上記の重み付けの変更は、各受信信号に関する各重み係数（複素数）を変更することによって実施することができる。
また、上記の自転車や車椅子には、原動機付きのものを含む。また、上記の歩行者は複数の人の集団であっても良い。また、上記の外界情報取得手段としては、例えば車載カメラやカーナビゲーションシステムなどの装置を単数または複数任意に組み合わせて用いても良い。また、車載カメラとしては、例えばステレオカメラや赤外線カメラなどの撮像装置を必要に応じて任意に導入することができる。

また、本発明の第２の手段は、上記の第１の手段において、上記の指向性を上記の指向性可変制御手段によって、外界情報から推定される障害物の大きさ、形、電磁波反射特性または障害物までの距離に応じて可変制御することである。
例えば、車載カメラからの撮像データなどを解析すれば、障害物の大きさ、形、電磁波反射特性または障害物までの距離などを分析したり推定したりすることができる。例えば、電磁波に対する歩行者の反射率は、車両の反射率よりも小さいと推定することができる。

そこで、上記の外界情報には、例えば、車載カメラからの撮像データなどを含めても良いし、それらの分析結果や推定結果だけを含める様にしても良い。
そして、例えば障害物の水平方向の広がり（幅）が広い場合には、その幅に応じてミリ波レーダのビーム幅を広げても良い。また、障害物の電磁波に対する反射率が低い場合には、その反射率に応じてミリ波レーダのビーム幅を狭めても良い。

また、本発明の第３の手段は、上記の第１又は第２の手段において、障害物に対する検出結果の信頼度を算定する信頼度算定手段を設け、この信頼度算定手段によって、指向性可変制御手段によって指向性が適応制御された、ミリ波レーダの受信信号に基づき、かつ、外界情報から推定される障害物の大きさ、形、電磁波反射特性または障害物までの距離に応じて、信頼度を定量的に算定することである。

例えば、指向性が適応制御されたミリ波レーダの受信信号から求められる距離対反射強度のグラフにおける障害物の発現パターンは、外界情報から推定される障害物の大きさ、形、電磁波反射特性または障害物までの距離に基づいて予想される障害物の発現パターンとの間にある程度の相関を持ち得る。そこで、例えば、これらの相関が強い場合ほど、障害物の検出結果に対する信頼性を高く算定することができる。

また、本発明の第４の手段は、上記の第１乃至第３の何れか１つの手段において、上記の外界情報取得手段に、車載カメラと、この車載カメラによって検出された障害物の方位を特定する方位特定手段とを備え、上記の外界情報に少なくともその方位を含めることである。

また、本発明の第５の手段は、上記の第４の手段において、上記の車載カメラをステレオカメラとし、上記の外界情報取得手段に、車載カメラによって検出された障害物までの距離をそのステレオカメラの視差に基づいて算定する距離算定手段を設け、上記の外界情報に少なくともその方位と距離とを含め、上記の障害物位置推定手段によって、その方位と距離とミリ波レーダが受信した受信信号に基づいて、障害物の位置を求めることである。

また、本発明の第６の手段は、上記の第４または第５の手段において、上記の外界情報に、少なくとも前記車両と前記障害物との相対速度に関する情報を含め、上記の障害物位置推定手段によって、その外界情報に基づいて障害物の探索範囲を限定して、目的の障害物の位置を求めることである。

また、本発明の第７の手段は、上記の第４乃至第６の何れか１つの手段において、車載カメラを用いて得られた障害物に対する第１の検出結果と、ミリ波レーダを用いて得られた障害物に対する第２の検出結果とを照合する検出結果照合手段を設け、第１の検出結果と第２の検出結果との間に不一致が生じた際には、上記の指向性可変制御手段によって上記の指向性を可変制御し、また、第１の検出結果と第２の検出結果とが一致した場合には、上記の指向性可変制御手段によってその指向性をそのまま据え置くか又は所定の標準状態に再設定することである。

また、上記の第４乃至第６の何れか１つの手段において、車載カメラを用いて得られた障害物に対する第１の検出結果と、ミリ波レーダを用いて得られた障害物に対する第２の検出結果とを照合する検出結果照合手段を設け、第１の検出結果と第２の検出結果との間に不一致が生じた際に、ミリ波レーダによって検出された障害物の位置に基づいて、車載カメラから得られた画像に対して部分的な領域限定を行い、その部分領域に限って特殊な画像処理（例：ガンマ補正、コントラスト調整、エッジ協調など）を施して、これによって検出対象をより検出し易くする様にしても良い。

また、本発明の第８の手段は、上記の第１乃至第７の何れか１つの手段において、上記の外界情報取得手段に、地図情報記憶装置を有するＧＰＳ受信システムと、障害物が観測される確率が一定以上あると推定される被観測領域の地図上における位置をＧＰＳ受信システムを用いて特定する被観測領域特定手段とを備え、上記の外界情報に少なくともこの被観測領域の位置情報を含めることである。

また、上記の被観測領域の範囲を示す情報に基づいて、車載カメラから得られた画像に対して部分的な領域限定を行い、その部分領域に限って特殊な画像処理（例：ガンマ補正、コントラスト調整、エッジ協調など）を施して、これによって検出対象をより検出し易くする様にしても良い。
なお、上記の被観測領域としては、例えば、横断歩道や交差点や通学路の周辺やガードレールの切れ目付近などの領域を想定することができる。
以上の本発明の手段により、前記の課題を効果的、或いは合理的に解決することができる。

以上の本発明の手段によって得られる効果は以下の通りである。
即ち、本発明の第１の手段によれば、外界情報取得手段から提供された外界情報に基づいてミリ波レーダの指向性を可変制御（適応制御）することができるので、ミリ波レーダによって受信された受信信号の中から、障害物の検出に必要な部分だけが畳み込まれた信号を得ることができる。その結果、受信信号のＳ／Ｎ比を大きくすることができるので、反射率が小さな歩行者、自転車、または車椅子からなる障害物を従来よりも高い精度で検出することができる。

また、本発明の第１の手段によれば、スキャン動作を必要としないミリ波レーダ（アレーアンテナ）が用いられるので、探索データの収集時間を効果的に短縮できる。したがって、本発明の第１の手段においては、ミリ波レーダが実行するデータ収集に掛かる時間が、障害物の検出処理性能のボトルネックになる恐れも、同時に確実に解消される。

したがって、本発明の第１の手段によれば、歩行者、自転車、または車椅子からなる障害物を検出する際の検出処理時間を確実に効果的に短縮することができると同時に、その検出結果に対する信頼性を大きく向上させることができる。

また、本発明の第２の手段によれば、歩行者、自転車、または車椅子からなる障害物が有する物理的な特徴や特性に応じて、ミリ波レーダの指向性を可変制御することができるので、データ解析に不要な部分をより的確に取り除くことができる。したがって、解析対象となる受信信号におけるＳ／Ｎ比を容易または確実に向上させることができる。

また、本発明の第３の手段によれば、障害物に対する検出結果の信頼度が適切に定量化されるので、例えば周知のファジー制御理論を導入することによって、障害物の種類や位置や大きさを高速かつ的確に判定することが可能となる。

また、本発明の第４乃至第６の何れか１つの手段によれば、車載カメラによって現場周辺の実時間の撮像データが収集されるので、その撮像データまたはその撮像データに対する画像解析結果に基づいて、即ち、それらの情報を上記の外界情報に含めて、検出範囲を限定して適切なピーク探索方法に変更することによって、反射強度の弱い歩行者からの反射信号を正確に取り出すことが可能となる。

例えばミリ波レーダのデータ解析処理において周知のＦＭ−ＣＷ方式を採用する場合などには、上記の外界情報に障害物の方位や障害物までの距離や障害物との相対速度などを含めて、それらによって適応的に障害物の探索範囲を限定し、更に、指向性が適応制御されたミリ波レーダの受信信号に基づいて適切なピーク探索を実施すると、Ｓ／Ｎ比が効果的に向上する場合がある。
即ち、本発明の第４乃至第６の何れか１つの手段を用いると、例えば上記の様な作用によって、効果的に障害物の探索範囲を絞り込むことができるので、反射特性が良好でない歩行者からの反射波を正確に取り出すことができ、これによって、歩行者検出に関する信頼性を大きく向上させることができる。

また、本発明の第７の手段によれば、車載カメラによる検出結果と指向性を制御しないミリ波レーダによる検出結果とが一致した場合には、その検出結果を採用し、それらが一致しない場合には、車載カメラの検出結果に基づいてミリ波レーダの指向性を制御、すなわち、方向を車載カメラにより検出された障害物の方向とし、ビームの幅を検出された障害物の幅や反射特性に応じて決定する。これにより、ミリ波レーダの検出範囲を制限することで、精度の高い障害物検出が可能となる。また、平常時には、指向性を制御しない受信信号のみを用いて障害物検出の演算処理を簡潔に実施することもできる。

したがって、本発明の第７の手段によれば、処理オーバーヘッドが相対的に大きな動作モードで装置を常時動作させておく必要がなくなる。このため、本発明の第７の手段によれば、実際の障害物に対する具体的な検出状況に応じて、装置の処理オーバーヘッドを更に効果的に削減することができる。また、このような処理オーバーヘッドの削減に関する作用・効果は、障害物検出装置を実際に商品化する上で、装置規模の観点から非常に重要になる。

また、本発明の第８の手段によれば、車両の前方の情報を地図情報として得ることができ、その地図情報（横断歩道やガードレールの途切れた場所）から、歩行者の存在する可能性の高い領域を求めることができる。その地図情報に基づいてミリ波レーダの指向性を制御することができる。この結果、ミリ波レーダから受信された受信信号の中から、上記の被観測領域に当たる部分だけを取り出して、そこの受信信号だけを障害物の検出処理の分析対象とすることができる。即ち、被観測領域の範囲を示す情報を上記の外界情報に含めて、ミリ波レーダから収集された受信信号中における解析対象部分を更に効果的に絞り込むことができる。

まず最初に、本発明の典型的な実施形態を図１を用いて例示する。図１は、本発明に基づいて比較的簡単に構成することができる障害物検出装置１０の論理ブロック図である。この論理ブロック図（障害物検出装置１０）は、本発明の請求項７の検出結果照合手段を備える方式に関する具体的な装置構成を例示している。

この本障害物検出装置１０は、１つのセンサ１１と、それとは別の外界情報取得手段１３を備えている。この外界情報取得手段１３から提供される外界情報は、センサ１１とは別の他のセンサの検出結果であってもいいし、データベース上の地図情報などであってもよい。特に、外界情報取得手段１３を車載カメラにした場合には、障害物検出装置１０の構成は、本発明の請求項７の構成を具現した１例となる。

検出結果照合手段１４は、外界情報取得手段１３から提供される外界情報（本発明の第７の手段の第１の検出結果）と、センサ１１から得られる受信信号（本発明の第７の手段の第２の検出結果）とを照合する部分である。
以下、これらの各部の動作について順次説明する。
（１）センサ１１からの受信信号は第１の障害物検出手段１２で処理され障害物が検出される。
（２）検出結果照合手段１４によって、センサ１１の検出結果が外界情報と照らし合わされる。

（３）その照合の結果、センサ１１の検出結果が外界情報と一致すればそのまま障害物位置推定手段へ結果が通知される。また、そうでなければ第２の障害物検出手段１６が実行される。この第２の障害物検出手段１６では外界情報を基に、センサ１１での検出範囲が限定され、障害物の属性なども考慮して適切な検出閾値や検出ロジックが適応される。
（４）最後に、障害物位置推定手段１５において、センサ検出結果と外界情報に基づいて障害物の位置が推定される。
例えばこの様な装置構成や処理方式に従えば、例えば本発明の第７の手段に基づく前述の作用・効果等を得ることができる。

なお、上記の外界情報取得手段１３では、照合結果に関する信号を上記の検出結果照合手段１４から受け取る様にしても良いし、また、障害物位置推定手段１５に対して外界情報に関する信頼度などの情報を提供する様にしても良い。
図２は、その様な観点から上記の障害物検出装置１０の構成を拡張して処理方式を改良した障害物検出装置２０の論理的な構成を示している。この図２の外界情報取得手段２３では、検出結果照合手段２４における照合結果に関する信号を検出結果照合手段２４から受け取る様にしており、また、外界情報に関する信頼度などの有用な情報を障害物位置推定手段２５に対して提供する様にしている。

この障害物検出装置２０の処理方式を更に具体化して、上記の適応制御と同様の適応制御を、複数のセンサに対して略対称的に取り入れたセンサ融合方式を実現する障害物検出装置の構成例を図３に示す。この障害物検出装置３０では、複数のセンサ（センサ２１やセンサ３１）毎に、それぞれ専用の信号処理手段（第１の障害物検出手段２２、３２）が具備されており、まず最初にここで、障害物の検出処理が行われる。そして各センサの検出結果が検出結果照合手段２４によって照合され、目的の障害物が複数のセンサで共通に検出されているか否かが識別される。

この時、障害物が全てのセンサで共通に検出された場合には、それぞれの第１の障害物検出手段２２、３２の結果を持ち寄って障害物の位置が推定される。
一方、いずれかのセンサで障害物が検出されなかった場合には、検出できなかったセンサ側の処理系では、他のセンサから検出結果を入手し、探索範囲を限定して、検出できなかったそのセンサ側の処理系の次段に用意された第２の障害物検出手段によって、再度障害物の検出を試みる。例えば、第１の障害物検出手段２２で検出に失敗した場合には、同一のセンサ側の処理系にある第２の障害物検出手段２６で再検出を試みる。

なお、ここで第２の障害物検出手段とは、検出したい障害物が検出できるように適応的に感度を再調整して、適切な検出ロジックに切り替えた同一のセンサ側の処理系にある次段の検出手段のことを言う。
信頼度推定手段２７、３７では、それぞれのセンサの各処理系で求められた各検出結果の信頼度を算定する。そして、第２の障害物検出手段による検出結果と既に他のセンサ側の処理系で求められている他の第１の障害物検出手段による検出結果を持ち寄って障害物の存在もしくは位置が推定される。

この様な処理方式に従えば、それぞれのセンサの各処理系において、それぞれ第２の障害物検出手段２６、３６が具備されるので、何れのセンサ側で障害物の検出に失敗した場合にも、その失敗が発生したセンサ側の処理系にて、その障害物の再検出を試みることができる。したがって、複数のセンサ間において、一部が主となり他が従う例えば障害物検出装置１０などの様な固定された主従関係を構成することなく、複数のセンサ間に可変的な相補関係を構成することができる。

以下、本発明をより具体的な実施例に基づいて説明する。
ただし、本発明の実施形態は、以下に示す個々の実施例に限定されるものではない。

本実施例１では、ミリ波レーダ、ステレオカメラ、及び車速センサを用いた装置構成を例示する。図４に本実施例１の障害物検出装置１００の論理的な構成を示す。ミリ波信号を処理する検出処理系を構成する障害物検出処理部１９０に対して、必要な探索データ（受信信号）を提供するミリ波レーダ１０１は、アレーアンテナを構成するＭ個のアンテナ素子から成り、その出力が本実施例１のミリ波レーダの受信信号として周波数解析手段１２１に入力される。アンテナ素子の個数Ｍは、２以上の適当な数で良い。通常は、３以上３０以下程度の範囲内の適当な数が選択される。周波数解析手段１２１は、ＦＭ−ＣＷ方式における周知の周波数解析を行う。

このＦＭ−ＣＷ方式では、三角波で周波数変調したミリ波を被検出体に向って出力することで、その反射波の受信時における、受信波と送信波との周波数差に基づいて、対象物の距離を測る。この方法によると、周波数を経時的に徐々に高くしていく上昇変調区間と徐々に低くしていく下降変調区間との間に見られる、反射波の周波数シフトの関係から自車両と障害物との距離と相対速度を求めることができる。

第１のピーク検出手段１３１は、各受信信号に対する重み係数Ａ_m （複素数；１≦ｍ≦Ｍ；Ｍは２以上の適当な自然数）を全て１に設定し、かつ、その重み付けに基づいて各アンテナ素子毎の受信信号に関する総和を生成して、その合成データに対して、即ち、最も広い幅の指向性に指向性が適応制御されたミリ波レーダの受信信号に対して歩行者、自転車、または車椅子からなる障害物を示すと思われる信号のピークを検出する検出手段である。
距離・方位・相対速度検出手段１５０は、第１のピーク検出手段１３１の検出結果に基づいて、障害物の距離と方位と自車両との相対速度を検出して、その検出結果を検出結果照合手段１６０に出力する。

一方、ステレオ画像の処理系の立体物検出手段１１０は、ステレオカメラ１０２から得られる左右双方の撮像データに対して、視差に基づいて目的の障害物を立体的に検出する検出手段である。
検出結果照合手段１６０は、距離・方位・相対速度検出手段１５０の検出結果と立体物検出手段１１０の検出結果との間で矛盾があった場合に、指向性の適応制御の実行指令を発行する制御手段を備えている。即ち、検出結果照合手段１６０は、その適応制御の実行指令を意味するフィードバック信号Ｓを検出範囲限定手段１４１とビーム方向・形状演算手段１４２に出力する。

ビーム方向・形状演算手段１４２は、上記の重み係数Ａ_m を立体物検出手段１１０の検出結果に適応させて変更する手段である。
レーダービーム制御１２２は、与えられた上記の重み係数Ａ_m に基づいて各アンテナ素子毎の受信信号に関する総和を演算することにより、指向性が適応制御されたミリ波レーダの受信信号を生成する手段である。
第２のピーク検出手段１３２は、レーダービーム制御１２２によって生成されたその合成データに対して歩行者、自転車、または車椅子からなる障害物を示すと思われる信号のピークを検出する手段である。

信頼度推定手段１７０は、第２のピーク検出手段１３２の検出結果に基づいて、目的の障害物の検出結果に対する信頼度を推定する手段である。この信頼度推定手段１７０による推定結果は障害物判定１８０に対して出力される。この障害物判定１８０が、請求項１における障害物位置推定手段に相当する。

図５に、上記の障害物検出装置１００の制御手順を例示する。
ステレオ画像の処理系（立体物検出手段１１０）では、まず最初に本図５のステップ３１において、ステレオカメラ１０２（：左右２台のカメラ１０２Ｌと１０２Ｒ）で得られた画像を所定の記憶領域に格納する。
次に、ステップ３２では、その記憶領域に格納された左右の両画像から同一の障害物を抽出し、その障害物の左右の画像上での位置の差を抽出する。そして、この抽出結果に基づいてその障害物までの距離と方位が計算される。

一方、ミリ波レーダ側の観測系では、まず最初に図５のステップ３３において、ミリ波レーダ（ミリ波レーダ１０１）からの受信信号を取得し、その受信信号を周波数解析する（周波数解析手段１２１）。
次に、ステップ３４では、ターゲット（目的の障害物）を検出する。即ち、上記の周波数解析の結果から反射強度の強いピークを検出し（第１のピーク検出手段１３１）、障害物までの距離・相対速度・方位を検出する（距離・方位・相対速度検出手段１５０）。

その後、ステップ３５では、これら2 つのセンサの検出結果を照合する（図４の検出結果照合手段１６０）。
ステップ３５の判定の結果、ある障害物が２つのセンサで共に検出された場合には、ステップ３７に進み、障害物判定手段において各センサの検出結果を融合して距離・相対速度・方位などの情報を得る。

一方、ステレオ画像処理で検出された障害物がミリ波レーダで検出されなかった場合には、ステップ３６に進み、ミリ波レーダの適応制御（：以下、これを注視制御と言うことがある。）を実行する。ステップ３６に進むこの適応制御（注視制御）への実行指令が、図４のフィードバック信号Ｓに相当する。

（注視制御の具体的な制御手順）
以下、この様なミリ波レーダの注視制御（：図５のステップ３６）について、その詳しい制御手順を、図６を用いて例示的に順次説明する。図６に、障害物検出装置１００の制御手順を例示する。
（ステップ４１）ステレオ画像処理の検出結果、即ち、障害物までの距離や障害物の幅や方位などの情報を取得する。以下、この情報を画像解析結果Ｙと言う。また、車載されている車速センサから自車両の速度ｖを入手する。

（ステップ４２）アレーアンテナの各受信信号の重み係数Ａ_m （複素数；１≦ｍ≦Ｍ）を制御して（本発明の適応制御）、障害物の方位にビームを向ける。この時、障害物の水平方向の広がり（幅）に応じてビーム幅を狭くして感度を向上させる。
図７−Ａに指向性に対する適応制御前における距離ｒ対反射強度Ｐのグラフを例示する。また、図７−Ｂには、その適応制御後における距離ｒ対反射強度Ｐのグラフである。このグラフは、アレーアンテナのアンテナ素子の個数Ｍを１０前後の適当な数に想定して模式的に描いたものである。

これらのグラフからも分かる様に、重み係数Ａ_m を一律に１とすると、ミリ波レーダ単独の場合と略同様に、指向性が考慮されずに前方の広い範囲全体に対して一括処理が行われるので、受信信号のＳ／Ｎ比が低くなることなどが原因となって、横断歩道を歩行中の歩行者などを検出することが難しい（図７−Ａ）。
しかし、本ステップ４２によれば、上記の様な手順によって指向性に対する適応制御が行われるので、歩行者などの障害物の検出に適した図７−Ｂの様な適応された距離ｒ対反射強度Ｐのグラフを得ることができる。

（ステップ４３）上記の画像解析結果Ｙを基に、ミリ波レーダの受信信号に対する周波数解析の解析結果（距離−受信強度データ）における障害物の探索範囲を限定し、ビームの幅や推定される障害物の反射特性などに応じて検出閾値も適応的に制御する。
ここで探索範囲を限定する際には、画像解析結果における検出誤差にも注意する。特に車載カメラにおけるステレオ検出では、視差の確保に限界があるので、その検出誤差は角度方向よりも距離方向に大きくなり易い。
（ステップ４４）指定された探索範囲内の障害物を指定された検出閾値に基づいて探索する。図７−Ｂのように指向性が適応制御された受信強度と距離の特性から障害物を精度良く認識することができる。
（ステップ４５）受信強度および周波数解析結果のピーク形状などを基に障害物存在の信頼度を計算する。
その後、図５のステップ３７に制御を移し、以上の注視制御の結果（信頼度を含む検出結果) とステレオの検出結果を融合して障害物の位置やその確信度を判定する（障害物判定１８０）。

（実施例１の効果）
上記の様にステレオカメラからの情報を利用して、ミリ波レーダ側にて再び検出処理（：注視制御に基づく再探索又は再計算）を実行すると、障害物の検出範囲を精査して効果的に限定することができるので、受信信号において歩行者に該当する反射強度のピークを見つけ易くすることができる。その結果、上記の制御手順に従えば、例えば図７−Ｂに例示される様なＳ／Ｎ比の向上によって障害物が容易かつ的確に検出できるようになる。したがって、上記の障害物検出装置１００を用いれば、その作用によって装置の検出精度や信頼性を向上させることができる。

また、通常のＦＭ−ＣＷ方式のミリ波レーダは、周波数を経時的に徐々に高くしていく上昇変調区間と徐々に低くしていく下降変調区間を備えており、目的の対象物が２つの区間で共通に検出されないとその対象物までの距離や相対速度が検出できない。

しかし、本実施例１の装置構成では、ステレオ画像によってその対象物までの距離を取得でき、また、速度センサによってその対象物までの速度を取得できるため、ＦＭ−ＣＷ方式のミリ波レーダにおける上記の２つの区間の内のいずれか一方の区間でしかその対象物が検出できなかった場合でも、そのターゲットの存在を確認する情報が得られる。
また、検出範囲の限定によって、上昇変調区間と下降変調区間とで検出されたピークの対応づけを間違うことなく障害物を正確に検出することができる。また、通常のピーク抽出は、反射強度に対する閾値判定によって実施されるが、指向性を的確に制御しても歩行者の信号強度が十分に確保できない場合もある。しかし、この様な場合でも、検索範囲を適当に限定することによってより詳細で正確な探索が可能となり、これによって歩行者検出の精度や信頼性を向上できる場合がある。

また、ステレオカメラから得られた上記の画像解析結果Ｙにおける障害物までの距離や、ステップ４１で取得した自車両の速度ｖは、一方の区間でのみ対象物を認識した場合の補正に用いて、対象物の認定の精度を向上させることができる。

また、本実施例１の装置構成によれば、上昇変調区間と下降変調区間の何れか一方の情報しか得られなかった場合でも、上記の手順（ステップ４５）において検出結果の信頼度を計算する際の材料としてその情報を利用することができる。この時、上昇変調区間と下降変調区間の２つの区間で正確に目的の対象物が検出できた場合に比べれば、検出の信頼度はより低いものとなるが、歩行者のように電波反射強度が時々刻々と変動するようなターゲットに対しては、上記の様にして信頼度を計算する際の材料（：利用可能な情報）を増やすことにより、従来よりも検出の安定性を向上させることができる。これらの情報は、障害物の検出範囲の限定に利用することもできるし、障害物の検出結果に対する信頼度の算定に利用することもできる。

したがって、本発明に基づいて実施される例えば以上のような注視制御では、従来のレーダ信号処理では扱わなかった情報をも利用しているので、上記の障害物検出装置１００においては、従来よりも高い検出性能を得ることができる。

ステレオカメラとレーダセンサ（ミリ波レーダ）を用いて構成された障害物検出装置の主要構成を図８に例示する。この障害物検出装置２００は、実施例１の障害物検出装置１００において障害物検出処理部１９０をそのまま残し、同障害物検出装置１００における立体物検出手段１１０の部分だけを機能拡張することにより構成されたものであり、ステレオ画像処理の検出処理系についても、実施例１と類似の適応制御が取り入れられている。即ち、図４の立体物検出手段１１０に対応する図８の障害物検出装置２００の立体物検出手段１１０′は、図３の符号２６に相当する第２の障害物検出手段を後から詳しく説明する様に備えており、この拡張によって、図３の障害物検出装置３０における処理方式が、本障害物検出装置２００においてより具体的に実現されている。

言い換えれば、障害物検出装置２００の対応点探索手段２２１と対応点グループ化手段２２２と障害物検出手段２５０の３つの手段が図３の第１の障害物検出手段２２に相当し、画像処理手段２３１と対応点再探索手段２３２と障害物検出手段２３３と探索範囲制限手段２４０の４つの手段が図３の第２の障害物検出手段２６に相当し、信頼度推定手段２７０が図３の信頼度推定手段２７に相当している。

図９、図１０に上記の障害物検出装置２００の制御手順を例示する。
図９の制御手順では、まず最初にステップ５１で、ステレオカメラ２０２で撮影した左右２枚の画像が所定の記憶領域に格納される。
次に、ステップ５２では、その左右２枚の画像に対して、対応点探索手段２２１によって対応点の探索を実行し、見つかった対応点を対応点グループ化手段２２２によって適切にグループ化し、更に、視差情報から障害物までの距離と方位を障害物検出手段２５０によって検出する。

一方、ミリ波レーダ２０１（レーダセンサ）から得られた受信信号によっても、障害物までの距離や相対速度、方位などが障害物検出手段２１０によって検出される（ステップ５３、５４）。
そして、実施例１と同様にこれら２つのセンサの検出結果が、検出結果照合手段２６０によって照合される（ステップ５５）。

このステップ５５（検出結果照合手段２６０）で、ある障害物が２つのセンサで共に検出された場合には、次段のステップ５７（障害物判定手段２８０）において各センサの検出結果を融合して距離・相対速度・方位などの情報を得る。
一方、ステップ５５（検出結果照合手段２６０）で、レーダセンサで検出された障害物がステレオ画像処理で検出されていないことが判明した場合には、上記の実施例１と同様に検出結果照合手段２６０からフィードバック信号Ｓが発行されて、ステレオ画像処理の注視制御が実行される。以下、図１０を使って、ステレオ画像処理の注視制御（図９のステップ５６）について具体的な手順を説明する。

（ステップ６１）レーダセンサの検出結果を取得する。
（ステップ６２）レーダセンサの検出結果をステレオカメラの座標系に変換して探索すべき画像範囲を限定する。
（ステップ６３）決定した画像範囲を調査して適切な画像補正処理( ガンマ補正やエッジ強調、コントラスト補正など) を施す。
（ステップ６４）限定された画像範囲内で左右画像の対応点探索を再度実施する。この際、ウィンドウサイズや検出閾値などを適応的に変更する。
（ステップ６５）再探索の結果から障害物を検出するとともに、障害物に対応した視差を持つ画素の数などを基に障害物存在の信頼度を計算する。

その後の融合処理５７では、以上の注視制御の結果（信頼度を含む検出結果）とレーダセンサの検出結果を融合して障害物を判定する。
この様な処理方式に従えば、オーバーヘッドの大きな画像補正処理( ガンマ補正やエッジ強調、コントラスト補正など) を必要最小限の領域に限定して実施することができるので、障害物に係わる検出精度の高い適切な画像解析処理を従来よりも少ないオーバーヘッドで実行することが可能となる。

本発明に基づく障害物検出装置１０の論理的な構成を示すブロック図。 本発明に基づく障害物検出装置２０の論理的な構成を示すブロック図。 本発明に基づく障害物検出装置３０の論理的な構成を示すブロック図。 実施例１の障害物検出装置１００の論理的な構成を示すブロック図。 障害物検出装置１００の制御手順を例示するフローチャート。 障害物検出装置１００の制御手順を例示するフローチャート。 指向性に対する適応制御前の距離対反射強度のグラフ。 指向性に対する適応制御後の距離対反射強度のグラフ。 実施例２の障害物検出装置２００の論理的な構成を示すブロック図。 障害物検出装置２００の制御手順を例示するフローチャート。 障害物検出装置２００の制御手順を例示するフローチャート。

符号の説明

１０ ： 障害物検出装置
１１ ： センサ
１２ ： 第１の障害物検出手段
１３ ： 外界情報取得手段
１４ ： 検出結果照合手段
１５ ： 障害物位置推定手段
１６ ： 第２の障害物検出手段
１００ ： 障害物検出装置（実施例１）
２００ ： 障害物検出装置（実施例２）

Claims (8)

1. アレーアンテナにより指向性が可変制御可能なミリ波レーダを有し、歩行者、自転車、または車椅子からなる障害物を検出する、車両に搭載される障害物検出装置において、
   前記車両の周辺の状態を推定または検出する外界情報取得手段と、
   前記外界情報取得手段から提供された外界情報に基づいて前記指向性を可変制御する指向性可変制御手段と、
   前記指向性可変制御手段によって前記指向性が適応制御された、前記ミリ波レーダの受信信号に基づいて、前記障害物の位置を求める障害物位置推定手段と
   を有し、
   前記指向性は、
   前記アレーアンテナの各アンテナ素子によって受信された各受信信号に対する重み付けの変更によって可変制御される
   ことを特徴とする障害物検出装置。
2. 前記指向性可変制御手段は、
   前記外界情報から推定される前記障害物の大きさ、形、電磁波反射特性または前記障害物までの距離に応じて、前記指向性を可変制御する
   ことを特徴とする請求項１に記載の障害物検出装置。
3. 前記障害物に対する検出結果の信頼度を算定する信頼度算定手段を有し、
   前記信頼度算定手段は、
   前記指向性可変制御手段によって前記指向性が適応制御された、前記ミリ波レーダの受信信号に基づき、かつ、前記外界情報から推定される前記障害物の大きさ、形、電磁波反射特性または前記障害物までの距離に応じて、前記信頼度を定量的に算定する
   ことを特徴とする請求項１または請求項２に記載の障害物検出装置。
4. 前記外界情報取得手段は、
   車載カメラと、
   前記車載カメラによって検出された前記障害物の方位を特定する方位特定手段と
   を有し、
   前記外界情報は、
   少なくとも前記方位を含む
   ことを特徴とする請求項１乃至請求項３の何れか１項に記載の障害物検出装置。
5. 前記車載カメラはステレオカメラであり、
   前記外界情報取得手段は、
   前記車載カメラによって検出された前記障害物までの距離を、前記ステレオカメラの視差に基づいて算定する距離算定手段を有し、
   前記外界情報は、
   少なくとも前記方位と前記距離とを含み、
   前記障害物位置推定手段は、
   前記方位と前記距離と前記ミリ波レーダが受信した受信信号に基づいて、前記障害物の位置を求める
   ことを特徴とする請求項４に記載の障害物検出装置。
6. 前記外界情報は、
   少なくとも前記車両と前記障害物との相対速度に関する情報を含み、
   前記障害物位置推定手段は、
   前記外界情報に基づいて、前記障害物の探索範囲を限定して、前記障害物の位置を求める
   ことを特徴とする請求項４または請求項５に記載の障害物検出装置。
7. 前記車載カメラを用いて得られた前記障害物に対する第１の検出結果と、前記ミリ波レーダを用いて得られた前記障害物に対する第２の検出結果とを照合する検出結果照合手段を有し、
   前記指向性可変制御手段は、
   前記第１の検出結果と前記第２の検出結果との間に不一致が生じた際に、前記指向性を可変制御し、
   前記第１の検出結果と前記第２の検出結果とが一致した場合には、前記指向性をそのまま据え置くか又は所定の標準状態に再設定する
   ことを特徴とする請求項４乃至請求項６の何れか１項に記載の障害物検出装置。
8. 前記外界情報取得手段は、
   地図情報記憶装置を有するＧＰＳ受信システムと、
   前記障害物が観測される確率が一定以上あると推定される被観測領域の地図上における位置を前記ＧＰＳ受信システムを用いて特定する被観測領域特定手段と
   を有し、
   前記外界情報は、
   少なくとも前記被観測領域の位置情報を含む
   ことを特徴とする請求項１乃至請求項７の何れか１項に記載の障害物検出装置。