JP2009031299A - 周辺監視センサ - Google Patents

Abstract

【課題】物体の相対位置、相対速度、物体形状などを確実にセンシングする周辺監視センサを得る。
【解決手段】周辺監視センサ１は、ミリ波レーダ２、画像センサ３、信号処理部４を具備し、各センサが検出したデータについてエリア分けを行い、所定のエリア内に存在する物体（ターゲット）については、両センサが取得した情報に基づいて、物体に関する情報を作成する。ミリ波レーダは、遠距離の物体の距離、速度の測定が得意で、画像センサは、物体の幅、角度の測定が得意であるので、それぞれの得意のデータを組み合わせることにより、正確な情報を得ることができる。信号処理部４は、ミリ波レーダが検知した物体の存在場所に画像センサが検知した物体情報を組み合わせて物体面であることを判断する。
【選択図】図１

Description

本発明は、自動車の自動走行制御システムなどに使用され、物体（ターゲット）の相対位置、相対速度、物体形状などをセンシングする周辺監視装置に関する。

自動車の自動走行に代表される走行制御システムなどにおいて、周辺監視センサは、ドライバの目の代わりとならなければならない。したがって、物体の相対位置（距離）、相対速度、物体形状を確実にセンシングする装置が必要である。現在、自動車用に市販されている周辺監視センサでは、そのような周辺監視センサは存在していない。

従来より自動走行制御システム（ＡＣＣ）には、前方（又は、後方、側方）の物体を認識するために、ミリ波レーダ、又は、カメラを使用した画像センサが使用されてきた。ところが、ミリ波レーダは、物体までの距離を計るのが得意だが、物体の形（大きさ、幅）を認識するのが苦手である。画像センサは、逆に測距が苦手で、物体の形の認識が得意である。

このように、従来の周辺監視センサとしては、物体の相対位置、相対速度、物体形状を確実にセンシングする装置がなかった。
本発明は、物体の相対位置、相対速度、物体形状などを確実にセンシングする周辺監視センサを得ることを目的とするものである。

本発明は、上記目的を達成するため、ミリ波レーダと画像センサを組み合わせる（フュージョン）することにより物体の相対位置、相対速度、物体形状を正確に捕らえる装置を得る。
本発明は、ミリ波レーダと画像センサと信号処理部を具備する周辺監視センサにおいて、前記信号処理部は、所定のエリア内に存在する物体については、前記ミリ波レーダから取得した情報と前記画像センサから取得した情報に基づいて、前記物体に関する情報を作成する。

本発明によれば、物体の相対位置、相対速度を捕らえるのが得意なミリ波レーダと、物体の形状を認識することが得意な画像センサをフュージョンすることにより、自動走行に代表される走行制御システムなどに、正確な周辺情報を提供することができる。
本発明においては、前記ミリ波レーダは、速度、距離などの物体の存在検知の役割を持ち、前記信号処理部は、前記ミリ波レーダによる存在検知場所に対して、前記画像センサによる角度、幅などの物体端情報を組み合わせて、物体面であることを判断する。

本発明によれば、物体の相対位置、相対速度、物体形状などを確実にセンシングする周辺監視センサを得ることができる。
本発明によれば、物体の相対位置、相対速度、物体形状などを確実にセンシングする周辺監視センサを得ることができる。

以下、本発明の実施形態について図を用いて説明する。
図１は、本発明を適用した周辺監視センサの構成を示す図。
周辺監視装置１は、ミリ波レーダ２、画像センサ３、信号処理部４から構成される。

ミリ波レーダ２は、ミリ波のビームを前方に送信して反射波を受信し、この反射波を生じさせた物体の情報を検出する。
ミリ波レーダ２の長所としては、１０ｍから１２０ｍまでの比較的遠距離にある物体（ターゲット）の距離、速度が精度良く測定可能であり、雨、霧などの影響を受けることが少ない。一方、短所としては、物体の横方向位置（角度）、幅、１０ｍ以下の近距離にある物体の距離、速度が正確に測定できないことなどがある。

ミリ波レーダは、受信したミリ波信号からピークを検出し、データとして、ピークのある相対距離、ピークの相対速度、ピークの自車に対する横方向位置（角度）、ピークのパワーなどが得られる。
画像センサ３は、撮像手段により車両の前方の画像を取得し、この画像を処理することにより、前方にある物体の情報を検出する。

画像センサの長所としては、物体の角度、幅を精度良く測定できる。また、撮像手段のレンズ交換により測定範囲を広範囲に調整できる。一方、短所としては、雨、霧など環境の影響を受ける、距離測定の精度が低いということなどがある。
画像センサ３は画像処理により画像中のエッジを検出し、データとして、距離、相対位置、信頼度などが得られる。

信号処理部４は、ＣＰＵ、ＲＡＭ、ＲＯＭなどから構成される。図１には、信号処理部４の概略の機能が示されている。
ミリ波レーダ２と画像センサ３から取得した各データは、エリア分けされる。エリアについて図２を用いて説明する。
図２（Ａ）は、ミリ波レーダ２と画像センサ３の測定エリアを示し、（Ｂ）は、各エリアごとに、ミリ波レーダ２と画像センサ３のデータの優劣を比較した表である。

ミリ波レーダ２は、狭い幅で遠距離（１２０ｍ程度）までのエリア１１，１２，１４をカバーし、画像センサ３は、広い幅で近距離（３０ｍ程度）までのエリア１２，１３，１４，１５をカバーする。なお、エリア１１，１２は、ミリ波レーダ２のエリアと画像センサ３のエリアとで重複している。
（Ｂ）に示すように、ミリ波レーダ２は、３０〜１２０ｍのエリア１１、１０〜３０ｍのエリア１２では距離、速度を精度良く検出するが、１０ｍより近距離では、距離、速度の精度はやや低下する。画像センサ３は、０〜１０ｍの近距離では、角度、距離を精度良く検出し、１０〜３０ｍでは、角度については精度が良いが、距離の精度はやや低下する。１０ｍより遠距離では、角度、距離とも精度が悪い。

ここで、周辺監視センサ１を自動走行制御に使用する場合、走行制御に必要な制御エリアと、制御の予測に必要な予測エリアと、エリア内に物体が存在すること自体が危険な危険エリアとに分けることが考えられる。この場合、物体情報として、予測エリアの物体については、存在情報を提供し、制御エリアの物体については相対位置、相対速度、物体形状を提供し、危険エリアの物体については、危険であることを表示するディジタル信号を提供する。

このために、エリア１１，１３，１５を予測エリア、エリア１２を制御エリア、エリア１４を危険エリアとすることが考えられる。なお、予測エリア、制御エリア、危険エリアの範囲の設定は、図に示すものに限定されるものではない。また、各エリアは、信号処理部４のメモリに記憶される。
図１におけるエリア分けでは、制御エリア１２と危険エリア１４をフュージョンエリアとして、ミリ波レーダ２と画像センサ３の両方から得たデータとを融合（フュージョン）して処理を行うことにより、物体に関する情報を精度の高いものとする。その他の予測エリア１１，１３，１５については、従来のセンサと同様に、それぞれ単独のセンサ２，３により物体の存在を示す情報を得る。

図１に戻り、ミリ波レーダ２と画像センサ３から得た各データは、以上説明したエリア分けに従って、ミリ波レーダエリアのデータと、フュージョンエリアのデータと、画像センサエリアのデータに分けられる。
各データから、各物体ごとに相対位置、相対速度、物体形状などの物体情報が抽出され、自動走行制御装置などに使用するために出力される。また、これらの情報は、物体を継続して検出するための追跡情報として、物体情報抽出にフィードバックされる。

図３のフローチャートを用いて、信号処理部４における処理を説明する。
画像センサ３から得た画像データは、ステップＳ１１でデータ加工及び過去対応の処理が行われる。データ加工は従来の画像処理と同様に行われる。過去対応は、今回取得したデータを過去の処理で取得した情報により補完する処理を行う。ミリ波レーダ２から得たミリ波データについても、ステップＳ２１で同様にデータの加工及び補完がされる。

続いて、画像データは、ステップＳ１２で、ミリ波データとペアとなるか否かが判定され、ミリ波データは、ステップＳ２２で、画像データとペアとなるか否かが判定される。これらの処理は、図１のエリア分けに相当する。
ステップＳ１２で、ミリ波データとペアでないと判定された画像データ（予測エリア１３，１５で検出）については、ステップＳ１３で、画像データのみにより画像エッジの抽出が行われる。ステップＳ２２で、ペアでないと判定されたミリ波データ（予測エリア１１で検出）については、ステップＳ２３で、ミリ波データのみによりミリ波エッジの抽出が行われる。画像エッジとミリ波エッジが抽出されると、ステップＳ３５へ進んで、物体面の認識（後述）が行われる。

制御エリア１２と危険エリア１４で検出されたデータについては、ステップＳ３１以降へ進み、ミリ波データと画像データの両方を用いてフュージョン処理が行われる。
図４は、フュージョン処理をイメージ的に示す図である。物体（車両）２１が前方に存在する場合、ミリ波レーダ２によりピークパワー２２が検出され、画像センサ３により画像エッジ２３が検出される。ピークパワー２２と画像エッジ２３との組み合わせにより１つの物体２１の存在が正確に確定される。そして、図２（Ｂ）に示したように、ミリ波レーダ２と画像センサ３のそれぞれが得意とする情報を使用して、物体情報を得る。すなわち、制御エリア１２にある物体については、距離と速度はミリ波データを使用し、角度については画像データを使用する。また、危険エリア１４にある物体については、角度と距離は画像データを使用し、速度についてはミリ波データを使用する。

図３に戻り、ステップＳ３１でフュージョン処理によりピークパワーを得る。この結果、エッジが１つだけ抽出されたときは、ステップＳ３２で、抽出されたエッジに対応する仮想エッジが作成される。そして、抽出したエッジと仮想エッジとで１組のフュージョンエッジが作成される。
ステップＳ３１で抽出されたエッジの数が２以上であれば、ステップＳ３３でミリ波データのピークパワーがグループ化され、ステップＳ３４で、グループ化されたピークパワーについて信頼度のチェックが行われて、信頼性の高いデータによりフュージョンエッジ（物体端）が確定される。

図５にステップＳ３３のグループ化処理とステップＳ３４のフュージョンエッジ確定処理のロジックを示す。図５において、物体２１の両側に画像エッジ２３が表示されており、更にその隣に、画像エッジ２３の信頼度２４が表示されている。
ピークパワーについてグループ化がされる。グループ化は、１つのエッジごとに行われる。この結果、図示のように、１つの物体２１に対して、２つのグループ化されたピークパワー２２，２２が得られる。なお、１つの物体２１に対して３以上のエッジが検出される場合もある。

各グループのピークパワー２２をそれぞれ積分し、フュージョンパワーを以下の式により計算する。
フュージョンパワー＝ミリ波ゲイン係数×ピークパワー積分値
＋画像ゲイン係数×エッジ信頼度
ここで、ミリ波ゲイン係数と画像ゲイン係数は、図５（Ｂ）に示すように、距離によって異なる値となる。ミリ波ゲイン係数は、相対距離が約１０ｍ以上では１で、１０ｍ以下では低下していく。画像ゲイン係数は、約１５ｍ以下では１で、１５ｍ以上になると低下していく。

以上の計算により得たフュージョンパワーが高い場合、その画像エッジ２３を物体端と認識する。ここで認識された画像エッジがフュージョンエッジとして確定される。
図３に戻り、ステップＳ３５で、エッジの対応付けにより物体面の認識がされる。物体面の認識には、フュージョンエッジ（ステップＳ３４）、仮想エッジ（ステップＳ３２）と、画像エッジ（ステップＳ１３）、ミリ波エッジ（ステップＳ２３）が使用される。

図６にステップＳ３５のフュージョン処理による物体面認識のロジックを示す。なお、画像エッジのみによる物体面の認識と、ミリ波エッジ（仮想エッジを含む）のみによる物体面の認識については、従来の周辺監視センサと同様の手法で行うことができる。
フュージョンロジックによる物体面認識には、エッジ２３のどちら側に物体があるかを判断する。このために、最初にエッジ同士の相関パワーを以下の式により計算し、相関パワーの高いエッジの間に物体２１が存在すると認識する。

相関パワー＝ミリ波ゲイン係数×片側ピークパワー積分値
＋画像ゲイン係数×エッジ相関信頼性
ここで、ミリ波ゲイン係数と画像ゲイン係数は、図５（Ｂ）に示したものが使用される。片側パワー積分値は、画像エッジ２３を中心として両側のピークパワー２２を積分した値で、図６（Ｂ）に示すように、物体２１のある方がない方よりも相関パワーは高い値になる。エッジ相関信頼性は、画像データを用いて、背景色と物体の色との識別により物体２１を区別する。

図７は、フュージョン結果の出力のイメージを示す。フュージョン処理により物体２１が検出され、相対距離、相対速度、幅、横位置などの情報が確立される。また、各情報については、図２を用いて説明したように、ミリ波データと画像データの信頼性が高い方のデータが使用される。したがって、物体に関する情報として精度の高いデータが得られる。

図３に戻り、ステップＳ３５で認識された各物体面について、ステップＳ３６で、制御用データが作成出力される。この制御用データは、例えば、自動走行支援システム用ＥＣＵで使用される。また、危険エリア１４に物体２１が検出されたときは、図示しない警報装置へディジタル値の警報信号を出力する。
ステップＳ３５のエッジ対応付けで得られた各種データは、ステップＳ１１とステップＳ２１の過去対応の処理にフィードバックされる。この過去対応の処理は、例えば、物体２１がフュージョンエリア１２，１４（図２）から他のエリアに移動した場合、一方のセンサのデータの信頼度を一時的に下げ、また、ミリ波レーダ２又は画像センサ３がそれぞれ苦手とするデータを、フュージョンデータで置き換えることにより、確実な追跡処理が行える。なお、この過去対応の処理は、フュージョンエリア１２，１４にある物体に関する処理においても利用可能である。

また、前述のように、画像センサ３が雨、距離など環境の影響を受け易いというように、各センサの特性によりそれぞれのデータの性能劣化がある。この性能劣化に対しては、例えば、性能劣化の原因となる降雨を降雨センサにより検出したとき、劣化するデータを他のセンサによるデータに置き換えることにより、良好なデータを得ることができる。

本発明を適用した周辺監視センサの構成を示す図。 図１の周辺監視センサの検出エリアを示す図。 図１の周辺監視センサの動作を示すフローチャート。 図３の処理におけるフュージョン処理のイメージを示す図。 図３の処理におけるフュージョンロジック（物体端検出）を示す図。 図３の処理におけるフュージョンロジック（物体面認識）を示す図。 図３の処理におけるフュージョン結果の出力を示す図。

符号の説明

１ 周辺監視装置
２ ミリ波レーダ
３ 画像センサ
４ 信号処理部
１１，１２，１３，１４，１５ エリア
２１ 物体
２２ ピークパワー
２３ 画像エッジ
２４ 画像エッジ信頼度

Claims (7)

1. ミリ波レーダと画像センサと信号処理部を具備する周辺監視センサにおいて、
   制御に必要なエリアと制御の予測に必要なエリアとを記憶するメモリを有し、
   前記信号処理部は、所定のエリア内に存在する物体については、前記ミリ波レーダから取得した情報と前記画像センサから取得した情報に基づいて、前記物体に関する情報を作成し、
   前記信号処理部は、前記制御に必要なエリアで検出した物体には、相対位置、相対速度、物体形状を提供し、前記予測エリアで検出した物体には、存在情報を提供する、
   ことを特徴とする周辺監視センサ。
2. 物体が存在すること自体が危険な危険エリアを記憶するメモリを有し、前記信号処理部は、前記危険エリアに物体が存在することを検出した場合は、その旨を示す信号を出力する請求項１に記載の周辺監視センサ。
3. 前記制御に必要なエリアを、前記ミリ波レーダと前記画像センサのセンシングエリアの重なるエリアに一致させる請求項１に記載の周辺監視センサ。
4. 前記信号処理部は、前記ミリ波レーダと前記画像センサの重なるエリアから物体が外れる場合、このエリアから出る物体を追跡する手段を有する請求項３に記載の周辺監視センサ。
5. 前記信号処理部は、前記追跡時には、前記ミリ波レーダ又は前記画像センサの一方のデータの信頼度を一時的に下げる請求項４に記載の周辺監視センサ。
6. 前記信号処理部は、前記追跡時には、前記ミリ波レーダ又は前記画像センサにおける苦手なデータを前記追跡時に使用する情報のデータに置き換える請求項４に記載の周辺監視センサ。
7. 前記ミリ波レーダと前記画像センサの重なるエリアについても請求項５又は請求項６に記載の処理を行う周辺監視センサ。

Images