JP2020041933A - 周囲物体判定方法及び周囲物体判定装置 - Google Patents

Abstract

【課題】自車両の周囲に存在する一つの物体を、一つの物体として検出することが可能な周囲物体判定方法、及び周囲物体判定装置を提供する。【解決手段】第１の測距センサ２２ａが他車両を検出可能な第１のセンサ領域Ｂ１と、第２の測距センサ２２ｂが他車両を検出可能な第２のセンサ領域Ｂ２との間にセンサ死角が存在する。第１の測距センサ２２ａにより検出される測距点をクラスタリングして取得する点群Ｑ１、及び、第２の測距センサ２２ｂにより検出される測距点をクラスタリングして取得する点群Ｑ２が存在する場合には、カメラ２１により撮像された画像に存在する他車両の輪郭を囲む識別領域Ｐを設定する。そして、各点群Ｑ１、Ｑ２が識別領域Ｐに含まれる場合には、各点群Ｑ１、Ｑ２は、同一物体により検出された測距点によるものと判定する。【選択図】図１

Description

本発明は、周囲物体判定方法及び周囲物体判定装置に関する。

例えば、特許文献１には、側方探査モードでの測定結果に基づく側方検出物標と同時に、後方探査モードでの測定結果に基づき重複エリアで重複エリア移動物標が検出されていれば、側方検出物標を側方検出エリアでの追跡対象物標として登録すると共に、その登録した追跡対象物標に、重複エリア移動物標の情報を引き継ぐレーダ装置が示されている。

特開２０１２−１５９３４８号公報

しかしながら、センサで自車両の周囲物体を検出する場合、センサのセンシング範囲の広さには限界がある。また、２つのセンサを用いる場合には、２つのセンサの間にはセンサ死角が存在するので、１つの物体をセンサ死角を跨いで２つのセンサが検出した場合には、１つの物体を複数の物体と誤認するおそれがあった。

本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、自車両の周囲に存在する一つの物体を、一つの物体として正しく認識することが可能な周囲物体判定方法、及び周囲物体判定装置を提供することにある。

上記目的を達成するため、本願発明は、自車両に設置されたカメラと、自車両の周囲に存在する物体までの距離を測定する第１のセンサ及び第２のセンサを用いて、物体を判定する周囲物体判定方法であり、第１のセンサが物体を検出可能な第１のセンサ領域と、第２のセンサが物体を検出可能な第２のセンサ領域との間にセンサ死角が存在する。第１のセンサを用いて、自車両の周囲に存在する第１の物体の位置を示す第１の測距点を検出し、第２のセンサを用いて、自車両の周囲に存在する第２の物体の位置を示す第２の測距点を検出し、検出した第１の測距点及び第２の測距点の各々をクラスタリングして第１の点群及び第２の点群を生成する。カメラの撮像領域に含まれる第１のセンサ領域に、第１の点群が存在し、且つ、カメラの撮像領域に含まれる第２のセンサ領域に、第２の点群が存在する場合には、カメラで自車両の周囲を撮像して画像を取得し、画像から自車両の周囲に存在する第３の物体を認識して、第３の物体が存在する領域である識別領域を設定する。第１の点群及び第２の点群が、識別領域内に含まれる場合には、第１の点群が示す第１の物体及び第２の点群が示す第２の物体は同一であると判定する。

本発明では、自車両の周囲に存在する一つの物体を、一つの物体として正しく認識することが可能になる。

図１は、本発明の実施形態に係る周囲物体判定装置、及びその周辺機器の構成を示すブロック図である。 図２は、自車両に搭載される複数の測距センサと、各測距センサで検出可能なセンサ領域、及び各測距センサで検出できないセンサ死角を示す説明図である。 図３は、自車両の側方に存在する他車両をカメラで撮像した画像に、測距センサで検出した測距点をクラスタリングして取得した点群を表示した説明図である。 図４は、自車両の側方に存在する他車両をカメラで撮像した画像、及び画像に含まれる他車両の輪郭を囲む識別領域を示す説明図である。 図５は、自車両の側方に存在する他車両をカメラで撮像した画像、及び測距センサで検出した測距点をクラスタリングして取得した点群、及び他車両の輪郭を囲む識別領域を示す説明図である。 図６は、自車両に対する他車両の車幅方向の位置（ｙ軸方向の位置）を算出する方法を示す説明図である。 図７は、自車両に対する他車両の前後方向の位置（ｘ軸方向の位置）を算出する方法を示す説明図である。 図８は、本発明の実施形態に係る周囲物体判定装置の処理手順を示すフローチャートである。 図９は、図８に示すフローチャートのステップＳ６の詳細な処理手順を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。
［本実施形態の構成の説明］
図１は、本発明の実施形態に係る周囲物体判定装置及びその周辺機器の構成を示すブロック図である。図１に示すように、本実施形態に係る周囲物体判定装置１０１は、車両センサ１０２、及び車両制御装置１０３に接続されている。

車両センサ１０２は、自車両の位置情報、及び走行状態を検出するセンサであり、ＧＰＳ受信機（Global Positioning System）３１と、車速センサ３２と、加速度センサ３３と、ジャイロセンサ３４を備えている。

ＧＰＳ受信機３１は、ＧＰＳ衛星より送信される自車両の測位情報を受信して、自車両の位置を特定する。

車速センサ３２は、自車両の走行速度を検出する。車速センサ３２は、例えば車輪と共に回転し円周に突起部（ギヤパルサ）が形成されたセンサロータと、このセンサロータの突起部に対向して設けられたピックアップコイルを有する検出回路と、を備える。そして、センサロータの回転に伴う磁束密度の変化を、ピックアップコイルによって電圧信号に変換し、この電圧信号から各車輪の車輪速度を測定する。各車輪の車輪速度の平均を車速として演算する。

加速度センサ３３は、自車両の前後方向の加減速度Ｇｘ、及び左右方向の横加速度Ｇｙを検出する。加速度センサ３３は、例えば固定電極に対する可動電極の位置変位を静電容量の変化として検出しており、加減速度と方向に比例した電圧信号に変換する。この電圧信号から加減速度Ｇｘを判断し、加速を正の値とし、減速を負の値とする。同様に、横加速度Ｇｙを判断し、右旋回を正の値とし、左旋回を負の値とする。

ジャイロセンサ３４は、自車両のヨー、ロール、ピッチの各方向の角速度を検出する。

周囲物体判定装置１０１は、カメラ２１と、第１の測距センサ２２ａと、第２の測距センサ２２ｂ、及び制御部２３（コントローラ）を備えている。なお、実施形態では、図２に示すように、測距センサが、通常、自車両の前端部、後端部、右前端部、右後端部、左前端部、左後端部、の合計６箇所に設けられる。図１では、自車両の右前部に設けられる第１の測距センサ２２ａ（第１のセンサ）、及び右後部に設けられる第２の測距センサ２２ｂ（第２のセンサ）のみを記載している。なお、測距センサの数及び設置する位置は、図２に示す例に限定されない。

カメラ２１は、例えば自車両に１つ或いは複数設置されており、ＣＣＤ（Charge Coupled Device）方式、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）方式などの撮像方式を利用して、自車両周辺を撮像して、周囲画像を取得する。カメラ２１が撮像する撮像領域は、図２に示すように、第１の測距センサ２２ａで物体を検出可能な第１のセンサ領域Ｂ１の少なくとも一部、及び第２の測距センサ２２ｂで物体を検出可能な第２のセンサ領域Ｂ２の少なくとも一部を含んでいる。

カメラ２１は、車両に搭載される全方位モニタ用のカメラと兼用してもよい。また、カメラ２１は、自車両のイグニッションオン時（自車両が電気自動車、ハイブリッド車両である場合はパワーオン時）において、一定の時間間隔をおいて常時、周囲画像を取得する。或いは、自車両の周囲に複数の点群が存在する場合に限って、周囲画像を取得する。「複数の点群」とは、クラスタリングにより取得される点群であり、詳細は、後述する。

図２に示すように、第１の測距センサ２２ａ、及び第２の測距センサ２２ｂは、自車両の異なる箇所に設置されており、自車両の側方に他車両、２輪車、歩行者などの物体が存在する場合に、この物体までの距離を測定するセンサである。本実施形態では、検出対象とする物体として、自車両の周囲に存在する他車両を検出する場合を例に挙げて説明する。

第１、第２の測距センサ２２ａ、２２ｂとして、例えばレーダ、ライダーを用いることができる。なお、以下では第１、第２の測距センサ２２ａ、２２ｂを区別して示す場合にはサフィックス「ａ」、「ｂ」を付して示し、区別しない場合には、第１、第２の測距センサを総称して「測距センサ２２」という。

測距センサ２２は、検出対象の物体までの距離の測定精度が、カメラ２１で撮像される画像を用いて測定する物体までの距離の測定精度よりも高い。即ち、画像解析技術によりカメラ２１で取得した周囲画像の中に含まれる物体までの距離を測定する精度よりも、測距センサ２２により自車両から前記物体までの距離を測定する精度の方が高い。これとは反対に、前記物体の形状や輪郭（他車両、２輪車、歩行者の形状、輪郭など）を認識する精度は、測距センサ２２による認識精度よりも、カメラ２１で撮像した画像を解析して前記物体の種別を認識する精度の方が高い。

測距センサ２２の一例であるレーダは、自車両の側方などの、自車両周囲の任意の方向の所定領域に対して、走査しつつ間欠的にレーザ光を照射し、物体で反射した光をそれぞれ受光することによって、自車両の周囲の物体を各測距点として検出する。測距点とは、レーザ光の反射光によって特定される物体の一部が存在する位置を示す。

また、測距センサ２２の一例であるライダーは、自車両周囲の任意の方向の所定領域に対して、走査しつつ間欠的にレーザ光よりも波長の短い電磁波を照射し、前述したレーダと同様に、物体で反射した電磁波を自車両の周囲の物体を各測距点として検出する。なお、レーダ、ライダー以外にも、自車両の周囲に存在する物体の位置を認識する他の測距センサを用いてもよい。

図２は、自車両Ｍ１に搭載される複数の測距センサと、各測距センサで検出可能なセンサ領域、及びいずれの測距センサでも検出できないセンサ死角を示す説明図である。また、図２は自車両Ｍ１を上方から見た図（天頂図）である。以下、図２を参照して、センサ領域、センサ死角、及びセンサ死角が存在することにより生じる問題点、について説明する。

図２に示すように、自車両Ｍ１の、前端部、後端部、右前端部、右後端部、左前端部、左後端部、の合計６箇所に測距センサ２２が設けられている。自車両Ｍ１の右前部に搭載された第１の測距センサ２２ａには、自車両Ｍ１の右の前方及び右の側方に向く所定角度の領域が、物体を検出可能な領域（第１のセンサ領域Ｂ１）として設定されている。また、自車両Ｍ１の右後部に搭載された第２の測距センサ２２ｂには、自車両Ｍ１の右の後方及び右の側方に向く所定角度の領域が、物体を検出可能な領域（第２のセンサ領域Ｂ２）として設定されている。

第１のセンサ領域Ｂ１は、第１の測距センサ２２ａの搭載位置から放射状に広がっており、第１の測距センサ２２ａでのみ検出可能な領域Ｂ１１、第２の測距センサ２２ｂで検出可能な領域と重複する領域Ｂ１２、及び自車両Ｍ１の前端部に設けられた測距センサ２２で検出可能な領域と重複する領域Ｂ１０からなる。

第２のセンサ領域Ｂ２は、第２の測距センサ２２ｂの搭載位置から放射状に広がっており、第２の測距センサ２２ｂでのみ検出可能な領域Ｂ２１、第１の測距センサ２２ａで検出可能な領域と重複する領域Ｂ１２、及び自車両Ｍ１の後端部に設けられた測距センサ２２で検出可能な領域と重複する領域Ｂ２０からなる。

更に、１つの測距センサ２２のセンサ領域には限界が有る。このため、隣接するセンサ領域Ｂ１とセンサ領域Ｂ２の間には、第１の測距センサ２２ａ及び第２の測距センサ２２ｂの何れも物体を検出できない領域であるセンサ死角Ｂ３が存在する。なお、自車両の左の側方においても同様にセンサ死角Ｂ４が存在する。更に、自車両の前方及び後方にも、隣接する測距センサ２２の間には、センサ死角が存在する。実施形態では、自車両Ｍ１の右側方に存在するセンサ死角Ｂ３を例に取り、説明を続ける。

図２に示すように、自車両Ｍ１の右側方の第１のセンサ領域Ｂ１、第２のセンサ領域Ｂ２、及びセンサ死角Ｂ３の各領域に、１つの物体の例である他車両Ｍ２が位置する場合がある。換言すれば、１つの物体である他車両Ｍ２が、センサ死角Ｂ３を跨いで、第１のセンサ領域Ｂ１、第２のセンサ領域Ｂ２の中に位置する場合がある。

即ち、他車両Ｍ２の前側は、第１のセンサ領域Ｂ１に含まれているので、第１の測距センサ２２ａにより他車両Ｍ２の測距点が検出され、検出された測距点による点群Ｑ１（詳細は後述）が得られる。また、他車両Ｍ２の後側は第２のセンサ領域Ｂ２に含まれているので、第２の測距センサ２２ｂにより他車両Ｍ２の測距点が検出され、検出された測距点による点群Ｑ２が得られる。しかし、センサ死角Ｂ３においては、他車両Ｍ２の測距点は検出されず、点群は得られない。

このため、第１の測距センサ２２ａ、及び第２の測距センサ２２ｂが、自車両Ｍ１の側方であって、センサ死角Ｂ３を跨いで第１のセンサ領域Ｂ１及び第２のセンサ領域Ｂ２の双方に存在する周囲物体（他車両Ｍ２）を検出する。この場合、第１の測距センサ２２ａ、及び第２の測距センサ２２ｂは、他車両Ｍ２に基づく２つの点群Ｑ１、Ｑ２を検出することになる。これらの点群Ｑ１、Ｑ２は、センサ死角Ｂ３により分離されているため、点群Ｑ１、Ｑ２が同一物体により検出されたものか否かを判定することができない。本実施形態では、カメラ２１で撮像した周囲画像を用いて測距センサ２２の検出結果を補完することにより、２つの点群Ｑ１、Ｑ２が同一物体から検出されたものか否かを判定する。詳細については、後述する。

図１に戻って、制御部２３は、測距点検出部１１と、クラスタリング部１２と、周囲物体認識部１３と、対応付け処理部１４と、物体算出部１５を備えている。

測距点検出部１１は、第１の測距センサ２２ａ、または、第２の測距センサ２２ｂで検出される各測距点のデータを取得する。例えば、図２に示したように、第１の測距センサ２２ａは、自車両Ｍ１の周囲にレーザ光を出力し、第１のセンサ領域Ｂ１に存在する物体で反射した光を測距点として検出する。この測距点のデータを取得する。同様に、第２の測距センサ２２ｂで検出された測距点のデータを取得する。

即ち、測距点検出部１１は、第１の測距センサ２２ａ（第１のセンサ）を用いて、自車両Ｍ１の周囲に存在する物体（第１の物体）の位置を示す測距点（第１の測距点）を検出する。また、第２の測距センサ２２ｂ（第２のセンサ）を用いて、自車両Ｍ１の周囲に存在する物体（第２の物体）の位置を示す測距点（第２の測距点）を検出する。

クラスタリング部１２は、測距点検出部１１で検出された測距点をクラスタリングする。クラスタリングとは、測距点検出部１１で検出された複数の測距点に基づき、自車両Ｍ１からの距離がほぼ等しい測距点の集合を点群として纏める処理を示す。
具体的に、クラスタリング部１２は、図２に示したように、第１のセンサ領域Ｂ１で検出した測距点（第１の測距点）、及び、第２のセンサ領域Ｂ２で検出した測距点（第２の測距点）の各々をクラスタリングして点群Ｑ１（第１の点群）、及び、点群Ｑ２（第２の点群）を生成する。

クラスタリング方法として、「Kd-tree」などを用いて近傍探索し、設定した距離の閾値内に含まれる点をクラスタリングしていく手法を用いることができる。他のクラスタリング方法として、例えば「Nearest Neighbor法」や「K-Means法」などの既存の手法を用いることができる。測距点をクラスタリングすることにより得られる点群には、任意に定義された点群位置、及び点群の縦方向、及び横方向の長さが対応付けられる。点群位置とは、点群を代表する位置を示し、例えば、点群の重心位置や外接長方形のある頂点の位置等、任意の位置に設定することができる。

図３は、自車両の側方に存在する他車両をカメラ２１で撮像した周囲画像Ｄ１に、測距センサ２２で検出した測距点をクラスタリングして取得した点群を表示した説明図である。点群を表示した周囲画像Ｄ１は、クラスタリングして取得した複数の点群を、カメラ２１の座標系のデータに変換し、自車両Ｍ１に設置したカメラ２１、測距センサ２２の設置位置の座標データに基づき、クラスタリングした点群の位置データを、カメラ２１の座標系に変換することにより生成することができる。

前述の図２に示したように、自車両Ｍ１の側方には、第１のセンサ領域Ｂ１と第２のセンサ領域Ｂ２の間にセンサ死角Ｂ３が存在する。このため、第１の測距センサ２２ａは、他車両Ｍ２に基づく、点群Ｑ１を取得し、第２の測距センサ２２ｂは、他車両Ｍ２に基づく、点群Ｑ２を取得する。取得された各点群Ｑ１、Ｑ２のデータは、図示しないＲＡＭ（Random access memory）などの記憶部に記憶される。

周囲物体認識部１３は、クラスタリング部１２において検出される点群の数が閾値以上（例えば、２個以上）である場合に、カメラ２１で撮像された自車両Ｍ１の周囲画像を取得する。周囲物体認識部１３は、取得した周囲画像に基づいて、自車両Ｍ１の周囲に存在する物体を検出する。更に、周囲物体認識部１３は、物体が検出された場合にこの物体の形状、輪郭を認識する。更に、周囲物体認識部１３は、認識した形状、輪郭に基づいて、周知のテンプレートマッチングの手法などを用いて、物体の種別、例えば他車両、２輪車、歩行者などを認識する。

また、周囲物体認識部１３は、周囲画像に含まれる物体（本実施形態では他車両とする）の画像に基づき、周囲画像内に物体が位置する領域を示す識別領域を設定する。図４は、周囲画像Ｄ２中に他車両Ｍ２が含まれる場合において設定される識別領域Ｐを示す説明図である。図４に示すように、周囲物体認識部１３は、周囲画像Ｄ２中に他車両Ｍ２の輪郭を囲む領域である矩形状の識別領域Ｐを設定する。なお、識別領域Ｐの形状は矩形状に限定されるものではなく、台形、円、楕円、などの各種の形状に設定してもよい。また、識別領域Ｐの形状は図４に示すように、領域の外縁の一部が他車両Ｍ２の輪郭を含むように設定される事が好ましい。また、識別領域Ｐの形状は他車両Ｍ２の輪郭と同一形状であっても良い。

即ち、周囲物体認識部１３は、カメラ２１の撮像領域に含まれる第１のセンサ領域Ｂ１に、点群Ｑ１（第１の点群）が存在し、且つ、撮像領域に含まれる第２のセンサ領域Ｂ２に、点群Ｑ２（第２の点群）が存在する場合には、カメラ２１で自車両Ｍ１の周囲を撮像して画像を取得する。そして、取得した画像から自車両Ｍ１の周囲に存在する物体（第３の物体）を認識して、認識した物体が存在する領域である識別領域Ｐを画像上に設定する。

対応付け処理部１４は、周囲物体認識部１３で設定された識別領域Ｐの位置に基づいて、クラスタリング部１２で取得した複数の点群を対応付ける処理を行う。対応付け処理部１４は、識別領域Ｐ内に複数の点群が存在する場合に、これらの点群は同一の物体による測距点の点群であるものと判断する。

具体的に、クラスタリング部１２で実施されるクラスタリングにより、図３の周囲画像Ｄ１に示したように、２つの点群Ｑ１、Ｑ２が取得された場合には、これらの点群Ｑ１、Ｑ２が、図４の周囲画像Ｄ２に示した識別領域Ｐ内に含まれるか否かを判定する。図５の周囲画像Ｄ３は、各点群Ｑ１、Ｑ２が共に識別領域Ｐ内に存在する例を示している。

点群Ｑ１、Ｑ２が識別領域Ｐ内に含まれるか否かの判定は、例えば、点群Ｑ１、Ｑ２が占有する領域全体の所定の割合以上（例えば、８０％以上）の領域が識別領域Ｐ内に存在するか否かにより行う。点群Ｑ１及びＱ２の８０％以上の領域が識別領域Ｐ内に存在する場合に、点群Ｑ１、Ｑ２は識別領域Ｐ内に含まれるものと判定する。或いは、各点群Ｑ１、Ｑ２を構成する領域の全てが識別領域Ｐ内に存在する場合に、各点群Ｑ１、Ｑ２が識別領域Ｐ内に含まれるものと判定してもよい。対応付け処理部１４は、測距センサ２２で検出された測距点をクラスタリングして算出された複数の点群が、１つの識別領域Ｐ内に存在すると判定された場合には、これらの点群は、同一の物体による測距点の点群であると判断する。

即ち、対応付け処理部１４は、点群Ｑ１（第１の点群）、及び、点群Ｑ２（第２の点群）が、識別領域Ｐ内に含まれる場合には、第１の点群が示す第１の物体、及び第２の点群が示す第２の物体は同一であると判定する。

図１に戻って、物体算出部１５は、クラスタリング部１２で算出された点群のデータに基づいて、周囲物体認識部１３で認識された物体（他車両）の位置を算出する。以下、図６、図７に示す説明図を参照して、他車両Ｍ２の位置を検出する方法について説明する。

図６は、自車両Ｍ１に対する他車両Ｍ２の車幅方向の位置（ｙ軸方向の位置）を算出する方法を示す説明図である。クラスタリングにより、他車両Ｍ２による点群Ｑ１、Ｑ２が取得された場合には、物体算出部１５は、点群Ｑ１を構成する各測距点のうち最も自車両Ｍ１に近い測距点ｑ１を算出する。同様に、物体算出部１５は、点群Ｑ２を構成する各測距点のうち最も自車両Ｍ１に近い測距点ｑ２を算出する。そして、物体算出部１５は、測距点ｑ１とｑ２を結ぶ直線Ｌ１を算出し、直線Ｌ１を他車両Ｍ２の側面であるものと判断する。直線Ｌ１を算出することにより、自車両Ｍ１に対する他車両Ｍ２の車幅方向の位置（ｙ軸方向の間隔）を認識できる。

ここで、カメラ２１で撮像された画像を用いることで、他車両Ｍ２の車幅方向の位置を算出することも可能であるが、高い精度で算出することは難しい。本実施形態では、レーダやライダーなどの測距センサ２２で取得した測距点の集合である点群Ｑ１、Ｑ２を用いて他車両の車幅方向の位置を算出するので、高精度に車幅方向の位置を算出できる。また、測距センサ２２では、他車両Ｍ２の車幅を測定することはできないので、所定の数値（例えば、２ｍ）を他車両Ｍ２の車幅に設定する。

自車両Ｍ１が自動運転で走行する上で、自車両Ｍ１の右側方位置から他車両Ｍ２の側方位置までの距離、即ち、図６に示す直線Ｌ１の位置までの距離が必要となる。従って、直線Ｌ１の自車両Ｍ１に対する位置が高精度に算出できればよい。他車両Ｍ２の反対側の側面の位置ｎ１は検出する必要がないので、他車両Ｍ２の車幅を、上述のように所定の数値（例えば、２ｍ）に設定しても自車両Ｍ１の走行には大きな問題は生じない。

図７は、自車両Ｍ１に対する他車両Ｍ２の前後方向の位置（ｘ軸方向の位置）を算出する第１の方法を示す説明図である。物体算出部１５は、点群Ｑ１を構成する各測距点のうち、最も前方の測距点ｑ３（最もｘ軸座標の大きい点）を特定する。更に、物体算出部１５は、点群Ｑ２を構成する各測距点のうち最も後方の測距点ｑ４（最もｘ軸座標の小さい点）を特定する。そして、物体算出部１５は、点ｑ３が他車両Ｍ２の前端、点ｑ４が他車両Ｍ２の後端であるものと判断する。これにより他車両Ｍ２の前後方向の位置（ｘ軸座標）を高精度に検出することができる。

また、他車両Ｍ２の前後方向の位置を算出する第２の方法として、図４に示した周囲画像Ｄ２に設定する識別領域Ｐの左端ｐ１と右端ｐ２の位置座標を算出し、左端ｐ１と右端ｐ２の位置を、他車両Ｍ２の前端、後端とすることも可能である。また、上記の第１の方法と第２の方法を組み合わせて、他車両Ｍ２の前端、後端を算出してもよい。

図１に戻って、車両制御装置１０３は、周囲物体判定装置１０１で算出された周囲物体（例えば、他車両）の情報を取得する。更に車両制御装置１０３は、ＧＰＳ受信機３１で取得される自車両の位置情報、車速センサ３２で検出される車速情報、加速度センサ３３で検出される加速度情報、及びジャイロセンサ３４で検出される角速度情報を取得して、自車両の走行を制御する。

例えば、自車両Ｍ１を自動運転で走行させる場合には、車両制御装置１０３は、自車両Ｍ１と他車両Ｍ２との間隔、即ち自車両Ｍ１の右側方位置から他車両Ｍ２の側方位置までの距離が一定距離以上となるように、加速度、減速度、及び車速を実現するための駆動機構の動作、及びブレーキ動作を制御する。なお、駆動機構の動作は、エンジン自動車にあっては内燃機関の動作、電気自動車にあっては電動モータの動作を含み、ハイブリッド自動車にあっては内燃機関と電動モータとのトルク配分も含む。また、自車両が先行車両の追い越しなどの車線変更を行う場合には、車両制御装置１０３は、ステアリングアクチュエータの動作を制御して、車輪の動作を制御することで、自車両の転回制御を実行する。

なお、図１に示す周囲物体判定装置１０１の制御部２３は、ＣＰＵ（Central Processing Unit）、メモリ、及び入出力部を備えるマイクロコンピュータを用いて実現可能である。マイクロコンピュータを制御部２３として機能させるためのコンピュータプログラム（制御プログラム）を、マイクロコンピュータにインストールして実行する。これにより、マイクロコンピュータは、制御部２３が備える複数の情報処理部（１１〜１５）として機能する。

ここでは、ソフトウェアによって制御部２３を実現する例を示すが、勿論、各情報処理を実行するための専用のハードウェアを用意して、制御部２３を構成することも可能である。専用のハードウェアには、実施形態に記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）、及び従来型の電気回路や回路部品のような装置を含む。また、制御部２３に含まれる複数の情報処理部（１１〜１５）を個別のハードウェアにより構成してもよい。更に、周囲物体判定装置１０１の制御部２３は、車両にかかわる他の制御に用いる電子制御ユニット（ＥＣＵ：Electronic Control Unit）と兼用してもよい。

［本発明の処理動作の説明］
次に、上述のように構成された本実施形態に係る周囲物体判定装置１０１の処理手順を、図８、図９に示すフローチャートを参照して説明する。図８は、本実施形態に係る周囲物体判定装置１０１の処理手順を示すフローチャート、図９は、図８のステップＳ６に示す「複数の点群の対応付け処理」の詳細な処理手順を示すフローチャートである。

初めに、図８のステップＳ１において、測距点検出部１１は、第１の測距センサ２２ａ及び第２の測距センサ２２ｂで検出された測距点のデータを取得し、更に、クラスタリング部１２は、測距点検出部１１で取得した複数の測距点をクラスタリングする。クラスタリングすることにより、自車両Ｍ１からほぼ等距離に存在する測距点の集合である点群が取得される。

ステップＳ２において、クラスタリング部１２は、クラスタリングにより取得された点群の数を計測する。自車両Ｍ１の側方に存在する他車両Ｍ２を検出する場合には、自車両Ｍ１の側方の領域で取得された点群の数を計測する。例えば、図２に示した例では、第１のセンサ領域Ｂ１内において１つの点群Ｑ１が取得され、第２のセンサ領域Ｂ２内において１つの点群Ｑ２が取得されるので、クラスタリングにより取得された点群の数は「２」となる。

ステップＳ３において、クラスタリング部１２は、点群の数が閾値（例えば、２個）以上であるか否かを判定する。点群の数が閾値以上である場合には（Ｓ３；ＹＥＳ）、ステップＳ４に処理を進める。即ち、カメラ２１による撮像領域に含まれる第１のセンサ領域Ｂ１に第１の点群（Ｑ１）が存在し、且つ、撮像領域に含まれる第２のセンサ領域Ｂ２に第２の点群が存在する場合には、ステップＳ４に処理を進める。一方、点群の数が閾値以上でない場合には（Ｓ３；ＮＯ）、ステップＳ８に処理を進める。なお、本実施形態では、一例として点群の数の閾値を２個に設定するが、本発明はこれに限定されるものではなく、３個以上としてもよい。

ステップＳ４において、カメラ２１による周囲画像の撮像を開始する。カメラ２１は、第１のセンサ領域Ｂ１、第２のセンサ領域Ｂ２を含む自車両Ｍ１の側方の画像を撮像する。即ち、カメラ２１の撮像領域に含まれる第１のセンサ領域Ｂ１に、第１の点群（Ｑ１）が存在し、且つ、撮像領域に含まれる第２のセンサ領域Ｂ２に、第２の点群（Ｑ２）が存在する場合には、カメラ２１で自車両Ｍ１の周囲を撮像して画像を取得する。また、周囲物体認識部１３は、カメラ２１で撮像された画像を取得する。

ステップＳ５において、周囲物体認識部１３は、カメラ２１で撮像された画像から自車両Ｍ１の周囲に物体（第３の物体）が存在するか否かを判定する。上述したように、周囲物体認識部１３は、テンプレートマッチング法などを用いて、画像に含まれる物体の形状、輪郭を検出する。更に、テンプレートマッチング法などを用いて、他車両、２輪車、歩行者などの物体の種別を検出する。周囲物体が存在しない場合には（Ｓ５；ＮＯ）、ステップＳ８に処理を進め、周囲物体が存在する場合には（Ｓ５；ＹＥＳ）、ステップＳ６に処理を進める。

ステップＳ６において、制御部２３は、複数の点群の対応付け処理を実施する。以下、図９に示すフローチャートを参照して、複数の点群の対応付け処理について詳細に説明する。

初めに、ステップＳ６０１において、対応付け処理部１４は、クラスタリングにより取得された複数の点群を、カメラ２１の座標系のデータに変換する。対応付け処理部１４は、自車両Ｍ１に設置した、カメラ２１、測距センサ２２の設置位置の座標データに基づき、クラスタリングした点群の位置データを、カメラ２１の座標系に変換する。

ステップＳ６０２において、周囲物体認識部１３は、図４に示したように、カメラ２１で撮像した周囲画像Ｄ１に、他車両Ｍ２を囲む識別領域Ｐを設定する。即ち、周囲物体認識部１３は、周囲画像Ｄ１から自車両Ｍ１の周囲に存在する物体（第３の物体）を認識して、第３の物体が存在する領域である識別領域Ｐを設定する。

ステップＳ６０３において、対応付け処理部１４は、点群が識別領域Ｐ内に含まれるか否かを判定する。前述したように、点群を構成する領域の所定の割合（例えば、８０％）が識別領域Ｐ内に存在する場合には（Ｓ６０３；ＹＥＳ）、ステップＳ６０４において、対応付け処理部１４は、この点群は識別領域Ｐ内に含まれるものと判定する。他方、点群を構成する領域の所定の割合が識別領域Ｐ内に存在しない場合には（Ｓ６０３；ＮＯ）、ステップＳ６０５において、対応付け処理部１４は、この点群は識別領域Ｐ内に含まれないものと判定する。

ステップＳ６０６において、対応付け処理部１４は、識別領域Ｐ内に複数の点群が存在するか否かを判定する。

識別領域Ｐ内に複数の点群が存在すると判定された場合には（Ｓ６０６；ＹＥＳ）、ステップＳ６０７において、対応付け処理部１４は、複数の点群は同一物体により検出された測距点であるものと判定する。即ち、第１の点群（Ｑ１）及び第２の点群（Ｑ２）が、識別領域Ｐ内に含まれる場合には、第１の点群（Ｑ１）が示す第１の物体及び第２の点群（Ｑ２）が示す第２の物体は同一であると判定する。更に、対応付け処理部１４は、カメラ２１にて撮像された周囲画像内に存在する物体（第３の物体）と、上記の物体は同一の物体であると判定する。その後、図６に示すステップＳ７に処理を進める。

ステップＳ７において、物体算出部１５は、複数の点群に基づいて、周囲物体の位置を算出する。前述した図６に示したように、点群Ｑ１に存在する複数の測距点のうち、最も自車両に近い測距点ｑ１と、点群Ｑ２に存在する複数の測距点のうち、最も自車両に近い測距点ｑ２を結ぶ直線Ｌ１を算出し、直線Ｌ１が他車両Ｍ２の側面のラインであるものと認識する。

直線Ｌ１を認識することにより、自車両Ｍ１と他車両Ｍ２との間の車幅方向の距離を認識できる。更に、前述したように、所定の車幅（例えば、２ｍ）を設定することにより、他車両Ｍ２の直線Ｌ１とは反対側となる側面の位置を取得できる。

更に、図７に示したように、点群Ｑ１に存在する複数の測距点のうち、最も前方に存在する測距点ｑ３を他車両Ｍ２の前端とし、点群Ｑ２に存在する複数の測距点のうち、最も後方に存在する測距点ｑ４を他車両Ｍ２の後端とする。こうして、自車両Ｍ１の側方に存在する他車両Ｍ２の位置を高精度に認識できる。

［本実施形態の効果の説明］
以上説明したように、本実施形態に係る周囲物体判定装置１０１では、以下に示す効果を達成することができる。
（１）
第１の測距センサ２２ａ（第１のセンサ）を用いて、自車両Ｍ１の周囲に存在する第１の物体の位置を示す第１の測距点を検出し、第２の測距センサ２２ｂ（第２のセンサ）を用いて、自車両Ｍ１の周囲に存在する第２の物体の位置を示す第２の測距点を検出する。
第１の測距点、及び第２の測距点の各々をクラスタリングして第１の点群（点群Ｑ１）及び第２の点群（点群Ｑ２）を生成する。カメラ２１による撮像領域に含まれる第１のセンサ領域Ｂ１に、点群Ｑ１が存在し、且つ、前記撮像領域に含まれる第２のセンサ領域Ｂ２に、点群Ｑ２が存在する場合には、カメラ２１で自車両Ｍ１の周囲を撮像して画像を取得する。

取得した画像から、自車両Ｍ１の周囲に存在する他車両Ｍ２（第３の物体）を認識して、他車両Ｍ２が存在する領域である識別領域Ｐを設定する。点群Ｑ１及び点群Ｑ２が、識別領域Ｐ内に含まれる場合には、点群Ｑ１が示す第１の物体と、点群Ｑ２が示す第２の物体は同一であると判定する。

従って、第１の測距センサ２２ａ及び第２の測距センサ２２ｂで共に物体を検出できないセンサ死角が存在し、同一物体で検出される測距点が分割された場合であっても、カメラ２１で撮像した画像に基づいて、同一の物体であるものと認識することができる。
従って、自車両Ｍ１の周囲に、測距センサ２２で物体を検出できないセンサ死角が存在する場合であっても、自車両Ｍ１の周囲に存在する１つの物体（例えば、他車両Ｍ２）を一つの物体として検出することが可能となる。

また、カメラ２１にて撮像された画像を用いることにより、自車両から物体までの距離を検出することも可能であるが、画像を用いる場合にはレーダやライダーなどの測距センサ２２を用いて距離を測定する場合と対比して距離の検出精度が低い。一方、測距センサ２２で検出される測距点のデータでは、物体の形状を認識する精度が低い。本実施形態では、カメラ２１で撮像した画像を用いて物体の形状、輪郭を認識し、測距センサ２２を用いて自車両から物体までの距離を検出するので、周囲物体の形状、輪郭の認識精度、及び距離測定の精度の双方を高めることが可能になる。

（２）
クラスタリングにより取得した点群を構成する領域のうち、所定の割合以上（例えば、８０％以上）が識別領域Ｐ内に存在する場合に、この点群は識別領域Ｐ内に含まれるものと判定するので、測距センサ２２の検出精度のばらつきにより、センサ領域（図２に示すＢ１、Ｂ２）や測距点の検出位置にずれが生じた場合でも、高精度な物体検出が可能となる。

（３）
第１、第２の測距センサ２２ａ、２２ｂを用いて取得される測距点のデータに基づいてクラスタリングを行い、クラスタリングにより得られる点群が閾値（例えば、２個）以上である場合に、カメラ２１による撮像を実施して、自車両の周囲画像を撮像する。従って、不要なときにカメラ２１による撮像は実施されないので、制御部２３の演算負荷を低減することが可能となり、演算処理の高速化を図ることが可能となる。

（４）
カメラ２１で撮像した画像に周囲物体が存在する場合には、この周囲物体の輪郭を囲む領域を識別領域Ｐに設定するので、周囲物体と複数の点群との対応付けを高精度に実施することが可能となる。

（５）
図４に示したように、識別領域Ｐを矩形状にすることにより、識別領域Ｐの設定処理を簡便に行うことができ、演算負荷を軽減することができる。

（６）
測距センサとして、レーダ、或いはライダーを用いるので、３次元の測距点のデータを高精度に取得でき、周囲物体の位置をより高精度に検出することが可能となる。

なお、本実施形態では、図１に示した周囲物体判定装置１０１を自車両に搭載する例について説明したが、周囲物体判定装置１０１が有する制御部２３を遠隔地に配置し、必要な信号やデータを通信回線を介して送受信して、周囲物体を判定してもよい。

以上、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

１１ 測距点検出部
１２ クラスタリング部
１３ 周囲物体認識部
１４ 対応付け処理部
１５ 物体算出部
２１ カメラ
２２ 測距センサ
２２ａ 第１の測距センサ
２２ｂ 第２の測距センサ
２３ 制御部
３１ ＧＰＳ受信機
３２ 車速センサ
３３ 加速度センサ
３４ ジャイロセンサ
１０１ 周囲物体判定装置
１０２ 車両センサ
１０３ 車両制御装置
Ｂ１ 第１のセンサ領域
Ｂ２ 第２のセンサ領域
Ｂ３、Ｂ４ センサ死角
Ｄ１、Ｄ２、Ｄ３ 周囲画像
Ｍ１ 自車両
Ｍ２ 他車両
Ｐ 識別領域

Claims (7)

1. 自車両に設置されたカメラと、前記自車両の異なる箇所に設置された、前記自車両の周囲に存在する物体までの距離を測定する少なくとも２つのセンサである第１のセンサ及び第２のセンサであって、前記距離の測定精度が前記カメラを用いて測定する前記距離の測定精度よりも高い前記第１のセンサ及び前記第２のセンサとを用いて、前記物体を判定する周囲物体判定方法であって、
   前記第１のセンサが前記物体を検出可能な第１のセンサ領域と前記第２のセンサが前記物体を検出可能な第２のセンサ領域との間に、前記第１のセンサ及び前記第２のセンサの何れも前記物体を検出できないセンサ死角が存在し、
   前記カメラが撮像する撮像領域は、前記第１のセンサ領域の少なくとも一部、前記センサ死角、及び前記第２のセンサ領域の少なくとも一部を含み、
   前記第１のセンサを用いて、前記自車両の周囲に存在する第１の物体の位置を示す第１の測距点を検出し、
   前記第２のセンサを用いて、前記自車両の周囲に存在する第２の物体の位置を示す第２の測距点を検出し、
   検出した前記第１の測距点及び前記第２の測距点の各々をクラスタリングして第１の点群及び第２の点群を生成し、
   前記撮像領域に含まれる前記第１のセンサ領域に、前記第１の点群が存在し、且つ、前記撮像領域に含まれる前記第２のセンサ領域に、前記第２の点群が存在する場合には、前記カメラで前記自車両の周囲を撮像して画像を取得し、
   前記画像から前記自車両の周囲に存在する第３の物体を認識して、前記第３の物体が存在する領域である識別領域を設定し、
   前記第１の点群及び前記第２の点群が、前記識別領域内に含まれる場合には、前記第１の点群が示す前記第１の物体及び前記第２の点群が示す前記第２の物体は同一であると判定すること
   を特徴とする周囲物体判定方法。
2. 前記第１の点群をなす領域のうち所定の割合以上の領域が前記識別領域内に存在する場合に、前記第１の点群は、前記識別領域内に含まれると判定し、
   前記第２の点群をなす領域のうち前記所定の割合以上の領域が前記識別領域内に存在する場合に、前記第２の点群は、前記識別領域内に含まれると判定すること
   を特徴とする請求項１に記載の周囲物体判定方法。
3. 前記撮像領域内に、前記第１の点群、及び前記第２の点群が存在する場合に限って、前記カメラで前記自車両の周囲を撮像すること
   を特徴とする請求項１または２に記載の周囲物体判定方法。
4. 前記識別領域は、前記第３の物体の輪郭を含む領域であること
   を特徴とする請求項１〜３のいずれか１項に記載の周囲物体判定方法。
5. 前記識別領域は矩形状であること
   を特徴とする請求項４に記載の周囲物体判定方法。
6. 前記第１のセンサ及び前記第２のセンサは、レーダ、及びライダーの少なくとも一つであること
   を特徴とする請求項１〜５のいずれか１項に記載の周囲物体判定方法。
7. 自車両に設置されたカメラと、
   前記自車両の異なる箇所に設置された、前記自車両の周囲に存在する物体までの距離を測定する少なくとも２つのセンサである第１のセンサ及び第２のセンサであって、前記距離の測定精度が前記カメラを用いて測定する前記距離の測定精度よりも高い前記第１のセンサ及び前記第２のセンサと、
   コントローラと、
   を備える周囲物体判定装置であって、
   前記第１のセンサが前記物体を検出可能な第１のセンサ領域と前記第２のセンサが前記物体を検出可能な第２のセンサ領域との間に、前記第１のセンサ及び前記第２のセンサの何れも前記物体を検出できないセンサ死角が存在し、
   前記カメラが撮像する撮像領域は、前記第１のセンサ領域の少なくとも一部、前記センサ死角、及び前記第２のセンサ領域の少なくとも一部を含み、
   前記コントローラは、
   前記第１のセンサを用いて、前記自車両の周囲に存在する第１の物体の位置を示す第１の測距点を検出し、
   前記第２のセンサを用いて、前記自車両の周囲に存在する第２の物体の位置を示す第２の測距点を検出し、
   検出した前記第１の測距点及び前記第２の測距点の各々をクラスタリングして第１の点群及び第２の点群を生成し、
   前記撮像領域に含まれる前記第１のセンサ領域に、前記第１の点群が存在し、且つ、前記撮像領域に含まれる前記第２のセンサ領域に、前記第２の点群が存在する場合には、前記カメラで前記自車両の周囲を撮像して画像を取得し、
   前記画像から前記自車両の周囲に存在する第３の物体を認識して、前記第３の物体が存在する領域である識別領域を設定し、
   前記第１の点群及び前記第２の点群が、前記識別領域内に含まれる場合には、前記第１の点群が示す前記第１の物体及び前記第２の点群が示す前記第２の物体は同一であると判定する
   ことを特徴とする周囲物体判定装置。

Images