以下、添付図面を参照しながら本発明の実施形態について説明する。
[第1実施形態]
[物体認識システムの構成例]
図1は、第1実施形態における物体認識システム1の機能構成例を示すブロック図である。物体認識システム1は、車両50(図2参照)に搭載され、車両50の周囲の物体を認識するシステムである。
図1に示すように、物体認識システム1は、ECU(Electronic Control Unit)10と、測距センサ20と、撮像装置30とを備える。
ECU10は、各種機器を制御する制御装置であり、例えば中央演算装置(CPU(Central Processing Unit))、読み出し専用メモリ(ROM(Read Only Memory))、ランダムアクセスメモリ(RAM(Random Access Memory))及び入出力インタフェース(I/O(input/output)インタフェース)を備えたマイクロコンピュータで構成される。ECU10は、特定のプログラムを実行することにより、車両50に備えられるエンジン、モータ、インバータ、バッテリ等の各種機器の動作を制御する制御部として機能する。なお、ECU10は、一つのマイクロコンピュータで構成されるのではなく、複数のマイクロコンピュータにより構成されてもよい。例えば、物体認識システムを制御する制御装置と、各種機器を制御する車両制御装置と、エンジンを制御するエンジンECU(Engine Control Unit)とにより構成されてもよい。
測距センサ20は、車両50の周囲に出射波を出射して車両50の周囲に存在する物体の表面から反射された反射波を受波し、その物体の位置を検出する測距センサであり、車両50に搭載される。すなわち、測距センサ20は、車両50の周囲に存在する物体の表面から反射された反射波を検出することで、出射波の出射方向(照射方向)に存在する物体までの距離を測定し、その測定された距離とその出射方向とに基づいて反射点の三次元座標を計算する。そして、測距センサ20は、その計算により求められた反射点の三次元座標や出射波の出射方向に関する測距情報を点群取得部101に出力する。なお、反射点の三次元座標を、以下では測距点と称して説明する。
なお、測距センサ20として、レーザ光やミリ波を照射してその反射波を受波するLiDAR(Light Detection and Ranging)やミリ波レーダ等のセンサを用いることができる。なお、Lidar等の測距センサは格子状に出射方向を走査するものが一般的に普及しているが、各測距点に対応する出射方向の走査格子における位置を表す情報を付加して出力してもよい。
撮像装置30は、車両50の外部の被写体を撮像して画像を生成するものであり、車両50に搭載される。なお、撮像装置30は、測距センサ20による測距対象となる測距領域と、撮像装置30による撮像対象となる撮像領域とが重複するように、車両50の外側の位置に設置される。なお、撮像装置30として、イメージセンサと画像処理部により構成される1または複数のカメラを採用することができる。また、第1実施形態では、「画像」と記載した場合には、画像そのものを意味する場合と、その画像を表示するための画像データを意味する場合と、その画像とその画像データとの双方を意味する場合があるものとする。
ECU10は、点群取得部101と、非検出方向抽出部102と、点群クラスタリング部103と、画像取得部104と、画像領域抽出部105と、結合距離計算部106と、物体識別部107と、物体位置・形状・姿勢推定部108とを備える。
ECU10は、測距センサ20及び撮像装置30からの出力に基づいて、車両50の周囲の物体を検出して認識する。また、ECU10は、その認識された物体の位置、形状、姿勢等を推定し、その推定結果を他のシステムに出力する。なお、その推定結果は、ECU10の内部で使用することも可能である。
点群取得部101は、測距センサ20から出力された測距情報を取得するものであり、その測距情報を非検出方向抽出部102及び点群クラスタリング部103に出力する。なお、測距情報に含まれる測距点の集合を、以下では測距点群と称して説明する。
非検出方向抽出部102は、点群取得部101から出力された測距情報に基づいて、出射波を出射したが、出射波に対する反射波の強度が予め定められた所定の閾値強度以下の出射方向を、反射波が検出されなかった出射方向(以下、非検出方向と称する)として抽出するものであり、その抽出結果を点群クラスタリング部103に出力する。なお、非検出方向は、各測距点の三次元座標や出射波の出射方向等の測距情報に基づいて求めることができる。なお、上記閾値強度は、閾値強度以下の反射波を反射波として検出しない事によってノイズ等の影響を除去することを目的として設定された閾値強度であり、予め実験等によって設定された強度が設定されている。
点群クラスタリング部103は、点群取得部101から出力された測距点群についてクラスタリング処理を行うものであり、その処理結果を物体識別部107に出力する。具体的には、点群クラスタリング部103は、各測距点同士の点間距離(以下では、三次元点間距離と称する)に基づいて、測距点群の部分集合(以下では、クラスタと称する)に分割(以下では、クラスタリングと称する)する。
例えば、点群クラスタリング部103は、測距点群のうちから、クラスタリング処理の判定対象として所定範囲内に存在する2つの測距点を順次選択する。そして、点群クラスタリング部103は、その選択された2つの測距点の三次元点間距離が予め定められた所定の距離である閾値(以下では、結合距離と称する)を基準として小さいか否かに基づいて、その選択された2つの測距点が同一物体に属するか否かを判定する。なお、判定対象として選択する際に用いる所定範囲は、2つの測距点が同一物体に属するか否かを判定する際に用いる結合距離よりも大きい値とする。また、これらの値(所定範囲、結合距離)は、各種の実験データを用いて適宜設定することができる。
具体的には、点群クラスタリング部103は、その選択された2つの測距点の三次元点間距離が結合距離を基準として小さい場合には、その選択された2つの測距点が同一物体に属すると判定し、同一クラスタに割り当てる。一方、点群クラスタリング部103は、その選択された2つの測距点の三次元点間距離が結合距離を基準として大きい場合には、その選択された2つの測距点は同一物体に属しないと判定する。なお、測距点群のうち、所定範囲内に他の測距点が存在しない測距点については、ノイズと判定されて破棄される。
ここで、第1実施形態では、出射波に対する反射率が低い物体表面が存在して、当該物体表面からの反射波の強度が弱い(反射波を検出できない)場合でも、クラスタリング処理を適切に実行できるように、非検出方向抽出部102により抽出された非検出方向を用いて結合距離を変更する。具体的には、点群クラスタリング部103は、非検出方向抽出部102から出力された非検出方向の抽出結果に基づいて、判定対象として選択された2つの測距点間に非検出方向が存在するか否かを判定する。そして、点群クラスタリング部103は、その選択された2つの測距点間に非検出方向が存在する場合には、その選択された2つの測距点を画像領域抽出部105に出力する。この場合には、点群クラスタリング部103は、結合距離計算部106により求められた結合距離を用いて、その選択された2つの測距点が同一物体に属するか否かを判定する。
画像取得部104は、撮像装置30から出力された画像を取得するものであり、その画像を画像領域抽出部105に出力する。
画像領域抽出部105は、画像取得部104から出力された画像から、点群クラスタリング部103から出力された2つの測距点に対応する画像領域を抽出するものであり、抽出された画像領域を結合距離計算部106に出力する。具体的には、画像領域抽出部105は、点群クラスタリング部103から出力された2つの測距点を、画像取得部104から出力された画像上に投影し、2つの測距点間の画像領域を抽出する。すなわち、三次元座標である2つの測距点が二次元画像上に投影されて画像領域が抽出される。
結合距離計算部106は、画像領域抽出部105から出力された画像領域に基づいて、点群クラスタリング部103から出力された2つの測距点に適用する結合距離を計算するものであり、その計算結果、すなわち結合距離を点群クラスタリング部103に出力する。なお、結合距離の計算方法については、図4を参照して説明する。
物体識別部107は、点群クラスタリング部103から出力されたクラスタリング処理の処理結果に基づいて、車両50の周囲に存在する物体を認識するものであり、その認識結果を物体位置・形状・姿勢推定部108に出力する。具体的には、物体識別部107は、クラスタリングされた測距点に基づいて、三次元座標における物体の位置、形状やサイズを判定し、その判定結果に基づいてその物体を認識する。例えば、三次元座標においてクラスタリングされた測距点により特定される形状がL字形状であり、クラスタリングされた測距点により特定されるサイズが比較的大きいものである場合には、その物体が車両であると判定される。
物体位置・形状・姿勢推定部108は、物体識別部107から出力された認識結果に基づいて、車両50の周囲に存在する物体の位置、形状、姿勢等を推定するものであり、その推定結果を他のシステムに出力する。具体的には、物体位置・形状・姿勢推定部108は、物体識別部107により認識された物体について、三次元座標における物体の位置、形状やサイズに基づいてその物体の位置、形状、姿勢等を推定する。例えば、物体識別部107により車両と認識された物体については、クラスタリングされた測距点に車両に相当する直方体をフィッティングして、その車両の位置、形状、姿勢等を推定する。
[測距点群のクラスタリング処理例]
図2は、物体認識システム1による測距点群のクラスタリング処理を模式的に示す図である。すなわち、物体認識システム1が周囲に存在する物体、例えば車両60、70、壁80について三次元点間距離に基づくクラスタリング処理を実行する場合の例を示す。なお、図2では、説明を容易にするため、出射波の数を少なくして簡略化した例を示す。また、車両60のボディカラーは白であり、車両70のボディカラーは黒であるものとする。また、車両50を基準として車両60、70の遠方には、壁80が存在するものとする。
図2では、車両50に搭載されている測距センサ20から出射された複数の出射波200を実線または点線の直線で示す。また、複数の出射波200のうち、車両50の周囲の物体により反射されて反射波が検出された出射波については実線で示し、出射波に対する反射強度が弱く反射波を検出できなかった出射波については点線で示す。すなわち、点線で示す出射波200は、出射波に対する反射率が低い物体表面に出射されたものである。
上述したように、車両60のボディカラーは白であるため、測距センサ20から出射された複数の出射波に対する車両60のボディ表面における反射率が高く、従って反射波の反射強度が強く反射波を検出できる可能性が高い。このため、車両60については、測距センサ20から車両60に出射された複数の出射波に対する反射波の検出により5つの測距点201乃至205が求められたものとする。また、車両70のボディカラーは黒であるため、測距センサ20から出射された複数の出射波に対する車両60のボディ表面における反射率が低く、従って反射波の反射強度が弱く反射波を検出できない可能性がある。このため、車両70については、測距センサ20から車両70に出射された複数の出射波に対する反射波の検出により6つの測距点210乃至215が求められたものとする。この場合に、測距点213、214間には、出射波に対する反射強度が弱く反射波を検出できない領域が存在するものとする。また、壁80については、反射波の検出により4つの測距点206乃至209が求められたものとする。
また、測距点201乃至205については、各三次元点間距離が予め設定されている所定の結合距離よりも小さいため、点群クラスタリング部103により同一物体に属すると判定される。また、測距点206乃至209についても、各三次元点間距離が予め設定されている所定の結合距離よりも小さいため、点群クラスタリング部103により同一物体に属すると判定される。図2では、同一物体に属すると判定された測距点201乃至205、206乃至209を点線の丸231、233で囲んで示す。
ここで、測距点205及び測距点206間の距離と、測距点209及び測距点210間の距離と、測距点213及び測距点214間の距離とは、矢印240乃至242に示すように、比較的離れている。ただし、測距点206、209は壁80からの反射波に対応するものであるのに対し、測距点205は車両60からの反射波に対応し、測距点210は車両70からの反射波に対応するものである。また、測距点205及び測距点206間の三次元点間距離と、測距点209及び測距点210間の三次元点間距離とは、予め設定されている所定の結合距離よりも離れているものとする。このため、点群クラスタリング部103は、測距点205及び測距点206、測距点209及び測距点210は、それぞれ同一物体に属さないと判定する。一方、測距点213及び測距点214は、両測距点共に車両70からの反射波に対応するものである。また、測距点213及び測距点214間の三次元点間距離も、予め設定されている所定の結合距離よりも離れているものとする。ただし、第1実施形態では、測距点213及び測距点214間の画像領域に基づいて、予め設定されている所定の結合距離を大きな値に変更して測距点213及び測距点214が同一物体に属すると判定する。すなわち、測距点210乃至215については、点群クラスタリング部103により同一物体に属すると判定される。この判定例については、図4を参照して詳細に説明する。なお、図2では、同一物体に属すると判定された測距点210乃至215を点線の丸232で囲んで示す。
[非検出方向の画像領域抽出例]
図3は、測距センサ20により取得された測距点と、撮像装置30により生成された画像との関係を示す図である。図3では、ボディが黒である車両90を例にして説明する。なお、図3では、車両90を見やすくするため、車両90を黒色とせず白抜きで示す。
図3の左側には、測距センサ20により取得された測距点を矩形300内に点線で簡略化して示す。なお、図3では、測距センサ20により取得された測距点のうち、撮像装置30の撮像対象となる範囲(撮像範囲)と重複する範囲の測距点を矩形300内に示す。また、矩形300内に示す測距点のうちの一部、すなわち、点線の矩形301内に示す部分を拡大した画像を矩形310内に示す。
図3の右側には、撮像装置30により生成された画像330を簡略化して示す。また、画像330の下側には、画像330の一部、すなわち、点線の矩形331内に示す部分を拡大した画像340を示す。
図3に示すように、測距センサ20の測距範囲と、撮像装置30の撮像範囲とが重複するように、測距センサ20及び撮像装置30は車両50に設置される。
なお、図3では、矩形310内の測距点のうち、測距点311、320を例にして説明する。上述したように、車両90のボディは黒であるため、車両90のボディからの反射強度が弱く、測距点311、320の間には反射波を検出できない出射方向、すなわち非検出方向が存在するものとする。図3では、非検出方向に対応する部分を、点線の丸312乃至319で示す。
また、画像340内には、矢印351、352に示すように、測距点311、320を投影した点341、342を示す。また、点341、342間の領域を画像領域343として点線の矩形で示す。
画像領域抽出部105は、点群クラスタリング部103からの情報、すなわち判定対処となる2つの測距点に関する情報に基づいて画像領域343を抽出する。また、結合距離計算部106は、画像領域343に基づいて、測距点311、320が同一物体に属するか否かを判定する際に用いる結合距離を算出する。また、点群クラスタリング部103は、結合距離計算部106により算出された結合距離に基づいて、測距点311、320が同一物体に属するか否かを判定する。この判定例を図4に示す。
[測距点群のクラスタリング処理例]
図4は、ECU10による測距点群のクラスタリング処理の処理手順の一例を示すフローチャートである。なお、この処理手順は、記憶装置(図示省略)に記憶されているプログラムに基づいて実行される。また、この処理手順は、所定間隔(例えば数ミリ秒程度)で繰り返し実行される。
ステップS401において、ECU10は、測距センサ20から出力された測距情報と、撮像装置30から出力された画像とを取得する。すなわち、点群取得部101は、測距センサ20から出力された測距情報を取得し、画像取得部104は、撮像装置30から出力された画像を取得する。このように取得された測距情報に含まれる測距点群の各測距点について、ステップS402からステップS413において、同一物体に属する測距点を探索、判定する処理を繰り返す。
ステップS402において、点群クラスタリング部103は、測距点群のうちから、クラスタリング処理が実行されていない測距点を一点選択する。なお、図4では、測距点群のうち、ステップS402からステップS412の処理の対象となる点を対象測距点と称して説明する。また、非検出方向抽出部102は、測距センサ20から出力された測距情報に基づいて非検出方向を抽出する。
ステップS403において、点群クラスタリング部103は、対象測距点から所定範囲内に他の測距点が存在するか否かを判定する。ここで、所定範囲内は、例えば対象測距点を中心として所定の長さを半径とする球内とすることができる。なお、所定範囲としての球の半径は、各種の実験データを用いて適宜設定することができる。また、図4では、対象測距点から所定範囲内に存在する他の測距点の集合を対象測距点の近傍点群と称して説明する。対象測距点から所定範囲内に他の測距点が存在しない場合には、ステップS404に進む。一方、対象測距点から所定範囲内に他の測距点が存在する場合には、ステップS405に進み、近傍点群に含まれる各測距点について対象測距点と同一物体に属するか否かを判定するステップS405からステップS412の各処理を繰り返す。
ステップS404において、点群クラスタリング部103は、対象測距点をノイズと判定する。そして、ステップS413に進む。
ステップS405において、点群クラスタリング部103は、近傍点群から一点を選択する。なお、図4では、ステップS405で選択された近傍点を対象近傍点と称して説明する。すなわち、対象測距点及び対象近傍点は、クラスタリング処理の対象となる2つの測距点である。
ステップS406において、点群クラスタリング部103は、非検出方向抽出部102による抽出結果に基づいて、対象測距点及び対象近傍点間に非検出方向が存在するか否かを判定する。例えば、図2に示す例では、測距点213、214間に非検出方向が存在する。この場合には、測距点213、214のうちの一方が対象測距点であり、他方が対象近傍点であるときに、対象測距点及び対象近傍点間に非検出方向が存在すると判定される。また、図3に示す例では、測距点311、320間に、点線の丸312乃至319で示すように非検出方向が存在する。この場合には、測距点311、320のうちの一方が対象測距点であり、他方が対象近傍点であるときに、対象測距点及び対象近傍点間に非検出方向が存在すると判定される。
対象測距点及び対象近傍点間に非検出方向が存在しない場合には、ステップS409に進む。すなわち、対象測距点及び対象近傍点間に非検出方向が存在しない場合には、ステップS408で結合距離を計算せずに、予め設定されている所定の結合距離を用いる。また、対象測距点及び対象近傍点間に非検出方向が存在する場合には、ステップS407に進む。
ステップS407において、画像領域抽出部105は、撮像装置30により生成された画像上に対象測距点及び対象近傍点を投影し、対象測距点及び対象近傍点間の画像領域を抽出する。
例えば、図3に示す例において、矩形310内の測距点311を対象測距点とし、測距点320を対象近傍点とする場合を想定する。この場合には、矢印351、352で示すように、画像領域抽出部105は、撮像装置30により生成された画像330上に測距点311、測距点320を投影し、測距点311及び測距点320間の画像領域343を抽出する。
ステップS408において、結合距離計算部106は、画像領域抽出部105により抽出された画像領域に基づいて、予め設定されている所定の結合距離よりも大きい値の結合距離を計算して設定する。なお、対象測距点及び対象近傍点間に非検出方向が存在しない場合には、予め設定されている所定の結合距離を用いるため、結合距離は計算されない。
第1実施形態では、画像領域抽出部105により抽出された画像領域について、その画像の輝度値、その画像の色、その画像により推定される材質、その画像の輝度値の分散、その画像の色の分散を用いて結合距離を計算して設定する例を示す。以下では、これらの計算例について順次説明する。
最初に、画像の輝度値を用いる例を示す。具体的には、結合距離計算部106は、画像領域抽出部105により抽出された画像領域に基づいて、対象測距点及び対象近傍点間の画像の輝度値を求める。なお、輝度値は、車両90に照射した環境光が車両90のボディ表面で反射した反射光の明るさの指標である。そして、結合距離計算部106は、対象測距点及び対象近傍点間の画像の輝度値に基づいて結合距離を設定する。例えば、画像領域抽出部105により抽出された画像領域における各画素の輝度値のうちから最大値を求め、最大値の大きさに応じて、結合距離を設定する。例えば、輝度値の最大値が小さくなるのに応じて、結合距離の値を大きくすることができる。また、例えば、画像領域抽出部105により抽出された画像領域における各画素の輝度値のうちから最小値を求め、最小値の大きさに応じて、結合距離を設定する。例えば、輝度値の最小値が小さくなるのに応じて、結合距離の値を大きくすることができる。また、例えば、画像領域抽出部105により抽出された画像領域における各画素の輝度値の平均値を求め、平均値の大きさに応じて、結合距離を設定する。例えば、輝度値の平均値が小さくなるのに応じて、結合距離の値を大きくすることができる。すなわち、対象測距点及び対象近傍点間の画像の輝度値(輝度値の最大値、最小値、あるいは平均値)が小さい場合には大きい場合に比して、車両90のボディ表面反射率が低いために対象測距点及び対象近傍点間に照射した出射波に対する反射波が弱い可能性が高いと判定して、結合距離の値を大きくする。なお、輝度値が所定値以上である場合には、物体の表面反射率が高いと推定できるため、結合距離の値を変更しない(予め設定されている所定の結合距離を設定する)ようにしてもよい。
次に、画像の色を用いる例を示す。具体的には、結合距離計算部106は、画像領域抽出部105により抽出された画像領域に基づいて、対象測距点及び対象近傍点間の画像の色を求める。そして、結合距離計算部106は、対象測距点及び対象近傍点間の画像の色に基づいて結合距離を設定する。例えば、画像領域抽出部105により抽出された画像領域における色を判定し、この判定された色に特定色が含まれるか否かに応じて、結合距離を決定する。なお、特定色は、例えば、黒や黒に近い色等の暗い色(すなわち反射率が低い色)とすることができる。例えば、画像領域抽出部105により抽出された画像領域に特定色が含まれている場合に、所定の結合距離よりも結合距離の値を大きくすることができる。この場合に、画像領域抽出部105により抽出された画像領域に含まれる特定色の割合に応じて、結合距離を設定することができる。例えば、特定色の割合が大きくなるのに応じて、結合距離の値を大きくすることができる。また、例えば、画像領域抽出部105により抽出された画像領域に含まれる特定色の程度に応じて、結合距離を設定することができる。例えば、黒の濃さが高くなるのに応じて、結合距離の値を大きくすることができる。すなわち、対象測距点及び対象近傍点間の画像の色が黒や黒に近い色のような反射率が低い予め定められた色である場合には、それ以外の色である場合に比して、車両90のボディ表面反射率が低いために対象測距点及び対象近傍点間に照射した出射波に対する反射波が弱い可能性が高いと判定して、結合距離の値を大きくする。なお、画像領域抽出部105により抽出された画像領域における色が特定色でない場合には、物体の表面反射率が高いと推定できるため、結合距離の値を変更しない(予め設定されている所定の結合距離を設定する)ようにしてもよい。
次に、画像により推定される材質を用いる例を示す。具体的には、結合距離計算部106は、画像領域抽出部105により抽出された画像領域に基づいて、対象測距点及び対象近傍点間の材質を推定する。なお、材質として、例えば、金属、繊維、樹脂、路面等の材質を推定する。この推定方法として、例えば、ディープラーニング等を用いて求められた情報に基づいて材質を推定する方法を採用することができる。そして、結合距離計算部106は、対象測距点及び対象近傍点間の材質に基づいて結合距離を設定する。例えば、画像領域抽出部105により抽出された画像領域における材質を推定し、この推定された材質の推定反射率に応じて、結合距離を設定することができる。例えば、画像領域抽出部105により抽出された画像領域における材質が金属であると推定された場合に、金属の反射率は高いと推定されるため、比較的低い値の結合距離を設定する。また、例えば、画像領域抽出部105により抽出された画像領域における材質が繊維であると推定された場合に、繊維の反射率は低いと推定されるため、比較的高い値の結合距離を設定する。なお、材質を推定する場合には、画像領域抽出部105により抽出された画像領域の周囲の画像も用いて推定するようにしてもよい。
このように、第1実施形態では、画像領域抽出部105により抽出された画像領域に基づいて、その画像領域に対応する物体の表面反射率を推定し、その推定された反射率に基づいて結合距離の大きさを設定する。すなわち、その画像領域における輝度値や色に基づいて、その画像領域に対応する物体の表面反射率が高いか低いかを推定することができる。そして、その推定された反射率が高い場合には、結合距離を変更しない(予め設定されている所定の結合距離を設定する)。一方、その推定された反射率が低い場合には、予め設定されている所定の結合距離よりも大きな値を設定する。
次に、画像の輝度値の分散、画像の色の分散を用いる例を示す。具体的には、結合距離計算部106は、対象測距点及び対象近傍点間の画像の輝度値や色の分散に基づいて結合距離を設定する。なお、輝度値の分散は、車両90に照射した環境光が車両90のボディ表面で反射した反射光の輝度値の散らばりの度合いを意味する。また、色の分散は、色の散らばりの度合いを意味する。例えば、画像領域抽出部105により抽出された画像領域内の色が似ている場合、すなわち色の変化が少ない場合や、その画像領域内の明るさに差がない場合には、その画像領域が同一物体の領域であると推定することができる。そこで、例えば、画像領域抽出部105により抽出された画像領域における各画素の輝度値のうちから最大値と最低値を求め、最大値と最低値の差分値が所定範囲内であるか否かに基づいて、結合距離を設定することができる。例えば、その差分値が所定範囲内である場合には、結合距離の値を大きくすることができる。すなわち、対象測距点及び対象近傍点間の画像の輝度値あるいは色の分散が小さい場合には大きい場合に比して、その画像領域が同一物体の領域であるが、車両90のボディ表面反射率が低いために対象測距点及び対象近傍点間に照射した出射波に対する反射波が弱い可能性が高いと判定して、結合距離の値を大きくする。その差分値が所定範囲よりも大きい場合には、予め設定されている所定の結合距離から結合距離の値を変更しない(予め設定されている所定の結合距離を設定する)。なお、ここで示す所定範囲は、各種の実験データを用いて適宜設定することができる。
また、例えば、画像領域抽出部105により抽出された画像領域における色を判定し、その判定された色の種類が所定範囲内であるか否かに基づいて、結合距離を設定することができる。例えば、その判定された色の種類が所定範囲内である場合、例えば同一色または略同一色である場合には、結合距離の値を大きくすることができる。その種類が所定範囲よりも多い場合、例えば複数色である場合には、結合距離の値を変更しない(予め設定されている所定の結合距離を設定する)。なお、ここで示す所定範囲は、各種の実験データを用いて適宜設定することができる。
このように、画像領域抽出部105により抽出された画像領域の色の変化が少ない場合や明るさの変化が少ない場合には、その画像領域が同一物体に含まれると推定し、結合距離の値を大きくする。なお、上述した各要素を適宜組み合わせて結合距離を計算するようにしてもよい。
ステップS409において、点群クラスタリング部103は、対象測距点及び対象近傍点間の三次元点間距離と結合距離とを比較する。この比較では、対象測距点及び対象近傍点間に非検出方向が存在しない場合には、予め設定されている所定の結合距離が用いられる。また、対象測距点及び対象近傍点間に非検出方向が存在する場合には、ステップS408で求められた結合距離が用いられる。
そして、対象測距点及び対象近傍点間の距離が結合距離よりも小さい場合には、ステップS410に進み、点群クラスタリング部103は、対象測距点及び対象近傍点は同一物体に属すると判定する。なお、この例では、対象測距点及び対象近傍点間の距離が結合距離よりも小さい場合には、対象測距点及び対象近傍点間の距離と結合距離とが同一の場合も含むものとする。一方、対象測距点及び対象近傍点間の距離が結合距離よりも大きい場合には、ステップS411に進み、点群クラスタリング部103は、対象測距点及び対象近傍点は同一物体に属さないと判定する。
ステップS412において、点群クラスタリング部103は、近傍点群の中に未処理の測距点があるか否かを判定する。近傍点群の中に未処理の測距点が存在する場合には、ステップS405に戻る。一方、近傍点群の中に未処理の測距点が存在しない場合には、ステップS413に進む。
ステップS413において、点群クラスタリング部103は、測距点群の中に未処理の測距点が存在するか否かを判定する。測距点群の中に未処理の測距点が存在する場合には、ステップS402に戻る。一方、測距点群の中に未処理の測距点が存在しない場合には、測距点群のクラスタリング処理を終了する。
ここで、クラスタリング処理の判定対象として選択された2つの測距点間に、反射率が低い物体表面が存在する場合には、反射率が低いことによって反射波が検出されていない可能性がある。このため、第1実施形態では、その2つの測距点間に反射率が低い物体表面が存在すると推定される場合には、結合距離を大きな値に変更する。すなわち、撮像装置30により生成された画像に基づいて、検出対象物体の表面反射率を推定し、その推定反射率が低い場合には、測距点群クラスタの生成に必要な点群密度を低くする。言い換えると、その推定反射率が低い場合には、結合距離を大きな値に変更し、クラスタを生成しやすくする。これにより、反射率の低い物体、例えば、黒いボディの車両のクラスタリング精度を向上させることができ、対象物体の形状、姿勢の認識性能を向上させることができる。
以上では、画像領域抽出部105により抽出された画像領域に基づいて結合距離を計算する例を示したが、他の要素を組み合わせて結合距離を計算するようにしてもよい。例えば、測距センサ20から対象測距点及び対象近傍点までの距離に基づいて、結合距離を計算することができる。なお、測距センサ20から対象測距点及び対象近傍点までの距離は、例えば、測距センサ20から、対象測距点及び対象近傍点間の中点等の代表点までの距離とすることができる。例えば、測距センサ20から対象測距点及び対象近傍点までの距離が大きくなるのに応じて、結合距離をさらに大きくするように計算する。
また、測距センサ20と対象測距点及び対象近傍点の中点とを通る直線と、対象測距点及び対象近傍点を通る直線のなす角に基づいて、結合距離を計算することができる。例えば、図2に示す例において、対象測距点を測距点213とし、対象近傍点を測距点214とする場合を想定する。この場合には、測距点213及び測距点214の中点243と測距センサ20とを通る直線244と、測距点213及び測距点214を通る直線242とのなす角はθである。例えば、そのなす角θが小さくなるのに応じて、結合距離をさらに大きくするように計算する。
[第1実施形態の作用効果]
第1実施形態に係る物体認識方法は、車両50の周囲に出射波を出射し、その出射波に対する物体からの反射波を受波して測距点を求める測距センサ20と、測距センサ20から取得された複数の測距点について判定対象として選択された2つの測距点が同一物体に属するか否かを順次判定するECU10(コントローラの一例)とを備える物体認識システム1を用いた物体認識方法である。この物体認識方法は、測距センサ20から測距点を取得し、測距センサ20による測距範囲と撮像範囲が重複する画像を撮像装置30から取得する取得ステップ(ステップS401)と、2つの測距点の三次元点間距離が結合距離(予め定められた所定の距離である閾値の一例)を基準として小さい場合に、その2つの測距点が同一物体に属すると判定する判定ステップ(ステップS402乃至S413)とを含む。この判定ステップは、反射波を検出できない出射波に対応する出射方向(非検出方向)が2つの測距点間に存在する場合には、撮像装置30から取得された画像に基づいて、結合距離(閾値の一例)を設定して判定を行う。
このような物体認識方法によれば、反射率が低く反射波を検出できない領域(以下では、非検出領域と称する)が検出対象物体表面に存在する場合には、結合距離(閾値の一例)を画像に基づいて適切に設定することができる。このため、反射率の低い物体に対するクラスタリング精度を向上させることができる。
また、第1実施形態に係る物体認識方法では、判定ステップ(ステップS408)は、撮像装置30から取得された画像のうち、反射波を検出できない出射波に対応する出射方向(非検出方向)が存在する2つの測距点間の領域に対応する画像を用いて、結合距離(閾値の一例)を大きな値に設定する。
このような物体認識方法によれば、非検出領域が検出対象物体表面に存在する場合には、非検出領域に対応する画像に基づいて結合距離(閾値の一例)を設定することができるため、クラスタリング精度を向上させることができる。
また、第1実施形態に係る物体認識方法では、判定ステップ(ステップS408)は、2つの測距点間の領域に対応する画像の輝度値が小さい場合には大きい場合に比して結合距離(閾値の一例)の大きさを大きな値に設定する。
ここで、非検出領域に対応する画像領域の輝度値が全体的に小さいほど、非検出領域の色が暗く、出射波に対する反射率も低い可能性が高いと推測される。そこで、このような物体認識方法によれば、非検出領域に対応する画像領域の輝度値が全体的に小さいほど、結合距離(閾値の一例)を大きな値に設定することにより、反射率の低い物体に対するクラスタリング精度を向上させることができる。
また、第1実施形態に係る物体認識方法では、判定ステップ(ステップS408)は、2つの測距点間の領域に対応する画像の輝度値もしくは色の分散が小さい場合には大きい場合に比して結合距離(閾値の一例)の大きさを大きな値に設定する。
ここで、非検出領域に対応する画像領域の輝度値もしくは色の分散が小さいほど、非検出領域の色が均一であり、1つの物体に対応する可能性が高いと推測される。そこで、このような物体認識方法によれば、非検出領域に対応する画像領域の輝度値もしくは色の分散が小さいほど、結合距離(閾値の一例)を大きな値に設定することにより、反射率の低い物体に対するクラスタリング精度を向上させることができる。
また、第1実施形態に係る物体認識方法では、判定ステップ(ステップS408)は、2つの測距点間の領域に対応する画像の色が、出射波の反射率が低い予め定められた色である場合には、そうでない場合に比して結合距離(閾値の一例)の大きさを大きな値に設定する。
ここで、非検出領域に対応する画像領域の色が暗い色であれば、出射波に対する反射率も低い可能性が高いと推測される。そこで、このような物体認識方法によれば、非検出領域に対応する画像領域の色が暗い色である場合には、結合距離(閾値の一例)を大きな値に設定することにより、反射率の低い物体に対するクラスタリング精度を向上させることができる。
また、第1実施形態に係る物体認識方法では、判定ステップ(ステップS406乃至S408)は、反射波を検出できない出射方向(非検出方向)が存在する2つの測距点間については、2つの測距点間の領域に対応する画像に基づいて、出射波に対する反射率が低い物体表面が存在するか否かを判定し、反射率が低い物体表面が存在すると判定された場合には、結合距離(閾値の一例)を大きい値に設定する。
ここで、物体表面の反射率が小さいほど反射波の強度が弱くなり、物体表面における測距点の密度が疎になる。そこで、このような物体認識方法によれば、反射率が低い物体表面が存在すると判定された場合に結合距離を大きくすることで、離れた測距点同士が同一物体に属すると判定しやすくなる。このため、反射率の低い物体に対するクラスタリング精度を向上させることができる。
また、第1実施形態に係る物体認識方法では、判定ステップ(ステップS406乃至S408)は、2つの測距点間の領域に対応する画像に基づいて、その画像に対応する物体の表面反射率を推定し、その推定された反射率に基づいて、結合距離(閾値の一例)の大きさを設定する。
このような物体認識方法によれば、物体の表面反射率の推定結果に基づいて、結合距離を大きくすることで、離れた測距点同士を同一物体に属すると判定しやすくすることができ、反射率の低い物体に対するクラスタリング精度を向上させることができる。
また、第1実施形態に係る物体認識方法では、判定ステップ(ステップS408)は、測距センサ20から2つの測距点までの距離に基づいて、結合距離(閾値の一例)の大きさを設定する。
ここで、検出対象物体が遠方であるほど反射波の強度が弱くなり、物体表面における測距点の密度が疎になる。そこで、このような物体認識方法によれば、測距センサ20から2つの測距点までの距離が大きくなるのに応じて、結合距離を大きくすることで、離れた測距点同士が同一物体に属すると判定しやすくなる。このため、遠方の反射率の低い物体に対するクラスタリング精度を向上させることができる。
また、第1実施形態に係る物体認識方法では、判定ステップ(ステップS408)は、測距センサ20と2つの測距点の中点とを通る直線と、その2つの測距点を通る直線のなす角に基づいて、結合距離(閾値の一例)の大きさを設定する。
ここで、出射波と検出対象物体表面のなす角が小さいほど、反射波の強度が弱くなり、物体表面における測距点の密度が疎になる。そこで、このような物体認識方法によれば、そのなす角が小さくなるのに応じて、結合距離を大きくすることで、離れた測距点同士が同一物体に属すると判定しやすくなる。このため、反射率の低い物体に対するクラスタリング精度を向上させることができる。
また、第1実施形態に係る物体認識システム1は、車両50の周囲に出射波を出射し、その出射波に対する物体からの反射波を受波して測距点を求める測距センサ20と、測距センサ20から得られた複数の測距点のうち、判定対象として選択された2つの測距点の三次元点間距離が結合距離(閾値の一例)を基準として小さい場合に、その2つの測距点が同一物体に属すると判定するECU10(コントローラの一例)とを備える。また、物体認識システム1は、測距センサ20による測距範囲と撮像範囲とが重複するように車両50に設置され、その撮像範囲の画像を生成する撮像装置30を備える。また、ECU10は、反射波を検出できない出射波に対応する出射方向(非検出方向)が2つの測距点間に存在する場合には、撮像装置30により生成された画像に基づいて、結合距離(閾値の一例)を設定して判定を行う。
このような物体認識システム1によれば、非検出領域が検出対象物体表面に存在する場合には、結合距離(閾値の一例)を画像に基づいて適切に設定することができる。このため、反射率の低い物体に対するクラスタリング精度を向上させることができる。
[第2実施形態]
第2実施形態では、第1実施形態で示した画像領域抽出部105(図1参照)の代わりに物体認識システムが画像物体検出部501を備える例を示す。なお、第2実施形態は、第1実施形態の一部を変形した例であり、第1実施形態と共通する部分については、図示及びその説明の一部を省略する。
[物体認識システムの構成例]
図5は、第2実施形態における物体認識システム5の機能構成例を示すブロック図である。物体認識システム5は、画像物体検出部501をECU11に備える。
画像物体検出部501は、撮像装置30により生成された画像に含まれる物体を検出するものであり、その検出結果を結合距離計算部106に出力する。例えば、画像物体検出部501は、撮像装置30により生成された画像における各物体の位置、大きさ、属性を検出し、その画像とその検出結果とを結合距離計算部106に出力する。なお、各物体の位置は、例えば2次元座標上の位置として特定可能である。また、各物体の大きさは、例えば、矩形状のサイズとして特定可能である。また、各物体の属性として、例えば、乗用車、トラック、バイク、人間を特定可能である。なお、各物体の属性として、それらの色や形状を特定することも可能である。
なお、画像物体検出部501は、撮像装置30により生成された画像に含まれる物体のうち、特定の物体のみを検出し、その検出結果を結合距離計算部106に出力するようにしてもよい。例えば、車両50の周囲に存在すると想定される乗用車、トラック、バイク、人間を特定の物体とすることができる。なお、物体検出方法として、公知の検出方法を採用することができる。例えば、時系列で連続する複数の画像間の比較により移動体を検出する検出方法、テンプレートマッチングを用いた検出方法、ディープラーニングを用いた検出方法等を採用することができる。
結合距離計算部106は、点群クラスタリング部103から出力された判定対象の2つの測距点、すなわち対象測距点及び対象近傍点と、画像物体検出部501から出力された検出結果とに基づいて、結合距離を計算して設定する。
具体的には、結合距離計算部106は、点群クラスタリング部103から出力された判定対象の2つの測距点が、画像物体検出部501により検出された物体に含まれるか否かを判定する。すなわち、結合距離計算部106は、画像物体検出部501から出力された検出結果に基づいて、その2つの測距点が同一物体上に含まれるか否かを判定する。次に、結合距離計算部106は、その2つの測距点が同一物体上に含まれる場合には、結合距離を大きな値に設定する。一方、結合距離計算部106は、その2つの測距点が同一物体上に含まれない場合には、所定の結合距離を設定する。
また、結合距離計算部106は、物体の属性を考慮して結合距離を計算するようにしてもよい。例えば、結合距離計算部106は、画像物体検出部501により検出された物体の属性に基づいて、その物体の反射率が高いか低いかを判定することができる。例えば、車両の反射率は高いと判定できる。ただし、車両の反射率はボディの色によって異なる。例えば、白いボディの車両の反射率は高いが、黒いボディの車両の反射率は、白いボディの車両の反射率よりも低いと判定できる。また、人間の反射率は低いと判定できる。ただし、人間の反射率も身に着けている服の素材や色によって異なる。
このように、結合距離計算部106は、画像物体検出部501により検出された物体の属性に基づいて、その物体の反射率を推定し、その推定結果に基づいて結合距離を求めることができる。すなわち、結合距離計算部106は、画像物体検出部501により検出された物体の属性に基づいて、その物体の反射率が高いか低いかを判定し、その判定結果に基づいて、結合距離を計算することができる。例えば、結合距離計算部106は、判定対象の2つの測距点が白いボディの車両に含まれる場合には、白いボディの車両の反射率は高いと判定されるため、黒いボディの車両の結合距離よりも小さい値とする。
また、結合距離計算部106は、画像物体検出部501により検出された物体の属性に基づいて、その物体のサイズが大きいか小さいかを判定し、その判定結果に基づいて結合距離を求めることができる。例えば、車両のうち、トラックのサイズは大きく、乗用車のサイズは、トラックのサイズよりも小さいと判定できる。また、人間のサイズは、車両のサイズよりも小さいと判定できる。例えば、結合距離計算部106は、判定対象の2つの測距点がトラックに含まれる場合には、トラックのサイズは大きいため、他の物体と比較して結合距離を大きい値に設定する。
なお、物体識別部107及び物体位置・形状・姿勢推定部108は、画像物体検出部501の検出結果を用いて、物体の認識、物体の位置、形状や姿勢の推定をするようにしてもよい。
[測距点群のクラスタリング処理例]
図6は、ECU11による測距点群のクラスタリング処理の処理手順の一例を示すフローチャートである。なお、この処理手順は、記憶装置(図示省略)に記憶されているプログラムに基づいて実行される。また、この処理手順は、所定間隔(例えば数ミリ秒程度)で繰り返し実行される。なお、図6に示す処理は、図4に示す処理の一部を変形した例であり、図4に示す処理と共通する部分については、同一の符号を付してその説明の一部を省略する。
ステップS401の処理後のステップS601において、画像物体検出部501は、撮像装置30により生成された画像に含まれる物体と、その検出された物体の属性とを検出する。
その後、ステップS406でYesの場合、ステップS602において、結合距離計算部106は、画像物体検出部501により検出された物体のうちから、対象測距点及び対象近傍点を含む物体を判定する。
ステップS603において、結合距離計算部106は、対象測距点及び対象近傍点が、画像物体検出部501により検出された何れかの物体に含まれるか否かに基づいて結合距離を計算する。
例えば、結合距離計算部106は、対象測距点及び対象近傍点が、画像物体検出部501により検出された何れかの物体に含まれる場合には、結合距離の値を大きくする。この場合に、結合距離計算部106は、画像物体検出部501により検出された物体の属性に基づいて、結合距離の大小を決定することができる。
なお、第1実施形態と第2実施形態を組み合わせて結合距離を計算するようにしてもよい。すなわち、第1実施形態で示した物体認識システム1に画像物体検出部501を追加し、画像領域抽出部105により抽出された画像領域と、画像物体検出部501による検出結果とに基づいて、結合距離を計算するようにしてもよい。例えば、対象測距点及び対象近傍点間の物体表面の反射率が低い判定され、かつ、対象測距点及び対象近傍点が同一物体に含まれる場合には、結合距離をさらに大きくするように計算する。
[第2実施形態の作用効果]
第2実施形態に係る物体認識方法は、撮像装置30から取得された画像に含まれる物体を検出する物体検出ステップ(ステップS601)をさらに含む。また、判定ステップ(ステップS602、S603)は、撮像装置30から取得された画像のうち、反射波を検出できない出射方向(非検出方向)が存在する2つの測距点に対応する画像が、物体検出ステップ(ステップS601)で検出された同一の物体に含まれる場合には、結合距離(閾値の一例)を大きい値に設定する。
このような物体認識方法によれば、測距点が画像上のどの物体から得られた反射点か分かるため、反射率の低い物体に対するクラスタリング精度を向上させることができる。
また、第2実施形態に係る物体認識方法では、物体検出ステップ(ステップS601)は、検出された物体の属性をさらに判定する。また、判定ステップ(ステップS602、S603)は、反射波を検出できない出射方向(非検出方向)が存在する2つの測距点に対応する画像が、物体検出ステップで検出された同一の物体に含まれる場合には、その物体の属性に基づいて、結合距離(閾値の一例)の大きさを設定する。
このような物体認識方法によれば、画像で認識した検出物体の属性に応じて結合距離を設定できる。このため、1つの物体に対応する測距点群クラスタが複数に分割されたり、複数の物体に対応する測距点群クラスタが結合されたりする誤りを低減し、クラスタリング精度を向上させることができる。
[第3実施形態]
第3実施形態では、第1実施形態で示した物体認識システム1(図1参照)において物体点群抽出部701を追加する例を示す。なお、第3実施形態は、第1実施形態の一部を変形した例であり、第1実施形態と共通する部分については、図示及びその説明の一部を省略する。
[物体認識システムの構成例]
図7は、第3実施形態における物体認識システム7の機能構成例を示すブロック図である。物体認識システム7は、物体点群抽出部701をECU12に備える。
物体点群抽出部701は、点群取得部101から出力された測距点群から、非検出対象物体からの反射波に対応する測距点を除去し、検出対象物体からの反射波に対応する測距点のみを抽出するものであり、その抽出結果を点群クラスタリング部103に出力する。なお、検出対象物体は、車両50の周囲に存在し、物体認識システム7の認識対象となる物体であり、例えば、車両、バイク、人間等である。例えば、検出対象物体は、例えば、移動体とすることができる。また、非検出対象物体は、車両50の周囲に存在する物体のうち、検出対象物体以外の物体であり、例えば、路面等の地面、建物、植え込み等である。
物体点群抽出部701は、例えば、点群取得部101から出力された測距点群から、移動体を検出対象物体として抽出し、その抽出された移動体以外の背景を非検出対象物体として除去することにより実現できる。なお、図4、図6に示すステップS402において、物体点群抽出部701による検出対象物体の抽出処理が実行された後に、点群クラスタリング部103による未処理の測距点の選択処理が実行される。
なお、第2実施形態で示した画像物体検出部501を用いて、点群取得部101から出力された測距点群から、非検出対象物体対応する測距点を除去し、非検出対象物体対応する測距点を抽出するようにしてもよい。例えば、画像物体検出部501は、撮像装置30により生成された画像から検出対象物体及び非検出対象物体のうちの少なくとも一方を検出する。そして、物体点群抽出部701は、画像物体検出部501による検出結果を用いて非検出対象物体からの反射波に対応する測距点を除去し、検出対象物体からの反射波に対応する測距点のみを抽出する。
このように、第3実施形態では、測距センサ20から取得された測距点群と撮像装置30から取得された画像との少なくとも1つに基づいて、検出対象物体からの反射波に対応する測距点を、判定対象となる測距点の候補として抽出することができる。これにより点群クラスタに非検出対象物体の反射点が混入するのを防ぎ、クラスタリング性能を向上させることができる。
[第3実施形態の作用効果]
第3実施形態に係る物体認識方法は、判定ステップ(ステップS402乃至S413、S602、S603)は、複数の測距点と撮像装置30から取得された画像とに基づいて、判定対象となる測距点の候補を抽出し、その抽出された測距点に対して判定を行う。
このような物体認識方法によれば、路面等の検出対象外の測距点を予め除外することで、測距点群クラスタに路面等の非検出対象物の測距点が混入することを防ぐことができるため、クラスタリング精度を向上させることができる。
なお、第1乃至第3実施形態で示した各処理は、各処理手順をコンピュータに実行させるためのプログラムに基づいて実行されるものである。このため、第1乃至第3実施形態は、それらの各処理を実行する機能を実現するプログラム、そのプログラムを記憶する記録媒体の実施形態としても把握することができる。例えば、そのプログラムについては、車両に新機能を追加する際にアップデートにより車両の記憶装置に記憶させることができる。このアップデートは、例えば、車両の定期点検時等に行うことができる。また、ワイヤレス通信によりそのプログラムをアップデートするようにしてもよい。
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。