JP2021012664A - 物体位置推定装置 - Google Patents

Abstract

【課題】路面の傾きがある場合であっても対象物体の位置を精度よく推定することができる物体位置推定装置を提供する。【解決手段】物体位置推定装置は、車両の周辺の撮像画像を示す撮像情報、車両の絶対位置を示す位置情報、及び路面の絶対位置を示す地形情報が格納される記憶装置と、対象物体の絶対位置を推定する物体位置推定処理を行うプロセッサと、を備える。物体位置推定処理では、撮像画像から検出された対象物体の周囲に矩形の物体検出枠が付与され、地形情報取得範囲内に所定の間隔で配置された複数の地形点における地形情報が取得される。そして、複数の地形点が撮像画像に投影され、投影された複数の地形点の中から物体検出枠の下端の近傍の下端地形点群が選択される。そして、選択された下端地形点群に対応する地形情報に基づいて、対象物体の絶対位置が算出される。【選択図】図６

Description

本発明は、車両の周辺の物体の位置を推定する物体位置推定装置に関する。

特許文献１には、対象物の３次元空間における位置を算出できる対象物位置推定装置に関する技術が開示されている。この技術の装置は、画像における対象物の縦軸上の位置を、車両の姿勢変化量と起伏の程度に基づいて補正する。そして、マップを用いて、補正後の縦軸上の位置から、仮想的な平面上での対象物の位置を算出し、仮想的な平面上での対象物の位置と起伏の程度とから、対象物の３次元位置を算出する。

特開２０１５−２１５２９９号公報

カメラによる撮像画像の中の車両、歩行者等の対象物体は、その周囲を囲んだ長方形の物体検出枠を用いて、その後の演算処理が行われる。このため、例えば、車両のように幅方向に拡がる対象物体が傾斜路面に存在している場合、対象物体が撮像画像上で傾くことにより、物体検出枠の下端と対象物体の下端とが乖離してしまう。この場合、対象物体の下端の位置を正確に判断することができないため、対象物体の位置推定精度が低下するおそれがある。上記の特許文献１の装置では、対象物の３次元位置を算出する際に、路面の起伏（縦軸上の位置）は考慮されているが、路面の傾斜や轍による対象物体の傾きによる
誤差の影響は考慮されていない。

本発明は、上述のような課題に鑑みてなされたもので、路面の傾きがある場合であっても対象物体の位置を精度よく推定することができる物体位置推定装置を提供することを目的とする。

上記の課題を解決するため、本発明は、車両の周辺の物体の位置を推定する物体位置推定装置に適用される。物体位置推定装置は、車両の周辺の撮像画像を示す撮像情報、車両の絶対位置を示す位置情報、及び路面の絶対位置を示す地形情報が格納される記憶装置と、対象物体の絶対位置を推定する物体位置推定処理を行うプロセッサと、を備える。物体位置推定処理において、プロセッサは、撮像情報に基づいて、撮像画像から検出された対象物体の周囲に矩形の物体検出枠を付与し、位置情報に基づいて、車両から水平方向に拡がる地形情報取得範囲内に所定の間隔で配置された複数の地形点における地形情報を取得する。また、プロセッサは、複数の地形点を撮像画像に投影した画像を生成し、複数の地形点の中から物体検出枠の下端の近傍の所定範囲に位置する複数の地形点を下端地形点群として選択する。そして、プロセッサは、選択された下端地形点群に対応する地形情報に基づいて、対象物体の絶対位置を算出する。

本発明に係る物体位置推定装置によれば、下端地形点群の地形情報を用いることによって、対象物体の位置の路面の傾きを把握することができる。これにより、対象物体の下端の位置を正確に把握することができるので、対象物体の絶対位置を精度よく推定することが可能となる。

実施の形態１に係る物体位置推定装置の構成を説明するためのブロック図である。 物体位置推定装置が物体位置推定処理を行うための機能を示すブロック図である。 物体検出処理を説明するための図である。 地形情報取得範囲の一例を示す図である。 地形情報を取得する地形点の配置の一例を示す図である。 地形情報が投影された撮像画像の一例を示す図である。 特定地形点を選択する動作を説明するための図である。 実施の形態１の物体位置推定処理の流れを示すフローチャートである。

以下、図面を参照して本発明の実施の形態について説明する。ただし、以下に示す実施の形態において各要素の個数、数量、量、範囲等の数に言及した場合、特に明示した場合や原理的に明らかにその数に特定される場合を除いて、その言及した数に、この発明が限定されるものではない。また、以下に示す実施の形態において説明する構造やステップ等は、特に明示した場合や明らかに原理的にそれに特定される場合を除いて、この発明に必ずしも必須のものではない。

１．実施の形態１．
１−１．物体位置推定装置の構成
図１は、実施の形態１に係る物体位置推定装置の構成を説明するためのブロック図である。物体位置推定装置１０は、カメラ２２、自己位置推定センサ２４、及び地形マップ２６に接続されている。カメラ２２は、車両の周辺の画像を撮像する撮像装置である。カメラ２２は、例えば車室内のフロントガラスの上方に車両前方に向けて設置される。自己位置推定センサ２４は、車両に搭載されており、車両の絶対位置及び方位を取得する位置情報取得装置として機能する。車両の絶対位置は、３次元絶対座標系（緯度、経度、高度）において定義される。自己位置推定センサ２４は、例えば、車両に搭載されたＧＰＳ（Global Positioning System）センサ、ジャイロセンサ、車輪速センサ等を含んでいる。

地形マップ２６は、地形情報４６のデータベースである。地形マップ２６は、地形（terrain）に関する地図情報である。より詳細には、地形マップ２６は、路面の絶対位置を示す。例えば、地形マップ２６は、路面の各点の水平位置（経度、緯度）に高さ（高度）情報を関連付けて示している。地形マップ２６は、例えば車両に搭載されたＨＤＤやＳＳＤ等のストレージ内に形成されている。地形マップ２６は、車両外部の管理サーバに格納されていてもよい。

物体位置推定装置１０は、車両の周辺の物体の３次元絶対位置を推定する。物体位置推定装置１０は、プロセッサ３０と記憶装置４０とを備えている。記憶装置４０には各種情報が格納されている。プロセッサ３０は、コンピュータプログラムを実行することにより各種処理を行う。コンピュータプログラムは、記憶装置４０に格納されている。コンピュータ読み取り可能な記録媒体にコンピュータプログラムが記録されていてもよい。

プロセッサ３０は、撮像情報４２、位置情報４４、及び地形情報４６を取得する「情報取得処理」を行う。プロセッサ３０は、取得した情報を記憶装置４０に格納する。

撮像情報４２は、車両の周辺を撮像した撮像画像を示す。プロセッサ３０は、カメラ２２から撮像情報を取得する。位置情報４４は、車両の自己位置に関する情報である。プロセッサ３０は、自己位置推定センサ２４から位置情報４４を取得する。

地形情報４６は、路面の絶対位置を示す。プロセッサ３０は、地形マップ２６を参照し、設定された範囲の所定の地形点での地形情報４６を取得する。地形マップ２６が車両の外部の管理サーバに格納されている場合、プロセッサ３０は、管理サーバと通信を行い、必要な地形情報４６を取得する。

さらに、プロセッサ３０は、車両の周辺の物体の位置を推定する「物体位置推定処理」を行う。後述されるように、プロセッサ３０は、撮像情報４２、位置情報４４、及び地形情報４６に基づいて、物体位置推定処理を行う。

なお、物体位置推定装置１０は、例えば車両に搭載されたマイクロコンピュータによって実現される。但し、物体位置推定装置１０は、必ずしも車両に搭載されていなくてもよい。物体位置推定処理に必要な情報を取得することができる範囲において、物体位置推定装置１０の設置位置に限定はない。以下、物体位置推定処理について更に詳細に説明する。

１−２．物体位置推定処理
図２は、物体位置推定装置が物体位置推定処理を行うための機能を示すブロック図である。物体位置推定処理は、物体位置推定装置１０が備える物体検出部１０２、自己位置推定部１０４、地形情報取得範囲算出部１０６、地形情報取得部１０８、地形情報画像投影部１１０、地形点選択部１１２、及び物体位置算出部１１４により実現される。これらの部１０２、１０４、１０６、１０８，１１０、１１２，１１４は、記憶装置４０に記憶されたコンピュータプログラムがプロセッサ３０で実行されたときにソフトウェア的に実現される。

物体検出部１０２は、撮像情報４２から対象物体を検出し、その周囲に矩形の物体検出枠を生成する「物体検出処理」を行う。図３は、物体検出処理を説明するための図である。この図に示す物体検出処理では、撮像画像に含まれる先行車両を対象物体Ｖとして検出し、その周囲を囲む矩形の物体検出枠Ｆを画像上に付与している。

自己位置推定部１０４は、位置情報４４の入力を受けて、車両の絶対位置及びその方向を推定する。自己位置の精度を高めるために、自己位置推定部１０４は、周知の自己位置推定処理（localization）をさらに行ってもよい。その場合、自己位置推定部１０４は、車両の周囲の特徴物（例えば、白線、標識、ポール等）に関する情報を取得し、自己位置推定処理を行う。

地形情報取得範囲算出部１０６は、地形情報取得範囲Ｒを算出する。図４は、地形情報取得範囲の一例を示す図である。この図に示す例では、地形情報取得範囲Ｒは、車両からカメラ２２の撮像方向に対して水平方向に扇状に拡がるように定められる。なお、地形情報取得範囲Ｒは上記の例に限らず、少なくともカメラ２２による撮像範囲の一部を含むように設定すればよい。

地形情報取得部１０８は、地形情報取得範囲Ｒの地形情報４６を取得する。図５は、地形情報を取得する地形点の配置の一例を示す図である。この図に示すように、地形情報取得部１０８は、地形情報取得範囲Ｒにおいて、所定の間隔Ｘで格子状に配置された複数の地形点Ｐのそれぞれに対して、地形マップ２６を参照して地形情報４６を取得する。地形マップ２６が車両の外部の管理サーバに格納されている場合、プロセッサ３０は、管理サーバと通信を行い、必要な地形情報４６を取得する。

地形情報画像投影部１１０は、地形情報取得部１０８が取得した地形点Ｐの地形情報４６を撮像画像上に投影する。図６は、地形情報が投影された撮像画像の一例を示す図である。この図に示すように、地形情報４６の各地形点Ｐは、その絶対位置が撮像画像上の対応する位置となるように投影される。

地形点選択部１１２は、撮像画像に投影された複数の地形点Ｐの中から、対象物体Ｖの絶対位置を算出するための特定地形点ＳＰを選択する。図７は、特定地形点を選択する動作を説明するための図である。図７に示す例では、路面の傾きや轍の影響によって対象物体Ｖが車両のロール方向に傾いている。このような場合、物体検出枠Ｆの下端ラインＢＬを実際の路面の位置であると仮定すると、位置推定精度が低下してしまう。

そこで、地形点選択部１１２は、対象物体Ｖの傾きによる影響を排除するための以下の機能を備えている。すなわち、地形点選択部１１２は、物体検出枠Ｆの下端ラインＢＬの中央部ＢＣからの距離が所定距離（例えば、ｄピクセル）以下となる所定範囲Ｃに存在する複数の地形点Ｐ（図中の黒丸）を選択する。選択された所定範囲Ｃに存在する複数の地形点Ｐは、以下「下端地形点群」と呼ばれる。地形点選択部１１２は、選択した下端地形点群の地形情報４６を用いて、路面の傾きθを算出する。なお、路面の傾きθの算出は、下端地形点群の地形情報４６を用いて行う範囲において限定はない。そして、地形点選択部１１２は、物体検出枠Ｆの下端ラインＢＬを角度θだけ傾けた仮想の下端ラインＢＬ´を算出し、下端ラインＢＬ´の中央部から最近傍に位置する地形点を、最終的な特定地形点ＳＰとして選択する。

物体位置算出部１１４は、地形点選択部１１２により選択された特定地形点ＳＰの地形情報４６を用いて、先行車両である対象物体Ｖの絶対位置を算出する。

１−３．物体位置推定処理において実行される具体的処理
上記の各部１０２、１０４、１０６、１０８、１１０、１１２、１１４の機能により、物体位置推定装置１０は、車両の周辺の対象物体の位置を推定する物体位置推定処理を行う装置として機能する。図８は、実施の形態１の物体位置推定処理の流れを示すフローチャートである。物体位置推定装置１０のプロセッサ３０は、このフローチャートに示す処理をそれぞれ所定の周期で実行する。

ステップＳ１００では、物体検出処理が行われて、撮像情報４２の撮像画像内から対象物体が検出される。また、物体検出処理では、検出された対象物体を囲む物体検出枠Ｆが生成される。ステップＳ１０２では、位置情報４４の入力を受けて、車両の絶対位置及びその方向が推定される。

ステップＳ１０４では、地形情報取得範囲Ｒが算出される。次に、ステップＳ１０６では、地形情報取得範囲Ｒにおいて、所定の間隔Ｘで格子状に配置された複数の地形点Ｐのそれぞれに対して地形情報４６が取得される。ステップＳ１０８では、複数の地形点Ｐの地形情報４６が撮像画像上に投影される。

ステップＳ１１０では、所定エリアに地形点が複数存在するか否かが判定される。ここでの所定エリアは、例えば、物体検出枠Ｆの下端ラインＢＬの中央部ＢＣからの距離が所定距離（例えば、ｄピクセル）以下となる所定範囲Ｃである。その結果、判定の成立が認められない場合、本ルーチンは終了され、判定の成立が認められた場合、次のステップＳ１１２の処理へと進む。ステップＳ１１２では、対象物体の位置推定に利用する地形点が選択される。ここでは、所定エリアに属する地形点Ｐの地形情報４６を用いて、路面の傾きがθが算出される。次に、物体検出枠Ｆの下端ラインＢＬを角度θだけ傾けた仮想の下端ラインＢＬ´が算出される。そして、算出された下端ラインＢＬ´の中央部から最近傍に位置する地形点が、最終的な特定地形点ＳＰとして選択される。

ステップＳ１１４では、選択された特定地形点ＳＰの地形情報４６を用いて、先行車両である対象物体Ｖの絶対位置が算出される。

以上の手順で行われる物体位置推定処理によれば、対象物体の下端近傍の複数の地形点を用いて対象物体の位置の路面の傾きが演算される。これにより、物体の他端の位置を正確に把握することができるので、路面に傾きや轍がある場合であっても、対象物体の位置を精度よく推定することが可能となる。

１０ 物体位置推定装置
２２ カメラ
２４ 自己位置推定センサ
２６ 地形マップ
３０ プロセッサ
４０ 記憶装置
４２ 撮像情報
４４ 位置情報
４６ 地形情報
１０２ 物体検出部
１０４ 自己位置推定部
１０６ 地形情報取得範囲算出部
１０８ 地形情報取得部
１１０ 地形情報画像投影部
１１２ 地形点選択部
１１４ 物体位置算出部

Claims (1)

1. 車両の周辺の物体の位置を推定する物体位置推定装置であって、
   前記物体位置推定装置は、
   前記車両の周辺の撮像画像を示す撮像情報、前記車両の絶対位置を示す位置情報、及び路面の絶対位置を示す地形情報が格納される記憶装置と、
   対象物体の絶対位置を推定する物体位置推定処理を行うプロセッサと、を備え、
   前記物体位置推定処理において、前記プロセッサは、
   前記撮像情報に基づいて、前記撮像画像から検出された前記対象物体の周囲に矩形の物体検出枠を付与し、
   前記位置情報に基づいて、前記車両から水平方向に拡がる地形情報取得範囲内に所定の間隔で配置された複数の地形点における前記地形情報を取得し、
   前記複数の地形点を前記撮像画像に投影した画像を生成し、
   前記複数の地形点の中から前記物体検出枠の下端の近傍の所定範囲に位置する複数の地形点を下端地形点群として選択し、
   選択された前記下端地形点群に対応する前記地形情報に基づいて、前記対象物体の絶対位置を算出する
   ことを特徴とする物体位置推定装置。

Images