JP2019211403A

JP2019211403A - 対象位置計測装置及び対象位置計測プログラム

Info

Publication number: JP2019211403A
Application number: JP2018109794A
Authority: JP
Inventors: 将広星; Masahiro Hoshi; 幸伸時枝; Yukinobu Tokieda
Original assignee: JRC Mobility Inc
Current assignee: JRC Mobility Inc
Priority date: 2018-06-07
Filing date: 2018-06-07
Publication date: 2019-12-12
Anticipated expiration: 2038-06-07
Also published as: JP7074571B2

Abstract

【課題】本開示は、ミリ波レーダ等及び単眼カメラ等を併用することにより、計測対象の三次元情報を計測することを目的とする。【解決手段】本開示は、計測対象についてレーダ反射点の情報及び画像を取得する計測対象取得部３１と、画像上でレーダ反射点をプロットする反射点プロット部３２と、画像上でレーダ反射点の近傍でのエッジ解析を実行することにより、画像上で計測対象を縁取る四角錐台を検出する四角錐台検出部３３と、画像上で四角錐台の各面内でのエッジ解析を実行することにより、画像上で計測対象の輪郭を検出する対象輪郭検出部３４と、画像上の計測対象の輪郭の位置を実空間内の位置に変換する位置変換部３５と、を備えることを特徴とする対象位置計測装置３である。【選択図】図１

Description

本開示は、計測対象の三次元情報を計測する技術に関する。

車両の三次元情報を計測する技術として、ステレオカメラ又はＬｉＤＡＲ（ＬａｓｅｒＩｍａｇｉｎｇＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇ）を用いる技術が存在する。しかし、ステレオカメラを用いる技術では、ステレオカメラから遠距離になるほど、測距精度が低下する。そして、ステレオカメラ又はＬｉＤＡＲを用いる技術では、天候依存度が大きいため、霧及び雨等の悪天候時に対応することができない。

特開２０１０−２４９６１３号公報

ところで、特許文献１に開示された技術として、ミリ波レーダ及び単眼カメラを併用する技術が存在する。よって、特許文献１に開示された技術では、レーダ装置から遠距離になっても、測距精度が向上する。そして、特許文献１に開示された技術では、天候依存度が小さいため、霧及び雨等の悪天候時に対応することができる。しかし、特許文献１に開示された技術では、レーダ装置から車両の正面までの距離及び車両の正面を縁取る矩形を検出するのみであり、車両の三次元情報を計測することができない。

そこで、前記課題を解決するために、本開示は、ミリ波レーダ等及び単眼カメラ等を併用することにより、計測対象の三次元情報を計測することを目的とする。

ミリ波レーダ等では、計測対象の幅及び奥行といった二次元情報を計測するのみである。単眼カメラ等では、計測対象の幅及び高さといった二次元情報を計測するのみである。前記課題を解決するために、ミリ波レーダ等及び単眼カメラ等を併用して、各々に不足する次元の情報を互いに補完して、計測対象の幅、奥行及び高さといった三次元情報を計測する。そして、計測対象の外縁輪郭のみならず計測対象の面内輪郭を検出する。

具体的には、本開示は、計測対象についてレーダ反射点の情報及び画像を取得する計測対象取得部と、前記画像上で前記レーダ反射点をプロットする反射点プロット部と、前記画像上で前記レーダ反射点の近傍でのエッジ解析を実行することにより、前記画像上で前記計測対象を縁取る四角錐台を検出する四角錐台検出部と、前記画像上で前記四角錐台の各面内でのエッジ解析を実行することにより、前記画像上で前記計測対象の輪郭を検出する対象輪郭検出部と、前記画像上の前記計測対象の輪郭の位置を実空間内の位置に変換する位置変換部と、を備えることを特徴とする対象位置計測装置である。

この構成によれば、ミリ波レーダ等及び単眼カメラ等を併用することにより、計測対象の幅、奥行及び高さといった三次元情報を計測することができる。そして、計測対象の外縁輪郭のみならず計測対象の面内輪郭を検出することにより、擦れ違い及び擦り抜け等の自動運転に対応可能な周辺環境認識を行うことができる。なお、計測対象の幅及び奥行といった二次元情報を計測するのみであるレーダに代えて、計測対象の幅、奥行及び高さといった三次元情報を計測することができるレーダを用いてもよい。また、計測対象の幅及び高さといった二次元情報を計測するのみである単眼カメラに代えて、計測対象の幅、高さ及び奥行といった三次元情報を計測することができるステレオカメラを用いてもよい。

また、本開示は、前記対象輪郭検出部は、前記四角錐台の各面を複数のグリッドに分割し、各々のグリッド内でエッジ解析を実行し、各々のグリッド内で前記計測対象の輪郭の一部を検出し、各々のグリッド内で前記計測対象の輪郭の一部を代表点に変換し、前記位置変換部は、各々のグリッド内で前記代表点の位置を実空間内の位置に変換することを特徴とする対象位置計測装置である。

この構成によれば、計測対象の外縁・面内輪郭を計測対象の輪郭点群に変換することにより、ＬｉＤＡＲ等により生成された三次元環境地図等の静的情報に対して、本開示の技術により生成された車両及び歩行者等の動的情報をプロットすることができる。そして、計測対象の外縁・面内輪郭が計測対象全体では複雑な形状であっても、各々のグリッド内で計測対象の外縁・面内輪郭を計測対象の輪郭点群に容易に変換することができる。さらに、計測対象の外縁・面内輪郭が計測対象全体では複雑な形状であっても、各々のグリッド内で計測対象の外縁・面内輪郭を容易に検出することができる。

また、本開示は、前記対象輪郭検出部は、前記四角錐台の各面内でエッジ解析を実行し、前記四角錐台の各面内で前記計測対象の輪郭を検出し、前記四角錐台の各面を複数のグリッドに分割し、各々のグリッド内で前記計測対象の輪郭の一部を代表点に変換し、前記位置変換部は、各々のグリッド内で前記代表点の位置を実空間内の位置に変換することを特徴とする対象位置計測装置である。

この構成によれば、計測対象の外縁・面内輪郭を計測対象の輪郭点群に変換することにより、ＬｉＤＡＲ等により生成された三次元環境地図等の静的情報に対して、本開示の技術により生成された車両及び歩行者等の動的情報をプロットすることができる。そして、計測対象の外縁・面内輪郭が計測対象全体では複雑な形状であっても、各々のグリッド内で計測対象の外縁・面内輪郭を計測対象の輪郭点群に容易に変換することができる。さらに、計測対象の外縁・面内輪郭が計測対象一部に直線的な部分を含むならば、四角錐台の各面内で計測対象の外縁・面内輪郭を高速で検出することができる。

また、本開示は、前記対象輪郭検出部は、レーダ装置及び撮像装置を搭載する自車から見た前記計測対象の危険度に応じて、前記四角錐台の各面を分割するグリッドの個数を設定することを特徴とする対象位置計測装置である。

この構成によれば、計測対象の危険度が高ければ、四角錐台の各面を分割するグリッドの個数を多くすることにより、計測対象の輪郭点群を詳細に検出することができ、擦れ違い及び擦り抜け等の自動運転に対応可能な周辺環境認識を行うことができる。一方で、計測対象の危険度が低ければ、四角錐台の各面を分割するグリッドの個数を少なくすることにより、計測対象の輪郭点群を高速で検出することができ、危険度が低い計測対象について計測対象の輪郭点群の詳細検出を無駄に行わないことができる。

また、本開示は、前記対象輪郭検出部は、前記レーダ装置により計測された前記自車と前記計測対象との間の距離に応じて、前記四角錐台の各面を分割するグリッドの個数を設定することを特徴とする対象位置計測装置である。

この構成によれば、自車と計測対象との間の距離に基づいて、計測対象の危険度を判定することができ、計測対象の輪郭点群の検出精度を設定することができる。

また、本開示は、前記対象輪郭検出部は、前記レーダ装置により計測された前記自車と前記計測対象との間の進行速度差に応じて、前記四角錐台の各面を分割するグリッドの個数を設定することを特徴とする対象位置計測装置である。

この構成によれば、自車と計測対象との間の進行速度差に基づいて、計測対象の危険度を判定することができ、計測対象の輪郭点群の検出精度を設定することができる。

また、本開示は、前記対象輪郭検出部は、前記レーダ装置により計測された前記自車と前記計測対象との間の進行方向差に応じて、前記四角錐台の各面を分割するグリッドの個数を設定することを特徴とする対象位置計測装置である。

この構成によれば、自車と計測対象との間の進行方向差に基づいて、計測対象の危険度を判定することができ、計測対象の輪郭点群の検出精度を設定することができる。

また、本開示は、前記対象輪郭検出部は、前記レーダ装置により計測された前記自車の前記計測対象への接近時間に応じて、前記四角錐台の各面を分割するグリッドの個数を設定することを特徴とする対象位置計測装置である。

この構成によれば、自車の計測対象への接近時間に基づいて、計測対象の危険度を判定することができ、計測対象の輪郭点群の検出精度を設定することができる。

また、本開示は、計測対象についてレーダ反射点の情報及び画像を取得する計測対象取得ステップと、前記画像上で前記レーダ反射点をプロットする反射点プロットステップと、前記画像上で前記レーダ反射点の近傍でのエッジ解析を実行することにより、前記画像上で前記計測対象を縁取る四角錐台を検出する四角錐台検出ステップと、前記画像上で前記四角錐台の各面内でのエッジ解析を実行することにより、前記画像上で前記計測対象の輪郭を検出する対象輪郭検出ステップと、前記画像上の前記計測対象の輪郭の位置を実空間内の位置に変換する位置変換ステップと、を順にコンピュータに実行させるための対象位置計測プログラムである。

このように、本開示は、ミリ波レーダ等及び単眼カメラ等を併用することにより、計測対象の三次元情報を計測することができる。

本開示の対象位置計測システムの構成を示すブロック図である。本開示の対象位置計測装置の処理手順を示すフローチャートである。本開示の計測対象取得の処理内容を示す図である。本開示の反射点プロット及び四角錐台検出の処理内容を示す図である。本開示の第１の対象輪郭検出の処理内容を示す図である。本開示の第２の対象輪郭検出の処理内容を示す図である。本開示の位置変換の処理内容を示す図である。本開示の１台の車両の輪郭点群の検出結果を示す図である。本開示の１人の歩行者の輪郭点群の検出結果を示す図である。本開示の３台の車両の画像を示す図である。本開示の３台の車両の輪郭点群の検出結果を示す図である。従来技術及び本開示の輪郭点群の検出結果を示す図である。本開示の様々なグリッド分割数での輪郭点群の検出結果を示す図である。本開示の第１のグリッド分割数の設定方法を示す図である。本開示の第２のグリッド分割数の設定方法を示す図である。本開示の第３のグリッド分割数の設定方法を示す図である。本開示の第４のグリッド分割数の設定方法を示す図である。

添付の図面を参照して本開示の実施形態を説明する。以下に説明する実施形態は本開示の実施の例であり、本開示は以下の実施形態に制限されるものではない。

（対象位置計測システムの概要）
本開示の対象位置計測システムの構成を示すブロック図を図１に示す。本開示の対象位置計測装置の処理手順を示すフローチャートを図２に示す。対象位置計測システムＳは、レーダ装置１、撮像装置２及び対象位置計測装置３から構成される。対象位置計測装置３は、図２に示した対象位置計測プログラムをインストールされたコンピュータであり、計測対象取得部３１、反射点プロット部３２、四角錐台検出部３３、対象輪郭検出部３４及び位置変換部３５から構成される。

レーダ装置１は、自車のバンパーの内部等に設置される、ＭＩＭＯ（ＭｕｌｔｉｐｌｅＩｎｐｕｔ−ＭｕｌｔｉｐｌｅＯｕｔｐｕｔ）ミリ波レーダ等である。撮像装置２は、自車のフロントガラスの上部又は自車のバンパーの内部等に設置される、単眼カメラ等である。対象位置計測装置３は、レーダ装置１及び撮像装置２を併用することにより、対象位置の三次元情報を計測する。そして、計測対象の外縁輪郭のみならず計測対象の面内輪郭を検出する。

本開示の計測対象取得の処理内容を図３に示す。計測対象取得部３１は、計測対象についてレーダ反射点の情報及び画像を取得する（ステップＳ１）。

計測対象からのレーダ反射点の情報は、ビームフォーマ法又はＭＵＳＩＣ（ＭｕｌｔｉｐｌｅＳｉｇｎａｌＣｌａｓｓｉｆｉｃａｔｉｏｎ）法等により取得される。計測対象取得部３１は、複数の白線Ｌの情報を取得している。レーダ装置１のアンテナＡから見て、左側の隣接車線には、複数のレーダ反射点のクラスタとして車両Ｃ１が検出され、同一の車線には、複数のレーダ反射点のクラスタとして車両Ｃ２が検出され、右側の隣接車線には、複数のレーダ反射点のクラスタとして車両Ｃ３が検出される。

計測対象の画像は、単眼カメラ等により取得される。撮像装置２のセンサから見て、前方の方向には、複数の白線Ｌが検出され、左側の隣接車線には、車両Ｃ１が検出され、同一の車線には、車両Ｃ２が検出され、右側の隣接車線には、車両Ｃ３が検出される。

レーダ装置１は、複数のアンテナＡを高さ方向に離して設置する余裕がないため、計測対象の幅Ｘ［ｍ］及び奥行Ｚ［ｍ］といった二次元情報を計測するのみである。撮像装置２は、複数のセンサを幅方向に離して設置する余裕がないため、計測対象の幅ｘ［ｐｉｘ］及び高さｙ［ｐｉｘ］といった二次元情報を計測するのみである。そこで、対象位置計測装置３は、レーダ装置１及び撮像装置２を併用して、各々に不足する次元の情報を互いに補完して、計測対象の幅Ｘ［ｍ］、奥行Ｚ［ｍ］及び高さＹ［ｍ］といった三次元情報を計測する。そして、計測対象の外縁輪郭のみならず計測対象の面内輪郭を検出する。

（四角錐台検出の処理内容）
本開示の反射点プロット及び四角錐台検出の処理内容を図４に示す。反射点プロット部３２は、画像上でレーダ反射点をプロットする（ステップＳ２）。

車両Ｃ１からのレーダ反射点の情報では、車両Ｃ１の正面には、複数のレーダ反射点Ｐ１、Ｐ２、Ｐ３が検出され、車両Ｃ１の側面には、複数のレーダ反射点Ｐ４、Ｐ５、Ｐ６、Ｐ７が検出される。車両Ｃ１の画像では、車両Ｃ１の近傍に、複数のレーダ反射点Ｐ１〜Ｐ７がプロットされる。ここで、図７に示した画像上の位置を実空間内の位置に変換する数式に対して、逆処理である実空間内の位置を画像上の位置に変換する数式を用いて、複数のレーダ反射点Ｐ１〜Ｐ７が車両Ｃ１の画像上にプロットされる。

車両Ｃ１の画像では、反射点プロット部３２は、複数のレーダ反射点Ｐ１〜Ｐ７が路面上にあると仮定する。というのは、複数のレーダ反射点Ｐ１〜Ｐ７の高さは、レーダ装置１の設置高さの周りで不明である。そこで、複数のレーダ反射点Ｐ１〜Ｐ７の高さは、路面の高さ（レーダ装置１の設置高さに近い）に等しいと仮定する。

四角錐台検出部３３は、画像上でレーダ反射点の近傍でのエッジ解析を実行することにより、画像上で計測対象を縁取る四角錐台を検出する（ステップＳ３）。

最初の処理では、四角錐台検出部３３は、反射点プロット部３２が路面上にあると仮定した複数のレーダ反射点Ｐ１〜Ｐ７に基づいて、画像上で車両Ｃ１を縁取る四角錐台Ｒの底面の辺Ｒ１、Ｒ２を検出する。具体的には、四角錐台検出部３３は、複数のレーダ反射点Ｐ１〜Ｐ３の近似直線を最小二乗法等により算出し、複数のレーダ反射点Ｐ１〜Ｐ３の近似直線を四角錐台Ｒの底面の辺Ｒ１として検出する。そして、四角錐台検出部３３は、複数のレーダ反射点Ｐ４〜Ｐ７の近似直線を最小二乗法等により算出し、複数のレーダ反射点Ｐ４〜Ｐ７の近似直線を四角錐台Ｒの底面の辺Ｒ２として検出する。

このように、車両Ｃ１の画像では、複数のレーダ反射点Ｐ１〜Ｐ７の高さを路面の高さ（レーダ装置１の設置高さに近い）に等しいと仮定することにより、車両Ｃ１を縁取る四角錐台Ｒの底面の辺Ｒ１、Ｒ２を容易に検出することができる。なお、車両Ｃ１の他の位置のエッジ解析と異なり、車両Ｃ１の下側のエッジ解析を実行しないのは、車両Ｃ１の下側のエッジと路面との間にタイヤの半径程度の高さの空間があり、車両Ｃ１の高さを精度高く計測することができないからである（図７の第３式を参照）。

第２の処理では、四角錐台検出部３３は、四角錐台Ｒの底面の二辺Ｒ１、Ｒ２の交点から画像上の高さ方向に延伸する直線に基づいて、四角錐台Ｒの正面と側面との境界の辺Ｒ３を検出する。

第３の処理では、四角錐台検出部３３は、四角錐台Ｒの底面の辺Ｒ１、Ｒ２から画像上の高さ方向の所定距離でのエッジ解析を実行することにより、四角錐台Ｒの上面の辺Ｒ４、Ｒ５を検出する。

具体的には、四角錐台検出部３３は、レーダ装置１から車両Ｃ１までの距離が近いほど、エッジ解析を実行する画像上の高さ方向の所定距離の範囲ｙ_Ｅ［ｐｉｘ］を広くし、レーダ装置１から車両Ｃ１までの距離が遠いほど、エッジ解析を実行する画像上の高さ方向の所定距離の範囲ｙ_Ｅ［ｐｉｘ］を狭くする。ここで、辺Ｒ４、Ｒ５を検出するためのエッジ解析範囲Ｅ４、Ｅ５の最小高さは、例えば現行軽自動車の最小高さ及び図７に示した第３の座標変換式に基づいて設定され、エッジ解析範囲Ｅ４、Ｅ５の最大高さは、法律で定められた最大高さ規制及び図７に示した第３の座標変換式に基づいて設定される。

そして、四角錐台検出部３３は、エッジ解析範囲Ｅ４、Ｅ５のみにおいて、幅方向に長いエッジを検出するＣａｎｎｙ法等を適用することにより、四角錐台Ｒの上面の辺Ｒ４、Ｒ５を容易に検出することができる。なお、四角錐台検出部３３は、エッジ解析範囲Ｅ４、Ｅ５のみにおいて、様々な幅座標位置で高さ方向に輝度勾配を計測することにより、四角錐台Ｒの上面の辺Ｒ４、Ｒ５を検出することもできる。

第４の処理では、四角錐台検出部３３は、四角錐台Ｒの正面と側面との境界の辺Ｒ３から画像上の幅方向の所定距離でのエッジ解析を実行することにより、四角錐台Ｒの正面の四辺のうち、四角錐台Ｒの正面と側面との境界の辺Ｒ３と向かい合う辺Ｒ６を検出する。

具体的には、四角錐台検出部３３は、レーダ装置１から車両Ｃ１までの距離が近いほど、エッジ解析を実行する画像上の幅方向の所定距離の範囲ｘ_Ｅ［ｐｉｘ］を広くし、レーダ装置１から車両Ｃ１までの距離が遠いほど、エッジ解析を実行する画像上の幅方向の所定距離の範囲ｘ_Ｅ［ｐｉｘ］を狭くする。ここで、辺Ｒ６を検出するためのエッジ解析範囲Ｅ６の最小幅座標は、例えば現行軽自動車の最小幅及び図７に示した第２の座標変換式に基づいて設定され、エッジ解析範囲Ｅ６の最大幅座標は、法律で定められた最大幅規制及び図７に示した第２の座標変換式に基づいて設定される。

そして、四角錐台検出部３３は、エッジ解析範囲Ｅ６のみにおいて、高さ方向に長いエッジを検出するＣａｎｎｙ法等を適用することにより、四角錐台Ｒの正面と側面との境界の辺Ｒ３と向かい合う辺Ｒ６を容易に検出することができる。なお、四角錐台検出部３３は、エッジ解析範囲Ｅ６のみにおいて、様々な高さ座標位置で幅方向に輝度勾配を計測することにより、四角錐台Ｒの正面の他辺Ｒ６を検出することもできる。

最後の処理では、四角錐台検出部３３は、車両Ｃ１の最前方のレーダ反射点Ｐ７から画像上の奥行方向の所定距離でのエッジ解析を実行することにより、四角錐台Ｒの側面の四辺のうち、四角錐台Ｒの正面と側面との境界の辺Ｒ３と向かい合う辺Ｒ７を検出する。

具体的には、四角錐台検出部３３は、レーダ装置１から車両Ｃ１までの距離が近いほど、エッジ解析を実行する画像上の奥行方向の所定距離の範囲ｚ_Ｅ［ｐｉｘ］を広くし、レーダ装置１から車両Ｃ１までの距離が遠いほど、エッジ解析を実行する画像上の奥行方向の所定距離の範囲ｚ_Ｅ［ｐｉｘ］を狭くする。ここで、辺Ｒ７を検出するためのエッジ解析範囲Ｅ７の最小奥行及び最大奥行は、辺Ｒ７を確実に検出できるように設定される。

そして、四角錐台検出部３３は、エッジ解析範囲Ｅ７のみにおいて、様々な高さ座標位置で奥行方向に輝度勾配を計測することにより、四角錐台Ｒの正面と側面との境界の辺Ｒ３と向かい合う辺Ｒ７を確実に検出することができる。なお、四角錐台検出部３３は、エッジ解析範囲Ｅ７のみにおいて、高さ方向に長いエッジを検出するＣａｎｎｙ法等を適用することにより、四角錐台Ｒの側面の他辺Ｒ７を検出することもできる。

（対象輪郭検出の処理内容）
対象輪郭検出部３４は、画像上で四角錐台の各面内でのエッジ解析を実行することにより、画像上で計測対象の輪郭を検出する（ステップＳ４）。具体的には、対象輪郭検出部３４は、計測対象の輪郭線分を計測対象の輪郭点群に変換する。

本開示の第１の対象輪郭検出の処理内容を図５に示す。まず、対象輪郭検出部３４は、四角錐台Ｒの各面を複数のグリッドに分割する。図５の上段の左欄から図５の上段の中欄にかけて、四角錐台Ｒの正面及び側面は、それぞれ５×５のグリッドに分割されている。なお、グリッド分割数については、図１３〜１７を用いて後述する。

次に、対象輪郭検出部３４は、各々のグリッド内でエッジ解析を実行し、各々のグリッド内で車両Ｃ１の輪郭の一部を検出する。図５の上段の右欄では、四角錐台Ｒの正面の左上の１グリッドにおいて、背景除去及び強調処理が実行された後に、エッジ解析が実行されており、車両Ｃ１の正面の左上の輪郭が検出されている。なお、エッジ解析は、Ｃａｎｎｙ法等を適用することにより実行されてもよく、輝度勾配を計測することにより実行されてもよく、サブピクセルレベルで曲線状のエッジを検出するように実行されてもよい。

次に、対象輪郭検出部３４は、各々のグリッド内で車両Ｃ１の輪郭の一部を代表点に変換する。図５の下段の左欄では、四角錐台Ｒの正面の左上の１グリッドにおいて、車両Ｃ１の正面の左上の輪郭が代表点に変換されている。なお、代表点として、車両Ｃ１の輪郭の一部について、多角形の重心であってもよく、線分の中心であってもよい。また、代表点の個数は、各々のグリッド内において、単数であってもよく、複数であってもよい。

図５の説明では、各々のグリッド内でのエッジ解析、輪郭検出及び代表点変換について、簡素なシリアル処理を実行しているが、高速なパラレル処理を実行してもよい。

このように、計測対象の外縁・面内輪郭が計測対象全体では複雑な形状であっても、各々のグリッド内では単純な形状であるため、各々のグリッド内で計測対象の外縁・面内輪郭を計測対象の輪郭点群に容易に変換することができる。さらに、計測対象の外縁・面内輪郭が計測対象全体では複雑な形状であっても、各々のグリッド内では単純な形状であるため、各々のグリッド内で計測対象の外縁・面内輪郭を容易に検出することができる。

本開示の第２の対象輪郭検出の処理内容を図６に示す。まず、対象輪郭検出部３４は、四角錐台Ｒの各面内でエッジ解析を実行し、四角錐台Ｒの各面内で車両Ｃ１の輪郭を検出する。図６の上段の左欄から図６の上段の右欄にかけて、四角錐台Ｒの正面及び側面において、背景除去及び強調処理が実行された後に、エッジ解析が実行されており、車両Ｃ１の正面及び側面の輪郭が検出されている。なお、エッジ解析は、Ｃａｎｎｙ法等を適用することにより実行されてもよく、輝度勾配を計測することにより実行されてもよく、サブピクセルレベルで曲線状のエッジを検出するように実行されてもよい。

次に、対象輪郭検出部３４は、四角錐台Ｒの各面を複数のグリッドに分割する。図６の下段の左欄では、四角錐台Ｒの正面及び側面は、それぞれ５×５のグリッドに分割されている。なお、グリッド分割数については、図１３〜１７を用いて後述する。

次に、対象輪郭検出部３４は、各々のグリッド内で車両Ｃ１の輪郭の一部を代表点に変換する。図６の下段の右欄では、四角錐台Ｒの正面及び側面のグリッドにおいて、車両Ｃ１の正面及び側面の輪郭が代表点に変換されている。なお、代表点として、車両Ｃ１の輪郭の一部について、多角形の重心であってもよく、線分の中心であってもよい。また、代表点の個数は、各々のグリッド内において、単数であってもよく、複数であってもよい。

図６の説明では、各々のグリッド内での代表点変換について、簡素なシリアル処理を実行してもよく、高速なパラレル処理を実行してもよい。

このように、計測対象の外縁・面内輪郭が計測対象全体では複雑な形状であっても、各々のグリッド内では単純な形状であるため、各々のグリッド内で計測対象の外縁・面内輪郭を計測対象の輪郭点群に容易に変換することができる。さらに、計測対象の外縁・面内輪郭が計測対象一部に直線的な部分を含むならば、四角錐台の各面内での粗いエッジ解析で足り、四角錐台の各面内で計測対象の外縁・面内輪郭を高速で検出することができる。

本開示の位置変換の処理内容を図７に示す。位置変換部３５は、画像上の計測対象の輪郭の位置を実空間内の位置に変換する（ステップＳ５）。具体的には、位置変換部３５は、各々のグリッド内で代表点の位置を実空間内の位置に変換する。

辺Ｒ１、Ｒ６の交点の座標を、画像上で（ｘ_１［ｐｉｘ］、ｙ_１［ｐｉｘ］）とし、実空間内で（Ｘ_１［ｍ］、Ｙ_１［ｍ］、Ｚ_１［ｍ］）とする。辺Ｒ２、Ｒ７の交点の座標を、画像上で（ｘ_２［ｐｉｘ］、ｙ_２［ｐｉｘ］）とし、実空間内で（Ｘ_２［ｍ］、Ｙ_２［ｍ］、Ｚ_２［ｍ］）とする。辺Ｒ１、Ｒ２、Ｒ３の交点の座標を、画像上で（ｘ_３［ｐｉｘ］、ｙ_３［ｐｉｘ］）とし、実空間内で（Ｘ_３［ｍ］、Ｙ_３［ｍ］、Ｚ_３［ｍ］）とする。辺Ｒ３、Ｒ４、Ｒ５の交点の座標を、画像上で（ｘ_４［ｐｉｘ］、ｙ_４［ｐｉｘ］）とし、実空間内で（Ｘ_４［ｍ］、Ｙ_４［ｍ］、Ｚ_４［ｍ］）とする。辺Ｒ４、Ｒ６の交点の座標を、画像上で（ｘ_５［ｐｉｘ］、ｙ_５［ｐｉｘ］）とし、実空間内で（Ｘ_５［ｍ］、Ｙ_５［ｍ］、Ｚ_５［ｍ］）とする。辺Ｒ５、Ｒ７の交点の座標を、画像上で（ｘ_６［ｐｉｘ］、ｙ_６［ｐｉｘ］）とし、実空間内で（Ｘ_６［ｍ］、Ｙ_６［ｍ］、Ｚ_６［ｍ］）とする。各々のグリッド内の代表点の座標を、画像上で（ｘ_Ｅ［ｐｉｘ］、ｙ_Ｅ［ｐｉｘ］）とし、実空間内で（Ｘ_Ｅ［ｍ］、Ｙ_Ｅ［ｍ］、Ｚ_Ｅ［ｍ］）とする。画像の消失点Ｖ（例えば、辺Ｒ２、Ｒ５の延長線の交点、又は、複数の白線Ｌの延長線の交点）の座標を、画像上で（ｘ_Ｖ［ｐｉｘ］、ｙ_Ｖ［ｐｉｘ］）とする。

ｘ_１〜ｘ_６、ｘ_Ｅをｘで代表し、ｙ_１〜ｙ_６、ｙ_Ｅをｙで代表し、Ｘ_１〜Ｘ_６、Ｘ_ＥをＸで代表し、Ｙ_１〜Ｙ_６、Ｙ_ＥをＹで代表し、Ｚ_１〜Ｚ_６、Ｚ_ＥをＺで代表する。画像上での座標（ｘ［ｐｉｘ］、ｙ［ｐｉｘ］）は、実空間内での座標（Ｘ［ｍ］、Ｙ［ｍ］、Ｚ［ｍ］）に、以下の数式により変換される。なお、各々のグリッド内の代表点の実空間内での座標（Ｘ_Ｅ［ｍ］、Ｙ_Ｅ［ｍ］、Ｚ_Ｅ［ｍ］）は、以下の数式により計測されてもよく、各辺Ｒ１〜Ｒ７の交点の画像上及び実空間内での座標の内挿補間により計測されてもよい。
Ｚ［ｍ］＝（焦点距離［ｍｍ］×高さ方向の画素数［ｐｉｘ］×センサの設置高さ［ｃｍ］）／（（ｙ［ｐｉｘ］−ｙ_Ｖ［ｐｉｘ］）×センササイズ［ｍｍ］×１００）
Ｘ［ｍ］＝（ｘ［ｐｉｘ］−ｘ_Ｖ［ｐｉｘ］）×Ｚ［ｍ］での解像度［ｍ／ｐｉｘ］
Ｙ［ｍ］＝（ｙ［ｐｉｘ］−ｙ_Ｖ［ｐｉｘ］）×Ｚ［ｍ］での解像度［ｍ／ｐｉｘ］

（対象位置計測システムのまとめ）
以上に説明したように、レーダ装置１及び撮像装置２を併用することにより、計測対象の幅Ｘ［ｍ］、奥行Ｚ［ｍ］及び高さＹ［ｍ］といった三次元情報を計測することができる。そして、計測対象の外縁輪郭のみならず計測対象の面内輪郭を検出することにより、擦れ違い及び擦り抜け等の自動運転に対応可能な周辺環境認識を行うことができる。

さらに、計測対象の外縁・面内輪郭を計測対象の輪郭点群に変換することにより、ＬｉＤＡＲ等により生成された三次元環境地図等の静的情報に対して、本開示の技術により生成された車両及び歩行者等の動的情報をプロットすることができる。そして、計測対象の外縁・面内輪郭を計測対象の輪郭点群に変換することにより、輪郭点群と対象種類との対応関係を機械学習しやすくなり、対象種類及び距離・速度の情報を生成しやすくなる。

なお、計測対象の幅Ｘ［ｍ］及び奥行Ｚ［ｍ］といった二次元情報を計測するのみであるレーダに代えて、計測対象の幅Ｘ［ｍ］、奥行Ｚ［ｍ］及び高さＹ［ｍ］といった三次元情報を計測することができるレーダを用いてもよい。

また、計測対象の幅ｘ［ｐｉｘ］及び高さｙ［ｐｉｘ］といった二次元情報を計測するのみである単眼カメラに代えて、計測対象の幅ｘ［ｐｉｘ］、高さｙ［ｐｉｘ］及び奥行ｚ［ｐｉｘ］といった三次元情報を計測することができるステレオカメラを用いてもよい。

（輪郭点群の検出結果）
本開示の１台の車両の輪郭点群の検出結果を図８に示す。まず、車両Ｃ１について、四角錐台Ｒが検出されている。次に、四角錐台Ｒの正面及び側面において、輪郭点群が検出されている。そして、車両Ｃ１について、外縁及び窓枠等の輪郭が再現されている。

本開示の１人の歩行者の輪郭点群の検出結果を図９に示す。まず、歩行者Ｐについて、四角錐台Ｒが検出されている。次に、四角錐台Ｒの正面において、輪郭点群が検出されている。そして、歩行者Ｐについて、手足及び胴体等の輪郭が再現されている。

本開示の３台の車両の画像を図１０に示す。以下では、１台の車両Ｃ１のみならず、３台の車両Ｃ４、Ｃ５、Ｃ６についても、外縁及び窓枠等の輪郭が再現されるか調べた。

本開示の３台の車両の輪郭点群の検出結果を図１１に示す。図１１の上段では、左側から見た車両Ｃ４、Ｃ５、Ｃ６の輪郭点群の検出結果を示す。図１１の下段では、右側から見た車両Ｃ４、Ｃ５、Ｃ６の輪郭点群の検出結果を示す。レーダ装置１から近距離かつ自車と隣接車線の車両Ｃ４、Ｃ６について、四角錐台の正面及び側面において、外縁及び窓枠等の輪郭が再現されている。レーダ装置１から遠距離かつ自車と同一車線の車両Ｃ５について、四角錐台の正面において、外縁及び窓枠等の輪郭が再現されている。

従来技術及び本開示の輪郭点群の検出結果を図１２に示す。図１２の上段では、レーザを適用するＬｉＤＡＲを用いた車両Ｃ４、Ｃ５、Ｃ６の輪郭点群の検出結果を示す。図１２の下段では、レーダ及び画像を統合する本開示の発明を用いた車両Ｃ４、Ｃ５、Ｃ６の輪郭点群の検出結果を示す。ＬｉＤＡＲを用いたときには、車両Ｃ４、Ｃ５、Ｃ６について、外縁及び窓枠等の輪郭が再現される精度が低い。本開示の発明を用いたときには、車両Ｃ４、Ｃ５、Ｃ６について、外縁及び窓枠等の輪郭が再現される精度が高い。

（グリッド分割数の設定方法）
本開示の様々なグリッド分割数での輪郭点群の検出結果を図１３に示す。まず、車両Ｃ１について、四角錐台Ｒが検出されている。次に、四角錐台Ｒの正面及び側面において、輪郭点群が検出されている。そして、車両Ｃ１について、外縁及び窓枠等の輪郭が再現されている。ただし、四角錐台Ｒの各面でのグリッド分割数に応じて、外縁及び窓枠等の輪郭が再現される精度が変わる。まず、四角錐台Ｒの各面でのグリッド分割数が縦５×横５であるときには、外縁及び窓枠等の輪郭が再現される精度が低い。次に、四角錐台Ｒの各面でのグリッド分割数が縦１０×横１０であるときには、外縁及び窓枠等の輪郭が再現される精度が中程度である。そして、四角錐台Ｒの各面でのグリッド分割数が縦２０×横２０であるときには、外縁及び窓枠等の輪郭が再現される精度が高い。

そこで、対象輪郭検出部３４は、レーダ装置１及び撮像装置２を搭載する自車から見た計測対象の危険度に応じて、四角錐台Ｒの各面を分割するグリッドの個数を設定する。例えば、計測対象の危険度が高ければ、四角錐台Ｒの各面を分割するグリッドの個数を多くすることにより、計測対象の輪郭点群を詳細に検出することができ、擦れ違い及び擦り抜け等の自動運転に対応可能な周辺環境認識を行うことができる。一方で、計測対象の危険度が低ければ、四角錐台Ｒの各面を分割するグリッドの個数を少なくすることにより、計測対象の輪郭点群を高速で検出することができ、危険度が低い計測対象について計測対象の輪郭点群の詳細検出を無駄に行わないことができる。

本開示の第１のグリッド分割数の設定方法を図１４に示す。対象輪郭検出部３４は、レーダ装置１により計測された自車と計測対象との間の距離に応じて、四角錐台Ｒの各面を分割するグリッドの個数を設定する。図１４の左欄では、自車である車両Ｃ７と他車である車両Ｃ８との間の距離が短いため、自車である車両Ｃ７が他車である車両Ｃ８と衝突する可能性が高くなり、四角錐台Ｒの各面を分割するグリッドの個数を多くする（例えば、縦５×横５）。図１４の右欄では、自車である車両Ｃ７と他車である車両Ｃ８との間の距離が長いため、自車である車両Ｃ７が他車である車両Ｃ８と衝突する可能性が低くなり、四角錐台Ｒの各面を分割するグリッドの個数を少なくする（例えば、縦３×横３）。このように、自車と計測対象との間の距離に基づいて、計測対象の危険度を判定することができ、計測対象の輪郭点群の検出精度を設定することができる。

本開示の第２のグリッド分割数の設定方法を図１５に示す。対象輪郭検出部３４は、レーダ装置１により計測された自車と計測対象との間の進行速度差に応じて、四角錐台Ｒの各面を分割するグリッドの個数を設定する。図１５の左欄では、自車である高速の車両Ｃ７が他車である低速の車両Ｃ８を追うため、自車である車両Ｃ７が他車である車両Ｃ８と衝突する可能性が高くなり、四角錐台Ｒの各面を分割するグリッドの個数を多くする（例えば、縦５×横５）。図１５の右欄では、自車である車両Ｃ７が他車である同程度の速度の車両Ｃ８を追うため、自車である車両Ｃ７が他車である車両Ｃ８と衝突する可能性が低くなり、四角錐台Ｒの各面を分割するグリッドの個数を少なくする（例えば、縦３×横３）。このように、自車と計測対象との間の進行速度差に基づいて、計測対象の危険度を判定することができ、計測対象の輪郭点群の検出精度を設定することができる。

本開示の第３のグリッド分割数の設定方法を図１６に示す。対象輪郭検出部３４は、レーダ装置１により計測された自車と計測対象との間の進行方向差に応じて、四角錐台Ｒの各面を分割するグリッドの個数を設定する。図１６の左欄では、自車である車両Ｃ７がある交差点に向かうとともに、他車である車両Ｃ８もその交差点に向かうため、自車である車両Ｃ７が他車である車両Ｃ８と衝突する可能性が高くなり、四角錐台Ｒの各面を分割するグリッドの個数を多くする（例えば、縦５×横５）。図１６の右欄では、自車である車両Ｃ７がある交差点に向かっているが、他車である車両Ｃ８がその交差点から離れるため、自車である車両Ｃ７が他車である車両Ｃ８と衝突する可能性が低くなり、四角錐台Ｒの各面を分割するグリッドの個数を少なくする（例えば、縦３×横３）。このように、自車と計測対象との間の進行方向差に基づいて、計測対象の危険度を判定することができ、計測対象の輪郭点群の検出精度を設定することができる。

本開示の第４のグリッド分割数の設定方法を図１７に示す。対象輪郭検出部３４は、レーダ装置１により計測された自車の計測対象への接近時間に応じて、四角錐台Ｒの各面を分割するグリッドの個数を設定する。図１７の左欄では、自車である車両Ｃ７と他車である車両Ｃ８との間の距離が短く、自車である高速の車両Ｃ７が他車である低速の車両Ｃ８を追い、自車である車両Ｃ７が他車である車両Ｃ８に接近する時間が短いため、自車である車両Ｃ７が他車である車両Ｃ８と衝突する可能性が高くなり、四角錐台Ｒの各面を分割するグリッドの個数を多くする（例えば、縦５×横５）。図１７の右欄では、自車である車両Ｃ７と他車である車両Ｃ８との間の距離が長く、自車である車両Ｃ７が他車である同程度の速度の車両Ｃ８を追い、自車である車両Ｃ７が他車である車両Ｃ８に接近する時間が長いため、自車である車両Ｃ７が他車である車両Ｃ８と衝突する可能性が低くなり、四角錐台Ｒの各面を分割するグリッドの個数を少なくする（例えば、縦３×横３）。このように、自車の計測対象への接近時間に基づいて、計測対象の危険度を判定することができ、計測対象の輪郭点群の検出精度を設定することができる。

本開示の対象位置計測装置及び対象位置計測プログラムは、ミリ波レーダ等及び単眼カメラ等を併用することにより、計測対象の三次元情報を計測することができる。

Ｓ：対象位置計測システム
Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｃ７、Ｃ８：車両
Ｐ：歩行者
Ｌ：白線
Ａ：アンテナ
Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７：レーダ反射点
Ｒ：四角錐台
Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６、Ｒ７：辺
Ｅ４、Ｅ５、Ｅ６、Ｅ７：エッジ解析範囲
Ｖ：消失点
１：レーダ装置
２：撮像装置
３：対象位置計測装置
３１：計測対象取得部
３２：反射点プロット部
３３：四角錐台検出部
３４：対象輪郭検出部
３５：位置変換部

Claims

計測対象についてレーダ反射点の情報及び画像を取得する計測対象取得部と、
前記画像上で前記レーダ反射点をプロットする反射点プロット部と、
前記画像上で前記レーダ反射点の近傍でのエッジ解析を実行することにより、前記画像上で前記計測対象を縁取る四角錐台を検出する四角錐台検出部と、
前記画像上で前記四角錐台の各面内でのエッジ解析を実行することにより、前記画像上で前記計測対象の輪郭を検出する対象輪郭検出部と、
前記画像上の前記計測対象の輪郭の位置を実空間内の位置に変換する位置変換部と、
を備えることを特徴とする対象位置計測装置。
前記対象輪郭検出部は、前記四角錐台の各面を複数のグリッドに分割し、各々のグリッド内でエッジ解析を実行し、各々のグリッド内で前記計測対象の輪郭の一部を検出し、各々のグリッド内で前記計測対象の輪郭の一部を代表点に変換し、
前記位置変換部は、各々のグリッド内で前記代表点の位置を実空間内の位置に変換する
ことを特徴とする、請求項１に記載の対象位置計測装置。
前記対象輪郭検出部は、前記四角錐台の各面内でエッジ解析を実行し、前記四角錐台の各面内で前記計測対象の輪郭を検出し、前記四角錐台の各面を複数のグリッドに分割し、各々のグリッド内で前記計測対象の輪郭の一部を代表点に変換し、
前記位置変換部は、各々のグリッド内で前記代表点の位置を実空間内の位置に変換する
ことを特徴とする、請求項１に記載の対象位置計測装置。
前記対象輪郭検出部は、レーダ装置及び撮像装置を搭載する自車から見た前記計測対象の危険度に応じて、前記四角錐台の各面を分割するグリッドの個数を設定する
ことを特徴とする、請求項２又は３に記載の対象位置計測装置。
前記対象輪郭検出部は、前記レーダ装置により計測された前記自車と前記計測対象との間の距離に応じて、前記四角錐台の各面を分割するグリッドの個数を設定する
ことを特徴とする、請求項４に記載の対象位置計測装置。
前記対象輪郭検出部は、前記レーダ装置により計測された前記自車と前記計測対象との間の進行速度差に応じて、前記四角錐台の各面を分割するグリッドの個数を設定する
ことを特徴とする、請求項４又は５に記載の対象位置計測装置。
前記対象輪郭検出部は、前記レーダ装置により計測された前記自車と前記計測対象との間の進行方向差に応じて、前記四角錐台の各面を分割するグリッドの個数を設定する
ことを特徴とする、請求項４から６のいずれかに記載の対象位置計測装置。
前記対象輪郭検出部は、前記レーダ装置により計測された前記自車の前記計測対象への接近時間に応じて、前記四角錐台の各面を分割するグリッドの個数を設定する
ことを特徴とする、請求項４から７のいずれかに記載の対象位置計測装置。
計測対象についてレーダ反射点の情報及び画像を取得する計測対象取得ステップと、
前記画像上で前記レーダ反射点をプロットする反射点プロットステップと、
前記画像上で前記レーダ反射点の近傍でのエッジ解析を実行することにより、前記画像上で前記計測対象を縁取る四角錐台を検出する四角錐台検出ステップと、
前記画像上で前記四角錐台の各面内でのエッジ解析を実行することにより、前記画像上で前記計測対象の輪郭を検出する対象輪郭検出ステップと、
前記画像上の前記計測対象の輪郭の位置を実空間内の位置に変換する位置変換ステップと、
を順にコンピュータに実行させるための対象位置計測プログラム。