JP2017004401A - Out-of-vehicle environment recognizing device - Google Patents
Out-of-vehicle environment recognizing device Download PDFInfo
- Publication number
- JP2017004401A JP2017004401A JP2015119909A JP2015119909A JP2017004401A JP 2017004401 A JP2017004401 A JP 2017004401A JP 2015119909 A JP2015119909 A JP 2015119909A JP 2015119909 A JP2015119909 A JP 2015119909A JP 2017004401 A JP2017004401 A JP 2017004401A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- hough transform
- dimensional point
- enlarged
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、自車両の進行方向に略平行に延在する特定物を特定する車外環境認識装置に関する。 The present invention relates to a vehicle environment recognition device that identifies a specific object that extends substantially parallel to a traveling direction of a host vehicle.
従来、自車両の前方に位置する車両等の立体物を検出し、先行車両との衝突を回避したり(衝突回避制御)、先行車両との車間距離を安全な距離に保つように制御する(クルーズコントロール)技術が知られている(例えば、特許文献1)。また、このような衝突回避制御やクルーズコントロールを進化させ、運転者が操舵に介入することなく、車両が自動的に走行する(自動操舵制御)技術も検討されている。かかる自動操舵制御において、車両が車線から逸脱するのを防止すべく、道路の縁に相当する縁石等、道路上の直線的な立体物を特定し、その直線的な立体物に対する車両の走行位置を制御する技術の需要も高まっている。 Conventionally, a three-dimensional object such as a vehicle positioned in front of the host vehicle is detected, and a collision with a preceding vehicle is avoided (collision avoidance control), or the distance between the preceding vehicle and the preceding vehicle is controlled to be kept at a safe distance ( (Cruise control) technology is known (for example, Patent Document 1). In addition, a technology for evolving such collision avoidance control and cruise control so that the vehicle automatically travels without the driver intervening in steering (automatic steering control) has been studied. In such automatic steering control, in order to prevent the vehicle from deviating from the lane, a straight three-dimensional object on the road, such as a curb corresponding to the edge of the road, is specified, and the vehicle travel position with respect to the straight three-dimensional object There is also a growing demand for technology to control the process.
このような直線的な立体物を特定するため、車外環境における立体物の表面形状を示す複数の三次元点にハフ変換を施して、その立体物が形成する直線を導出する技術が公開されている(例えば、特許文献2〜5)。かかる技術により、直線的な立体物を適切に特定することが可能となる。 In order to identify such a linear three-dimensional object, a technique for deriving a straight line formed by the three-dimensional object by performing Hough transform on a plurality of three-dimensional points indicating the surface shape of the three-dimensional object in the outside environment is disclosed. (For example, Patent Documents 2 to 5). With this technique, it is possible to appropriately identify a linear solid object.
しかし、立体物の表面形状を示す三次元点を特定するセンサとして、Lidar(Light Detection and Ranging)を用いた場合に、隣接する車線に車両や自転車等の障害物が存在すると、障害物が存在しない場合に比べ、縁石を示す三次元点の数が著しく少なくなり、ハフ変換の対象となる三次元点が少なすぎて1本の直線を特定できず、縁石を適切に抽出できないといった問題があった。 However, when Lidar (Light Detection and Ranging) is used as a sensor to identify a three-dimensional point indicating the surface shape of a three-dimensional object, if there is an obstacle such as a vehicle or bicycle in the adjacent lane, an obstacle exists. The number of 3D points representing the curb is remarkably reduced compared to the case where the curb is not, and there are too few 3D points to be subjected to the Hough transform, so that one straight line cannot be specified and the curb cannot be extracted properly. It was.
また、立体物の表面形状を示す三次元点が多い場合であっても、共通の直線を示す三次元点が、正確にその直線上に位置していないと、それぞれ異なる三次元点の集合と認識されてしまい、本来1本の直線が抽出されるはずが、三次元点の集合毎に複数の直線が抽出されるおそれがある。 Even if there are many three-dimensional points indicating the surface shape of a three-dimensional object, if the three-dimensional points indicating a common straight line are not accurately located on the straight line, different sets of three-dimensional points are obtained. Although a single straight line should be extracted, a plurality of straight lines may be extracted for each set of three-dimensional points.
本発明は、このような課題に鑑み、立体物の表面形状を示す三次元点の出現態様に拘わらず、その立体物を適切に特定することが可能な、車外環境認識装置を提供することを目的としている。 In view of such a problem, the present invention provides an outside environment recognition device capable of appropriately specifying a three-dimensional object regardless of the appearance mode of a three-dimensional point indicating the surface shape of the three-dimensional object. It is aimed.
上記課題を解決するために、本発明の車外環境認識装置は、立体物の表面形状を示す三次元点を取得する三次元点取得部と、取得した三次元点のうち車両の進行方向に略平行に延在する特定物の表面形状を示す三次元点を中心に、所定半径の円で示される拡大範囲内に配した三次元点である拡大三次元点を対象としてハフ変換を行うハフ変換部と、ハフ変換においてr-θ累積配列の値が最大となる直線を有する立体物を特定物として特定する特定物特定部と、を備えることを特徴とする。 In order to solve the above-described problems, an external environment recognition device according to the present invention includes a three-dimensional point acquisition unit that acquires a three-dimensional point indicating the surface shape of a three-dimensional object, and a vehicle traveling direction of the acquired three-dimensional point. A Hough transform that performs a Hough transform on an enlarged three-dimensional point, which is a three-dimensional point placed within an enlarged range indicated by a circle with a predetermined radius, centering on a three-dimensional point indicating the surface shape of a specific object extending in parallel And a specific object specifying unit that specifies, as a specific object, a three-dimensional object having a straight line that maximizes the value of the r-θ cumulative arrangement in the Hough transform.
所定半径は、特定物の進行方向と垂直な方向の幅に基づいて決定されるとしてもよい。 The predetermined radius may be determined based on a width in a direction perpendicular to the traveling direction of the specific object.
ハフ変換部は、拡大範囲が三次元点の検出範囲を超える場合、拡大範囲が三次元点の検出範囲内に収まるように、拡大範囲の所定半径を制限してもよい。 The Hough transform unit may limit the predetermined radius of the expansion range so that the expansion range falls within the detection range of the three-dimensional point when the expansion range exceeds the detection range of the three-dimensional point.
ハフ変換部は、隣接する拡大範囲同士で拡大三次元点が重複する場合、重複した複数の拡大三次元点に対しハフ変換を1回のみ行ってもよい。 The Hough transform unit may perform the Hough transform only once for a plurality of overlapping enlarged 3D points when the enlarged 3D points overlap between adjacent enlarged ranges.
ハフ変換部は、車両の左右に位置する三次元点に関し、それぞれ独立してハフ変換を行ってもよい。 The Hough transform unit may independently perform the Hough transform on the three-dimensional points located on the left and right sides of the vehicle.
ハフ変換部は、r-θ累積配列の値が最大となる直線が複数存在する場合、複数の直線と特定物の表面形状を示す三次元点との距離の平均値を計算し、平均値が最小となる直線を、r-θ累積配列の値が最大となる直線としてもよい。 The Hough transform unit calculates an average value of the distances between the plurality of straight lines and the three-dimensional point indicating the surface shape of the specific object when there are a plurality of straight lines having the maximum value of the r-θ cumulative array. The minimum straight line may be a straight line that maximizes the value of the r-θ cumulative array.
本発明によれば、立体物の表面形状を示す三次元点の出現態様に拘わらず、その立体物を適切に特定することが可能となる。 According to the present invention, it is possible to appropriately specify the three-dimensional object regardless of the appearance mode of the three-dimensional point indicating the surface shape of the three-dimensional object.
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The dimensions, materials, and other specific numerical values shown in the embodiment are merely examples for facilitating understanding of the invention, and do not limit the present invention unless otherwise specified. In the present specification and drawings, elements having substantially the same function and configuration are denoted by the same reference numerals, and redundant description is omitted, and elements not directly related to the present invention are not illustrated. To do.
(車外環境認識システム100)
図1は、車外環境認識システム100の接続関係を示したブロック図である。車外環境認識システム100は、光学式測距装置110、撮像装置112と、車外環境認識装置120と、車両制御装置(ECU:Engine Control Unit)130とを含んで構成される。
(External vehicle environment recognition system 100)
FIG. 1 is a block diagram showing a connection relationship of the external
光学式測距装置110は、例えば、自車両1の屋根上に設けられたLidarで構成され、レーザ照射に対する散乱光を受光し、対象までの距離や方向を示す複数の三次元点を検出する。ただし、光学式測距装置110の配置は、屋根上に限らず、フロントバンパやドア等、様々な位置が考えられ、その数も1つに限らず複数設けることができる。ここで、三次元点は、光学式測距装置110から見通せる位置にある立体物の表面の点であり、その立体物の表面形状(外形)を表すことができる。
The optical
具体的に、光学式測距装置110は、水平方向にレーザ照射を投射するとともに、水平方向1°毎に鉛直方向に180°スイープを繰り返し、そのレーザ光を照射してから反射光が戻ってくるまでの時間に基づいて三次元点の位置を特定する。このような鉛直方向へのスイープ動作を、鉛直軸を中心にした円周方向に実施することで(水平360°)、自車両1から見通せる範囲に存在する全ての立体物の表面形状を示す三次元点の距離と方向を導出することができる。
Specifically, the optical distance measuring
撮像装置112は、CCD(Charge-Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子を含んで構成され、自車両1の前方に相当する環境を撮像し、カラー値で表されるカラー画像を生成することができる。また、撮像装置112は、自車両1の進行方向側において2つの撮像装置112それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置112は、自車両1の前方の検出領域に存在する立体物を撮像したカラー画像を、例えば1/60秒のフレーム毎(60fps)に連続して生成する。
The
ここで、光学式測距装置110や撮像装置112によって認識する立体物は、車両、歩行者、信号機、道路(進行路)、縁石、道路標識、ゲート、ガードレール、建物といった独立して存在する物を示す。
Here, the three-dimensional objects recognized by the optical
車外環境認識装置120は、光学式測距装置110から三次元点を取得し、その距離および方向に基づいて車外環境に存在する立体物を特定する。また、車外環境認識装置120は、2つの撮像装置112それぞれからカラー画像を取得し、一方のカラー画像から任意に抽出したブロック(複数の画素の集合体)に対応するブロックを他方のカラー画像から検索する、所謂パターンマッチングを用いて視差、および、任意のブロックの画面内の位置を示す画面位置を導出し、光学式測距装置110同様、車外環境に存在する立体物を特定する。
The vehicle exterior
ここで、光学式測距装置110と撮像装置112とは以下のように補完関係にある。すなわち、光学式測距装置110は、立体物の外形を特定できるものの、立体物の外観(例えば色)を認識できない。一方、撮像装置112は、立体物の外観を特定できるが、パターンマッチングによる立体物の外形の特定精度はさほど高くはない。ここでは、光学式測距装置110と撮像装置112とを組み合わせることで、互いに特定精度が低い部分を補完し合い、立体物の外形および外観のいずれにおいても特定精度を高めることが可能となる。
Here, the optical distance measuring
また、車外環境認識装置120は、このように特定した立体物のうち、自車両1の車線からの逸脱を防止すべく、自車両1の側方の検出領域における立体物(例えば、縁石やガードレール)を特定する。また、車外環境認識装置120は、このように特定した立体物のうち、衝突回避制御やクルーズコントロールを実現すべく、自車両1の前方の検出領域における立体物(例えば、先行車両)を特定する。
The vehicle exterior
車両制御装置130は、ステアリングホイール132、アクセルペダル134、ブレーキペダル136を通じて運転者の操作入力を受け付け、操舵機構142、駆動機構144、制動機構146に伝達することで自車両1を制御する。また、車両制御装置130は、車外環境認識装置120の指示に従い、操舵機構142、駆動機構144、制動機構146を制御する。
The
以下、車外環境認識装置120の構成について詳述する。ここでは、本実施形態に特徴的な、自車両1の側方の検出領域における立体物(例えば、縁石)の特定処理について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。
Hereinafter, the configuration of the outside
(車外環境認識装置120)
図2は、車外環境認識装置120の概略的な機能を示した機能ブロック図である。図2に示すように、車外環境認識装置120は、I/F部150と、データ保持部152と、中央制御部154とを含んで構成される。
(Vehicle environment recognition device 120)
FIG. 2 is a functional block diagram showing a schematic function of the outside
I/F部150は、光学式測距装置110、撮像装置112、および、車両制御装置130との双方向の情報交換を行うためのインターフェースである。データ保持部152は、RAM、フラッシュメモリ、HDD等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。
The I /
中央制御部154は、中央処理装置(CPU)、プログラム等が格納されたROM、ワークエリアとしてのRAM等を含む半導体集積回路で構成され、システムバス156を通じて、I/F部150、データ保持部152等を制御する。また、本実施形態において、中央制御部154は、三次元点取得部160、三次元点抽出部162、ハフ変換部164、特定物特定部166としても機能する。以下、本実施形態において認識目的としている縁石を認識する流れについて説明し、その後、本実施形態に特徴的な車外環境認識処理について、当該中央制御部154の各機能部の動作も踏まえて詳述する。
The
図3は、縁石を認識する流れを説明するための説明図である。例えば、図3(a)に示すように左右2つの縁石180の間を自車両1が走行しているとする。ここで、光学式測距装置110を駆動すると、図3(b)に示すように、複数の三次元点を検出できる。ここでは、障害物等の車外環境に応じて、三次元点の出現態様が異なることとなり、例えば、図3(b)の例では、右側の縁石180を示す三次元点が、左側の縁石180を示す三次元点より少ないことが理解できる。そうすると、ハフ変換の対象となる点が少なすぎて、図3(c)のように、右側の縁石180を特定できない場合がある。また、仮に、縁石180を示す三次元点が多くとも、共通の直線を示す点が、正確にその直線上に位置していないと、それぞれ異なる点集合と認識されてしまい、本来1本の直線が抽出されるはずが、点集合毎に複数の直線が抽出されるおそれがあった。そこで、本実施形態では、ハフ変換の手順を工夫して、例えば縁石180の表面形状を示す三次元点の出現態様に拘わらず、縁石180を適切に特定することを目的とする。
FIG. 3 is an explanatory diagram for explaining a flow of recognizing the curbstone. For example, it is assumed that the host vehicle 1 is traveling between the two left and
(車外環境認識処理)
図4は、車外環境認識処理の流れを示すフローチャートである。車外環境認識処理では、大きく分けて、三次元点を取得する三次元点取得処理(S200)、自車両1の進行方向に略平行に延在する立体物である特定物(ここでは縁石180)の表面形状を示す三次元点に基づいてハフ変換を行うハフ変換処理(S202)、かかるハフ変換の結果に基づいて特定物を特定する特定物特定処理(S204)を、その順に実行する。
(External vehicle environment recognition processing)
FIG. 4 is a flowchart showing the flow of the external environment recognition process. In the outside environment recognition process, it is roughly divided into a three-dimensional point acquisition process (S200) for acquiring a three-dimensional point, and a specific object (here, a curb stone 180) that is a three-dimensional object extending substantially parallel to the traveling direction of the host vehicle 1. A Hough transform process (S202) for performing a Hough transform based on a three-dimensional point indicating the surface shape of the image, and a specified object specifying process (S204) for identifying a specific object based on the result of the Hough transform are executed in that order.
(三次元点取得処理S200)
三次元点取得部160は、光学式測距装置110から立体物それぞれの表面形状を示す三次元点を取得し、一時的にデータ保持部152に保持する。
(Three-dimensional point acquisition process S200)
The three-dimensional point acquisition unit 160 acquires a three-dimensional point indicating the surface shape of each three-dimensional object from the optical
三次元点抽出部162は、三次元点取得部160が取得した三次元点のうち、特定物である縁石180の表面形状を示す三次元点を抽出する。このような特定物の表面形状を示す三次元点の抽出技術としては、三次元点の距離、方向、反射強度(輝度)を用いた、http://www.unibw.de/tas/lehre-en/studien_diplomarbeiten等様々な従来技術を採用することができるので、ここでは、その詳細な説明を省略する。
The three-dimensional point extraction unit 162 extracts a three-dimensional point indicating the surface shape of the
(ハフ変換処理S202)
ハフ変換部164は、三次元点抽出部162が抽出した特定物の表面形状を示す三次元点に基づいてハフ変換を行う。ハフ変換は、複数の点から直線等の幾何学的な形状を検出する手法であり、複数の点(ここでは三次元点)に基づいて、その複数の点全てを通る1本の直線を導出するものである。ここでは、縁石180が自車両1の進行方向に略平行に延在する特徴を利用し、縁石180の表面形状を示す三次元点から、縁石180に相当する直線を導出する。
(Hough conversion processing S202)
The
図5は、ハフ変換処理S202の具体的な動作を説明するためのフローチャートである。ここで、ハフ変換部164は、自車両1の左右に位置する三次元点に関し、それぞれ独立してハフ変換を行う。したがって、まず、ハフ変換部164は、自車両1の左側に位置する三次元点のみを抽出して(S250)、ハフ変換を実行する。
FIG. 5 is a flowchart for explaining a specific operation of the Hough conversion process S202. Here, the
三次元点抽出部162は、縁石180の表面形状を示す三次元点として、光学式測距装置110の検出範囲全てにおける三次元点を抽出している。すなわち、自車両1の左側に位置する縁石180の表面形状を示す三次元点、および、自車両1の右側に位置する縁石180の表面形状を示す三次元点のいずれも抽出されることになる。ここでは、左右に位置する三次元点をそれぞれ独立してハフ変換することで、本来左右2本になるべき縁石180に相当する直線を適切に導出することが可能となる。
The three-dimensional point extraction unit 162 extracts a three-dimensional point in the entire detection range of the optical
続いて、ハフ変換部164は、自車両1の左側に位置する三次元点を中心に、所定半径の円で示される拡大範囲内に新たに三次元点を生成する(S252)。なお、以下では、新たに追加された三次元点と、元の三次元点とを合わせて拡大三次元点という。
Subsequently, the
図6は、拡大三次元点を説明するための説明図である。ここでは、xy平面を示している。例えば、図6(a)のように、自車両1の左側に、縁石180の表面形状を示す3つの三次元点182が抽出されたとする。ここで、ハフ変換部164は、かかる3つの三次元点182のみならず、図6(b)に示すように、その3つの三次元点182を中心にそれぞれ所定半径rの円で示される拡大範囲184内に、三次元点182を基準にx方向およびy方向に所定の間隔を有する拡大三次元点186を生成する。このように、縁石180の表面形状を示す三次元点を強制的に増やすことで、縁石180に相当する直線の導出精度を高めることができる。
FIG. 6 is an explanatory diagram for explaining an enlarged three-dimensional point. Here, the xy plane is shown. For example, assume that three three-
ここで、図6(b)に示した拡大範囲184の所定半径rは、特定物の進行方向と垂直な方向の幅に基づいて決定される。例えば、縁石180は、JIS規格(JIS A 5371)により、0.6m以内と定められている。したがって、縁石180の幅は0.6m以内となる。このように縁石自体の幅の上限が定められている場合において、本来縁石180が存在しない三次元点182から0.6mを超える位置に拡大三次元点186を生成しても、本来縁石180が存在しない領域に不要に直線候補が生じるだけで、導出精度は高まらない。
Here, the predetermined radius r of the
ここでは、拡大範囲184の所定半径rを0.6mとすることで、導出精度に寄与しない拡大三次元点186の生成を制限し、処理負荷を軽減することが可能となる。
Here, by setting the predetermined radius r of the
また、ハフ変換部164は、任意の三次元点182を中心とする拡大範囲184の所定半径rを制限する場合がある。
Further, the
図7および図8は、拡大範囲184の制限を説明するための説明図である。光学式測距装置110による三次元点182の検出範囲188と、拡大範囲184とは、独立して形成される。したがって、場合によっては、図7(a)に示すように、任意の三次元点182aを中心とする拡大範囲184aが、光学式測距装置110による三次元点182の検出範囲188を超えることがある。
7 and 8 are explanatory diagrams for explaining the limitation of the
ここで、拡大範囲184それぞれにおけるx方向の拡大三次元点186の分布を考えると、図7(b)のように、三次元点182を中心にx方向左右でその拡大三次元点186が均等になる。しかし、光学式測距装置110による三次元点182の検出範囲188を超えた拡大範囲184aについては、拡大三次元点186が一部除外され、図7(c)のように、三次元点182aを中心にx方向左右でその拡大三次元点186aが均等にならない。そうすると、三次元点182aに対して、拡大三次元点186aが偏って形成されることになり、本来導出したい直線と実際に導出した直線がずれるおそれがある。
Here, considering the distribution of the enlarged three-
そこで、ハフ変換部164は、任意の三次元点182aを中心とする拡大範囲184aが、光学式測距装置110による三次元点182の検出範囲188を超える場合、図8(a)に示すように、拡大範囲184aが三次元点182の検出範囲188内に収まるように、拡大範囲184aの所定半径rを制限する(短くする)。
Therefore, the
具体的に、半径rは以下の式で表すことができる。
r=min(Dw,Dl−Dd)
ここで、min()は最小値を導出する関数であり、Dwは縁石180の幅(0.6m)であり、Dlは光学式測距装置110による三次元点182の検出範囲188であり、Ddは三次元点182と光学式測距装置110との距離である。
Specifically, the radius r can be expressed by the following formula.
r = min (Dw, D1-Dd)
Here, min () is a function for deriving the minimum value, Dw is the width (0.6 m) of the
かかる構成により、図8(b)のように、三次元点182aを中心にx方向左右でその拡大三次元点186aが均等になるので、拡大三次元点186aの偏りを回避し、適切に、縁石180に相当する直線を導出することが可能となる。
With such a configuration, as shown in FIG. 8B, the enlarged three-
また、ハフ変換部164は、拡大三次元点186の出現態様によっては、拡大三次元点186全てに対してハフ変換を行わない場合がある。
Further, the
図9は、拡大三次元点186の特殊な出現態様を説明するための説明図である。拡大範囲184は、独立して検出された三次元点182に基づいて生成されるので、図9にハッチングで示したように、拡大範囲184同士で、それぞれに属する拡大三次元点186が重複する場合がある。
FIG. 9 is an explanatory diagram for describing a special appearance mode of the enlarged three-
このような場合、その重複する拡大三次元点186それぞれに対するハフ変換は同一の処理となるので、重複する拡大三次元点186のうち、1つの拡大三次元点186以外の拡大三次元点186に対するハフ変換を省略することができる。したがって、ハフ変換部164は、このように、隣接する拡大範囲184同士で拡大三次元点186が重複する場合、その拡大三次元点186の数に拘わらず、重複した複数の拡大三次元点186に対しハフ変換を1回のみ行う。すなわち、図9にハッチングで示した拡大三次元点186それぞれに対して、本来、ハフ変換を2回実行するところ、1回のみ実行することとなる。ただし、省略するのはハフ変換の処理自体であり、ハフ変換の結果は重複した複数の拡大三次元点186それぞれに対応付ける。こうして、ハフ変換に伴う処理負荷(重複処理)の軽減を図ることが可能となる。
In such a case, the Hough transform for each of the overlapping enlarged three-
続いて、ハフ変換部164は、生成された拡大三次元点186全てを直交座標から円座標に変換し、r−θ累積配列を計算する(S254)。
Subsequently, the
図10は、r−θ平面を説明するための説明図である。標準的なハフ変換では1つの直線を2つのパラメータで表す。このうち1つのパラメータは、原点から当該直線に引いた法線の長さrであり、もう1つのパラメータは、この法線の角度θである。そうすると、xy平面上の直線は、r=x・cosθ+y・sinθで表すことができる。ここで、1つの拡大三次元点186を通る全ての直線を、直交座標から円座標に変換し、rを縦軸、θを横軸としたr−θ平面にプロットすると、図10(a)のように、1つの拡大三次元点186を通る全ての直線を1本の曲線で表すことができる。
FIG. 10 is an explanatory diagram for explaining the r-θ plane. In the standard Hough transform, one straight line is represented by two parameters. One parameter is the length r of the normal drawn from the origin to the straight line, and the other parameter is the angle θ of this normal. Then, a straight line on the xy plane can be expressed by r = x · cos θ + y · sin θ. Here, when all straight lines passing through one enlarged three-
また、このようなr−θ平面へのプロットを生成された拡大三次元点186全てに対して実行すると、図10(b)のような曲線群を得ることができる。ここで、ハフ変換部164は、このようにプロットした値をr−θ累積配列として表す。
Further, when such a plot on the r-θ plane is executed for all the generated enlarged three-
r−θ累積配列は、r−θ平面を格子状に分割した領域それぞれに値を対応付けたものである。具体的に、r−θ平面を格子状に分割すると、それぞれのセルは、r−θによって特定される1本の直線を示すこととなる。ここで、図10(b)に示した複数の曲線それぞれが、当該セル上に位置する場合、1本の曲線に対して1つの値を加算する。すると、格子状に分割されたr−θ累積配列において、曲線が通過する頻度が高いセルに対応付けられた値が大きくなる。例えば、図10(b)では、四角で囲んだ範囲190に曲線が集中しており、当然その領域内にあるセルの値は大きくなる。
In the r-θ cumulative array, values are associated with regions obtained by dividing the r-θ plane into a lattice shape. Specifically, when the r-θ plane is divided into a lattice shape, each cell shows one straight line specified by r-θ. Here, when each of the plurality of curves shown in FIG. 10B is positioned on the cell, one value is added to one curve. Then, in the r-θ cumulative array divided in a lattice shape, the value associated with the cell having a high frequency of passing through the curve increases. For example, in FIG. 10B, curves are concentrated in a
また、ハフ変換では、複数の拡大三次元点186全てを通る直線は、r−θ平面において曲線が集中する(重なる)特性を有するので、r−θ累積配列の値が最大となるセルに対応するr、θの値を複数の拡大三次元点186全てを通る直線とすることができる。
In the Hough transform, a straight line passing through all of the plurality of enlarged three-
したがって、ハフ変換部164は、r−θ累積配列の全てのセルの値を比較し、r−θ累積配列の値が最大となるセルのr、θを特定する(S256)。
Therefore, the
ただし、場合により、r-θ累積配列の値が最大となる直線が複数存在する場合が生じ得る。そこで、r-θ累積配列の値が最大となる直線が複数存在する場合(S258におけるYES)、ハフ変換部164は、このような複数の直線と、三次元点抽出部162が抽出した三次元点182(拡大三次元点186を除く)との距離の平均値を計算し、平均値が最小となる直線を、r-θ累積配列の値が最大となる直線とする(S260)。なお、r-θ累積配列の値が最大となる直線が複数存在しなければ(S258におけるNO)、ステップS260の処理は行わない。
However, in some cases, there may be a case where there are a plurality of straight lines having the maximum value of the r-θ cumulative array. Therefore, when there are a plurality of straight lines with the maximum value of the r-θ cumulative array (YES in S258), the
そして、ハフ変換部164は、自車両1の右側に位置する三次元点182に関してハフ変換が完了したか否か判定し(S262)、完了していなければ(S262におけるNO)、ハフ変換部164は、自車両1の右側に位置する三次元点182のみを抽出して(S264)、ステップS252からの処理を繰り返す。また、自車両1の右側に位置する三次元点182に関してハフ変換が完了していれば(S262におけるYES)、当該ハフ変換処理S202を終了する。
Then, the
(特定物特定処理S204)
特定物特定部166は、ハフ変換部164が実行したハフ変換においてr-θ累積配列の値が最大となる直線を有する立体物を縁石180等の特定物として特定する。
(Specific object identification process S204)
The specific
図11は、本実施形態のハフ変換の効果を説明するための説明図である。仮に、図11(a)のように、三次元点182が少ないと(ここでは3つ)、r−θ平面において、例えば、四角で囲んだ3つの範囲192で曲線が集中していることになり、その結果、三次元点182のうち、それぞれ2点を結ぶ3つの直線194が導出されることになる。
FIG. 11 is an explanatory diagram for explaining the effect of the Hough transform of the present embodiment. If the number of three-
しかし、本実施形態のように拡大三次元点186も含めてハフ変換を実行すると、図11(b)のように、四角で囲んだ1の範囲190で曲線が集中していることになり、適切に直線196が導出される。こうして、本実施形態によれば、特定物の表面形状を示す三次元点182の出現態様に拘わらず、その特定物を適切に特定することが可能となる。
However, when the Hough transform is executed including the enlarged three-
以上、説明したように、本実施形態の車外環境認識装置120では、立体物の表面形状を示す三次元点182の出現態様に拘わらず、その立体物を適切に特定することが可能となる。
As described above, in the outside
また、コンピュータを車外環境認識装置120として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ROM、CD、DVD、BD等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
Also provided are a program for causing a computer to function as the vehicle
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to this embodiment. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Is done.
例えば、上述した実施形態においては、特定物として縁石180を特定する例を挙げて説明したが、かかる場合に限らず、ガードレール等、自車両1の進行方向に略平行に延在するいずれの立体物も特定することができる。
For example, in the above-described embodiment, an example in which the
なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。 It should be noted that each step of the vehicle environment recognition processing in the present specification does not necessarily have to be processed in time series in the order described in the flowchart, and may include processing in parallel or by a subroutine.
本発明は、自車両の進行方向に略平行に延在する特定物を特定する車外環境認識装置に利用することができる。 INDUSTRIAL APPLICABILITY The present invention can be used for an external environment recognition device that identifies a specific object that extends substantially parallel to the traveling direction of the host vehicle.
120 車外環境認識装置
160 三次元点取得部
164 ハフ変換部
166 特定物特定部
120 Outside environment recognition device 160 3D
Claims (6)
前記取得した三次元点のうち車両の進行方向に略平行に延在する特定物の表面形状を示す三次元点を中心に、所定半径の円で示される拡大範囲内に配した三次元点である拡大三次元点を対象としてハフ変換を行うハフ変換部と、
前記ハフ変換においてr-θ累積配列の値が最大となる直線を有する立体物を前記特定物として特定する特定物特定部と、
を備えることを特徴とする車外環境認識装置。 A three-dimensional point acquisition unit that acquires a three-dimensional point indicating the surface shape of the three-dimensional object;
Among the acquired three-dimensional points, three-dimensional points arranged within an enlarged range indicated by a circle of a predetermined radius around a three-dimensional point indicating a surface shape of a specific object extending substantially parallel to the traveling direction of the vehicle. A Hough transform unit that performs Hough transform on a certain enlarged three-dimensional point;
A specific object specifying unit that specifies a solid object having a straight line that maximizes the value of the r-θ cumulative arrangement in the Hough transform as the specific object;
A vehicle exterior environment recognition device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015119909A JP6613061B2 (en) | 2015-06-15 | 2015-06-15 | Outside environment recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015119909A JP6613061B2 (en) | 2015-06-15 | 2015-06-15 | Outside environment recognition device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017004401A true JP2017004401A (en) | 2017-01-05 |
JP6613061B2 JP6613061B2 (en) | 2019-11-27 |
Family
ID=57754344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015119909A Active JP6613061B2 (en) | 2015-06-15 | 2015-06-15 | Outside environment recognition device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6613061B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266828A (en) * | 1993-03-12 | 1994-09-22 | Fuji Heavy Ind Ltd | Outside monitoring device for vehicle |
JPH08279043A (en) * | 1995-01-13 | 1996-10-22 | Sgs Thomson Microelettronica Spa | Method and apparatus for recognition of geometrical shape atinside of image |
JP2013106160A (en) * | 2011-11-11 | 2013-05-30 | Pfu Ltd | Image processing apparatus, rectangle detection method, and computer program |
-
2015
- 2015-06-15 JP JP2015119909A patent/JP6613061B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266828A (en) * | 1993-03-12 | 1994-09-22 | Fuji Heavy Ind Ltd | Outside monitoring device for vehicle |
JPH08279043A (en) * | 1995-01-13 | 1996-10-22 | Sgs Thomson Microelettronica Spa | Method and apparatus for recognition of geometrical shape atinside of image |
JP2013106160A (en) * | 2011-11-11 | 2013-05-30 | Pfu Ltd | Image processing apparatus, rectangle detection method, and computer program |
Non-Patent Citations (1)
Title |
---|
梅田三千雄: "ハフ変換", 日本ファジィ学会誌 第8巻 第2号, vol. 第8巻, JPN6019009813, 15 April 1996 (1996-04-15), JP, pages 229 - 233, ISSN: 0004000861 * |
Also Published As
Publication number | Publication date |
---|---|
JP6613061B2 (en) | 2019-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5829980B2 (en) | Roadside detection device | |
JP3862015B2 (en) | Automotive radar equipment | |
US8625850B2 (en) | Environment recognition device and environment recognition method | |
US8867792B2 (en) | Environment recognition device and environment recognition method | |
US8989439B2 (en) | Environment recognition device and environment recognition method | |
US10748014B2 (en) | Processing device, object recognition apparatus, device control system, processing method, and computer-readable recording medium | |
US20120269391A1 (en) | Environment recognition device and environment recognition method | |
JP6331811B2 (en) | Signal detection device and signal detection method | |
JP2008117073A (en) | Interruption vehicle detection device | |
US10672141B2 (en) | Device, method, system and computer-readable medium for determining collision target object rejection | |
JP4956099B2 (en) | Wall detector | |
JP5955291B2 (en) | Filtering device and environment recognition system | |
JP2007264717A (en) | Lane deviation decision device, lane deviation prevention device and lane follow-up supporting device | |
JP6591188B2 (en) | Outside environment recognition device | |
JP2013161190A (en) | Object recognition device | |
JP6564218B2 (en) | Outside environment recognition device | |
JP7356319B2 (en) | Vehicle exterior environment recognition device | |
JP2018195037A (en) | Device for recognizing environment outside vehicle | |
JP6613061B2 (en) | Outside environment recognition device | |
JP6660367B2 (en) | Outside environment recognition device | |
JP2020126304A (en) | Out-of-vehicle object detection apparatus | |
JP6378594B2 (en) | Outside environment recognition device | |
JP6254870B2 (en) | Outside environment recognition device | |
JP5890816B2 (en) | Filtering device and environment recognition system | |
WO2023175741A1 (en) | External environment recognition device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180308 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190307 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190513 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191008 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191101 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6613061 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |