JP2018092483A - Object recognition device - Google Patents
Object recognition device Download PDFInfo
- Publication number
- JP2018092483A JP2018092483A JP2016236902A JP2016236902A JP2018092483A JP 2018092483 A JP2018092483 A JP 2018092483A JP 2016236902 A JP2016236902 A JP 2016236902A JP 2016236902 A JP2016236902 A JP 2016236902A JP 2018092483 A JP2018092483 A JP 2018092483A
- Authority
- JP
- Japan
- Prior art keywords
- target
- lane
- rider
- area
- radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、自動運転システムに用いて好適な物体認識装置に関する。 The present invention relates to an object recognition apparatus suitable for use in an automatic driving system.
特許文献1には、画像センサによる情報に基づいて検出された画像物標と、レーダーによる情報に基づいて検出されたレーダー物標とを照合し、同一であるならばフュージョン物標として出力する方法が開示されている。 Patent Document 1 discloses a method in which an image target detected based on information from an image sensor and a radar target detected based on information from a radar are collated and output as a fusion target if they are identical. Is disclosed.
物体認識装置による検出対象には、道路壁やガードレール等の路側物が含まれる。路側物を検出することによって、道路境界の位置と形状を認識することができる。ところが、道路壁やガードレールの継ぎ目や、ガードレールに被さる草等、実際に画像センサで捉えられる道路境界は複雑である。このため、画像センサによる情報に基づいて路側物を物標化したとき、物標の位置と範囲とを表す物標枠が車線境界線を越えて車線内にはみ出してしまう場合がある。 The objects to be detected by the object recognition device include roadside objects such as road walls and guardrails. By detecting the roadside object, the position and shape of the road boundary can be recognized. However, road boundaries that are actually captured by the image sensor, such as road walls and joints between guardrails and grass covering guardrails, are complex. For this reason, when a roadside object is converted into a target based on information from the image sensor, a target frame that represents the position and range of the target may protrude beyond the lane boundary line into the lane.
また、このような問題は、物体の検出に画像センサを用いる場合に限ったものではない。ライダー(LIDAR:Laser Imaging Detection and Ranging)を用いて自車両の周辺に存在する物体を検出する場合にも起こりうる問題である。ライダーによれば、レーザー光によるスキャンを水平方向及び垂直方向に行うことで、自車両の周辺に存在する物体の位置と形状とを測定することができる。しかし、道路境界の複雑な形状の影響や、ノイズの影響によって、車線境界線の外にある路側物であるにも関わらず、物標枠が車線境界線を跨ぐように物標化が行われてしまう場合がある。路側物の物標が先行車のような車線内の物標として誤検出されてしまうと、自動運転システムによる車両の制御に悪影響を与えてしまうおそれがある。 Such a problem is not limited to the case where an image sensor is used to detect an object. This is also a problem that may occur when an object existing around the host vehicle is detected using a rider (LIDAR: Laser Imaging Detection and Ranging). According to the rider, it is possible to measure the position and shape of an object existing around the host vehicle by performing scanning with a laser beam in the horizontal direction and the vertical direction. However, due to the influence of the complicated shape of the road boundary and the influence of noise, the target frame is set so that the target frame crosses the lane boundary line even though it is a roadside object outside the lane boundary line. May end up. If a roadside target is erroneously detected as a target in a lane such as a preceding vehicle, the control of the vehicle by the automatic driving system may be adversely affected.
本発明は、上述のような課題に鑑みてなされたものであり、路側物の物標を車線内の物標として誤検出することを低減することができる物体認識装置を提供することを目的とする。 The present invention has been made in view of the above-described problems, and an object thereof is to provide an object recognition device that can reduce erroneous detection of a roadside target as a target in a lane. To do.
上記の目的を達成するため、本発明に係る物体認識装置は、
自車両の周辺に存在する物体の位置と形状とを測定する第1センサによって第1物標を検出する第1物標検出手段と、
前記自車両の周辺に存在する物体の位置を測定する第2センサによって第2物標を検出する第2物標検出手段と、
道路境界に隣接する車線境界線を認識する車線境界線認識手段と、
前記第1物標と前記車線境界線との位置関係に基づいて、前記第1物標のうち前記車線境界線の内側に入っている車線内領域を抽出する車線内領域抽出手段と、
前記第2物標が前記車線内領域に重なる場合、前記第2物標と前記車線内領域とで特定される物体は前記車線境界線の内側にある物体であると判定する判定手段と、
を備えることを特徴とする。
In order to achieve the above object, an object recognition apparatus according to the present invention includes:
First target detecting means for detecting a first target by a first sensor that measures the position and shape of an object existing around the host vehicle;
Second target detection means for detecting a second target by a second sensor for measuring the position of an object existing around the host vehicle;
Lane boundary recognition means for recognizing a lane boundary adjacent to a road boundary;
Based on the positional relationship between the first target and the lane boundary line, a lane area extraction means for extracting a lane area that is inside the lane boundary line of the first target;
When the second target overlaps the lane area, a determination unit that determines that the object specified by the second target and the lane area is an object inside the lane boundary line;
It is characterized by providing.
本発明に係る物体認識装置によれば、物体の位置及び形状を測定する第1センサによって検出された第1物標が、車線境界線の外側の物体であるにも関わらず車線内にはみ出した形状で物標化されものであったとしても、第1物標の範囲を車線境界線の内側の領域に絞りこみ、この絞り込んだ範囲に対して第2センサによって検出された第2物標を照合することで、当該物体を車線境界線の内側の物体と誤検出することは抑えられる。 According to the object recognition device of the present invention, the first target detected by the first sensor that measures the position and shape of the object protrudes into the lane even though it is an object outside the lane boundary. Even if the target is a shape, the range of the first target is narrowed down to the area inside the lane boundary, and the second target detected by the second sensor is selected for the narrowed range. By collating, erroneous detection of the object as an object inside the lane boundary line can be suppressed.
以下、図面を参照して本発明の実施の形態について説明する。ただし、以下に示す実施の形態において各要素の個数、数量、量、範囲等の数に言及した場合、特に明示した場合や原理的に明らかにその数に特定される場合を除いて、その言及した数に、この発明が限定されるものではない。また、以下に示す実施の形態において説明する構造は、特に明示した場合や明らかに原理的にそれに特定される場合を除いて、この発明に必ずしも必須のものではない。 Embodiments of the present invention will be described below with reference to the drawings. However, in the embodiment shown below, when referring to the number of each element, quantity, quantity, range, etc., unless otherwise specified or clearly specified in principle, the reference However, the present invention is not limited to these numbers. Further, the structures described in the embodiments described below are not necessarily essential to the present invention unless otherwise specified or clearly specified in principle.
実施の形態1
図1は、実施の形態に係る自動運転システムの構成を示す図である。自動運転システムは、それが搭載される車両の自動運転を実行する。自動運転システム1は、物体認識装置として機能する制御装置10と自律認識センサとを備える。自律認識センサには、ライダー2、ミリ波レーダー3、及びステレオカメラ4が含まれる。これらの自律認識センサは、直接、或いは、車両内に構築されたCAN(Controller Area Network)等の通信ネットワークを介して制御装置10に接続されている。制御装置10は、自律認識センサで得られた物体情報より、車両の略全周囲の状況を把握することができる。
Embodiment 1
FIG. 1 is a diagram illustrating a configuration of an automatic driving system according to an embodiment. The automatic driving system performs automatic driving of a vehicle on which the automatic driving system is mounted. The automatic driving system 1 includes a
自動運転システム1は、さらに、GPS(Global Positioning System)受信機5、地図データベース6、ナビゲーションシステム7、HMI(Human Machine Interface)8及びアクチュエータ9を備える。GPS受信機5は、GPS衛星が発信する信号に基づいて自車両の位置を示す位置情報を取得する手段である。地図データベース6は、例えば、車両に搭載されたHDDやSSD等のストレージ内に形成されている。地図データベース6が有する地図情報には、道路の位置情報、道路形状の情報、交差点及び分岐点の位置情報、道路の車線情報等が含まれる。ナビゲーションシステム7は、GPS受信機5によって測定された自車両の位置情報と地図データベース6の地図情報とに基づいて、自車両の走行するルートを算出し、算出したルートの情報をHMI8を介して運転者に伝達するとともに、制御装置10へ出力する。HMI8は、乗員と制御装置10との間で情報の出力及び入力をするためのインターフェイスである。アクチュエータ9は、制御装置10からの操作信号に応じて動作し、その動作によって車両の走行状態を変化させる装置である。アクチュエータ9は、例えば、駆動系、制動系、操舵系のそれぞれに設けられている。これら以外にも、例えば、車速センサや加速度センサ等の自車両の走行状態に関する情報を得るための内部センサが自動運転システム1には備えられる。
The automatic driving system 1 further includes a GPS (Global Positioning System)
制御装置10は、少なくとも1つのCPU、少なくとも1つのROM、少なくとも1つのRAMを有するECU(Electronic Control Unit)である。ROMには、自動運転のための各種のプログラムやマップを含む各種のデータが記憶されている。ROMに記憶されているプログラムがRAMにロードされ、CPUで実行されることで、制御装置10には様々な機能が実現される。なお、制御装置10は、複数のECUから構成されていてもよい。
The
図1には、制御装置10が有する自動運転のための機能のうち、特に、物体認識に関係する機能がブロックで表現されている。制御装置10が有する自動運転のためのその他の機能についての図示は省略されている。
In FIG. 1, among the functions for automatic driving that the
制御装置10は、自車両の周辺に存在する物体を認識し、車線内に位置する物体と車線外に位置する物体とを判別する機能を有する。この機能は、制御装置10が備える走路推定部11、第1物標検出部12、第2物標検出部13、車線内外領域判定部14、及び整合性判定部15により実現される。詳しくは後述するが、走路推定部11は本発明に係る車線境界線認識手段に相当し、第1物標検出部12は本発明に係る第1物標検出手段に相当し、第2物標検出部13は本発明に係る第2物標検出手段に相当し、車線内外領域判定部14は本発明に係る車線内領域抽出手段に相当し、整合性判定部15は本発明に係る判定手段に相当する。これらの部11,12,13,14,15は、制御装置10内にハードウェアとして存在するものではなく、ROMに記憶されたプログラムがCPUで実行されたときにソフトウェア的に実現される。
The
走路推定部11は、GPS受信機5が受信したGPS信号より自車両の位置及び姿勢を推定する。そして、推定した自車両の位置及び姿勢に基づいて、自車両の周辺の地図データを地図データベース6から検索する。地図データには、走路に関する情報、詳しくは、車線を区画する車線境界線の位置及び形状に関する情報が含まれている。走路推定部11は、自車両の周辺の車線境界線の位置及び形状をGPS座標系から自車両を中心とする基準座標系へ座標する。これにより、自車両に対する各車線境界線の位置と各車線境界線の形状とが推定される。
The travel
第1物標検出部12は、自車両周辺の物体の測距データを第1センサとしてのライダー2により取得する。ライダー2により取得される測距データには、ライダー2から測距点までの距離に関する情報、測距点の高さに関する情報、及び測距点の方向に関する情報が含まれる。第1物標検出部12は、取得した測距データをクラスタリングする。クラスタリングは、基準座標系上での各測距点の位置と高さとに基づいて行われる。また、前回フレームでのクラスタリングの結果との連続性を保つように行われる。クラスタリングの具体的な方法には特に限定はなく、公知のクラスタリング方法を用いることができる。クラスタリングされた測距点群は、基準座標系において長方形の物標枠で囲まれて1つの物標とされる。以下、この物標をライダー物標、或いは、第1物標という。
The first
第2物標検出部13は、自車両周辺の物体の測距データを第2センサとしてのミリ波レーダー3により取得する。ミリ波レーダー3により取得される測距データには、ミリ波レーダー3から測距点までの距離に関する情報と、測距点の方向に関する情報が含まれる。ミリ波レーダー3による物体検出では、反射したミリ波を受信できた場合に物体を検出したことになる。反射したミリ波を受信する毎に1個の物標が得られる。以下、この物標をレーダー物標、或いは、第2物標という。前述のライダー物標は、位置と形状に関する情報を有する物標であるのに対し、レーダー物標は、位置に関する情報のみを有する物標である。
The second
車線内外領域判定部14には、走路推定部11で推定された各車線境界線の位置及び形状と、第1物標検出部12で検出されたライダー物標の位置及び形状とが入力される。車線内外領域判定部14は、各車線境界線の位置及び形状とライダー物標の位置及び形状とに基づいて、ライダー物標のうちのどの領域が車線境界線の内側の領域で、どの領域が車線境界線の外側の領域かを判定する。ここで、車線内外領域判定部14が有する機能をフローチャートにて表すと図2のようになる。図2に示すように、車線内外領域判定部14は、最初の処理として交差位置検出を行い、次の処理として車線内領域抽出を行う。以下、各処理の詳細について図を参照して説明する。
The position and shape of each lane boundary estimated by the
図3は、車線内外領域判定部14による交差位置検出の方法について説明する図である。図3には、車線を形成する一対の車線境界線、2つのライダー物標、及び、2つのレーダー物標が自車両を中心とする基準座標系で描かれている。ここでは、自車両が走行する道路は1車線道路であって、一対の車線境界線の両側に道路境界が接しているとする。交差位置検出処理では、道路境界に隣接する車線境界線(図3では両方の車線境界線)と、ライダー物標の枠線との交差位置が検出される。ライダー物標が車線境界線を跨ぐ場合、交差位置はライダー物標ごとに2点存在する。なお、交差位置検出処理では、車線境界線の内側にマージンをとって判定用の境界線(図3において破線で示す曲線)を引き、判定用の境界線とライダー物標との交差位置を検出するようにしてもよい。
FIG. 3 is a diagram for explaining a method of detecting an intersection position by the lane in / outside
図4は、車線内外領域判定部14による車線内領域抽出の方法について説明する図である。車線内領域抽出処理では、交差位置検出処理で検出された交差位置でライダー物標が2つに分割され、車線内に入っている側の領域が抽出される。具体的には、図4に矢印で示すように、一方の交差位置からライダー物標の枠線に沿って所定方向(例えば時計回り方向)に進み、他方の交差位置が探索される。他方の交差位置が探索されたら、2つの交位置を結ぶ線分によって閉領域を形成する。図4に点線で示す閉領域のように、全ての頂点が車線内にある領域が車線内領域として抽出される。なお、前述のようにマージンをとるのであれば、車線境界線の外側の領域を内側の領域と誤判定することを防止すべく、期待される車線境界線の推定精度が低いほどマージンを大きくしてもよい。
FIG. 4 is a diagram for explaining a method of extracting the in-lane area by the in-and-outside
第1物標検出部12で複数のライダー物標が検出された場合、車線内外領域判定部14は、上述の交差位置検出処理と車線内領域抽出をそれぞれのライダー物標に対して実行する。これにより、各ライダー物標について車線内領域が抽出される。なお、ライダー物標の全ての領域が車線境界線の内側に入っている場合、そのライダー物標の全体が車線内領域として抽出される。
When a plurality of rider targets are detected by the first
整合性判定部15には、車線内外領域判定部14で抽出されたライダー物標の車線内領域の位置及び形状と、第2物標検出部13で検出されたレーダー物標の位置及び形状とが入力される。整合性判定部15は、ライダー物標の車線内領域の位置及び形状とレーダー物標の位置及び形状とに基づいて、2種類の物標、つまり、レーダー物標とライダー物標との整合性について判定する。ここで、車線内外領域判定部14が有する機能をフローチャートにて表すと図5のようになる。図5に示すように、整合性判定部15は、最初の処理として対応付けを行い、次の処理として整合性判断を行う。以下、各処理の詳細について図を参照して説明する。
The
図6は、整合性判定部15による対応付けの方法について説明する図である。対応付け処理では、ライダー物標の車線内領域とレーダー物標との対応付けが行われる。あるライダー物標の車線内領域の中にあるレーダー物標が入る場合、“両者は同一物として対応付く”といい、あるライダー物標の車線内領域の中にあるレーダー物標が入らない場合、“両者は同一物として対応付かない”という。図6に示す例では、左側のライダー物標の車線内領域LAの中に左側のレーダー物標RAは入っていないため、車線内領域LAと左側のレーダー物標RAとは同一物として対応付かない。一方、右側のライダー物標の車線内領域LBの中には右側のレーダー物標RBが入っているため、車線内領域LBと左側のレーダー物標RBとは同一物として対応付く。なお、対応付け処理では、ライダー物標の車線内領域の内側にマージンをとり、マージンの分だけ車線内領域よりも限縮した領域とライダー物標との対応付けを行ってもよい。
FIG. 6 is a diagram for explaining a matching method by the
図7は、整合性判定部15による整合性判断の方法について説明する図である。整合性判断処理では、ライダー物標の車線内領域のうち、レーダー物標と対応付いたもののみが抽出される。整合性判断処理により抽出されたライダー物標の車線内領域は、レーダー物標によって二重化されたフュージョン物標であって、自動運転のための最終的な物標として出力される。抽出されたライダー物標の車線内領域の位置は最終的な物標の位置となり、抽出されたライダー物標の車線内領域の形状(図7に示す例では点線で囲まれた範囲の形状)は、最終的な物標の形状となる。
FIG. 7 is a diagram illustrating a method for determining consistency by the
整合性判断処理では、レーダー物標と対応付かなかったライダー物標の車線内領域については、最終的な物標としては出力されない。つまり、ライダー2によって車線内に物標が検出されたとしても、それがレーダー3の検出結果によって裏付けされないのであれば、自動運転のための最終的な物標としては用いられない。 In the consistency determination process, the area in the lane of the rider target that has not been associated with the radar target is not output as the final target. That is, even if a target is detected in the lane by the rider 2, it is not used as a final target for automatic driving if it is not supported by the detection result of the radar 3.
上記の機能を有する各部11,12,13,14,15を備えたことにより、制御装置10は物体認識装置として機能する。物体認識装置としての制御装置10は、ライダー2によって検出したライダー物標を車線境界線の内側の領域に絞込み、ミリ波レーダー3によって検出したレーダー物標がライダー物標の車線内領域に重なる場合のみ、ライダー物標の車線内領域とレーダー物標とで特定される物体は車線内物体であると判定する。
Since the
道路境界を形成する路側物をライダー2の測距データに基づいて物標化したとき、図8(a)に示すように、路側物であるはずのライダー物標が車線境界線を跨いで車線内にはみ出してしまう場合がある。しかし、制御装置10による物体認識処理によれば、図8(b)に示すように、ライダー物標の範囲が車線境界線の内側の領域に絞り込まれる。そして、この絞り込んだ範囲に対してミリ波レーダー3によって検出されたレーダー物標が照合される。レーダー物標によって二重化できなかったライダー物標の車線内領域は、フュージョン物標としては成立しない。このため、当該路側物を車線境界線の内側の物体として誤検出してしまうことは抑えられる。
When the roadside object that forms the road boundary is converted into a target based on the distance measurement data of the rider 2, as shown in FIG. 8A, the rider target that should be a roadside object crosses the lane boundary line. It may stick out inside. However, according to the object recognition process by the
なお、誤検出を抑えるためのデータ処理の方法として、ライダー2の測距データのうち車線境界線の外側で得られた測距データを予め除去する方法(以下、比較例の方法という)が考えられる。図9に示す例では、ライダー2により検出された測距点(図9中に黒丸で示す点)をクラスタリングすることによって、AからEまでの5つのライダー物標が得られている。このうち車線内の物体に対応する物標はライダー物標Bのみである。車線境界線の外側で検出された測距点を除去し、クラスタリングの対象を車線境界線の内側の測距点に絞り込むことにより、目当てとするライダー物標Bのみを得ることができる。しかし、比較例の方法では、全ての測距点について車線境界線の内側か外側かを判定せねばならないため、必要な計算処理量は多大であり制御装置には大きな負荷がかかる。これに対して、実施の形態1の物体認識処理によれば、測距点を絞り込む前に物標化をすることによって、車線境界線の内側か外側かを判定せねばならないデータ数は大幅に少なくなる。ゆえに、本実施の形態に係る物体認識処理の方法は、計算処理量を減らして制御装置の演算負荷を抑えることができる点において、比較例の方法よりも優位である。 As a data processing method for suppressing false detection, a method of removing in advance the distance measurement data obtained outside the lane boundary line from the distance measurement data of the rider 2 (hereinafter referred to as a comparative example method) is considered. It is done. In the example shown in FIG. 9, five rider targets A to E are obtained by clustering the distance measuring points detected by the rider 2 (points indicated by black circles in FIG. 9). Among these, the target corresponding to the object in the lane is only the rider target B. By removing the ranging points detected outside the lane boundary line and narrowing the clustering target to the ranging points inside the lane boundary line, only the target rider target B can be obtained. However, in the method of the comparative example, since it is necessary to determine whether all the ranging points are inside or outside the lane boundary line, a large amount of calculation processing is required and a large load is imposed on the control device. On the other hand, according to the object recognition processing of the first embodiment, the number of data that must be determined inside or outside the lane boundary line is greatly increased by targeting before narrowing the distance measuring points. Less. Therefore, the object recognition processing method according to the present embodiment is superior to the method of the comparative example in that the amount of calculation processing can be reduced to reduce the calculation load of the control device.
また、比較例の方法には、車線境界線の位置の誤差の影響を受けやすいという問題がある。例えば、図10に点線で示すように車線境界線の内側にマージンをとって境界線を引いた場合、車線境界線の内側で検出された測距点も除去されてしまう。このため、図10に示す例では、ライダー物標A,C,D,Eだけでなく、目当てとするライダー物標Bも得ることができなくなってしまう。逆に、図10に一点鎖線で示すように車線境界線の外側にマージンをとって境界線を引いた場合、車線境界線の外側で検出された測距点を除去しきれない。このため、図10に示す例では、目当てとするライダー物標Bだけでなく、ライダー物標A、Dまでもが自動運転用の物標として取得されてしまう。 Further, the method of the comparative example has a problem that it is easily influenced by an error in the position of the lane boundary line. For example, when a boundary is drawn with a margin inside the lane boundary as shown by a dotted line in FIG. 10, the distance measuring points detected inside the lane boundary are also removed. For this reason, in the example shown in FIG. 10, not only the rider targets A, C, D, and E but also the rider target B that is the target cannot be obtained. On the other hand, when the boundary line is drawn with a margin outside the lane boundary line as shown by the alternate long and short dash line in FIG. 10, ranging points detected outside the lane boundary line cannot be removed. For this reason, in the example shown in FIG. 10, not only the target rider target B but also the rider targets A and D are acquired as targets for automatic driving.
比較例の方法との比較から分かるように、実施の形態1の物体認識処理の方法によれば、データを絞り込む前に物標化をすることで、目当てとする物標が消去されることを防ぐことができる。また、車線境界線とミリ波レーダー3で検出したレーダー物標とをセットで評価することで、除去すべき対象のみを除去することができる。また、車線境界線の外側に位置する物体も内側に位置する物体も、全てが物標として追跡されることから、過去の判定結果と統合することで誤差の影響が低減できるという利点もある。 As can be seen from the comparison with the method of the comparative example, according to the object recognition processing method of the first embodiment, by targeting before narrowing down the data, the target target is deleted. Can be prevented. Further, by evaluating the lane boundary line and the radar target detected by the millimeter wave radar 3 as a set, only the target to be removed can be removed. In addition, since all objects located outside and inside the lane boundary line are tracked as targets, there is an advantage that the influence of errors can be reduced by integrating with past determination results.
実施の形態2.
本実施の形態の自動運転システムは、実施の形態1の自動運転システムと同じく、図1に示す構成を有する。実施の形態2の自動運転システムと実施の形態1の自動運転システムとの相違は、車線内外領域判定部14の機能にある。
Embodiment 2. FIG.
Similar to the automatic driving system of the first embodiment, the automatic driving system of the present embodiment has the configuration shown in FIG. The difference between the automatic driving system of the second embodiment and the automatic driving system of the first embodiment is in the function of the lane inside / outside
図11は、実施の形態2の車線内外領域判定部14の機能を示すフローチャートである。図11に示すように、実施の形態2の車線内外領域判定部14は、最初の処理として交差位置検出を行い、次の処理として車線内領域抽出を行い、さらに次の処理として車線内領域合成を行う。交差位置検出処理と車線内領域抽出処理の内容は、実施の形態1のそれらの内容と同じである。ゆえに、以下、実施の形態2の特徴的処理である車線内領域合成処理の詳細について図を参照して説明する。
FIG. 11 is a flowchart illustrating the function of the lane in / outside
図12は、実施の形態2の車線内外領域判定部14による車線内領域合成の方法について説明する図である。車線内領域合成処理では、車線内領域抽出処理によって抽出されたライダー物標の車線内領域が複数時刻について取得される。取得された複数時刻の抽出結果は重ね合わされ、その重なり度合いが計算される。具体的には、ある時刻tにおいてライダー物標の枠の中で車線内領域として抽出された領域にスコア1が与えられる。次の時刻t+1において車線内領域として抽出された領域にもスコア1が与えられる。このように、各時刻において車線内領域として抽出された領域にスコア1を与えることが所定時間にわたって続けられる。各時刻において車線内領域として抽出された領域を重ね合わせ、その領域に与えられたスコアを加算していく。これにより、ライダー物標の枠の中で車線内領域として抽出された回数の多い領域ほど合計スコアが高くなる。
FIG. 12 is a diagram for explaining a method for synthesizing the in-lane region by the in-lane / outer
車線内領域合成処理では、一定値以上の合計スコアを有する領域が最終的な車線内領域として抽出される。例えば、図12に示す例では、合計スコアが5以上の領域が車線内領域として抽出される。車線内領域抽出処理により車線内領域として抽出される領域は、車線境界線の位置に誤差がある場合、その誤差によって形状が変化する。しかし、上記のような処理を行うことで、車線境界線の位置の誤差が車線内領域の判定に与える影響を低減することができる。 In the lane region synthesis process, a region having a total score of a certain value or more is extracted as a final lane region. For example, in the example illustrated in FIG. 12, a region having a total score of 5 or more is extracted as a lane region. If there is an error in the position of the lane boundary line, the shape of the region extracted as the lane region by the lane region extraction process changes depending on the error. However, by performing the processing as described above, it is possible to reduce the influence of the error in the position of the lane boundary line on the determination of the in-lane region.
実施の形態3.
本実施の形態の自動運転システムは、実施の形態1の自動運転システムと同じく、図1に示す構成を有する。実施の形態3の自動運転システムと実施の形態1の自動運転システムとの相違は、整合性判定部15の機能にある。
Embodiment 3 FIG.
Similar to the automatic driving system of the first embodiment, the automatic driving system of the present embodiment has the configuration shown in FIG. The difference between the automatic driving system of the third embodiment and the automatic driving system of the first embodiment is in the function of the
図13は、実施の形態3の整合性判定部15の機能を示すフローチャートである。図13に示すように、実施の形態3の整合性判定部15は、最初の処理として対応付けを行い、次の処理として整合性判断を行い、さらに次の処理として整合性判断統合を行う。対応付け処理と整合性判断処理の内容は、実施の形態1のそれらの内容と同じである。ゆえに、以下、実施の形態2の特徴的処理である整合性判断統合処理の詳細について説明する。
FIG. 13 is a flowchart illustrating functions of the
整合性判断統合処理では、各時刻での整合性有り/無しの判断結果を統合する。具体的には、各時刻での判断結果に基づいて整合性判断の信頼度を計算し、信頼度が閾値以上の場合に自動運転のための最終的な物標として出力する。信頼度の計算の方法の一例として、ライダー物標の車線内領域のそれぞれについてレーダー物標と対応付いた回数をカウントし、レーダー物標と対応付いた回数の全判定回数に対する比率を信頼度として計算してもよい。この場合の信頼度は、比率の値が大きいほど高い。また、ライダー物標の車線内領域の重心とレーダー物標との距離を計算し、距離の平均値を信頼度として計算してもよい。この場合の信頼度は、距離の平均値が小さいほど高い。また、ライダー物標の車線内領域の重心とレーダー物標との距離を入力とする正規分布を求めて、正規分布のパラメータ(例えば標準偏差)を信頼度として計算してもよい。この場合の信頼度は、例えば標準偏差がパラメータである場合には、標準偏差が小さいほど高い。 In the consistency judgment integration process, the judgment results of consistency / non-consistency at each time are integrated. Specifically, the reliability of the consistency determination is calculated based on the determination result at each time, and when the reliability is equal to or higher than a threshold, it is output as a final target for automatic operation. As an example of the calculation method of reliability, count the number of times corresponding to the radar target for each area in the lane of the rider target, and the ratio of the number of times corresponding to the radar target to the total number of judgments as the reliability You may calculate. The reliability in this case is higher as the ratio value is larger. Alternatively, the distance between the center of gravity of the lane area of the rider target and the radar target may be calculated, and the average value of the distance may be calculated as the reliability. The reliability in this case is higher as the average value of the distance is smaller. Alternatively, a normal distribution having the distance between the center of gravity of the lane area of the rider target and the radar target as an input may be obtained, and parameters of the normal distribution (for example, standard deviation) may be calculated as the reliability. For example, when the standard deviation is a parameter, the reliability is higher as the standard deviation is smaller.
整合性判断処理による整合性有り/無しの判断結果には、車線境界線の位置の誤差が影響する。しかし、上記の整合性判断統合処理を行うことにより、車線境界線の位置の誤差の影響は低減されるので、車線内の物体か車線外の物体かの判断の精度を高めることができる。 An error in the position of the lane boundary affects the determination result of whether or not there is consistency by the consistency determination process. However, by performing the consistency determination integration process described above, the influence of the error in the position of the lane boundary line is reduced, so that the accuracy of the determination of whether the object is in the lane or the object outside the lane can be improved.
実施の形態4.
実施の形態4の自動運転システムは、実施の形態1の自動運転システムと同じく、図1に示す構成を有する。実施の形態4の自動運転システムと実施の形態1の自動運転システムとの相違は、車線内外領域判定部14の機能にある。
Similar to the automatic driving system of the first embodiment, the automatic driving system of the fourth embodiment has the configuration shown in FIG. The difference between the automatic driving system of the fourth embodiment and the automatic driving system of the first embodiment is in the function of the lane inside / outside
図14は、実施の形態4の車線内外領域判定部14の機能を示すフローチャートである。図14に示すように、実施の形態4の車線内外領域判定部14は、最初の処理として候補限定を行い、次の処理として交差位置検出を行い、さらに次の処理として車線内領域抽出を行う。交差位置検出処理と車線内領域抽出処理の内容は、実施の形態1のそれらの内容と同じである。ゆえに、以下、実施の形態4の特徴的処理である候補限定処理の詳細について図を参照して説明する。
FIG. 14 is a flowchart illustrating the function of the lane in / outside
図15は、実施の形態4の車線内外領域判定部14による候補限定の方法について説明する図である。候補限定処理では、ライダー物標の方向と車線の方向とを比較し、車線とは方向が一致しないライダー物標を以降の処理の候補として抽出することが行われる。具体的には、図15(a)に示すように、ライダー物標の重心からの距離が最も短い車線が抽出される。ライダー物標の重心から車線までの距離とは、ライダー物標の重心から車線中心線までの最短距離を意味する。車線中心線の位置と形状は、車線を構成する一対の車線境界線の位置と形状から計算される。次に、図15(b)に示すように、ライダー物標の重心からの距離が最も短い車線に関し、車線の方向が抽出される。詳しくは、ライダー物標の重心までの距離が最短となる車線中心線上の点が特定され、その点における車線中心線の方向、つまり、その点において車線中心線に接する接線の方向が取得される。そして、図15(c)に示すように、ライダー物標の方向が取得され、ライダー物標の方向と車線の方向とがなす角度が計算される。なお、ライダー物標の方向とは、長方形で表される物標枠の長尺の方向を意味する。
FIG. 15 is a diagram for explaining a candidate limitation method by the lane in / outside
ライダー物標が車線に沿う方向に向いていない場合、当該ライダー物標は車線境界線を跨いでいる可能性が高い。ゆえに、候補限定処理では、ライダー物標の方向と車線の方向とがなす角度が所定値以上の場合、当該ライダー物標を以降の処理の候補として抽出する。言い換えれば、車線の方向との間の角度が所定値未満となるライダー物標については、以降の処理の候補から除外する。このように処理の候補を限定することにより、計算処理量を減らして制御装置の演算負荷を抑えることができる。 If the rider target is not oriented in the direction along the lane, the rider target is likely to straddle the lane boundary. Therefore, in the candidate limitation process, if the angle formed by the direction of the rider target and the direction of the lane is greater than or equal to a predetermined value, the rider target is extracted as a candidate for subsequent processes. In other words, a rider target whose angle with the direction of the lane is less than a predetermined value is excluded from candidates for subsequent processing. By limiting the processing candidates in this way, it is possible to reduce the amount of calculation processing and suppress the calculation load of the control device.
その他実施の形態.
以上、本発明の実施の形態について説明したが、先にも述べた通り、本発明はこれらの実施の形態に限定されるものではない。例えば、自車両の周辺に存在する物体の位置と形状とを測定する第1センサは、ステレオカメラ4でもよい。車両に波長の短いミリ波レーダーが搭載されている場合には、それを第1センサとして用いてもよい。
Other embodiments.
While the embodiments of the present invention have been described above, as described above, the present invention is not limited to these embodiments. For example, the first camera that measures the position and shape of an object present around the host vehicle may be the
自車両の位置及び姿勢を推定する手段は、GPS信号には限定されない。例えば、ライダー2やステレオカメラ4の出力から得られた特徴点と、地図上に登録してある看板や白線等の特徴点とを対応付けることによって自車両の位置及び姿勢を推定してもよい。
Means for estimating the position and orientation of the host vehicle are not limited to GPS signals. For example, the position and orientation of the host vehicle may be estimated by associating feature points obtained from the output of the rider 2 or the
車線境界線情報の取得は、地図データベース6からの取得には限定されない。例えば、ステレオカメラ4により自車両の前方を撮影し、得られた撮影画像に対する白線認識処理によって車線境界線情報を取得してもよい。
Acquisition of lane boundary information is not limited to acquisition from the map database 6. For example, the front of the host vehicle may be photographed by the
なお、実施の形態3の整合性判定部15の機能は、実施の形態2の自動運転システムにも適用することができる。実施の形態4の車線内外領域判定部14の機能は、実施の形態2及び3の自動運転システムにも適用することができる。
Note that the function of the
1 自動運転システム
2 ライダー(第1センサ)
3 ミリ波レーダー(第2センサ)
4 ステレオカメラ
5 GPS受信機
6 地図データベース
7 ナビゲーションシステム
8 HMI
9 アクチュエータ
10 制御装置(物体認識装置)
11 走路推定部(車線境界線認識手段)
12 第1物標検出部(第1物標検出手段)
13 第2物標検出部(第2物標検出手段)
14 車線内外領域判定部(車線内領域抽出手段)
15 整合性判定部(判定手段)
1 Automatic driving system 2 Rider (first sensor)
3 Millimeter wave radar (second sensor)
4
9
11 Runway estimation unit (lane boundary recognition means)
12 1st target detection part (1st target detection means)
13 Second target detection unit (second target detection means)
14 Lane inside / outside area determination unit (lane area extracting means)
15 Consistency determination unit (determination means)
Claims (1)
前記自車両の周辺に存在する物体の位置を測定する第2センサによって第2物標を検出する第2物標検出手段と、
道路境界に隣接する車線境界線を認識する車線境界線認識手段と、
前記第1物標と前記車線境界線との位置関係に基づいて、前記第1物標のうち前記車線境界線の内側に入っている車線内領域を抽出する車線内領域抽出手段と、
前記第2物標が前記車線内領域に重なる場合、前記第2物標と前記車線内領域とで特定される物体は前記車線境界線の内側にある物体であると判定する判定手段と、
を備えることを特徴とする物体認識装置。 First target detecting means for detecting a first target by a first sensor that measures the position and shape of an object existing around the host vehicle;
Second target detection means for detecting a second target by a second sensor for measuring the position of an object existing around the host vehicle;
Lane boundary recognition means for recognizing a lane boundary adjacent to a road boundary;
Based on the positional relationship between the first target and the lane boundary line, a lane area extraction means for extracting a lane area that is inside the lane boundary line of the first target;
When the second target overlaps the lane area, a determination unit that determines that the object specified by the second target and the lane area is an object inside the lane boundary line;
An object recognition apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016236902A JP6747269B2 (en) | 2016-12-06 | 2016-12-06 | Object recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016236902A JP6747269B2 (en) | 2016-12-06 | 2016-12-06 | Object recognition device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018092483A true JP2018092483A (en) | 2018-06-14 |
JP6747269B2 JP6747269B2 (en) | 2020-08-26 |
Family
ID=62565632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016236902A Active JP6747269B2 (en) | 2016-12-06 | 2016-12-06 | Object recognition device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6747269B2 (en) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110764108A (en) * | 2019-11-05 | 2020-02-07 | 畅加风行(苏州)智能科技有限公司 | Obstacle detection method and device for port automatic driving scene |
CN110824469A (en) * | 2020-01-09 | 2020-02-21 | 南京泰晟科技实业有限公司 | Lane deviation detection device and deviation correction judgment method |
CN110907928A (en) * | 2019-11-20 | 2020-03-24 | 福瑞泰克智能系统有限公司 | Target object position determining method and device, electronic equipment and storage medium |
CN110940997A (en) * | 2019-11-20 | 2020-03-31 | 北京踏歌智行科技有限公司 | Laser radar system for unmanned vehicle |
CN110940974A (en) * | 2018-09-21 | 2020-03-31 | 丰田自动车株式会社 | Object detection device |
CN111016859A (en) * | 2019-12-20 | 2020-04-17 | 南京泰晟科技实业有限公司 | Vehicle emergency brake protection system and method |
JP2020098188A (en) * | 2018-09-27 | 2020-06-25 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | Obstacle detection method, obstacle detection device, electronic apparatus, vehicle and storage medium |
CN111699408A (en) * | 2019-05-31 | 2020-09-22 | 深圳市大疆创新科技有限公司 | Tunnel scene detection method and millimeter wave radar |
CN113002396A (en) * | 2020-04-14 | 2021-06-22 | 青岛慧拓智能机器有限公司 | A environmental perception system and mining vehicle for automatic driving mining vehicle |
CN113030976A (en) * | 2021-03-10 | 2021-06-25 | 奥特酷智能科技(南京)有限公司 | Method for eliminating interference of metal well lid on millimeter wave radar by using laser radar |
CN113702967A (en) * | 2021-09-24 | 2021-11-26 | 中国北方车辆研究所 | Vehicle target guiding and tracking method of ground unmanned platform and vehicle-mounted system |
WO2021256032A1 (en) * | 2020-06-15 | 2021-12-23 | 株式会社日立製作所 | Sensor recognition integration device |
CN114093165A (en) * | 2021-11-17 | 2022-02-25 | 山东大学 | Roadside laser radar-based vehicle-pedestrian conflict automatic identification method |
US11519736B2 (en) * | 2017-05-19 | 2022-12-06 | Pioneer Corporation | Measurement device, measurement method and program |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08156723A (en) * | 1994-12-06 | 1996-06-18 | Nissan Motor Co Ltd | Vehicle obstruction detecting device |
WO2011036807A1 (en) * | 2009-09-28 | 2011-03-31 | トヨタ自動車株式会社 | Object detection device and object detection method |
US20140343749A1 (en) * | 2013-05-14 | 2014-11-20 | Denso Corporation | Collision mitigation apparatus |
JP2015036842A (en) * | 2013-08-12 | 2015-02-23 | 株式会社日本自動車部品総合研究所 | Traveling propriety determination device |
JP2016007894A (en) * | 2014-06-23 | 2016-01-18 | トヨタ自動車株式会社 | Attention-seeking device and travel control unit |
JP2016081202A (en) * | 2014-10-15 | 2016-05-16 | 本田技研工業株式会社 | Object recognition system |
-
2016
- 2016-12-06 JP JP2016236902A patent/JP6747269B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08156723A (en) * | 1994-12-06 | 1996-06-18 | Nissan Motor Co Ltd | Vehicle obstruction detecting device |
WO2011036807A1 (en) * | 2009-09-28 | 2011-03-31 | トヨタ自動車株式会社 | Object detection device and object detection method |
US20140343749A1 (en) * | 2013-05-14 | 2014-11-20 | Denso Corporation | Collision mitigation apparatus |
JP2014222463A (en) * | 2013-05-14 | 2014-11-27 | 株式会社デンソー | Crash mitigation device |
JP2015036842A (en) * | 2013-08-12 | 2015-02-23 | 株式会社日本自動車部品総合研究所 | Traveling propriety determination device |
JP2016007894A (en) * | 2014-06-23 | 2016-01-18 | トヨタ自動車株式会社 | Attention-seeking device and travel control unit |
JP2016081202A (en) * | 2014-10-15 | 2016-05-16 | 本田技研工業株式会社 | Object recognition system |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11828603B2 (en) | 2017-05-19 | 2023-11-28 | Pioneer Corporation | Measurement device, measurement method and program |
US11519736B2 (en) * | 2017-05-19 | 2022-12-06 | Pioneer Corporation | Measurement device, measurement method and program |
CN110940974B (en) * | 2018-09-21 | 2023-10-10 | 丰田自动车株式会社 | Object detection device |
CN110940974A (en) * | 2018-09-21 | 2020-03-31 | 丰田自动车株式会社 | Object detection device |
JP2020098188A (en) * | 2018-09-27 | 2020-06-25 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | Obstacle detection method, obstacle detection device, electronic apparatus, vehicle and storage medium |
US11393219B2 (en) | 2018-09-27 | 2022-07-19 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Method and apparatus for detecting obstacle, electronic device, vehicle and storage medium |
CN111699408A (en) * | 2019-05-31 | 2020-09-22 | 深圳市大疆创新科技有限公司 | Tunnel scene detection method and millimeter wave radar |
CN110764108A (en) * | 2019-11-05 | 2020-02-07 | 畅加风行(苏州)智能科技有限公司 | Obstacle detection method and device for port automatic driving scene |
CN110764108B (en) * | 2019-11-05 | 2023-05-02 | 畅加风行(苏州)智能科技有限公司 | Obstacle detection method and device for port automatic driving scene |
CN110907928B (en) * | 2019-11-20 | 2020-08-18 | 福瑞泰克智能系统有限公司 | Target object position determining method and device, electronic equipment and storage medium |
CN110940997B (en) * | 2019-11-20 | 2021-02-26 | 北京踏歌智行科技有限公司 | Laser radar system for unmanned vehicle |
CN110940997A (en) * | 2019-11-20 | 2020-03-31 | 北京踏歌智行科技有限公司 | Laser radar system for unmanned vehicle |
CN110907928A (en) * | 2019-11-20 | 2020-03-24 | 福瑞泰克智能系统有限公司 | Target object position determining method and device, electronic equipment and storage medium |
CN111016859A (en) * | 2019-12-20 | 2020-04-17 | 南京泰晟科技实业有限公司 | Vehicle emergency brake protection system and method |
CN111016859B (en) * | 2019-12-20 | 2021-12-10 | 南京泰晟科技实业有限公司 | Vehicle emergency brake protection system and method |
CN110824469B (en) * | 2020-01-09 | 2020-05-05 | 南京泰晟科技实业有限公司 | Lane deviation detection device and deviation correction judgment method |
CN110824469A (en) * | 2020-01-09 | 2020-02-21 | 南京泰晟科技实业有限公司 | Lane deviation detection device and deviation correction judgment method |
CN113002396A (en) * | 2020-04-14 | 2021-06-22 | 青岛慧拓智能机器有限公司 | A environmental perception system and mining vehicle for automatic driving mining vehicle |
JP2021195018A (en) * | 2020-06-15 | 2021-12-27 | 株式会社日立製作所 | Sensor recognition integration device |
WO2021256032A1 (en) * | 2020-06-15 | 2021-12-23 | 株式会社日立製作所 | Sensor recognition integration device |
JP7432447B2 (en) | 2020-06-15 | 2024-02-16 | 日立Astemo株式会社 | Sensor recognition integration device |
CN113030976A (en) * | 2021-03-10 | 2021-06-25 | 奥特酷智能科技(南京)有限公司 | Method for eliminating interference of metal well lid on millimeter wave radar by using laser radar |
CN113702967A (en) * | 2021-09-24 | 2021-11-26 | 中国北方车辆研究所 | Vehicle target guiding and tracking method of ground unmanned platform and vehicle-mounted system |
CN113702967B (en) * | 2021-09-24 | 2023-07-28 | 中国北方车辆研究所 | Method for identifying and tracking guided vehicle target of ground unmanned platform and vehicle-mounted system |
CN114093165A (en) * | 2021-11-17 | 2022-02-25 | 山东大学 | Roadside laser radar-based vehicle-pedestrian conflict automatic identification method |
Also Published As
Publication number | Publication date |
---|---|
JP6747269B2 (en) | 2020-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6747269B2 (en) | Object recognition device | |
KR102483649B1 (en) | Vehicle localization method and vehicle localization apparatus | |
KR102558055B1 (en) | Suboptimal estimation method | |
US10572744B2 (en) | Systems and methods for detecting an object | |
JP6666075B2 (en) | Method and apparatus for determining a lane identifier of a road | |
JP7074438B2 (en) | Vehicle position estimation device | |
US8452103B2 (en) | Scene matching reference data generation system and position measurement system | |
US8510027B2 (en) | Method for judging vehicle traveling position and vehicle traveling position judgment device | |
JP5747787B2 (en) | Lane recognition device | |
JP6464783B2 (en) | Object detection device | |
RU2742213C1 (en) | Method to control information on lanes, method of traffic control and device for control of information on lanes | |
US11719555B2 (en) | Map information system | |
JP2008123462A (en) | Object detector | |
JP6520740B2 (en) | Object detection method, object detection device, and program | |
JP2018048949A (en) | Object recognition device | |
JP2019108116A (en) | Device and method for controlling speed of vehicle in longitudinal direction | |
JP3666332B2 (en) | Pedestrian detection device | |
US10796167B2 (en) | Periphery recognition device | |
JP6690510B2 (en) | Object recognition device | |
JP2015069287A (en) | Own vehicle position recognition device | |
CN109195849B (en) | Image pickup apparatus | |
US20230117253A1 (en) | Ego motion-based online calibration between coordinate systems | |
US11920936B2 (en) | Vehicle controller, and method and computer program for controlling vehicle | |
JP2020057146A (en) | Traveling lane estimation device, traveling lane estimation method, and control program | |
US11885640B2 (en) | Map generation device and map generation method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190123 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200720 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6747269 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |