JP2018092483A - Object recognition device - Google Patents

Object recognition device Download PDF

Info

Publication number
JP2018092483A
JP2018092483A JP2016236902A JP2016236902A JP2018092483A JP 2018092483 A JP2018092483 A JP 2018092483A JP 2016236902 A JP2016236902 A JP 2016236902A JP 2016236902 A JP2016236902 A JP 2016236902A JP 2018092483 A JP2018092483 A JP 2018092483A
Authority
JP
Japan
Prior art keywords
target
lane
rider
area
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016236902A
Other languages
Japanese (ja)
Other versions
JP6747269B2 (en
Inventor
照元 小森
Terumoto Komori
照元 小森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2016236902A priority Critical patent/JP6747269B2/en
Publication of JP2018092483A publication Critical patent/JP2018092483A/en
Application granted granted Critical
Publication of JP6747269B2 publication Critical patent/JP6747269B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an object recognition device capable of reducing an erroneous detection of a target of a roadside object as a target within a lane of a preceding vehicle or the like.SOLUTION: A control device (object recognition device) of an automatic driving system 1 detects an object existing in the vicinity of the own vehicle by a LIDAR (Laser Imaging Detection Ranging) and also by a millimeter wave radar. A lane marker adjacent to a road boundary is recognized, and a LIDAR's target detected by the LIDAR is narrowed down to an area inside the lane boundary line. Then, only when the radar's target detected by the millimeter wave radar overlaps an in-lane region of the LIDAR's target, it is determined that an object specified by the in-lane region of the LIDAR's target and the radar's target is an object located in the lane.SELECTED DRAWING: Figure 1

Description

本発明は、自動運転システムに用いて好適な物体認識装置に関する。   The present invention relates to an object recognition apparatus suitable for use in an automatic driving system.

特許文献1には、画像センサによる情報に基づいて検出された画像物標と、レーダーによる情報に基づいて検出されたレーダー物標とを照合し、同一であるならばフュージョン物標として出力する方法が開示されている。   Patent Document 1 discloses a method in which an image target detected based on information from an image sensor and a radar target detected based on information from a radar are collated and output as a fusion target if they are identical. Is disclosed.

特開2006−266927号公報JP 2006-266927 A

物体認識装置による検出対象には、道路壁やガードレール等の路側物が含まれる。路側物を検出することによって、道路境界の位置と形状を認識することができる。ところが、道路壁やガードレールの継ぎ目や、ガードレールに被さる草等、実際に画像センサで捉えられる道路境界は複雑である。このため、画像センサによる情報に基づいて路側物を物標化したとき、物標の位置と範囲とを表す物標枠が車線境界線を越えて車線内にはみ出してしまう場合がある。   The objects to be detected by the object recognition device include roadside objects such as road walls and guardrails. By detecting the roadside object, the position and shape of the road boundary can be recognized. However, road boundaries that are actually captured by the image sensor, such as road walls and joints between guardrails and grass covering guardrails, are complex. For this reason, when a roadside object is converted into a target based on information from the image sensor, a target frame that represents the position and range of the target may protrude beyond the lane boundary line into the lane.

また、このような問題は、物体の検出に画像センサを用いる場合に限ったものではない。ライダー(LIDAR:Laser Imaging Detection and Ranging)を用いて自車両の周辺に存在する物体を検出する場合にも起こりうる問題である。ライダーによれば、レーザー光によるスキャンを水平方向及び垂直方向に行うことで、自車両の周辺に存在する物体の位置と形状とを測定することができる。しかし、道路境界の複雑な形状の影響や、ノイズの影響によって、車線境界線の外にある路側物であるにも関わらず、物標枠が車線境界線を跨ぐように物標化が行われてしまう場合がある。路側物の物標が先行車のような車線内の物標として誤検出されてしまうと、自動運転システムによる車両の制御に悪影響を与えてしまうおそれがある。   Such a problem is not limited to the case where an image sensor is used to detect an object. This is also a problem that may occur when an object existing around the host vehicle is detected using a rider (LIDAR: Laser Imaging Detection and Ranging). According to the rider, it is possible to measure the position and shape of an object existing around the host vehicle by performing scanning with a laser beam in the horizontal direction and the vertical direction. However, due to the influence of the complicated shape of the road boundary and the influence of noise, the target frame is set so that the target frame crosses the lane boundary line even though it is a roadside object outside the lane boundary line. May end up. If a roadside target is erroneously detected as a target in a lane such as a preceding vehicle, the control of the vehicle by the automatic driving system may be adversely affected.

本発明は、上述のような課題に鑑みてなされたものであり、路側物の物標を車線内の物標として誤検出することを低減することができる物体認識装置を提供することを目的とする。   The present invention has been made in view of the above-described problems, and an object thereof is to provide an object recognition device that can reduce erroneous detection of a roadside target as a target in a lane. To do.

上記の目的を達成するため、本発明に係る物体認識装置は、
自車両の周辺に存在する物体の位置と形状とを測定する第1センサによって第1物標を検出する第1物標検出手段と、
前記自車両の周辺に存在する物体の位置を測定する第2センサによって第2物標を検出する第2物標検出手段と、
道路境界に隣接する車線境界線を認識する車線境界線認識手段と、
前記第1物標と前記車線境界線との位置関係に基づいて、前記第1物標のうち前記車線境界線の内側に入っている車線内領域を抽出する車線内領域抽出手段と、
前記第2物標が前記車線内領域に重なる場合、前記第2物標と前記車線内領域とで特定される物体は前記車線境界線の内側にある物体であると判定する判定手段と、
を備えることを特徴とする。
In order to achieve the above object, an object recognition apparatus according to the present invention includes:
First target detecting means for detecting a first target by a first sensor that measures the position and shape of an object existing around the host vehicle;
Second target detection means for detecting a second target by a second sensor for measuring the position of an object existing around the host vehicle;
Lane boundary recognition means for recognizing a lane boundary adjacent to a road boundary;
Based on the positional relationship between the first target and the lane boundary line, a lane area extraction means for extracting a lane area that is inside the lane boundary line of the first target;
When the second target overlaps the lane area, a determination unit that determines that the object specified by the second target and the lane area is an object inside the lane boundary line;
It is characterized by providing.

本発明に係る物体認識装置によれば、物体の位置及び形状を測定する第1センサによって検出された第1物標が、車線境界線の外側の物体であるにも関わらず車線内にはみ出した形状で物標化されものであったとしても、第1物標の範囲を車線境界線の内側の領域に絞りこみ、この絞り込んだ範囲に対して第2センサによって検出された第2物標を照合することで、当該物体を車線境界線の内側の物体と誤検出することは抑えられる。   According to the object recognition device of the present invention, the first target detected by the first sensor that measures the position and shape of the object protrudes into the lane even though it is an object outside the lane boundary. Even if the target is a shape, the range of the first target is narrowed down to the area inside the lane boundary, and the second target detected by the second sensor is selected for the narrowed range. By collating, erroneous detection of the object as an object inside the lane boundary line can be suppressed.

実施の形態1の自動運転システムの構成を示すブロック図である。1 is a block diagram showing a configuration of an automatic driving system according to a first embodiment. 実施の形態1の車線内外領域判定部の機能を示すフローチャートである。3 is a flowchart illustrating a function of a lane in / outside area determination unit according to the first embodiment. 実施の形態1の車線内外領域判定部による交差位置検出の方法について説明する図である。6 is a diagram illustrating a method of detecting an intersection position by a lane in / outside area determination unit according to Embodiment 1. FIG. 実施の形態1の車線内外領域判定部による車線内領域抽出の方法について説明する図である。6 is a diagram for explaining a method for extracting an in-lane region by an in-and-outside region determining unit according to Embodiment 1. FIG. 実施の形態1の整合性判定部の機能を示すフローチャートである。3 is a flowchart illustrating functions of a consistency determination unit according to the first embodiment. 実施の形態1の整合性判定部による対応付けの方法について説明する図である。FIG. 10 is a diagram for explaining a correspondence method by a consistency determination unit according to the first embodiment. 実施の形態1の整合性判定部による整合性判断の方法について説明する図である。6 is a diagram for describing a consistency determination method by a consistency determination unit according to Embodiment 1. FIG. 実施の形態1の物体認識処理の効果について説明する図である。FIG. 10 is a diagram for explaining the effect of the object recognition process of the first embodiment. 実施の形態1の物体認識処理の比較例に対する利点について説明する図である。FIG. 10 is a diagram for describing advantages over the comparative example of the object recognition process of the first embodiment. 実施の形態1の物体認識処理の比較例に対する利点について説明する図である。FIG. 10 is a diagram for describing advantages over the comparative example of the object recognition processing according to the first embodiment. 実施の形態2の車線内外領域判定部の機能を示すフローチャートである。6 is a flowchart illustrating functions of a lane in / outside area determination unit according to a second embodiment. 実施の形態2の車線内外領域判定部による車線内領域合成の方法について説明する図である。FIG. 10 is a diagram for explaining a method of lane area synthesis by a lane in / outside area determination unit according to the second embodiment. 実施の形態3の整合性判定部の機能を示すフローチャートである。10 is a flowchart illustrating functions of a consistency determination unit according to the third embodiment. 実施の形態4の車線内外領域判定部の機能を示すフローチャートである。10 is a flowchart illustrating functions of a lane in / outside area determination unit according to a fourth embodiment. 実施の形態4の車線内外領域判定部による候補限定の方法について説明する図である。It is a figure explaining the candidate limitation method by the lane inside / outside area determination part of Embodiment 4. FIG.

以下、図面を参照して本発明の実施の形態について説明する。ただし、以下に示す実施の形態において各要素の個数、数量、量、範囲等の数に言及した場合、特に明示した場合や原理的に明らかにその数に特定される場合を除いて、その言及した数に、この発明が限定されるものではない。また、以下に示す実施の形態において説明する構造は、特に明示した場合や明らかに原理的にそれに特定される場合を除いて、この発明に必ずしも必須のものではない。   Embodiments of the present invention will be described below with reference to the drawings. However, in the embodiment shown below, when referring to the number of each element, quantity, quantity, range, etc., unless otherwise specified or clearly specified in principle, the reference However, the present invention is not limited to these numbers. Further, the structures described in the embodiments described below are not necessarily essential to the present invention unless otherwise specified or clearly specified in principle.

実施の形態1
図1は、実施の形態に係る自動運転システムの構成を示す図である。自動運転システムは、それが搭載される車両の自動運転を実行する。自動運転システム1は、物体認識装置として機能する制御装置10と自律認識センサとを備える。自律認識センサには、ライダー2、ミリ波レーダー3、及びステレオカメラ4が含まれる。これらの自律認識センサは、直接、或いは、車両内に構築されたCAN(Controller Area Network)等の通信ネットワークを介して制御装置10に接続されている。制御装置10は、自律認識センサで得られた物体情報より、車両の略全周囲の状況を把握することができる。
Embodiment 1
FIG. 1 is a diagram illustrating a configuration of an automatic driving system according to an embodiment. The automatic driving system performs automatic driving of a vehicle on which the automatic driving system is mounted. The automatic driving system 1 includes a control device 10 that functions as an object recognition device and an autonomous recognition sensor. The autonomous recognition sensor includes a rider 2, a millimeter wave radar 3, and a stereo camera 4. These autonomous recognition sensors are connected to the control device 10 directly or via a communication network such as a CAN (Controller Area Network) built in the vehicle. The control device 10 can grasp the situation of substantially the entire periphery of the vehicle from the object information obtained by the autonomous recognition sensor.

自動運転システム1は、さらに、GPS(Global Positioning System)受信機5、地図データベース6、ナビゲーションシステム7、HMI(Human Machine Interface)8及びアクチュエータ9を備える。GPS受信機5は、GPS衛星が発信する信号に基づいて自車両の位置を示す位置情報を取得する手段である。地図データベース6は、例えば、車両に搭載されたHDDやSSD等のストレージ内に形成されている。地図データベース6が有する地図情報には、道路の位置情報、道路形状の情報、交差点及び分岐点の位置情報、道路の車線情報等が含まれる。ナビゲーションシステム7は、GPS受信機5によって測定された自車両の位置情報と地図データベース6の地図情報とに基づいて、自車両の走行するルートを算出し、算出したルートの情報をHMI8を介して運転者に伝達するとともに、制御装置10へ出力する。HMI8は、乗員と制御装置10との間で情報の出力及び入力をするためのインターフェイスである。アクチュエータ9は、制御装置10からの操作信号に応じて動作し、その動作によって車両の走行状態を変化させる装置である。アクチュエータ9は、例えば、駆動系、制動系、操舵系のそれぞれに設けられている。これら以外にも、例えば、車速センサや加速度センサ等の自車両の走行状態に関する情報を得るための内部センサが自動運転システム1には備えられる。   The automatic driving system 1 further includes a GPS (Global Positioning System) receiver 5, a map database 6, a navigation system 7, an HMI (Human Machine Interface) 8, and an actuator 9. The GPS receiver 5 is means for acquiring position information indicating the position of the host vehicle based on a signal transmitted from a GPS satellite. The map database 6 is formed in a storage such as an HDD or an SSD mounted on the vehicle, for example. The map information included in the map database 6 includes road position information, road shape information, intersection and branch point position information, road lane information, and the like. The navigation system 7 calculates the route traveled by the host vehicle based on the position information of the host vehicle measured by the GPS receiver 5 and the map information in the map database 6, and the calculated route information is transmitted via the HMI 8. While transmitting to a driver | operator, it outputs to the control apparatus 10. The HMI 8 is an interface for outputting and inputting information between the occupant and the control device 10. The actuator 9 is a device that operates according to an operation signal from the control device 10 and changes the traveling state of the vehicle by the operation. The actuator 9 is provided in each of a drive system, a braking system, and a steering system, for example. In addition to these, the automatic driving system 1 is provided with an internal sensor for obtaining information on the traveling state of the host vehicle, such as a vehicle speed sensor and an acceleration sensor.

制御装置10は、少なくとも1つのCPU、少なくとも1つのROM、少なくとも1つのRAMを有するECU(Electronic Control Unit)である。ROMには、自動運転のための各種のプログラムやマップを含む各種のデータが記憶されている。ROMに記憶されているプログラムがRAMにロードされ、CPUで実行されることで、制御装置10には様々な機能が実現される。なお、制御装置10は、複数のECUから構成されていてもよい。   The control device 10 is an ECU (Electronic Control Unit) having at least one CPU, at least one ROM, and at least one RAM. The ROM stores various types of data including various programs and maps for automatic operation. Various functions are realized in the control device 10 by loading a program stored in the ROM into the RAM and executing it by the CPU. In addition, the control apparatus 10 may be comprised from several ECU.

図1には、制御装置10が有する自動運転のための機能のうち、特に、物体認識に関係する機能がブロックで表現されている。制御装置10が有する自動運転のためのその他の機能についての図示は省略されている。   In FIG. 1, among the functions for automatic driving that the control device 10 has, in particular, functions related to object recognition are represented by blocks. The illustration of other functions for automatic operation of the control device 10 is omitted.

制御装置10は、自車両の周辺に存在する物体を認識し、車線内に位置する物体と車線外に位置する物体とを判別する機能を有する。この機能は、制御装置10が備える走路推定部11、第1物標検出部12、第2物標検出部13、車線内外領域判定部14、及び整合性判定部15により実現される。詳しくは後述するが、走路推定部11は本発明に係る車線境界線認識手段に相当し、第1物標検出部12は本発明に係る第1物標検出手段に相当し、第2物標検出部13は本発明に係る第2物標検出手段に相当し、車線内外領域判定部14は本発明に係る車線内領域抽出手段に相当し、整合性判定部15は本発明に係る判定手段に相当する。これらの部11,12,13,14,15は、制御装置10内にハードウェアとして存在するものではなく、ROMに記憶されたプログラムがCPUで実行されたときにソフトウェア的に実現される。   The control device 10 has a function of recognizing an object existing in the vicinity of the host vehicle and discriminating between an object located in the lane and an object located outside the lane. This function is realized by the runway estimation unit 11, the first target detection unit 12, the second target detection unit 13, the lane inside / outside region determination unit 14, and the consistency determination unit 15 that the control device 10 includes. As will be described in detail later, the lane estimation unit 11 corresponds to the lane boundary recognition unit according to the present invention, the first target detection unit 12 corresponds to the first target detection unit according to the present invention, and the second target. The detection unit 13 corresponds to a second target detection unit according to the present invention, the lane inside / outside region determination unit 14 corresponds to a lane region extraction unit according to the present invention, and the consistency determination unit 15 includes a determination unit according to the present invention. It corresponds to. These units 11, 12, 13, 14, and 15 do not exist as hardware in the control device 10, but are realized by software when a program stored in the ROM is executed by the CPU.

走路推定部11は、GPS受信機5が受信したGPS信号より自車両の位置及び姿勢を推定する。そして、推定した自車両の位置及び姿勢に基づいて、自車両の周辺の地図データを地図データベース6から検索する。地図データには、走路に関する情報、詳しくは、車線を区画する車線境界線の位置及び形状に関する情報が含まれている。走路推定部11は、自車両の周辺の車線境界線の位置及び形状をGPS座標系から自車両を中心とする基準座標系へ座標する。これにより、自車両に対する各車線境界線の位置と各車線境界線の形状とが推定される。   The travel path estimation unit 11 estimates the position and posture of the host vehicle from the GPS signal received by the GPS receiver 5. Based on the estimated position and orientation of the host vehicle, map data around the host vehicle is searched from the map database 6. The map data includes information on the running road, specifically, information on the position and shape of the lane boundary line that divides the lane. The runway estimation unit 11 coordinates the position and shape of the lane boundary line around the host vehicle from the GPS coordinate system to a reference coordinate system centered on the host vehicle. Thereby, the position of each lane boundary line with respect to the host vehicle and the shape of each lane boundary line are estimated.

第1物標検出部12は、自車両周辺の物体の測距データを第1センサとしてのライダー2により取得する。ライダー2により取得される測距データには、ライダー2から測距点までの距離に関する情報、測距点の高さに関する情報、及び測距点の方向に関する情報が含まれる。第1物標検出部12は、取得した測距データをクラスタリングする。クラスタリングは、基準座標系上での各測距点の位置と高さとに基づいて行われる。また、前回フレームでのクラスタリングの結果との連続性を保つように行われる。クラスタリングの具体的な方法には特に限定はなく、公知のクラスタリング方法を用いることができる。クラスタリングされた測距点群は、基準座標系において長方形の物標枠で囲まれて1つの物標とされる。以下、この物標をライダー物標、或いは、第1物標という。   The first target detection unit 12 acquires distance measurement data of an object around the host vehicle by the rider 2 as a first sensor. The distance measurement data acquired by the rider 2 includes information regarding the distance from the rider 2 to the distance measurement point, information regarding the height of the distance measurement point, and information regarding the direction of the distance measurement point. The first target detection unit 12 clusters the acquired distance measurement data. Clustering is performed based on the position and height of each distance measuring point on the reference coordinate system. Further, it is performed so as to maintain continuity with the result of clustering in the previous frame. The specific method of clustering is not particularly limited, and a known clustering method can be used. The clustered distance measuring point group is surrounded by a rectangular target frame in the reference coordinate system to form one target. Hereinafter, this target is referred to as a rider target or a first target.

第2物標検出部13は、自車両周辺の物体の測距データを第2センサとしてのミリ波レーダー3により取得する。ミリ波レーダー3により取得される測距データには、ミリ波レーダー3から測距点までの距離に関する情報と、測距点の方向に関する情報が含まれる。ミリ波レーダー3による物体検出では、反射したミリ波を受信できた場合に物体を検出したことになる。反射したミリ波を受信する毎に1個の物標が得られる。以下、この物標をレーダー物標、或いは、第2物標という。前述のライダー物標は、位置と形状に関する情報を有する物標であるのに対し、レーダー物標は、位置に関する情報のみを有する物標である。   The second target detection unit 13 acquires distance measurement data of an object around the host vehicle by the millimeter wave radar 3 as a second sensor. The distance measurement data acquired by the millimeter wave radar 3 includes information regarding the distance from the millimeter wave radar 3 to the distance measurement point and information regarding the direction of the distance measurement point. In the object detection by the millimeter wave radar 3, the object is detected when the reflected millimeter wave can be received. Each time a reflected millimeter wave is received, one target is obtained. Hereinafter, this target is referred to as a radar target or a second target. The aforementioned rider target is a target having information on the position and shape, whereas the radar target is a target having only information on the position.

車線内外領域判定部14には、走路推定部11で推定された各車線境界線の位置及び形状と、第1物標検出部12で検出されたライダー物標の位置及び形状とが入力される。車線内外領域判定部14は、各車線境界線の位置及び形状とライダー物標の位置及び形状とに基づいて、ライダー物標のうちのどの領域が車線境界線の内側の領域で、どの領域が車線境界線の外側の領域かを判定する。ここで、車線内外領域判定部14が有する機能をフローチャートにて表すと図2のようになる。図2に示すように、車線内外領域判定部14は、最初の処理として交差位置検出を行い、次の処理として車線内領域抽出を行う。以下、各処理の詳細について図を参照して説明する。   The position and shape of each lane boundary estimated by the lane estimation unit 11 and the position and shape of the rider target detected by the first target detection unit 12 are input to the lane inside / outside region determination unit 14. . Based on the position and shape of each lane boundary line and the position and shape of the rider target, the lane inside / outside area determination unit 14 determines which area of the rider target is an area inside the lane boundary and which area is It is determined whether the area is outside the lane boundary. Here, when the function which the lane inside / outside area | region determination part 14 has is represented with a flowchart, it will become like FIG. As shown in FIG. 2, the lane in / outside area determination unit 14 performs intersection position detection as the first process, and performs lane area extraction as the next process. Details of each process will be described below with reference to the drawings.

図3は、車線内外領域判定部14による交差位置検出の方法について説明する図である。図3には、車線を形成する一対の車線境界線、2つのライダー物標、及び、2つのレーダー物標が自車両を中心とする基準座標系で描かれている。ここでは、自車両が走行する道路は1車線道路であって、一対の車線境界線の両側に道路境界が接しているとする。交差位置検出処理では、道路境界に隣接する車線境界線(図3では両方の車線境界線)と、ライダー物標の枠線との交差位置が検出される。ライダー物標が車線境界線を跨ぐ場合、交差位置はライダー物標ごとに2点存在する。なお、交差位置検出処理では、車線境界線の内側にマージンをとって判定用の境界線(図3において破線で示す曲線)を引き、判定用の境界線とライダー物標との交差位置を検出するようにしてもよい。   FIG. 3 is a diagram for explaining a method of detecting an intersection position by the lane in / outside area determination unit 14. In FIG. 3, a pair of lane boundary lines that form a lane, two rider targets, and two radar targets are drawn in a reference coordinate system centered on the subject vehicle. Here, it is assumed that the road on which the vehicle travels is a one-lane road, and the road boundary is in contact with both sides of the pair of lane boundary lines. In the intersection position detection process, the intersection position between the lane boundary line adjacent to the road boundary (both lane boundary lines in FIG. 3) and the frame line of the rider target is detected. When the rider target crosses the lane boundary line, there are two intersection positions for each rider target. In the intersection position detection process, a margin is drawn on the inner side of the lane boundary line, and a boundary line for determination (curved line in FIG. 3) is drawn to detect the intersection position of the boundary line for determination and the rider target. You may make it do.

図4は、車線内外領域判定部14による車線内領域抽出の方法について説明する図である。車線内領域抽出処理では、交差位置検出処理で検出された交差位置でライダー物標が2つに分割され、車線内に入っている側の領域が抽出される。具体的には、図4に矢印で示すように、一方の交差位置からライダー物標の枠線に沿って所定方向(例えば時計回り方向)に進み、他方の交差位置が探索される。他方の交差位置が探索されたら、2つの交位置を結ぶ線分によって閉領域を形成する。図4に点線で示す閉領域のように、全ての頂点が車線内にある領域が車線内領域として抽出される。なお、前述のようにマージンをとるのであれば、車線境界線の外側の領域を内側の領域と誤判定することを防止すべく、期待される車線境界線の推定精度が低いほどマージンを大きくしてもよい。   FIG. 4 is a diagram for explaining a method of extracting the in-lane area by the in-and-outside area determining unit 14. In the lane region extraction process, the rider target is divided into two at the intersection position detected in the intersection position detection process, and the region on the side that is in the lane is extracted. Specifically, as indicated by an arrow in FIG. 4, the vehicle proceeds in a predetermined direction (for example, clockwise direction) from one intersection position along the border line of the rider target, and the other intersection position is searched. When the other intersection position is searched, a closed region is formed by a line segment connecting the two intersection positions. A region where all the vertices are in the lane, such as a closed region indicated by a dotted line in FIG. 4, is extracted as the lane region. If the margin is to be taken as described above, the margin is increased as the expected accuracy of the lane boundary is lower in order to prevent the area outside the lane boundary from being erroneously determined as the inner area. May be.

第1物標検出部12で複数のライダー物標が検出された場合、車線内外領域判定部14は、上述の交差位置検出処理と車線内領域抽出をそれぞれのライダー物標に対して実行する。これにより、各ライダー物標について車線内領域が抽出される。なお、ライダー物標の全ての領域が車線境界線の内側に入っている場合、そのライダー物標の全体が車線内領域として抽出される。   When a plurality of rider targets are detected by the first target detection unit 12, the lane in / outside region determination unit 14 performs the above-described intersection position detection process and lane region extraction for each rider target. Thereby, the lane area is extracted for each rider target. In addition, when all the regions of the rider target are inside the lane boundary line, the entire rider target is extracted as the lane region.

整合性判定部15には、車線内外領域判定部14で抽出されたライダー物標の車線内領域の位置及び形状と、第2物標検出部13で検出されたレーダー物標の位置及び形状とが入力される。整合性判定部15は、ライダー物標の車線内領域の位置及び形状とレーダー物標の位置及び形状とに基づいて、2種類の物標、つまり、レーダー物標とライダー物標との整合性について判定する。ここで、車線内外領域判定部14が有する機能をフローチャートにて表すと図5のようになる。図5に示すように、整合性判定部15は、最初の処理として対応付けを行い、次の処理として整合性判断を行う。以下、各処理の詳細について図を参照して説明する。   The consistency determination unit 15 includes the position and shape of the in-lane region of the rider target extracted by the lane inside / outside region determination unit 14 and the position and shape of the radar target detected by the second target detection unit 13. Is entered. The consistency determination unit 15 determines the consistency between two types of targets, that is, the radar target and the rider target, based on the position and shape of the lane area of the rider target and the position and shape of the radar target. Judge about. Here, when the function which the lane inside / outside area | region determination part 14 has is represented with a flowchart, it will become like FIG. As shown in FIG. 5, the consistency determination unit 15 performs association as the first process, and performs consistency determination as the next process. Details of each process will be described below with reference to the drawings.

図6は、整合性判定部15による対応付けの方法について説明する図である。対応付け処理では、ライダー物標の車線内領域とレーダー物標との対応付けが行われる。あるライダー物標の車線内領域の中にあるレーダー物標が入る場合、“両者は同一物として対応付く”といい、あるライダー物標の車線内領域の中にあるレーダー物標が入らない場合、“両者は同一物として対応付かない”という。図6に示す例では、左側のライダー物標の車線内領域LAの中に左側のレーダー物標RAは入っていないため、車線内領域LAと左側のレーダー物標RAとは同一物として対応付かない。一方、右側のライダー物標の車線内領域LBの中には右側のレーダー物標RBが入っているため、車線内領域LBと左側のレーダー物標RBとは同一物として対応付く。なお、対応付け処理では、ライダー物標の車線内領域の内側にマージンをとり、マージンの分だけ車線内領域よりも限縮した領域とライダー物標との対応付けを行ってもよい。   FIG. 6 is a diagram for explaining a matching method by the consistency determination unit 15. In the association process, the in-lane area of the rider target is associated with the radar target. When a radar target in the lane area of a certain rider target enters, it is said that “both correspond as the same object”, and a radar target in the lane area of a certain rider target does not enter , “They do not correspond as the same thing”. In the example shown in FIG. 6, since the left radar target RA is not included in the lane area LA of the left rider target, the lane area LA and the left radar target RA are associated with each other as the same object. No. On the other hand, since the right radar target RB is contained in the lane region LB of the right rider target, the lane region LB and the left radar target RB are associated with each other as the same object. In the association processing, a margin may be provided inside the lane area of the rider target, and the area that is limited by the margin and the area limited to the lane area may be associated with the rider target.

図7は、整合性判定部15による整合性判断の方法について説明する図である。整合性判断処理では、ライダー物標の車線内領域のうち、レーダー物標と対応付いたもののみが抽出される。整合性判断処理により抽出されたライダー物標の車線内領域は、レーダー物標によって二重化されたフュージョン物標であって、自動運転のための最終的な物標として出力される。抽出されたライダー物標の車線内領域の位置は最終的な物標の位置となり、抽出されたライダー物標の車線内領域の形状(図7に示す例では点線で囲まれた範囲の形状)は、最終的な物標の形状となる。   FIG. 7 is a diagram illustrating a method for determining consistency by the consistency determining unit 15. In the consistency determination process, only the area corresponding to the radar target is extracted from the lane area of the rider target. The lane area of the rider target extracted by the consistency determination process is a fusion target duplicated by the radar target, and is output as a final target for automatic driving. The position of the extracted rider target area in the lane becomes the final target position, and the shape of the extracted rider target area in the lane (in the example shown in FIG. 7, the shape of the range surrounded by the dotted line). Is the final target shape.

整合性判断処理では、レーダー物標と対応付かなかったライダー物標の車線内領域については、最終的な物標としては出力されない。つまり、ライダー2によって車線内に物標が検出されたとしても、それがレーダー3の検出結果によって裏付けされないのであれば、自動運転のための最終的な物標としては用いられない。   In the consistency determination process, the area in the lane of the rider target that has not been associated with the radar target is not output as the final target. That is, even if a target is detected in the lane by the rider 2, it is not used as a final target for automatic driving if it is not supported by the detection result of the radar 3.

上記の機能を有する各部11,12,13,14,15を備えたことにより、制御装置10は物体認識装置として機能する。物体認識装置としての制御装置10は、ライダー2によって検出したライダー物標を車線境界線の内側の領域に絞込み、ミリ波レーダー3によって検出したレーダー物標がライダー物標の車線内領域に重なる場合のみ、ライダー物標の車線内領域とレーダー物標とで特定される物体は車線内物体であると判定する。   Since the respective units 11, 12, 13, 14, and 15 having the above functions are provided, the control device 10 functions as an object recognition device. The control device 10 as the object recognition device narrows down the rider target detected by the rider 2 to the area inside the lane boundary, and the radar target detected by the millimeter wave radar 3 overlaps the lane area of the rider target. Only the object specified by the lane area of the rider target and the radar target is determined to be an object in the lane.

道路境界を形成する路側物をライダー2の測距データに基づいて物標化したとき、図8(a)に示すように、路側物であるはずのライダー物標が車線境界線を跨いで車線内にはみ出してしまう場合がある。しかし、制御装置10による物体認識処理によれば、図8(b)に示すように、ライダー物標の範囲が車線境界線の内側の領域に絞り込まれる。そして、この絞り込んだ範囲に対してミリ波レーダー3によって検出されたレーダー物標が照合される。レーダー物標によって二重化できなかったライダー物標の車線内領域は、フュージョン物標としては成立しない。このため、当該路側物を車線境界線の内側の物体として誤検出してしまうことは抑えられる。   When the roadside object that forms the road boundary is converted into a target based on the distance measurement data of the rider 2, as shown in FIG. 8A, the rider target that should be a roadside object crosses the lane boundary line. It may stick out inside. However, according to the object recognition process by the control device 10, as shown in FIG. 8B, the range of the rider target is narrowed down to a region inside the lane boundary line. Then, the radar target detected by the millimeter wave radar 3 is collated with the narrowed range. The lane area of the rider target that could not be duplicated by the radar target is not established as a fusion target. For this reason, erroneous detection of the roadside object as an object inside the lane boundary line can be suppressed.

なお、誤検出を抑えるためのデータ処理の方法として、ライダー2の測距データのうち車線境界線の外側で得られた測距データを予め除去する方法(以下、比較例の方法という)が考えられる。図9に示す例では、ライダー2により検出された測距点(図9中に黒丸で示す点)をクラスタリングすることによって、AからEまでの5つのライダー物標が得られている。このうち車線内の物体に対応する物標はライダー物標Bのみである。車線境界線の外側で検出された測距点を除去し、クラスタリングの対象を車線境界線の内側の測距点に絞り込むことにより、目当てとするライダー物標Bのみを得ることができる。しかし、比較例の方法では、全ての測距点について車線境界線の内側か外側かを判定せねばならないため、必要な計算処理量は多大であり制御装置には大きな負荷がかかる。これに対して、実施の形態1の物体認識処理によれば、測距点を絞り込む前に物標化をすることによって、車線境界線の内側か外側かを判定せねばならないデータ数は大幅に少なくなる。ゆえに、本実施の形態に係る物体認識処理の方法は、計算処理量を減らして制御装置の演算負荷を抑えることができる点において、比較例の方法よりも優位である。   As a data processing method for suppressing false detection, a method of removing in advance the distance measurement data obtained outside the lane boundary line from the distance measurement data of the rider 2 (hereinafter referred to as a comparative example method) is considered. It is done. In the example shown in FIG. 9, five rider targets A to E are obtained by clustering the distance measuring points detected by the rider 2 (points indicated by black circles in FIG. 9). Among these, the target corresponding to the object in the lane is only the rider target B. By removing the ranging points detected outside the lane boundary line and narrowing the clustering target to the ranging points inside the lane boundary line, only the target rider target B can be obtained. However, in the method of the comparative example, since it is necessary to determine whether all the ranging points are inside or outside the lane boundary line, a large amount of calculation processing is required and a large load is imposed on the control device. On the other hand, according to the object recognition processing of the first embodiment, the number of data that must be determined inside or outside the lane boundary line is greatly increased by targeting before narrowing the distance measuring points. Less. Therefore, the object recognition processing method according to the present embodiment is superior to the method of the comparative example in that the amount of calculation processing can be reduced to reduce the calculation load of the control device.

また、比較例の方法には、車線境界線の位置の誤差の影響を受けやすいという問題がある。例えば、図10に点線で示すように車線境界線の内側にマージンをとって境界線を引いた場合、車線境界線の内側で検出された測距点も除去されてしまう。このため、図10に示す例では、ライダー物標A,C,D,Eだけでなく、目当てとするライダー物標Bも得ることができなくなってしまう。逆に、図10に一点鎖線で示すように車線境界線の外側にマージンをとって境界線を引いた場合、車線境界線の外側で検出された測距点を除去しきれない。このため、図10に示す例では、目当てとするライダー物標Bだけでなく、ライダー物標A、Dまでもが自動運転用の物標として取得されてしまう。   Further, the method of the comparative example has a problem that it is easily influenced by an error in the position of the lane boundary line. For example, when a boundary is drawn with a margin inside the lane boundary as shown by a dotted line in FIG. 10, the distance measuring points detected inside the lane boundary are also removed. For this reason, in the example shown in FIG. 10, not only the rider targets A, C, D, and E but also the rider target B that is the target cannot be obtained. On the other hand, when the boundary line is drawn with a margin outside the lane boundary line as shown by the alternate long and short dash line in FIG. 10, ranging points detected outside the lane boundary line cannot be removed. For this reason, in the example shown in FIG. 10, not only the target rider target B but also the rider targets A and D are acquired as targets for automatic driving.

比較例の方法との比較から分かるように、実施の形態1の物体認識処理の方法によれば、データを絞り込む前に物標化をすることで、目当てとする物標が消去されることを防ぐことができる。また、車線境界線とミリ波レーダー3で検出したレーダー物標とをセットで評価することで、除去すべき対象のみを除去することができる。また、車線境界線の外側に位置する物体も内側に位置する物体も、全てが物標として追跡されることから、過去の判定結果と統合することで誤差の影響が低減できるという利点もある。   As can be seen from the comparison with the method of the comparative example, according to the object recognition processing method of the first embodiment, by targeting before narrowing down the data, the target target is deleted. Can be prevented. Further, by evaluating the lane boundary line and the radar target detected by the millimeter wave radar 3 as a set, only the target to be removed can be removed. In addition, since all objects located outside and inside the lane boundary line are tracked as targets, there is an advantage that the influence of errors can be reduced by integrating with past determination results.

実施の形態2.
本実施の形態の自動運転システムは、実施の形態1の自動運転システムと同じく、図1に示す構成を有する。実施の形態2の自動運転システムと実施の形態1の自動運転システムとの相違は、車線内外領域判定部14の機能にある。
Embodiment 2. FIG.
Similar to the automatic driving system of the first embodiment, the automatic driving system of the present embodiment has the configuration shown in FIG. The difference between the automatic driving system of the second embodiment and the automatic driving system of the first embodiment is in the function of the lane inside / outside area determination unit 14.

図11は、実施の形態2の車線内外領域判定部14の機能を示すフローチャートである。図11に示すように、実施の形態2の車線内外領域判定部14は、最初の処理として交差位置検出を行い、次の処理として車線内領域抽出を行い、さらに次の処理として車線内領域合成を行う。交差位置検出処理と車線内領域抽出処理の内容は、実施の形態1のそれらの内容と同じである。ゆえに、以下、実施の形態2の特徴的処理である車線内領域合成処理の詳細について図を参照して説明する。   FIG. 11 is a flowchart illustrating the function of the lane in / outside area determination unit 14 according to the second embodiment. As shown in FIG. 11, the lane inside / outside area determination unit 14 according to the second embodiment detects the intersection position as the first process, extracts the lane area as the next process, and further combines the lane area as the next process. I do. The contents of the intersection position detection process and the lane region extraction process are the same as those of the first embodiment. Therefore, the details of the in-lane region composition process, which is a characteristic process of the second embodiment, will be described below with reference to the drawings.

図12は、実施の形態2の車線内外領域判定部14による車線内領域合成の方法について説明する図である。車線内領域合成処理では、車線内領域抽出処理によって抽出されたライダー物標の車線内領域が複数時刻について取得される。取得された複数時刻の抽出結果は重ね合わされ、その重なり度合いが計算される。具体的には、ある時刻tにおいてライダー物標の枠の中で車線内領域として抽出された領域にスコア1が与えられる。次の時刻t+1において車線内領域として抽出された領域にもスコア1が与えられる。このように、各時刻において車線内領域として抽出された領域にスコア1を与えることが所定時間にわたって続けられる。各時刻において車線内領域として抽出された領域を重ね合わせ、その領域に与えられたスコアを加算していく。これにより、ライダー物標の枠の中で車線内領域として抽出された回数の多い領域ほど合計スコアが高くなる。   FIG. 12 is a diagram for explaining a method for synthesizing the in-lane region by the in-lane / outer region determining unit 14 according to the second embodiment. In the in-lane region composition process, the in-lane region of the rider target extracted by the in-lane region extraction process is acquired for a plurality of times. The obtained extraction results at a plurality of times are overlaid, and the degree of overlap is calculated. Specifically, a score of 1 is given to an area extracted as an in-lane area within a rider target frame at a certain time t. A score of 1 is also given to the area extracted as the in-lane area at the next time t + 1. Thus, giving a score of 1 to the region extracted as the lane region at each time is continued for a predetermined time. The regions extracted as the lane region at each time are overlapped, and the score given to the region is added. As a result, the total score increases as the number of times extracted as the in-lane region in the frame of the rider target increases.

車線内領域合成処理では、一定値以上の合計スコアを有する領域が最終的な車線内領域として抽出される。例えば、図12に示す例では、合計スコアが5以上の領域が車線内領域として抽出される。車線内領域抽出処理により車線内領域として抽出される領域は、車線境界線の位置に誤差がある場合、その誤差によって形状が変化する。しかし、上記のような処理を行うことで、車線境界線の位置の誤差が車線内領域の判定に与える影響を低減することができる。   In the lane region synthesis process, a region having a total score of a certain value or more is extracted as a final lane region. For example, in the example illustrated in FIG. 12, a region having a total score of 5 or more is extracted as a lane region. If there is an error in the position of the lane boundary line, the shape of the region extracted as the lane region by the lane region extraction process changes depending on the error. However, by performing the processing as described above, it is possible to reduce the influence of the error in the position of the lane boundary line on the determination of the in-lane region.

実施の形態3.
本実施の形態の自動運転システムは、実施の形態1の自動運転システムと同じく、図1に示す構成を有する。実施の形態3の自動運転システムと実施の形態1の自動運転システムとの相違は、整合性判定部15の機能にある。
Embodiment 3 FIG.
Similar to the automatic driving system of the first embodiment, the automatic driving system of the present embodiment has the configuration shown in FIG. The difference between the automatic driving system of the third embodiment and the automatic driving system of the first embodiment is in the function of the consistency determination unit 15.

図13は、実施の形態3の整合性判定部15の機能を示すフローチャートである。図13に示すように、実施の形態3の整合性判定部15は、最初の処理として対応付けを行い、次の処理として整合性判断を行い、さらに次の処理として整合性判断統合を行う。対応付け処理と整合性判断処理の内容は、実施の形態1のそれらの内容と同じである。ゆえに、以下、実施の形態2の特徴的処理である整合性判断統合処理の詳細について説明する。   FIG. 13 is a flowchart illustrating functions of the consistency determination unit 15 according to the third embodiment. As shown in FIG. 13, the consistency determination unit 15 of the third embodiment performs association as the first process, performs consistency determination as the next process, and further performs consistency determination integration as the next process. The contents of the associating process and the consistency determining process are the same as those of the first embodiment. Therefore, details of the consistency determination integration process, which is a characteristic process of the second embodiment, will be described below.

整合性判断統合処理では、各時刻での整合性有り/無しの判断結果を統合する。具体的には、各時刻での判断結果に基づいて整合性判断の信頼度を計算し、信頼度が閾値以上の場合に自動運転のための最終的な物標として出力する。信頼度の計算の方法の一例として、ライダー物標の車線内領域のそれぞれについてレーダー物標と対応付いた回数をカウントし、レーダー物標と対応付いた回数の全判定回数に対する比率を信頼度として計算してもよい。この場合の信頼度は、比率の値が大きいほど高い。また、ライダー物標の車線内領域の重心とレーダー物標との距離を計算し、距離の平均値を信頼度として計算してもよい。この場合の信頼度は、距離の平均値が小さいほど高い。また、ライダー物標の車線内領域の重心とレーダー物標との距離を入力とする正規分布を求めて、正規分布のパラメータ(例えば標準偏差)を信頼度として計算してもよい。この場合の信頼度は、例えば標準偏差がパラメータである場合には、標準偏差が小さいほど高い。   In the consistency judgment integration process, the judgment results of consistency / non-consistency at each time are integrated. Specifically, the reliability of the consistency determination is calculated based on the determination result at each time, and when the reliability is equal to or higher than a threshold, it is output as a final target for automatic operation. As an example of the calculation method of reliability, count the number of times corresponding to the radar target for each area in the lane of the rider target, and the ratio of the number of times corresponding to the radar target to the total number of judgments as the reliability You may calculate. The reliability in this case is higher as the ratio value is larger. Alternatively, the distance between the center of gravity of the lane area of the rider target and the radar target may be calculated, and the average value of the distance may be calculated as the reliability. The reliability in this case is higher as the average value of the distance is smaller. Alternatively, a normal distribution having the distance between the center of gravity of the lane area of the rider target and the radar target as an input may be obtained, and parameters of the normal distribution (for example, standard deviation) may be calculated as the reliability. For example, when the standard deviation is a parameter, the reliability is higher as the standard deviation is smaller.

整合性判断処理による整合性有り/無しの判断結果には、車線境界線の位置の誤差が影響する。しかし、上記の整合性判断統合処理を行うことにより、車線境界線の位置の誤差の影響は低減されるので、車線内の物体か車線外の物体かの判断の精度を高めることができる。   An error in the position of the lane boundary affects the determination result of whether or not there is consistency by the consistency determination process. However, by performing the consistency determination integration process described above, the influence of the error in the position of the lane boundary line is reduced, so that the accuracy of the determination of whether the object is in the lane or the object outside the lane can be improved.

実施の形態4.
実施の形態4の自動運転システムは、実施の形態1の自動運転システムと同じく、図1に示す構成を有する。実施の形態4の自動運転システムと実施の形態1の自動運転システムとの相違は、車線内外領域判定部14の機能にある。
Embodiment 4 FIG.
Similar to the automatic driving system of the first embodiment, the automatic driving system of the fourth embodiment has the configuration shown in FIG. The difference between the automatic driving system of the fourth embodiment and the automatic driving system of the first embodiment is in the function of the lane inside / outside area determination unit 14.

図14は、実施の形態4の車線内外領域判定部14の機能を示すフローチャートである。図14に示すように、実施の形態4の車線内外領域判定部14は、最初の処理として候補限定を行い、次の処理として交差位置検出を行い、さらに次の処理として車線内領域抽出を行う。交差位置検出処理と車線内領域抽出処理の内容は、実施の形態1のそれらの内容と同じである。ゆえに、以下、実施の形態4の特徴的処理である候補限定処理の詳細について図を参照して説明する。   FIG. 14 is a flowchart illustrating the function of the lane in / outside area determination unit 14 according to the fourth embodiment. As shown in FIG. 14, the lane in / outside area determination unit 14 according to the fourth embodiment performs candidate limitation as the first process, detects the intersection position as the next process, and further extracts the lane area as the next process. . The contents of the intersection position detection process and the lane region extraction process are the same as those of the first embodiment. Therefore, details of the candidate limiting process, which is a characteristic process of the fourth embodiment, will be described below with reference to the drawings.

図15は、実施の形態4の車線内外領域判定部14による候補限定の方法について説明する図である。候補限定処理では、ライダー物標の方向と車線の方向とを比較し、車線とは方向が一致しないライダー物標を以降の処理の候補として抽出することが行われる。具体的には、図15(a)に示すように、ライダー物標の重心からの距離が最も短い車線が抽出される。ライダー物標の重心から車線までの距離とは、ライダー物標の重心から車線中心線までの最短距離を意味する。車線中心線の位置と形状は、車線を構成する一対の車線境界線の位置と形状から計算される。次に、図15(b)に示すように、ライダー物標の重心からの距離が最も短い車線に関し、車線の方向が抽出される。詳しくは、ライダー物標の重心までの距離が最短となる車線中心線上の点が特定され、その点における車線中心線の方向、つまり、その点において車線中心線に接する接線の方向が取得される。そして、図15(c)に示すように、ライダー物標の方向が取得され、ライダー物標の方向と車線の方向とがなす角度が計算される。なお、ライダー物標の方向とは、長方形で表される物標枠の長尺の方向を意味する。   FIG. 15 is a diagram for explaining a candidate limitation method by the lane in / outside area determination unit 14 according to the fourth embodiment. In the candidate limitation process, the direction of the rider target and the direction of the lane are compared, and a rider target whose direction does not coincide with the lane is extracted as a candidate for subsequent processing. Specifically, as shown in FIG. 15A, the lane having the shortest distance from the center of gravity of the rider target is extracted. The distance from the center of gravity of the rider target to the lane means the shortest distance from the center of gravity of the rider target to the lane center line. The position and shape of the lane center line are calculated from the position and shape of a pair of lane boundary lines constituting the lane. Next, as shown in FIG. 15B, the direction of the lane is extracted with respect to the lane having the shortest distance from the center of gravity of the rider target. Specifically, the point on the lane centerline that provides the shortest distance to the center of gravity of the rider target is identified, and the direction of the lane centerline at that point, that is, the direction of the tangent line that touches the lane centerline at that point is acquired. . Then, as shown in FIG. 15C, the direction of the rider target is acquired, and the angle formed by the direction of the rider target and the direction of the lane is calculated. The direction of the rider target means the long direction of the target frame represented by a rectangle.

ライダー物標が車線に沿う方向に向いていない場合、当該ライダー物標は車線境界線を跨いでいる可能性が高い。ゆえに、候補限定処理では、ライダー物標の方向と車線の方向とがなす角度が所定値以上の場合、当該ライダー物標を以降の処理の候補として抽出する。言い換えれば、車線の方向との間の角度が所定値未満となるライダー物標については、以降の処理の候補から除外する。このように処理の候補を限定することにより、計算処理量を減らして制御装置の演算負荷を抑えることができる。   If the rider target is not oriented in the direction along the lane, the rider target is likely to straddle the lane boundary. Therefore, in the candidate limitation process, if the angle formed by the direction of the rider target and the direction of the lane is greater than or equal to a predetermined value, the rider target is extracted as a candidate for subsequent processes. In other words, a rider target whose angle with the direction of the lane is less than a predetermined value is excluded from candidates for subsequent processing. By limiting the processing candidates in this way, it is possible to reduce the amount of calculation processing and suppress the calculation load of the control device.

その他実施の形態.
以上、本発明の実施の形態について説明したが、先にも述べた通り、本発明はこれらの実施の形態に限定されるものではない。例えば、自車両の周辺に存在する物体の位置と形状とを測定する第1センサは、ステレオカメラ4でもよい。車両に波長の短いミリ波レーダーが搭載されている場合には、それを第1センサとして用いてもよい。
Other embodiments.
While the embodiments of the present invention have been described above, as described above, the present invention is not limited to these embodiments. For example, the first camera that measures the position and shape of an object present around the host vehicle may be the stereo camera 4. When a millimeter wave radar having a short wavelength is mounted on the vehicle, it may be used as the first sensor.

自車両の位置及び姿勢を推定する手段は、GPS信号には限定されない。例えば、ライダー2やステレオカメラ4の出力から得られた特徴点と、地図上に登録してある看板や白線等の特徴点とを対応付けることによって自車両の位置及び姿勢を推定してもよい。   Means for estimating the position and orientation of the host vehicle are not limited to GPS signals. For example, the position and orientation of the host vehicle may be estimated by associating feature points obtained from the output of the rider 2 or the stereo camera 4 with feature points such as signs and white lines registered on the map.

車線境界線情報の取得は、地図データベース6からの取得には限定されない。例えば、ステレオカメラ4により自車両の前方を撮影し、得られた撮影画像に対する白線認識処理によって車線境界線情報を取得してもよい。   Acquisition of lane boundary information is not limited to acquisition from the map database 6. For example, the front of the host vehicle may be photographed by the stereo camera 4 and the lane boundary information may be acquired by white line recognition processing for the obtained photographed image.

なお、実施の形態3の整合性判定部15の機能は、実施の形態2の自動運転システムにも適用することができる。実施の形態4の車線内外領域判定部14の機能は、実施の形態2及び3の自動運転システムにも適用することができる。   Note that the function of the consistency determination unit 15 of the third embodiment can also be applied to the automatic driving system of the second embodiment. The function of the lane in / outside area determination unit 14 of the fourth embodiment can be applied to the automatic driving systems of the second and third embodiments.

1 自動運転システム
2 ライダー(第1センサ)
3 ミリ波レーダー(第2センサ)
4 ステレオカメラ
5 GPS受信機
6 地図データベース
7 ナビゲーションシステム
8 HMI
9 アクチュエータ
10 制御装置(物体認識装置)
11 走路推定部(車線境界線認識手段)
12 第1物標検出部(第1物標検出手段)
13 第2物標検出部(第2物標検出手段)
14 車線内外領域判定部(車線内領域抽出手段)
15 整合性判定部(判定手段)
1 Automatic driving system 2 Rider (first sensor)
3 Millimeter wave radar (second sensor)
4 Stereo camera 5 GPS receiver 6 Map database 7 Navigation system 8 HMI
9 Actuator 10 Control device (object recognition device)
11 Runway estimation unit (lane boundary recognition means)
12 1st target detection part (1st target detection means)
13 Second target detection unit (second target detection means)
14 Lane inside / outside area determination unit (lane area extracting means)
15 Consistency determination unit (determination means)

Claims (1)

自車両の周辺に存在する物体の位置と形状とを測定する第1センサによって第1物標を検出する第1物標検出手段と、
前記自車両の周辺に存在する物体の位置を測定する第2センサによって第2物標を検出する第2物標検出手段と、
道路境界に隣接する車線境界線を認識する車線境界線認識手段と、
前記第1物標と前記車線境界線との位置関係に基づいて、前記第1物標のうち前記車線境界線の内側に入っている車線内領域を抽出する車線内領域抽出手段と、
前記第2物標が前記車線内領域に重なる場合、前記第2物標と前記車線内領域とで特定される物体は前記車線境界線の内側にある物体であると判定する判定手段と、
を備えることを特徴とする物体認識装置。
First target detecting means for detecting a first target by a first sensor that measures the position and shape of an object existing around the host vehicle;
Second target detection means for detecting a second target by a second sensor for measuring the position of an object existing around the host vehicle;
Lane boundary recognition means for recognizing a lane boundary adjacent to a road boundary;
Based on the positional relationship between the first target and the lane boundary line, a lane area extraction means for extracting a lane area that is inside the lane boundary line of the first target;
When the second target overlaps the lane area, a determination unit that determines that the object specified by the second target and the lane area is an object inside the lane boundary line;
An object recognition apparatus comprising:
JP2016236902A 2016-12-06 2016-12-06 Object recognition device Active JP6747269B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016236902A JP6747269B2 (en) 2016-12-06 2016-12-06 Object recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016236902A JP6747269B2 (en) 2016-12-06 2016-12-06 Object recognition device

Publications (2)

Publication Number Publication Date
JP2018092483A true JP2018092483A (en) 2018-06-14
JP6747269B2 JP6747269B2 (en) 2020-08-26

Family

ID=62565632

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016236902A Active JP6747269B2 (en) 2016-12-06 2016-12-06 Object recognition device

Country Status (1)

Country Link
JP (1) JP6747269B2 (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110764108A (en) * 2019-11-05 2020-02-07 畅加风行(苏州)智能科技有限公司 Obstacle detection method and device for port automatic driving scene
CN110824469A (en) * 2020-01-09 2020-02-21 南京泰晟科技实业有限公司 Lane deviation detection device and deviation correction judgment method
CN110907928A (en) * 2019-11-20 2020-03-24 福瑞泰克智能系统有限公司 Target object position determining method and device, electronic equipment and storage medium
CN110940997A (en) * 2019-11-20 2020-03-31 北京踏歌智行科技有限公司 Laser radar system for unmanned vehicle
CN110940974A (en) * 2018-09-21 2020-03-31 丰田自动车株式会社 Object detection device
CN111016859A (en) * 2019-12-20 2020-04-17 南京泰晟科技实业有限公司 Vehicle emergency brake protection system and method
JP2020098188A (en) * 2018-09-27 2020-06-25 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド Obstacle detection method, obstacle detection device, electronic apparatus, vehicle and storage medium
CN111699408A (en) * 2019-05-31 2020-09-22 深圳市大疆创新科技有限公司 Tunnel scene detection method and millimeter wave radar
CN113002396A (en) * 2020-04-14 2021-06-22 青岛慧拓智能机器有限公司 A environmental perception system and mining vehicle for automatic driving mining vehicle
CN113030976A (en) * 2021-03-10 2021-06-25 奥特酷智能科技(南京)有限公司 Method for eliminating interference of metal well lid on millimeter wave radar by using laser radar
CN113702967A (en) * 2021-09-24 2021-11-26 中国北方车辆研究所 Vehicle target guiding and tracking method of ground unmanned platform and vehicle-mounted system
WO2021256032A1 (en) * 2020-06-15 2021-12-23 株式会社日立製作所 Sensor recognition integration device
CN114093165A (en) * 2021-11-17 2022-02-25 山东大学 Roadside laser radar-based vehicle-pedestrian conflict automatic identification method
US11519736B2 (en) * 2017-05-19 2022-12-06 Pioneer Corporation Measurement device, measurement method and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08156723A (en) * 1994-12-06 1996-06-18 Nissan Motor Co Ltd Vehicle obstruction detecting device
WO2011036807A1 (en) * 2009-09-28 2011-03-31 トヨタ自動車株式会社 Object detection device and object detection method
US20140343749A1 (en) * 2013-05-14 2014-11-20 Denso Corporation Collision mitigation apparatus
JP2015036842A (en) * 2013-08-12 2015-02-23 株式会社日本自動車部品総合研究所 Traveling propriety determination device
JP2016007894A (en) * 2014-06-23 2016-01-18 トヨタ自動車株式会社 Attention-seeking device and travel control unit
JP2016081202A (en) * 2014-10-15 2016-05-16 本田技研工業株式会社 Object recognition system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08156723A (en) * 1994-12-06 1996-06-18 Nissan Motor Co Ltd Vehicle obstruction detecting device
WO2011036807A1 (en) * 2009-09-28 2011-03-31 トヨタ自動車株式会社 Object detection device and object detection method
US20140343749A1 (en) * 2013-05-14 2014-11-20 Denso Corporation Collision mitigation apparatus
JP2014222463A (en) * 2013-05-14 2014-11-27 株式会社デンソー Crash mitigation device
JP2015036842A (en) * 2013-08-12 2015-02-23 株式会社日本自動車部品総合研究所 Traveling propriety determination device
JP2016007894A (en) * 2014-06-23 2016-01-18 トヨタ自動車株式会社 Attention-seeking device and travel control unit
JP2016081202A (en) * 2014-10-15 2016-05-16 本田技研工業株式会社 Object recognition system

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11828603B2 (en) 2017-05-19 2023-11-28 Pioneer Corporation Measurement device, measurement method and program
US11519736B2 (en) * 2017-05-19 2022-12-06 Pioneer Corporation Measurement device, measurement method and program
CN110940974B (en) * 2018-09-21 2023-10-10 丰田自动车株式会社 Object detection device
CN110940974A (en) * 2018-09-21 2020-03-31 丰田自动车株式会社 Object detection device
JP2020098188A (en) * 2018-09-27 2020-06-25 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド Obstacle detection method, obstacle detection device, electronic apparatus, vehicle and storage medium
US11393219B2 (en) 2018-09-27 2022-07-19 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Method and apparatus for detecting obstacle, electronic device, vehicle and storage medium
CN111699408A (en) * 2019-05-31 2020-09-22 深圳市大疆创新科技有限公司 Tunnel scene detection method and millimeter wave radar
CN110764108A (en) * 2019-11-05 2020-02-07 畅加风行(苏州)智能科技有限公司 Obstacle detection method and device for port automatic driving scene
CN110764108B (en) * 2019-11-05 2023-05-02 畅加风行(苏州)智能科技有限公司 Obstacle detection method and device for port automatic driving scene
CN110907928B (en) * 2019-11-20 2020-08-18 福瑞泰克智能系统有限公司 Target object position determining method and device, electronic equipment and storage medium
CN110940997B (en) * 2019-11-20 2021-02-26 北京踏歌智行科技有限公司 Laser radar system for unmanned vehicle
CN110940997A (en) * 2019-11-20 2020-03-31 北京踏歌智行科技有限公司 Laser radar system for unmanned vehicle
CN110907928A (en) * 2019-11-20 2020-03-24 福瑞泰克智能系统有限公司 Target object position determining method and device, electronic equipment and storage medium
CN111016859A (en) * 2019-12-20 2020-04-17 南京泰晟科技实业有限公司 Vehicle emergency brake protection system and method
CN111016859B (en) * 2019-12-20 2021-12-10 南京泰晟科技实业有限公司 Vehicle emergency brake protection system and method
CN110824469B (en) * 2020-01-09 2020-05-05 南京泰晟科技实业有限公司 Lane deviation detection device and deviation correction judgment method
CN110824469A (en) * 2020-01-09 2020-02-21 南京泰晟科技实业有限公司 Lane deviation detection device and deviation correction judgment method
CN113002396A (en) * 2020-04-14 2021-06-22 青岛慧拓智能机器有限公司 A environmental perception system and mining vehicle for automatic driving mining vehicle
JP2021195018A (en) * 2020-06-15 2021-12-27 株式会社日立製作所 Sensor recognition integration device
WO2021256032A1 (en) * 2020-06-15 2021-12-23 株式会社日立製作所 Sensor recognition integration device
JP7432447B2 (en) 2020-06-15 2024-02-16 日立Astemo株式会社 Sensor recognition integration device
CN113030976A (en) * 2021-03-10 2021-06-25 奥特酷智能科技(南京)有限公司 Method for eliminating interference of metal well lid on millimeter wave radar by using laser radar
CN113702967A (en) * 2021-09-24 2021-11-26 中国北方车辆研究所 Vehicle target guiding and tracking method of ground unmanned platform and vehicle-mounted system
CN113702967B (en) * 2021-09-24 2023-07-28 中国北方车辆研究所 Method for identifying and tracking guided vehicle target of ground unmanned platform and vehicle-mounted system
CN114093165A (en) * 2021-11-17 2022-02-25 山东大学 Roadside laser radar-based vehicle-pedestrian conflict automatic identification method

Also Published As

Publication number Publication date
JP6747269B2 (en) 2020-08-26

Similar Documents

Publication Publication Date Title
JP6747269B2 (en) Object recognition device
KR102483649B1 (en) Vehicle localization method and vehicle localization apparatus
KR102558055B1 (en) Suboptimal estimation method
US10572744B2 (en) Systems and methods for detecting an object
JP6666075B2 (en) Method and apparatus for determining a lane identifier of a road
JP7074438B2 (en) Vehicle position estimation device
US8452103B2 (en) Scene matching reference data generation system and position measurement system
US8510027B2 (en) Method for judging vehicle traveling position and vehicle traveling position judgment device
JP5747787B2 (en) Lane recognition device
JP6464783B2 (en) Object detection device
RU2742213C1 (en) Method to control information on lanes, method of traffic control and device for control of information on lanes
US11719555B2 (en) Map information system
JP2008123462A (en) Object detector
JP6520740B2 (en) Object detection method, object detection device, and program
JP2018048949A (en) Object recognition device
JP2019108116A (en) Device and method for controlling speed of vehicle in longitudinal direction
JP3666332B2 (en) Pedestrian detection device
US10796167B2 (en) Periphery recognition device
JP6690510B2 (en) Object recognition device
JP2015069287A (en) Own vehicle position recognition device
CN109195849B (en) Image pickup apparatus
US20230117253A1 (en) Ego motion-based online calibration between coordinate systems
US11920936B2 (en) Vehicle controller, and method and computer program for controlling vehicle
JP2020057146A (en) Traveling lane estimation device, traveling lane estimation method, and control program
US11885640B2 (en) Map generation device and map generation method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200720

R151 Written notification of patent or utility model registration

Ref document number: 6747269

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151