CN113189610A - 地图增强的自动驾驶多目标追踪方法和相关设备 - Google Patents

地图增强的自动驾驶多目标追踪方法和相关设备 Download PDF

Info

Publication number
CN113189610A
CN113189610A CN202110466604.5A CN202110466604A CN113189610A CN 113189610 A CN113189610 A CN 113189610A CN 202110466604 A CN202110466604 A CN 202110466604A CN 113189610 A CN113189610 A CN 113189610A
Authority
CN
China
Prior art keywords
area
driving
local
map
target tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110466604.5A
Other languages
English (en)
Other versions
CN113189610B (zh
Inventor
张昱
龚磊
王顺洪
张燕咏
吉建民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202110466604.5A priority Critical patent/CN113189610B/zh
Publication of CN113189610A publication Critical patent/CN113189610A/zh
Application granted granted Critical
Publication of CN113189610B publication Critical patent/CN113189610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/343—Calculating itineraries, i.e. routes leading from a starting point to a series of categorical destinations using a global route restraint, round trips, touristic trips
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种地图增强的自动驾驶多目标追踪方法和相关设备，方案包括：对当前行驶区域的地图信息进行处理，得到当前所在区域的不可行驶区域；获取自动驾驶车辆上的采集设备采集到的点云数据；基于所述点云数据及所述不可行驶区域信息进行物体识别，得到位于所述不可以行驶区域之外的识别出的物体的三维包围框，基于过滤后的识别出的物体三维包围框进行多目标追踪。通过采用所述不可行驶区域对识别出的目标进行过滤，降低了所需追踪的目标的数量，提高了多目标追踪系统的数据处理速度，并且，提高了多目标追踪的追踪精度。

Description

地图增强的自动驾驶多目标追踪方法和相关设备
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种基于地图增强追踪精度地图增强的自动驾驶多目标追踪方法和相关设备。
背景技术
目标检测(object detection)是自动驾驶系统中的关键模块，用于感知周围环境中的静态或动态的物体。随着深度学习在视觉感知等任务上取得的巨大成就，基于深度学习的目标检测模型成为自动驾驶感知系统的主要感知方式。三维目标检测是从真实世界中估计物体的三维包围框来支持后续的物体追踪、路径规划和碰撞避免等任务。现有的激光雷达产生的点云数据能够直接准确地给出物体的深度信息，自动驾驶中三维物体检测方法以将点云作为输入的深度学习目标检测模型为主。
三维多目标追踪(3D multiple object tracking，3D MOT)是自动驾驶系统中的关键模块。三维多目标追踪需要实时地将当前环境中检测到的物体与已追踪的物体进行关联，从而将不同帧中相同的物体给予相同的标签，从而实现对物体的轨迹的追踪和预测等，帮助自动驾驶决策系统更好地进行规划。
基于检测的追踪(tracking by detection)是三维多目标追踪问题的一种主流范型。针对基于检测的追踪范型，每帧数据处理分为目标检测和目标追踪关联两步，目标检测模型首先检测当前帧中存在的物体，然后追踪模块将检测到的物体与历史帧检测到的物体进行关联。检测过程使用三维目标检测模型，而追踪过程通常包括运动预测、数据关联等步骤。结合历史物体的特征和当前检测的物体的特征之间的相似程度，以及运动状态的预测，将物体历史轨迹集合和物体当前位置集合进行匹配。卡尔曼滤波和匈牙利算法是追踪过程中常用的算法。物体的特征可以是手工定义物体特征，包括位置、姿态、速度等，通过滤波器或者深度学习模型预测得到，或者是自动学习物体特征。
除了基于检测的追踪模型，也有一些端到端的多目标追踪模型，无论是何种追踪模型，在进行多目标追踪时，经常会追踪一些无效目标，例如绿化带等，使得追踪的精度较低。
发明内容
有鉴于此，本发明实施例提供一种地图增强的自动驾驶多目标追踪方法、装置、自动驾驶系统和车辆，以提高多目标追踪的追踪精度。
为实现上述目的，本发明实施例提供如下技术方案：
一种地图增强的自动驾驶多目标追踪方法，包括：
对当前行驶区域的地图信息进行处理，得到当前所在区域的不可行驶区域；
获取自动驾驶车辆上的采集设备采集到的点云数据；
基于所述点云数据及所述不可行驶区域信息进行物体识别，得到位于所述不可以行驶区域之外的识别出的物体的三维包围框；
基于过滤后的识别出的物体三维包围框进行多目标追踪。
可选的，上述地图增强的自动驾驶多目标追踪方法中，
对当前行驶区域的地图信息进行处理，得到当前所在区域的不可行驶区域，包括：
获取当前所在行驶区域的原始地图，识别所述原始地图中是否存在不可行驶区域；
如果存在所述不可行驶区域，则提取所述不可行驶区域在所述原始地图对应的全局坐标系中的坐标信息。
可选的，上述地图增强的自动驾驶多目标追踪方法中，
基于所述点云数据及所述不可行驶区域信息进行物体识别，得到位于所述不可以行驶区域之外的识别出的物体的三维包围框，包括：
获取基于当前所在行驶区域构建的局部视图对应的局部坐标区域；
将所述局部坐标区域匹配到所述全局坐标系；
计算得到所述局部坐标区域与所述全局坐标系中的不可行驶区域的重叠区域；
将所述局部坐标区域中的重叠区域标记为局部不可行驶区域；
基于所述局部坐标区域中的局部不可行驶区域对点云数据进行过滤；
基于过滤后的点云数据进行物体识别，并构建识别出的物体的三维包围框。
可选的，上述地图增强的自动驾驶多目标追踪方法中，
基于所述点云数据及所述不可行驶区域信息进行物体识别，得到位于所述不可以行驶区域之外的识别出的物体的三维包围框，包括：
基于获取到的点云数据进行物体识别，并构建识别出的物体的三维包围框；
获取基于当前行驶区域构建的局部视图对应的局部坐标区域，以及所述识别出的物体的三维包围框在所述局部坐标区域中的坐标区域；
将所述局部坐标区域匹配到所述全局坐标系；
计算得到所述局部坐标区域与所述全局坐标系中的不可行驶区域的重叠区域；
将所述局部坐标区域中的重叠区域标记为局部不可行驶区域；过滤落入所述局部不可行驶区域物体的三维包围框。
可选的，上述地图增强的自动驾驶多目标追踪方法中，计算得到所述局部坐标区域与所述全局坐标系中的不可行驶区域的重叠区域，包括：
采用多边形切割算法计算得到所述局部坐标区域与所述全局坐标系中的不可行驶区域的重叠区域。
可选的，上述地图增强的自动驾驶多目标追踪方法中，所述获取基于当前行驶区域构建的局部视图对应的局部坐标区域，包括：
基于自动驾驶车辆的预设局部视角以及自动驾驶车辆的行驶方向确定自动驾驶车辆的行驶方向上的预设范围内的矩形区域作为局部视图，将所述矩形区域在局部坐标系中的坐标区域作为局部坐标区域。
一种地图增强的自动驾驶多目标追踪装置，包括：
不可行驶区域识别模块，用于对当前行驶区域的地图信息进行处理，得到当前所在区域的不可行驶区域；
点云数据采集模块，用于获取自动驾驶车辆上的采集设备采集到的点云数据；
物体识别模块，用于基于所述点云数据进行物体识别，并构建识别出的物体的三维包围框，采用不可行驶区域过滤掉位于所述不可行驶区域之内的物体的三维包围框；
多目标追踪模块，用于基于过滤后的识别出的物体三维包围框进行多目标追踪。
可选的，上述地图增强的自动驾驶多目标追踪装置中，所述不可行驶区域识别模块，具体用于：
获取当前所在行驶区域的原始地图，识别所述原始地图中是否存在不可行驶区域；
如果存在所述不可行驶区域，则提取所述不可行驶区域在所述原始地图对应的全局坐标系中的坐标信息。
可选的，上述地图增强的自动驾驶多目标追踪装置中，所述物体识别模块具体用于：
获取基于当前所在行驶区域构建的局部视图对应的局部坐标区域；
将所述局部坐标区域匹配到所述全局坐标系；
计算得到所述局部坐标区域与所述全局坐标系中的不可行驶区域的重叠区域；
将所述局部坐标区域中的重叠区域标记为局部不可行驶区域；
基于所述局部坐标区域中的局部不可行驶区域对点云数据进行过滤；
基于过滤后的点云数据进行物体识别，并构建识别出的物体的三维包围框。
可选的，上述地图增强的自动驾驶多目标追踪装置中，所述物体识别模块具体用于：
基于获取到的点云数据进行物体识别，并构建识别出的物体的三维包围框；
获取基于当前行驶区域构建的局部视图对应的局部坐标区域，以及所述识别出的物体的三维包围框在所述局部坐标区域中的坐标区域；
将所述局部坐标区域匹配到所述全局坐标系；
计算得到所述局部坐标区域与所述全局坐标系中的不可行驶区域的重叠区域；
将所述局部坐标区域中的重叠区域标记为局部不可行驶区域；过滤落入所述局部不可行驶区域物体的三维包围框。
基于上述技术方案，本发明实施例提供的上述方案，通过采用所述不可行驶区域对所需追踪的目标进行过滤，降低了所需追踪的目标的数量，提高了多目标追踪系统的数据处理速度，并且，提高了多目标追踪的追踪精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的地图增强的自动驾驶多目标追踪方法的流程示意图；
图2为本申请实施例公开的一种基于不可行驶区域过滤追踪目标的流程示意图；
图3为本申请另一实施例公开的一种基于不可行驶区域过滤追踪目标的流程示意图；
图4为本申请实施例公开的地图增强的自动驾驶多目标追踪装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着自动驾驶技术的发展，高精地图的相关研究也逐渐兴起，成为自动驾驶不可或缺的模块。自动驾驶车辆自身所配备的传感器如摄像头、激光雷达等所检测到的范围是有限的。地图信息可以提供高精定位和超视距感知等能力，弥补车载传感器在一些场景下的感知缺陷。这些地图信息可以包括道路位置、形状、曲率及其它高层语义信息。尽管高精地图在自动驾驶系统中的重要性已经得到共识，但创建可靠的大规模应用的高精地图存在较高的准入和技术壁垒，采集和制作的复杂程度远高于一些传统地图作业工艺，对数据的正确性和质量有非常高的要求。此外，车载系统如何实时快速地获取和利用周边地图信息提高感知性能和安全性也是当今重要的研究课题之一。
参见图1，本申请公开了一种地图增强的自动驾驶多目标追踪方法，包括：
步骤S101：对当前行驶区域的地图信息进行处理，得到当前所在区域的不可行驶区域；
应用本方法的系统中具有场景信息提取模块，所述场景信息提取模块用于从原始地图中的原始数据中提取场景信息，所提取的场景信息即为原始地图中的不可行驶区域。
在本申请实施例公开的技术方案中，预先定义了原始地图中的场景信息的一种精简的表示方式，用于组织存储从原始数据中提取的信息。
定义语义-几何映射表示模型M：L→V,其中L表示场景信息的语义标签类，在本方案中，申请人预先对原始地图中的多种场景信息给予不同的语义标签，V则是场景信息对应的具体的几何数据表示和存储方式。M表示语义标签类到几何数据集合的抽象映射，通过该语义标签类及其对应的几何数据，即可能够定义所述不可行驶区域。
例如，在本方案中，所述语义标签可以包括不可行驶区域、车道线等等，其中，所述不可行驶区域的定义为：高速公路旁的非道路区域皆视作不可行驶区域，比如树木、草地等，城区道路旁的建筑物，人行横道区域、绿化带区域等。而具体的数据表示方式可以是向量表示或者栅格表示等等。通过这种方式可以明确定义使用哪些类别的信息及其可能的数据格式，方便后续算法的设计。
在本方案中场景信息基于几何数据表示方式，本发明设计了相应的场景信息的使用方法。对每种V，预先定义算子集合Op(V)，集合中的每一项为对应某种几何数据表示方式下的操作，比如针对本发明使用的不可行驶区域信息Vndrv,则有Op(Vndrv)＝{Filterpre，Filterpost}，其中，所述Filterpre，Filterpost为具体的算法。
在上述场景信息构建完成以后，本方案中，在获取到当前行驶区域的地图信息以后，通过提取所述地图信息中的不可行驶区域对应的场景信息，获取场景信息所对应的几何数据，基于所述场景信息的几何数据确定所述不可行驶区域在所述地图信息对应的全局坐标系中的坐标信息。
基于此，本步骤具体可以包括：获取当前行驶区域的原始地图，通过所述原始地图中各个场景信息的语义标签类判断所述原始地图中是否存在不可行驶区域；如果存在所述不可行驶区域，则提取所述不可行驶区域在所述原始地图对应的全局坐标系中的坐标信息。
步骤S102：获取自动驾驶车辆上的采集设备采集到的点云数据；
在本方案中，所述点云数据为自动驾驶车辆上的激光雷达等车载传感器对车辆行驶环境进行数据采集得到；
步骤S103：基于所述点云数据及所述不可行驶区域信息进行物体识别，得到位于所述不可以行驶区域之外的识别出的物体的三维包围框；
在进行多目标追踪之前，需要基于所述点云数据构建所需追踪的目标的三维包围框，每个三维包围框对应一个所需追踪的目标，在本方案中，为了降低所需追踪的目标的个数，需要采用不可行驶区域对所需追踪的目标进行过滤，因为，在所述点云数据中，有部分点云数据是位于不可行驶区域中的，现有方案中，可能会将这些不可行驶区域中的三维包围框也作为追踪目标，从而增加了系统的数据处理量，造成系统数据处理效率较低，在本方案中，可以通过所述不可行驶区域预先滤除这些目标，从而降低系统所需追踪的目标的个数，提高系统的数据处理效率。
步骤S104：基于识别出的物体三维包围框进行多目标追踪；
在本步骤中，采用多目标追踪系统对过滤后的物体进行多目标追踪；
本方案中的多目标追踪系统可以为现有的多目标追踪模块，例如，该多目标追踪系统可以包括：关联模块，状态更新和缓存模块，预测模块等，其中，所述关联模块，用于已检测并追踪的物体与当前时刻的物体进行相互关联，所述状态更新和缓存模块用于根据所述关联模块的关联的结果更新当前的追踪结果和物体的状态，所述预测模块用于根据当前已追踪的物体的状态进行预测，预测在下一时刻物体的状态信息，所述状态信息包括位置信息，速度信息等。
本申请上述实施例公开的技术方案中，通过采用所述不可行驶区域对所需追踪的目标进行过滤，降低了所需追踪的目标的数量，提高了多目标追踪系统的数据处理速度，并且，提高了多目标追踪的追踪精度。
在本申请实施例公开的技术方案中，可以采用向量图的方式来表示所述不可行驶区域在原始地图中的区域信息，针对于每一个驾驶场景，预先预定两个坐标系，即，全局坐标系和局部坐标系，所述全局坐标系是以世界中的某一固定点为原点的坐标系，比如UTM坐标系(Universal Transverse Mercator Grid System)，或者自定义的城市坐标系等。在一段连续的自动驾驶场景中，每一个点在全局坐标系具有唯一的坐标。局部坐标系是以自动驾驶车辆自身作为原点的参考系，在每一帧中，所识别出的物体的点的坐标都是相对于车辆自身作为原点给定的。
基于上述全局坐标系，本发明提出构建能够表示不可行驶区域的数据表示方式：在一段连续的场景中，依据上述给出的不可行驶区域的定义划定原始地图中所有的不可行驶区域，这些区域构成一个集合；在这个集合中，每一个元素表示一个不可行驶区域，每个不可行驶区域是在全局坐标系下点的集合：P＝(p0，p1，p2，...，p0)，其中P表示构成不可行驶区域的封闭区域，(p0，...，p0)为构成所述封闭区域的边界点的序列，封闭区域的起点和终点相同，按照顺时针方式进行存储。
在本申请实施例公开的技术方案中，在采用不可行驶区域对所需追踪的物体进行过滤时，直接采用所述不可行驶区域对点云数据进行过滤，然后再基于过滤后的点云数据进行目标物体的识别，也可以先采用点云数据进行目标识别，然后再过滤识别到的位于所述不可行驶区域内的物体。
具体的，在先采用所述不可行驶区域对点云数据进行过滤的方案中，参见图2，所述基于所述点云数据进行物体识别，并构建识别出的物体的三维包围框，采用不可行驶区域过滤掉位于所述不可行驶区域之内的物体的三维包围框的具体可以包括：
步骤S201：获取基于当前所在行驶区域构建的局部视图对应的局部坐标区域；
在自动驾驶领域中，自动驾驶的激光雷达等传感器得到的点云数据以及检测模型得到的包围框等都为局部坐标系中的数据，为了能够最终得到局部坐标系下的不可行驶区域数据，需要根据自动驾驶车辆的局部视角内的特征与全局地图进行匹配。因此，需要首先划定一个自动驾驶车辆的局部视角范围内的区域，该范围区域即为自动驾驶车辆的局部视图，该局部视图可以是自动驾驶车辆前方可视范围内的一个矩形区域，以所述自动驾驶车辆为原点构建坐标系，得到局部坐标系，进而得到局部坐标系下矩形区域的4个顶点的坐标。
步骤S202：将所述局部坐标区域匹配到所述全局坐标系；
在本步骤中，当局部坐标系构建完成以后，接下来根据定位结果的车辆位置和角度等将4个坐标转换到全局坐标系下，所述全局坐标系为与所述原始地图相匹配的坐标系。
步骤S203：计算得到所述局部坐标区域与所述全局坐标系中的不可行驶区域的重叠区域；
在本步骤中，所述局部坐标区域就指的是由上述四个坐标构成的矩形区域，得到全局坐标下矩形区域的4个坐标点之后，获取所有落入该矩形区域之内的点云数据，然后，计算该矩形区域与全局地图中相交的不可行驶区域，确定落入所述不可行驶区域的点云数据，计算重叠区域的问题等价于以一个多边形裁剪问题，在本方案中可以采用Sutherland-Hodgman多边形裁剪算法，将该局部坐标区域中的矩形区域与所有的不可行驶区域进行相交，得到位于该矩形区域范围内的所有局部不可行驶区域的集合。
即，本步骤具体可以为采用多边形切割算法计算得到所述局部坐标区域与所述全局坐标系中的不可行驶区域的重叠区域。
步骤S204：将所述局部坐标区域中的重叠区域标记为局部不可行驶区域；
在本方案中，将所述局部坐标区域中矩形区域与所述全局坐标系中的不可行驶区域相互重叠的区域也标记为不可行驶区域；
步骤S205：基于所述局部坐标区域中的局部不可行驶区域对点云数据进行过滤；
在本步骤中，滤除所述局部坐标区域中的局部不可行驶区域范围内的点云数据。
步骤S206：基于过滤后的点云数据进行物体识别，并构建识别出的物体的三维包围框；
此时识别到的物体的三维包围框均未落入局部不可行驶区域之内，相较于未滤除点云数据之前，所需追踪的物体的数量明显减少。
与点云数据的过滤方案相一致，在对三维包围框进行过滤时，参见图3所述基于所述点云数据进行物体识别，并构建识别出的物体的三维包围框，采用不可行驶区域过滤掉位于所述不可行驶区域之内的物体的三维包围框的具体过程包括：
步骤S301：基于获取到的点云数据进行物体识别，并构建识别出的物体的三维包围框；
步骤S302：获取基于当前行驶区域构建的局部视图对应的局部坐标区域，以及所述识别出的物体的三维包围框在所述局部坐标区域中的坐标区域；
步骤S303：将所述局部坐标区域匹配到所述全局坐标系；
步骤S304：计算得到所述局部坐标区域与所述全局坐标系中的不可行驶区域的重叠区域，将所述局部坐标区域中的重叠区域标记为局部不可行驶区域；
在本方案中，将所述局部坐标区域中矩形区域与所述全局坐标系中的不可行驶区域相互重叠的区域也标记为不可行驶区域；
步骤S305：过滤落入所述局部不可行驶区域的物体的所述三维包围框。
由上述方案可见，基于本发明中定义的不可行驶区域的设计原则，本发明设计了通用的过滤算法用于过滤不可行驶区域内的点云数据或者是目标检测模型输出的物体三维包围框的方式，降低了所需追踪的目标的数量。
进一步的，在本申请实施例公开的上述技术方案中，所述获取基于当前行驶区域构建的局部视图对应的局部坐标区域，包括：
基于自动驾驶车辆的预设局部视角以及自动驾驶车辆的行驶方向确定自动驾驶车辆的行驶方向上的预设范围内的矩形区域作为局部视图，将所述矩形区域在局部坐标系中的坐标区域作为局部坐标区域。
对应于上述方法，本申请还公开了一种地图增强的自动驾驶多目标追踪装置，参见图4，该装置包括：
不可行驶区域识别模块100，用于对当前行驶区域的地图信息进行处理，得到当前所在区域的不可行驶区域；
点云数据采集模块200，用于获取自动驾驶车辆上的采集设备采集到的点云数据；
物体识别模块300，用于基于所述点云数据进行物体识别，并构建识别出的物体的三维包围框，采用不可行驶区域过滤掉位于所述不可行驶区域之内的物体的三维包围框；
多目标追踪模块400，用于基于过滤后的识别出的物体三维包围框进行多目标追踪。
与上述方法相对应，所述不可行驶区域识别模块，具体用于：
获取当前所在区域的原始地图，识别所述原始地图中是否存在不可行驶区域；
如果存在所述不可行驶区域，则提取所述不可行驶区域在所述原始地图对应的全局坐标系中的坐标信息。
与上述方法相对应，所述物体识别模块具体用于：
获取基于当前所在行驶区域构建的局部视图对应的局部坐标区域；
将所述局部坐标区域匹配到所述全局坐标系；
计算得到所述局部坐标区域与所述全局坐标系中的不可行驶区域的重叠区域；
将所述局部坐标区域中的重叠区域标记为局部不可行驶区域；
基于所述局部坐标区域中的局部不可行驶区域对点云数据进行过滤；
基于过滤后的点云数据进行物体识别，并构建识别出的物体的三维包围框。
与上述方法相对应，所述物体识别模块具体用于：
基于获取到的点云数据进行物体识别，并构建识别出的物体的三维包围框；
获取基于当前行驶区域构建的局部视图对应的局部坐标区域，以及所述识别出的物体的三维包围框在所述局部坐标区域中的坐标区域；
将所述局部坐标区域匹配到所述全局坐标系；
计算得到所述局部坐标区域与所述全局坐标系中的不可行驶区域的重叠区域；
将所述局部坐标区域中的重叠区域标记为局部不可行驶区域；过滤落入所述局部不可行驶区域物体的三维包围框。
与上述方法相对应，所述物体识别模块在获取基于当前行驶区域构建的局部视图对应的局部坐标区域时，具体用于：
基于自动驾驶车辆的预设局部视角以及自动驾驶车辆的行驶方向确定自动驾驶车辆的行驶方向上的预设范围内的矩形区域作为局部视图，将所述矩形区域在局部坐标系中的坐标区域作为局部坐标区域。
与上述装置相对应，本申请还公开了一种自动驾驶系统，该系统应用有上述任意一项实施例地图增强的自动驾驶多目标追踪装置。
对应于上述自动驾驶系统，本申请还公开了一种车辆，该车辆可以应用有上述任意一项实施例所述的自动驾驶系统。
进一步的，为了验证效果，申请人还进行了具体实验，实验如下：
A、匹配局部视角与全局地图
首先划定一个自动驾驶车辆局部视角范围内的区域，我们选定以自动驾驶车辆自身坐标系为原点的一个宽为80m，长为70.4m的矩形区域，得到局部坐标系下该矩形区域4个顶点的坐标。在KITTI数据集中，车辆自身坐标系为修正后的相机坐标系。之后，根据KITTI数据集中各坐标系之间的坐标转换关系将四个点的坐标转换到IMU坐标系(局部坐标系)下，再根据GPS坐标和IMU坐标系中得到的位置和航向角等信息，将IMU坐标系下的坐标转化到全局坐标系下，在本实验中所用的全局坐标系为UTM坐标系。
A、全局坐标下的不可行驶区域
得到全局坐标系下矩形区域对应的4个坐标点之后，计算该矩形区域与全局地图中不可行驶区域的相交部分。该问题等价于以一个多边形裁剪问题，我们采用Sutherland-Hodgman多边形裁剪算法，将该矩形区域与所有的不可行驶区域进行相交，得到位于该矩形范围内的所有局部不可行驶区域的集合。
C、局部坐标下的不可行驶区域
在得到局部范围内所有的不可行驶区域之后，再次通过坐标变换将所有坐标转回局部坐标系(即修正后的相机坐标系)中，用于接下来的过滤操作。
D、过滤点云或包围框
过滤点云数据和包围框的问题可以统一为判断点是否在某一区域内的问题。本申请可以将可视范围矩形区域的点云投影到2维平面(获得鸟瞰图)，并将整个矩形区域进行栅格化处理，不可行驶区域则被视作是mask，那么就将问题转化为图像处理的问题，判断一个像素点在mask区域内。最终将位于不可行驶区域内的点云数据或者包围框过滤，并将过滤后的点云输入给detection模块或者将过滤后的包围框输入给追踪模块进行追踪处理。
然后将实验结果与现有技术中的追踪技术的追踪结果进行比较，可得到表1、表2的对比数据。
表1展示了使用本发明的方法的地图增强的自动驾驶多目标追踪方案在KITTI多物体追踪数据集0008号测试场景上的对比数据，其中FP和FN分别表示检测器的假正例和假反例的数量，MOTA是衡量追踪精度的主要标准，其计算方法如下：
Figure BDA0003044306940000131
表1中Birmin参数是AB3DMOT中追踪管理的参数，数值(1，2，3)表示的是物体被输出为正例(TP)需要被匹配的最小帧数，该数值越小，FN的数据就会越小，但与此同时FP的数量就会显著增加。而本发明使用的方法，能在降低FN的同时得到较小的FP，从而有效的提升了追踪的精度。
表2展示了使用本方法的追踪系统和原追踪系统的时间性能对比。Tdetect表示的是检测模型的时间，Ttrack表示追踪模块时间，Trun为总运行时间，Tfilter为过滤算法的时间。可以看到使用Pre-Filter算法的框架在总体时间上小于原框架处理时间，而Post-Filter算法在原有算法的基础上增加了较小的额外开销。
表1为使用本申请提供的方法与现有技术在KITTI 2D指标评测中精度数据对比结果
表1
Figure BDA0003044306940000141
表2为使用本申请提供的方法与现有技术的运行时间数据对比
表2
Figure BDA0003044306940000142
为了描述的方便，描述以上系统时以功能分为各种模块分别描述。当然，在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种地图增强的自动驾驶多目标追踪方法，其特征在于，包括：
对当前行驶区域的地图信息进行处理，得到当前所在区域的不可行驶区域；
获取自动驾驶车辆上的采集设备采集到的点云数据；
基于所述点云数据及所述不可行驶区域信息进行物体识别，得到位于所述不可以行驶区域之外的识别出的物体的三维包围框；
基于过滤后的识别出的物体三维包围框进行多目标追踪。
2.根据权利要求1所述的地图增强的自动驾驶多目标追踪方法，其特征在于，对当前行驶区域的地图信息进行处理，得到当前所在区域的不可行驶区域，包括：
获取当前所在行驶区域的原始地图，识别所述原始地图中是否存在不可行驶区域；
如果存在所述不可行驶区域，则提取所述不可行驶区域在所述原始地图对应的全局坐标系中的坐标信息。
3.根据权利要求2所述的地图增强的自动驾驶多目标追踪方法，其特征在于，基于所述点云数据及所述不可行驶区域信息进行物体识别，得到位于所述不可以行驶区域之外的识别出的物体的三维包围框，包括：
获取基于当前所在行驶区域构建的局部视图对应的局部坐标区域；
将所述局部坐标区域匹配到所述全局坐标系；
计算得到所述局部坐标区域与所述全局坐标系中的不可行驶区域的重叠区域；
将所述局部坐标区域中的重叠区域标记为局部不可行驶区域；
基于所述局部坐标区域中的局部不可行驶区域对点云数据进行过滤；
基于过滤后的点云数据进行物体识别，并构建识别出的物体的三维包围框。
4.根据权利要求2所述的地图增强的自动驾驶多目标追踪方法，其特征在于，基于所述点云数据及所述不可行驶区域信息进行物体识别，得到位于所述不可以行驶区域之外的识别出的物体的三维包围框，包括：
基于获取到的点云数据进行物体识别，并构建识别出的物体的三维包围框；
获取基于当前行驶区域构建的局部视图对应的局部坐标区域，以及所述识别出的物体的三维包围框在所述局部坐标区域中的坐标区域；
将所述局部坐标区域匹配到所述全局坐标系；
计算得到所述局部坐标区域与所述全局坐标系中的不可行驶区域的重叠区域；
将所述局部坐标区域中的重叠区域标记为局部不可行驶区域；过滤落入所述局部不可行驶区域物体的三维包围框。
5.根据权利要求3或4所述的地图增强的自动驾驶多目标追踪方法，其特征在于，计算得到所述局部坐标区域与所述全局坐标系中的不可行驶区域的重叠区域，包括：
采用多边形切割算法计算得到所述局部坐标区域与所述全局坐标系中的不可行驶区域的重叠区域。
6.根据权利要求3或4所述的地图增强的自动驾驶多目标追踪方法，其特征在于，所述获取基于当前行驶区域构建的局部视图对应的局部坐标区域，包括：
基于自动驾驶车辆的预设局部视角以及自动驾驶车辆的行驶方向确定自动驾驶车辆的行驶方向上的预设范围内的矩形区域作为局部视图，将所述矩形区域在局部坐标系中的坐标区域作为局部坐标区域。
7.一种地图增强的自动驾驶多目标追踪装置，其特征在于，包括：
不可行驶区域识别模块，用于对当前行驶区域的地图信息进行处理，得到当前所在区域的不可行驶区域；
点云数据采集模块，用于获取自动驾驶车辆上的采集设备采集到的点云数据；
物体识别模块，用于基于所述点云数据进行物体识别，并构建识别出的物体的三维包围框，采用不可行驶区域过滤掉位于所述不可行驶区域之内的物体的三维包围框；
多目标追踪模块，用于基于过滤后的识别出的物体三维包围框进行多目标追踪。
8.根据权利要求7所述的地图增强的自动驾驶多目标追踪装置，其特征在于，所述不可行驶区域识别模块，具体用于：
获取当前所在行驶区域的原始地图，识别所述原始地图中是否存在不可行驶区域；
如果存在所述不可行驶区域，则提取所述不可行驶区域在所述原始地图对应的全局坐标系中的坐标信息。
9.一种自动驾驶系统，其特征在于，应用有权利要求6-8所述的任意一项地图增强的自动驾驶多目标追踪装置。
10.一种车辆，其特征在于，应用有权利要求9所述的自动驾驶系统。
CN202110466604.5A 2021-04-28 2021-04-28 地图增强的自动驾驶多目标追踪方法和相关设备 Active CN113189610B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110466604.5A CN113189610B (zh) 2021-04-28 2021-04-28 地图增强的自动驾驶多目标追踪方法和相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110466604.5A CN113189610B (zh) 2021-04-28 2021-04-28 地图增强的自动驾驶多目标追踪方法和相关设备

Publications (2)

Publication Number Publication Date
CN113189610A true CN113189610A (zh) 2021-07-30
CN113189610B CN113189610B (zh) 2024-06-14

Family

ID=76979854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110466604.5A Active CN113189610B (zh) 2021-04-28 2021-04-28 地图增强的自动驾驶多目标追踪方法和相关设备

Country Status (1)

Country Link
CN (1) CN113189610B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113703455A (zh) * 2021-08-27 2021-11-26 广州文远知行科技有限公司 一种激光点云的语义信息标注方法及相关设备
CN117606470A (zh) * 2024-01-24 2024-02-27 航天宏图信息技术股份有限公司 高精导航图线状要素智能自适追索生成方法、装置及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160171316A1 (en) * 2014-12-10 2016-06-16 Honda Research Institute Europe Gmbh Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system
CN109285220A (zh) * 2018-08-30 2019-01-29 百度在线网络技术（北京）有限公司 一种三维场景地图的生成方法、装置、设备及存储介质
CN110889372A (zh) * 2019-11-26 2020-03-17 武汉创视奇科技有限公司 基于视频追踪及目标雷达信息的自动追踪驾驶方法
CN111208839A (zh) * 2020-04-24 2020-05-29 清华大学 一种实时感知信息与自动驾驶地图的融合方法及系统
CN111626217A (zh) * 2020-05-28 2020-09-04 宁波博登智能科技有限责任公司 一种基于二维图片和三维点云融合的目标检测和追踪方法
US20200302787A1 (en) * 2019-03-19 2020-09-24 Subaru Corporation Traffic control system for automatic driving vehicle
CN111928862A (zh) * 2020-08-10 2020-11-13 廊坊和易生活网络科技股份有限公司 利用激光雷达和视觉传感器融合在线构建语义地图的方法
WO2020248614A1 (zh) * 2019-06-10 2020-12-17 商汤集团有限公司 地图生成方法、驾驶控制方法、装置、电子设备及系统
CN112230642A (zh) * 2019-06-29 2021-01-15 华为技术有限公司 道路可行驶区域推理方法及装置
CN112700475A (zh) * 2020-12-31 2021-04-23 荆门汇易佳信息科技有限公司 不同场景下自适应的多目标视频追踪系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160171316A1 (en) * 2014-12-10 2016-06-16 Honda Research Institute Europe Gmbh Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system
CN109285220A (zh) * 2018-08-30 2019-01-29 百度在线网络技术（北京）有限公司 一种三维场景地图的生成方法、装置、设备及存储介质
US20200302787A1 (en) * 2019-03-19 2020-09-24 Subaru Corporation Traffic control system for automatic driving vehicle
WO2020248614A1 (zh) * 2019-06-10 2020-12-17 商汤集团有限公司 地图生成方法、驾驶控制方法、装置、电子设备及系统
CN112230642A (zh) * 2019-06-29 2021-01-15 华为技术有限公司 道路可行驶区域推理方法及装置
CN110889372A (zh) * 2019-11-26 2020-03-17 武汉创视奇科技有限公司 基于视频追踪及目标雷达信息的自动追踪驾驶方法
CN111208839A (zh) * 2020-04-24 2020-05-29 清华大学 一种实时感知信息与自动驾驶地图的融合方法及系统
CN111626217A (zh) * 2020-05-28 2020-09-04 宁波博登智能科技有限责任公司 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN111928862A (zh) * 2020-08-10 2020-11-13 廊坊和易生活网络科技股份有限公司 利用激光雷达和视觉传感器融合在线构建语义地图的方法
CN112700475A (zh) * 2020-12-31 2021-04-23 荆门汇易佳信息科技有限公司 不同场景下自适应的多目标视频追踪系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
XINSHUO WENG ETAL.: "AB3DMOT:A Baseline for 3D Multi-Object Tracking and New Evaluation Metrics", ARXIV, 31 August 2020 (2020-08-31) *
XINSHUO WENG ETAL.: "GNN3DMOT: Graph Neural Network for 3D Multi-Object Tracking with Multi-Feature Learning", COMPUTER SCIENCE *
张文;刘勇;张超凡;张龙;夏营威;: "基于语义建图的室内机器人实时场景分类", 传感器与微系统, no. 08, 20 August 2017 (2017-08-20) *
徐国艳;牛欢;郭宸阳;苏鸿杰;: "基于三维激光点云的目标识别与跟踪研究", 汽车工程, no. 01 *
李佳芮: "基于深度学习的语义地图生成", 电子制作, no. 24, 15 December 2018 (2018-12-15) *
黄武陵;: "基于ROS构建无人驾驶车辆环境感知系统", 单片机与嵌入式系统应用, no. 11 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113703455A (zh) * 2021-08-27 2021-11-26 广州文远知行科技有限公司 一种激光点云的语义信息标注方法及相关设备
CN113703455B (zh) * 2021-08-27 2024-05-28 广州文远知行科技有限公司 一种激光点云的语义信息标注方法及相关设备
CN117606470A (zh) * 2024-01-24 2024-02-27 航天宏图信息技术股份有限公司 高精导航图线状要素智能自适追索生成方法、装置及设备
CN117606470B (zh) * 2024-01-24 2024-04-16 航天宏图信息技术股份有限公司 高精导航图线状要素智能自适追索生成方法、装置及设备

Also Published As

Publication number Publication date
CN113189610B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
US9443309B2 (en) System and method for image based mapping, localization, and pose correction of a vehicle with landmark transform estimation
WO2018068653A1 (zh) 点云数据处理方法、装置及存储介质
EP3171292B1 (en) Driving lane data processing method, device, storage medium and apparatus
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
JP2024023319A (ja) 緊急車両の検出
CN111427373B (zh) 一种位姿确定方法、装置、介质和设备
CN113189610B (zh) 地图增强的自动驾驶多目标追踪方法和相关设备
WO2024012211A1 (zh) 自动驾驶环境感知方法、介质及车辆
CN111145248A (zh) 位姿信息确定方法、确定装置和电子设备
Mancini et al. Automatic road object extraction from mobile mapping systems
CN114898314A (zh) 驾驶场景的目标检测方法、装置、设备及存储介质
CN113838129B (zh) 一种获得位姿信息的方法、装置以及系统
Börcs et al. A model-based approach for fast vehicle detection in continuously streamed urban LIDAR point clouds
Du et al. Particle filter based object tracking of 3D sparse point clouds for autopilot
Buyval et al. Road sign detection and localization based on camera and lidar data
Bruno et al. A comparison of traffic signs detection methods in 2d and 3d images for the benefit of the navigation of autonomous vehicles
EP3816938A1 (en) Region clipping method and recording medium storing region clipping program
CN112802095B (zh) 定位方法、装置及设备、以及自动驾驶定位系统
CN112348876B (zh) 一种标志牌的空间坐标获取方法及装置
Dekkiche et al. Vehicles detection in stereo vision based on disparity map segmentation and objects classification
CN112907659B (zh) 移动设备定位系统、方法及设备
US20240119740A1 (en) Method and apparatus with lane line determination
Ma Generation of horizontally curved driving lines for autonomous vehicles using mobile laser scanning data
KR20180066711A (ko) 3차원 LiDAR를 이용한 선분추출 기반의 교차로 인식 방법
CN113902043A (zh) 目标识别方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant