CN115390088A - 点云地图建立方法、车道标注数据获取方法、设备及介质 - Google Patents
点云地图建立方法、车道标注数据获取方法、设备及介质 Download PDFInfo
- Publication number
- CN115390088A CN115390088A CN202211085544.3A CN202211085544A CN115390088A CN 115390088 A CN115390088 A CN 115390088A CN 202211085544 A CN202211085544 A CN 202211085544A CN 115390088 A CN115390088 A CN 115390088A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- dimensional
- pose
- laser radar
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/53—Determining attitude
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明涉及自动驾驶技术领域,具体提供一种点云地图建立方法、车道标注数据获取方法、设备及介质,旨在解决提高车道标注数据的准确性的问题。为此目的,本发明提供的点云地图建立方法在全球卫星定位装置的定位信号正常时利用全球卫星定位装置建立三维点云地图,以提高三维点云地图的准确性,在定位信号不正常时三维激光雷达点云与在先地图的相对位姿进行地图更新,以提高三维点云地图的准确性;本发明提供的车道标注数据获取方法可以利用上述点云地图建立方法建立三维点云地图,进而能够提高车道标注数据的准确性。
Description
技术领域
本发明涉及自动驾驶技术领域,具体涉及一种点云地图建立方法、车道标注数据获取方法、设备及介质。
背景技术
自动驾驶技术主要包括感知(Perception)、规划(Planning)和控制(Control)三个关键技术,其中,感知技术主要用于确定驾驶装置(比如自动驾驶车辆)所处行驶环境的实时局部地图和障碍物信息,规划技术主要用于根据上述实时局部地图和障碍物信息规划驾驶装置的行驶轨迹,控制技术主要用于控制驾驶装置按照规划出来的行驶轨迹行驶。
为了提高实时局部地图与障碍物信息的准确性,以保证驾驶装置能够安全行驶,目前主要是先采用车道场景的车道标注数据训练基于BEV(Bird Eye View)视角下的多传感器感知模型,再通过训练好的感知模型确定驾驶装置的行驶环境的实时局部地图和障碍物信息,其中,车道标注数据的准确性将会极大地影响感知模型的准确性,进而影响实时局部地图和障碍物信息的准确性。因而,为了提高车道标注数据的准确性,以提高实时局部地图和障碍物信息的准确性,进而保证驾驶装置能够安全行驶,必须准确获取车道场景的车道标注数据。
相应地,本领域需要一种新的技术方案来解决上述问题。
发明内容
为了克服上述缺陷,提出了本发明,以提供解决或至少部分地解决如何提高车道标注数据的准确性,以提高实时局部地图和障碍物信息的准确性,进而保证驾驶装置能够安全行驶的技术问题的点云地图建立方法、车道标注数据获取方法、设备及介质。
在第一方面,提供一种三维点云地图的建立方法,所述方法包括:
获取在车辆行驶过程中所述车辆上的全球卫星定位装置的定位信号并判断所述定位信号是否正常;若正常,则基于所述全球卫星定位装置与所述车辆上的激光雷达进行坐标系转换的位姿参数并根据所述全球卫星定位装置得到的全球定位位姿,分别确定所述激光雷达采集到的行驶环境的每帧三维激光雷达点云各自对应的雷达定位位姿,根据所述雷达定位位姿对每帧三维激光雷达点云进行拼接,以建立所述行驶环境的三维点云地图;若不正常,则针对每帧三维激光雷达点云,确定当前帧三维激光雷达点云相对于根据之前多帧三维激光雷达点云建立的三维点云地图的相对位姿,根据所述相对位姿与所述当前帧三维激光雷达点云对所述三维点云地图进行地图更新,以建立所述行驶环境的三维点云地图。
在上述三维点云地图的建立方法的一个技术方案中,“基于所述全球卫星定位装置与所述车辆上的激光雷达进行坐标系转换的位姿参数并根据所述全球卫星定位装置得到的全球定位位姿,分别确定所述激光雷达采集到的行驶环境的每帧三维激光雷达点云各自对应的雷达定位位姿”的步骤具体包括:根据每帧三维激光雷达点云各自对应的时间戳,分别对所述全球卫星定位装置得到的全球定位位姿进行插值计算,得到在每个所述时间戳下的全球定位位姿;基于所述全球卫星定位装置与所述激光雷达进行坐标系转换的位姿参数,并根据在每个所述时间戳下的全球定位位姿,分别确定每帧三维激光雷达点云各自对应的雷达定位位姿。
在上述三维点云地图的建立方法的一个技术方案中,在“基于所述全球卫星定位装置与所述车辆上的激光雷达进行坐标系转换的位姿参数并根据所述全球卫星定位装置得到的全球定位位姿,分别确定所述激光雷达采集到的行驶环境的每帧三维激光雷达点云各自对应的雷达定位位姿”的步骤之前,所述方法还包括通过下列方式对所述位姿参数进行优化:根据所述位姿参数与车辆转弯时所述全球卫星定位装置得到的全球定位位姿,确定车辆转弯时所述激光雷达采集到的每帧三维激光雷达点云各自对应的雷达定位位姿;采用基于ICP(Iterative Closest Point)算法的点云配准算法,根据所述车辆转弯时所述激光雷达采集到的每帧三维激光雷达点云各自对应的雷达定位位姿,对所述位姿参数进行优化。
在上述三维点云地图的建立方法的一个技术方案中,“确定当前帧三维激光雷达点云相对于根据之前多帧三维激光雷达点云建立的三维点云地图的相对位姿”的步骤具体包括:根据所述车辆的角速度和线速度,预测所述当前帧三维激光雷达点云相对于所述根据之前多帧三维激光雷达点云建立的三维点云地图的相对位姿,将预测的相对位姿作为先验相对位姿;基于所述先验相对位姿,确定当前帧三维激光雷达点云相对于所述根据之前多帧三维激光雷达点云建立的三维点云地图的相对位姿。
在上述三维点云地图的建立方法的一个技术方案中,在“根据所述相对位姿与所述当前帧三维激光雷达点云对所述三维点云地图进行地图更新,以建立所述行驶环境的三维点云地图”的步骤之后,所述方法还包括:按照预设的因子图(Pose Graph)的约束条件,采用基于因子图(Pose Graph)的位姿优化方法对所述当前帧三维激光雷达点云对应的雷达定位位姿进行优化;其中,所述预设的因子图(Pose Graph)的约束条件包括雷达定位位姿约束条件和全球定位位姿约束条件;
所述雷达定位位姿约束条件如下式所示:
其中,rodom表示雷达定位位姿约束条件的约束误差,表示因子图(PoseGraph)中第i-1个关键帧的绝对位姿,表示因子图(Pose Graph)中第i个关键帧的绝对位姿,表示对进行取逆运算,表示第i个关键帧相对于第i-1个关键帧的相对位姿,w表示世界坐标系,b表示车辆坐标系,所述关键帧是指相比于之前一帧三维激光雷达点云而言,雷达定位位姿的变化量大于预设阈值的一帧三维激光雷达点云;
所述全球定位位姿约束条件如下式所示:
其中,rrtk表示全球定位位姿约束条件的约束误差,表示在因子图(PoseGraph)中第j个关键帧对应的时间戳时的全球定位位姿,Trb表示车辆坐标系与全球卫星定位装置进行坐标系转换的位姿参数,表示因子图(Pose Graph)中第j个关键帧的绝对位姿,表示对进行取逆运算,r表示所述全球卫星定位装置的坐标系,j∈Ω,Ω表示所述全球卫星定位装置的定位信号正常时所述激光雷达采集到的三维激光雷达点云中的关键帧。
在上述三维点云地图的建立方法的一个技术方案中,在“根据所述雷达定位位姿对每帧三维激光雷达点云进行拼接,以建立所述行驶环境的三维点云地图”的步骤之前,所述方法还包括分别对每帧三维激光雷达点云进行点云去畸变处理。
在上述三维点云地图的建立方法的一个技术方案中,“确定当前帧三维激光雷达点云相对于根据之前多帧三维激光雷达点云建立的三维点云地图的相对位姿”的步骤具体包括:对所述当前帧三维激光雷达点云进行动态物体检测,根据检测的结果去除所述当前帧三维激光雷达点云中属于动态物体的三维激光雷达点云;根据去除所述属于动态物体的三维激光雷达点云之后的所述当前帧三维激光雷达点云,确定所述相对位姿。
在第二方面,提供一种车道标注数据的获取方法,所述方法包括:
获取在车辆行驶过程中所述车辆上的激光雷达采集到的行驶环境的三维激光雷达点云;采用上述任一项技术方案所述的三维点云地图的建立方法并根据所述三维激光雷达点云,建立所述行驶环境的三维点云地图;根据所述行驶环境的三维点云地图分别生成所述行驶环境的鸟瞰图(Bird Eye View)和高度图(Height Map);根据所述鸟瞰图(BirdEye View)与所述高度图(Height Map)对车辆行驶过程中所述行驶环境的车道元素进行标注,以形成包含一维时间信息和三维空间位置信息的四维车道元素标注数据。
在第三方面,提供一种计算机设备,该计算机设备包括处理器和存储装置,所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行上述方法的技术方案中任一项技术方案所述的三维点云地图的建立方法或车道标注数据的获取方法。
在第四方面,提供一种计算机可读存储介质,该计算机可读存储介质其中存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行上述方法的技术方案中任一项技术方案所述的三维点云地图的建立方法或车道标注数据的获取方法。
本发明上述一个或多个技术方案,至少具有如下一种或多种有益效果:
在实施本发明的一个技术方案中,可以获取在车辆行驶过程中车辆上的全球卫星定位装置的定位信号并判断定位信号是否正常;在全球卫星定位装置的定位信号正常时利用全球卫星定位装置建立三维点云地图,以提高三维点云地图的准确性,而在全球卫星定位装置的定位信号不正常时再根据当前帧三维激光雷达点云与在先地图的相对位姿进行地图更新,以提高三维点云地图的准确性。进一步,在利用上述三维点云地图进行车道元素标注时能够显著提高车道元素标注的准确性。
具体而言,若定位信号正常,则基于全球卫星定位装置与车辆上的激光雷达进行坐标系转换的位姿参数并根据全球卫星定位装置得到的全球定位位姿,分别确定激光雷达采集到的行驶环境的每帧三维激光雷达点云各自对应的雷达定位位姿,根据雷达定位位姿对每帧三维激光雷达点云进行拼接,以建立行驶环境的三维点云地图;若定位信号不正常,则针对每帧三维激光雷达点云,确定当前帧三维激光雷达点云相对于根据之前多帧三维激光雷达点云建立的三维点云地图的相对位姿,根据相对位姿与当前帧三维激光雷达点云对三维点云地图进行地图更新,以建立行驶环境的三维点云地图。
在实施本发明的另一个技术方案中,可以获取在车辆行驶过程中车辆上的激光雷达采集到的行驶环境的三维激光雷达点云,进而采用前述三维点云地图的建立方法并根据三维激光雷达点云,建立行驶环境的三维点云地图;根据行驶环境的三维点云地图分别生成行驶环境的鸟瞰图(Bird Eye View)和高度图(Height Map),最后根据鸟瞰图与高度图对车辆行驶过程中行驶环境的车道元素进行标注,以形成包含一维时间信息和三维空间位置信息的四维车道元素标注数据。
通过上述实施方式,能够准确得到在四维空间(由时间和三维空间形成的四维空间)内车道元素的标注数据,在利用这些标注数据对车辆的感知模型进行模型训练后,能够极大地提高感知模型的感知能力,从而可以在车辆行驶过程中准确地确定出行驶环境的实时局部地图和障碍物信息,保证车辆能够安全行驶。
附图说明
参照附图,本发明的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于说明的目的,而并非意在对本发明的保护范围组成限制。其中:
图1是根据本发明的一个实施例的三维点云地图的建立方法的主要步骤流程示意图;
图2是根据本发明的一个实施例的车道标注数据的获取方法的主要步骤流程示意图;
图3是根据本发明的一个实施例的去除属于动态物体的三维激光雷达点云的方法的主要步骤流程示意图;
图4是根据本发明的一个实施例的确定三维点云地图的地平面的方法的主要步骤流程示意图;
图5是根据本发明的一个实施例的三维点云地图的极坐标网格图的示意图;
图6是根据本发明的一个实施例的对激光雷达与图像采集装置之间进行坐标系转换的位姿参数进行标定的方法的主要步骤流程示意图;
图7是根据本发明的另一个实施例的对激光雷达与图像采集装置之间进行坐标系转换的位姿参数进行标定的方法的主要步骤流程示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
在本发明的描述中,“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。
下面首先对三维点云地图的建立方法的实施例进行说明。
参阅附图1,图1是根据本发明的一个实施例的三维点云地图的建立方法的主要步骤流程示意图。如图1所示,本发明实施例中的三维点云地图的建立方法主要包括下列步骤S101至步骤S107。
步骤S101:获取在车辆行驶过程中车辆上的全球卫星定位装置的定位信号。全球卫星定位装置是指利用卫星导航定位技术进行定位的装置。在本实施方式中全球卫星定位装置可以是基于全球导航卫星系统(Global Navigation Satellite System)进行定位的装置,也可以是基于全球定位系统(Global Positioning System)进行定位的装置,也可以是北斗卫星导航系统(BeiDou Navigation Satellite System)进行定位的装置,也可以是基于RTK(Real Time Kinematic)定位技术的装置等。本领域技术人员可以根据实际需求灵活地选择不同类型的全球卫星定位装置,本实施方式对此不进行具体限定。
步骤S102:判断定位信号是否正常;若正常,则执行步骤S103至步骤S105;若不正常,则执行步骤S106至步骤S107。
步骤S103:确定全球卫星定位装置与车辆上的激光雷达进行坐标系转换的位姿参数Tgo。
在实际应用中,在车辆上安装全球卫星定位装置和激光雷达之后,需要对全球卫星定位装置和激光雷达之间进行坐标系转换的位姿参数Tgo进行标定。在本实施方式中可以直接从全球卫星定位装置的位姿参数Tgo的标定结果中获取全球卫星定位装置与车辆上的激光雷达进行坐标系转换的位姿参数Tgo。
步骤S104:基于位姿参数Tgo并根据全球卫星定位装置得到的全球定位位姿,分别确定激光雷达采集到的行驶环境的每帧三维激光雷达点云各自对应的雷达定位位姿。
三维激光雷达点云是指根据行驶环境中的环境点在接收到车辆上的激光雷达(Laser Radar)向其发送的电磁波之后向激光雷达反射回去的回波信号,确定出来的三维数据,该三维数据包含了环境点在点云坐标系的三维坐标。
在车辆在行驶过程中由于车辆抖动可能会导致激光雷达实际输出的雷达定位位姿的误差比较大,如果利用激光雷达实际输出的雷达定位位姿建立行驶环境的三维点云地图,会影响三维点云地图的准确性。
而基于上述位姿参数Tgo确定出来的雷达定位位姿并不是激光雷达实际输出的雷达定位位姿,而是通过坐标系转换得到的与全球定位位姿匹配的雷达定位位姿。由于全球卫星定位装置的定位精度比较高,利用上述位姿参数匹配出来的雷达定位位姿的精度也会比较高,因此,利用上述位姿参数匹配出来的雷达定位位姿建立行驶环境的三维点云地图,会极大地提高三维点云地图的准确性。
步骤S105:根据雷达定位位姿对每帧三维激光雷达点云进行拼接,以建立行驶环境的三维点云地图。
具体地,可以根据每帧三维激光雷达点云各自对应的雷达定位位姿,分别确定相邻两帧三维激光雷达点云的相对位姿,进而根据相对位姿对这两帧三维激光雷达点云进行点云匹配,根据点云匹配的结果将这两帧三维激光雷达点云拼接在一起。
在一些实施方式中,为了提高三维点云地图的准确性,可以先对每帧三维激光雷达点云进行点云去畸变处理,再对进行点云去畸变处理之后的三维激光雷达点云进行拼接,建立行驶环境的三维点云地图。
需要说明的是,在本实施方式中可以采用三维激光雷达点云技术领域中常规的点云去畸变方法分别对每帧三维激光雷达点云进行点云去畸变处理,本实施方式对此不进行赘述。
步骤S106:针对每帧三维激光雷达点云,确定当前帧三维激光雷达点云相对于根据之前多帧三维激光雷达点云建立的三维点云地图的相对位姿(ego-motion)。
为了描述简洁,将“根据之前多帧三维激光雷达点云建立的三维点云地图”简称为“在先地图”,在本发明实施例中可以通过下列步骤11至步骤16来确定当前帧三维激光雷达点云与在先地图的相对位姿。
步骤11:从当前帧三维激光雷达点云包含的所有三维激光雷达点云中,筛选出第一边缘特征点和第一平面特征点。
具体地,可以计算每个三维激光雷达点云的粗糙度,将粗糙度小于预设的粗糙度阈值的三维激光雷达点云作为第一平面特征点,将粗糙度大于等于预设的粗糙度阈值的三维激光雷达点云作为第一边缘特征点。
需要说明的是,在本实施方式中可以采用三维点云处理技术领域中常规的点云粗糙度的计算方法来计算每个三维激光雷达点云的粗糙度,本实施方式不对上述计算方法作具体限定。此外,本领域技术人员也可以根据实际需求灵活地设置预设的粗糙度阈值的具体数值,本实施方式同样对此不进行具体限定。
步骤12:从在先地图包含的三维激光雷达点云中筛选出第二边缘特征点和第二平面特征点,根据筛选出来的第二边缘特征点和第二平面特征点建立三维激光雷达点云的KD-Tree(K维度的搜索树)。
从在先地图包含的三维激光雷达点云中筛选出第二边缘特征点和第二平面特征点的方法与前述步骤11筛选第一边缘特征点和第一平面特征点的方法相同,在此不再赘述。此外,在本实施方式中可以采用常规的KD-Tree建立方法,根据筛选出来的第二边缘特征点和第二平面特征点建立三维激光雷达点云的KD-Tree。
步骤13:根据三维激光雷达点云的KD-Tree,搜索与第一边缘特征点最近邻的第二边缘特征点,以及搜索与第一平面特征点最近邻的第二平面特征点。
步骤14:根据相对位姿,分别确定在先地图上与第一边缘特征点匹配的三维激光雷达点云以及与第一平面特征点匹配的三维激光雷达点云,其中,将“与第一边缘特征点匹配的三维激光雷达点云”简称为“在先匹配边缘点云”,将“与第一平面特征点匹配的三维激光雷达点云”简称为“在先匹配平面点云”。
在先匹配边缘点云可以表示为f1(A1,O),A1表示第一边缘特征点的位姿,O表示当前帧三维激光雷达点云与在先地图的相对位姿。
在先匹配平面点云可以表示为f2(A2,O),A2表示第一平面特征点的位姿,O表示当前帧三维激光雷达点云与在先地图的相对位姿。
步骤15:根据在先匹配边缘点云与第二边缘特征点建立边缘特征点损失函数,根据在先匹配平面点云与第二平面特征点建立平面特征点损失函数。
边缘特征点损失函数是指在先匹配边缘点云到第二边缘特征点所形成的线段的距离误差方程,边缘特征点损失函数的损失值就是“在先匹配边缘点云到第二边缘特征点所形成的线段的距离”;
平面特征点损失函数是指在先匹配平面点云到第二平面特征点所形成的平面的距离误差方程,平面特征点损失函数的损失值就是“在先匹配平面点云到第二平面特征点所形成的平面的距离”。
步骤16:分别以边缘特征点损失函数与平面特征点损失函数的损失值小于预设值为目标,对相对位姿O进行迭代优化,将边缘特征点损失函数与平面特征点损失函数的损失值小于预设值是的相对位姿O作为最终的相对位姿。
步骤S107:根据相对位姿与当前帧三维激光雷达点云对三维点云地图进行地图更新,以建立行驶环境的三维点云地图。
对于首帧三维激光雷达点云而言,不存在在先地图,可以将首帧三维激光雷达点云作为第二帧三维激光雷达点云的在先地图。
对于每个非首帧三维激光雷达点云而言,在确定出当前帧三维激光雷达点云与在先地图的相对位姿之后,可以根据这个相对位姿,对当前帧三维激光雷达点云中的每个三维激光雷达点云与在先地图中的三维激光雷达点云进行点云配准,以确定当前帧三维激光雷达点云中的每个三维激光雷达点云分别与在先地图中的哪个三维激光雷达点云是匹配的或对应的,最后根据点云配准的结果将当前帧三维激光雷达点云中的三维激光雷达点云加入到在先地图中,即对当前帧三维激光雷达点云与在先地图进行拼接,形成新的地图,这个新的地图又成为了下一帧三维激光雷达点云的在先地图。
基于上述步骤S101至步骤S107所述的方法,可以复用车辆上安装的全球卫星定位装置,利用全球卫星定位装置定位精度高的优点,在全球卫星定位装置的定位信号正常时利用全球卫星定位装置建立三维点云地图,以提高三维点云地图的准确性,而在全球卫星定位装置的定位信号不正常时再根据当前帧三维激光雷达点云与在先地图的相对位姿进行地图更新,以建立三维点云地图。
下面对上述步骤S103、步骤S104和步骤S106作进一步说明。首先,对上述步骤S103进行说明。
为了提高基于位姿参数进行坐标系转换得到雷达定位位姿的准确性,在上述步骤S103的一些实施方式中,可以通过下列步骤21至步骤23来确定全球卫星定位装置与车辆上的激光雷达进行坐标系转换的位姿参数T。
步骤21:根据位姿参数(全球卫星定位装置与车辆上的激光雷达进行坐标系转换的初始位姿参数)与车辆转弯时全球卫星定位装置得到的全球定位位姿,确定车辆转弯时激光雷达采集到的每帧三维激光雷达点云各自对应的雷达定位位姿。
雷达定位位姿To可以表示成To=Tgo*Tg,Tgo表示全球卫星定位装置与车辆上的激光雷达进行坐标系转换的位姿参数,Tg表示全球卫星定位装置得到的全球定位位姿。
相比于直线行驶,车辆转弯时位置和姿态(位姿)的变化会比较大,因而利用车辆转弯时的数据能够更加准确地确定出全球卫星定位装置与车辆上的激光雷达进行坐标系转换的位姿参数Tgo。
与步骤S104类似的是,基于上述位姿参数Tgo确定出来的雷达定位位姿并不是激光雷达实际输出的雷达定位位姿,而是通过坐标系转换得到的与全球定位位姿匹配的雷达定位位姿。
步骤22:采用基于ICP(Iterative Closest Point)算法的点云配准算法,根据车辆转弯时激光雷达采集到的每帧三维激光雷达点云各自对应的雷达定位位姿,对位姿参数Tgo进行优化。
具体地,首先建立三维激光雷达点云的KD-Tree(K维度的搜索树);然后基于KD-Tree搜索相邻两帧三维激光雷达点云中具有最近邻匹配关系的三维激光雷达点云;最后采用基于ICP(Iterative Closest Point)算法的点云配准算法,并根据上述具有最近邻匹配关系的三维激光雷达点云对全球卫星定位装置与车辆上的激光雷达进行坐标系转换的位姿参数Tgo进行优化。在一些优选实施方式中,基于ICP算法的点云配准算法可以是基于ICP算法中point-to-plane的方法的点云配准算法。为了描述简洁,本发明实施例不对point-to-plane的方法进行具体说明。
步骤23:将优化后的位姿参数Tgo作为最终的位姿参数Tgo,即步骤S104中使用的位姿参数Tgo。
基于上述步骤21至步骤23所述的方法,能够显著提高位姿参数Tgo的标定准确性。
以上是对步骤S103的进一步说明。
下面继续对上述步骤S104作进一步说明。
为了准确得到每帧三维激光雷达点云各自对应的雷达定位位姿,在上述步骤S104的一些实施方式中可以通过下列步骤31至步骤32来获取雷达定位位姿。
步骤31:根据每帧三维激光雷达点云各自对应的时间戳,分别对全球卫星定位装置得到的全球定位位姿进行插值计算,得到在每个时间戳下的全球定位位姿。
由于全球卫星定位装置与激光雷达的采集时间可能不同步,这就导致在某些时刻激光雷达采集到了新的一帧三维激光雷达点云,但此全球卫星定位装置可能会延迟一点时间才采集到了新的一帧定位信号,即激光雷达实际采集到的三维激光雷达点云与全球卫星定位装置采集到的定位信号的全球定位位姿并不是一一对应的。而通过上述对全球定位位姿进行时间戳插值计算的方法,就能够准确得到每帧三维激光雷达点云各自对应的全球定位位姿,即得到与激光雷达实际采集到的每帧三维激光雷达点云一一对应的全球定位位姿。
步骤32:基于全球卫星定位装置与激光雷达进行坐标系转换的位姿参数Tgo,并根据在每个时间戳下的全球定位位姿,分别确定每帧三维激光雷达点云各自对应的雷达定位位姿。
基于上述步骤31至步骤32所述的方法,能够准确地得到与激光雷达实际采集到的每帧三维激光雷达点云一一对应的雷达定位位姿。
以上是对步骤S104的进一步说明。
下面继续对上述步骤S106作进一步说明。
根据上述步骤S106中的步骤15可知,在确定当前帧三维激光雷达点云相对于在先地图的相对位姿时主要是对点云的几何结构特征(在先匹配边缘点云到第二边缘特征点所形成的线段的距离和在先匹配平面点云到第二平面特征点所形成的平面的距离)进行配准来确定相对位姿。然而,当车辆在几何结构特征重复性较强的场景(比如高速公路、隧道或跨海大桥等)下行驶时,采用上述对点云的几何结构特征进行配准的方法确定相对位姿,可能会造成误匹配。对此,为了克服上述问题,提高确定相对位姿的方法的鲁棒性,在本实施方式中可以通过下列步骤41至步骤42来确定当前帧三维激光雷达点云相对于在先地图的相对位姿。
步骤41:根据车辆的角速度和线速度,预测当前帧三维激光雷达点云相对于根据之前多帧三维激光雷达点云建立的三维点云地图的相对位姿,将预测的相对位姿作为先验相对位姿。
角速度是指在单位时间(如1秒)内转过的弧度,线速度是指在单位时间(如1秒)内走过的距离。当全球卫星定位装置的定位信号不正常的时候可以通过CAN(ControllerArea Network)总线接收来自车辆的轮式里程计的角速度和线速度;当全球卫星定位装置的定位信号正常的时候可以通过全球卫星定位装置获得角速度和线速度。
车辆的角速度和线速度在激光雷达的一个或几个扫描周期(短时间)内通常不会发生突变,因而可以根据前一帧或前几帧三维激光雷达点云对应的扫描周期内车辆的角速度来预测当前帧三维激光雷达点云的姿态变化量,同时也可以根据前一帧或前几帧三维激光雷达点云对应的扫描周期内车辆的线速度来预测当前帧三维激光雷达点云的位置变化量,根据上述姿态变化量和姿态变化量就可以得到当前帧三维激光雷达点云相对于在先地图的相对位姿的预测结果。
步骤42:基于先验相对位姿,确定当前帧三维激光雷达点云相对于根据之前多帧三维激光雷达点云建立的三维点云地图的相对位姿。具体地,首先采用前述实施方式中步骤11至步骤16所述的方法确定出当前帧三维激光雷达点云相对于在先地图的相对位姿,为了描述简洁,将该相对位姿简称为初始相对位姿。然后,对初始相对位姿与先验相对位姿进行比对;若二者的差距较小,则将初始相对位姿作为最终的相对位姿;若二者的差距较大,则将先验相对位姿作为最终的相对位姿。
基于上述步骤41至步骤42所述的方法,即使车辆在几何结构特征重复性较强的场景下行驶时也能够准确得到当前帧三维激光雷达点云相对于在先地图的相对位姿。
此外,在另一些实施方式中,为了进一步提高确定相对位姿的方法的鲁棒性,在确定当前帧三维激光雷达点云相对于在先地图的相对位姿之前,可以对先对当前帧三维激光雷达点云进行动态物体检测,根据检测的结果去除当前帧三维激光雷达点云中属于动态物体的三维激光雷达点云,最后再根据去除属于动态物体的三维激光雷达点云之后的当前帧三维激光雷达点云,确定相对位姿。
在本实施方式中可以使用三维激光雷达点云样本对基于深度卷积神经网络建立的动态物体检测模型进行模型训练,然后采用训练好的动态物体检测模型对每帧三维激光雷达点云进行动态物体检测,动态物体检测模型可以输出每帧三维激光雷达点云中每个动态物体的检测框,位于检测框内的三维激光雷达点云就是属于动态物体的三维激光雷达点云,将这些三维激光雷达点云去除即可。
进一步,在本实施方式中,为了避免激光雷达实际输出的当前帧三维激光雷达点云对应的雷达定位位姿和/或三维点云地图发生漂移,在根据当前帧三维激光雷达点云相对于在先地图的相对位姿与当前帧三维激光雷达点云对三维点云地图进行地图更新,以建立行驶环境的三维点云地图之后,还可以通过下列步骤51对当前帧三维激光雷达点云对应的雷达定位位姿进行优化。
步骤51:按照预设的因子图(Pose Graph)的约束条件,采用基于因子图(PoseGraph)的位姿优化方法对当前帧三维激光雷达点云对应的雷达定位位姿进行优化。需要说明的是,基于因子图(Pose Graph)的位姿优化方法是定位与建图技术领域中常规的位姿优化方法,本实施方式不对该方法的具体原理进行说明,仅对该方法采用的约束条件进行说明。
预设的因子图(Pose Graph)的约束条件可以包括雷达定位位姿约束条件和全球定位位姿约束条件。下面分别对雷达定位位姿约束条件和全球定位位姿约束条件进行说明。
(一)雷达定位位姿约束条件。
在本实施方式中雷达定位位姿约束条件如下式(1)所示。
在公式(1)中各参数含义如下:
rodom表示雷达定位位姿约束条件的约束误差,表示因子图(Pose Graph)中第i-1个关键帧的绝对位姿,表示因子图(Pose Graph)中第i个关键帧的绝对位姿,表示对进行取逆运算,表示第i个关键帧相对于第i-1个关键帧的相对位姿,w表示世界坐标系,b表示车辆坐标系。绝对位姿是指相对于世界坐标系的位姿。
关键帧是指相比于之前一帧三维激光雷达点云而言,雷达定位位姿的变化量大于预设阈值的一帧三维激光雷达点云,也就是说,在建立因子图(Pose Graph)时是根据那些雷达定位位姿的变化量较大的三维激光雷达点云进行构建,去除了雷达定位位姿的变化量较小的三维激光雷达点云。由于雷达定位位姿的变化量较小的三维激光雷达点云对车辆定位和地图更新的影响比较小,同时这些三维激光雷达点云的数量也比较多,因此,去除这些雷达定位位姿的变化量较小的三维激光雷达点云,可以显著提高基于因子图(Pose Graph)进行位姿优化的优化效率。
(二)全球定位位姿约束条件。
在本实施方式中全球定位位姿约束条件如下式(2)所示。
在公式(2)中各参数含义如下:
rrtk表示全球定位位姿约束条件的约束误差,表示在因子图(Pose Graph)中第j个关键帧对应的时间戳时的全球定位位姿,Trb表示车辆坐标系与全球卫星定位装置进行坐标系转换的位姿参数,表示因子图(Pose Graph)中第j个关键帧的绝对位姿,表示对进行取逆运算,r表示全球卫星定位装置的坐标系,j∈Ω,Ω表示全球卫星定位装置的定位信号正常时激光雷达采集到的三维激光雷达点云中的关键帧。
上述预设的因子图(Pose Graph)的约束条件的约束目标是使约束误差rodom与约束误差rrtk的和达到最小。
以上是对图1所示方法实施例的步骤S106的具体说明。
下面继续对车道标注数据的获取方法的实施例进行说明。
一、车道标注数据的获取方法的第一个实施例
参阅附图2,图2是根据本发明实施例的车道标注数据的获取方法的主要步骤流程示意图。如图2所示,本发明实施例中的车道标注数据的获取方法主要包括下列步骤S201至步骤S204。
步骤S201:获取在车辆行驶过程中车辆上的激光雷达采集到的行驶环境的三维激光雷达点云。
步骤S202:根据三维激光雷达点云,建立行驶环境的三维点云地图。
在本发明实施例中可以前述三维点云地图的建立方法实施例所述的方法,根据三维激光雷达点云,建立行驶环境的三维点云地图。
步骤S203:根据行驶环境的三维点云地图分别生成行驶环境的鸟瞰图(Bird EyeView)和高度图(Height Map)。
鸟瞰图是指将三维点云地图中的三维激光雷达点云投影至垂直于点云高度方向上的平面后得到的图像,该图像中的每个图像点分别与三维点云地图中的每个三维激光雷达点云一一对应。
高度图中的每个图像点也分别与三维点云地图中的每个三维激光雷达点云一一对应,每个图像点分别保存了各自对应的三维激光雷达点云的点云高度。
需要说明的是,本领域技术人员可以采用三维激光雷达点云处理技术领域中常规的鸟瞰图生成方法并根据三维点云地图中的三维激光雷达点云生成行驶环境的鸟瞰图,此外也可以采用常规的高度图生成方法并根据三维点云地图中的三维激光雷达点云生成行驶环境的高度图,本发明实施例不对上述方法作具体限定。
步骤S204:根据鸟瞰图与高度图对车辆行驶过程中行驶环境的车道元素进行标注,以形成包含一维时间信息和三维空间位置信息的四维车道元素标注数据。
三维点云地图是根据车辆行驶过程中的三维激光雷达点云建立的,因而这个三维点云地图是一个动态地,包含了时间信息的地图。进而,根据这个三维点云地图确定出来的鸟瞰图与高度图也是动态地,包含了时间信息的图像。车道元素至少包括车道上的交通标识和/或其他能够起到标识作用的物体,其中,交通标识至少包括车道线、停止线、路标标识(如左转弯箭头)、交通显示灯和交通标志牌等,其他能够起到标识作用的物体至少包括杆状物体。
在根据上述鸟瞰图与高度图进行车道元素标注时,实际上是根据按照时间由先至后的顺序排列的鸟瞰图序列和高度图序列进行车道元素标注,因而能够形成包含一维时间信息和三维空间位置信息的四维车道元素标注数据。其中,一维时间信息可以由鸟瞰图或高度图的时间信息确定,三维空间位置信息中的二维平面位置可以根据鸟瞰图确定,三维空间位置信息中的高度信息可以根据高度图确定。
基于上述步骤S201至步骤S204所述的方法,能够准确得到在四维空间(由时间和三维空间形成的四维空间)内车道元素的标注数据,在利用这些标注数据对车辆的感知模型进行模型训练后,能够极大地提高感知模型的感知能力,从而可以在车辆行驶过程中准确地确定出行驶环境的实时局部地图和障碍物信息,保证车辆能够安全行驶。
至此,已结合附图对车道标注数据的获取方法的第一个实施例作了说明,下面对车道标注数据的获取方法的第二个实施例进行说明。
二、车道标注数据的获取方法的第二个实施例
在根据本发明的第二个实施例的车道标注数据的获取方法中,该车道标注数据的获取方法可以包括图2所示方法实施例的步骤S201至步骤S204,而与图2所示方法实施例的主要区别在于,在执行完步骤S202之后且在执行步骤S203之前,还包括一个去除属于动态物体的三维激光雷达点云的步骤。具体而言,参阅附图3,图3示例性示出了本发明实施例中去除属于动态物体的三维激光雷达点云的方法的主要流程。如图3所示,在本发明实施例中可以通过下列步骤S301至步骤S302来去除属于动态物体的三维激光雷达点云。
步骤S301:对三维点云地图中的三维激光雷达点云进行地面拟合,以确定三维点云地图的地平面。
步骤S302:根据地平面去除三维点云地图中属于动态物体的三维激光雷达点云。具体地,可以将位于地平面以上的三维激光雷达点云作为属于动态物体的三维激光雷达点云。在一些实施方式中,可以在确定出地平面之后,根据每个三维激光雷达点云各自对应的位置处的地面高度,进而根据每个三维激光雷达点云各自对应的点云高度与地面高度,来判断三维激光雷达点云是地面点云还是非地面点云,最后去除所有的非地面点云。其中,若点云高度小于等于地面高度,则三维激光雷达点云是地面点云;否则,三维激光雷达点云是非地面点云。
基于上述步骤S301至步骤S302所述的方法,可以去除三维点云地图中属于动态物体的三维激光雷达点云,这样在根据三维点云地图进行车道元素标注时可以排除上述属于动态物体的三维激光雷达点云对车道元素的干扰,从而提高车道元素的标注效率。
下面对上述步骤S201作进一步说明。
参阅附图4,在上述步骤S301的一些实施方式中,可以通过下列步骤S3011至步骤S3014来确定三维点云地图的地平面。
步骤S3011:采用基于同心圆模型(Concentric Zone Model)的极坐标网格表示方法,以三维点云地图的中心点为极点,建立三维点云地图的极坐标网格图。
以图5所示的极坐标网格图为例,对基于同心圆模型(Concentric Zone Model)的极坐标网格表示方法进行简单说明。
具体地,以三维点云地图的中心点为极点,沿着极径值由小至大的顺序形成多个同心圆区域,每个同心圆区域各自对应的极径值可以相同,也可以不同。如图5所示,沿着极径值由小至大的顺序形成四个同心圆区域Z1、Z2、Z3和Z4各自对应的极径值都不同。在确定好多个同心圆区域之后,再次对每个同心圆区域进行网格化划分。在同一个同心圆区域中每个网格各自对应的极角角度(网格覆盖的极角角度的范围)相同,不同同心圆区域中网格对应的极角角度可以不同。如图5所示,同心圆区域Z2和Z3中网格对应的极角角度相同且最小,其次极角角度较小的是同心圆区域Z1,极角角度最大的是同心圆区域Z4。
步骤S3012:针对极坐标网格图中的每个网格,对网格内的三维激光雷达点云进行平面拟合,得到网格内的多个平面。
在本实施方式中可以采用平面拟合技术领域常规的平面拟合方法分别对每个网格内的三维激光雷达点云进行平面拟合。例如,可以采用RANSAC(RANdom SampleConsensus)算法进行平面拟合。
步骤S3013:根据每个平面的平面法向量以及网格内每个三维激光雷达点云的高度,并以每个平面法向量的垂直角度偏差小于预设的角度偏差阈值且网格内相邻三维激光雷达点云的高度差小于预设的高度差阈值为约束条件,确定网格是否为地面网格。
垂直角度偏差是指平面法向量与三维激光雷达点云的垂直方向的角度偏差,可以利用向量[0 0 1]表示垂直向上,或利用向量[0 0-1]来表示垂直向下。在确定出平面法向量之后,可以通过向量夹角计算的方法计算平面法向量与上述表示垂直向上的向量[0 01](或上述表示垂直向下的向量[0 0-1])的向量夹角,将这个向量夹角作为垂直角度偏差。
如果垂直角度偏差小于预设的角度偏差阈值,表明平面法向量是垂直于地面的,那么平面法向量对应的平面就可能是地平面;如果网格内相邻三维激光雷达点云的高度差小于预设的高度差阈值,表明这个网格内的三维激光雷达点云是比较平滑的,这个网格也可能是地面网格。在同时满足上述垂直角度偏差小于预设的角度偏差阈值以及网格内相邻三维激光雷达点云的高度差小于预设的高度差阈值这两个条件后,就可以判定网格是地面网格。
步骤S3014:对地面网格内的三维激光雷达点云进行地面拟合,以确定三维点云地图的地平面。
在本实施方式中可以采用平面拟合技术领域常规的平面拟合方法对地面网格内的三维激光雷达点云进行地面拟合,以确定三维点云地图的地平面,本实施方式对此不进行赘述。
基于上述步骤S3011至步骤S3014所述的方法,能够准确得到三维点云地图的地平面,进而提高地面点云和非地面点云的准确性,并最终提高去除属于动态物体的三维激光雷达点云的准确性。
至此,已结合附图对车道标注数据的获取方法的第二个实施例作了说明,下面对车道标注数据的获取方法的第三个实施例进行说明。
三、车道标注数据的获取方法的第三个实施例
在根据本发明的第三个实施例的车道标注数据的获取方法中,该车道标注数据的获取方法除了包括图2所示方法实施例的步骤S201至步骤S204,而与图2所示方法实施例的主要区别在于,在执行完步骤S202之后且在执行步骤S203之前,还包括对三维激光雷达点云进行着色的步骤。具体地,对三维激光雷达点云进行着色的步骤可以包括:
根据车辆上图像采集装置采集到的行驶环境的二维图像的颜色信息,对行驶环境的三维点云地图进行着色处理,以在生成行驶环境的鸟瞰图(Bird Eye View)时能够对行驶环境进行可视化显示。
具体地,可以将二维图像的颜色信息加入到三维点云地图中三维激光雷达点云的点云信息中,以实现对三维点云地图的着色处理。
在一些优选实施方式中,可以通过下列步骤S401至步骤S402对行驶环境的三维点云地图进行着色处理。
步骤S401:根据三维点云地图中每个三维激光雷达点云的激光反射强度,确定清晰的三维激光雷达点云和不清晰的三维激光雷达点云。具体地,可以对激光反射强度与预设的强度阈值进行比较;若激光反射强度小于预设的强度阈值,则三维激光雷达点云是不清晰的三维激光雷达点云;若激光反射强度大于等于预设的强度阈值,则三维激光雷达点云是清晰的三维激光雷达点云。本领域技术人员可以根据实际需求灵活设置预设的强度阈值的具体数值,本实施方式对此不进行具体限定。在一些优选实施方式中,可以通过并行处理的方式,分别确定三维点云地图的每帧三维激光雷达点云中清晰的三维激光雷达点云和不清晰的三维激光雷达点云,以提高处理效率。
步骤S402:根据行驶环境的二维图像的颜色信息,对不清晰的三维激光雷达点云进行着色处理,以在生成行驶环境的鸟瞰图(Bird Eye View)时能够对不清晰的三维激光雷达点云进行可视化显示。具体地,可以将二维图像的颜色信息加入到不清晰的三维激光雷达点云的点云信息中,以实现对三维点云地图的着色处理。与步骤S401类似的是,在一些优选实施方式中,也可以通过并行处理的方式,根据车辆上图像采集装置采集到的行驶环境的二维图像的颜色信息,分别对每帧三维激光雷达点云中不清晰的三维激光雷达点云进行着色处理,以提高处理效率。
基于上述步骤S401至步骤S402所述的方法,可以对不清晰的三维激光雷达点云进行着色处理,提高对不清晰的三维激光雷达点云的可视化程度。
下面对上述步骤S402作进一步说明。
在上述步骤S402的一些实施方式中,可以通过下列步骤S4021至步骤S4022对不清晰的三维激光雷达点云进行着色处理。
步骤S4021:根据每帧三维激光雷达点云各自对应的时间戳以及图像采集装置采集到的每帧二维图像各自对应的时间戳,分别确定每帧三维激光雷达点云各自对应的最近邻二维图像。
步骤S4022:根据最近邻二维图像,分别对每帧三维激光雷达点云中不清晰的三维激光雷达点云进行着色处理。具体地,首先根据最近邻二维图像对应的时间戳,对激光雷达得到的雷达定位位姿进行插值计算,得到在该时间戳下的雷达定位位姿;然后基于激光雷达与图像采集装置进行坐标系转换的位姿参数,并根据上述时间戳下的雷达定位位姿,确定出最近邻二维图像对应的图像定位位姿;进而根据图像定位位姿与不清晰的三维激光雷达点云在雷达坐标系的位置信息,确定出将不清晰的三维激光雷达点云投影到最近邻二维图像之后的投影图像点;最后,根据这个投影图像点的颜色信息对不清晰的三维激光雷达点云进行着色处理。
进一步,在车辆上图像采集装置的数量是多个且当前帧三维激光雷达点云对应的最近邻二维图像包括多个图像采集装置采集到的二维图像的情况下,可以按照预设的图像采集装置的排列顺序,选取最后一个图像采集装置采集到的二维图像作为最终的最近邻二维图像,进而根据最终的最近邻二维图像对当前帧三维激光雷达点云中不清晰的三维激光雷达点云进行着色处理。
假设,车辆上设置有6个图像采集装置A、B、C、D、E和F,且这6个图像采集装置的排列顺序是ABCDEF。例如,当前帧三维激光雷达点云对应的最近邻二维图像包括图像采集装置A、B、C、D、E和F这六个图像采集装置采集到的二维图像a、b、c、d、e和f,由于排列在最后一个的图像采集装置是F,因此,将二维图像f作为最终的最近邻二维图像。
又例如,当前帧三维激光雷达点云对应的最近邻二维图像包括图像采集装置A、C和E这三个图像采集装置采集到的二维图像a、c和e,由于排列在最后一个的图像采集装置是E,因此,将二维图像e作为最终的最近邻二维图像。
基于上述步骤S4021至步骤S4022所述的方法,可以在车辆上设置有多个图像采集装置的情况下,也能够准确且可靠地对不清晰的三维激光雷达点云进行着色处理。
在上述步骤S402的另一些实施方式中,可以通过下列步骤S4023至步骤S4024对不清晰的三维激光雷达点云进行着色处理。
步骤S4023:提取二维图像中预设的行驶环境感兴趣区域(Region of Interest)。
预设的行驶环境感兴趣区域(Region of Interest)至少包含行驶环境中的车道区域,同时不包含可能会对点云着色产生干扰的区域。其中,可能会对点云着色产生干扰的区域至少可以包括车辆自身的图像区域和图像曝光产生的干扰区域。图像曝光产生的干扰区域可以是由于卷帘快门(rolling shutter)效应产生的干扰区域。
步骤S4024:根据预设的行驶环境感兴趣区域(Region of Interest)的颜色信息对不清晰的三维激光雷达点云进行着色处理。此步骤的实施方式与前述步骤S4022所述的方法类似,在此不再进行赘述。
进一步,在根据本发明的第三个实施例的车道标注数据的获取方法中,该车道标注数据的获取方法包括的图2所示方法实施例的步骤S203和步骤S204可以分别替换成下列步骤S403至步骤S405。
步骤S403:根据着色处理后的三维点云地图中清晰的三维激光雷达点云生成第一鸟瞰图(Bird Eye View),根据着色处理后的三维点云地图中不清晰的三维激光雷达点云生成第二鸟瞰图(Bird Eye View),根据着色处理后的三维点云地图生成高度图(HeightMap)。在第一鸟瞰图(Bird Eye View)中,每个图像点分别与清晰的三维激光雷达点云一一对应;在第二鸟瞰图(Bird Eye View),每个图像点分别与不清晰的三维激光雷达点云一一对应。
步骤S404:响应于接收到标注启动指令后,加载并显示第一鸟瞰图(Bird EyeView)与高度图(Height Map)。
步骤S405:在加载第一鸟瞰图(Bird Eye View)与高度图(Height Map)的过程中,若接收到的标注切换指令,则加载并显示第二鸟瞰图(Bird Eye View)与高度图(HeightMap)。
基于上述步骤S403至步骤S405所述的方法,可以在启动车道元素标注工作时优先加载第一鸟瞰图(Bird Eye View),当从第一鸟瞰图(Bird Eye View)上无法看清某些车道元素时再切换加载第二鸟瞰图(Bird Eye View),继续完成车道元素标注工作。
进一步,在根据本发明的第三个实施例的车道标注数据的获取方法中,该车道标注数据的获取方法除了可以包括图2所示方法实施例的步骤S201至步骤S204,也可以包括图3所示方法实施例的步骤S301至步骤S302(第二个实施例的车道标注数据的获取方法)。此时,可以在执行完步骤S302之后且在执行步骤S203之前,执行对三维激光雷达点云进行着色的步骤。
至此,已结合附图对车道标注数据的获取方法的第三个实施例作了说明,下面对车道标注数据的获取方法的第四个实施例进行说明。
四、车道标注数据的获取方法的第四个实施例
在根据本发明的第四个实施例的车道标注数据的获取方法中,该车道标注数据的获取方法可以包括图2所示方法实施例的步骤S201至步骤S204,而与图2所示方法实施例的主要区别在于,在执行完步骤S204之后还包括对激光雷达与图像采集装置进行坐标系转换的位姿参数进行标定的步骤。具体而言,参阅附图6,图6示例性示出了本发明实施例中对激光雷达与图像采集装置进行坐标系转换的位姿参数进行标定的方法的主要流程。如图6所示,在本发明实施例中可以通过下列步骤S501至步骤S502对激光雷达与图像采集装置进行坐标系转换的位姿参数进行标定。
步骤S501:获取对车辆上图像采集装置采集到的行驶环境的二维图像进行车道元素检测得到的二维车道元素检测数据。
在本实施方式中可以使用二维图像样本对基于深度卷积神经网络建立的二维车道元素检测模型进行模型训练,然后采用训练好的二维车道元素检测模型对二维图像进行车道元素检测。
步骤S502:根据四维车道元素标注数据与二维车道元素检测数据,对激光雷达与图像采集装置进行坐标系转换的位姿参数进行标定。
参阅附图7,在本实施例中可以通过下列步骤S5021至步骤S5024对激光雷达与图像采集装置进行坐标系转换的位姿参数进行标定。
步骤S5021:根据位姿参数将四维车道元素标注数据投影至图像采集装置的坐标系,得到四维车道元素标注数据的投影点f(A,O)。
其中,A表示四维车道元素标注数据在激光雷达的坐标系下的坐标,O表示位姿参数。
步骤S5022:确定二维图像上距离投影点f(A,O)最近的两个图像点。
步骤S5023:根据投影点f(A,O)与两个图像点形成的线段cd,建立投影点f(A,O)到线段cd的距离误差方程。
投影点f(A,O)到线段cd的距离误差方程如下式(3)所示。
loss=d(f(A,O),cd) (3)
上述公式(3)中各参数含义如下:
d表示投影点f(A,O)到线段cd的距离计算函数,loss表示距离计算函数d计算得到的距离。
步骤S5024:以使距离loss小于预设的距离阈值为目标,对距离误差方程中的位姿参数O进行迭代优化,并获取使距离loss小于预设的距离阈值时的位姿参数O,将位姿参数O作为标定后的位姿参数。
在本发明实施例中可以采用最小二乘算法对距离误差方程中的位姿参数O进行迭代优化。例如,可以采用最小二乘算法中的列文伯格-马夸尔特(Levenberg-Marquardt)算法对距离误差方程中的位姿参数O进行迭代优化。本发明实施例不对上述迭代优化的方法作具体限定。
基于上述步骤S5021至步骤S5024所述的方法,能够提高地对激光雷达与图像采集装置进行坐标系转换的位姿参数进行标定的准确性。
进一步,在根据本发明的第四个实施例的车道标注数据的获取方法中,该车道标注数据的获取方法除了可以包括前述步骤S501至步骤S502,还可以基于标定后的位姿参数并根据四维车道元素标注数据,确定在行驶环境的二维图像上的车道元素标注数据。具体地,可以基于标定后的位姿参数对四维车道元素标注数据进行坐标系转换,确定出四维车道元素标注数据在二维图像上对应的图像点,根据这些图像点就可以确定出二维图像上的车道元素标注数据。通过这种方式能够极大地提高获取二维图像上的车道元素标注数据的效率和准确性。
以上是对车道标注数据的获取方法的第四个实施例的说明。
需要指出的是,尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述,但是本领域技术人员可以理解,为了实现本发明的效果,不同的步骤之间并非必须按照这样的顺序执行,其可以同时(并行)执行或以其他顺序执行,这些变化都在本发明的保护范围之内。
本领域技术人员能够理解的是,本发明实现上述一实施例的方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
进一步,本发明还提供了一种计算机设备。在根据本发明的一个计算机设备的实施例中,计算机设备包括处理器和存储装置,存储装置可以被配置成存储执行上述方法实施例的三维点云地图的建立方法或车道标注数据的获取方法的程序,处理器可以被配置成执行存储装置中的程序,该程序包括但不限于执行上述方法实施例的三维点云地图的建立方法或车道标注数据的获取方法的程序。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该计算机设备可以是包括各种电子设备形成的控制装置设备。
进一步,本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质的实施例中,计算机可读存储介质可以被配置成存储执行上述方法实施例的三维点云地图的建立方法或车道标注数据的获取方法的程序,该程序可以由处理器加载并运行以实现上述三维点云地图的建立方法或车道标注数据的获取方法。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备,可选的,本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
至此,已经结合附图所示的一个实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种三维点云地图的建立方法,其特征在于,所述方法包括:
获取在车辆行驶过程中所述车辆上的全球卫星定位装置的定位信号并判断所述定位信号是否正常;
若正常,则基于所述全球卫星定位装置与所述车辆上的激光雷达进行坐标系转换的位姿参数并根据所述全球卫星定位装置得到的全球定位位姿,分别确定所述激光雷达采集到的行驶环境的每帧三维激光雷达点云各自对应的雷达定位位姿,根据所述雷达定位位姿对每帧三维激光雷达点云进行拼接,以建立所述行驶环境的三维点云地图;
若不正常,则针对每帧三维激光雷达点云,确定当前帧三维激光雷达点云相对于根据之前多帧三维激光雷达点云建立的三维点云地图的相对位姿,根据所述相对位姿与所述当前帧三维激光雷达点云对所述三维点云地图进行地图更新,以建立所述行驶环境的三维点云地图。
2.根据权利要求1所述的三维点云地图的建立方法,其特征在于,“基于所述全球卫星定位装置与所述车辆上的激光雷达进行坐标系转换的位姿参数并根据所述全球卫星定位装置得到的全球定位位姿,分别确定所述激光雷达采集到的行驶环境的每帧三维激光雷达点云各自对应的雷达定位位姿”的步骤具体包括:
根据每帧三维激光雷达点云各自对应的时间戳,分别对所述全球卫星定位装置得到的全球定位位姿进行插值计算,得到在每个所述时间戳下的全球定位位姿;
基于所述全球卫星定位装置与所述激光雷达进行坐标系转换的位姿参数,并根据在每个所述时间戳下的全球定位位姿,分别确定每帧三维激光雷达点云各自对应的雷达定位位姿。
3.根据权利要求1所述的三维点云地图的建立方法,其特征在于,在“基于所述全球卫星定位装置与所述车辆上的激光雷达进行坐标系转换的位姿参数并根据所述全球卫星定位装置得到的全球定位位姿,分别确定所述激光雷达采集到的行驶环境的每帧三维激光雷达点云各自对应的雷达定位位姿”的步骤之前,所述方法还包括通过下列方式对所述位姿参数进行优化:
根据所述位姿参数与车辆转弯时所述全球卫星定位装置得到的全球定位位姿,确定车辆转弯时所述激光雷达采集到的每帧三维激光雷达点云各自对应的雷达定位位姿;
采用基于ICP(Iterative Closest Point)算法的点云配准算法,根据所述车辆转弯时所述激光雷达采集到的每帧三维激光雷达点云各自对应的雷达定位位姿,对所述位姿参数进行优化。
4.根据权利要求1所述的三维点云地图的建立方法,其特征在于,“确定当前帧三维激光雷达点云相对于根据之前多帧三维激光雷达点云建立的三维点云地图的相对位姿”的步骤具体包括:
根据所述车辆的角速度和线速度,预测所述当前帧三维激光雷达点云相对于所述根据之前多帧三维激光雷达点云建立的三维点云地图的相对位姿,将预测的相对位姿作为先验相对位姿;
基于所述先验相对位姿,确定当前帧三维激光雷达点云相对于所述根据之前多帧三维激光雷达点云建立的三维点云地图的相对位姿。
5.根据权利要求1所述的三维点云地图的建立方法,其特征在于,在“根据所述相对位姿与所述当前帧三维激光雷达点云对所述三维点云地图进行地图更新,以建立所述行驶环境的三维点云地图”的步骤之后,所述方法还包括:
按照预设的因子图(Pose Graph)的约束条件,采用基于因子图(Pose Graph)的位姿优化方法对所述当前帧三维激光雷达点云对应的雷达定位位姿进行优化;
其中,所述预设的因子图(Pose Graph)的约束条件包括雷达定位位姿约束条件和全球定位位姿约束条件;
所述雷达定位位姿约束条件如下式所示:
其中,rodom表示雷达定位位姿约束条件的约束误差,表示因子图(Pose Graph)中第i-1个关键帧的绝对位姿,表示因子图(Pose Graph)中第i个关键帧的绝对位姿,表示对进行取逆运算,表示第i个关键帧相对于第i-1个关键帧的相对位姿,w表示世界坐标系,b表示车辆坐标系,所述关键帧是指相比于之前一帧三维激光雷达点云而言,雷达定位位姿的变化量大于预设阈值的一帧三维激光雷达点云;
所述全球定位位姿约束条件如下式所示:
6.根据权利要求1所述的三维点云地图的建立方法,其特征在于,在“根据所述雷达定位位姿对每帧三维激光雷达点云进行拼接,以建立所述行驶环境的三维点云地图”的步骤之前,所述方法还包括:
分别对每帧三维激光雷达点云进行点云去畸变处理。
7.根据权利要求1所述的三维点云地图的建立方法,其特征在于,“确定当前帧三维激光雷达点云相对于根据之前多帧三维激光雷达点云建立的三维点云地图的相对位姿”的步骤具体包括:
对所述当前帧三维激光雷达点云进行动态物体检测,根据检测的结果去除所述当前帧三维激光雷达点云中属于动态物体的三维激光雷达点云;
根据去除所述属于动态物体的三维激光雷达点云之后的所述当前帧三维激光雷达点云,确定所述相对位姿。
8.一种车道标注数据的获取方法,其特征在于,所述方法包括:
获取在车辆行驶过程中所述车辆上的激光雷达采集到的行驶环境的三维激光雷达点云;
采用权利要求1至7中任一项所述的三维点云地图的建立方法并根据所述三维激光雷达点云,建立所述行驶环境的三维点云地图;
根据所述行驶环境的三维点云地图分别生成所述行驶环境的鸟瞰图(Bird Eye View)和高度图(Height Map);
根据所述鸟瞰图(Bird Eye View)与所述高度图(Height Map)对车辆行驶过程中所述行驶环境的车道元素进行标注,以形成包含一维时间信息和三维空间位置信息的四维车道元素标注数据。
9.一种计算机设备,包括处理器和存储装置,所述存储装置适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行权利要求1至7中任一项所述的三维点云地图的建立方法或权利要求8所述的车道标注数据的获取方法。
10.一种计算机可读存储介质,其中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行权利要求1至7中任一项所述的三维点云地图的建立方法或权利要求8所述的车道标注数据的获取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211085544.3A CN115390088A (zh) | 2022-09-06 | 2022-09-06 | 点云地图建立方法、车道标注数据获取方法、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211085544.3A CN115390088A (zh) | 2022-09-06 | 2022-09-06 | 点云地图建立方法、车道标注数据获取方法、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115390088A true CN115390088A (zh) | 2022-11-25 |
Family
ID=84124060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211085544.3A Pending CN115390088A (zh) | 2022-09-06 | 2022-09-06 | 点云地图建立方法、车道标注数据获取方法、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115390088A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116559928A (zh) * | 2023-07-11 | 2023-08-08 | 新石器慧通(北京)科技有限公司 | 激光雷达的位姿信息确定方法、装置、设备及存储介质 |
-
2022
- 2022-09-06 CN CN202211085544.3A patent/CN115390088A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116559928A (zh) * | 2023-07-11 | 2023-08-08 | 新石器慧通(北京)科技有限公司 | 激光雷达的位姿信息确定方法、装置、设备及存储介质 |
CN116559928B (zh) * | 2023-07-11 | 2023-09-22 | 新石器慧通(北京)科技有限公司 | 激光雷达的位姿信息确定方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115451977A (zh) | 车道标注数据的获取方法、计算机设备及存储介质 | |
CN108765487B (zh) | 重建三维场景的方法、装置、设备和计算机可读存储介质 | |
CN110832279B (zh) | 对准由自主车辆捕获的数据以生成高清晰度地图 | |
JP7371111B2 (ja) | 自律走行車のナビゲーション用高精度地図を生成するためのポーズグラフの分散処理 | |
US11237004B2 (en) | Log trajectory estimation for globally consistent maps | |
CN109993780B (zh) | 一种三维高精度地图生成方法及装置 | |
US20210004613A1 (en) | Annotating high definition map data with semantic labels | |
EP3942794B1 (en) | Depth-guided video inpainting for autonomous driving | |
CN115407364A (zh) | 点云地图处理方法、车道标注数据获取方法、设备及介质 | |
US20210001891A1 (en) | Training data generation for dynamic objects using high definition map data | |
US20210003683A1 (en) | Interactive sensor calibration for autonomous vehicles | |
CN110009718A (zh) | 一种三维高精度地图生成方法及装置 | |
CN111207762B (zh) | 地图生成方法、装置、计算机设备和存储介质 | |
CN111402387B (zh) | 从用于导航自主车辆的高清晰度地图的点云中移除短时点 | |
CN115390088A (zh) | 点云地图建立方法、车道标注数据获取方法、设备及介质 | |
CN113223064A (zh) | 一种视觉惯性里程计尺度的估计方法和装置 | |
KR102506411B1 (ko) | 차량의 위치 및 자세 추정 방법, 장치 및 이를 위한 기록매체 | |
CN116295463A (zh) | 一种导航地图元素的自动标注方法 | |
CN113593026A (zh) | 车道线标注辅助地图生成方法、装置和计算机设备 | |
JP2022091474A (ja) | 情報処理装置、情報処理方法、プログラムおよび車両制御システム | |
CN111461982B (zh) | 用于拼接点云的方法和装置 | |
CN112184906B (zh) | 一种三维模型的构建方法及装置 | |
CN116152783B (zh) | 目标元素标注数据的获取方法、计算机设备及存储介质 | |
CN114358038B (zh) | 一种基于车辆高精度定位的二维码坐标标定方法及装置 | |
KR102616437B1 (ko) | 라이다 및 관성측정장치의 캘리브레이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |