CN110888116A - 一种基于空间点云生成的激光雷达数据扩充方法 - Google Patents

一种基于空间点云生成的激光雷达数据扩充方法 Download PDF

Info

Publication number
CN110888116A
CN110888116A CN201911228633.7A CN201911228633A CN110888116A CN 110888116 A CN110888116 A CN 110888116A CN 201911228633 A CN201911228633 A CN 201911228633A CN 110888116 A CN110888116 A CN 110888116A
Authority
CN
China
Prior art keywords
data
dimensional
point
point cloud
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911228633.7A
Other languages
English (en)
Other versions
CN110888116B (zh
Inventor
张晋东
李昀浩
张坤鹏
徐嘉斌
王栋辉
王雪
刘通
马智
刘佳轩
张钟磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiaxing Suoya Intelligent Technology Co ltd
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201911228633.7A priority Critical patent/CN110888116B/zh
Publication of CN110888116A publication Critical patent/CN110888116A/zh
Application granted granted Critical
Publication of CN110888116B publication Critical patent/CN110888116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于空间点云生成的激光雷达数据扩充方法，对16线激光雷达采集的数据用本发明方法进行处理，可以使其能用于预训练的64线激光雷达深度学习障碍物识别模型之中，从而省去大量的数据采集以及模型训练的时间，并且有较好的识别效果。

Description

一种基于空间点云生成的激光雷达数据扩充方法
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种基于空间点云生成的激光雷达数据扩充方法。
背景技术
目前各大厂商提出的自动驾驶解决方案中，在激光雷达方面，固态激光雷达和64线激光雷达占据方案的主要地位。与传统摄像头相比，激光雷达具有不易受天气影响、不受光照影响的优点。
受生产工艺影响，固态激光雷达与64线激光雷达、32线激光雷达的成本居高不下，售价昂贵，甚至超过一辆汽车本身。因此虽然这些雷达具有很好的测量精度，但对于普及推广来说还是有一定难度。而16线激光雷达、4线激光雷达、单线激光雷达的成本近年来得到了控制，价格大幅下降。其中，16线激光雷达相对于4线激光雷达与单线激光雷达而言，具有线束较多，精度较高的特点。
发明内容
针对现有技术的不足，本发明旨在提供一种基于空间点云生成的激光雷达数据扩充方法，使16线激光雷达采集的数据可以用于预训练的64线激光雷达深度学习障碍物识别模型之中，从而省去大量的数据采集以及模型训练的时间，并且有较好的识别效果。
为了实现上述目的，本发明采用如下技术方案：
一种基于空间点云生成的激光雷达数据扩充方法，包括如下步骤：
S1、对16线激光雷达获得的数据进行预处理：
对16线激光雷达获得的三维点云数据进行二维化处理，首先将在三维直角坐标系下的点云数据投影到二维球面坐标系上，再将二维球面坐标系下的点云数据投影到二维直角坐标系上得到尺寸高度×宽度为16×512的五通道二维图像；
S2、初始化扩充数据内容：
在步骤S1得到的五通道二维图像的每一行数据下插入3行空白扩充数据，其中插入的空白扩充数据均为0，使得五通道二维图像变为64×512的五通道二维图像A，图像A的高度用Ar表示，宽度用Ac表示；
S3、计算扩充数据：
对图像A中的每一个点A(m,n)进行处理，其中m＝1,2,...,Ar，n＝1,2,...,Ac：在每一个点A(m,n)周围生成3个扩充点Ak，k＝1，2,3，这三个扩充点在三维直角坐标系下分别位于以A(m,n)为原点的xy、yz、xz三个平面；
每个扩充点具有和A(m,n)相同的通道数，即也拥有x、y、z、i、r五个通道，A(m,n)的五个通道的值分别用x0、y0、z0、i0、r0表示，Ak的五个通道的值分别用xk、yk、zk、ik、rk表示；另外用bxk、byk、bzk分别表示扩充点Ak相对于A(m,n)在x、y、z方向的偏移量；
S4、填入扩充数据；
将在步骤S3中计算得到的扩充点填入图像A中：对于图像A中的每一个点A(m,n)，其生成的三个扩充点A1、A2、A3在二维直角坐标系下分别位于(m+1,n)、(m+2,n)、(m+3,n)这三个位置，因此将三个扩充点的五个通道的数据分别填入图像A中对应位置上的空白扩充数据中，以完成数据转换，转换后的16线雷达数据即可以用于64线雷达模型。
进一步地，步骤S1中，所述数据预处理方式的具体过程如下：
S1.1、在三维直角坐标系下，点云数据中的每一点都可以用其(x,y,z)坐标得到相对于xy平面的夹角α、相对于x轴正方向的夹角β，以此得到了二维球面坐标系下的点云数据，每个点的坐标由(α,β)组成：
Figure BDA0002302898090000031
Figure BDA0002302898090000032
S1.2、对得到的二维球面坐标系下的点云数据，将其进行紧凑化，从而得到二维直角坐标系下的点云数据：令16线激光雷达每一根线束之间的夹角为Δα，16线激光雷达线束每一次旋转的夹角为Δβ，因此在二维直角坐标系中，点云数据中每个点的坐标(m,n)可以由(α,β)通过下式计算得到：
Figure BDA0002302898090000033
Figure BDA0002302898090000034
从而可以得到二维直角坐标系下的点云数据，即二维点云图像；
S1.3、对得到的二维点云图像进行采样：对于16线激光雷达数据来说，得到的二维点云图像的高度为16，即有16行数据，再在每一行上平均间隔采样512个像素，由此得到了预处理数据，即一个16×512的五通道二维图像。
进一步地，步骤S3中，扩充点的具体生成过程为：
首先计算每个扩充点在三维直角坐标系下的坐标，令：
xk＝x0+bxk；
yk＝y0+byk；
zk＝z0+bzk；
A1为A(m,n)在xy平面的扩充点，因此bz1＝0；A2为A(m,n)在yz平面的扩充点，因此bx2＝0；A3为A(m,n)在xz平面的扩充点，因此by3＝0；然后计算每个扩充点反射强度，因为扩充点Ak在三维空间中位于A(m,n)附近，因此认为Ak的反射率ik与A(m,n)的反射率取值一致，即ik＝i0；接着计算每个扩充点到视角中心的距离，根据xk、yk、zk直接计算即可，即：
Figure BDA0002302898090000041
本发明的有益效果在于：
利用本发明方法对16线激光雷达采集的数据进行处理，可以使其能用于预训练的64线激光雷达深度学习障碍物识别模型之中，从而省去大量的数据采集以及模型训练的时间，并且有较好的识别效果。
附图说明
图1为本发明方法的整体流程示意图；
图2为本发明实施例中三个扩充点在三维直角坐标系下的位置示意图。
具体实施方式
以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
本实施例提供一种基于空间点云生成的激光雷达数据扩充方法，如图1所示，包括如下步骤：
S1、对16线激光雷达获得的数据进行预处理。
一般来说不同模型具有不同的输入数据格式，本实施例中，支持的输入为Hight×Width×Channel的三维张量，其可以看作一个多通道的图像，图像中的每个像素为一个点云数据。其中Hight与Width为图像的高度与宽度，取值为16和512，图像通道数为5，因此Channel取值为5，这五个通道分别是点云数据的x方向坐标、y方向坐标、z方向坐标、点云的反射强度i以及到视角中心的距离r。
通过16线激光雷达获得的三维点云与传统二维图像相比较为稀疏，因此在本实施例中，数据预处理方式为，对点云数据进行二维化处理，首先将在三维直角坐标系下的点云投影到二维球面坐标系上，再将二维球面坐标系下的点云投影到二维直角坐标系上。
更具体地，所述数据预处理方式的具体过程如下：
S1.1、在三维直角坐标系下，点云中的每一点都可以用其(x,y,z)坐标得到相对于xy平面的夹角α、相对于x轴正方向的夹角β，以此得到了二维球面坐标系下的点云数据，每个点的坐标由(α,β)组成。
Figure BDA0002302898090000061
Figure BDA0002302898090000062
S1.2、对得到的二维球面坐标系下的点云数据，将其进行紧凑化，从而得到二维直角坐标系下的点云数据：令16线激光雷达每一根线束之间的夹角为Δα，16线激光雷达线束每一次旋转的夹角为Δβ，因此在二维直角坐标系中，点云数据中每个点的坐标(m,n)可以由(α,β)通过下式计算得到：
Figure BDA0002302898090000063
Figure BDA0002302898090000064
从而可以得到二维直角坐标系下的点云数据，即二维点云图像；
S1.3、对得到的二维点云图像进行采样：对于16线激光雷达数据来说，得到的二维点云图像的高度为16，即有16行数据，再在每一行上平均间隔采样512个像素，由此得到了预处理数据，即一个16×512的五通道二维图像。
S1、初始化扩充数据内容。
本步骤中对图像内容进行初始化扩充。步骤S1中得到五通道二维图像尺寸为16×512，因此在图像的每一行数据下插入3行空白扩充数据，其中插入的空白扩充数据均为0，使得图像变为64×512的五通道二维图像A，图像A的高度用Ar表示，宽度用Ac表示。
步骤S3、计算扩充数据。
对图像A中的每一个点A(m,n)进行处理，其中m＝1,2,...,Ar，n＝1,2,...,Ac；在每一个点A(m,n)周围生成3个扩充点Ak，k＝1，2,3；这三个扩充点在三维直角坐标系下分别位于以A(m,n)为原点的xy、yz、xz三个平面，如图2所示；
每个扩充点具有和A(m,n)相同的通道数，即也拥有x、y、z、i、r五个通道，A(m,n)的五个通道的值分别用x0、y0、z0、i0、r0表示，Ak的五个通道的值分别用xk、yk、zk、ik、rk表示；另外用bxk、byk、bzk分别表示扩充点Ak相对于A(m,n)在x、y、z方向的偏移量；
进一步地，扩充点的具体生成方法是：
首先计算每个扩充点在三维直角坐标系下的坐标，令：
xk＝x0+bxk；
yk＝y0+byk；
zk＝z0+bzk；
A1为A(m,n)在xy平面的扩充点，因此bz1＝0；A2为A(m,n)在yz平面的扩充点，因此bx2＝0；A3为A(m,n)在xz平面的扩充点，因此by3＝0；然后计算每个扩充点反射强度，因为扩充点Ak在三维空间中位于A(m,n)附近，因此认为Ak的反射率ik与A(m,n)的反射率取值一致，即ik＝i0；接着计算每个扩充点到视角中心的距离，根据xk、yk、zk直接计算即可，即：
Figure BDA0002302898090000081
S4、填入扩充数据；
将在步骤S3中计算得到的扩充点填入图像A中；对于图像A中的每一个点A(m,n)，其生成的三个扩充点A1、A2、A3在二维直角坐标系下分别位于(m+1,n)、(m+2,n)、(m+3,n)这三个位置，因此将三个扩充点的五个通道的数据分别填入图像A中对应位置上的空白扩充数据中，以完成数据转换，转换后的16线雷达数据即可以用于64线雷达模型。
对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。

Claims (3)

1.一种基于空间点云生成的激光雷达数据扩充方法，其特征在于，包括如下步骤：
S1、对16线激光雷达获得的数据进行预处理：
对16线激光雷达获得的三维点云数据进行二维化处理，首先将在三维直角坐标系下的点云数据投影到二维球面坐标系上，再将二维球面坐标系下的点云数据投影到二维直角坐标系上，得到尺寸高度×宽度为16×512的五通道二维图像；
S2、初始化扩充数据内容：
在步骤S1得到的五通道二维图像的每一行数据下插入3行空白扩充数据，其中插入的空白扩充数据均为0，使得五通道二维图像变为64×512的五通道二维图像A，图像A的高度用Ar表示，宽度用Ac表示；
S3、计算扩充数据：
对图像A中的每一个点A(m,n)进行处理，其中m＝1,2,...,Ar，n＝1,2,...,Ac：在每一个点A(m,n)周围生成3个扩充点Ak，k＝1，2,3，这三个扩充点在三维直角坐标系下分别位于以A(m,n)为原点的xy、yz、xz三个平面；
每个扩充点具有和A(m,n)相同的通道数，即也拥有x、y、z、i、r五个通道，A(m,n)的五个通道的值分别用x0、y0、z0、i0、r0表示，Ak的五个通道的值分别用xk、yk、zk、ik、rk表示；另外用bxk、byk、bzk分别表示扩充点Ak相对于A(m,n)在x、y、z方向的偏移量；
S4、填入扩充数据；
将在步骤S3中计算得到的扩充点填入图像A中：对于图像A中的每一个点A(m,n)，其生成的三个扩充点A1、A2、A3在二维直角坐标系下分别位于(m+1,n)、(m+2,n)、(m+3,n)这三个位置，因此将三个扩充点的五个通道的数据分别填入图像A中对应位置上的空白扩充数据中，以完成数据转换，转换后的16线雷达数据即可以用于64线雷达模型。
2.根据权利要求1所述的方法，其特征在于，步骤S1中，所述数据预处理方式的具体过程如下：
S1.1、在三维直角坐标系下，点云数据中的每一点都可以用其(x,y,z)坐标得到相对于xy平面的夹角α、相对于x轴正方向的夹角β，以此得到了二维球面坐标系下的点云数据，每个点的坐标由(α,β)组成：
Figure FDA0002302898080000021
Figure FDA0002302898080000022
S1.2、对得到的二维球面坐标系下的点云数据，将其进行紧凑化，从而得到二维直角坐标系下的点云数据：令16线激光雷达每一根线束之间的夹角为Δα，16线激光雷达线束每一次旋转的夹角为Δβ，因此在二维直角坐标系中，点云数据中每个点的坐标(m,n)可以由(α,β)通过下式计算得到：
Figure FDA0002302898080000023
Figure FDA0002302898080000024
从而可以得到二维直角坐标系下的点云数据，即二维点云图像；
S1.3、对得到的二维点云图像进行采样：对于16线激光雷达数据来说，得到的二维点云图像的高度为16，即有16行数据，再在每一行上平均间隔采样512个像素，由此得到了预处理数据，即一个16×512的五通道二维图像。
3.根据权利要求1所述的方法，其特征在于，步骤S3中，扩充点的具体生成过程为：
首先计算每个扩充点在三维直角坐标系下的坐标，令：
xk＝x0+bxk；
yk＝y0+byk；
zk＝z0+bzk；
A1为A(m,n)在xy平面的扩充点，因此bz1＝0；A2为A(m,n)在yz平面的扩充点，因此bx2＝0；A3为A(m,n)在xz平面的扩充点，因此by3＝0；然后计算每个扩充点反射强度，因为扩充点Ak在三维空间中位于A(m,n)附近，因此认为Ak的反射率ik与A(m,n)的反射率取值一致，即ik＝i0；接着计算每个扩充点到视角中心的距离，根据xk、yk、zk直接计算即可，即：
Figure FDA0002302898080000031
CN201911228633.7A 2019-12-04 2019-12-04 一种基于空间点云生成的激光雷达数据扩充方法 Active CN110888116B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911228633.7A CN110888116B (zh) 2019-12-04 2019-12-04 一种基于空间点云生成的激光雷达数据扩充方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911228633.7A CN110888116B (zh) 2019-12-04 2019-12-04 一种基于空间点云生成的激光雷达数据扩充方法

Publications (2)

Publication Number Publication Date
CN110888116A true CN110888116A (zh) 2020-03-17
CN110888116B CN110888116B (zh) 2021-08-13

Family

ID=69750402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911228633.7A Active CN110888116B (zh) 2019-12-04 2019-12-04 一种基于空间点云生成的激光雷达数据扩充方法

Country Status (1)

Country Link
CN (1) CN110888116B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337038A1 (en) * 2016-05-20 2017-11-23 Microsoft Technology Licensing, Llc Augmenting an original class with an augmenting class
CN107633220A (zh) * 2017-09-13 2018-01-26 吉林大学 一种基于卷积神经网络的车辆前方目标识别方法
CN109298426A (zh) * 2018-09-28 2019-02-01 吉林大学 一种泛光激光雷达发射器
CN109583302A (zh) * 2018-10-29 2019-04-05 杭州电子科技大学 一种移动机器人可行区域训练数据集扩充方法
CN109767440A (zh) * 2019-01-11 2019-05-17 南京信息工程大学 一种面向深度学习模型训练和学习的影像图像数据扩充方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337038A1 (en) * 2016-05-20 2017-11-23 Microsoft Technology Licensing, Llc Augmenting an original class with an augmenting class
CN107633220A (zh) * 2017-09-13 2018-01-26 吉林大学 一种基于卷积神经网络的车辆前方目标识别方法
CN109298426A (zh) * 2018-09-28 2019-02-01 吉林大学 一种泛光激光雷达发射器
CN109583302A (zh) * 2018-10-29 2019-04-05 杭州电子科技大学 一种移动机器人可行区域训练数据集扩充方法
CN109767440A (zh) * 2019-01-11 2019-05-17 南京信息工程大学 一种面向深度学习模型训练和学习的影像图像数据扩充方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BO LI: "On Enhancing Ground Surface Detection from Sparse Lidar Point Cloud", 《2019 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 *
杨真真 等: "基于卷积神经网络的图像分类算法综述", 《信号处理》 *

Also Published As

Publication number Publication date
CN110888116B (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN110570429B (zh) 一种基于三维点云的轻量级实时语义分割方法
CN102901444B (zh) 一种基于mp小波滤波的零件尺寸检测方法及其检测系统
CN113657224A (zh) 车路协同中用于确定对象状态的方法、装置、设备
CN113052109A (zh) 一种3d目标检测系统及其3d目标检测方法
CN105261059A (zh) 一种基于在屏幕空间计算间接反射高光的渲染方法
CN110888144B (zh) 一种基于滑动窗口的激光雷达数据合成方法
CN112907573B (zh) 一种基于3d卷积的深度补全方法
CN110276791B (zh) 一种参数可配置的深度相机仿真方法
US11132586B2 (en) Rolling shutter rectification in images/videos using convolutional neural networks with applications to SFM/SLAM with rolling shutter images/videos
Zhang et al. RI-Fusion: 3D object detection using enhanced point features with range-image fusion for autonomous driving
CN115008454A (zh) 一种基于多帧伪标签数据增强的机器人在线手眼标定方法
CN109685880B (zh) 一种利用光线追踪计算水面反射和折射效果方法
CN110888116B (zh) 一种基于空间点云生成的激光雷达数据扩充方法
CN110967679B (zh) 一种低线束激光雷达数据匹配多线束激光雷达模型的方法
CN103218820A (zh) 一种基于多维特征的相机标定误差补偿方法
CN117611438A (zh) 一种基于单目图像的2d车道线到3d车道线的重构方法
US20230206595A1 (en) Three-dimensional data augmentation method, model training and detection method, device, and autonomous vehicle
CN116630937A (zh) 一种多模态融合的3d目标检测方法
CN116630642A (zh) 一种基于生成对抗网络的红外弱小目标数据集生成方法
CN115953447A (zh) 面向3d目标检测的点云一致性约束单目深度估计方法
CN115239559A (zh) 一种融合视图合成的深度图超分辨率方法及系统
CN115601275A (zh) 点云增广方法及装置、计算机可读存储介质、终端设备
CN114757985A (zh) 基于zynq改进算法的双目深度感知装置及图像处理方法
CN114659523A (zh) 一种大范围高精度姿态测量方法及装置
CN113033395A (zh) 基于DeFCN和灭点边缘检测的可行驶区域分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240416

Address after: G0333, 2nd Floor, Building A, Innovation Building, No. 705 Asia Pacific Road, Daqiao Town, Nanhu District, Jiaxing City, Zhejiang Province, 314006

Patentee after: Jiaxing Suoya Intelligent Technology Co.,Ltd.

Country or region after: China

Address before: 130000 No. 2699 Qianjin Street, Jilin, Changchun

Patentee before: Jilin University

Country or region before: China