CN113219493A - 一种基于三维激光雷达传感器的端到端点云数据压缩方法 - Google Patents

一种基于三维激光雷达传感器的端到端点云数据压缩方法 Download PDF

Info

Publication number
CN113219493A
CN113219493A CN202110454876.3A CN202110454876A CN113219493A CN 113219493 A CN113219493 A CN 113219493A CN 202110454876 A CN202110454876 A CN 202110454876A CN 113219493 A CN113219493 A CN 113219493A
Authority
CN
China
Prior art keywords
point cloud
data
curvature
point
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110454876.3A
Other languages
English (en)
Other versions
CN113219493B (zh
Inventor
黄凯
崔明月
吴成昊
刘云超
王博
罗宇翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202110454876.3A priority Critical patent/CN113219493B/zh
Publication of CN113219493A publication Critical patent/CN113219493A/zh
Application granted granted Critical
Publication of CN113219493B publication Critical patent/CN113219493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及激光雷达传感器及自动驾驶技术领域，更具体地，涉及一种基于三维激光雷达传感器的端到端点云数据压缩方法。方法结合了一个具有三通道融合邻域曲率和密度特征的编码器和一个具有额外可训练参数的鲁棒解码器。结合特征信息，ConvLSTM在点云编解码过程中可以得到更多的细节增强。交替解码和上采样的结构保证了点云的准确恢复。此外，提出的混合损失函数具有更快的收敛速度和更好的拟合性能。实验表明，与基于Draco、八叉树和JPEG的压缩算法相比，该方法可以获得更高的压缩率和满意的压缩质量。此外，本发明的方法在不同的场景下均具有很好的泛化能力。

Description

一种基于三维激光雷达传感器的端到端点云数据压缩方法
技术领域
本发明涉及激光雷达传感器及自动驾驶技术领域，更具体地，涉及一种基于三维激光雷达传感器的端到端点云数据压缩方法。
背景技术
近年来无人驾驶汽车发展迅速，扫描成像激光雷达作为无人驾驶一种有效的解决方案，吸引着世界各国都在积极开展车载激光雷达的研究。车载激光雷达作为无人驾驶技术中重要的传感器之一，对于保证无人驾驶汽车行车安全具有重要意义。随着无人驾驶产业的进一步发展，车载激光雷达市场前景广阔。
其中，三维激光雷达是一种基于光电探测的主动遥感设备，可以获得更宽的视场和更直接的三维环境信息。目前，三维激光雷达已广泛应用于智能机器人的识别、分割、规划等领域。随着上述优点同时到来的问题是：常规的多线三维激光雷达可以提供多达数百万的点云数据。如此海量的传感器数据需要巨大的计算能力，这给计算能力有限的车载单元带来了严峻的挑战。
为了减少对OBU的计算需求，2007年DARPA城市挑战总结提出了一种混合式自动驾驶机制，即在车辆、路边基础设施和云之间共享信息。但是网络传输能力远远不足以直接传输多传感器数据，特别是对于三维激光雷达。
发明内容
本发明为克服上述现有技术中的至少一个缺陷，提供一种基于三维激光雷达传感器的端到端点云数据压缩方法，能够有效地压缩三维激光雷达点云数据流，在处理点云流编解码中获得较高的精度。
为解决上述技术问题，本发明采用的技术方案是：一种基于三维激光雷达传感器的端到端点云数据压缩方法，包括以下步骤：
S1.使用特征滤波提取曲率和密度特征，分别使用滤波函数来逐点计算和过滤每一帧的曲率和密度；
S2.归一化与重排列：对过滤后的点云进行归一化和重排；
S3.点云编码神经网络：在这个过程中编码器采用三通道同时提取和压缩点云数据流及其对应的曲率和密度；
S4.点云解码神经网络：发送到解码器的编码特征被解码并交替地上采样，最后恢复到与输入进编码网络数据同样的大小。
本发明提供了一种三维激光雷达的端到端点云数据流压缩方法，该方法包括了特征滤波、归一化、点云编码网络和解码网络四个部分。本发明提出的方法是基于LSTM网络的点云序列结构压缩，具有动态处理功能，能够有效地压缩三维激光雷达点云数据流。本方法首先使用特征滤波提取曲率和密度特征，分别使用滤波函数来逐点计算和过滤每一帧的曲率和密度。它不仅可以调整原始点云数据的大小，还可以提取特征从而提高解码准确性。曲率和密度特征将补充网络对点云特征的学习和提取。第二部分是归一化与重排列，用来提高神经网络的学习效率。下一部分是点云编码神经网络，在这个过程中编码器采用三通道同时提取和压缩点云数据流及其对应的曲率和密度。它们在神经网络中共同作为特征参与学习，从而保证了神经网络的细节准确性。最后一个部分是点云解码神经网络，发送到解码器的编码特征被解码并交替地上采样，最后恢复到与输入进编码网络数据同样的大小。对于点云数据流，该算法逐帧动态进行数据处理，实现了三维激光雷达端到端的点云数据流压缩。相对于需要更多信息来保持点云特征精度的编码过程，解码过程可以适当简化，以加快深度学习网络的推理速度。
进一步的，所述的特征滤波通过向滤波函数输入一个点集G′，大小为(n′×3)，滤波函数输出一个二元组(n×3，n×1)，该组由滤波后得到的点集G和每个点的相对曲率和密度组成，其中n是自定义的目标点集元素数，滤波函数首先根据相邻k点的空间信息，计算出各点的曲率和密度。
进一步的，通过(x-min)/(max-min)的方式在算法中完成对数据的归一化。在进入深度学习网络之前，需要对所得点集进行归一化与重排列，从而有效的提高神经网络的性能。通过(x-min)/(max-min)的方式，在算法中可以完成对数据的归一化，从而保证神经网络训练的稳定性。然后对归一化后的点云数据进行划分区域并重新排列，这使得神经网络可以更好的理解点云数据的结构。
进一步的，所述的步骤S4中，解码神经网络由解码和上采样模块交替组合而成，解码部分使用DeConvLSTM层，从特征中学习空间与时间信息，从而为上采样层提供更精确的特征信息；采用转置卷积层来为解码器提供更多的可训练参数，使它能更快的适应不同的变化，获得更高的压缩比。本发明设计了一个解耦的编码器-解码器。其中，三通道编码器通过下采样层对点云数据进行编码，同时另外的通道引入曲率和密度信息，提高了处理的效率，也帮助神经网络通过ConvLSTM层学习数据的最优非线性特征。同时，它能通过比对历史数据与新数据进行动态处理，从而提高了实际应用的流畅性。
进一步的，所述的步骤S1中曲率的计算过程包括：
确定测量的原点，然后令测量原点到测量点的距离为r，则对G’中的所有点的三维信息进行处理，得到了一个K维非线性方程：
Figure BDA0003040132350000031
基于k邻近点的空间信息，使用Cramer法则求解k维非线性方程，计算每个点(x,y,z)的曲率1/r，其中r为点Pi到球中心O的距离。
它的解可以表示为：
Figure BDA0003040132350000032
进一步的，为了减少计算负担，曲率滤波函数设置了曲率阈值。曲率低于该阈值的点将被丢弃，剩下的点将作为新的点集保留。特别是，如果选定的点与相邻点共面，其曲率将设置为0。对于第一个点和最后一个点，它们的曲率与相邻点相同。另外，需要注意的是，不同的k值将导致不同的计算效率和结果。与三维扫描仪扫描的目标数据不同，车载激光雷达扫描的点云其曲率特征更为显著。这意味着我们的算法必须更加关注点云的曲率特征以保证精度，尤其体现在点云的轮廓边缘的测定。此外，计算出的曲率也将为网络编码提供额外的信息。它引入了几何上的全局信息而不是顺序上的局部信息，增强了神经网络对点云网络的整体理解。相似地，密度特征被提取以提高网络的学习能力。
进一步的，在所述的步骤S2中，对于不同设备采集到的点云数据，需要根据具体设备情况需要设置参数α和β。这是因为不同的激光雷达传感器具有不同的探测范围和精度，同一个激光雷达传感器获得的数据范围和精度也不同。点云数据集通过(x-min)/(max-min)的方式归一化为0-1之间的值，以保证网络训练的稳定性。当使用混合数据集时，所有数据将被视为共享同一样本空间。为了便于二维卷积运算从点云中提取特征，我们将点云分为L块。每一块代表三维激光雷达在1/(f×L)秒内扫描的数据，其中f为扫描频率。点云的形式为(S×L×3)，其中S＝n÷L。相应地，特征数据也需要重新排列为(S×L×1)。在经过解码器恢复后，点云重新排列回(N×3)。在一定程度上，数据的重新排列可以使网络更好地理解点云数据的结构。
进一步的，本发明设计了一个解耦的编码器-解码器结构来实现高效的数据流点云压缩。通过几个下采样层对点云数据进行压缩编码。然后利用上采样层对编码后的特征进行解码。此外，还增加了额外的通道来引入曲率和密度信息。预处理过程有利于特征信息的获取。这避免了额外的特征学习模块，提高了处理效率。在编码器中，金字塔结构融合特征可以帮助神经网络学习每个数据尺度的最优非线性特征。编码器通过一组ConvLSTM层而不是传统的卷积层来学习点云流的特征。ConvLSTM层可以从点云数据中提取时间和空间信息。对于处理点云的特殊结构是十分高效的。同时，为了减少计算量，我们在ConvLSTM层中使用了3×3卷积而不是5×5卷积。这样在保持网络特征提取能力的同时，也减少了算法参数。本发明使用了1×1二维卷积(2DConv)层来对数据进行编码并改变特征的维数。此外，还发现使用具有较大卷积核的2DConv层会降低算法的性能。在算法开始时，曲率和密度特征，以及原始点云被输入到ConvLSTM层中。这两种数据共享相同的结构，但参数不同。然后本发明在每一层的末尾混合它们的特征，然后将它们输入下一层。随着特征的减小，改进效果逐渐减弱，因此选择使用三层ConvLSTM来处理特征。深度下采样后，特征的第二维度将压缩为1。L块的空间和时间信息将保存在编码器的ConvLSTM层中。编码器的ConvLSTM层使用历史点云信息来辅助当前点云的编码。这使得编码器只需要专注于学习当前点云和历史点云之间的差异。在处理之后，编码器将当前帧的特征输出到解码器，并接收点云的新帧。最后一帧的特征将作为历史信息保留，以辅助新帧的编码。这种动态处理可以使算法运行更加顺畅。此外，还引入了SE Block来优化融合特征的权重。
进一步的，在特斯拉V100上实现了我们的算法，训练集主要由公开数据集(Robosense,Tier IV)和自己采集的数据组成，包括校园、城市、高速公路等诸多场景。处理不同场景下的各种对象，如树木、障碍物、车辆、行人等，可以增强网络的泛化能力。与此同时，引入一种新的训练损失函数，使网络收敛速度更快，拟合效果更好，该损失函数由两部分组成：第一部分用于提高原始点云与恢复点云的匹配相似度；第二种方法用于保证点云细节的精度；函数的具体公式如下：
Figure BDA0003040132350000051
其中，
Figure BDA0003040132350000052
和yi表示估计数据和原始数据，n是它们的大小；两部分的权重w1,w2和偏差w3可以根据训练的时间和特定数据集的属性进行调整；在早期的训练中，第一部分对形成大体框架的意义更大，而另一部分则不太有效；当细节需要改进时，可以逐渐增加第二部分的权重以获得更高的精度。我们引入了新的损耗函数，从而使我们的算法具有更快的收敛速度，更高效的拟合性能以及在高压缩比下有着更高的峰值信噪比。
与现有技术相比，有益效果是：
1、提出了一种端到端曲率-密度加权网络(SPCCNet)算法框架，该算法具有动态处理功能，能够有效地压缩三维激光雷达点云数据流，在处理点云流编解码中获得较高的精度；
2、引入一种新的损失函数，改进了SPCCNet的训练，可以加快收敛速度，提供高效的拟合性能；
3、在不同的评估参数中评估了我们的算法，实验表明，与其它方法相比，该方法能在较高的压缩比(174:1)下，达到45.2的峰值信噪比(PSNR)。
附图说明
图1是本发明点云解码神经网络结构示意图。
图2是本发明不同场景下各种方法解码前后单帧效果图，其中从上到下每一行分别对应校园、城市、公路和村庄场景。
具体实施方式
附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。
一种基于三维激光雷达传感器的端到端点云数据压缩方法，包括以下步骤：
S1.使用特征滤波提取曲率和密度特征，分别使用滤波函数来逐点计算和过滤每一帧的曲率和密度；
S2.归一化与重排列：对过滤后的点云进行归一化和重排；
S3.点云编码神经网络：在这个过程中编码器采用三通道同时提取和压缩点云数据流及其对应的曲率和密度；
S4.点云解码神经网络：发送到解码器的编码特征被解码并交替地上采样，最后恢复到与输入进编码网络数据同样的大小。
本发明提供了一种三维激光雷达的端到端点云数据流压缩方法，该方法包括了特征滤波、归一化、点云编码网络和解码网络四个部分。本发明提出的方法是基于LSTM网络的点云序列结构压缩，具有动态处理功能，能够有效地压缩三维激光雷达点云数据流。本方法首先使用特征滤波提取曲率和密度特征，分别使用滤波函数来逐点计算和过滤每一帧的曲率和密度。它不仅可以调整原始点云数据的大小，还可以提取特征从而提高解码准确性。曲率和密度特征将补充网络对点云特征的学习和提取。第二部分是归一化与重排列，用来提高神经网络的学习效率。下一部分是点云编码神经网络，在这个过程中编码器采用三通道同时提取和压缩点云数据流及其对应的曲率和密度。它们在神经网络中共同作为特征参与学习，从而保证了神经网络的细节准确性。最后一个部分是点云解码神经网络，发送到解码器的编码特征被解码并交替地上采样，最后恢复到与输入进编码网络数据同样的大小。对于点云数据流，该算法逐帧动态进行数据处理，实现了三维激光雷达端到端的点云数据流压缩。相对于需要更多信息来保持点云特征精度的编码过程，解码过程可以适当简化，以加快深度学习网络的推理速度。
其中，所述的特征滤波通过向滤波函数输入一个点集G′，大小为(n′×3)，滤波函数输出一个二元组(n×3，n×1)，该组由滤波后得到的点集G和每个点的相对曲率和密度组成，其中n是自定义的目标点集元素数，滤波函数首先根据相邻k点的空间信息，计算出各点的曲率和密度。
另外，通过(x-min)/(max-min)的方式在算法中完成对数据的归一化。在进入深度学习网络之前，需要对所得点集进行归一化与重排列，从而有效的提高神经网络的性能。通过(x-min)/(max-min)的方式，在算法中可以完成对数据的归一化，从而保证神经网络训练的稳定性。然后对归一化后的点云数据进行划分区域并重新排列，这使得神经网络可以更好的理解点云数据的结构。
其中，所述的步骤S4中，解码神经网络由解码和上采样模块交替组合而成，解码部分使用DeConvLSTM层，从特征中学习空间与时间信息，从而为上采样层提供更精确的特征信息；采用转置卷积层来为解码器提供更多的可训练参数，使它能更快的适应不同的变化，获得更高的压缩比。本发明设计了一个解耦的编码器-解码器。其中，三通道编码器通过下采样层对点云数据进行编码，同时另外的通道引入曲率和密度信息，提高了处理的效率，也帮助神经网络通过ConvLSTM层学习数据的最优非线性特征。同时，它能通过比对历史数据与新数据进行动态处理，从而提高了实际应用的流畅性。
具体的，所述的步骤S1中曲率的计算过程包括：
确定测量的原点，然后令测量原点到测量点的距离为r，则对G’中的所有点的三维信息进行处理，得到了一个K维非线性方程：
Figure BDA0003040132350000071
它的解可以表示为：
Figure BDA0003040132350000072
具体的，为了减少计算负担，曲率滤波函数设置了曲率阈值。曲率低于该阈值的点将被丢弃，剩下的点将作为新的点集保留。特别是，如果选定的点与相邻点共面，其曲率将设置为0。对于第一个点和最后一个点，它们的曲率与相邻点相同。另外，需要注意的是，不同的k值将导致不同的计算效率和结果。与三维扫描仪扫描的目标数据不同，车载激光雷达扫描的点云其曲率特征更为显著。这意味着我们的算法必须更加关注点云的曲率特征以保证精度，尤其体现在点云的轮廓边缘的测定。此外，计算出的曲率也将为网络编码提供额外的信息。它引入了几何上的全局信息而不是顺序上的局部信息，增强了神经网络对点云网络的整体理解。相似地，密度特征被提取以提高网络的学习能力。
具体的，在所述的步骤S2中，对于不同设备采集到的点云数据，需要根据具体设备情况需要设置参数α和β。这是因为不同的激光雷达传感器具有不同的探测范围和精度，同一个激光雷达传感器获得的数据范围和精度也不同。点云数据集通过(x-min)/(max-min)的方式归一化为0-1之间的值，以保证网络训练的稳定性。当使用混合数据集时，所有数据将被视为共享同一样本空间。为了便于二维卷积运算从点云中提取特征，我们将点云分为L块。每一块代表三维激光雷达在1/(f×L)秒内扫描的数据，其中f为扫描频率。点云的形式为(S×L×3)，其中S＝n÷L。相应地，特征数据也需要重新排列为(S×L×1)。在经过解码器恢复后，点云重新排列回(N×3)。在一定程度上，数据的重新排列可以使网络更好地理解点云数据的结构。
其中，本发明设计了一个解耦的编码器-解码器结构来实现高效的数据流点云压缩。通过几个下采样层对点云数据进行压缩编码。然后利用上采样层对编码后的特征进行解码。此外，还增加了额外的通道来引入曲率和密度信息。预处理过程有利于特征信息的获取。这避免了额外的特征学习模块，提高了处理效率。在编码器中，金字塔结构融合特征可以帮助神经网络学习每个数据尺度的最优非线性特征。编码器通过一组ConvLSTM层而不是传统的卷积层来学习点云流的特征。ConvLSTM层可以从点云数据中提取时间和空间信息。对于处理点云的特殊结构是十分高效的。同时，为了减少计算量，我们在ConvLSTM层中使用了3×3卷积而不是5×5卷积。这样在保持网络特征提取能力的同时，也减少了算法参数。本发明使用了1×1二维卷积(2DConv)层来对数据进行编码并改变特征的维数。此外，还发现使用具有较大卷积核的2DConv层会降低算法的性能。在算法开始时，曲率和密度特征，以及原始点云被输入到ConvLSTM层中。这两种数据共享相同的结构，但参数不同。然后本发明在每一层的末尾混合它们的特征，然后将它们输入下一层。随着特征的减小，改进效果逐渐减弱，因此选择使用三层ConvLSTM来处理特征。深度下采样后，特征的第二维度将压缩为1。L块的空间和时间信息将保存在编码器的ConvLSTM层中。编码器的ConvLSTM层使用历史点云信息来辅助当前点云的编码。这使得编码器只需要专注于学习当前点云和历史点云之间的差异。在处理之后，编码器将当前帧的特征输出到解码器，并接收点云的新帧。最后一帧的特征将作为历史信息保留，以辅助新帧的编码。这种动态处理可以使算法运行更加顺畅。此外，还引入了SE Block来优化融合特征的权重。
另外，在特斯拉V100上实现了我们的算法，训练集主要由公开数据集(Robosense,Tier IV)和自己采集的数据组成，包括校园、城市、高速公路等诸多场景。处理不同场景下的各种对象，如树木、障碍物、车辆、行人等，可以增强网络的泛化能力。与此同时，引入一种新的训练损失函数，使网络收敛速度更快，拟合效果更好，该损失函数由两部分组成：第一部分用于提高原始点云与恢复点云的匹配相似度；第二种方法用于保证点云细节的精度；函数的具体公式如下：
Figure BDA0003040132350000091
其中，
Figure BDA0003040132350000092
和yi表示估计数据和原始数据，n是它们的大小；两部分的权重w1,w2和偏差w3可以根据训练的时间和特定数据集的属性进行调整；在早期的训练中，第一部分对形成大体框架的意义更大，而另一部分则不太有效；当细节需要改进时，可以逐渐增加第二部分的权重以获得更高的精度。我们引入了新的损耗函数，从而使我们的算法具有更快的收敛速度，更高效的拟合性能以及在高压缩比下有着更高的峰值信噪比。
实施例
首先，通过三个评价指标即均方误差(RMSE)、结构相似性、(SSIM)和峰值信噪比来评估我们的方法。RMSE能够反映压缩点云和原始点云之间的数值偏差。SSIM用于描述压缩点云和原始点云之间的结构相似性。PSNR可以用来表示压缩点云的质量。我们使用来自不同数据集验证集的5000多帧点云数据进行评价实验，包括校园、城市、公路和村庄四个具有代表性的场景。详细信息见表1。
表1：多场景下的数据信息
Figure BDA0003040132350000093
本实施例比较了Google的Draco、八叉树、基于JPEG的方法和我们方法的点云压缩结果。对于每种方法，我们在四种情况下评估不同的压缩级别，并在性能可接受的前提下选择每点最低比特数(Bpp)。Bpp是指点云中每点的比特数，换句话说，它表示压缩输出所需的数据量。不同方法的性能对比如表2所示。我们选择Bpp＝1.1的情况显示我们方法的结果(由于原始点云的Bpp为192，这意味着我们的方法实现了174:1的压缩比)。其他方法的Bpp值对应于表中每个场景第一列。因为各种方法的压缩原理和压缩参数不同，会产生不同的Bpp值，这使得无法统一获得统一的Bpp值进行比较。
表2：不同场景下各种方法的性能指标
Figure BDA0003040132350000101
通过表1可以看出，在高压缩比(低Bpp)的情况下，本发明的性能结果优于其他方法，特别是在PSNR方面，表2中突出显示了这一点。与其他方法相比，在一些特定场景下，本发明的方法的峰值信噪比几乎是其他方法的两倍。这是因为在损失函数中引入了噪声敏感部分，这使得算法可以有效地减少压缩过程中的噪声干扰。此外，可视化了不同场景中单帧点云数据的编解码性能，如图2所示。Google的Draco和我们的性能相似，八叉树的性能稍差一点，基于JPEG的方法则表现最差。从图2中每个图左上角的细节可以看出，本发明的方法显示出更好的连续性和平滑性，而其他方法的点云恢复总是锯齿状的。同时，观察到，在村庄场景(最后一行)中，细节的损失更为明显。这主要是因为村道周围有大量的树叶，这使得算法更难区分噪声和物体。
本发明提出了一种基于三维激光雷达传感器的端到端点云数据压缩方法。方法结合了一个具有三通道融合邻域曲率和密度特征的编码器和一个具有额外可训练参数的鲁棒解码器。结合特征信息，ConvLSTM在点云编解码过程中可以得到更多的细节增强。交替解码和上采样的结构保证了点云的准确恢复。此外，提出的混合损失函数具有更快的收敛速度和更好的拟合性能。实验表明，与基于Draco、八叉树和JPEG的压缩算法相比，该方法可以获得更高的压缩率和满意的压缩质量。此外，本发明的方法在不同的场景下均具有很好的泛化能力。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于三维激光雷达传感器的端到端点云数据压缩方法，其特征在于，包括以下步骤：
S1.使用特征滤波提取曲率和密度特征，分别使用滤波函数来逐点计算和过滤每一帧的曲率和密度；
S2.归一化与重排列：对过滤后的点云进行归一化和重排；
S3.点云编码神经网络：在这个过程中编码器采用三通道同时提取和压缩点云数据流及其对应的曲率和密度；
S4.点云解码神经网络：发送到解码器的编码特征被解码并交替地上采样，最后恢复到与输入进编码网络数据同样的大小。
2.根据权利要求1所述的基于三维激光雷达传感器的端到端点云数据压缩方法，其特征在于，所述的特征滤波通过向滤波函数输入一个点集G′，大小为(n′×3)，滤波函数输出一个二元组(n×3，n×1)，该组由滤波后得到的点集G和每个点的相对曲率和密度组成，其中n是自定义的目标点集元素数，滤波函数首先根据相邻k点的空间信息，计算出各点的曲率和密度。
3.根据权利要求2所述的基于三维激光雷达传感器的端到端点云数据压缩方法，其特征在于，通过(x-min)/(max-min)的方式在算法中完成对数据的归一化。
4.根据权利要求2所述的基于三维激光雷达传感器的端到端点云数据压缩方法，其特征在于，所述的步骤S4中，解码神经网络由解码和上采样模块交替组合而成，解码部分使用DeConvLSTM层，从特征中学习空间与时间信息，从而为上采样层提供更精确的特征信息；采用转置卷积层来为解码器提供更多的可训练参数，使它能更快的适应不同的变化，获得更高的压缩比。
5.根据权利要求2所述的基于三维激光雷达传感器的端到端点云数据压缩方法，其特征在于，所述的步骤S1中曲率的计算过程包括：
确定测量的原点(x,y,z)，然后令测量原点到测量点的距离为r，则对G’中的所有点的三维信息进行处理，得到了一个K维非线性方程：
Figure FDA0003040132340000011
它的解可以表示为：
Figure FDA0003040132340000021
6.根据权利要求5所述的基于三维激光雷达传感器的端到端点云数据压缩方法，其特征在于，为了减少计算负担，曲率滤波函数设置了曲率阈值，曲率低于该阈值的点将被丢弃，剩下的点将作为新的点集保留；如果选定的点与相邻点共面，其曲率将设置为0；对于第一个点和最后一个点，它们的曲率与相邻点相同。
7.根据权利要求5所述的基于三维激光雷达传感器的端到端点云数据压缩方法，其特征在于，在所述的步骤S2中，对于不同设备采集到的点云数据，需要根据具体设备情况需要设置参数α和β；点云数据集通过(x-min)/(max-min)的方式归一化为0-1之间的值，以保证网络训练的稳定性；当使用混合数据集时，所有数据将被视为共享同一样本空间；为了便于二维卷积运算从点云中提取特征，将点云分为L块，每一块代表三维激光雷达在1/(f×L)秒内扫描的数据，其中f为扫描频率；点云的形式为(S×L×3)，其中S＝n÷L；相应地，特征数据也需要重新排列为(S×L×1)，在经过解码器恢复后，点云重新排列回(N×3)。
8.根据权利要求1至7任一项所述的基于三维激光雷达传感器的端到端点云数据压缩方法，其特征在于，在所述的步骤S3中，设计了一个解耦的编码器-解码器结构来实现高效的数据流点云压缩；通过几个下采样层对点云数据进行压缩编码，然后利用上采样层对编码后的特征进行解码；还增加了额外的通道来引入曲率和密度信息；编码器通过一组ConvLSTM层来学习点云流的特征；为了减少计算量，在ConvLSTM层中使用了3×3卷积，使用了1×1二维卷积2DConv层来对数据进行编码并改变特征的维数；在算法开始时，曲率和密度特征，以及原始点云被输入到ConvLSTM层中，这两种数据共享相同的结构，但参数不同；然后在每一层的末尾混合它们的特征，然后将它们输入下一层；其中仅使用三层ConvLSTM来处理特征；深度下采样后，特征的第二维度将压缩为1；L块的空间和时间信息将保存在编码器的ConvLSTM层中；编码器的ConvLSTM层使用历史点云信息来辅助当前点云的编码，在处理之后，编码器将当前帧的特征输出到解码器，并接收点云的新帧；最后一帧的特征将作为历史信息保留，以辅助新帧的编码。
9.根据权利要求8所述的基于三维激光雷达传感器的端到端点云数据压缩方法，其特征在于，在所述的步骤S3中，引入了SE Block来优化融合特征的权重。
10.根据权利要求9所述的基于三维激光雷达传感器的端到端点云数据压缩方法，其特征在于，引入一种新的训练损失函数，使网络收敛速度更快，拟合效果更好，该损失函数由两部分组成：第一部分用于提高原始点云与恢复点云的匹配相似度；第二种方法用于保证点云细节的精度；函数的具体公式如下：
Figure FDA0003040132340000031
其中，
Figure FDA0003040132340000032
和yi表示估计数据和原始数据，n是它们的大小；两部分的权重w1,w2和偏差w3可以根据训练的时间和特定数据集的属性进行调整；在早期的训练中，第一部分对形成大体框架的意义更大，而另一部分则不太有效；当细节需要改进时，可以逐渐增加第二部分的权重以获得更高的精度。
CN202110454876.3A 2021-04-26 2021-04-26 一种基于三维激光雷达传感器的端到端点云数据压缩方法 Active CN113219493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110454876.3A CN113219493B (zh) 2021-04-26 2021-04-26 一种基于三维激光雷达传感器的端到端点云数据压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110454876.3A CN113219493B (zh) 2021-04-26 2021-04-26 一种基于三维激光雷达传感器的端到端点云数据压缩方法

Publications (2)

Publication Number Publication Date
CN113219493A true CN113219493A (zh) 2021-08-06
CN113219493B CN113219493B (zh) 2023-08-25

Family

ID=77089179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110454876.3A Active CN113219493B (zh) 2021-04-26 2021-04-26 一种基于三维激光雷达传感器的端到端点云数据压缩方法

Country Status (1)

Country Link
CN (1) CN113219493B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113503875A (zh) * 2021-09-10 2021-10-15 江苏霆升科技有限公司 一种基于扩展特征的数据关联的建图方法
CN116451118A (zh) * 2023-04-19 2023-07-18 西安电子科技大学 基于深度学习的雷达光电异常值检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292935A (zh) * 2017-05-05 2017-10-24 深圳市建设综合勘察设计院有限公司 机载高密度激光点云的压缩方法、存储设备及激光雷达
CN109829399A (zh) * 2019-01-18 2019-05-31 武汉大学 一种基于深度学习的车载道路场景点云自动分类方法
CN110349230A (zh) * 2019-07-15 2019-10-18 北京大学深圳研究生院 一种基于深度自编码器的点云几何压缩的方法
CN110691243A (zh) * 2019-10-10 2020-01-14 叠境数字科技（上海）有限公司 一种基于深度卷积网络的点云几何压缩方法
CN111027581A (zh) * 2019-08-23 2020-04-17 中国地质大学（武汉） 一种基于可学习编码的3d目标检测方法及系统
CN111052189A (zh) * 2017-09-06 2020-04-21 苹果公司 点云几何结构压缩
US20200284883A1 (en) * 2019-03-08 2020-09-10 Osram Gmbh Component for a lidar sensor system, lidar sensor system, lidar sensor device, method for a lidar sensor system and method for a lidar sensor device
CN111681212A (zh) * 2020-05-21 2020-09-18 中山大学 一种基于激光雷达点云数据的三维目标检测方法
CN111783838A (zh) * 2020-06-05 2020-10-16 东南大学 一种用于激光slam的点云特征空间表征方法
CN112666569A (zh) * 2020-12-01 2021-04-16 天津优控智行科技有限公司 一种无人驾驶系统激光雷达连续点云的压缩方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292935A (zh) * 2017-05-05 2017-10-24 深圳市建设综合勘察设计院有限公司 机载高密度激光点云的压缩方法、存储设备及激光雷达
CN111052189A (zh) * 2017-09-06 2020-04-21 苹果公司 点云几何结构压缩
CN109829399A (zh) * 2019-01-18 2019-05-31 武汉大学 一种基于深度学习的车载道路场景点云自动分类方法
US20200284883A1 (en) * 2019-03-08 2020-09-10 Osram Gmbh Component for a lidar sensor system, lidar sensor system, lidar sensor device, method for a lidar sensor system and method for a lidar sensor device
CN110349230A (zh) * 2019-07-15 2019-10-18 北京大学深圳研究生院 一种基于深度自编码器的点云几何压缩的方法
US20210019918A1 (en) * 2019-07-15 2021-01-21 Peking Universtiy Shenzhen Graduate School Point cloud geometric compression method based on depth auto-encoder
CN111027581A (zh) * 2019-08-23 2020-04-17 中国地质大学（武汉） 一种基于可学习编码的3d目标检测方法及系统
CN110691243A (zh) * 2019-10-10 2020-01-14 叠境数字科技（上海）有限公司 一种基于深度卷积网络的点云几何压缩方法
CN111681212A (zh) * 2020-05-21 2020-09-18 中山大学 一种基于激光雷达点云数据的三维目标检测方法
CN111783838A (zh) * 2020-06-05 2020-10-16 东南大学 一种用于激光slam的点云特征空间表征方法
CN112666569A (zh) * 2020-12-01 2021-04-16 天津优控智行科技有限公司 一种无人驾驶系统激光雷达连续点云的压缩方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XUANZHENG WEN等: "Lossy Geometry Compression Of 3d Point Cloud Data Via An Adaptive Octree-Guided Network", 《2020 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)》, pages 1 - 6 *
陈浩等: "人工智能在点云压缩中的应用前景", 《人工智能》, no. 1, pages 43 - 49 *
黄承亮等: "三维激光扫描点云数据压缩方法", 《测绘科学》, vol. 34, no. 2, pages 142 - 144 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113503875A (zh) * 2021-09-10 2021-10-15 江苏霆升科技有限公司 一种基于扩展特征的数据关联的建图方法
CN116451118A (zh) * 2023-04-19 2023-07-18 西安电子科技大学 基于深度学习的雷达光电异常值检测方法
CN116451118B (zh) * 2023-04-19 2024-01-30 西安电子科技大学 基于深度学习的雷达光电异常值检测方法

Also Published As

Publication number Publication date
CN113219493B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN109948524B (zh) 一种基于空基监视的交通车辆密度估计方法
CN110781776B (zh) 一种基于预测和残差细化网络的道路提取方法
WO2022089077A1 (zh) 一种基于自适应候选视差预测网络的实时双目立体匹配方法
CN110472634B (zh) 基于多尺度深度特征差值融合网络的变化检测方法
CN113219493B (zh) 一种基于三维激光雷达传感器的端到端点云数据压缩方法
CN111259945A (zh) 引入注意力图谱的双目视差估计方法
CN111508013B (zh) 立体匹配方法
CN109522840B (zh) 一种高速路车流密度监测计算系统及方法
CN112560865B (zh) 一种室外大场景下点云的语义分割方法
US11823432B2 (en) Saliency prediction method and system for 360-degree image
CN114283394A (zh) 一种车载传感器融合的交通目标检测系统
CN112507849A (zh) 一种基于条件生成对抗网络的动态到静态场景转换方法
CN115511759A (zh) 一种基于级联特征交互的点云图像深度补全方法
CN112184731A (zh) 一种基于对抗性训练的多视图立体深度估计方法
CN111627055A (zh) 一种联合语义分割的场景深度补全方法
CN110288603B (zh) 基于高效卷积网络和卷积条件随机场的语义分割方法
Pham et al. Low-light image enhancement for autonomous driving systems using DriveRetinex-Net
CN115908992B (zh) 双目立体匹配的方法、装置、设备以及存储介质
CN112488117A (zh) 一种基于方向诱导卷积的点云分析方法
Huang et al. FFNet: A simple image dedusting network with feature fusion
US20230080120A1 (en) Monocular depth estimation device and depth estimation method
CN111080533A (zh) 一种基于自监督残差感知网络的数码变焦方法
CN115330935A (zh) 一种基于深度学习的三维重建方法及系统
CN114972752A (zh) 一种基于轻量级交叉注意网络的实时语义分割的方法
Zhang et al. Semantic segmentation of in-vehicle point cloud with improved RANGENET++ loss function

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant