CN113406665B - 一种基于多回波提取的激光雷达三维距离像高分辨重构方法及装置 - Google Patents

一种基于多回波提取的激光雷达三维距离像高分辨重构方法及装置 Download PDF

Info

Publication number
CN113406665B
CN113406665B CN202110662249.9A CN202110662249A CN113406665B CN 113406665 B CN113406665 B CN 113406665B CN 202110662249 A CN202110662249 A CN 202110662249A CN 113406665 B CN113406665 B CN 113406665B
Authority
CN
China
Prior art keywords
echo
pixel
resolution
value
derivative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110662249.9A
Other languages
English (en)
Other versions
CN113406665A (zh
Inventor
孙剑峰
马乐
龚道然
刘迪
周鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute Of Technology Beijing Industrial Technology Innovation Research Institute Co ltd
Harbin Institute of Technology
Original Assignee
Harbin Institute Of Technology Beijing Industrial Technology Innovation Research Institute Co ltd
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute Of Technology Beijing Industrial Technology Innovation Research Institute Co ltd, Harbin Institute of Technology filed Critical Harbin Institute Of Technology Beijing Industrial Technology Innovation Research Institute Co ltd
Priority to CN202110662249.9A priority Critical patent/CN113406665B/zh
Publication of CN113406665A publication Critical patent/CN113406665A/zh
Application granted granted Critical
Publication of CN113406665B publication Critical patent/CN113406665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/006—Theoretical aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Processing (AREA)

Abstract

一种基于多回波提取的激光雷达三维距离像高分辨重构方法及装置,由于现有技术不具备丰富的高分辨Gm‑APD激光雷达三维距离像样本库，因此基于学习的高分辨重构方法不适用于激光雷达距离像。本发明提供的方法仅依靠Gm‑APD激光成像雷达回波数据处理，通过多峰提取提高距离像分辨率。具体采用以下方法：通过Gm‑APD激光雷达采集原始数据，计算多回波位置及强度，去燥，得到多回波信号阵列；将提取到的多回波信号进行排列，得到含空值像元的高分辨距离像；通过邻域插值算法重构图像，获得不含空值像元的高分辨距离像。本发明提供的方法通过对回波信号的分析和重构的方式克服现有偏见，以低成本的方式得到了高分辨率距离像。可广泛应用在激光雷达三维距离像领域。

Description

一种基于多回波提取的激光雷达三维距离像高分辨重构方法 及装置
技术领域
涉及Geiger mode-avalanche photodiode(Gm-APD)激光成像雷达回波数据的信号提取及目标重构领域。
背景技术
Gm-APD激光成像雷达成像分辨率低，对于大阵列的器件研制存在很多困难，因此考虑从算法的角度低成本提升其空间分辨率。目前提升空间分辨率的方法现有基于插值、基于重建模型和基于学习三类。基于插值的高分辨重构算法，广泛使用的是最邻近插值、双线性插值和双三次插值。基于重建模型的方法将图像的先验知识作为约束条件加入图像高分辨重构过程中。其中，结合同场景高分辨强度像的距离图高分辨重构方法是研究热点，Diebel等人利用马尔科夫随机场模型建立同场景高分辨强度像与距离像之间的联系，将强度图像先验知识加入到正则化项中，构建距离保真项和正则化项L2范数模型。Ferstl等人利用二阶TGV模型，通过计算各向异性扩散张量将同场景强度像信息融入正则化项中。由于强度图像纹理区域的影响，该类方法往往会出现纹理映射现象，且重构效果易受配准精度影响。基于学习的高分辨重构算法，Dong等人最早将神经网络应用于图像高分辨重构方向，利用端到端的三层卷积层对低分辨图像进行计算处理。Dong等人在此基础上增加了卷积层数量以扩大感受野，并且在网络末端添加反卷积层以增加重构速度。该类方法需要花费大量的时间构造样本集进行学习训练，而目前由于没有丰富的高分辨Gm-APD激光雷达三维距离像样本库，导致该基于学习的高分辨重构方法不适用于激光雷达距离像的处理。
发明内容
由于现有技术中提升空间分辨率的方法由于受到纹理映射现象而导致重构效果易受配准精度影响的问题。本发明提供的基于多回波提取的激光雷达三维距离像高分辨重构方法及装置仅依靠Gm-APD激光成像雷达回波数据处理，通过多峰提取达到提高距离像分辨率的效果；所述多峰提取就是本发明中提到的多回波信号提取。
具体采用的方法为：
提供了一种基于多回波提取的激光雷达三维距离像高分辨重构方法，所述方法包括如下步骤：
步骤一：通过Gm-APD激光雷达采集回波数据，单个像素点回波提取四个回波位置，对应高分辨的2*2像素结果，计算多回波位置及强度，并去除部分噪声点，得到多回波信号阵列；
步骤二：将提取到的多回波信号进行排列，得到含空值像元的高分辨距离像；
步骤三：通过邻域插值算法重构图像，获得高分辨距离像；
步骤一中所述的计算多回波位置的方法包括：步骤1.1和步骤1.2；
所述的步骤1.1为：使用高斯函数与高斯函数卷积进行预处理从而去除异常峰，得到平滑分布直方图；
所述的步骤1.2为：在平滑分布直方图上针对目标处特征进行提取，确定当前方差下的极大值点分布，提取多回波；
进一步，所述的步骤1.1中，所述的预处理方式的公式为：
Figure GDA0003867884980000021
Figure GDA0003867884980000022
其中，v为核密度函数即高斯平滑函数，h为方差值，u为触发直方图，w为平滑后直方图，vi为高斯核函数的第vi个位置，j为触发直方图的第j个位置的值，binj为平滑后直方图的第binj个位置的值，x为高斯函数的中心对称点，具体为v函数窗口长度的一半；
导数表达式为：
Figure GDA0003867884980000023
其中，V2为方差为h＝h2的核密度函数，w2为预处理数据的二阶导数，所述的二阶导数位置为：w2最小值所对应位置；
所述的步骤1.2中，提取多回波的算法的流程为：
流程1.2.1：提取回波个数n＝4，和预处理数据的二阶导数w2；
流程1.2.2：当前提取回波数为1时，计算二阶导数的极小值ind min和极大值indmax，第一回波的位置为二阶导数w2的最小值；
流程1.2.3：将二阶导数提取位置的左侧极大值到右侧极小值中间的数值都设置为0，开始计算第二个回波位置；
流程1.2.4：再次计算二阶导数的极小值ind min和极大值ind max，第一回波的位置为此时二阶导数w2的最小值；
流程1.2.5：依次完成至第四个回波；
流程1.2.6：获得多回波结果。
具体程序代码如下：
Figure GDA0003867884980000031
步骤一中所述的计算多回波强度的方法为：
利用触发概率模型反推得到每个回波信号选通门内光子数的分布，触发概率模型为：
λ＝μαS+B λ＝μαS+B
Figure GDA0003867884980000032
其中，λ为回波总光子数分布，μ为量子效率，α为反射率，S为信号光子数分布，B为背景噪声光子数，P为第i个间隔触发k次的概率，e为自然常数；
由触发模型可以得到其光子数分布为：
Figure GDA0003867884980000033
其中，u为回波数据直方图，N为总脉冲数，r为推导的总回波光子数分布。
进一步，步骤一种所述的去除部分噪声点的方法为：
利用空间滤波器去除部分噪声，设置空间滤波器为4邻域乘20步长；
进一步，步骤二中所述的将提取到的多回波信号进行排列的方法为：根据马尔科夫随机场，利用距离的空间相关性及强度的空间相关性约束进行排列；
其中，高分辨距离像表达式为：
Figure GDA0003867884980000034
其中，rng为得到的高分辨距离像，γ1为距离约束项系数，γ2为强度约束项系数，通过调整系数可以实现合理的回波排序；C表示像元的强度值，D表示像元的距离值，p表示高分辨距离像中任一2×2像元块内的像元，q表示p像元最邻近的2×2像元块内的像元。
进一步，步骤三中所述的通过邻域插值算法重构图像的计算公式为：
Figure GDA0003867884980000041
其中，m表示高分辨距离像中的空值像元，n表示m像元的邻域像元，N(m)表示m像元的邻域像元集合，L表示像元距离值，b表示m像元的邻域像元数，L(m)由m像元的邻域像元值取得，L(n)为m的领域像元距离值。
本发明提到的一种基于多回波提取的激光雷达三维距离像高分辨重构方法的流程图如图6所示。
一种基于多回波提取的激光雷达三维距离像高分辨重构装置，所述装置包括：得到阵列模块、信号排列模块和重构图像模块；
所述得到阵列模块用于通过Gm-APD激光雷达采集回波数据，单个像素点回波提取四个回波位置，对应高分辨的2*2像素结果，计算多回波位置及强度，并去除部分噪声点，得到多回波信号阵列；
所述信号排列模块用于将提取到的多回波信号进行排列，得到含空值像元的高分辨距离像；
所述重构图像模块用于通过邻域插值算法重构图像，获得高分辨距离像。
进一步，所述的得到阵列模块还包括：子模块1、子模块2和子模块3；
所述的子模块1和子模块2结合用于计算多回波位置；
其中，子模块1用于使用高斯函数与高斯函数卷积进行预处理从而去除异常峰，得到平滑分布直方图；
子模块2用于在平滑分布直方图上针对目标处特征进行提取，确定当前方差下的极大值点分布，提取多回波；
所述的子模块3用于计算多回波强度；
所述的子模块1的功能所述的预处理方式的公式为：
Figure GDA0003867884980000042
Figure GDA0003867884980000043
其中，v为核密度函数即高斯平滑函数，h为方差值，u为触发直方图，w为平滑后直方图，vi为高斯核函数的第vi个位置，j为触发直方图的第j个位置的值，binj为平滑后直方图的第binj个位置的值，x为高斯函数的中心对称点，具体为v函数窗口长度的一半。
导数表达式为：
Figure GDA0003867884980000051
其中，V2为方差为h＝h2的核密度函数，w2为预处理数据的二阶导数，所述的二阶导数位置为：w2最小值所对应位置；
所述的子模块2的功能所述的提取多回波的算法的流程为：
流程1：提取回波个数npeak＝4，和预处理数据的二阶导数w2；
流程2：当前提取回波数为1时，计算二阶导数的极小值ind min和极大值ind max，第一回波的位置为二阶导数w2的最小值；
流程3：将二阶导数提取位置的左侧极大值到右侧极小值中间的数值都设置为0，开始计算第二个回波位置；
流程4：计算二阶导数的极小值ind min和极大值ind max，第一回波的位置为此时二阶导数w2的最小值；
流程5：依次完成至第四个回波；
流程6：获得多回波结果。
具体程序代码如下：
Figure GDA0003867884980000052
所述的子模块3的功能所述的计算多回波强度的方法为：
利用触发概率模型反推得到每个回波信号选通门内光子数的分布，触发概率模型为：
λ＝μαS+B
Figure GDA0003867884980000053
其中，λ为回波总光子数分布，μ为量子效率，α为反射率，S为信号光子数分布，B为背景噪声光子数，P为第i个间隔触发k次的概率，e为自然常数。
由触发模型可以得到其光子数分布为：
Figure GDA0003867884980000061
其中，u为回波数据直方图，N为总脉冲数，r为推导的总回波光子数分布。
进一步，所述的得到阵列模块还包括：子模块4；所述的子模块4用于去除所述的部分噪声点，其去除部分噪声点的方法为：
利用空间滤波器去除部分噪声，设置空间滤波器为4邻域乘20步长；
进一步，所述的信号排列模块将所述的提取到的多回波信号进行排列的方法为：根据马尔科夫随机场，利用距离的空间相关性及强度的空间相关性约束进行排列；
其中，高分辨距离像表达式为：
Figure GDA0003867884980000062
其中，rng为得到的高分辨距离像，γ1为距离约束项系数，γ2为强度约束项系数，通过调整系数可以实现合理的回波排序；C表示像元的强度值，D表示像元的距离值，p表示高分辨距离像中任一2×2像元块内的像元，q表示p像元最邻近的2×2像元块内的像元。
进一步，所述的重构图像模块重构图像的计算公式为：
Figure GDA0003867884980000063
其中，m表示高分辨距离像中的空值像元，n表示m像元的邻域像元，N(m)表示m像元的邻域像元集合，L表示像元距离值，b表示m像元的邻域像元数，L(m)由m像元的邻域像元值取得，L(n)为m的领域像元距离值。
本发明的优点：
本发明提供的方法，没有采用现有技术中通过基于差值或基于重建模型或基于学习的方法或者其改进来解决Gm-APD激光成像雷达成像分辨率低的问题，而是采用通过对回波信号的分析和重构的方式来解决Gm-APD激光成像雷达成像分辨率低的问题，与现有常用解决该问题的惯用思路完全不同，采用了全新的设计思路，即克服了现有技术偏见，通过现有技术获得的距离像的像素为64*64，通过本发明提供的方法获得的距离像的像素为128*128，以低成本的方式得到了高分辨率距离像，获得了预料不到的技术效果。
附图说明
图1为本发明的第十一个实施例拍摄的实景照片；
图2为通过现有技术获得的图1的距离像；
图3为通过本发明提供的方法获得的图1的距离像；
图4为本发明的第十一个实施例通过现有技术获得的距离像；
图5为通过本发明提供的方法获得的距离像；
图6为本发明提供的方法的流程图。
具体实施方式
实施方式一、参见图6说明本实施方式,本实施方式提供了一种基于多回波提取的激光雷达三维距离像高分辨重构方法，所述方法包括如下步骤：
步骤一：通过Gm-APD激光雷达回波数据，单个像素点回波提取四个回波位置，对应高分辨的2×2像素结果，计算多回波位置及强度，并去除部分噪声点，得到多回波信号阵列；
步骤二：将提取到的多回波信号进行排列，得到含空值像元的高分辨距离像；
步骤三：通过邻域插值算法重构图像，获得高分辨距离像。
实施方式二、本实施方式是对实施方式一提供的一种基于多回波提取的激光雷达三维距离像高分辨重构方法的进一步说明，步骤一中所述的计算多回波位置的方法包括：步骤1.1和步骤1.2；
所述的步骤1.1为：使用高斯函数与高斯函数卷积进行预处理从而去除异常峰，得到平滑分布直方图；
所述的步骤1.2为：在平滑分布直方图上针对目标处特征进行提取，确定当前方差下的极大值点分布，提取多回波；
所述的步骤1.1中，所述的预处理方式的公式为：
Figure GDA0003867884980000071
Figure GDA0003867884980000072
其中，v为核密度函数即高斯平滑函数，h为方差值，u为触发直方图，w为平滑后直方图，i为高斯核函数的第i个位置，j为触发直方图的第j个位置的值，k为平滑后直方图的第k个位置的值，x为高斯函数的中心对称点，具体为v函数窗口长度的一半；
导数表达式为：
Figure GDA0003867884980000073
其中，V2为方差为h＝h2的核密度函数，w2为预处理数据的二阶导数，所述的二阶导数位置为：w2最小值所对应位置；
所述的步骤1.2中，提取多回波的算法的流程为：
步骤1.2.1：提取回波个数n＝4，和预处理数据的二阶导数w2；
步骤1.2.2：当前提取回波数为1时，计算二阶导数的极小值ind min和极大值indmax，第一回波的位置为二阶导数w2的最小值；
步骤1.2.3：将二阶导数提取位置的左侧极大值到右侧极小值中间的数值都设置为0，开始计算第二个回波位置；
步骤1.2.4：计算二阶导数的极小值ind min和极大值ind max，第一回波的位置为此时二阶导数w2的最小值；
步骤1.2.5：依次完成至第四个回波；
步骤1.2.6：获得多回波结果。
具体程序代码如下：
Figure GDA0003867884980000081
实施方式三、本实施方式是对实施方式一提供的一种基于多回波提取的激光雷达三维距离像高分辨重构方法的进一步说明，步骤一中所述的计算多回波强度的方法为：
利用触发概率模型反推得到每个回波信号选通门内光子数的分布，触发概率模型为：
λ＝μαS+B
Figure GDA0003867884980000082
其中，λ为回波总光子数分布，μ为量子效率，α为反射率，S为信号光子数分布，B为背景噪声光子数，P为第i个间隔触发k次的概率，i为第i个间隔，k为触发次数，e为自然常数；
由触发模型可以得到其光子数分布为：
Figure GDA0003867884980000091
其中，u为回波数据直方图，N为总脉冲数，r为推导的总回波光子数分布，i为第i个间隔。
实施方式四、本实施方式是对实施方式一提供的一种基于多回波提取的激光雷达三维距离像高分辨重构方法的进一步说明，步骤一种所述的去除部分噪声点的方法为：
利用空间滤波器去除部分噪声，设置空间滤波器为4邻域乘20步长。
一种基于多回波提取的激光雷达三维距离像高分辨重构方法，步骤二中所述的将提取到的多回波信号进行排列的方法为：根据马尔科夫随机场，利用距离的空间相关性及强度的空间相关性约束进行排列；
其中，高分辨距离像表达式为：
Figure GDA0003867884980000092
其中，rng为得到的高分辨距离像，γ1为距离约束项系数，γ2为强度约束项系数，通过调整系数可以实现合理的回波排序；C表示像元的强度值，D表示像元的距离值，p表示高分辨距离像中任一2×2像元块内的像元，q表示p像元最邻近的2×2像元块内的像元。
实施方式五、本实施方式是对实施方式一提供的一种基于多回波提取的激光雷达三维距离像高分辨重构方法的进一步说明，步骤三中所述的通过邻域插值算法重构图像的计算公式为：
Figure GDA0003867884980000093
其中，m表示高分辨距离像中的空值像元，n表示m像元的邻域像元，N(m)表示m像元的邻域像元集合，L表示像元距离值，b表示m像元的邻域像元数，L(m)由m像元的邻域像元值取得，L(n)为m的领域像元距离值。
实施方式六、参见图6说明本实施方式，本实施方式提供了一种基于多回波提取的激光雷达三维距离像高分辨重构装置，所述装置包括：得到阵列模块、信号排列模块和重构图像模块；
所述得到阵列模块用于通过Gm-APD激光雷达回波数据，单个像素点回波提取四个回波位置，对应高分辨的2×2像素结果，计算多回波位置及强度，并去除部分噪声点，得到多回波信号阵列；
所述信号排列模块用于将提取到的多回波信号进行排列，得到含空值像元的高分辨距离像；
所述重构图像模块用于通过邻域插值算法重构图像，获得高分辨距离像。
实施方式七、本实施方式是对实施方式一提供的一种基于多回波提取的激光雷达三维距离像高分辨重构装置的进一步说明，所述的得到阵列模块还包括：子模块1、子模块2和子模块3；
所述的子模块1和子模块2结合用于计算多回波位置；
其中，子模块1用于使用高斯函数与高斯函数卷积进行预处理从而去除异常峰，得到平滑分布直方图；
子模块2用于在平滑分布直方图上针对目标处特征进行提取，确定当前方差下的极大值点分布，提取多回波；
所述的子模块3用于计算多回波强度；
所述的子模块1的功能所述的预处理方式的公式为：
Figure GDA0003867884980000101
Figure GDA0003867884980000102
其中，v为核密度函数即高斯平滑函数，h为方差值，u为触发直方图，w为平滑后直方图，i为高斯核函数的第i个位置，j为触发直方图的第j个位置的值，k为平滑后直方图的第k个位置的值，x为高斯函数的中心对称点，具体为v函数窗口长度的一半；
导数表达式为：
Figure GDA0003867884980000103
其中，V2为方差为h＝h2的核密度函数，w2为预处理数据的二阶导数，所述的二阶导数位置为：w2最小值所对应位置；
所述的子模块2的功能所述的提取多回波的算法的流程为：
流程1：提取回波个数n＝4，和预处理数据的二阶导数w2；
流程2：当前提取回波数为1时，计算二阶导数的极小值ind min和极大值ind max，第一回波的位置为二阶导数w2的最小值；
流程3：将二阶导数提取位置的左侧极大值到右侧极小值中间的数值都设置为0，开始计算第二个回波位置；
流程4：再次计算二阶导数的极小值ind min和极大值ind max，第一回波的位置为此时二阶导数w2的最小值；
流程5：依次完成至第四个回波；
流程6：多回波结果。
具体程序代码如下：
Figure GDA0003867884980000111
所述的子模块3的功能所述的计算多回波强度的方法为：
利用触发概率模型反推得到每个回波信号选通门内光子数的分布，触发概率模型为：
λ＝μαS+B
Figure GDA0003867884980000112
其中，λ为回波总光子数分布，μ为量子效率，α为反射率，S为信号光子数分布，B为背景噪声光子数，P为第i个间隔触发k次的概率，i为第i个间隔，k为触发次数，e为自然常数。
由触发模型可以得到其光子数分布为：
Figure GDA0003867884980000113
其中，u为回波数据直方图，N为总脉冲数，r为推导的总回波光子数分布，i为第i个间隔。
实施方式八、本实施方式是对实施方式一提供的一种基于多回波提取的激光雷达三维距离像高分辨重构装置的进一步说明，所述的得到阵列模块还包括：子模块4；所述的子模块4用于去除所述的部分噪声点，其去除部分噪声点的方法为：
利用空间滤波器去除部分噪声，设置空间滤波器为4邻域乘20步长。
实施方式九、本实施方式是对实施方式一提供的一种基于多回波提取的激光雷达三维距离像高分辨重构装置的进一步说明，所述的信号排列模块将所述的提取到的多回波信号进行排列的方法为：根据马尔科夫随机场，利用距离的空间相关性及强度的空间相关性约束进行排列；
其中，高分辨距离像表达式为：
Figure GDA0003867884980000121
其中，rng为得到的高分辨距离像，γ1为距离约束项系数，γ2为强度约束项系数，通过调整系数可以实现合理的回波排序；C表示像元的强度值，D表示像元的距离值，p表示高分辨距离像中任一2×2像元块内的像元，q表示p像元最邻近的2×2像元块内的像元。
实施方式十、本实施方式是对实施方式一提供的一种基于多回波提取的激光雷达三维距离像高分辨重构装置的进一步说明，所述的重构图像模块重构图像的计算公式为：
Figure GDA0003867884980000122
其中，m表示高分辨距离像中的空值像元，n表示m像元的邻域像元，N(m)表示m像元的邻域像元集合，L表示像元距离值，b表示m像元的邻域像元数，L(m)由m像元的邻域像元值取得，L(n)为m的领域像元距离值。
实施方式十一、结合附图1-5说明本实施方式，本实施方式是对实施方式一提供的一种基于多回波提取的激光雷达三维距离像高分辨重构方法的效果描述，图1为本实施例拍摄的实景照片，图2为本实施例在现有技术下通过Gm-APD激光成像雷达回波数据的信号提取获得的距离像，其像素为64*64，图3为通过实施方式一所述的方法获得的距离像，其像素为128*128；图4为本实施例在现有技术下通过Gm-APD激光成像雷达回波数据的信号提取获得的距离像，其像素为64*64，图5为通过实施方式一所述的方法获得的距离像，其像素为128*128；
通过附图3与2对比可以看出实施方式一提供的方法获取到的距离像是通过现有技术的方法获得的距离像的像素的四倍；通过附图和5与4的对比可以看出实施方式一提供的方法获取到的距离像是通过现有技术的方法获得的距离像的像素的四倍。
综上，本发明提供的方法和装置能够区别于现有技术，仅依靠Gm-APD激光成像雷达回波数据处理，再通过多峰提取提高距离像分辨率；利用单个像素点的回波进行分析，获得多个目标距离值；并且通过多回波的排列实现提高距离像的空间分辨率；通过对回波信号的分析和重构，克服现有技术偏见，获得高分辨率距离像，仅依靠Gm-APD激光成像雷达回波数据处理，降低了得到高分辨率距离像的成本。

Claims (8)

1.一种基于多回波提取的激光雷达三维距离像高分辨重构方法，其特征在于，所述方法包括如下步骤：
步骤一：通过Gm-APD激光雷达回波数据，单个像素点回波提取四个回波位置，对应高分辨的2×2像素结果，计算多回波位置及强度，并去除部分噪声点，得到多回波信号阵列；
步骤二：将提取到的多回波信号进行排列，得到含空值像元的高分辨距离像；
步骤三：通过邻域插值算法重构图像，获得高分辨距离像；
步骤一中所述的计算多回波位置的方法包括：步骤1.1和步骤1.2；
所述的步骤1.1为：使用高斯函数与高斯函数卷积进行预处理从而去除异常峰，得到平滑分布直方图；
所述的步骤1.2为：在平滑分布直方图上针对目标处特征进行提取，确定当前方差下的极大值点分布，提取多回波；
所述的步骤1.1中，所述的预处理方式的公式为：
Figure FDA0003867884970000011
Figure FDA0003867884970000012
其中，v为核密度函数即高斯平滑函数，h为方差值，u为触发直方图，w为平滑后直方图，vi为高斯核函数的第vi个位置，j为触发直方图的第j个位置的值，binj为平滑后直方图的第binj个位置的值，x为高
斯函数的中心对称点，具体为v函数窗口长度的一半；
导数表达式为：
Figure FDA0003867884970000013
其中，v2为方差为h＝h2的核密度函数，w2为预处理数据的二阶导数，所述的二阶导数位置为：w2最小值所对应位置；
所述的步骤1.2中，提取多回波的算法的流程为：
流程1.2.1：提取回波个数npeak＝4，和预处理数据的二阶导数w2；
流程1.2.2：当前提取回波数为1时，计算二阶导数的极小值ind min和极大值ind max，第一回波的位置为二阶导数w2的最小值；
流程1.2.3：将二阶导数提取位置的左侧极大值到右侧极小值中间的数值都设置为0，开始计算第二个回波位置；
流程1.2.4：计算二阶导数的极小值ind min和极大值ind max，第一回波的位置为此时二阶导数w2的最小值；
流程1.2.5：依次完成至第四个回波；
流程1.2.6：获得多回波结果；
步骤一中所述的计算多回波强度的方法为：
利用触发概率模型反推得到每个回波信号选通门内光子数的分布，触发概率模型为：
λ＝μαS+B
Figure FDA0003867884970000021
其中，λ为回波总光子数分布，μ为量子效率，α为反射率，S为信号光子数分布，B为背景噪声光子数，P为第i个间隔触发k次的概率，e为自然常数；
由触发模型可以得到其光子数分布为：
Figure FDA0003867884970000022
其中，u为触发直方图，Nu为总脉冲数，r为推导的总回波光子数分布。
2.根据权利要求1所述的一种基于多回波提取的激光雷达三维距离像高分辨重构方法，其特征在于，步骤一种所述的去除部分噪声点的方法为：
利用空间滤波器去除部分噪声，设置空间滤波器为4邻域乘20步长。
3.根据权利要求1所述的一种基于多回波提取的激光雷达三维距离像高分辨重构方法，其特征在于，步骤二中所述的将提取到的多回波信号进行排列的方法为：根据马尔科夫随机场，利用距离的空间相关性及强度的空间相关性约束进行排列；
其中，高分辨距离像表达式为：
Figure FDA0003867884970000023
其中，rng为得到的高分辨距离像，γ1为距离约束项系数，γ2为强度约束项系数，通过调整系数可以实现合理的回波排序；C表示像元的强度值，D表示像元的距离值，p表示高分辨距离像中任一2×2像元块内的像元，q表示p像元最邻近的2×2像元块内的像元。
4.根据权利要求1所述的一种基于多回波提取的激光雷达三维距离像高分辨重构方法，其特征在于，步骤三中所述的通过邻域插值算法重构图像的计算公式为：
Figure FDA0003867884970000031
其中，m表示高分辨距离像中的空值像元，n表示m像元的邻域像元，N(m)表示m像元的邻域像元集合，L表示像元距离值，b表示m像元的邻域像元数，L(m)由m像元的邻域像元值取得，L(n)为m的领域像元距离值。
5.一种基于多回波提取的激光雷达三维距离像高分辨重构装置，其特征在于，所述装置包括：得到阵列模块、信号排列模块和重构图像模块；
所述得到阵列模块用于通过Gm-APD激光雷达回波数据，单个像素点回波提取四个回波位置，对应高分辨的2×2像素结果，计算多回波位置及强度，并去除部分噪声点，得到多回波信号阵列；
所述信号排列模块用于将提取到的多回波信号进行排列，得到含空值像元的高分辨距离像；
所述重构图像模块用于通过邻域插值算法重构图像，获得高分辨距离像；
所述的得到阵列模块还包括：子模块1、子模块2和子模块3；
所述的子模块1和子模块2结合用于计算多回波位置；
其中，子模块1用于使用高斯函数与高斯函数卷积进行预处理从而去除异常峰，得到平滑分布直方图；
子模块2用于在平滑分布直方图上针对目标处特征进行提取，确定当前方差下的极大值点分布，提取多回波；
所述的子模块3用于计算多回波强度；
所述的子模块1的预处理功能具体为：通过公式：
Figure FDA0003867884970000032
Figure FDA0003867884970000033
其中，v为核密度函数即高斯平滑函数，h为方差值，u为触发直方图，w为平滑后直方图，vi为高斯核函数的第vi个位置，j为触发直方图的第j个位置的值，binj为平滑后直方图的第binj个位置的值，x为高斯函数的中心对称点，具体为v函数窗口长度的一半；
导数表达式为：
Figure FDA0003867884970000041
其中，v2为方差为h＝h2的核密度函数，w2为预处理数据的二阶导数，所述的二阶导数位置为：w2最小值所对应位置；
所述的子模块2提取多回波的算法的流程为：
流程1：提取回波个数npeak＝4，和预处理数据的二阶导数w2；
流程2：当前提取回波数为1时，计算二阶导数的极小值ind min和极大值ind max，第一回波的位置为二阶导数w2的最小值；
流程3：将二阶导数提取位置的左侧极大值到右侧极小值中间的数值都设置为0，开始计算第二个回波位置；
流程4：计算二阶导数的极小值ind min和极大值ind max，第一回波的位置为此时二阶导数w2的最小值；
流程5：依次完成至第四个回波；
流程6：取得多回波结果；
所述的子模块3计算多回波强度的方法为：
利用触发概率模型反推得到每个回波信号选通门内光子数的分布，触发概率模型为：
λ＝μαS+B
Figure FDA0003867884970000042
其中，λ为回波总光子数分布，μ为量子效率，α为反射率，S为信号光子数分布，B为背景噪声光子数，P为第i个间隔触发k次的概率，e为自然常数；
由触发模型可以得到其光子数分布为：
Figure FDA0003867884970000043
其中，u为回波数据直方图，Nu为总脉冲数，r为推导的总回波光子数分布。
6.根据权利要求5所述的一种基于多回波提取的激光雷达三维距离像高分辨重构装置，其特征在于，所述的得到阵列模块还包括：子模块4；所述的子模块4用于去除所述的部分噪声点，其去除部分噪声点的方法为：
利用空间滤波器去除部分噪声，设置空间滤波器为4邻域乘20步长。
7.根据权利要求5所述的一种基于多回波提取的激光雷达三维距离像高分辨重构装置，其特征在于，所述的信号排列模块将所述的提取到的多回波信号进行排列的方法为：根据马尔科夫随机场，利用距离的空间相关性及强度的空间相关性约束进行排列；
其中，高分辨距离像表达式为：
Figure FDA0003867884970000051
其中，rng为得到的高分辨距离像，γ1为距离约束项系数，γ2为强度约束项系数，通过调整系数可以实现合理的回波排序；C表示像元的强度值，D表示像元的距离值，p表示高分辨距离像中任一2×2像元块内的像元，q表示p像元最邻近的2×2像元块内的像元。
8.根据权利要求5所述的一种基于多回波提取的激光雷达三维距离像高分辨重构装置，其特征在于，所述的重构图像模块重构图像的计算公式为：
Figure FDA0003867884970000052
其中，m表示高分辨距离像中的空值像元，n表示m像元的邻域像元，N(m)表示m像元的邻域像元集合，L表示像元距离值，b表示m像元的邻域像元数，L(m)由m像元的邻域像元值取得，L(n)为m的领域像元距离值。
CN202110662249.9A 2021-06-15 2021-06-15 一种基于多回波提取的激光雷达三维距离像高分辨重构方法及装置 Active CN113406665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110662249.9A CN113406665B (zh) 2021-06-15 2021-06-15 一种基于多回波提取的激光雷达三维距离像高分辨重构方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110662249.9A CN113406665B (zh) 2021-06-15 2021-06-15 一种基于多回波提取的激光雷达三维距离像高分辨重构方法及装置

Publications (2)

Publication Number Publication Date
CN113406665A CN113406665A (zh) 2021-09-17
CN113406665B true CN113406665B (zh) 2022-11-08

Family

ID=77683985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110662249.9A Active CN113406665B (zh) 2021-06-15 2021-06-15 一种基于多回波提取的激光雷达三维距离像高分辨重构方法及装置

Country Status (1)

Country Link
CN (1) CN113406665B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104914446A (zh) * 2015-06-19 2015-09-16 南京理工大学 基于光子计数的三维距离图像时域实时去噪方法
WO2019112733A1 (en) * 2017-12-07 2019-06-13 Velodyne Lidar, Inc. Systems and methods for efficient multi-return light detectors
CN111060887A (zh) * 2019-11-05 2020-04-24 哈尔滨工业大学 一种基于凹凸搜索的Gm-APD激光雷达低信噪比回波数据信号提取方法
WO2021046547A1 (en) * 2019-09-06 2021-03-11 Ouster, Inc. Processing of lidar images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104914446A (zh) * 2015-06-19 2015-09-16 南京理工大学 基于光子计数的三维距离图像时域实时去噪方法
WO2019112733A1 (en) * 2017-12-07 2019-06-13 Velodyne Lidar, Inc. Systems and methods for efficient multi-return light detectors
WO2021046547A1 (en) * 2019-09-06 2021-03-11 Ouster, Inc. Processing of lidar images
CN111060887A (zh) * 2019-11-05 2020-04-24 哈尔滨工业大学 一种基于凹凸搜索的Gm-APD激光雷达低信噪比回波数据信号提取方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Le Ma,et al.Signal extraction algorithm of Gm-APD lidar with low SNR return.《International Journal for Light and Electron Optics 》.2020, *
Wangshuai Xu,et al.Design of 128×32 GM-APD array ROIC with Multi-Echo Detection for single photon 3D LiDAR.《SPIE》.2021, *
张芃芃.基于深度图像的超分辨率重建方法研究与实现.《中国优秀硕士学位论文全文数据库 信息科技辑》.2019, *
马乐.Gm-APD激光雷达信号提取算法研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2020, *

Also Published As

Publication number Publication date
CN113406665A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
Zheng et al. An advanced image fusion algorithm based on wavelet transform: incorporation with PCA and morphological processing
CN112819910B (zh) 基于双鬼注意力机制网络的高光谱图像重建方法
WO2005109035A1 (en) Sub-aperture sidelobe and alias mitigation techniques
Zhang et al. Hyperspectral image denoising with realistic data
CN112115911A (zh) 一种基于深度学习的轻量型sar图像目标检测方法
CN110579279B (zh) 单传感器的九谱段多光谱成像系统的设计方法
CN112561799A (zh) 一种红外图像超分辨率重建方法
CN112712467A (zh) 基于计算机视觉与色彩滤波阵列的图像处理方法
Molini et al. Towards deep unsupervised SAR despeckling with blind-spot convolutional neural networks
CN110427951B (zh) 一种基于非均匀采样策略的傅里叶单像素成像方法
Aburaed et al. 3d expansion of srcnn for spatial enhancement of hyperspectral remote sensing images
CN113406665B (zh) 一种基于多回波提取的激光雷达三维距离像高分辨重构方法及装置
Zhu et al. HCNNet: A hybrid convolutional neural network for spatiotemporal image fusion
KR102486083B1 (ko) 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치 및 방법
Gupta et al. A robust and efficient image de-fencing approach using conditional generative adversarial networks
Rubel et al. Blind Prediction of Original Image Quality for Sentinel SAR Data
Lepcha et al. An efficient medical image super resolution based on piecewise linear regression strategy using domain transform filtering
Kasturiwala et al. Image superresolution technique: A novel approach for leaf diseased problems
Rubel et al. Prediction of Lee filter performance for Sentinel-1 SAR images
Nguyen et al. Deep sparse and low-rank prior for hyperspectral image denoising
Wangiyana et al. Effects of SAR Resolution in Automatic Building Segmentation Using CNN
Lyakhov et al. Single image Super-Resolution method based on bilinear interpolation and U-Net combination
Imad et al. Batch despeckling of SAR images by a convolutional neural network-based method
Liao et al. Region-based multifocus image fusion based on Hough transform and wavelet domain hidden Markov models
Wen et al. WaterFormer: A Global–Local Transformer for Underwater Image Enhancement With Environment Adaptor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant