CN111127315A - 激光点云数据的超分辨处理方法、装置、系统和存储介质 - Google Patents

激光点云数据的超分辨处理方法、装置、系统和存储介质 Download PDF

Info

Publication number
CN111127315A
CN111127315A CN201811287641.4A CN201811287641A CN111127315A CN 111127315 A CN111127315 A CN 111127315A CN 201811287641 A CN201811287641 A CN 201811287641A CN 111127315 A CN111127315 A CN 111127315A
Authority
CN
China
Prior art keywords
resolution
map
low
distance
distance map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811287641.4A
Other languages
English (en)
Other versions
CN111127315B (zh
Inventor
张珂殊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Surestar Technology Co ltd
Original Assignee
Beijing Surestar Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Surestar Technology Co ltd filed Critical Beijing Surestar Technology Co ltd
Priority to CN201811287641.4A priority Critical patent/CN111127315B/zh
Publication of CN111127315A publication Critical patent/CN111127315A/zh
Application granted granted Critical
Publication of CN111127315B publication Critical patent/CN111127315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种激光点云数据的超分辨处理方法、装置、系统和存储介质，该方法包括：步骤1，针对不同目标物，从不同角度分别获取高分辨率激光点云数据，利用该高分辨率激光点云数据形成高分辨率距离图，根据该高分辨率距离图建立每种目标物的超分辨稀疏字典；步骤2，通过激光雷达装置获取一种目标物的激光点云数据，建立该目标物的激光点云数据的距离图；步骤3，选择该目标物的超分辨稀疏字典中的特定参数，将该目标物的激光点云数据的距离图重建为超分辨高分辨率距离图。本发明针对激光雷达装置的激光点云数据实现超分辨，使激光雷达装置对目标物的激光点云数据的高频信息增加，具备较高的目标识别率。

Description

激光点云数据的超分辨处理方法、装置、系统和存储介质
技术领域
本发明涉及三维激光扫描领域，特别是涉及一种激光点云数据的超分辨处理方法、装置、系统和存储介质。
背景技术
激光雷达装置所发射的激光信号投射在物体上并发生反射，激光雷达装置接收到反射回来的激光扫描数据后，据以计算环境中的物体的空间位置。激光雷达装置距离物体越近，照射到物体上的激光点越密集，基于该激光扫描数据对物体的识别率越高，距离物体越远，照射到物体上的激光点越稀疏，基于该激光扫描数据对物体的识别率越低。
特别是在物体的边缘位置，能够覆盖的激光点较少，则物体的边缘轮廓不易被准确识别，则物体的种类也难以被确定，因此在激光雷达装置的扫描参数保持不变的前提下，如何对扫描得到的点云数据进行处理，以提升激光点云数据的高频信息，也就是细节数据，从而提升物体的识别率，是本领域亟待解决的问题。
发明内容
本发明解决的技术问题在于，针对激光雷达装置的激光点云数据实现超分辨。
更进一步的，使激光雷达装置对目标物的激光点云数据的高频信息增加。
本发明公开了一种激光点云数据的超分辨处理方法，包括：
步骤1，针对不同目标物，从不同角度分别获取高分辨率激光点云数据，利用该高分辨率激光点云数据形成高分辨率距离图，根据该高分辨率距离图建立每种目标物的超分辨稀疏字典；
步骤2，通过激光雷达装置获取一种目标物的激光点云数据，建立该目标物的激光点云数据的距离图；
步骤3，选择该目标物的超分辨稀疏字典中的特定参数，将该目标物的激光点云数据的距离图重建为超分辨高分辨率距离图。
利用该高分辨率激光点云数据形成高分辨率距离图的步骤进一步包括：
利用一基准点Z0，基于该目标物的该高分辨率激光点云数据(Xθ,Yθ,Zθ)的Z轴数据Zθ，将该高分辨率激光点云数据进行格网化，生成该高分辨率距离图Gh θ；
Gh θ＝255*(1-(Zθ-Z0)/D)
D为归化目标距离范围的间距。
该步骤1进一步包括：
步骤11，利用垂直/水平滤波器，对该高分辨率距离图进行滤波，从而获得该高分辨率距离图的水平/垂直方向特征图，将该高分辨率距离图的水平/垂直方向特征图合并，得到高分辨率特征图；
步骤12，利用该高分辨率距离图生成不同尺寸的低分辨率距离图，以及该低分辨率距离图的水平/垂直方向特征图；
步骤13，对于该低分辨率距离图以及该低分辨率距离图的水平/垂直方向特征图进行插值处理，使得插值后的低分辨率距离图以及插值后的低分辨率距离图的水平/垂直方向特征图，与该高分辨率距离图尺寸相同，合并该插值后的低分辨率距离图以及插值后的低分辨率距离图的水平/垂直方向特征图，得到低分辨率特征图；
步骤14，利用该高分辨率特征图以及该低分辨率特征图训练得到高分辨字典以及低分辨字典，该超分辨稀疏字典包括该高分辨字典以及该低分辨字典。
该步骤12通过如下公式实现：
Figure BDA0001849417510000021
Figure BDA0001849417510000022
Figure BDA0001849417510000023
Gk(i,j)代表该高分辨率距离图，Gk+1(m,n)为该低分辨率距离图，
Figure BDA0001849417510000024
为该低分辨率距离图的水平方向特征图，
Figure BDA0001849417510000025
为该低分辨率距离图的垂直方向特征图，l和h分别为小波函数对应的低通和高通滤波器系数，j为高分辨率距离图中的行，i为高分辨率距离图中的列，m、n为尺度变换参数，k为深度图变换的层数。
该步骤14通过如下公式实现：
Figure BDA0001849417510000031
其中，
Figure BDA0001849417510000032
X为稀疏系数矩阵，1/λ是权值系数，Dh为高分辨率特征图样本，Dl为低分辨率特征图样本，符号min表示训练使得目标函数值最小，s.t.表示求解优化问题要满足的条件，||||F和|| ||0分别表示F-范数和0-范数，dk表示Dh或Dl中第k个元素，L0是对|| ||0的约束。
该步骤2进一步包括：对目标物的激光点云数据(Xθ,Yθ,Zθ)进行网格化，利用以下公式建立该目标物的激光点云数据的距离图G；
G＝255*(1-(Zθ-Z0)/D)
Z0为基准点，D为归化目标距离范围的间距。
该步骤3进一步包括：
步骤31，对所述目标物的激光点云数据的距离图G进行滤波，获得目标物的激光点云数据的距离图G的水平/垂直方向特征图Gh和Gv，合并该距离图G的水平/垂直方向特征图Gh和Gv，获得距离图G的低分辨率特征图Ghv；
步骤32，对距离图G的低分辨率特征图Ghv进行插值，使得插值后的低分辨率特征图Ghv’与该高分辨率特征图尺寸相同，利用插值后的低分辨率特征图Ghv’训练得到目标物的稀疏系数矩阵X’；
步骤33，利用高分辨字典Ah和目标物的稀疏系数矩阵X’，得到目标物的距离特征图{gk}＝AhX'。
步骤34，将距离图G插值，得到与{gk}相同维数的低分辨率距离图G'，利用该目标物的距离特征图{gk}和该低分辨率距离图G'叠合组成超分辨高分辨率距离图Gθ'。
该步骤32通过如下公式实现：
Figure BDA0001849417510000041
符号min表示训练使得目标函数值最小，s.t.表示求解优化问题要满足的条件，||||F和|| ||0分别表示F-范数和0-范数，L0是对|| ||0的约束，X’为目标物的稀疏系数矩阵，Al'为目标物的低分辨字典，xk为X’中的第k个元素。
该方法进一步包括：
步骤4，利用目标物的超分辨高分辨率距离图Gθ'生成超分辨的目标激光点云数据Z'θ；
Figure BDA0001849417510000042
其中，D为归化目标距离范围的间距，Z0为基准点。
该步骤1中进一步包括，将该高分辨率距离图分为多个图像块，基于该图像块执行后续步骤。
本发明还公开了一种激光点云数据的超分辨处理装置，包括：
字典生成模块，用于针对不同目标物，从不同角度分别获取高分辨率激光点云数据，利用该高分辨率激光点云数据形成高分辨率距离图，根据该高分辨率距离图建立每种目标物的超分辨稀疏字典；
目标距离图生成模块，用于通过激光雷达装置获取一种目标物的激光点云数据，建立该目标物的激光点云数据的距离图；
重建模块，选择该目标物的超分辨稀疏字典中的特定参数，将该目标物的激光点云数据的距离图重建为超分辨高分辨率距离图。
该字典生成模块进一步包括：
利用垂直/水平滤波器，对该高分辨率距离图进行滤波，从而获得该高分辨率距离图的水平/垂直方向特征图，将该高分辨率距离图的水平/垂直方向特征图合并，得到高分辨率特征图的模块；
利用该高分辨率距离图生成不同尺寸的低分辨率距离图，以及该低分辨率距离图的水平/垂直方向特征图的模块；
对于该低分辨率距离图以及该低分辨率距离图的水平/垂直方向特征图进行插值处理，使得插值后的低分辨率距离图以及插值后的低分辨率距离图的水平/垂直方向特征图，与该高分辨率距离图尺寸相同，合并该插值后的低分辨率距离图以及插值后的低分辨率距离图的水平/垂直方向特征图，得到低分辨率特征图的模块；
利用该高分辨率特征图以及该低分辨率特征图训练得到高分辨字典以及低分辨字典，该超分辨稀疏字典包括该高分辨字典以及该低分辨字典的模块。
该重建模块进一步包括：
对所述目标物的激光点云数据的距离图G进行滤波，获得目标物的激光点云数据的距离图G的水平/垂直方向特征图Gh和Gv，合并该距离图G的水平/垂直方向特征图Gh和Gv，获得距离图G的低分辨率特征图Ghv的模块；
对距离图G的低分辨率特征图Ghv进行插值，使得插值后的低分辨率特征图Ghv’与该高分辨率特征图尺寸相同，利用插值后的低分辨率特征图Ghv’训练得到目标物的稀疏系数矩阵X’的模块；
利用高分辨字典Ah和目标物的稀疏系数矩阵X’，得到目标物的距离特征图{gk}＝AhX'的模块。
将距离图G插值，得到与{gk}相同维数的低分辨率距离图G'，利用该目标物的距离特征图{gk}和该低分辨率距离图G'叠合组成超分辨高分辨率距离图Gθ'的模块。
本发明还公开了一种激光点云数据的超分辨处理系统，包括：
激光雷达装置，用于采集激光扫描数据；
数据处理装置，将该激光扫描数据转换为激光点云数据，
存储器，其中存储有着所述数据处理装置上运行的计算机程序；
所述数据处理装置执行所述计算机程序时实现所述方法的步骤。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，包括：所述计算机程序被处理器执行时实现所述方法的步骤。
本发明实现的技术效果在于，针对激光雷达装置的激光点云数据实现超分辨，使激光雷达装置对目标物的激光点云数据的高频信息增加。经过超分辨后的目标激光点云数据将比目标激光点云数据具备更高的细节数据，高频信息增加，具备较高的目标识别率。
附图说明
图1所示为本发明的激光点云数据的超分辨处理系统的结构示意图。
图2所示为本发明的一种激光扫描数据的超分辨处理方法的流程示意图。
图3所示为本发明的目标相对激光雷达装置的位置示意图。
具体实施方式
以下结合具体实施例描述本发明的技术方案的实现过程，不作为对本发明的限制。
本发明的一种激光点云数据的超分辨处理方法，用于针对激光雷达装置的激光点云数据实现超分辨，尤其是实际扫描场景中采集得到目标的激光点云后，通过进一步数据处理，使激光雷达装置对目标的激光点密度提高，也就是数据的高频信息增加，从而使得目标的轮廓更加清晰，识别率更高。
如图1所示为本发明的激光点云数据的超分辨处理系统的结构示意图，激光雷达装置100可设置于车辆中，对周围环境进行实时扫描，以获取激光扫描数据，以对周围环境中目标物进行识别。激光雷达装置100利用所获取的激光扫描数据输出至数据处理装置200，由数据处理装置200生成激光点云数据，并对该激光点云数据进行处理运算，特别是执行本发明的激光点云数据的超分辨处理方法。该数据处理装置200中设置有存储器201，以存储所述数据处理装置上运行的计算机程序,所述数据处理装置执行所述计算机程序时实现所述激光点云数据的超分辨处理方法的步骤。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，包括：所述计算机程序被处理器执行时实现所述激光点云数据的超分辨处理方法的步骤。
该激光雷达装置100可以选用多线激光雷达装置或者单线激光雷达装置。
在激光扫描过程中，随着激光雷达装置与目标的距离的增加，落在目标上的激光点变得稀疏，故而激光点云数据的目标识别能力降低。为了提升利用激光点云数据进行目标识别的准确率，本发明通过对激光点云数据超分辨处理，提升激光点云数据所包含的目标细节，以便提高目标识别率。
如图2所示为本发明的一种激光点云数据的超分辨处理方法的流程示意图。该方法包括：
步骤1，针对不同目标物，从不同角度分别获取高分辨率激光点云数据，利用该高分辨率激光点云数据形成高分辨率距离图，根据该高分辨率距离图建立每种目标物的超分辨稀疏字典；
步骤2，通过激光雷达装置获取一种目标物的激光点云数据，建立该目标物的激光点云数据的距离图；
步骤3，选择该目标物的超分辨稀疏字典中的特定参数，将该目标物的激光点云数据的距离图重建为超分辨高分辨率距离图。
具体来说，为了实现对实际扫描场景中得到的激光点云数据的超分辨，首先需要预先建立对场景中不同目标物的超分辨稀疏字典，利用该超分辨稀疏字典作为后续针对车辆实际扫描过程中获得的目标物的激光点云数据进行超分辨的基准，提升高频数据量。该超分辨稀疏字典通过大量的训练得到。
该步骤1用于针对不同目标物，收集大量样本数据。特别是利用激光雷达装置，在一较近的扫描距离反复对各类目标物进行扫描，特别是从不同角度对各类目标物进行扫描，从而得到目标物的准确的、充满细节、高分辨率的激光点云数据，并据以作为后续形成字典的数据基础，作为提升目标激光点云数据的细节数据量的来源。
该目标物可以是道路场景中各种可能遇到的目标物，例如道路标志、行人、车辆、建筑、小动物、基础设施、障碍物等。该目标物也可以扩展到更多室内外的目标物。
该扫描距离可以根据目标物的尺寸特点而选择，以获得该目标物的细节数据，特别是精确的细节数据。
本发明采用单线或多线激光雷达装置，从不同角度在较近的扫描距离对同一目标物分别进行扫描，获取针对同一目标物的高点密度的激光点云数据，从不同角度可以获得该目标物在不同侧面的细节数据，该高点密度的激光点云数据即为高分辨率激光点云数据。利用该高分辨率激光点云数据形成高分辨率距离图。
步骤1的该形成距离图的方法包括：
参考图3可知，x轴为水平方向，y轴为竖直方向，目标物相对激光雷达装置的距离方向为z轴方向。激光雷达装置通过扫描可以得到目标物的高分辨率激光点云数据{(Xθ,Yθ,Zθ)，θ＝1,2,...,n}，θ为扫描该目标物得到的激光点序号。
步骤10，利用一基准点，基于该目标物的该高分辨率激光点云数据(Xθ,Yθ,Zθ)的Z轴数据，将该高分辨率激光点云数据进行格网化，生成距离图。
该基准点可以是该目标物距离该激光雷达装置最近的一个激光点，或者最远的一个激光点。
具体来说，从扫描得到的高分辨率激光点云数据中选择一距离激光雷达装置最近的激光点作为基本参考点。利用该基本参考点的z轴数据z0，投影到XY平面，即将目标的激光点云格网化。每个格网值是由距离值量化的灰度值。量化灰度范围在0-255之间，量化灰度值取255为起始点，格网化的网格无激光点时，量化灰度值为N/A。
利用该基本参考点的z轴数据z0，将所有高分辨率激光点云数据在(Xθ,Yθ)平面内依据激光点平均间隔格网化，将(Xθ,Yθ,Zθ)转换为高分辨率距离图Gh θ：(Xθ,Yθ,Zθ)→(Xθ,Yθ,Gh θ)。
具体来说，将Zθ进行归化，将每个激光点云数据的z轴数据与基准点的差值，进行格网化。即，将Zθ-Z0转换为以灰度表示的目标测量距离值，归化目标距离范围D基于该目标物的尺寸进行确定，例如为0-4米，不以此为限。Zθ-Z0越小表示灰度越大，Zθ-Z0为0时对应的灰度为255，Zθ-Z0为4时对应的灰度为0。Gh θ的计算方式为：
Gh θ＝255*(1-(Zθ-Z0)/D) (1)
其中，D为归化目标距离范围的间距。
设D＝4-0＝4米
以下举例说明：
Figure BDA0001849417510000081
左侧矩阵为任意目标的激光点云数据的距离值Zθ，右侧矩阵为目标点云距离量化后的灰度值。以左侧矩阵中的14.21为基准点，该基准点对应灰度255，如此即可得到如该右侧矩阵所示的高分辨率距离图{Gh θ}。
每类目标物均可以得到从不同角度获取的高分辨率距离图
Figure BDA0001849417510000091
h代表高分辨率，θ代表不同角度的序号，n代表所有角度的个数。
该高分辨率距离图
Figure BDA0001849417510000092
可根据需要分为多个相互重叠的图像块，后续可以以该图像块为单位，执行后续步骤，也可以以该高分辨率距离图为单位，执行后续步骤。
获取这一高分辨率距离图的目的是将目标在距离(z)方向上的数值进行细化。相当于将其归化为插值在格网化矩阵的网格的正中。
该步骤1进一步包括：
步骤11，利用垂直/水平滤波器，对该高分辨率距离图进行滤波，从而获得该高分辨率距离图的水平/垂直方向特征图。
该垂直/水平滤波器可根据需要进行选择，不以以下例子为限。
该水平滤波器可采用：
Figure BDA0001849417510000093
该垂直滤波器可采用：
Figure BDA0001849417510000094
将高分辨率距离图
Figure BDA0001849417510000095
利用该水平滤波器进行滤波，得到高分辨率距离图的水平方向特征图
Figure BDA0001849417510000096
θ代表不同角度的序号，n代表采集目标激光点云角度的个数。
将高分辨率距离图
Figure BDA0001849417510000097
利用该垂直滤波器进行滤波，得到高分辨率距离图的垂直方向特征图
Figure BDA0001849417510000098
θ代表不同角度的序号，n代表采集目标激光点云角度的个数。
将高分辨率距离图的水平、垂直方向特征图合并，进一步得到高分辨率特征图
Figure BDA0001849417510000101
为了凸显特征信息，所述特征图合并具体实施采用特征加权的处理方法。
步骤12，利用该高分辨率距离图生成不同尺度的低分辨率距离图，以及该低分辨率距离图的水平/垂直方向特征图。
对该高分辨率距离图进行二维小波变换以生成该低分辨率距离图。
Figure BDA0001849417510000102
Figure BDA0001849417510000103
Figure BDA0001849417510000104
Gk(i,j)即代表该高分辨率距离图Gh θ，Gk+1(m,n)为与该高分辨率距离图对应的低分辨率距离图，
Figure BDA0001849417510000105
为该低分辨率距离图的水平方向特征图,
Figure BDA0001849417510000106
为该低分辨率距离图的垂直方向特征图。l和h分别为小波函数对应的低通和高通滤波器系数，j为高分辨率距离图中的行，i为高分辨率距离图中的列，m为小波变换后图像的行，n为小波变换后图像的列，k为距离图变换的层数。
该距离图的降维尺度与目标的成像距离有关，获取远距离的目标距离图和特征图，通过多级二进小波变换获取。
步骤13，对于所述小波变换获取的低分辨率距离图，以及该低分辨率距离图的水平/垂直方向特征图进行插值处理，得到与该高分辨率距离图Gh θ尺寸维数相同的低分辨率距离图和水平/垂直方向特征图。
对低分辨率距离图Gk+1(m,n)、水平/垂直方向特征图
Figure BDA0001849417510000107
和
Figure BDA0001849417510000108
分别进行插值法处理，插值后为Gk+1’(m,n)、
Figure BDA0001849417510000109
和
Figure BDA00018494175100001010
且Gk+1’(m,n)、
Figure BDA00018494175100001011
和
Figure BDA00018494175100001012
与高分辨率距离图
Figure BDA00018494175100001013
有相同的维数。
将插值后的水平、垂直方向特征图
Figure BDA00018494175100001014
和
Figure BDA00018494175100001015
合并，得到与高分辨率特征图
Figure BDA0001849417510000111
维度相同的低分辨率特征图
Figure BDA0001849417510000112
为了凸显特征信息，所述特征图合并具体实施采用特征加权的处理方法。
由于在步骤12中进行了降维，也就是图像的尺寸缩小，故而步骤13中将其尺寸进行了恢复，便于后续步骤中利用相同尺寸的高/低分辨率特征图进行字典训练。
步骤14，利用该高分辨率特征图以及该低分辨率特征图训练得到到高分辨字典以及低分辨字典，该超分辨稀疏字典包括该高分辨字典Ah以及该低分辨字典Al。
步骤14为字典学习步骤，就是寻找冗余字典，使特征图样本能够由冗余字典与稀疏矩阵表示。
通过对目标的高分辨率特征图和低分辨率特征图样本进行训练，得到高低分辨字典对{Ah,Al}。
利用
Figure BDA0001849417510000113
中的每幅特征图进行训练，设从
Figure BDA0001849417510000114
中抽取的任意一幅高分辨率特征图表示为Dh，高分辨字典的训练问题表示为：
Figure BDA0001849417510000115
其中，符号min表示训练使得目标函数值最小，s.t.表示求解优化问题要满足的条件，|| ||F和|| ||0分别表示F-范数和0-范数，dk表示矩阵Dh中第k个元素，L0是对|| ||0的约束。X为稀疏系数矩阵。
对于与
Figure BDA0001849417510000116
对应的插值后的低分辨率特征图
Figure BDA0001849417510000117
简化表示为Dl，低分辨字典的训练问题表示为：
Figure BDA0001849417510000118
进一步地，将式(5)和(6)联合训练，高低分辨字典对的训练问题可以表示为(1/λ是权值系数):
Figure BDA0001849417510000121
简化后表示为：
Figure BDA0001849417510000122
其中，
Figure BDA0001849417510000123
字典学习就是求解高低分辨字典对{Ah,Al}和稀疏系数矩阵X。通过大量已知的Dh、Dl样本，通过公式(7)训练得到Ah、Al和X。
字典学习问题的求解可以采用K-SVD等不同算法。计算得到高分辨字典Ah和低分辨字典Al存储至样本的字典库。
通过上述字典训练的方法，可以获知每种目标物的高分辨率字典，在具体的实际应用环境中，可以利用该字典，提升点云数据的分辨率。
步骤1为激光雷达装置实际应用前的样本训练阶段，将对目标物的高频数据进行数据积累，从步骤2开始将利用步骤1的数据积累，针对激光雷达装置在实际扫描场景中获得的数据，进行高频信息的增加。
该步骤2进一步包括：
对激光雷达装置实时采集的低分辨率目标激光点云数据，初步识别和提取属于某一目标的目标激光点云数据，对目标激光点云数据(Xθ,Yθ,Zθ)进行网格化，Zθ值按照式(1)进行量化处理，得到目标激光点云数据的距离图(Xθ,Yθ,Gθ)，表示为G。
该步骤3进一步包括：
步骤31，利用垂直/水平滤波器，对所述目标激光点云数据的距离图G进行滤波，获得目标激光点云数据的距离图G的水平/垂直方向特征图Gh和Gv，与步骤1中类似，合并该水平/垂直方向特征图Gh和Gv为Ghv。该Ghv为低分辨率特征图。
步骤32，对低分辨率特征图Ghv进行插值，得到与步骤11中的高分辨率特征图
Figure BDA0001849417510000131
相同维数的低分辨率特征图G'hv，计算每个特征向量的稀疏系数。
Figure BDA0001849417510000132
其中，符号min表示训练使得目标函数值最小，s.t.表示求解优化问题要满足的条件，|| ||F和|| ||0分别表示F-范数和0-范数，L0是对|| ||0的约束，视为常数。X’为目标物的稀疏系数矩阵。Al'为目标物的低分辨字典。xk为X’中的第k个元素。
利用多个G'hv的样本，可以训练计算得到该Al'、X’以及系数矩阵{xk}。
步骤33，利用高分辨字典Ah和目标物的稀疏系数矩阵，得到高分辨率的距离特征图{gk}＝AhX'。
利用高分辨字典Ah替换Al'，增加高频信息。
步骤33利用携带本次扫描的相关信息的稀疏系数矩阵X’与步骤1中训练得到的、携带有目标物的高频信息的高分辨字典Ah，进一步增加了目标物的高频部分的信息。
步骤34，将目标物的激光点云数据的距离图G插值，得到与{gk}相同维数的低分辨率距离图G'，则重建的超分辨高分辨率距离图由特征图{gk}和低分辨率距离图G'叠合组成，表示为：
Gθ'＝G'+{gk}
Ah带有高分辨率的特征信息，{gk}带有目标自身的特征信息，通过二者的融合可以提升针对目标的激光点密度，增强目标轮廓的清晰度，使得目标识别率更高。
步骤3之后还包括：
步骤4，利用目标物的超分辨高分辨率距离图Gθ'生成超分辨的目标激光点云数据。
将(Xθ,Yθ,Gθ’)→(Xθ,Yθ,Zθ’)
与步骤10的生成距离图的步骤相反，超分辨的目标激光点云距离矩阵{Z'θ}各点值通过如下方法恢复为超分辨的目标激光点云数据Z'θ：
Figure BDA0001849417510000141
Z0为该基本参考点，D为归化目标距离范围的间距。
由此，经过超分辨后的目标激光点云数据将比目标激光点云数据具备更高的细节数据，高频信息增加，具备较高的目标识别率。
上述实施例仅为实现本发明的示例性描述，而不用以限制本发明的保护范围，保护范围请参阅后附带权利要求书中记载为准。

Claims (15)

1.一种激光点云数据的超分辨处理方法，其特征在于，包括：
步骤1，针对不同目标物，从不同角度分别获取高分辨率激光点云数据，利用该高分辨率激光点云数据形成高分辨率距离图，根据该高分辨率距离图建立每种目标物的超分辨稀疏字典；
步骤2，通过激光雷达装置获取一种目标物的激光点云数据，建立该目标物的激光点云数据的距离图；
步骤3，选择该目标物的超分辨稀疏字典中的特定参数，将该目标物的激光点云数据的距离图重建为超分辨高分辨率距离图。
2.如权利要求1所述的方法，其特征在于，利用该高分辨率激光点云数据形成高分辨率距离图的步骤进一步包括：
利用一基准点Z0，基于该目标物的该高分辨率激光点云数据(Xθ,Yθ,Zθ)的Z轴数据Zθ，将该高分辨率激光点云数据进行格网化，生成该高分辨率距离图Gh θ；
Gh θ＝255*(1-(Zθ-Z0)/D)
D为归化目标距离范围的间距。
3.如权利要求1或2所述的方法，其特征在于，该步骤1进一步包括：
步骤11，利用垂直/水平滤波器，对该高分辨率距离图进行滤波，从而获得该高分辨率距离图的水平/垂直方向特征图，将该高分辨率距离图的水平/垂直方向特征图合并，得到高分辨率特征图；
步骤12，利用该高分辨率距离图生成不同尺寸的低分辨率距离图，以及该低分辨率距离图的水平/垂直方向特征图；
步骤13，对于该低分辨率距离图以及该低分辨率距离图的水平/垂直方向特征图进行插值处理，使得插值后的低分辨率距离图以及插值后的低分辨率距离图的水平/垂直方向特征图，与该高分辨率距离图尺寸相同，合并该插值后的低分辨率距离图以及插值后的低分辨率距离图的水平/垂直方向特征图，得到低分辨率特征图；
步骤14，利用该高分辨率特征图以及该低分辨率特征图训练得到高分辨字典以及低分辨字典，该超分辨稀疏字典包括该高分辨字典以及该低分辨字典。
4.如权利要求3所述的方法，其特征在于，该步骤12通过如下公式实现：
Figure FDA0001849417500000021
Figure FDA0001849417500000022
Figure FDA0001849417500000023
Gk(i,j)代表该高分辨率距离图，Gk+1(m,n)为该低分辨率距离图，
Figure FDA0001849417500000024
为该低分辨率距离图的水平方向特征图，
Figure FDA0001849417500000025
为该低分辨率距离图的垂直方向特征图，l和h分别为小波函数对应的低通和高通滤波器系数，j为高分辨率距离图中的行，i为高分辨率距离图中的列，m、n为尺度变换参数，k为深度图变换的层数。
5.如权利要求3所述的方法，其特征在于，该步骤14通过如下公式实现：
Figure FDA0001849417500000026
其中，
Figure FDA0001849417500000027
X为稀疏系数矩阵，1/λ是权值系数，Dh为高分辨率特征图样本，Dl为低分辨率特征图样本，符号min表示训练使得目标函数值最小，s.t.表示求解优化问题要满足的条件，|| ||F和|| ||0分别表示F-范数和0-范数，dk表示Dh或Dl中第k个元素，L0是对|| ||0的约束。
6.如权利要求3所述的方法，其特征在于，该步骤2进一步包括：
对目标物的激光点云数据(Xθ,Yθ,Zθ)进行网格化，利用以下公式建立该目标物的激光点云数据的距离图G；
G＝255*(1-(Zθ-Z0)/D)
Z0为基准点，D为归化目标距离范围的间距。
7.如权利要求6所述的方法，其特征在于，该步骤3进一步包括：
步骤31，对所述目标物的激光点云数据的距离图G进行滤波，获得目标物的激光点云数据的距离图G的水平/垂直方向特征图Gh和Gv，合并该距离图G的水平/垂直方向特征图Gh和Gv，获得距离图G的低分辨率特征图Ghv；
步骤32，对距离图G的低分辨率特征图Ghv进行插值，使得插值后的低分辨率特征图Ghv’与该高分辨率特征图尺寸相同，利用插值后的低分辨率特征图Ghv’训练得到目标物的稀疏系数矩阵X’；
步骤33，利用高分辨字典Ah和目标物的稀疏系数矩阵X’，得到目标物的距离特征图{gk}＝AhX'。
步骤34，将距离图G插值，得到与{gk}相同维数的低分辨率距离图G'，利用该目标物的距离特征图{gk}和该低分辨率距离图G'叠合组成超分辨高分辨率距离图Gθ'。
8.如权利要求7所述的方法，其特征在于，该步骤32通过如下公式实现：
Figure FDA0001849417500000031
符号min表示训练使得目标函数值最小，s.t.表示求解优化问题要满足的条件，|| ||F和|| ||0分别表示F-范数和0-范数，L0是对|| ||0的约束，X’为目标物的稀疏系数矩阵，Al'为目标物的低分辨字典，xk为X’中的第k个元素。
9.如权利要求1所述的方法，其特征在于，该方法进一步包括：
步骤4，利用目标物的超分辨高分辨率距离图Gθ'生成超分辨的目标激光点云数据Z'θ；
Figure FDA0001849417500000032
其中，D为归化目标距离范围的间距，Z0为基准点。
10.如权利要求1所述的方法，其特征在于，该步骤1中进一步包括，将该高分辨率距离图分为多个图像块，基于该图像块执行后续步骤。
11.一种激光点云数据的超分辨处理装置，其特征在于，包括：
字典生成模块，用于针对不同目标物，从不同角度分别获取高分辨率激光点云数据，利用该高分辨率激光点云数据形成高分辨率距离图，根据该高分辨率距离图建立每种目标物的超分辨稀疏字典；
目标距离图生成模块，用于通过激光雷达装置获取一种目标物的激光点云数据，建立该目标物的激光点云数据的距离图；
重建模块，选择该目标物的超分辨稀疏字典中的特定参数，将该目标物的激光点云数据的距离图重建为超分辨高分辨率距离图。
12.如权利要求11所述的装置，其特征在于，该字典生成模块进一步包括：
利用垂直/水平滤波器，对该高分辨率距离图进行滤波，从而获得该高分辨率距离图的水平/垂直方向特征图，将该高分辨率距离图的水平/垂直方向特征图合并，得到高分辨率特征图的模块；
利用该高分辨率距离图生成不同尺寸的低分辨率距离图，以及该低分辨率距离图的水平/垂直方向特征图的模块；
对于该低分辨率距离图以及该低分辨率距离图的水平/垂直方向特征图进行插值处理，使得插值后的低分辨率距离图以及插值后的低分辨率距离图的水平/垂直方向特征图，与该高分辨率距离图尺寸相同，合并该插值后的低分辨率距离图以及插值后的低分辨率距离图的水平/垂直方向特征图，得到低分辨率特征图的模块；
利用该高分辨率特征图以及该低分辨率特征图训练得到高分辨字典以及低分辨字典，该超分辨稀疏字典包括该高分辨字典以及该低分辨字典的模块。
13.如权利要求11或12所述的装置，其特征在于，该重建模块进一步包括：
对所述目标物的激光点云数据的距离图G进行滤波，获得目标物的激光点云数据的距离图G的水平/垂直方向特征图Gh和Gv，合并该距离图G的水平/垂直方向特征图Gh和Gv，获得距离图G的低分辨率特征图Ghv的模块；
对距离图G的低分辨率特征图Ghv进行插值，使得插值后的低分辨率特征图Ghv’与该高分辨率特征图尺寸相同，利用插值后的低分辨率特征图Ghv’训练得到目标物的稀疏系数矩阵X’的模块；
利用高分辨字典Ah和目标物的稀疏系数矩阵X’，得到目标物的距离特征图{gk}＝AhX'的模块。
将距离图G插值，得到与{gk}相同维数的低分辨率距离图G'，利用该目标物的距离特征图{gk}和该低分辨率距离图G'叠合组成超分辨高分辨率距离图Gθ'的模块。
14.一种激光点云数据的超分辨处理系统，其特征在于，包括：
激光雷达装置，用于采集激光扫描数据；
数据处理装置，将该激光扫描数据转换为激光点云数据，该数据处理装置还具有存储器，其中存储有着所述数据处理装置上运行的计算机程序；
所述数据处理装置执行所述计算机程序时实现如权利要求1-10中任一所述方法的步骤。
15.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，包括：所述计算机程序被处理器执行时实现如权利要求1-10中任一所述方法的步骤。
CN201811287641.4A 2018-10-31 2018-10-31 激光点云数据的超分辨处理方法、装置、系统和存储介质 Active CN111127315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811287641.4A CN111127315B (zh) 2018-10-31 2018-10-31 激光点云数据的超分辨处理方法、装置、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811287641.4A CN111127315B (zh) 2018-10-31 2018-10-31 激光点云数据的超分辨处理方法、装置、系统和存储介质

Publications (2)

Publication Number Publication Date
CN111127315A true CN111127315A (zh) 2020-05-08
CN111127315B CN111127315B (zh) 2023-07-21

Family

ID=70485516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811287641.4A Active CN111127315B (zh) 2018-10-31 2018-10-31 激光点云数据的超分辨处理方法、装置、系统和存储介质

Country Status (1)

Country Link
CN (1) CN111127315B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103645480A (zh) * 2013-12-04 2014-03-19 北京理工大学 基于激光雷达和图像数据融合的地形地貌特征构建方法
CN105388135A (zh) * 2015-10-28 2016-03-09 清华大学深圳研究生院 一种非侵入式激光扫描成像方法
US20160125226A1 (en) * 2013-09-17 2016-05-05 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Method and system for automatically optimizing quality of point cloud data
CN105865350A (zh) * 2016-04-30 2016-08-17 广东工业大学 3d物体点云成像方法
CN108509918A (zh) * 2018-04-03 2018-09-07 中国人民解放军国防科技大学 融合激光点云与图像的目标检测与跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160125226A1 (en) * 2013-09-17 2016-05-05 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Method and system for automatically optimizing quality of point cloud data
CN103645480A (zh) * 2013-12-04 2014-03-19 北京理工大学 基于激光雷达和图像数据融合的地形地貌特征构建方法
CN105388135A (zh) * 2015-10-28 2016-03-09 清华大学深圳研究生院 一种非侵入式激光扫描成像方法
CN105865350A (zh) * 2016-04-30 2016-08-17 广东工业大学 3d物体点云成像方法
CN108509918A (zh) * 2018-04-03 2018-09-07 中国人民解放军国防科技大学 融合激光点云与图像的目标检测与跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李丽等: "基于非参数贝叶斯遥感影像超分辨率的改进算法" *
王东敏等: "视觉与激光点云融合的深度图像获取方法" *

Also Published As

Publication number Publication date
CN111127315B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
Kleineberg et al. Adversarial generation of continuous implicit shape representations
CN111462329B (zh) 一种基于深度学习的无人机航拍影像的三维重建方法
CN107239751B (zh) 基于非下采样轮廓波全卷积网络的高分辨sar图像分类方法
CN112749616B (zh) 点云数据的多域邻域嵌入和加权
CN111199206A (zh) 三维目标检测方法、装置、计算机设备及存储介质
CN112257605B (zh) 基于自标注训练样本的三维目标检测方法、系统及装置
CN111028327A (zh) 一种三维点云的处理方法、装置及设备
CN110633640A (zh) 优化PointNet对于复杂场景的识别方法
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质
CN115147798A (zh) 可行驶区域预测方法、模型、装置及车辆
CN117475428A (zh) 一种三维目标检测方法、系统及设备
CN117037142A (zh) 一种基于深度学习的3d目标检测方法
CN117237256B (zh) 一种浅海珊瑚礁监测数据采集方法、装置及设备
Tao et al. SiLVR: Scalable Lidar-Visual Reconstruction with Neural Radiance Fields for Robotic Inspection
CN117593702A (zh) 远程监控方法、装置、设备及存储介质
CN117423102A (zh) 点云数据处理方法以及相关设备
CN117151983A (zh) 一种基于小波启发和高频增强的图像全色锐化方法
CN111402183A (zh) 基于八度金字塔框架的多聚焦图像融合方法
CN111127315A (zh) 激光点云数据的超分辨处理方法、装置、系统和存储介质
CN115311653A (zh) 一种3d目标检测方法、装置、终端和存储介质
CN104574346A (zh) 一种光学遥感图像分解算法
CN118226421B (zh) 基于反射率图的激光雷达-相机在线标定方法及系统
CN112926619B (zh) 一种高精度水下激光目标识别系统
CN115601506B (zh) 一种三维场景的重建方法、电子设备及介质
Bian et al. Swin transformer UNet for very high resolution image dehazing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant