CN114663329A - 一种点云质量评估方法及系统 - Google Patents

一种点云质量评估方法及系统 Download PDF

Info

Publication number
CN114663329A
CN114663329A CN202011415668.4A CN202011415668A CN114663329A CN 114663329 A CN114663329 A CN 114663329A CN 202011415668 A CN202011415668 A CN 202011415668A CN 114663329 A CN114663329 A CN 114663329A
Authority
CN
China
Prior art keywords
point cloud
layer
key points
feature
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011415668.4A
Other languages
English (en)
Inventor
徐异凌
赵恒�
杨琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202011415668.4A priority Critical patent/CN114663329A/zh
Publication of CN114663329A publication Critical patent/CN114663329A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种点云质量评估方法及系统，包括：步骤S1，采用相同的方式，对原始点云与失真点云分别进行多次采样，分别得到原始点云与失真点云的多层关键点及各层关键点的关键点特征；步骤S2，对从原始点云与失真点云的各层关键点的关键点特征分别进行特征池化，分别得到原始点云与失真点云的各层关键点的特征向量；步骤S3，对原始点云与失真点云相互对应的各层关键点的特征向量，进行特征差异计算，得到各层关键点的差异向量；步骤S4，对各层关键点的差异向量分别进行拟合计算，得到各层关键点的评估结果；步骤S5，根据各层关键点的评估结果，计算出最终评估结果。本发明提供的信道估计方法及装置，大大提高了点云的质量评估结果的可靠性。

Description

一种点云质量评估方法及系统
技术领域
本发明涉及点云数据处理技术领域，具体地，涉及一种点云质量评估方法及系统。
背景技术
近几十年来，激光雷达(Light Detection and Ranging，LiDAR)扫描技术和系统日趋成熟，应用也越来越广泛。激光雷达可获得三维数据，这类数据也被称为雷达点云，并且能够反映目标的基本结构信息。基于三维激光点云数据进行的目标分割、目标识别、目标分类、目标配准等特定视觉任务研究均取得了成果。
基于激光点云的无人驾驶技术是当下研究的热点，并已应用于实际的驾驶过程。车载激光雷达(LiDAR)点云在获取、压缩、传输、呈现等过程中会出现失真，导致点云数据存在阴影、遮挡等现象，进一步使得特定的视觉任务无法达到理想效果，例如会导致点云分割算法的识别率变低，鲁棒性变差，进而造成计算资源的浪费。需要一种数据评估算法来避免这种浪费。
由于目前点云质量评估的研究尚处于起步阶段，关于点云的质量评估研究并不多见。此外，现有点云质量评估方法绝大多数为根据点云呈现的视觉效果对点云质量进行评估，并未根据特定的视觉任务(例如点云的目标分类、目标分割、目标识别等)的相关准确率指标进行点云数据的评估，使得执行任务时使用不好的数据得到了较差的结果。因此，如何评估点云数据机器感知的质量是目前亟待解决的关键问题。
由于LiDAR数据的稀疏性与不均匀性(例如，近处密集，远处稀疏)，并且特定任务中目标体积往往有占比很小的特点。现有的通测条件使用的点对点，点对面失真质量评估，显然无法很好的表达LiDAR中特定视觉任务，例如在雷达点云分割任务中，对加噪声数据，远处的点由于稀疏所以误差会较大，近处的某些点的误差又会较小。并且由于目标体积较小，噪声若不均匀，计算出的峰值信噪比(Peak Signal to Noise Ratio，PSNR)与特定任务结果并无直接关联，因此这两种经典失真的评估模型在雷达点云数据中准确率较低，鲁棒性较差。
另外，由于LiDAR点云数据的稀疏性和无颜色特性，法向量、颜色梯度、曲率这些局部性质是很难准确得到并进行利用的。这些指标是面向人眼视觉使用的质量评估指标，因此面向人眼视觉的质量评估指标均不能有效评估。
由于机器视觉任务大多是深度特征网络驱动，使用的是语义信息，前面介绍的几种算法均使用点云的几何信息得到。因此，基于几何信息的指标对LiDAR点云均不能体现好的鲁棒性。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种点云质量评估方法及系统。
根据本发明提供的一种点云质量评估方法，包括：
步骤S1，采用相同的方式，对原始点云与失真点云分别进行多次采样，分别得到原始点云与失真点云的多层关键点及各层关键点的关键点特征；
步骤S2，对从原始点云与失真点云的各层关键点的关键点特征分别进行特征池化，分别得到原始点云与失真点云的各层关键点的特征向量；
步骤S3，对原始点云与失真点云相互对应的各层关键点的特征向量，进行特征差异计算，得到各层关键点的差异向量；
步骤S4，对各层关键点的差异向量分别进行拟合计算，得到各层关键点的评估结果；
步骤S5，根据各层关键点的评估结果，计算出最终评估结果。
优选地，所述失真点云，为原始点云经过数据处理后出现失真而生成。
优选地，所述步骤S1中，
每对原始点云进行一次采样，对应提取出原始点云的一层关键点的关键点特征；
每对失真点云进行一次采样，对应提取出失真点云的一层关键点的关键点特征。
优选地，所述步骤S1中，
每层关键点的关键点特征存在多个特征维度，在每个特征维度上均包含一个数值。
优选地，所述步骤S2中，
所述特征池化的方式包括最大值池化、平均值池化或最小值池化。
优选地，所述最大值池化的方式为：从关键点所有特征维度上的数值中选取最大值，将每一层的关键点选取的最大值排列组合到一起，作为该层关键点的特征向量；
所述平均值池化的方式为：计算关键点所有特征维度上的数值的平均值，将每一层的关键点计算出的平均值排列组合到一起，作为该层关键点的特征向量；
所述最小值池化的方式为：从关键点所有特征维度上的数值中选取最小值，将每一层的关键点选取的最小值排列组合到一起，作为该层关键点的特征向量。
优选地，所述步骤S3中，对每层关键点进行的所述特征差异计算为：
计算原始点云与失真点云的各层关键点的特征向量的差，作为该层关键点的差异向量；
或，计算原始点云与失真点云在各层关键点的特征向量的差，取差的绝对值作为该层关键点的差异向量；
或，计算原始点云与失真点云在各层关键点的特征向量的差，取差的平方值作为该层关键点的差异向量。
优选地，所述步骤S4中，
所述拟合计算的方法包括最小二乘拟合方法、支持向量机拟合方法或神经网络拟合方法。
优选地，所述步骤S5中，
所述最终评估结果为：各层关键点的评估结果中的最大值，或各层关键点的评估结果中的最小值，或各层关键点的评估结果的平均值。
根据本发明提供的一种点云质量评估系统，包括：
特征提取模块：采用相同的方式，对原始点云与失真点云分别进行多次采样，分别得到原始点云与失真点云的多层关键点及各层关键点的关键点特征；
特征池化模块：对从原始点云与失真点云的各层关键点的关键点特征分别进行特征池化，分别得到原始点云与失真点云的各层关键点的特征向量；
特征差异计算模块：对原始点云与失真点云相互对应的各层关键点的特征向量，进行特征差异计算，得到各层关键点的差异向量；
预测模块：对各层关键点的差异向量分别进行拟合计算，得到各层关键点的评估结果；
质量评价分数计算模块：根据各层关键点的评估结果，计算出最终评估结果。
与现有技术相比，本发明具有如下的有益效果：
采用了本发明的技术方案，针对现有技术的不足，针对LiDAR点云的深层特征信息，采用多尺度融合的方式进行数据处理，对原始点云与失真点云进行多次采样形成多层关键点，对各层关键点的特征信息分别进行特征池化、特征差异计算、拟合计算得到各层关键点的评估结果后，再采用多尺度融合的方式计算出最终评估结果。本发明提供的点云质量评估方法及装置，大大提高了点云的质量评估结果的有效性和可靠性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是点云质量评估方法的流程图；
图2是多尺度特征提取、特征池化的示意图；
图3是多尺度预测结果融合的示意图；
图4是点云质量评估结果使用的示意图；
图5是点云质量评估系统的结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
图1所示为点云质量评估方法的流程图，图5所示为与该方法相对应的点云质量评估系统的流程图，该点云质量评估系统包括特征提取模块、特征池化模块、特征差异计算模块、预测模块和质量评价分数计算模块。本发明的方法主要包括如下步骤：
一、对原始点云与失真点云分别进行多次采样，生成原始点云与失真点云的多层关键点，提取得到原始点云与失真点云的多尺度的语义特征(各层关键点的关键点特征)，该步骤对应在特征提取模块中执行。
点云采集设备从外界捕获到原始点云a,原始点云a后续经过数据处理(例如，压缩、传输或呈现等处理方式)的过程后会出现各种失真，从而形成失真点云b。
对于原始点云a、失真点云b分别使用预训练好的深度特征提取网络提取多尺度的语义特征。深度特征提取网络是深度神经网络的组成部分，深度特征提取网络一般是视觉任务中提取深度特征使用的框架，例如pointNet，pointNet++，sparseNet等特征提取框架。如图2所示的实施例中，我们使用pointnet++框架作特征提取网络，同时对原始点云a和失真点云b进行多尺度的语义特征提取。
多尺度的语义特征是指我们同时提取不同层的特征信息，由对原始点云a与失真点云b分别进行多次采样得到。如图2所示的实施例，分别对原始点云a与失真点云b进行了4次下采样SA1、SA2、SA3、SA4，提取得到4层关键点的关键点特征。图2中SA表示每一层的依次进行特征提取的下采样步骤，点云的下采样是点云提取关键点的一种方法，特征提取的层次次数就是根据的点云的下采样次数决定的，采样后的点为关键点。
如图2所示，得到的多尺度语义特征可以用关键点特征矩阵表示，该关键点特征矩阵是从预训练好的特征提取网络得到的数值矩阵；关键点特征矩阵的行数是该层的点数，矩阵的列数是每个关键点对应的特征维度的维数。该实施例中，第一次下采样得到4096个关键点(即第一层)，第二次下采样得到1024个关键点(即第二层)，第三次下采样得到256个关键点(即第三层)，第四次下采样得到64个关键点(即第四层)。不同层中的特征分别代表了不同的有效范围，多尺度语义特征提取就是同时使用了多个层的具有不同有效提取范围的特征。
下采样的方式也可以是均匀下采样、FPS(farthest point sampling)等采样方法。均匀下采样是将点云空间评价划分进行的采样方法，FPS是一种较为常用的考虑点的位置和欧氏距离的下采样方法。如图2所示，下采样会导致点云变少，因此每一层的关键点数量不同；同时不同层的关键点，对应的特征维度的维数也不同。
如图2中关键点特征矩阵所示，任意一列横排对应一个关键点，每个关键点在其包含的每一个特征维度上都存在用于表征的一个数值，每个关键点在横排上填充有数值的位置的长度表示特征维度的维数；将同一关键点在各个特征维度上的数值组合排列到一起，形成了该关键点的关键点特征。
每次下采样提取的点数(即每层的点数)视目标体量，并不限于上述实施例的取值；深度提取网络的选取、特征维数、层数(采样次数)根据选取的视觉任务来确定，也不限于上述实施例的取值。视觉任务包括点云的目标检测、目标分类、目标分割、目标识别等。
二、对从原始点云与失真点云的各层关键点的关键点特征分别进行特征池化，分别得到原始点云与失真点云的各层关键点的特征向量；该步骤在特征池化模块中执行。
对从原始点云a与失真点云b的各层关键点的关键点特征分别进行特征池化，对同一关键点在各个特征维度上的数值(即该关键点的关键点特征所包含的数值)进行特征池化，将每个关键点的关键点特征综合成一个数值，将每一层所包含的关键点综合成的数值排列组合到一起，作为该层关键点的特征向量；各层关键点的特征向量组合形成多尺度的特征向量(为特征向量集合)。
特征池化的池化策略可以使用多尺度语义特征的一种或几种统计指标或者函数映射值，例如最大值池化、平均值池化、最小值池化等方式。
最大值池化就是对每个关键点的关键点特征所包含的数值取最大值，即关键点特征矩阵的每一行取最大值，将每一层关键点选取的最大值排列组合到一起，组成该层关键点的特征向量；
平均值池化就是对每个关键点的关键点特征所包含的数值取平均值，即关键点特征矩阵的每一行取平均值，将每一层关键点取的平均值排列组合到一起，组成该层关键点的特征向量；
最小值池化就是对每个关键点的关键点特征所包含的数值取最小值，即关键点特征矩阵的每一行取最小值，将每一层关键点选取的最小值排列组合到一起，组成该层关键点的特征向量。
如图2所示的实施例，对四层关键点的关键点特征进行池化，得到每一层关键点的特征向量
Figure BDA0002820038880000061
其中i用于表示点云，例如，可为点云a或点云b。对原始点云a的四层关键点的关键点特征进行特征池化,得到四层关键点的特征向量
Figure BDA0002820038880000062
Figure BDA0002820038880000063
进一步组合形成原始点云a的多尺度的特征向量
Figure BDA0002820038880000064
(即四个特征向量集合)；对失真点云b的四层关键点的关键点特征进行特征池化,得到四层关键点的特征向量
Figure BDA0002820038880000065
进一步组合形成失真点云b的多尺度的特征向量
Figure BDA0002820038880000066
(即四个特征向量集合)。
三、对原始点云与失真点云相互对应的各层关键点的特征向量，进行特征差异计算，得到各层关键点的差异向量；该步骤在特征差异计算模块中执行。
特征差异计算，就是对于每一层关键点，将原始点云a中该层关键点的特征向量所包含的数值和失真点云b中该层关键点的特征向量所包含的数值直接相减，进行处理后得到该层关键点的差异向量。特征差异计算的方法可以为差值方法、计算L1范数方法、计算L2范数方法或其他求距离的方法。
差值方法：将原始点云a中某层关键点的特征向量所包含的数值和失真点云b中该层关键点的特征向量所包含的数值直接相减，将得到的向量直接作为该层关键点的差异向量。各层关键点的差异向量组合形成多尺度的差异向量(为差异向量集合)。表示如下：
Figure BDA0002820038880000071
或
Figure BDA0002820038880000072
Figure BDA0002820038880000073
或
Figure BDA0002820038880000074
其中,fj表示原始点云a与失真点云b的第j层关键点的差异向量,Da,b表示原始点云a与失真点云b的多尺度的差异向量，U表示向量集合，n表示关键点的层数(即对原始点云与失真点云分别进行采样的次数)，
Figure BDA0002820038880000075
表示原始点云a第j层关键点的特征向量，
Figure BDA0002820038880000076
表示失真点云b第j层关键点的特征向量。
计算L1范数方法：将原始点云a中某层关键点的特征向量所包含的数值和失真点云b中该层关键点的特征向量所包含的数值直接相减，对得到的向量所包含的每个数值取绝对值后，作为该层关键点的差异向量。各层关键点的差异向量组合形成多尺度的差异向量(为差异向量集合)。表示如下：
Figure BDA0002820038880000077
Figure BDA0002820038880000078
其中,fj表示原始点云a与失真点云b的第j层关键点的差异向量,Da,b表示原始点云a与失真点云b的多尺度的差异向量，U表示向量集合，n表示关键点的层数(即对原始点云与失真点云分别进行采样的次数)，
Figure BDA0002820038880000079
表示原始点云a第j层关键点的特征向量，
Figure BDA00028200388800000710
表示失真点云b第j层关键点的特征向量。
计算L2范数方法：将原始点云a中某层关键点的特征向量所包含的数值和失真点云b中该层关键点的特征向量所包含的数值直接相减，对得到的向量所包含的每个数值取平方值后，作为该层关键点的差异向量。各层关键点的差异向量组合形成多尺度的差异向量(为差异向量集合)。表示如下：
Figure BDA00028200388800000711
Figure BDA00028200388800000712
其中,fj表示原始点云a与失真点云b的第j层关键点的差异向量,Da,b表示原始点云a与失真点云b的多尺度的差异向量，U表示向量集合，n表示关键点的层数(即对原始点云与失真点云分别进行采样的次数)，
Figure BDA00028200388800000713
表示原始点云a第j层关键点的特征向量，
Figure BDA00028200388800000714
表示失真点云b第j层关键点的特征向量。
如图2、3所示的实施例中，层数n＝4，得到四层关键点的特征向量
Figure BDA00028200388800000715
其中i表示输入的点云数据。但层数n(采样次数)根据选取的视觉任务来确定，也不限于上述实施例的取值。
四、对各层关键点的差异向量分别进行拟合计算，得到各层关键点的评估结果；该步骤在预测模块中执行。
将某层关键点的差异向量(例如第j层关键点的差异向量
Figure BDA0002820038880000081
Figure BDA0002820038880000082
等等)所包含的数值进行拟合计算，得到该层关键点的评估结果。对各层关键点的差异向量分别进行拟合计算，得到各层关键点的评估结果。
所采用的拟合计算方法可以包括最小二乘拟合方法、支持向量机(SVR，supprotvector regression)拟合方法和神经网络拟合方法。拟合计算方法都是基于点云数据确定的。
如图3所示，对四层关键点的特征向量
Figure BDA0002820038880000083
分别进行拟合计算，得到其输出为单一尺度下的质量分数S1、S2、S3、S4(即各层关键点的评估结果)。
五、根据各层关键点的评估结果，计算出最终评估结果；该步骤在计算质量评价分数模块中执行。
对各层关键点的评估结果进行分数池化，得到最终评估结果。分数池化的池化策略包括最大值池化、平均值池化、最小值池化等方式。
最大值池化就是对各层关键点的评估结果取最大值；平均值池化就是对各层关键点的评估结果取平均值；最小值池化就是对各层关键点的评估结果取最小值。
分数池化的池化策略还可以用如下公式表示：
Figure BDA0002820038880000084
其中，SMPQA表示最终评估结果，Wj表示加权系数，Sj表示第j层关键点的评估结果。
如图3所示的实施例中，对单一尺度下的质量分数(四层关键点的评估结果)S1，S2，S3，S4进行分数池化，得到最终评估结果SMPQA。
六、点云的质量评估结果的使用。
如图4所示，记计算出的最终评估结果SMPQA为分数F，根据分数F的大小可以估计出该失真点云b对视觉任务的影响大小，判定该点云数据对该视觉任务是否可行。将分数F的大小与阈值Q进行比较，若F<Q，则认为此失真点云数据无法完成正常视觉任务，舍弃该数据；若F>Q，则使用该失真点云数据进行特定视觉任务。阈值Q的选取根据执行的视觉任务来确定。
本发明的点云质量评估方法，有如下优点：
(1)有效性增强。本发明采用的是视觉任务应用下的点云深层特征信息实现，因此视觉任务的特征信息损失和视觉任务准确率有明显的线性关系，与其他基于几何信息的指标相比，本发明具有可靠性；本发明能够有效评估点云数据对应的服务质量，使用评估结果来估计该点云数据在特定视觉任务下实现的正确率，评估此输入数据针对特定任务的有效性及服务质量，进而提高资源利用率与视觉任务的准确性。
(2)鲁棒性增强。由于LiDAR点云目标体量过小并且目标尺度不一的原因，采用局部的特征提取才是更有效的做法。但是由于缺乏体量具体的先验知识，局部的范围很难确定。本方法针对LiDAR点云的深层特征信息，采用多尺度融合的方式进行数据处理，克服了LiDAR点云数据的稀疏性与不均匀性、目标尺寸不一带来的问题，提高了点云的质量评估结果的可靠性，进一步提高鲁棒性。
(3)本发明可以实现众多面向机器视觉的场景的进一步优化，例如可以实现面向视觉任务的传输系统中各项参数的自适应调整，以达到任务结果的最优效果。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种点云质量评估方法，其特征在于，包括：
步骤S1，采用相同的方式，对原始点云与失真点云分别进行多次采样，分别得到原始点云与失真点云的多层关键点及各层关键点的关键点特征；
步骤S2，对从原始点云与失真点云的各层关键点的关键点特征分别进行特征池化，分别得到原始点云与失真点云的各层关键点的特征向量；
步骤S3，对原始点云与失真点云相互对应的各层关键点的特征向量，进行特征差异计算，得到各层关键点的差异向量；
步骤S4，对各层关键点的差异向量分别进行拟合计算，得到各层关键点的评估结果；
步骤S5，根据各层关键点的评估结果，计算出最终评估结果。
2.根据权利要求1所述的点云质量评估方法，其特征在于，所述失真点云，为原始点云经过数据处理后出现失真而生成。
3.根据权利要求1所述的点云质量评估方法，其特征在于，所述步骤S1中，
每对原始点云进行一次采样，对应提取出原始点云的一层关键点的关键点特征；
每对失真点云进行一次采样，对应提取出失真点云的一层关键点的关键点特征。
4.根据权利要求1所述的点云质量评估方法，其特征在于，所述步骤S1中，
每层关键点的关键点特征存在多个特征维度，在每个特征维度上均包含一个数值。
5.根据权利要求4所述的点云质量评估方法，其特征在于，所述步骤S2中，
所述特征池化的方式包括最大值池化、平均值池化或最小值池化。
6.根据权利要求5所述的点云质量评估方法，其特征在于，所述最大值池化的方式为：从关键点所有特征维度上的数值中选取最大值，将每一层的关键点选取的最大值排列组合到一起，作为该层关键点的特征向量；
所述平均值池化的方式为：计算关键点所有特征维度上的数值的平均值，将每一层的关键点计算出的平均值排列组合到一起，作为该层关键点的特征向量；
所述最小值池化的方式为：从关键点所有特征维度上的数值中选取最小值，将每一层的关键点选取的最小值排列组合到一起，作为该层关键点的特征向量。
7.根据权利要求6所述的点云质量评估方法，其特征在于，所述步骤S3中，对每层关键点进行的所述特征差异计算为：
计算原始点云与失真点云的各层关键点的特征向量的差，作为该层关键点的差异向量；
或，计算原始点云与失真点云在各层关键点的特征向量的差，取差的绝对值作为该层关键点的差异向量；
或，计算原始点云与失真点云在各层关键点的特征向量的差，取差的平方值作为该层关键点的差异向量。
8.根据权利要求1所述的点云质量评估方法，其特征在于，所述步骤S4中，
所述拟合计算的方法包括最小二乘拟合方法、支持向量机拟合方法或神经网络拟合方法。
9.根据权利要求1所述的点云质量评估方法，其特征在于，所述步骤S5中，
所述最终评估结果为：各层关键点的评估结果中的最大值，或各层关键点的评估结果中的最小值，或各层关键点的评估结果的平均值。
10.一种点云质量评估系统，其特征在于，包括：
特征提取模块：采用相同的方式，对原始点云与失真点云分别进行多次采样，分别得到原始点云与失真点云的多层关键点及各层关键点的关键点特征；
特征池化模块：对从原始点云与失真点云的各层关键点的关键点特征分别进行特征池化，分别得到原始点云与失真点云的各层关键点的特征向量；
特征差异计算模块：对原始点云与失真点云相互对应的各层关键点的特征向量，进行特征差异计算，得到各层关键点的差异向量；
预测模块：对各层关键点的差异向量分别进行拟合计算，得到各层关键点的评估结果；
质量评价分数计算模块：根据各层关键点的评估结果，计算出最终评估结果。
CN202011415668.4A 2020-12-07 2020-12-07 一种点云质量评估方法及系统 Pending CN114663329A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011415668.4A CN114663329A (zh) 2020-12-07 2020-12-07 一种点云质量评估方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011415668.4A CN114663329A (zh) 2020-12-07 2020-12-07 一种点云质量评估方法及系统

Publications (1)

Publication Number Publication Date
CN114663329A true CN114663329A (zh) 2022-06-24

Family

ID=82024369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011415668.4A Pending CN114663329A (zh) 2020-12-07 2020-12-07 一种点云质量评估方法及系统

Country Status (1)

Country Link
CN (1) CN114663329A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197063A (zh) * 2023-08-30 2023-12-08 深圳职业技术学院 基于多视角投影和transformer模型的点云质量评价方法及相关产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197063A (zh) * 2023-08-30 2023-12-08 深圳职业技术学院 基于多视角投影和transformer模型的点云质量评价方法及相关产品

Similar Documents

Publication Publication Date Title
CN110264416B (zh) 稀疏点云分割方法及装置
CN107767413B (zh) 一种基于卷积神经网络的图像深度估计方法
CN108399362B (zh) 一种快速行人检测方法及装置
CN107229918B (zh) 一种基于全卷积神经网络的sar图像目标检测方法
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN109325589B (zh) 卷积计算方法及装置
CN111861925B (zh) 一种基于注意力机制与门控循环单元的图像去雨方法
CN111461083A (zh) 基于深度学习的快速车辆检测方法
CN112785636B (zh) 一种多尺度增强式的单目深度估计方法
CN111553414A (zh) 一种基于改进Faster R-CNN的车内遗失物体检测方法
CN116958687A (zh) 一种基于改进detr的面向无人机的小目标检测方法及装置
CN110007764B (zh) 一种手势骨架识别方法、装置、系统及存储介质
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
CN101601070A (zh) 用于生成画面显著度图的设备和方法
CN114663329A (zh) 一种点云质量评估方法及系统
CN116206196B (zh) 一种海洋低光环境多目标检测方法及其检测系统
CN113313179A (zh) 一种基于l2p范数鲁棒最小二乘法的噪声图像分类方法
CN112804522A (zh) 一种对摄像头异常状况的检测方法及装置
CN115861595B (zh) 一种基于深度学习的多尺度域自适应异源图像匹配方法
CN116703996A (zh) 基于实例级自适应深度估计的单目三维目标检测算法
CN116385281A (zh) 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法
CN116563141A (zh) 一种基于卷积神经网络的火星表面图像增强方法
CN110827309A (zh) 一种基于超像素的偏光片外观缺陷分割方法
CN116542865A (zh) 一种基于结构重参数化的多尺度实时去雾方法及装置
CN113537240B (zh) 一种基于雷达序列图像的形变区智能提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination