CN113269706A - 激光雷达图像质量评价方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了激光雷达图像质量评价方法、装置、设备及存储介质，该方法包括：针对输入的待评估目标激光雷达图像，依次进行点、线、面三类目标结构特征提取，获取第一点结构特征、第一线结构特征和第一面结构特征；分别进行特征描述得到第一点结构特征描述向量、第一线结构特征描述向量和第一面结构特征描述向量；从预存的模板图像中获取的第二点结构特征、第二线结构特征和第二面结构特征，以及第二点结构特征描述向量、第二线结构特征描述向量和第二面结构特征描述向量，计算两个图像对应的点特征相似度、线特征相似度和面特征相似度；对待评估目标激光雷达图像进行质量评价。本发明的方法能够更准确地评价新型探测体制激光雷达系统图像。

Description

激光雷达图像质量评价方法、装置、设备及存储介质

技术领域

本发明涉及图像处理技术领域，特别涉及激光雷达图像质量评价方法、装置、设备及存储介质。

背景技术

图像质量评价不仅广泛应用于图像分辨率增强、图像复原、图像压缩等处理领域，同时对于新型探测体制激光雷达系统的复杂环境适用性能的评估具有重要的意义。

通常情况下，激光雷达图像的质量评价主要分为主观评价方法和客观评价方法两类，其中主观评价方法受评价人员的专业背景知识、身体状况、情绪等因素影响大，因此客观评价方法的研究备受关注且客观评价方法更为广泛地应用在图像评价中。在客观质量评价方法中通常所用的评价指标主要有：信噪比(SNR)、灰度均值、灰度方差、灰度熵、纹理熵、细节能量、角二阶矩、自相关、边缘能量、结构相似度(包含结构特征显著度、边缘特征强度、灰度特征强度等)等，其中峰值信噪比、结构相似性被广泛应用。然而，这些评价方法并不能很好的直观体现目标与背景之间的差异性，不适用于面向目标检测识别的图像质量评价。

发明内容

本发明的目的在于，克服上述技术缺陷，综合利用目标检测识别所依赖的点、线、面结构特征构建激光雷达图像的质量评价标准，评估复杂环境下、在充满噪声、干扰、目标多样且目标在不断移动的环境下新型探测体制所成激光雷达图像的适用性。

为实现上述目的，本发明提供了一种激光雷达图像的质量评价方法，所述方法包括：

针对输入的待评估目标激光雷达图像，依次进行点、线、面三类目标结构特征提取，获取第一点结构特征、第一线结构特征和第一面结构特征；

针对待评估目标激光雷达图像的第一点结构特征、第一线结构特征和第一面结构特征，分别进行特征描述得到第一点结构特征描述向量、第一线结构特征描述向量和第一面结构特征描述向量；

利用第一点结构特征、第一线结构特征和第一面结构特征，以及第一点结构特征描述向量、第一线结构特征描述向量和第一面结构特征描述向量，以及从预存的模板图像中获取的第二点结构特征、第二线结构特征和第二面结构特征，以及第二点结构特征描述向量、第二线结构特征描述向量和第二面结构特征描述向量，计算待评估目标激光雷达图像和模板图像中对应的点特征相似度、线特征相似度和面特征相似度；

根据点特征相似度、线特征相似度和面特征相似度对待评估目标激光雷达图像进行质量评价。

作为上述方法的一种改进，所述针对输入的待评估目标激光雷达图像，依次进行点、线、面三类目标结构特征提取，获取第一点结构特征、第一线结构特征和第一面结构特征；具体包括：

采用具有旋转、尺度缩放、亮度变化不变性的尺度不变特征变换块点检测算法，对待评估目标激光雷达图像进行目标块点特征提取，获得各目标点的位置信息，作为第一点结构特征；

采用Canny边缘检测算法，对待评估目标激光雷达图像进行目标边缘线特征提取，获取各目标边缘线及每一目标边缘线上所有点的位置信息，作为第一线结构特征；

采用最稳定极值区域检测算法，对待评估目标激光雷达图像进行目标区域面特征提取，获取各目标区域面及每一目标区域面中所有点的位置信息，作为第一面结构特征。

作为上述方法的一种改进，针对待评估目标激光雷达图像的第一点结构特征、第一线结构特征和第一面结构特征，分别进行特征描述得到第一点结构特征描述向量、第一线结构特征描述向量和第一面结构特征描述向量；具体包括：

采用SIFT描述子对第一点结构特征进行特征描述，形成图像点特征描述向量，作为第一点结构特征描述向量；

采用形状上下文描述子和边缘锐度描述子对第一线结构特征依次进行特征描述，形成图像线特征描述向量，作为第一线结构特征描述向量；

采用加速健壮特征描述子对第一面结构特征进行特征描述，形成图像面特征描述向量，作为第一面结构特征描述向量。

作为上述方法的一种改进，所述采用SIFT描述子对第一点结构特征进行特征描述，形成图像点特征描述向量，作为第一点结构特征描述向量；具体包括：

对待评估目标激光雷达图像所有目标块点，计算块点邻域内每个像素点的梯度，包括幅度值和方向值，计算公式为：

其中，(x,y)表示块点的图像坐标，m(x,y)为该点的幅度值，θ(x,y)为该点的方向值；L(x-1,y)、L(x+1,y)、L(x,y-1)、L(x,y+1)分别表示图像像素(x,y)处的正上方、正下方、正左方和正右方处相邻像素的灰度值；

计算统计梯度方向直方图，将梯度方向每隔10°划分一份，总计36份，若某像素点的梯度方向落入第i份，则将其梯度幅值累加到该方向份中；梯度方向直方图中，幅值最大的份所表示的方向为主方向，若其它方向份的幅值大于最大幅值的0.8倍，则也将它们作为主方向；

在获得主方向所在的方向份之后，利用其邻近的两个方向份的幅值插值出主方向；

在获得特征点的主方向后，将邻域顺时针旋转到水平方向，然后在旋转图像上统计分块梯度方向直方图；SIFT将邻域划分成4×4子块，梯度方向划分成8份，将每块的梯度方向直方图级联起来，形成128位特征描述向量，作为第一点结构特征描述向量。

作为上述方法的一种改进，所述用形状上下文描述子和边缘锐度描述子对第一线结构特征依次进行特征描述，形成图像线特征描述向量，作为第一线结构特征描述向量；具体包括：

对待评估目标激光雷达图像上的第一线结构特征，采用SC描述子进行边缘线特征描述：

针对边缘检测子检测得到的目标边缘点，进行边缘离散采样，将形状表示为不同位置处离散像素点的组合；对于每一个采样点，将其邻域在对数极坐标下分块，邻域内的像素点与中心像素点的空间位置关系由它们之间的距离和方向来刻画；统计落入每块内的边缘点个数，级联起来形成直方图，以此作为该采样点的形状上下文描述；

对待评估目标激光雷达图像的第一线结构特征，采用边缘锐度描述子进行边缘线特征描述：

边缘锐度的计算过程和数学模型如下：

计算图像的梯度值：

d(x,y)＝{[L(x,y)-L(x+2,y)]²+[L(x,y)-L(x,y+2)]²} (2)

其中，L(x,y)是(x,y)处的灰度值，d(x,y)是(x,y)处的梯度值；

其次，利用方向函数寻找具有最大锐度的边缘点及其边缘方向：用一个1×5的窗口以0°,45°,90°,135°方向分别在梯度图像中滑动，计算窗口内5个梯度值的和；在每个像素点计算以上4个方向的值，取最大值，扫描一遍图像后，就得到具有最大梯度的边缘位置P(x,y)和边缘方向；

在寻找的具有最大锐度的边缘点处沿边缘法线方向在边缘左右各取3个点，最终得到7个像素点；取7个点间的梯度d_i,i＝0,1,....,5；得到边缘锐度的数学计算模型为：

m₁＝d_max/2F_max (3)

m₃＝d3_max/2F_max (4)

其中，F_max为上述7个像素点中最大灰度与最小灰度的差；d_max＝max{d₁,d₂,...,d₅}；d3_max＝max{(d₁+d₂+d₃),(d₂+d₃+d₄)}；m₁反映了边缘法线方向上一个像素距离的最大灰度变化对整个边缘过渡的贡献；m₃反映了边缘法线方向上连续3个像素距离最大灰度变化对整个边缘过渡的贡献；二者都是边缘锐度的描述参量；

将上述形状上下文描述和边缘锐度的描述参量形成图像线特征描述向量，作为第一线结构特征描述向量。

作为上述方法的一种改进，所述采用加速健壮特征描述子对第一面结构特征进行特征描述，形成图像面特征描述向量，作为第一面结构特征描述向量，具体包括：

对待评估目标激光雷达图像的所有区域面特征进行椭圆拟合，将拟合的椭圆中心视为候选特征点，在尺度空间和图像空间进行差值运算，得到亚像素精度的特征点位置及所在的尺度值；

确定主方向：设σ为一个特征点的尺度因子，对以该特征点为圆心、半径为6σ的邻域中的点，分别计算其X和Y方向上的Haar小波响应；Haar小波尺寸选为4σ；以60°为一个扇形区域，以圆心为原点旋转扇形区域，计算Haar小波响应的向量和，得到一系列向量，选择最长的向量作为该特征点的主方向；

构造描述子向量：按主方向构造一个大小为20σ×20σ的窗口，并均匀地将其分成4×4个子区域；对每一个子区域，分别计算其主方向及其垂直方向上的Haar小波响应，得到4个数值∑d_x,∑d_y,∑|d_x|,∑|d_y|，这些数值可以反映图像在该子区域的特性；因此，对应所有4×4个子区域共得到64个值，归一化后构成特征点的SURF描述子向量，作为第一面结构特征描述向量。

作为上述方法的一种改进，所述方法还包括：从预存的模板图像中获取第二点结构特征、第二线结构特征和第二面结构特征，以及第二点结构特征描述向量、第二线结构特征描述向量和第二面结构特征描述向量。

作为上述方法的一种改进，所述利用第一点结构特征、第一线结构特征和第一面结构特征，以及第一点结构特征描述向量、第一线结构特征描述向量和第一面结构特征描述向量，以及从预存的模板图像中获取的第二点结构特征、第二线结构特征和第二面结构特征，以及第二点结构特征描述向量、第二线结构特征描述向量和第二面结构特征描述向量，计算待评估目标激光雷达图像和模板图像中对应的点特征相似度、线特征相似度和面特征相似度；具体包括：

采用相同的特征匹配方法，对第一点结构特征和第二点结构特征进行特征匹配，获得点结构特征有效匹配点对的集合；对第一线结构特征和第二线结构特征进行特征匹配，获得线结构特征有效匹配点对的集合；对第一面结构特征和第二面结构特征进行特征匹配，获得面结构特征有效匹配点对的集合；

采用相同的特征相似度度量方法，对点结构特征有效匹配点对的集合、线结构特征有效匹配点对的集合和面结构特征有效匹配点对的集合，依次进行特征相似度计算，得到待评估目标图像与模板图像之间的点特征相似度S_P、线特征相似度S_E以及面特征相似度S_A。

作为上述方法的一种改进，所述特征匹配方法，具体包括：

设待评估目标激光雷达图像的结构特征点集为A＝{H₁,H₂,...,H_P}，模板图像的结构特征点集为B＝{K₁,K₂,...,K_Q}；H_p为第p个结构特征的特征描述向量；K_q为第q个结构特征的特征描述向量；P为点集A的特征点个数；Q为点集B的特征点个数；所述结构特征为点结构特征、线结构特征或面结构特征；

依次计算点集A中每个结构特征和点集B中每个结构特征的之间的距离：

其中，h_pn表示特征描述向量H_p的第n个分量；k_qn表示特征描述向量K_q的第n个分量；N为特征描述向量的维度；d(H_p,K_q)为距离；

根据上述计算的距离，采用双向匹配策略对点集A和点集B进行点对匹配，得到匹配的点对集合；

采用RANSAC一致性度量准则从上述匹配的点对集合中筛选出正确的匹配点对，形成互相匹配的点对集合。

作为上述方法的一种改进，所述特征相似度度量的计算过程，具体包括：

结构特征点集A和结构特征点集B的互相匹配的点对数量为N_mat；互相匹配的点对集合为：

a_i和b_i表示第i个结构特征的特征描述向量；

则待评估目标激光雷达图像与模板图像的特征相似性度量S为：

其中，K_ImgA为待评估目标激光雷达图像被激光照射区域面积与目标图像面积的比值因子。

作为上述方法的一种改进，所述根据点特征相似度、线特征相似度和面特征相似度，对待评估目标激光雷达图像进行质量评价；具体包括：

待评估目标激光雷达图像的质量评价结果S_Img为：

S_Img＝f_proj·(k_P·S_P+k_E·S_E+k_A·S_A) (10)

其中，k_P、k_E和k_A分别表示点、线和面特征相似度对图像适用性能的影响权重系数，f_proj为转换因子。

本发明还提供了一种激光雷达图像的质量评价装置，所述装置包括：

第一特征提取模块，用于针对输入的待评估目标激光雷达图像，依次进行点、线、面三类目标结构特征提取，获取第一点结构特征、第一线结构特征和第一面结构特征；

第一特征描述模块，用于针对待评估目标激光雷达图像的第一点结构特征、第一线结构特征和第一面结构特征，分别进行特征描述得到第一点结构特征描述向量、第一线结构特征描述向量和第一面结构特征描述向量；

特征相似度计算模块，用于利用第一点结构特征、第一线结构特征和第一面结构特征，以及第一点结构特征描述向量、第一线结构特征描述向量和第一面结构特征描述向量，以及从预存的模板图像中获取的第二点结构特征、第二线结构特征和第二面结构特征，以及第二点结构特征描述向量、第二线结构特征描述向量和第二面结构特征描述向量，计算待评估目标激光雷达图像和模板图像中对应的点特征相似度、线特征相似度和面特征相似度；

图像质量评价模块，用于根据点特征相似度、线特征相似度和面特征相似度对待评估目标激光雷达图像进行质量评价。

本发明还提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的方法。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述的方法。

本发明的优势在于：

1、本发明的方法利用了目标检测识别所依赖的点、线、面结构特征，其评价结果更能满足面向目标识别的图像质量评价需求；此外，该方法综合采用了点、线、面结构特征，因此评价结果更为准确；

2、本发明的方法能够更准确地评价新型探测体制激光雷达系统所成图像，能够面向目标检测识别应用的复杂环境适用性能。

附图说明

图1为本发明面向目标识别的激光雷达图像的质量评价方法的流程示意图；

图2为SIFT描述子进行主方向选取的过程示意图；

图3为SIFT描述子对2*2子块进行特征描述的过程示意图；

图4为SC描述子空间划分示意图；

图5为SURF描述子精确定位特征点示意图；

图6为SURF描述子特征点主方向构造示意图；

图7为SURF特征点描述子向量构造示意图；

图8为极少精确匹配点情况对于相似性度量的干扰问题示意图；

图9为本发明实施例提供的一种激光雷达图像质量评价装置的结构示意图；

图10为本发明实施例提供的用于激光雷达图像质量评价的计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明的技术方案进行详细的说明。

如图1所示，本发明的实施例1提出了一种激光雷达图像的质量评价方法，包括：

步骤1)针对输入的待评估目标激光雷达图像L，依次进行点、线、面三类目标结构特征提取，分别确定出第一点、线、面特征；具体包括：

1.1、采用具有旋转、尺度缩放、亮度变化不变性的尺度不变特征变换(ScaleInvariant Feature Transform，SIFT)块点检测算法，对待评估目标图像L，即待评估目标激光雷达图像L进行目标块点特征提取，获得目标块点结构特征，例如获取目标块点的位置信息；

1.2、采用经典的Canny边缘检测算法，对待评估目标图像L进行目标边缘线特征提取，获得目标线结构特征，例如获取各目标边缘线，及每一目标边缘线上所有点的位置信息；

1.3、采用具有良好的稳定性、抗噪性和仿射不变性的最稳定极值区域(MaximallyStable Extremal Regions，MSER)检测算法，对待评估目标图像L进行目标区域面特征提取，获得目标面结构特征，例如获取各目标区域面，及每一目标区域面中所有点的位置信息。

步骤2)针对待评估目标图像的第一点、线、面特征，分别进行特征描述并得到所述图像的第一点、线、面的特征描述参量，或图像特征描述/度量参量，以度量复杂环境对特征强度的影响，为适用性评估提供评估要素；具体包括：

2.1、针对上述提取的目标块点结构特征，采用SIFT描述子进行特征描述，形成图像点特征描述向量。针对待评估目标图像上的所有块点，具体包括：

2.1.1、计算块点邻域内每个像素点的梯度，包括幅度值和方向值，计算公式为：

其中，(x,y)表示块点的图像坐标，m(x,y)为该点的幅度值，θ(x,y)为该点的方向值；L(x-1,y)、L(x+1,y)、L(x,y-1)、L(x,y+1)分别表示图像像素(x,y)处的正上方、正下方、正左方和正右方处相邻像素的灰度值；

2.1.2、计算统计梯度方向直方图，将梯度方向每隔10°划分一份，总计36份，若某像素点的梯度方向落入第i份，则将其梯度幅值累加到该方向份中。梯度方向直方图中，幅值最大的份所表示的方向为主方向，若其他方向份的幅值大于最大幅值的0.8倍，则也将它们作为主方向。通过赋予多个主方向，有效提高了算法对噪声的鲁棒性。在获得主方向所在的方向份之后，利用其邻近的两个方向份的幅值可以插值出更为精确的主方向。如图3所示。

2.1.3、在获得特征点的主方向后，将邻域顺时针旋转到水平方向，然后在旋转图像上统计分块梯度方向直方图。SIFT将邻域划分成4×4子块，梯度方向划分成8份，将每块的梯度方向直方图级联起来，形成128位特征描述向量。SIFT描述子对2×2子块进行特征描述的过程如图3所示。

2.2、针对上述提取的目标边缘线结构特征，依次采用形状上下文(ShapeContext,SC)描述子和边缘锐度描述子进行特征描述，形成图像线特征描述向量。针对待评估目标图像上的所有边缘线特征，具体包括：

2.2.1、采用SC描述子进行边缘线特征描述。首先，针对边缘检测子检测得到的目标边缘点，进行边缘离散采样，将形状表示为不同位置处离散像素点的组合{p_i,i＝1,2,…,n}，对于每一个采样点，将其邻域在对数极坐标下分块，如图4所示，邻域内的像素点与中心像素点的空间位置关系由它们之间的距离和方向来刻画；其次，统计落入每块内的边缘点个数，级联起来形成直方图，以此作为该采样点的形状上下文描述；

2.2.2、采用边缘锐度描述子进行边缘线特征描述。边缘锐度的计算过程和数学模型如下：

首先，对图像进行梯度运算。计算公式为：

d(x,y)＝{[f(x,y)-f(x+2,y)]²+[f(x,y)-f(x,y+2)]²} (2)

其中，f(x,y)是(x,y)处的灰度值，d(x,y)是(x,y)处的梯度值。

其次，利用方向函数寻找具有最大锐度的边缘点及其边缘方向。具体方法是用一个1×5的窗口以0°,45°,90°,135°方向分别在梯度图像中滑动，计算窗口内5个梯度值的和。在每个像素点计算以上4个方向的值，取最大值，扫描一遍图像后，就得到具有最大梯度的边缘位置P(x,y)和边缘方向。

最后，在寻找的具有最大锐度的边缘点处沿边缘法线方向在边缘左右各取3个点，最终得到7个像素点。取7个点间的梯度d_i,i＝0,1,....,5。最后，得到边缘锐度的数学计算模型为：

m₁＝d_max/2F_max (3)

m₃＝d3_max/2F_max (4)

其中，F_max为上述7个像素点中最大灰度与最小灰度的差；d_max＝max{d₁,d₂,...,d₅}；d3_max＝max{(d₁+d₂+d₃),(d₂+d₃+d₄)}。m₁反映了边缘法线方向上一个像素距离的最大灰度变化对整个边缘过渡的贡献；m₃反映了边缘法线方向上连续3个像素距离最大灰度变化对整个边缘过渡的贡献；二者都是边缘锐度的描述参量。

2.3、针对上述提取的目标区域面结构特征，采用加速健壮特征(Speed-up robustfeatures，SURF)描述子进行特征描述，形成图像面特征描述向量。针对待评估目标图像上的所有区域面特征，具体包括：

2.3.1、对区域面特征进行椭圆拟合，将拟合的椭圆中心视为候选特征点，在尺度空间和图像空间进行差值运算，得到亚像素精度的特征点位置及所在的尺度值。该过程示意图如图5所示。

2.3.2、确定主方向。设σ为一个特征点的尺度因子，对以该特征点为圆心、半径为6σ的邻域中的点，分别计算其X和Y方向上的Haar小波响应。Haar小波尺寸选为4σ。以60°为一个扇形区域，以圆心为原点旋转扇形区域，计算Haar小波响应的向量和，得到一系列向量，选择最长的向量作为该特征点的主方向。该过程示意图如图6所示。

2.3.3、构造描述子向量。按主方向构造一个大小为20σ×20σ的窗口，并均匀地将其分成4×4个子区域。对每一个子区域，分别计算其主方向及其垂直方向上的Haar小波响应，得到4个数值∑d_x,∑d_y,∑|d_x|,∑|d_y|，这些数值可以反映图像在该子区域的特性。因此，对应所有4×4个子区域共得到64个值，归一化后就构成特征点的SURF描述子。该过程示意图如图7所示。

步骤3)利用所述第一点、线、面特征，第一点、线、面特征描述参量，以及从预存的模板图像中获取的第二点、线、面特征和第二点、线、面特征描述参量，分别计算目标激光雷达图像和模板图像中对应点、线、面结构特征的相似度；

在本发明的实施例中，可以利用如下方法从预存模版图像中获取第二点、线、面特征描述参量：从预存模板图像中确定出第二点、线、面特征，对得到的第二点、线、面特征进行特征描述得到第二点、线、面特征描述参量。

在本实施例中，针对第一点、线、面特征和第二点、线、面特征，利用它们的描述参量，依次采用匹配策略进行点、线、面特征的匹配处理，筛选出最终有效匹配特征对。例如，针对第一点特征和第二点特征，采用匹配策略依次进行匹配处理，筛选出最终有效匹配特征对。同样，对第一线特征和第二线特征，以及第一面特征和第二面特征依次采用对应的匹配策略，筛选出最终有效匹配特征对。

当前光学末制导应用中激光雷达图像自动目标识别仍以基于图像匹配的方法为主，待评估目标图像与模板图像的目标结构特征之间的相似度是判定实时图像质量是否满足目标匹配识别要求的核心指标。因此，具体的面向目标识别的适用性评估方法是：

3.1、按照上述2个步骤，针对与待评估目标图像对应的模板图像，依次进行点、线、面三类目标结构特征提取和特征描述，得到模板图像的点、线、面结构特征的描述参量；

3.2、针对待评估目标图像与模板图像，对点、线、面三类目标结构特征，依次进行特征匹配。特征匹配的具体过程为：首先，度量特征描述向量之间的相似性(即距离)；其次，按照一定的匹配策略进行点对匹配；最后，筛选出互相匹配的点对，也称为有效点对。

3.2.1、特征描述向量之间的相似性度量。采用计算简单且应用最为广泛的欧式距离进行特征描述向量的相似性度量，具体为：

设待评估目标激光雷达图像的结构特征点集为A＝{H₁,H₂,...,H_P}，模板图像的结构特征点集为B＝{K₁,K₂,...,K_Q}；H_p为第p个结构特征的特征描述向量；K_q为第q个结构特征的特征描述向量；P为点集A的特征点个数；Q为点集B的特征点个数；所述结构特征为点结构特征、线结构特征或面结构特征；

依次计算点集A中每个结构特征和点集B中每个结构特征的之间的距离：

其中，h_pn表示特征描述向量H_p的第n个分量；k_qn表示特征描述向量K_q的第n个分量；N为特征描述向量的维度；d(H_p,K_q)为距离；

3.2.2、点对匹配。根据上述计算的距离，采用双向匹配策略对点集A和点集B进行点对匹配，得到匹配的点对集合；即：若两个结构特征之间的距离小于某个阈值，并认为它们是匹配的；

3.2.3、有效匹配点对筛选。按照上述匹配策略得到的匹配对中，往往包含错误的匹配对，即彼此不相匹配的点对，于是采用RANSAC一致性度量准则从中筛选出正确的匹配点对，即互相匹配的点对。RANSAC基于假设检验的原理，通过迭代能有效的去除错误匹配点(外点)，筛选出正确匹配点(内点)。假定有n对匹配点，首先随机抽选m对点，拟合出匹配点集间的变换模型M，m为计算模型参数所需的最小点数，如一次多项式模型需要3对点；然后计算剩下的n-m对匹配点相对于模型M的残差，若残差小于指定的内点判别阈值T，则称该对匹配点符合该模型；最后得到符合该模型的匹配点数。重复该过程直到满足收敛条件，有最多匹配点数的模型保留下来，符合该模型的匹配点即为筛选出的内点。其中，收敛条件为k次采样至少有一次全是内点的概率不小于η。设ε为内点概率，收敛条件满足：

(1-ε^m)^k＜1-η (6)

迭代次数满足，

k＞ln(1-η)/ln(1-ε^m) (7)

其中，T为内点判别阈值，ε为内点概率，η为置信概率。

3.3、针对待评估目标图像与模板图像中的点、线、面特征的所有有效匹配点对的集合，依次采用Hausdorff距离度量方法进行特征相似度度量，以获取待评估目标图像与模板图像之间的点特征相似度S_P、线特征相似度S_E、以及面特征相似度S_A。

特征相似度度量的计算过程如下：

待评估目标激光雷达图像的结构特征点集为A＝{H₁,H₂,...,H_P}，模板图像的结构特征点集为B＝{K₁,K₂,...,K_Q}，A和B间的Hausdorff距离H(A,B)定义为，

其中，

为结构特征K_q到A中各点的距离中的最短距离；

为结构特征H_p到B中各点的距离中的最短距离；符号||·||为某种距离范数。

基于Hausdorff距离度量准则，结合面向目标识别的激光雷达图像适应性能评估的特殊应用需求，本发明提出了一种基于Hausdorff距离的改进目标结构特征相似性度量方法，具体包括：

经过3.2的特征匹配过程，结构特征点集A和结构特征点集B的互相匹配的点对数量为N_mat；互相匹配的点对集合为：

a_i和b_i表示第i个结构特征的特征描述向量；

则待评估目标激光雷达图像与模板图像的特征相似性度量S为：

其中，K_ImgA为待评估目标激光雷达图像被激光照射区域面积与目标图像面积的比值因子。

针对Hausdorff距离描述两组点集之间相似程度时对孤立点噪声敏感的问题，本发明方法通过各匹配特征点的距离的均值项

代替取最大值项

由于Hausdorff距离度量的是两个点集之间的不一致程度，即非相关性，因此，本发明方法将其求补

以获得其相关性；同时，结合面向目标识别的激光雷达图像适应性能评估的特殊应用需求，本发明方法引入了匹配特征点数目影响机制，即增加了N_mat/N因子。从图8中可以看出，该因子的引入能够使得待评估目标图像仅存在极少精确匹配点的情况时的相似性度量值受到抑制；另外，考虑到目标只有部分被激光照射的情况，引入了目标图像被激光照射区域面积与目标图像面积的比值因子K_ImgA。

步骤4)根据所述点、线、面结构特征的相似度对所述目标激光雷达图像进行质量评价。

针对待评估目标图像与模板图像之间的点、线和面三类特征的相似度，进行加权处理来构建图像综合适用性评估准则，最终根据该评估准则评估得到待评估目标图像的适用性。

激光雷达图像最终适用性能的评估准则定义如下：

S_Img＝f_proj·(k_P·S_P+k_E·S_E+k_A·S_A) (10)

式中k_P、k_E和k_A分别表示点、线和面特征相似度对图像适用性能的影响权重系数。另外，本发明方法引入了特征相似度与图像适用度之间的转换机制，即增加了转换因子f_proj。权重系数的大小决定了各类特征对图像适用性影响的重要程度。常见的权重系数确定方法有：主观经验法、单位加权法、加权平均法、矩阵运算法和多元回归法等。主观经验法是指评价者或评价群体依据经验而给各个要素指定权数的方法。该方法的优点是简单、方便、迅速，能发挥评价者长期积累的知识和经验，而且评价者能够根据实际情况和环境的变化做出迅速的调整，灵活性和针对性强。本发明方法采用主观经验法通过对具体目标的物理特性和激光雷达图像特性的分析总结，针对不同的目标调整并确定各影响权重。

如图9所示，本发明的实施例2提供的一种激光雷达图像的质量评价装置，该装置包括：

第一特征提取模块901，用于对目标激光雷达图像进行特征提取，确定第一点、线、面特征；

第一特征描述模块902，用于分别对所述第一点、线、面特征进行特征描述，得到第一点、线、面特征描述参量；

特征相似度计算模块903，用于利用所述第一点、线、面特征，第一点、线、面特征描述参量，以及从预存的模板图像中获取的第二点、线、面特征和第二点、线、面特征描述参量，分别计算目标激光雷达图像和模板图像中对应点、线、面结构特征的相似度；

图像质量评价模块904，用于根据所述点、线、面结构特征的相似度对所述目标激光雷达图像进行质量评价。

如图10所示，本发明的实施例3提供的一种计算机设备，包括：至少一个处理器101、存储器102、至少一个网络接口103和用户接口104。该装置10中的各个组件通过总线系统105耦合在一起。可理解，总线系统105用于实现这些组件之间的连接通信。总线系统105除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线系统105。

其中，用户接口104可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(track ball)、触感板或者触摸屏等。

可以理解，本公开实施例中的存储器102可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本文描述的存储器102旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器102存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统1021和应用程序1022。

其中，操作系统1021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序1022，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本公开实施例方法的程序可以包含在应用程序1022中。

在本公开实施例中，通过调用存储器102存储的程序或指令，具体的，可以是应用程序1022中存储的程序或指令，处理器101用于：

对目标激光雷达图像进行特征提取，确定第一点、线、面特征；

分别对所述第一点、线、面特征进行特征描述，得到第一点、线、面特征描述参量；

利用所述第一点、线、面特征，第一点、线、面特征描述参量，以及从预存的模板图像中获取的第二点、线、面特征和第二点、线、面特征描述参量，分别计算目标激光雷达图像和模板图像中对应点、线、面结构特征的相似度；

根据所述点、线、面结构特征的相似度对所述目标激光雷达图像进行质量评价。

实施例1的方法可以应用于处理器101中，或者由处理器101实现。处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行实施例1中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合实施例1所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器102，处理器101读取存储器102中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本发明描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器(Digital SignalProcessing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

本发明实施例提供一种非易失性存储介质，用于存储计算机程序。当该计算机程序被处理器执行时可以实现上述方法实施例中的各个步骤。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (14)

1.一种激光雷达图像的质量评价方法，所述方法包括：

针对输入的待评估目标激光雷达图像，依次进行点、线、面三类目标结构特征提取，获取第一点结构特征、第一线结构特征和第一面结构特征；

针对待评估目标激光雷达图像的第一点结构特征、第一线结构特征和第一面结构特征，分别进行特征描述得到第一点结构特征描述向量、第一线结构特征描述向量和第一面结构特征描述向量；

利用第一点结构特征、第一线结构特征和第一面结构特征，以及第一点结构特征描述向量、第一线结构特征描述向量和第一面结构特征描述向量，以及从预存的模板图像中获取的第二点结构特征、第二线结构特征和第二面结构特征，以及第二点结构特征描述向量、第二线结构特征描述向量和第二面结构特征描述向量，计算待评估目标激光雷达图像和模板图像中对应的点特征相似度、线特征相似度和面特征相似度；

根据点特征相似度、线特征相似度和面特征相似度对待评估目标激光雷达图像进行质量评价。

2.根据权利要求1所述的激光雷达图像的质量评价方法，其特征在于，所述针对输入的待评估目标激光雷达图像，依次进行点、线、面三类目标结构特征提取，获取第一点结构特征、第一线结构特征和第一面结构特征；具体包括：

采用具有旋转、尺度缩放、亮度变化不变性的尺度不变特征变换块点检测算法，对待评估目标激光雷达图像进行目标块点特征提取，获得各目标点的位置信息，作为第一点结构特征；

采用Canny边缘检测算法，对待评估目标激光雷达图像进行目标边缘线特征提取，获取各目标边缘线及每一目标边缘线上所有点的位置信息，作为第一线结构特征；

采用最稳定极值区域检测算法，对待评估目标激光雷达图像进行目标区域面特征提取，获取各目标区域面及每一目标区域面中所有点的位置信息，作为第一面结构特征。

3.根据权利要求2所述的激光雷达图像的质量评价方法，其特征在于，针对待评估目标激光雷达图像的第一点结构特征、第一线结构特征和第一面结构特征，分别进行特征描述得到第一点结构特征描述向量、第一线结构特征描述向量和第一面结构特征描述向量；具体包括：

采用SIFT描述子对第一点结构特征进行特征描述，形成图像点特征描述向量，作为第一点结构特征描述向量；

采用形状上下文描述子和边缘锐度描述子对第一线结构特征依次进行特征描述，形成图像线特征描述向量，作为第一线结构特征描述向量；

采用加速健壮特征描述子对第一面结构特征进行特征描述，形成图像面特征描述向量，作为第一面结构特征描述向量。

4.根据权利要求3所述的激光雷达图像的质量评价方法，其特征在于，所述采用SIFT描述子对第一点结构特征进行特征描述，形成图像点特征描述向量，作为第一点结构特征描述向量；具体包括：

对待评估目标激光雷达图像所有目标块点，计算块点邻域内每个像素点的梯度，包括幅度值和方向值，计算公式为：

其中，(x,y)表示块点的图像坐标，m(x,y)为该点的幅度值，θ(x,y)为该点的方向值；L(x-1,y)、L(x+1,y)、L(x,y-1)、L(x,y+1)分别表示图像(x,y)像素处的正上方、正下方、正左方和正右方处相邻像素的灰度值；

计算统计梯度方向直方图，将梯度方向每隔10°划分一份，总计36份，若某像素点的梯度方向落入第i份，则将其梯度幅值累加到该方向份中；梯度方向直方图中，幅值最大的份所表示的方向为主方向，若其它方向份的幅值大于最大幅值的0.8倍，则也将它们作为主方向；

在获得主方向所在的方向份之后，利用其邻近的两个方向份的幅值插值出主方向；

在获得特征点的主方向后，将邻域顺时针旋转到水平方向，然后在旋转图像上统计分块梯度方向直方图；SIFT将邻域划分成4×4子块，梯度方向划分成8份，将每块的梯度方向直方图级联起来，形成128位特征描述向量，作为第一点结构特征描述向量。

5.根据权利要求3所述的激光雷达图像的质量评价方法，其特征在于，所述用形状上下文描述子和边缘锐度描述子对第一线结构特征依次进行特征描述，形成图像线特征描述向量，作为第一线结构特征描述向量；具体包括：

对待评估目标激光雷达图像上的第一线结构特征，采用SC描述子进行边缘线特征描述：

针对边缘检测子检测得到的目标边缘点，进行边缘离散采样，将形状表示为不同位置处离散像素点的组合；对于每一个采样点，将其邻域在对数极坐标下分块，邻域内的像素点与中心像素点的空间位置关系由它们之间的距离和方向来刻画；统计落入每块内的边缘点个数，级联起来形成直方图，以此作为该采样点的形状上下文描述；

对待评估目标激光雷达图像的第一线结构特征，采用边缘锐度描述子进行边缘线特征描述：

边缘锐度的计算过程和数学模型如下：

计算图像的梯度值：

d(x,y)＝{[L(x,y)-L(x+2,y)]²+[L(x,y)-L(x,y+2)]²} (2)

其中，L(x,y)是(x,y)处的灰度值，d(x,y)是(x,y)处的梯度值；

其次，利用方向函数寻找具有最大锐度的边缘点及其边缘方向：用一个1×5的窗口以0°,45°,90°,135°方向分别在梯度图像中滑动，计算窗口内5个梯度值的和；在每个像素点计算以上4个方向的值，取最大值，扫描一遍图像后，就得到具有最大梯度的边缘位置P(x,y)和边缘方向；

在寻找的具有最大锐度的边缘点处沿边缘法线方向在边缘左右各取3个点，最终得到7个像素点；取7个点间的梯度d_i,i＝0,1,....,5；得到边缘锐度的数学计算模型为：

m₁＝d_max/2F_max (3)

m₃＝d3_max/2F_max (4)

其中，F_max为上述7个像素点中最大灰度与最小灰度的差；d_max＝max{d₁,d₂,...,d₅}；d3_max＝max{(d₁+d₂+d₃),(d₂+d₃+d₄)}；m₁反映了边缘法线方向上一个像素距离的最大灰度变化对整个边缘过渡的贡献；m₃反映了边缘法线方向上连续3个像素距离最大灰度变化对整个边缘过渡的贡献；二者都是边缘锐度的描述参量；

将上述形状上下文描述和边缘锐度的描述参量形成图像线特征描述向量，作为第一线结构特征描述向量。

6.根据权利要求3所述的激光雷达图像的质量评价方法，其特征在于，所述采用加速健壮特征描述子对第一面结构特征进行特征描述，形成图像面特征描述向量，作为第一面结构特征描述向量，具体包括：

对待评估目标激光雷达图像的所有区域面特征进行椭圆拟合，将拟合的椭圆中心视为候选特征点，在尺度空间和图像空间进行差值运算，得到亚像素精度的特征点位置及所在的尺度值；

确定主方向：设σ为一个特征点的尺度因子，对以该特征点为圆心、半径为6σ的邻域中的点，分别计算其X和Y方向上的Haar小波响应；Haar小波尺寸选为4σ；以60°为一个扇形区域，以圆心为原点旋转扇形区域，计算Haar小波响应的向量和，得到一系列向量，选择最长的向量作为该特征点的主方向；

构造描述子向量：按主方向构造一个大小为20σ×20σ的窗口，并均匀地将其分成4×4个子区域；对每一个子区域，分别计算其主方向及其垂直方向上的Haar小波响应，得到4个数值∑d_x,∑d_y,∑|d_x|,∑|d_y|，这些数值可以反映图像在该子区域的特性；因此，对应所有4×4个子区域共得到64个值，归一化后构成特征点的SURF描述子向量，作为第一面结构特征描述向量。

7.根据权利要求6所述的激光雷达图像的质量评价方法，其特征在于，所述方法还包括：从预存的模板图像中获取第二点结构特征、第二线结构特征和第二面结构特征，以及第二点结构特征描述向量、第二线结构特征描述向量和第二面结构特征描述向量。

8.根据权利要求7所述的激光雷达图像的质量评价方法，其特征在于，所述利用第一点结构特征、第一线结构特征和第一面结构特征，以及第一点结构特征描述向量、第一线结构特征描述向量和第一面结构特征描述向量，以及从预存的模板图像中获取的第二点结构特征、第二线结构特征和第二面结构特征，以及第二点结构特征描述向量、第二线结构特征描述向量和第二面结构特征描述向量，计算待评估目标激光雷达图像和模板图像中对应的点特征相似度、线特征相似度和面特征相似度；具体包括：

采用相同的特征匹配方法，对第一点结构特征和第二点结构特征进行特征匹配，获得点结构特征有效匹配点对的集合；对第一线结构特征和第二线结构特征进行特征匹配，获得线结构特征有效匹配点对的集合；对第一面结构特征和第二面结构特征进行特征匹配，获得面结构特征有效匹配点对的集合；

采用相同的特征相似度度量方法，对点结构特征有效匹配点对的集合、线结构特征有效匹配点对的集合和面结构特征有效匹配点对的集合，依次进行特征相似度计算，得到待评估目标图像与模板图像之间的点特征相似度S_P、线特征相似度S_E以及面特征相似度S_A。

9.根据权利要求8所述的激光雷达图像的质量评价方法，其特征在于，所述特征匹配方法，具体包括：

设待评估目标激光雷达图像的结构特征点集为A＝{H₁,H₂,...,H_P}，模板图像的结构特征点集为B＝{K₁,K₂,...,K_Q}；H_p为第p个结构特征的特征描述向量；K_q为第q个结构特征的特征描述向量；P为点集A的特征点个数；Q为点集B的特征点个数；所述结构特征为点结构特征、线结构特征或面结构特征；

依次计算点集A中每个结构特征和点集B中每个结构特征的之间的距离：

其中，h_pn表示特征描述向量H_p的第n个分量；k_qn表示特征描述向量K_q的第n个分量；N为特征描述向量的维度；d(H_p,K_q)为距离；

根据上述计算的距离，采用双向匹配策略对点集A和点集B进行点对匹配，得到匹配的点对集合；

采用RANSAC一致性度量准则从上述匹配的点对集合中筛选出正确的匹配点对，形成互相匹配的点对集合。

10.根据权利要求9所述的激光雷达图像的质量评价方法，其特征在于，所述特征相似度度量的计算过程，具体包括：

结构特征点集A和结构特征点集B的互相匹配的点对数量为N_mat；互相匹配的点对集合为：

a_i和b_i表示第i个结构特征的特征描述向量；

则待评估目标激光雷达图像与模板图像的特征相似性度量S为：

其中，K_ImgA为待评估目标激光雷达图像被激光照射区域面积与目标图像面积的比值因子。

11.根据权利要求10所述的激光雷达图像的质量评价方法，其特征在于，所述根据点特征相似度、线特征相似度和面特征相似度，对待评估目标激光雷达图像进行质量评价；具体包括：

待评估目标激光雷达图像的质量评价结果S_Img为：

S_Img＝f_proj·(k_P·S_P+k_E·S_E+k_A·S_A) (10)

其中，k_P、k_E和k_A分别表示点、线和面特征相似度对图像适用性能的影响权重系数，f_proj为转换因子。

12.一种激光雷达图像的质量评价装置，其特征在于，所述装置包括：

第一特征提取模块，用于针对输入的待评估目标激光雷达图像，依次进行点、线、面三类目标结构特征提取，获取第一点结构特征、第一线结构特征和第一面结构特征；

第一特征描述模块，用于针对待评估目标激光雷达图像的第一点结构特征、第一线结构特征和第一面结构特征，分别进行特征描述得到第一点结构特征描述向量、第一线结构特征描述向量和第一面结构特征描述向量；

特征相似度计算模块，用于利用第一点结构特征、第一线结构特征和第一面结构特征，以及第一点结构特征描述向量、第一线结构特征描述向量和第一面结构特征描述向量，以及从预存的模板图像中获取的第二点结构特征、第二线结构特征和第二面结构特征，以及第二点结构特征描述向量、第二线结构特征描述向量和第二面结构特征描述向量，计算待评估目标激光雷达图像和模板图像中对应的点特征相似度、线特征相似度和面特征相似度；

图像质量评价模块，用于根据点特征相似度、线特征相似度和面特征相似度对待评估目标激光雷达图像进行质量评价。

13.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行权利要求1至11任一项所述的方法。

Images