CN106856002B - 一种无人机拍摄图像质量评价方法 - Google Patents

Abstract

本发明公开了一种无人机拍摄图像质量评价方法，对一幅无人机巡检时拍摄的图像，分别从图像整体和局部细节分析图像质量的好坏；对于无人机自身的运动或抖动造成对焦失准产生模糊，首先融合频域锐度指数与空间域上边缘线段的分布密度及方位特征，从整体上评判无人机图像是否存在模糊。在图像质量整体可接受情况下，进一步搜索出图像中显著的边缘区域，通过分析不同显著边缘的平均宽度，判断图像边缘局部细节模糊程度。该方法应用于室外条件下无人机拍摄的图像，能够在各种复杂背景下有效评估图像质量，不受图像内容的影响，而且与人们的主观评价等级相一致。

Description

一种无人机拍摄图像质量评价方法

技术领域

本发明涉及一种无人机拍摄图像质量评价方法，属于图像处理技术领域。

背景技术

随着无人机技术的快速发展与不断完善，无人机图像拍摄技术被运用到各行各业，特别是在无人机巡检高压输电线路的应用上，利用无人机拍摄到的高压输电线路图像可代替人工巡视，还可对后续的图像做进一步的分析处理，极大的提高了工作效率。然而，无人机在飞行过程中容易产生抖动，在拍摄图像的过程中造成对焦失准而产生模糊图像。当无人机处于持续运动的状态时，对于场景中的不同目标存在不同的景深，容易造成前景目标拍摄清晰，背景目标拍摄模糊；或得到相反情况，前景目标拍摄模糊，背景目标拍摄清晰，其中特别关注的是前景目标的局部细节能否拍摄清晰。因此，在对无人机拍摄的图像进行后续的处理时，需要剔除那些拍摄模糊的图像，以免对后续的分析处理造成干扰。目前，主要还是通过人工的方式对拍摄得到的无人机图像进行筛选，这样就造成了花费的时间多，成本高，评价的标准不统一等问题。

无人机在拍摄图像的过程中可能会出现自然界中的各种场景，如森林、田园和山丘等，使得无人机拍摄的图像具有复杂、多变的背景，这给图像质量评价带来很大的干扰，在对无人机图像进行质量评价时，能够有效地排除复杂背景造成的干扰是非常关键的一步。

通过分析无人机巡检过程采集到的图像模糊情况，结合目前图像质量检测方法，因此需要研究一种更完善稳定的与图像内容无关的图像质量评价方法，实现对无人机巡检拍摄图像质量的自动化判断，并能提供统一的评级指标。从而实现客观、自动及高效率的图像质量检测评定，提高工作效率。

近几年里，人们对于图像质量评价技术方法进行了大量的研究，一些方法已经运用到图像的采集、传输处理中。在研究清晰度检测指标时都尝试做到与图像内容无关，并且力求做到与主观评价更相符合。由于影响图像质量的因素较多，且图像分析涉及多个领域，图像质量评价目前有很多经典的方法，主要包含以下两类：基于空间域的图像质量评价方法和基于变换域的图像质量评价方法。

空间域是直接利用灰度级或者灰度值的变化来度量图像的质量，由于图像中边缘的变化程度直接反映了图像的模糊度，图像模糊在图像边缘上的表现是边缘的扩展，越是清晰的图像其边缘越窄，反之越是模糊的图像其边缘越宽。Haoting Liu，Wei Wang，等在文章“Blind Image Quality Evaluation Metrics Design for UAV PhotographicApplication”，The 5th Annual IEEE International Conference on Cyber Technologyin Automation，Control and Intelligent Systems June 8-12，2015，Shenyang，China，pp293-297中提出了一种盲图像质量评价指标，考虑到户外光照环境对图像质量产生较大影响，提出了包括图像的亮度等级、图像的对比度等级、图像噪声等级、图像边缘模糊等级、图像纹理强度等级、图像抖动等级以及图像闪烁等级的一组评价指标，但没有分析不同指标对图像质量影响程度及图像局部细节模糊的程度。Ronny Ferzli，Lina J.Karam等在文章“A No-Reference Objective Image Sharpness Metric Based on the Notion ofJust Noticeable Blur(JNB)”，IEEE TRANSACTIONS ON IMAGE PROCESSING， VOL. 18，NO.4，APRIL 2009.pp717-728中提出了一种基于“最小可觉模糊”(Just Noticeable Blurconcept-JNB)概念来估算边缘周围最少的感知模糊强度，相对于边缘的对比度高于JND(最小可觉差)。为了研究HVS与图像模糊强度的关系，主观实验验证了模糊感知和最小可觉模糊 (JNBs)之间关系的因果。通过图像边缘宽度的估算与“最小可觉模糊”的比较，建立与图像内容无关的客观图像质量评价方法。

变换域评价方法是将相应的空间域上的信息通过变换转换到频域上进行相应的评价，基于变换域的图像质量评价方法多采用离散余弦变换(Discrete cosinetransform，DCT)、离散小波变换(Discrete wavelet transform，DWT)和快速傅立叶变换(Design for Testability，DFT)等变换方式。吴昊，方贤勇，罗斌等人在文章“图像局部模糊的自动检测方法”，计算机工程，2011，37(18)：219-221中提出一种基于快速傅立叶变换检测图像局部模糊块的算法，将图像分为N*N块，分别计算整幅图像和每块幅度谱锐度指数，通过对比计算整幅图和每块图像锐度指数差值，预测出模糊块，进而检测标定出整幅图像的模糊块。但是该算法只能检测出图像块相对与整幅图像的相对模糊度，无法预测出一幅图像的绝对清晰度。

由于无人机图像大多采取自上而下的拍摄方式，受复杂背景纹理干扰，同时采集到的图像存受景深影响，使得一幅清晰图像中的背景区域也存在模糊的边缘，如果背景中的纹理边缘也参与到图像的模糊度估计中，则会对图像清晰度评价造成很大的干扰。本发明通过引入 Blob线段管理算法，有效的排除了无人机图像中包含的复杂背景干扰，符合人类视觉感知特性。

发明内容

针对现有技术存在的缺陷，本发明的目的是提供一种无人机拍摄图像质量评价方法，对于无人机自身的运动或抖动造成对焦失准产生模糊，融合频域锐度指数与空间域上边缘线段的分布密度及方位特征，评判无人机图像是否存在整体模糊，以图像的局部细节为主兼顾全局从而给出综合评价值，使得对无人机图像质量的客观评价与主观评价具有一致性。

本发明对图像采用整体与显著性局部区域相结合的分析方法，分别在变换域和空间域上进行分析，计算出综合的评价指标，将图像评判为与人们主观相一致的五个等级(很好、较好、能接受、较差、很差)，达到自动检测出图像质量的效果。

本发明实现对无人机图像中显著性边缘线段的提取与分析，能够定位出原始图像中前景信息的位置，有效地剔除图像背景中各种复杂的纹理及光线对拍摄内容的影响。

为达到上述目的，本发明的构思是：

对于无人机运动或抖动而造成的镜头失焦模糊，可以先从频域上分析图像的整体模糊程度。图像在经过DFT变换后的频谱上，表现为低频到高频信号的分布是按指数形式递减，图像越清晰，其高频分量越多，即指数衰减的速度越慢。背景越清晰该图像的总和质量评价值将越高。通过研究基于变换域的评价方法发现，变换域方法正是通过对图像的全局信息进行提取和分析来获得图像的整体评价。

为了评价图像细节的清晰程度，由于无人机图像背景纹理复杂，可能出现自然界中各种场景；无人机图像受光线影响较大，强光、逆光及各种气候条件均会影响无人机图像的质量；拍摄场景中的目标存在多尺度的影响。提出一种与无人机图像内容无关的图像质量评估方法。采用分块分析，局部区域线段分布密度及方向，判断图像中平滑区域、纹理区域、边缘区域，进而分析图像显著性分布的边缘区域，分析图像边缘局部细节模糊程度。模糊图像主要是细节信息的丢失，在空间域上的表现是边缘宽度的增加，所以用边缘宽度来测量图像的模糊度是最直观的方法之一。人类对一幅图像的关注度主要集中在边缘区域，通过边缘图像就能感知一幅图像，因此图像边缘的宽度关系到人眼的识别准确度，边缘越宽，边缘区域的对比度越低，视觉直接感受就是图像越模糊。感知模糊度量是通过边缘检测找到图像中对比度强的边缘，通过统计的所有边缘点的平均宽度代表图像的模糊度。

根据上述构思，本发明采用如下技术方案：

一种无人机拍摄图像质量评价方法，对一幅无人机巡检时拍摄的图像，分别从图像整体和局部细节分析图像质量的好坏；具体步骤如下：

1)对无人机拍摄的图像给出一个整体的评价，主要分为两个部分：一是通过Blob分析管理边缘线段，统计线段的方位及分布；二是在变换域上分析图像的整体清晰度，对图像做 DFT变换，统计频谱上的平均锐度指数，作为图像整体清晰度的评价指标；整体评价将无人机拍摄图像质量分为五个等级：很好、较好、能接受、较差、很差；

2)对于整体评价无人机拍摄图像质量为较差或很差的图像，不适合应用于实际工程中；对于整体评价无人机拍摄图像质量在能接受范围之上的图像，再对图像进行局部边缘清晰度分析，通过提取出的显著性边缘，分析边缘线段中像素点的分布，统计出显著性边缘的平均宽度，作为图像局部细节清晰度的评价指标，将图像细分为很好、较好、能接受三个等级。

所述步骤1)中的对无人机拍摄的图像给出一个整体的评价，具体步骤如下：

步骤1-1、输入一张无人机拍摄图像，对其进行灰度化处理；

步骤1-2、在步骤1-1生成的灰度图像上，采用8方向的prewitt算子对图像进行边缘提取，采用OSTU算法二值化梯度图像，运用Blob算法管理边缘线段，采用拟合方法计算每条线段的角度、中心点坐标、长度的属性信息，对搜索到的每条线段进行排序，筛选出包含像素最多的前n条线段；

步骤1-3、对步骤1-2中的二值图像分块处理，统计每个分块线段方位分布，并判断出图像中的平滑区域、纹理区域、边缘区域，依据边缘线段的方位分布以及图像中长边缘线段的数量判断图像的整体模糊程度；

步骤1-4、对图像进行变换域分析，在步骤1-1对图像进行灰度化处理的基础上，将灰度图像分为有限个宽度为FW的正方形块，其中FW＝2ⁿ。并且为防止块边缘的信息丢失，设置相邻块之间有FW/2的重合区域。进过分块处理后，这些方块会以最大的覆盖率覆盖一幅图像。将分块后的每块傅里叶图像的中心点平移到图像的中间，方便后续的幅度谱统计；利用统计获得的频率f和幅度谱能量S(f)数值对集合，对数变换后计算得出 log S(f)∝-αlog f，其中α为每块图像对应的锐度指数，计算出每个方块对应的锐度指数α并对其进行排序，计算出前n块的图像锐度指数平均值A作为图像评价指标；

步骤1-5、结合步骤1-3和步骤1-4对无人机拍摄图像做出一个整体评价，如果图像整体评价为比较模糊，则依据步骤1-3、1-4中的测量值将此图像质量判断为较差或很差，不再对其进行局部边缘模糊分析，否则，此图像质量在能接受之上。

所述步骤2)中对图像进行局部边缘清晰度分析，具体步骤如下：

步骤2-1、结合步骤1-2中Blob筛选出的边缘线段，搜索出显著的边缘区域，包含像素点最多的前n条线段；

步骤2-2、将检测出的边缘线段划分为固定长度的小线段，对于显著性边缘上某一段上的中心点，在原始灰度图像中定位到该点，找到该点水平方向上最接近该点的左右灰度极值点；这两极值点认为是边缘的起始点和结束点，因而两极值点位置差即为该点所求得的显著边缘宽度；分块计算每条边缘的宽度分布，对于每个显著性边缘e_i，计算相应的边缘宽度

其中：w_up(X)和w_down(X)是边缘像素的中心点X距离其上下最大或最小极值点I_max(X)与I_min(X)之间的距离。接着计算出每一分段中线段的宽度值，进而统计出每条边缘的平均宽度W_AVG；

步骤2-3、步骤2-2计算出每条显著边缘的宽度后，依据局部细节的概率模糊度量将图像细分为：图像质量很好、较好、能接受三个等级。

与现有技术相比，本发明具有图像突出的实质性特点和显著的有点：

该方法应用于室外条件下无人机拍摄的图像，能够在各种复杂背景下有效评估图像质量，不受图像内容的影响，而且与人们的主观评价等级相一致。

附图说明

图1为本发明一种无人机拍摄图像质量评价方法流程图。

图2为实际无人机巡检采集到的输电线路灰度图像。

图3为图2经过Blob处理后筛选出的长边缘线段图(去除背景)。

图4为图2分块做DFT变换并平移后的结果图。

图5为分块计算边缘线段宽度的方法图。

图6为图像中的某一行中像素点坐标的信息。

具体实施方式

以下结合附图对本发明的实施例做进一步的详细说明：

如图1所示，一种无人机拍摄图像质量评价方法，对一幅无人机巡检时拍摄的图像，分别从图像整体和局部细节分析图像质量的好坏；具体步骤如下：

1)对无人机拍摄的图像给出一个整体的评价，主要分为两个部分：一是通过Blob分析管理边缘线段，统计线段的方位及分布；二是在变换域上分析图像的整体清晰度，对图像做 DFT变换，统计频谱上的平均锐度指数，作为图像整体清晰度的评价指标；整体评价将无人机拍摄图像质量分为五个等级：很好、较好、能接受、较差、很差；

2)对于整体评价无人机拍摄图像质量为较差或很差的图像，不适合应用于实际工程中；对于整体评价无人机拍摄图像质量在能接受范围之上的图像，再对图像进行局部边缘清晰度分析，通过提取出的显著性边缘，分析边缘线段中像素点的分布，统计出显著性边缘的平均宽度，作为图像局部细节清晰度的评价指标，将图像细分为很好、较好、能接受三个等级。

所述步骤1)中的对无人机拍摄的图像给出一个整体的评价，具体步骤如下：

步骤1-1、输入一张无人机拍摄图像，对其进行灰度化处理，如图2所示；

步骤1-2、在步骤1-1生成的灰度图像上，采用8个不同方向的Prewitt算子处理巡检图像，提取巡检图像边缘信息，采用OTSU算法对边缘灰度图像进行二值化生成二值图像。具体采用8个不同方向的Prewitt算子如下：

采用Blob连通域分析并管理线段，将Prewitt算子提取的8个方向边缘连通像素采用Blob 管理，每个方向上筛选出边缘长度大于图像宽度1/16长边缘线段，如图3所示。运用拟合方法计算每条线段的角度、中心点坐标、长度等属性信息，可以对搜索到的每条线段按照长度进行排序，筛选出前3条Blob线段用于后续的边缘定位和宽度计算。

步骤1-3、对步骤1-2中提取边缘的二值图像水平垂直分块，按照如下方式将不同方向上的线段分为4类，并统计每个分块内四个不同方向线段数量。水平方向线段角度：-10°～10°，其水平线段数目记为：Hn；垂直方向线段角度：大于85°或小于-85°，其垂直线段数目记为： Vn；斜上方向线段角度：10°～85°，其斜上线段数目记为：SUn；斜下方向线段角度：-85°～ -10°，其斜下线段数目记为：SDn。按如下方式判决图像是否模糊：在每一分块中，仅存在一种方向线段，且线段数目小于等于2，则该分块判断为模糊分块。如存在模糊分块数目大于总的分块数目的90％，则该幅无人机图像模糊。

步骤1-4、对输入的灰度图像进行分块，分为有限个宽度为FW＝128的正方形块。并且为防止块边缘的信息丢失，设置相邻块之间有FW/2的重合区域。经过分块处理后，这些方块会以最大的覆盖率覆盖一幅图像，同时，针对正方形块做DFT变换会大大提高整幅图像的处理速度。图像经过DFT变换后，在频谱上，表现低频到高频信号的分布式按指数形式递减，图像越清晰，其高频分量越多，即指数衰减的速度越慢，如图4所示。一幅尺寸为N*N的图像I经过DFT变换后其幅度功率谱为：

其中I(u，v)表示经过DFT变换后的图像。

将二维图像坐标转化为极坐标：u＝f cosθ，v＝f sinθ

将所有极坐标方向的频谱能量累加得到S(f)如下式所示：

其中，A表示幅度尺度系数，α为频率指数(锐度指数)。通过上述计算可以获得整个方块的(s，f)数值对集合。

再对上式做对数变换后计算得出：

log S(f)∝-αlog f (4)

log S(f)和-αlog f成正比关系，其中：-α是该直线的斜率。

通过拟合计算出该方块对应的锐度指数α，如此方式分别计算出每个方块的锐度指数，对锐度指数从低到高进行排序，保留前n个方块，其中

计算出前n个方块的平均锐度指数A即为图像的评价指标。

模糊图像可以看成是清晰图像经过低通滤波处理后使得高频分量的衰减得到的，其高频信号减少，低频信号较多。这种现象在功率谱上表现为：曲线衰减较快，图像的高频分量较少，即α值较大。而对于清晰图像，由于没有滤波等模糊平滑作用，高频分量较多，功率谱曲线衰减较慢，因此α值较小。

步骤1-5、结合步骤1-3和步骤1-4对无人机拍摄图像做出一个整体评价，如果图像整体评价为比较模糊，则依据步骤1-3、1-4中的测量值将此图像质量判断为较差或很差，不再对其进行局部边缘模糊分析，否则，此图像质量在能接受之上。

所述步骤2)中对图像进行局部边缘清晰度分析，具体步骤如下：

步骤2-1、如图5所示，将检测出的边缘组划分为固定长度为小线段，用来搜索线段上的宽度。当线段角度在-45°～45°之间沿着水平方向划分线段；当线段角度小于-45°或大于45°之间沿着垂直方向划分线段。

步骤2-2、对于竖直方向显著性边缘上某一段的中心点，在原始灰度图像中定位到该点，找到该点水平方向上最接近该点的左右灰度极值点。当边缘左端灰度值大于右端时，选取的两个极值点为左极大值点与右极小值点；当边缘左端灰度值小于右端时，选取的两极值点为左极小值点与右极大值点。如图6所示，PA和PB为检测到的显著性边缘上的像素点，则PA 所对应的边缘宽度为PA2-PA1，PB所对应的边缘宽度为PB2-PB1。对所有竖直方向上的显著性边缘点进行相同计算可得到该方向上的显著边缘的所有宽度。对于水平方向的显著性边缘的求取也是类似的，它求取的是边缘点竖直方向上最接近该点的上下灰度极值点，从而得到水平方向显著性边缘的宽度。

通过提取边缘像素位置可以拟合计算出边缘的方向角度Φ(X)。按如下方法计算边缘的宽度：

其中：w_up(X)和w_down(X)是边缘像素的中心点X距离其上下最大或最小极值点I_max(X)与 I_min(X)之间的距离。计算出每一分段中线段的宽度值，进而统计出每条边缘的平均宽度 W_AVG。

步骤2-3、步骤2-2计算出每条显著边缘的宽度后，依据局部细节的概率模糊度量将图像细分为：图像质量很好、较好、能接受三个等级。

Claims (2)

1.一种无人机拍摄图像质量评价方法，对一幅无人机巡检时拍摄的图像，分别从图像整体和局部细节分析图像质量的好坏；其特征在于，具体步骤如下：

1)对无人机拍摄的图像给出一个整体的评价，主要分为两个部分：一是通过Blob分析管理边缘线段，统计线段的方位及分布；二是在变换域上分析图像的整体清晰度，对图像做DFT变换，统计频谱上的平均锐度指数，作为图像整体清晰度的评价指标；整体评价将无人机拍摄图像质量分为五个等级：很好、较好、能接受、较差、很差；

2)对于整体评价无人机拍摄图像质量为较差或很差的图像，不适合应用于实际工程中；对于整体评价无人机拍摄图像质量在能接受范围之上的图像，再对图像进行局部边缘清晰度分析，通过提取出的显著性边缘，分析边缘线段中像素点的分布，统计出显著性边缘的平均宽度，作为图像局部细节清晰度的评价指标，将图像细分为很好、较好、能接受三个等级；

在所述步骤1)中的对无人机拍摄的图像给出一个整体的评价，具体步骤如下：

步骤1-1、输入一张无人机拍摄图像，对其进行灰度化处理；

步骤1-2、在步骤1-1生成的灰度图像上，采用8方向的prewitt算子对图像进行边缘提取，采用OSTU算法二值化梯度图像，运用Blob算法管理边缘线段，采用拟合方法计算每条线段的角度、中心点坐标、长度的属性信息，对搜索到的每条线段进行排序，筛选出包含像素最多的前n条线段；

步骤1-3、对步骤1-2中的二值图像分块处理，统计每个分块线段方位分布，并判断出图像中的平滑区域、纹理区域、边缘区域，依据边缘线段的方位分布以及图像中长边缘线段的数量判断图像的整体模糊程度；

步骤1-4、对图像进行变换域分析，在步骤1-1对图像进行灰度化处理的基础上，将灰度图像分为有限个宽度为FW的正方形块，其中FW＝2^m，并且为防止块边缘的信息丢失，设置相邻块之间有FW/2的重合区域，进过分块处理后，这些方块会以最大的覆盖率覆盖一幅图像；将分块后的每块傅里叶图像的中心点平移到图像的中间，方便后续的幅度谱统计；利用统计获得的频率f和幅度谱能量S(f)数值对集合，对数变换后计算得出log S(f)∝-αlog f，其中α为每块图像对应的锐度指数，计算出每个方块对应的锐度指数α并对其进行排序，计算出前m块的图像锐度指数平均值A作为图像评价指标；

步骤1-5、结合步骤1-3和步骤1-4对无人机拍摄图像做出一个整体评价，如果图像整体评价为比较模糊，则依据步骤1-3、1-4中的测量值将此图像质量判断为较差或很差，不再对其进行局部边缘模糊分析，否则，此图像质量在能接受之上。

2.根据权利要求1所述的无人机拍摄图像质量评价方法，其特征在于，所述步骤2)中对图像进行局部边缘清晰度分析，具体步骤如下：

步骤2-1、结合步骤1-2中Blob筛选出的边缘线段，搜索出显著的边缘区域，包含像素点最多的前n条线段；

步骤2-2、将检测出的边缘线段划分为固定长度的小线段，对于显著性边缘上某一段上的中心点，在原始灰度图像中定位到该点，找到该点水平方向上最接近该点的左右灰度极值点；这两极值点认为是边缘的起始点和结束点，因而两极值点位置差即为该点所求得的显著边缘宽度；分块计算每条边缘的宽度分布，对于每个显著性边缘e_i，计算相应的边缘宽度

其中：w_up(X)和w_down(X)是边缘像素的中心点X距离其上下最大或最小极值点I_max(X)与I_min(X)之间的距离，接着计算出每一分段中线段的宽度值，进而统计出每条边缘的平均宽度W_AVG；

步骤2-3、步骤2-2计算出每条显著边缘的宽度后，依据局部细节的概率模糊度量将图像细分为：图像质量很好、较好、可接受三个等级。

Images