CN110602484B - 一种输电线路设备拍摄质量在线检核方法 - Google Patents

Abstract

本发明创造提供了一种输电线路设备拍摄质量在线检核方法，S1、对目标设备进行视频及图像的采集；S2、基于目标实时检测算法对视频图像中的关键目标设备进行实时检测，定位各关键目标设备的位置区域；S3、对目标设备位置区域的巡检视频图像及拍摄图像进行曝光度、清晰度及拍摄角度进行质量检核。本发明解决了了目标级质量评价问题，本发明针对需要拍摄的输电线路的关键设备目标进行质量检核，真正实现目标级的质量评价，可以有效保证拍摄图像中关键设备目标曝光正常边缘清晰且处于视野中央，排除背景及无关区域对质量检核的影响。

Description

一种输电线路设备拍摄质量在线检核方法

技术领域

本发明创造属于图像处理领域，尤其是涉及一种输电线路设备拍摄质量在线检核方法。

背景技术

采用无人机进行输电线路巡检已经成为了各电网巡线单位的主流作业手段之一。无人机搭载可见光吊舱进行输电线路关键设备的图像拍摄以确定是否发生缺陷是无人机巡检主要的作业方法，它极大地提升了巡检作业的效率，保障了线路的安全运营。目前巡检图像的拍摄大都依赖于巡检人员的经验，采集的数据经常有曝光不足、曝光过度、关键设备模糊、拍摄角度不合理等问题，对后续的缺陷识别尤其是缺陷智能识别带来了较大的影响，而频繁地补拍、重拍及数据处理时的不合格数据人工剔除等加大了工作量，影响了作业效率。图像的在线质量检核能够在数据采集时进行图像的质量评价，辅助作业人员手动/自动进行可见光吊舱(相机)调整，保证拍摄质量。

现有的质量评价方法大都针对图像本身进行质量检核，不具有目标针对性分析，缺乏对真正输电线路巡检作业时关键设备拍摄的指导性；输电线路的设备形态、纹理差异性较大，如绝缘子可以为任意方向可能包含大量无效背景区域、防震锤目标纹理简单能量较小、杆塔存在大量的镂空区域。现有的清晰度评价方法采用简单的边缘宽度或能量判别方法进行模糊程度分析，难以适用于目标种类繁多的复杂情况，而且现有技术缺乏拍摄质量检核体系的研究，单纯的图像质量评价难以保证质量检核结果能有效地用于输电线路巡检作业中。

发明内容

有鉴于此，本发明创造旨在克服上述现有技术中存在的缺陷，提出一种输电线路设备拍摄质量在线检核方法。

为达到上述目的，本发明创造的技术方案是这样实现的：

一种输电线路设备拍摄质量在线检核方法，包括：

S1、对目标设备进行视频及图像的采集；

S2、基于目标实时检测算法对视频图像中的关键目标设备进行实时检测，定位各关键目标设备的位置区域；

S3、对目标设备位置区域的视频图像曝光度、清晰度及拍摄角度进行质量检核；

S4、根据视频图像帧的质量检核结果引导拍摄设备进行参数调整，完成巡检图像的拍摄；通过调整拍摄设备参数，确保拍摄图像中关键设备目标曝光正常边缘清晰且处于视野中央，排除背景及无关区域对质量检核的影响；

S5、对拍摄到的巡检图像再次进行质量检核，对不合格图像中的目标设备部位进行补拍。

进一步的，所述步骤S2中实时检测的方法为：

S201、采用SSD-mobileNet进行输电线路关键设备目标检的检测；

S202、得到目标设备区域后，对该区域进行质量检核。

进一步的，所述步骤S3中视频图像曝光度检核方法为：基于目标设备区域的灰度直方图统计特征进行曝光度检核，判断曝光度情况，在灰度直方图内增加灰度统计值为0的占比参数Ratio，以降低曝光度异常虚警。

进一步的，所述步骤S3中拍摄角度检核方法为：基于提取图像的中心区域范围，对目标设备区域与中心区域进行重叠度计算，根据重叠度，判断关键目标设备是否处于视野中央。

进一步的，所述步骤S3中清晰度检核方法为：基于目标设备实时检测得到的目标类型和目标位置区域，进行像素级的非精确化提取，基于目标设备的关键像素，判断目标设备图像的清晰度。

进一步的，所述非精确化像素提取的具体方法为：通过对目标核心区域进行定位及分割，利用最大类间方差法分割算法对目标的关键像素进行非精确化提取。

进一步的，所述清晰度判断的方法为：基于目标的关键像素，分别求取0、45、90、135度方向的边缘图像，并计算各边缘宽度，根据边缘宽度直方图得到边缘宽度均值、最大值、峰值宽度、分布范围，结合各关键像素的梯度能量、目标的类型作为特征值，输入支持向量机进行二元分类，得到目标清晰或模糊的分类结果。

进一步的，所述步骤S4的具体方法如下：对巡检视频图像帧进行质量检核，若结果不符合要求，则进行拍摄设备参数调整，直至检核结果符合拍摄要求后再进行巡检图像拍摄。

进一步的，所述步骤S5的具体方法如下：对拍摄后到图像再次进行质量检核，若符合拍摄要求则当前部位拍摄完成，进入下一个待巡检部位；否则返回视频图像检核部分循环进行质量检核，以此确保采集到的巡检图像曝光正常、目标清晰且处于视野中央。

相对于现有技术，本发明创造具有以下优势：

本发明解决了了目标级质量评价问题，本发明针对需要拍摄的输电线路的关键设备目标进行质量检核，真正实现目标级的质量评价，可以有效保证拍摄图像中关键设备目标曝光正常边缘清晰且处于视野中央，排除背景及无关区域对质量检核的影响。

本发明解决了多种设备表观状态带来的清晰度评价不准确问题，本发明综合利用目标类型、多方向的边缘宽度和梯度能量进行清晰度的综合判读，有效提升了清晰度检核对不同目标的适用性。

本发明解决了质量检核不构成系统性的问题，本发明采用完整的质量评价系统，从图像拍摄中到图像拍摄后进行了全方位的关键设备目标的质量检核，引导相机的参数调整，有效保证了拍摄质量，大大提升了巡检作业效率。

附图说明

构成本发明创造的一部分的附图用来提供对本发明创造的进一步理解，本发明创造的示意性实施例及其说明用于解释本发明创造，并不构成对本发明创造的不当限定。在附图中：

图1为本发明创造实施例所述的输电线路设备拍摄质量在线检核系统工作流程图；

图2为本发明创造实施例所述的质量检核流程图；

图3为本发明创造实施例所述的曝光度检核流程图；

图4为本发明创造实施例所述的四个滤波核提取目标非精细化关键像素边缘提取的滤波核矩阵图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明创造中的实施例及实施例中的特征可以相互组合。

在本发明创造的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明创造的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明创造中的具体含义。

下面将参考附图并结合实施例来详细说明本发明创造。

一种输电线路设备拍摄质量在线检核方法，如图1至图4所示，包括：

S1、对目标设备进行视频及图像的采集；

S2、基于目标实时检测算法对视频图像中的关键目标设备进行实时检测，定位各关键目标设备的位置区域；在输电线路巡检过程中，关注的是当前图像需要重点拍摄的关键输电线路设备的曝光度、清晰度和拍摄角度。因此本发明首先采用目标实时检测算法对输电线路的关键设备区域进行定位，使得质量检核可以对单个关键设备进行针对性检核，保证了质量检核的准确性及有效性。

S3、对目标设备位置区域的视频图像曝光度、清晰度及拍摄角度进行质量检核；输电线路关键设备形态、尺度、纹理具有极大的差异性，因此本发明根据目标类型、目标边缘宽度、目标梯度能量等多维度特征进行综合清晰度的综合判读。

S4、根据视频图像帧的质量检核结果引导拍摄设备进行参数调整，完成巡检图像的拍摄；通过调整拍摄设备参数，确保拍摄图像中关键设备目标曝光正常边缘清晰且处于视野中央，排除背景及无关区域对质量检核的影响；

S5、对拍摄到的巡检图像再次进行质量检核，对不合格图像中的目标设备部位进行补拍。针对输电线路巡检的特殊需求，本发明设计了完整的在线图像质量检核体系。在拍摄中，根据视频图像帧的质量检核结果引导可见光吊舱(相机)的参数调整；在拍摄后，对巡检图像再次进行质量检核，以便及时引导作业人员对存在质量问题的图像的拍摄部位在同一飞行架次中进行及时的重拍，极大地提高了作业效率。

具体的，在巡检过程中，在线质量检核系统首先对视频图像中的绝缘子、金具等关键目标进行实时检测，定位各关键设备的位置区域。基于该区域的灰度直方图统计特征进行曝光度检核；基于该区域与图像中心区域的重叠度进行拍摄角度检核；并通过目标核心区域定位及分割，非精确地提取目标的关键像素，采用目标类型、目标边缘宽度、目标梯度能量等多维度特征进行综合清晰度检核。根据质量检核结果引导可见光吊舱(相机)进行自动/手动参数调整，完成巡检图像的拍摄。然后对拍摄到的巡检图像再次进行质量检核，对不符合拍摄要求的图像中的设备部位进行及时补拍。

所述步骤S2中实时检测的具体方法如下：

S201、采用SSD-mobileNet进行输电线路关键设备目标检的检测；

S202、得到目标设备区域后，对该区域进行质量检核。

具体的，目标实时检测的实现：采用SSD-mobileNet进行绝缘子、金具等输电线路关键设备目标检的检测，得到目标区域位置。SSD是典型的one-stage目标检测算法，无需proposal生成网络，在多层特征图上生成default box，然后进行目标类型的判定与位置框的精确回归。该算法具有较高的检测准确率与运行速度。MobileNet将标准卷积分解成深度卷积与逐点卷积。深度卷积针对输入通道进行单滤波器运算，逐点卷积应用1*1的卷积操作结合所有深度卷积的输出。该结构有效地减少了计算量与模型的大小，适用于巡检终端等资源严重受限的条件下。

所述步骤S3的具体方法如下：

质量检核流程如图2所示，首先在图像中进行关键设备目标检测，得到关键设备目标区域，对目标区域图像进行曝光度检核；对该区域的位置进行角度检核；并在该区域内定位目标核心区域后进行分割得到目标的关键像素，进行清晰度检核。

所述步骤S3中视频图像曝光度检核方法为：基于目标设备区域的灰度直方图统计特征进行曝光度检核，判断曝光度情况，在灰度直方图内增加灰度统计值为0的占比参数Ratio，以降低曝光度异常虚警；

具体的，灰度直方图是灰度级的函数，它表示图像中具有某种灰度级的像素的个数，反映了图像中某种灰度出现的频率，当图像存在曝光不足时，大量像素集中于灰度值为0的一端，靠近255的一侧则像素数非常少；存在曝光过度时，大量像素集中于255一侧，低灰度值的区域像素数非常少；曝光正常时，像素的分布较为均匀并且集中于中央区域。本发明增加灰度统计值为0的占比参数Ratio，该参数可以显著降低曝光度异常虚警。结合直方图左右两侧灰度统计值为0的比例RatioLR、灰度直方图的峰值灰度Peak、均值灰度Mean对曝光度进行检核，流程图如图3所示。

设gmin为灰度直方图左边缘处像素数量为零的最大灰度值数，gmax为灰度直方图右边缘处像素数量为零的最小灰度值数，则Ratio和RatioLR的计算公式如下。

Ratio＝(gmin+1+255-gmax)/255 公式1

RatioLR＝(gmin+1)/(gmin+1+255-gmax) 公式2

所述步骤S3中视频图像角度检核方法为：基于提取图像的中心区域范围，对目标设备区域与中心区域进行重叠度计算，根据重叠度，判断关键目标设备是否处于视野中央；具体的，角度检核首先提取图像中心区域范围，对目标区域与中心区域进行重叠度计算，根据重叠度判断，关键设备目标是否处于视野中央。以图像中心点为中心，提取图像宽度的1/N，图像高度的1/N区域作为图像的中心区域记为CenterRect，目标检测得到的目标区域记为ObjRect，重叠率IOU为CenterRect和ObjRect的交集与并集之比，若IOU大于设定阈值，则目标区域处于视野中央。

所述步骤S3中视频图像清晰度检核方法为：基于目标设备实时检测得到的目标类型和目标位置区域，进行像素级的非精确化提取，基于目标设备的关键像素，判断目标设备图像的清晰度；

所述非精确化像素提取的具体方法为：通过对目标核心区域进行定位及分割，利用最大类间方差法分割算法对目标的关键像素进行非精确化提取；具体的，为保证算法的运行效率，对绝缘子等目标区域长宽差异较大的部位，锁定其对角线区域作为目标核心区域；对金具等目标区域较小的部位，直接采用区域整体作为目标核心区域。利用一次迭代的最大类间方差分割算法在目标核心区域内，非精确化地将目标像素从背景中分割出来；

目标非精确化像素提取具体实现：对于绝缘子等目标的长宽具有极大差异、可能包含大量无关背景的区域，将对其角线部位作为目标核心区域；对金具等无明显方向偏向性且本身尺寸较小的目标，可直接将整个区域作为目标核心区域。在目标核心区域内，采用最大类间方差法分割算法对目标的关键像素进行非精确化提取，该算法分类的原理是让背景与目标的类间方差最大。为了提升运行效率，只采用一次迭代法，即首先将目标核心区域的灰度均值作为初始分割阈值，得到前景与背景像素，分别求前景与背景像素的灰度均值，两者的平均数作为最终的分割阈值，对目标核心区域进行灰度分割，以此得到目标的非精确化像素点。

所述清晰度判断的方法为：基于目标的关键像素，分别求取0、45、90、135度方向的边缘图像，并计算各边缘宽度，根据边缘宽度直方图得到边缘宽度均值、最大值、峰值宽度、分布范围，结合各关键像素的梯度能量、目标的类型作为特征值，输入支持向量机进行二元分类，得到目标清晰或模糊的分类结果。

具体的，清晰度检核的特征量主要包括目标类型cls、目标梯度能量值G、目标的边缘宽度E。目标的梯度能量值及边缘宽度分别从0、45、90、135度等四个方向进行统计，首先通过如图4所示的四个滤波核提取目标非精细化关键像素的各方向的边缘，经过较小边缘抑制后得到最终的边缘图像。

在边缘图像上进行边缘宽度计算。对于竖直方向边缘上的某一点，在原图中找到该点水平方向上最接近该点的左右灰度极值点，当边缘左端灰度值大于右端时，选取的两极值点为左极大值点与右极小值点；当边缘左端灰度值小于右端时，选取的两极值点为左极小值点与右极大值点。这两极值点可以认为是边缘的起始点与结束点，因而两极值点位置差即为该点所求得的边缘宽度。其他方向的边缘宽度计算与之类似。

根据各像素点的边缘宽度，计算边缘宽度直方图。统计边缘宽均值Emean、最大值Emax、直方图峰值边缘宽度Epeak、直方图的边缘宽度分布范围Erange，即最大边缘宽度与最小边缘宽度的差值。

边缘梯度值的平方和作为目标的梯度能量值G，则最终的特征向量为{Gn,,Enmean,Enmax,Enpeak,Enrange}，{n＝0,45,90,135}，及{cls}共21维，输入支持向量机进行清晰与模糊的二元分类结果。

所述步骤S4的具体方法如下：对巡检视频图像帧进行质量检核，若结果不符合要求，则进行拍摄设备参数调整，直至检核结果符合拍摄要求后再进行巡检图像拍摄。

所述步骤S5的具体方法如下：对拍摄后到图像再次进行质量检核，若符合拍摄要求则当前部位拍摄完成，进入下一个待巡检部位；否则返回视频图像检核部分循环进行质量检核，以此确保采集到的巡检图像曝光正常、目标清晰且处于视野中央。

在一个可选的实施例中，一种应用所述输电线路设备拍摄质量在线检核方法的检核系统，包括：用于采集目标设备图像的视频/图像采集模块、以及用于检核图像质量的目标质量检核模块、以及用于控制视频/图像采集模块工作的拍摄设备控制模块；其中视频/图像采集模块、目标质量检核模块以及拍摄设备控制模块依次连接，形成一个闭环控制系统，只要可以实现图像采集后进行质量检核，最后控制模块根据质量检核结果控制采集模块调整即可。

所述目标质量检核模块包括目标实时检测单元、曝光度检核单元、清晰度检核单元、以及角度检核单元；所述目标实时检测单元用于确定目标设备区域；所述曝光度检核单元用于图像的曝光度检核；所述清晰度检核单元用于图像清晰度检核；所述角度核验单元用于确定目标设备是否处于视野中央。

所述视频/图像采集模块可以采用无人机搭载的可见光吊舱，该可见光吊舱内设有相机、以及用于驱动相机进行转动(即角度变化)的驱动机构，驱动机构与拍摄设备控制模块电气连接，只要拍摄设备控制模块可以根据角度检核单元检测情况控制相机转动，实现相机(拍摄设备)的角度调节即可。

所述拍摄设备控制模块可以采用用于控制可见光吊舱工作的PLC控制器，拍摄设备控制模块可以设置在可见光吊舱内；具体的，拍摄设备控制模块只要可以实现根据曝光度检核结果调整相机的曝光参数，根据清晰度检核的结果调节相机的焦点及焦距，保障输电线路关键设备的拍摄质量即可。

具体的，首先对巡检视频图像帧进行质量检核，若结果不符合要求，则进行相机参数调整，直至检核结果符合拍摄要求后再进行巡检图像拍摄。对拍摄后到图像再次进行质量检核，若符合拍摄要求则当前部位拍摄完成，进入下一个待巡检部位；否则返回视频图像检核部分循环进行质量检核，以此保证采集到的巡检图像曝光正常、目标清晰且处于视野中央。

本发明解决了了目标级质量评价问题，本发明针对需要拍摄的输电线路的关键设备目标进行质量检核，真正实现目标级的质量评价，可以有效保证拍摄图像中关键设备目标曝光正常边缘清晰且处于视野中央，排除背景及无关区域对质量检核的影响。

本发明解决了多种设备表观状态带来的清晰度评价不准确问题，本发明综合利用目标类型、多方向的边缘宽度和梯度能量进行清晰度的综合判读，有效提升了清晰度检核对不同目标的适用性。

本发明解决了质量检核不构成系统性的问题，本发明采用完整的质量评价系统，从图像拍摄中到图像拍摄后进行了全方位的关键设备目标的质量检核，引导相机的参数调整，有效保证了拍摄质量，大大提升了巡检作业效率。

以上所述仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明创造的保护范围之内。

Claims (7)

1.一种输电线路设备拍摄质量在线检核方法，其特征在于，包括：

S1、对目标设备进行视频及图像的采集；

S2、基于目标实时检测算法对视频图像中的目标设备进行实时检测，定位各目标设备的位置区域；

S3、对目标设备位置区域的视频图像曝光度、清晰度及拍摄角度进行质量检核；所述清晰度检核方法为：基于目标设备实时检测得到的目标设备类型和目标设备位置区域，进行像素级的非精确化提取，基于目标设备的关键像素，判断目标设备图像的清晰度；所述清晰度判断的方法为：基于目标设备的关键像素，分别求取0、45、90、135度方向的边缘图像，并计算各边缘宽度，根据边缘宽度直方图得到边缘宽度均值、最大值、峰值宽度、分布范围，结合各关键像素的梯度能量、目标设备的类型作为特征值，输入支持向量机进行二元分类，得到目标设备清晰或模糊的分类结果；

S4、根据视频图像帧的质量检核结果引导拍摄设备进行参数调整，完成巡检图像的拍摄；通过调整拍摄设备参数，确保拍摄图像中目标设备曝光正常边缘清晰且处于视野中央，排除背景及无关区域对质量检核的影响；

S5、对拍摄到的巡检图像再次进行质量检核，对不合格图像中的目标设备部位进行补拍。

2.根据权利要求1所述的一种输电线路设备拍摄质量在线检核方法，其特征在于，所述步骤S2中实时检测的方法为：

S201、采用SSD-mobileNet进行输电线路目标设备的检测；

S202、得到目标设备区域后，对该区域进行质量检核。

3.根据权利要求1所述的一种输电线路设备拍摄质量在线检核方法，其特征在于，所述步骤S3中视频图像曝光度检核方法为：基于目标设备区域的灰度直方图统计特征进行曝光度检核，判断曝光度情况，在灰度直方图内增加灰度统计值为0的占比参数Ratio，以降低曝光度异常虚警；结合灰度直方图左右两侧灰度统计值为0的比例RatioLR、灰度直方图的峰值灰度Peak、灰度直方图的均值灰度Mean对曝光度进行检核，设gmin为灰度直方图左边缘处像素数量为零的最大灰度值数，gmax为灰度直方图右边缘处像素数量为零的最小灰度值数，则Ratio和RatioLR的计算公式如下：

Ratio＝(gmin+1+255-gmax)/255；

RatioLR＝(gmin+1)/(gmin+1+255-gmax)。

4.根据权利要求1所述的一种输电线路设备拍摄质量在线检核方法，其特征在于，所述步骤S3中拍摄角度检核方法为：基于提取图像的中心区域范围，对目标设备区域与中心区域进行重叠度计算，根据重叠度，判断目标设备是否处于视野中央。

5.根据权利要求1所述的一种输电线路设备拍摄质量在线检核方法，其特征在于，所述非精确化像素提取的具体方法为：通过对目标设备核心区域进行定位及分割，利用最大类间方差法分割算法对目标设备的关键像素进行非精确化提取。

6.根据权利要求1所述的一种输电线路设备拍摄质量在线检核方法，其特征在于，所述步骤S4的具体方法如下：对巡检视频图像帧进行质量检核，若结果不符合要求，则进行拍摄设备参数调整，直至检核结果符合拍摄要求后再进行巡检图像拍摄。

7.根据权利要求1所述的一种输电线路设备拍摄质量在线检核方法，其特征在于，所述步骤S5的具体方法如下：对拍摄后到图像再次进行质量检核，若符合拍摄要求则当前部位拍摄完成，进入下一个待巡检部位；否则返回视频图像检核部分循环进行质量检核，以此确保采集到的巡检图像曝光正常、目标设备清晰且处于视野中央。

Images