CN115379123B - 一种用无人机巡检的变压器故障检测方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种用无人机巡检的变压器故障检测方法，该方法通过无人机巡检采集变压器表面的红外图像和RGB表面图像，识别出偏移像素点；获取图像采集时的大气透过率；获取偏差角度，结合图像采集时的相机参数、相机与变压器之间的实际距离、变压器的长度数据以及无人机的抖动速度获取抖动偏移量，进而获取去抖动亮度；获取偏移像素点的角度偏移量；获取偏移像素点的清晰程度，基于不同的清晰程度计算对应的偏差补偿值；对每个偏移像素点依据偏差补偿值进行亮度补偿得到补偿图像；对补偿图像进行变压器故障检测。本发明能够得到准确的变压器故障检测结果，识别出变压器的故障位置。

Description

一种用无人机巡检的变压器故障检测方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种用无人机巡检的变压器故障检测方法。

背景技术

变压器长期不间断的使用，会导致变压器发生损坏，变压器轻微的损坏短时间内还可以继续使用，但存在故障的区域会发生局部高热，可以根据变压器故障的局部发热的特征对变压器进行故障检测。

目前主要是通过无人机巡航采集变压器的红外图像，根据得到的红外图像中的特征进行分析，通过图像中温度的局部差异判断变压器是否发生故障。而实际通过无人机采集变压器的红外图像判断变压器是否故障时，无人机在采集的过程中常常会受到环境的影响产生抖动以及采集的视角存在偏差，导致采集的红外热图像中温度区域产生偏差，无法对变压器的故障检测提供有效的保障，导致变压器故障检测精准度较低。目前存在对红外图像进行补偿以使图像信息更精确的技术，但是现有技术在对红外图像进行补偿时，往往通过距离对色彩进行补偿，若图像采集时无人机抖动，此时的图像可能较为模糊，红外图像中的温度区域偏差较为复杂，仅通过距离补偿无法精确补偿图像信息，依然无法对变压器进行有效的故障检测。

发明内容

为了解决无人机采集变压器的红外图像温度偏差补偿不精确的问题，本发明提供一种用无人机巡检的变压器故障检测方法，所采用的技术方案具体如下：

本发明一个实施例提供了一种用无人机巡检的变压器故障检测方法，该方法包括以下步骤：

通过无人机巡检采集变压器表面的红外图像和RGB表面图像，识别出变压器对应的像素点作为偏移像素点；获取图像采集时的大气透过率；所述红外图像中每个像素值为对应像素点的亮度值；

基于表面图像中变压器的边缘方向获取偏差角度，结合图像采集时的相机参数、相机与变压器之间的实际距离、变压器的长度数据以及无人机的抖动速度获取所有偏移像素点的抖动偏移量，进而获取偏移像素点抖动后的位置，以偏移像素点抖动前后位置上的亮度值之差的绝对值作为去抖动亮度；

以距离相机最近的像素点作为基准点，基于每个偏移像素点与基准点之间的距离以及所述偏差角度获取该偏移像素点的角度偏移量；

根据偏移像素点邻域区域内相邻像素点之间的像素值差异获取对应的清晰程度，当清晰程度小于预设阈值时，基于偏移像素点的去抖动亮度和其他数据获取偏差补偿值；当清晰程度不小于预设阈值时，基于偏移像素点的亮度值和其他数据获取偏差补偿值；所述其他数据包括相机与变压器之间的实际距离、角度偏移量和大气透过率；

对每个偏移像素点依据偏差补偿值进行亮度补偿得到补偿图像；对补偿图像进行变压器故障检测。

优选的，所述偏差角度的获取方法为：

以表面图像中变压器底部的边缘与水平方向的夹角作为所述偏差角度。

优选的，所述抖动偏移量的计算公式为：

其中，m表示抖动偏移量，v表示无人机的抖动速度，T表示曝光时间，f表示相机焦距，L表示相机与变压器之间的实际距离，

表示所述偏差角度，

表示偏差角度

的余弦值，

表示偏差角度

的正弦值，n表示图像中变压器的宽度。

优选的，所述角度偏移量的获取方法为：

以每个偏移像素点所在变压器平面的底部边缘与水平方向的夹角作为对应偏移像素点的偏差角度，以偏移像素点与基准点之间的距离乘上该偏移像素点对应的偏差角度的正弦值作为该偏移像素点的角度偏移量。

优选的，所述清晰程度的获取方法为：

以每个偏移像素点为中心点，构建预设大小的窗口作为对应的所述邻域区域，计算邻域区域内每两个相邻像素点的像素值的差值，以及所有差值之和，计算邻域区域内每个像素点对应的差值与所述差值之和的差并求平方作为变化差异，以邻域区域内所有像素点对应的变化差异的平方作为邻域区域中心点的清晰程度。

优选的，所述偏差补偿值的获取方法为：

当清晰程度小于预设阈值时，偏差补偿值的计算公式为：

，其中，

表示第i个偏移像素点的偏差补偿值，

表示第i个偏移像素点对应的去抖动亮度，

表示大气透过率，

表示第i个偏移像素点的角度偏移量，L表示相机与变压器之间的实际距离；

当清晰程度不小于预设阈值时，偏差补偿值的计算公式为：

，其中，

表示第i个偏移像素点的亮度值。

优选的，所述补偿图像的获取方法为：

将每个偏移像素点的亮度值加上对应的偏移补偿值，得到补偿亮度值并替换原来的亮度值，得到所述补偿图像。

优选的，所述对补偿图像进行变压器故障检测，包括：

获取补偿图像的灰度图像，通过最大熵阈值法获取灰度图像的最佳阈值，将灰度图像中灰度值大于最佳阈值的像素点标记为故障像素点，完成故障检测。

本发明实施例至少具有如下有益效果：

通过获取偏移像素点的抖动偏移量来获取偏移像素点抖动后的位置，然后计算去抖动亮度，能够排除无人机抖动对亮度造成的干扰；再通过图像采集的偏差角度以及每个像素点的位置获取角度偏移量，以便后续排除拍摄角度造成的影响；通过获取每个偏移像素点的清晰程度判断该偏移像素点是否清晰，若不够清晰，说明出现了抖动造成的模糊，此时利用去抖动亮度进行偏差补偿值的计算，若足够清晰，直接以原本的亮度进行偏差补偿值的计算，分情况分析，得到更加准确的偏差补偿值；利用偏差补偿值对对应的偏移像素点进行亮度补偿得到补偿图像，该补偿图像能够排除无关因素的影响，准确体现变压器的温度情况，对补偿图像进行故障检测，能够得到准确的检测结果，识别出变压器的故障位置。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例提供的一种用无人机巡检的变压器故障检测方法的步骤流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种用无人机巡检的变压器故障检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种用无人机巡检的变压器故障检测方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种用无人机巡检的变压器故障检测方法的步骤流程图，该方法包括以下步骤：

步骤S001，通过无人机巡检采集变压器表面的红外图像和RGB表面图像，识别出变压器对应的像素点作为偏移像素点；获取图像采集时的大气透过率；红外图像中每个像素值为对应像素点的亮度值。

具体的步骤包括：

通过无人机进行巡航检测，在无人机上安装红外热力相机设备，在本发明实施例中红外热力相机设备为双目红外相机，得到变压器的红外热成像图像，红外热成像图像是由红外图像的RGB图像和红外亮度图像进行叠加得到的，因此得到红外热成像图像时，既能得到红外图像又能得到RGB表面图像，同时通过双目立体视觉技术得到无人机与变压器之间的实际距离

。

通过模式计算方法获取采集红外图像时环境的大气透过率

。

对得到的表面图像进行语义分割，表面图像中的变压器以及背景进行划分，语义分割为现有技术，根据大量的图像中的变压器的图像特征，将背景和变压器进行划分，在本发明实施例中不再赘述语音分割的具体过程。

由于本发明是为了对变压器进行故障检测，因此只关注变压器部分，将变压器对应的像素点作为偏移像素点进行后续分析。

步骤S002，基于表面图像中变压器的边缘方向获取偏差角度，结合图像采集时的相机参数、相机与变压器之间的实际距离、变压器的长度数据以及无人机的抖动速度获取所有偏移像素点的抖动偏移量，进而获取偏移像素点抖动后的位置，以偏移像素点抖动前后位置上的亮度值之差的绝对值作为去抖动亮度。

具体的步骤包括：

无人机在采集变压器图像时的视角随机，因此大多数情况下都会存在图像采集的视角偏差，以表面图像中变压器底部的边缘与水平方向的夹角作为偏差角度，具体的，以每个偏移像素点所在变压器平面的底部边缘与水平方向的夹角作为对应偏移像素点的偏差角度。

无人机悬停状态下采集图像，可能会由于横风的影响产生抖动，导致图像产生模糊，图像中的边缘会出现模糊状态，因此首先需要获取采集的表面图像由于抖动产生的模糊边缘的偏移量，通过表面图像计算无人机在图像采集过程中产生抖动的偏移量为：

其中，m表示抖动偏移量，v表示无人机的抖动速度，T表示曝光时间，f表示相机焦距，L表示相机与变压器之间的实际距离，

表示偏差角度，

表示偏差角度

的余弦值，

表示偏差角度

的正弦值，n表示图像中变压器的宽度。

其中抖动速度是在无人机飞行过程中陀螺仪采集到的抖动数据得到的。曝光时间T确定时，抖动产生的偏移量与抖动速度v成正比，抖动的速度越大，对图像的影响越大得到的图像越模糊。

曝光时间T、相机焦距f为相机参数，当偏差角度为0，即无人机采集图像时为正对着变压器采集，此时

，但是存在偏差角度时，对应的抖动偏移量需要考虑偏差角度对成像的影响。

由于红外热成像图像是由红外图像的RGB图像和红外亮度图像进行叠加得到的，因此对于同时采集的表面图像和红外图像来说，抖动偏移量是相同的。

在红外图像中，变压器与相机之间的距离的远近影响图像采集红外辐射时的强弱，距离越远红外辐射越弱。

对于每个偏移像素点，基于当前在图像中的位置和抖动偏移量获取对应的抖动后的位置，然后计算去抖动亮度。以第i个偏移像素点为例，获取去除了抖动偏移量对红外图像中的像素点亮度值的影响后的亮度值，即去抖动亮度：

其中，

表示第i个偏移像素点的去抖动亮度，

表示第i个偏移像素点的亮度值，

表示抖动偏移量，

表示在抖动偏移量为m的红外图像中第

个偏移像素点抖动后的亮度值。

在抖动偏移量为m的红外图像中，整张图像的所有像素点在抖动作用下都产生了模糊，即依据抖动偏移量可以找到每个偏移像素点对应的产生抖动偏移之前的像素点，对应的亮度值即为抖动前的亮度值。

步骤S003，以距离相机最近的像素点作为基准点，基于每个偏移像素点与基准点之间的距离以及偏差角度获取该偏移像素点的角度偏移量。

具体的步骤包括：

上述步骤S002中获取的去抖动亮度为红外图像在视角不发生偏移的状态下，即相机正对变压器时对变压器的红外图像的补偿值，但由于采集变压器图像时，无人机的位置不确定时，图像中的变压器与相机之间的视角存在偏移，得到的红外图像会发生采集的数据不准确的情况，因此需要对红外图像中的视角产生的偏差进行补偿。

其中表征视角偏差的偏差角度在步骤S002中已经获取，即以每个偏移像素点所在变压器平面的底部边缘与水平方向的夹角作为对应偏移像素点的偏差角度，然后以距离相机最近的像素点作为基准点，以偏移像素点与基准点之间的距离乘上该偏移像素点对应的偏差角度的正弦值作为该偏移像素点的角度偏移量。

基于偏差角度计算红外图像中的第

个偏移像素点的角度偏移量

：

其中，

表示第i个偏移像素点与基准点之间的距离，

为偏差角度

的正弦值。

通过上述公式得到红外图像中的每个偏移像素点距离的数据信息，根据采集图像数据中的偏差值，得到图像的角度偏移量。

红外图像的能量分布主要是通过一种特质的透镜，能够将视野内物体发出的红外线收集起来，由于位置的远近，红外图像的红外线受到距离的影响，距离越大，红外线损失能量越大，即采集的红外图像中反映出的红外能量越小。

无人机拍摄的偏差角度越大，变压器上距离相近的位置在进行红外图像采集时距离差距越大，对应的红外能量反射差别越大，导致距离远的检测到的温度精度不高，并且和距离较近的温度无法进行对比，得到的图像检测变压器的故障点的准确性较低。

步骤S004，根据偏移像素点邻域区域内相邻像素点之间的像素值差异获取对应的清晰程度，当清晰程度小于预设阈值时，基于偏移像素点的去抖动亮度和其他数据获取偏差补偿值；当清晰程度不小于预设阈值时，基于偏移像素点的亮度值和其他数据获取偏差补偿值；其他数据包括相机与变压器之间的实际距离、角度偏移量和大气透过率。

具体的步骤包括：

由于抖动的产生的偏移量会影响图像进行视角产生偏移的补偿时的补偿值，会将图像中由于抖动产生偏移的区域也进行补偿，使得图像中抖动产生偏移的像素点进行不必要的补偿，因此，首先判断采集的红外图像是否清晰，即是否存在不必要的补偿的情况；同时采集的红外图像由抖动产生的模糊程度较大时，模糊会将图像中存在差异的区域边缘模糊，导致得到的红外图像中故障区域与周围的正常区域之间的像素点平滑，并且视角产生的偏差会导致红外图像中偏差位置的亮度值产生衰减，因此需要对红外图像中同一平面的偏移像素点进行补偿。

以每个偏移像素点为中心点，构建预设大小的窗口作为对应的邻域区域，计算邻域区域内每两个相邻像素点的像素值的差值，以及所有差值之和，计算邻域区域内每个像素点对应的差值与差值之和的差并求平方作为变化差异，以邻域区域内所有像素点对应的变化差异的平方作为邻域区域中心点的清晰程度。

作为一个示例，在本发明实施例中窗口的预设大小为8×8，在其他实施例中也可以根据实际情况进行窗口大小的预设。以每个偏移像素点为中心点，构建8×8大小的窗口作为该偏移像素点的邻域区域，当抖动造成的面模糊较大时，像素点相互重叠，整体的像素值差异较小，即像素值变化均匀，因此基于相邻像素点的像素值的均匀性来评估表面图像的清晰程度：

其中，

表示第i个偏移像素点的清晰程度；

表示第i个偏移像素点的邻域区域内相邻的第

个像素点的像素值，

表示第i个偏移像素点的邻域区域内第

个像素点的像素值，

表示第i个偏移像素点的邻域区域内相邻的第

个像素点和第

个像素点之间的像素值差值；

为邻域区域内的像素点的数量，即64。

当无人机抖动时，表面图像中的像素点附近会产生多条边缘，因此像素点与邻域像素点之间的像素值变化均匀，对应的清晰度较低。

需要说明的是，表面图像和红外图像是共同采集的，表面图像的清晰程度即为红外图像的清晰程度。

当清晰程度小于预设阈值时，此时表面图像的清晰度较低，即抖动造成的模糊程度较大，需要利用去抖动亮度进行偏差补偿值的计算，具体的偏差补偿值的计算公式为：

，其中，

表示第i个偏移像素点的偏差补偿值，

表示第i个偏移像素点对应的去抖动亮度，

表示大气透过率，

表示第i个偏移像素点的角度偏移量，L表示相机与变压器之间的实际距离。

当清晰程度不小于预设阈值时，此时表面图像的清晰度较高，即抖动造成的模糊程度较小，利用偏移像素点自身的亮度进行偏差补偿值的计算即可，具体的偏差补偿值的计算公式为：

，其中，

表示第i个偏移像素点的亮度值。

作为一个示例，在本发明实施例中预设阈值为0.3。

对红外图像中的像素点的亮度进行补偿时，由于无人机采集的图像受环境的影响，得到的红外图像中可能存在抖动模糊，会导致对图像视角偏差进行补偿时补偿的亮度值不准确，影响对变压器的故障进行检测，因此需要先计算图像中的清晰程度，判断是否需要进行去抖动。

步骤S005，对每个偏移像素点依据偏差补偿值进行亮度补偿得到补偿图像；对补偿图像进行变压器故障检测。

具体的步骤包括：

根据计算得到的偏差补偿值对红外图像产生的视角偏差和抖动偏差进行补偿。

具体的，将每个偏移像素点的亮度值加上对应的偏移补偿值，得到补偿亮度值

并替换原来的亮度值，即此时第i个偏移像素点处的亮度值为

，所有偏移像素点的亮度值替换为补偿亮度值之后得到补偿图像。

通过上述补偿对视角偏差和抖动偏差均进行了补偿，使得到的温度不会因为偏差距离而丢失，并且也不会因为抖动产生的偏移而过度补偿。

补偿图像也为红外图像，根据补偿图像中不同部位的发热程度不同，得到补偿图像中的故障的位置以及故障点的温度信息。

获取补偿图像的灰度图像，通过最大熵阈值法获取灰度图像的最佳阈值，将灰度图像中灰度值大于最佳阈值的像素点标记为故障像素点，完成故障检测。

具体的，对补偿后的图像进行灰度化，得到图像的灰度范围，统计每个灰度级的像素点数量，构建对应的灰度直方图，计算每个灰度级对应的熵，以最大熵对应的灰度级作为最佳阈值，补偿图像中大于最佳阈值的像素点为故障像素点。

进一步的，为了故障位置显示明显，将识别出故障像素点的阈值分割图像进行二值化，即将大于最佳阈值的像素点置1，小于最佳阈值的像素点置0，得到二值化图像。

实现图像中的故障检测，得到图像的故障点，并将得到的故障位置的信息进行传输。

综上所述，本发明实施例通过无人机巡检采集变压器表面的红外图像和RGB表面图像，识别出变压器对应的像素点作为偏移像素点；获取图像采集时的大气透过率；红外图像中每个像素值为对应像素点的亮度值；基于表面图像中变压器的边缘方向获取偏差角度，结合图像采集时的相机参数、相机与变压器之间的实际距离、变压器的长度数据以及无人机的抖动速度获取所有偏移像素点的抖动偏移量，进而获取偏移像素点抖动后的位置，以偏移像素点抖动前后位置上的亮度值之差的绝对值作为去抖动亮度；以距离相机最近的像素点作为基准点，基于每个偏移像素点与基准点之间的距离以及偏差角度获取该偏移像素点的角度偏移量；根据偏移像素点邻域区域内相邻像素点之间的像素值差异获取对应的清晰程度，当清晰程度小于预设阈值时，基于偏移像素点的去抖动亮度和其他数据获取偏差补偿值；当清晰程度不小于预设阈值时，基于偏移像素点的亮度值和其他数据获取偏差补偿值；其他数据包括相机与变压器之间的实际距离、角度偏移量和大气透过率；对每个偏移像素点依据偏差补偿值进行亮度补偿得到补偿图像；对补偿图像进行变压器故障检测。本发明实施例能够得到准确的变压器故障检测结果，识别出变压器的故障位置。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种用无人机巡检的变压器故障检测方法，其特征在于，该方法包括以下步骤：

通过无人机巡检采集变压器表面的红外图像和RGB表面图像，识别出变压器对应的像素点作为偏移像素点；获取图像采集时的大气透过率；所述红外图像中每个像素值为对应像素点的亮度值；

基于表面图像中变压器的边缘方向获取偏差角度，结合图像采集时的相机参数、相机与变压器之间的实际距离、变压器的长度数据以及无人机的抖动速度获取所有偏移像素点的抖动偏移量，进而获取偏移像素点抖动后的位置，以偏移像素点抖动前后位置上的亮度值之差的绝对值作为去抖动亮度；

以距离相机最近的像素点作为基准点，基于每个偏移像素点与基准点之间的距离以及所述偏差角度获取该偏移像素点的角度偏移量；

根据偏移像素点邻域区域内相邻像素点之间的像素值差异获取对应的清晰程度，当清晰程度小于预设阈值时，基于偏移像素点的去抖动亮度和其他数据获取偏差补偿值；当清晰程度不小于预设阈值时，基于偏移像素点的亮度值和其他数据获取偏差补偿值；所述其他数据包括相机与变压器之间的实际距离、角度偏移量和大气透过率；

对每个偏移像素点依据偏差补偿值进行亮度补偿得到补偿图像；对补偿图像进行变压器故障检测。

2.根据权利要求1所述的一种用无人机巡检的变压器故障检测方法，其特征在于，所述偏差角度的获取方法为：

以表面图像中变压器底部的边缘与水平方向的夹角作为所述偏差角度。

3.根据权利要求1所述的一种用无人机巡检的变压器故障检测方法，其特征在于，所述抖动偏移量的计算公式为：

其中，m表示抖动偏移量，v表示无人机的抖动速度，T表示曝光时间，f表示相机焦距，L表示相机与变压器之间的实际距离，

表示所述偏差角度，

表示偏差角度

的余弦值，

表示偏差角度

的正弦值，n表示图像中变压器的宽度。

4.根据权利要求2所述的一种用无人机巡检的变压器故障检测方法，其特征在于，所述角度偏移量的获取方法为：

以每个偏移像素点所在变压器平面的底部边缘与水平方向的夹角作为对应偏移像素点的偏差角度，以偏移像素点与基准点之间的距离乘上该偏移像素点对应的偏差角度的正弦值作为该偏移像素点的角度偏移量。

5.根据权利要求1所述的一种用无人机巡检的变压器故障检测方法，其特征在于，所述清晰程度的获取方法为：

以每个偏移像素点为中心点，构建预设大小的窗口作为对应的所述邻域区域，计算邻域区域内每两个相邻像素点的像素值的差值，以及所有差值之和，计算邻域区域内每个像素点对应的差值与所述差值之和的差并求平方作为变化差异，以邻域区域内所有像素点对应的变化差异的平方作为邻域区域中心点的清晰程度。

6.根据权利要求1所述的一种用无人机巡检的变压器故障检测方法，其特征在于，所述偏差补偿值的获取方法为：

当清晰程度小于预设阈值时，偏差补偿值的计算公式为：

，其中，

表示第i个偏移像素点的偏差补偿值，

表示第i个偏移像素点对应的去抖动亮度，

表示大气透过率，

表示第i个偏移像素点的角度偏移量，L表示相机与变压器之间的实际距离；

当清晰程度不小于预设阈值时，偏差补偿值的计算公式为：

，其中，

表示第i个偏移像素点的亮度值。

7.根据权利要求1所述的一种用无人机巡检的变压器故障检测方法，其特征在于，所述补偿图像的获取方法为：

将每个偏移像素点的亮度值加上对应的偏移补偿值，得到补偿亮度值并替换原来的亮度值，得到所述补偿图像。

8.根据权利要求1所述的一种用无人机巡检的变压器故障检测方法，其特征在于，所述对补偿图像进行变压器故障检测，包括：

获取补偿图像的灰度图像，通过最大熵阈值法获取灰度图像的最佳阈值，将灰度图像中灰度值大于最佳阈值的像素点标记为故障像素点，完成故障检测。

Images