CN115880501A - 一种基于红外相机的高压电线红外图像处理方法和系统 - Google Patents

Abstract

本发明提供了一种基于红外相机的高压电线红外图像处理方法和系统，通过对单张图片根据点、线、矩形标记，在图片上点击标记后，获取对应标记区域的最高温度、最低温度和平均温度等信息；线标记用于在温度趋势显示模块中显示该线段上的温度点趋势图；通过批处理图片功能在设置好预警温度及阈值参数后自动处理图片，将温度异常、正常、不符合处理要求的图片分开保存，同时通过进度条提示当前处理进度；实现了为无人机拍摄的红外图像提供了交互界面的功能，操作简单，功能直观，运行稳定。本发明在选择好源文件夹后，可以快速检测图片中的导线、引流线区域。本发明交互友好，能快速响应各种指令，并将最终的处理结果直观的显示出来。

Description

一种基于红外相机的高压电线红外图像处理方法和系统

技术领域

本发明属于图像处理技术领域，具体涉及一种基于红外相机的高压电线红外图像处理方法和系统。

背景技术

随着我国无人机产业的蓬勃发展，无人机凭借其小巧，灵活，拥有较高的飞行高度等优势，许多高空拍摄作业都交由无人机来进行。如今，利用无人机携带热成像仪，来检测高压电线的温度是否正常，从而保证高压电线的安全成为了一项重要的技术手段。但是对于采集回来的图片，如何将解析出的温度信息直观的显示出来并加以处理，这就需要用到交互界面，而良好的交互界面需要实现操作简单、功能直观、稳定运行等要求。

发明内容

本发明要解决的技术问题是：提供一种基于红外相机的高压电线红外图像处理方法和系统，用于为无人机拍摄的红外图像提供交互界面。

本发明为解决上述技术问题所采取的技术方案为：一种基于红外相机的高压电线红外图像处理方法，包括以下步骤：

S1：无人机热成像仪采集红外图像；

S2：对红外图像进行预处理以明确红外图像中线性类目标的视觉特征，并对图像像素空间的对象拓扑进行标定；具体步骤为：

S21：对红外图像进行灰度化操作得到相应的灰度图像；然后对灰度图像进行包括去噪、平滑的预处理；再通过灰度图像的连通域判断去除非目标物体，提取导线及引流线的ROI区域；

S22：根据导线及引流线的ROI区域对图像进行形态学操作，使绝缘子连通域连成一片；然后搜索图像中最大的连通域区域即为图像中视觉上最大面积的绝缘子部分；

S23：在灰度图像中，通过绝缘子的位置和导线的条数，以绝缘子的在导线侧的边界为起点、导线与图像边界的交点为终点，统计这些线上灰度值较高的像素点的个数，具有最多像素点的线即为检测到的导线；

S24：提取导线的位置，并在原始的灰度图像中依次核算导线上像素点的灰度值进行第二次定位，剔除有误差的像素点，获取精确的单像素导线位置信息；

S3：根据图像中线性类目标的实际特征进行针对性的处理，完成线性类目标的语义分割和目标区域精细化提取。

按上述方案，所述的步骤S21中，具体步骤为：

S211：对红外图像进行RGB通道分离得到灰度图像；

S212：采用自适应的灰度阈值的算法对灰度图像进行二值处理，用于为图像去噪；

S213：采用K-means算法对去噪后的灰度图像进行ROI区域提取，用于划定和分割线性类目标的主体目标轮廓。

进一步的，所述的步骤S213中，具体步骤为：

S2131：利用直方图的灰度分布频率特征，运用峰谷和平缓地区的个数设置灰度图像需要迭代的聚类数k；

S2132：运用分位点策略设置初始分组的中心点，逐步实现各个单元内均值迭代，完成分割；

将经过处理后的灰度图像中的所有未经分组处理的灰度值按照单调上升的原则排列到向量集合X中；

按照设置的k值把集合X平均分为k份，则每个等份之间的位置为分位点的位置P_i：

S2133：运用最优化准则计算最理想的分类数量，验证预设的k值，直到满足理想分割效果后导出分割后的红外图像；

在一个像素集合里，使经过分类之后的每个分组的内部差异最小即每个元素的数值都尽量接近该分组平均值、分组与分组之间的差异最大即不同分组之间的平均值差值越大，则分割效果越好；

同一分组的内部差异值表示为在一个分组中全部元素的像素值与中心点对应的像素值即分组内平均值之间的标准偏差；

设n为集合中所有像素点的数量，C_i为第i个分组，x为在第i个分组中的每个像素的像素值，Z为第i个分组中所有像素值的平均数，则整个像素集合的内部差异值S_in为：

进一步的，所述的步骤S22中，具体步骤为：

S221：采用Canny算子检测图像中的直线，把对灰度图像中局部变化较为显著点的集合的检测转换为边缘检测；

S222：采用Seed-Filling种子填充法进行连通域处理以获取最大连通域，该连通域即为绝缘子的位置。

进一步的，所述的步骤S221中，具体步骤为：

S2211：设(x，y)为图像中某一像素点的坐标，x²+y²为高斯模糊半径，σ为正态分布的标准偏差，采用二维高斯函数对图像进行平滑操作得到数据阵列I(x，y)用于抑制图像噪声因素对边缘检测性能的不利影响，二维高斯函数为：

在二维空间中，上述公式生成的曲面的等高线是从中心开始呈正态分布的同心圆；分布不为零的像素组成的卷积矩阵与原始图像做变换，每个像素的值都是周围相邻像素值的加权平均；原始像素的值有最大高斯分布值和最大权重；相邻像素距离原始像素越远，其权重越小；

S2212：选取2×2邻域内各个像素点求有限差分均值的方法计算平滑后的数据阵列I(x，y)的梯度幅值和方向，得到相应的梯度幅值图像和梯度方向图像；

x方向和y方向的偏导数分别为：

G_x＝(I(i,j+1)-I(i,j)+I(i+1,j+1)-I(i+1,j))/2

G_y＝(I(i,j)-I(i+1,j)+I(i,j+1)-I(i+1,j+1))/2；

梯度幅值和梯度方向分别为：

S2213：采用Canny算法进行非极大值抑制、检测和连接边缘，得到图像的边缘点阵列，做进一步边缘阈值化操作剔除假边缘；

在图像的梯度方向实施方向角规范化操作以规范到四个角度；

对梯度方向上存在的所有非屋脊峰值的幅值进行抑制，达到细化幅值阵列A[i，j]中的梯度幅值屋脊的作用；

选取一个3×3像素窗口大小并包含8方向邻域的模板作用于幅值阵列A[i，j]的所有点，在每个点上将中心像素和沿着梯度线的两个像素进行比较，在比较过程中若发现中心像素点处的幅值A[i，j]不大于沿其梯度线方向上的两个相邻点幅值，则将A[i，j]置零。

按上述方案，所述的步骤S23中，具体步骤为：

S231：根据最大连通域确定绝缘子所在的位置信息；

S232：根据绝缘子的倾斜度估算导线在图像边缘的边界点位置；

S233：通过统计绝缘子处的导线端点与边界端点间的高灰度像素点确定最终的导线位置。

按上述方案，所述的步骤S3中，具体步骤为：

S31：对同一文件夹下的多张图像，按同一部位的不同温度结果将图像保存到不同的结果文件夹中；

S32：对单张图像，选择不同的点标记、线标记和矩形标记在图像中做出标记；标出单张红外图像中的引流线、导线以及对应的最高温度、最低温度和平均温度。

进一步的，所述的步骤S32中，具体步骤为：

S321：对点标记，用户点击图像中的点标记后显示点的温度值，多次点击点标记后在温度信息显示区域显示点标记的包括最高温度、最低温度和平均温度的信息；

S322：对线标记，用户在图像上点击起始点和终止点后生成并显示线段，在温度趋势显示区域显示线段上的点的温度趋势图，在温度信息显示区域显示线段的包括最高温度、最低温度和平均温度的信息，在图像中标出最高温度和最低温度的具体位置；

S323：对矩形标记，用户在图像上点击起始点和终止点后生成并显示矩形，在温度信息显示区域显示矩形的包括最高温度、最低温度和平均温度的信息，同时在图像中标出最高温度和最低温度的具体位置。

一种基于红外相机的高压电线红外图像处理系统，包括图片文件夹选择模块、图片保存模块、文件夹目录树状显示模块、图片处理显示模块、标记种类选择模块、温度趋势显示模块、温度信息显示模块、图片信息显示模块和图片批处理参数设置模块；

图片文件夹选择模块用于为后续操作提供图片；

图片保存模块用于按所选路径保存当前图片；

文件夹目录树状显示模块用于按路径选择图片文件夹下的图片；

图片处理显示模块用于在所选图片中标注引流线、导线以及相应的最高温度、最低温度和平均温度信息；

标记种类模块用于配合图片处理显示模块，通过点击标记在图片上显示相应的最高温度、最低温度和平均温度信息；

温度趋势显示模块用于根据线标记指令、起始点和终止点的位置在图片上显示线段，并显示该线段上所有点的温度分布趋势；

温度信息显示模块用于根据点标记指令、多个点的位置在图片上显示所有点的最高温度、最低温度和平均温度信息；还用于根据线标记指令、多条线的位置显示每条线的最高温度、最低温度和平均温度信息，并显示不同线的温度趋势；还用于根据矩形标记指令、矩形区域的位置显示每个矩形区域的最高温度、最低温度和平均温度信息，并在相应矩形区域中标出最高温、最低温的位置；

图片信息显示模块用于显示当前图片的相关信息；

图片批处理参数设置模块用于分别存储最高温度符合预警温度值与阈值之和的图片。

一种计算机存储介质，其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行一种基于红外相机的高压电线红外图像处理方法。

本发明的有益效果为：

1.本发明的一种基于红外相机的高压电线红外图像处理方法和系统，通过对单张图片根据点、线、矩形标记，在图片上点击标记后，获取对应标记区域的最高温度、最低温度和平均温度等信息；线标记用于在温度趋势显示模块中显示该线段上的温度点趋势图；通过批处理图片功能在设置好预警温度及阈值参数后自动处理图片，将温度异常、正常、不符合处理要求的图片分开保存，同时通过进度条提示当前处理进度；实现了为无人机拍摄的红外图像提供了交互界面的功能，操作简单，功能直观，运行稳定。

2.本发明在选择好源文件夹后，可以快速检测图片中的导线、引流线区域。

3.本发明交互友好，能快速响应各种指令，并将最终的处理结果直观的显示出来。

附图说明

图1是本发明实施例的算法流程图。

图2是本发明实施例的预处理流程图。

图3是本发明实施例的分割流程图。

图4是本发明实施例的ROI提取效果图。

图5是本发明实施例的边缘检测效果图。

图6是本发明实施例的4和8邻域示意图。

图7是本发明实施例的种子填充算法流程图。

图8是本发明实施例的绝缘子最大连通域图。

图9是本发明实施例的二次定位流程图。

图10是本发明实施例的检测到的绝缘子以及找到的导线的位置图。

图11是本发明实施例的红外图像处理软件整体框图。

图12是本发明实施例的点击菜单中的文件按钮选择图片文件夹的效果图。

图13是本发明实施例的点击文件目录树状图显示图片的效果图。

图14是本发明实施例的运行算法找到引流线、导线并显示温度信息，在图片上标识最高温度、最低温度位置的效果图。

图15是本发明实施例的选择点标记并显示温度信息的效果图。

图16是本发明实施例的选择线标记并显示温度信息的效果图。

图17是本发明实施例的选择矩形标记并显示温度信息的效果图。

图18是本发明实施例的批处理图片参数设置图。

图19是本发明实施例的批处理运行效果图。

图20是本发明实施例的批处理分类结束效果图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

针对由无人机的热成像仪所拍摄的红外图像，本发明的实施例自动标出单张红外图像当中的引流线、导线以及它们的最高温度、最低温度和平均温度。对于同一文件夹下的多张图片，本发明对同一部位的不同温度结果将图像放置到不同的结果文件夹当中；对于单张图像，选择不同的点标记、线标记和矩形标记在图像中做出标记。用户在图像中用鼠标点击点标记后看到点的温度值，多次点击之后在温度信息显示区域看到这些点的最高温度、最低温度和平均温度等信息。对于线标记，用户在图像上点击起始点和终止点后，软件自动画出直线，同时在温度趋势显示区域显示该线上的点的温度趋势图，在温度信息显示区域显示该线段的最高温度、最低温度和平均温度等信息，同时在图像中标出最高温度和最低温度的具体位置。同理对于矩形标记，用户在图像上点击起始点和终止点后，软件自动画出矩形，温度信息显示区域显示该线段的最高温度、最低温度和平均温度等信息，同时在图像中标出最高温度和最低温度的具体位置。

参见图1和图2，本发明的高压电线红外图像处理算法主要包括图像预处理(特征提取)和各线性分类识别两大过程，预处理包括图像通道分离、ROI提取、边缘检测、连通域处理等主要过程，各线性分类需根据导线特征进行针对性的特征处理，最终得到各线性目标的语义分割区域。具体步骤为：

S1：通过无人机自带的热成像仪采集红外图像；

S2：RGB通道分离；

S3：自适应灰度阈值处理，用于为图像去噪；

噪声在图像上常表现为较强视觉效果的孤立像素点或像素块，图像噪声会严重干扰后续的算法处理过程，噪声的来源一般有两种方式，一是图像获取过程中受传感器材料属性、工作环境、电子元器件和电路结构等影响，会引入各种噪声，如电阻引起的热噪声、场效应管的沟道热噪声、光子噪声、暗电流噪声、光响应非均匀性噪声；二是图像在预处理过程，因特征增强引起的不均匀性强度放大形成的孤立像素点或像素斑。灰度化处理后的图像，如果某种噪声的概率密度函数呈现出一种正态分布规律，那么便可称之为高斯噪声，时变平均值和两瞬时的协方差函数可以用来确定高斯噪声，若噪声为平稳的，则平均值与时间无关，它在意义上等效于功率谱密度。高斯噪声可以由大量独立的脉冲产生，从而在任何有限时间间隔内，这些脉冲中的每一个脉冲值与所有脉冲值的总和相比都可以忽略不计。其中平稳的噪声代表平均值与时间毫无关联，而协方差函数则变成仅和所思考的两瞬时之差有关的相关函数，功能和功率谱密度相同，其概率密度函数如式：

除此之外，线性类目标中的噪声主要还有图像背景中的干扰项，例如云彩、太阳等。在通过统计图像中的灰度值后，会发现图像中的塔、云彩、太阳都是分层的，一般太阳的灰度值最高，塔其次，云彩相较而言较低。所以使用了自适应的灰度阈值的算法来进行图像的二值处理，以便对这些背景中的干扰项进行过滤。

S4：图像ROI区域提取；ROI区域提取主要是将线性类目标中的主体目标轮廓进行划定和分割，为图像预处理的下一步工作提供基础。现阶段已研究出的几种图像包括基于阈值的分割方法、基于边缘的分割方法以及基于聚类分析或模糊集理论的分割方法等。聚类是指把一组研究对象分类成几组具有相同特征的单元的分类方式。聚类通常用作划分未经过记号的数据集合。K-means算法是一种较经典和常用的聚类方法。

线性类目标识别可将k-mean的改进算法运用在红外图像处理中。前面已经将目标红外图像采取简单预处理，处理后的图像作为算法的第一步导入的灰度图像；基于K-means算法，利用直方图的灰度分布频率特征，运用峰谷和平缓地区的个数设置该图像需要迭代的聚类数k。其次运用分位点策略设置初始分组的中心点，然后逐步实现各个单元内均值迭代，最后完成分割，接下来运用最优化准则计算出最理想的分类数量，验证第一步预设的k值，满足理想分割效果后导出分割后的红外图像。使用这个标准用于克服随机选择聚类值和初始聚类中心的缺陷，验证更合适的聚类值和更完善的分割结果，更具有实用性和可靠性。流程如图3所示。

首先，将经过简单处理后的灰度图像中的所有未经分组处理的灰度值按照单调上升的原则排列到向量集合X中，然后按照计算好的k值把该集合平均分为k份，则每个等份之间的位置就是分位点的位置，它对应的数值即Pi。它的计算公式如下：

假设被选中图像的k值为6，通过排序平分后得到5个六分位数，第一个六分位数的数值等于集合中所有灰度值按单调上升顺序排好后的六分之一处的数值，该数值对应的就是P1，以此类推，P2，P3，P4，P5的计算方式都是如此。想要实现更加理想的分割效果，即在一个像素集合里，经过分类之后的每个分组的内部差异最小即每个元素的数值都尽量接近该分组平均值，分组与分组之间的差异最大即不同分组之间的平均值差值越大越好。同一分组的内部差异值表示为在一个分组中全部元素的像素值与中心点对应的像素值即分组内平均值之间的标准偏差。整个像素集合的内部差异值的表达式为：

式中：n为集合中所有像素点的数量，x表示在第i个分组中的每个元素的像素值，Z是第i组中所有像素值的平均数。结果如图4所示。

S5：边缘提取；利用Canny算子对图像的直线进行检测，把对灰度图像中局部变化较为显著点的集合的检测转换为边缘检测。图像灰度剖面的一阶导数幅值的局部峰值对应着阶跃边缘，也即为相应的二阶导数的过零点。从数序上讲，梯度是用来翻译函数变化的一种度量，而一幅图像可以看为图像强度函数连续变化的一系列取样点。因此，在一副图像中如果存在其灰度值是显著变化的，则通过用梯度的离散逼近函数来对其进行检测。梯度表现为一阶导数的二维等效形式，即为：

具体的，使用绝对值来近似替代梯度幅值A(x,y)＝|P_x|+|P_y|，梯度方向表示为

a、图像平滑

图像的边缘检测算法主要是基于对图像灰度的一阶和二阶导数计算，但是在导数的计算过程中很容易受噪声的影响，因此必须首先使用滤波器来抑制噪声因素对有关的边缘检测性能的不利影响。

Canny边缘检测器是对信噪比和定位之乘积的一种最优化逼近算子，它通过使用范函求导方法推导出高斯函数的一阶导数形式。由于卷积运算具有可交换和可结合的性质，检测方法首先通过二维高斯函数

来平滑图像，从而达到抑制图像噪声的目的。

b、梯度幅值和方向的计算

在进行图像平滑操作后，为获得相应的梯度幅值图像和梯度方向图像，传统的检测算法通过采用选取2×2邻域内各个像素点对其求有限差分均值的方法来计算平滑后的数据阵列I(x，y)的梯度幅值和方向，两个方向的偏导数为

G_x＝(I(i,j+1)-I(i,j)+I(i+1,j+1)-I(i+1,j))/2

G_y＝(I(i,j)-I(i+1,j)+I(i,j+1)-I(i+1,j+1))/2；

梯度幅值和梯度方向计算式分别是

c、非极大值抑制、检测和连接边缘

Canny算法首先把对图像的梯度方向实施方向角规范化操作，最后把它们规范到四个角度，然后对梯度方向上存在的所有非屋脊(梯度方向上的特征轮廓线)峰值的幅值进行抑制，达到细化幅值阵列A[i，j]中的梯度幅值屋脊的作用。选取一个3×3像素窗口大小并包含8方向邻域的模板作用于幅值阵列A[i，j]的所有点，在每个点上将中心像素和沿着梯度线的两个像素进行比较，在比较过程中若发现中心像素点处的幅值A[i，j]不大于沿其梯度线方向上的两个相邻点幅值，则此时便将A[i，j]置为零。经过上述处理后可以将宽屋脊细化为仅有单像素点宽，所以在非极大值抑制过程中，屋脊的宽度值得到细化，而对于其高度值则加以保留。

通过非极大值抑制最后得到的是图像的一个边缘点阵列，但是在该边缘阵列中仍然不可避免的存在由噪声或是纹理引起的各种假边缘信息，因此还需要对其做进一步边缘阈值化操作，以进一步地将假边缘剔除。结果如图5所示。

S6：选择Seed-Filling种子填充法获取最大连通域，该连通域即为绝缘子的位置；

线性类图像通过ROI提取和边缘检测处理后，基本可对图像中的主要目标对象进行区域划分，线性类图像可根据最大连通域，先确定绝缘子所在的位置信息，在确定位置后，会根据绝缘子的倾斜度，估算导线在图像边缘的边界点位置，最后通过统计绝缘子处的导线端点与边界端点间的高灰度像素点来确定最终的导线位置。

由于二值图像亮度值一般只有0和255两种灰度值，常见的连通区域有4邻接和8邻接(如图6所示)而对于连通区域基本分析方法主要有两种：Two-Pass两遍扫描法、Seed-Filling种子填充法。我们选择Seed-Filling种子填充法来寻找最大连通域。流程图如图7所示。

绝缘子和导线在空间上具有强关联的拓扑关系，绝缘子最大连通域的处理可为导线/引流线的判断提高位置基准，从而提高线性类目标检测的鲁棒性。结果图如图8所示。

S7：导线识别；通过上述图像预处理过程，明确了红外图像中线性类目标的视觉特征，并对图像像素空间的对象拓扑进行了标定，后续可根据线性类目标的实际特征进行针对性的处理，完成语义分割和目标区域精细化提取。经对线性类目标样本研判，导线识别算法的具体处理流程如下：

a、通过获取的红外图像，首先将其图像进行灰度化操作，得到相应的灰度图像，然后对灰度图像进行去噪、平滑预处理，再通过灰度图中连通域判断去除铁塔等提取导线及引流线的ROI区域；

b、根据上述提取的导线及引流线的ROI区域图像，将图像进行形态学操作，使得绝缘子连通域连成一片，然后搜索图片中最大的连通域区域即为图像中视觉上最大面积的绝缘子部分；

c、在预处理得到的灰度图中，通过确定了的绝缘子的位置，在判断导线的条数后，以绝缘子的在导线侧的边界为起点，导线与图像边界的交点为终点。统计这些线上灰度值较高的像素点的个数。最多像素的导线即为检测到的导线。

d、由于预处理得到的灰度图是经过形态学膨胀，所以得到的导线信息可能与原图中的导线信息有着些许的偏差，所以提取上述的导线位置，并在原始的灰度图中依次核算导线上像素点的灰度值，进行第二次定位，剔除有误差的像素点，获取较精确的单像素导线位置信息。二次定位的流程如图9所示，最终算法检测结果如图10所示。

参见图11，本发明的实施例包括图片文件夹选择模块、图片保存模块、文件夹目录树状显示模块、图片处理显示模块、标记种类选择模块、温度趋势显示模块、温度信息显示模块、图片信息显示模块、图片批处理参数设置模块和快速检测模块。

图片文件夹选择模块用于为接下来的操作提供图片，有两种方式选择图片文件夹。第一种是点击菜单中的文件按钮，随后点击打开文件夹，在弹出来的文件目录中选中图片文件夹路径，点击确定，随后可在界面左侧的文件树状目录中看到路径展开树，参见图12。第二种是直接点击左侧的文件树状目录，一层一层的展开，直到打开图片，参见图13。

图片保存模块，点击菜单中的文件按钮，再点击另存为按钮，在弹出来的文件目录中选择路径，点击确定即可保存当前图片到该路径下。

文件夹目录树状显示模块用于选择图片文件夹下的其他图片以及选择图片文件夹路径并展示。

图片处理显示模块用于选择好图片后，点击处理图片按钮，后台算法会自动在图片中标注出引流线和导线部分。除此之外，点击清除图片，再选择不同的标记之后，在图片上点击可以相应的显示最高、最低、平均温度信息，参见图14。

标记种类模块用于配合图片处理显示模块，通过点击标记在图片上相应的显示最高、最低、平均温度信息。

温度趋势显示模块用于选择线标记后，在图片上点击起始点和终止点，图片上会显示一条直线。同时，软件界面的中下区域会显示该线上的所有点的温度分布趋势。

温度信息显示模块，选择点标记并在图像中点击多个点时，该模块显示所有点当中的最高温、最低温、平均温，参见图15。选择线标记并在图像中画出多条线时，该模块显示每条线的最高温、最低温、平均温，同时，选中不同的线，该线的温度趋势会显示在温度趋势模块中，参见图16。选择矩形标记时，该模块显示每个矩形区域的最高温、最低温、平均温。并在相应矩形区域中标出最高温、最低温的位置，参见图17。

图片信息显示模块用于显示当前图片的相关信息。

参见图18和图20，图片批处理参数设置模块，在点击“…”按钮选择好路径之后，用于自动创建ok、ng、temp三个文件夹，分别存储最高温度符合预警温度值+阈值之和的图片，不符合的图片，不满足算法处理的异常图片。点击“开始批处理”按钮之后出现处理进度条对话框，可以点击取消按钮来提前结束批处理，参见图19。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (10)

1.一种基于红外相机的高压电线红外图像处理方法，其特征在于：包括以下步骤：

S1：无人机热成像仪采集红外图像；

S2：对红外图像进行预处理以明确红外图像中线性类目标的视觉特征，并对图像像素空间的对象拓扑进行标定；具体步骤为：

S21：对红外图像进行灰度化操作得到相应的灰度图像；然后对灰度图像进行包括去噪、平滑的预处理；再通过灰度图像的连通域判断去除非目标物体，提取导线及引流线的ROI区域；

S22：根据导线及引流线的ROI区域对图像进行形态学操作，使绝缘子连通域连成一片；然后搜索图像中最大的连通域区域即为图像中视觉上最大面积的绝缘子部分；

S23：在灰度图像中，通过绝缘子的位置和导线的条数，以绝缘子的在导线侧的边界为起点、导线与图像边界的交点为终点，统计这些线上灰度值较高的像素点的个数，具有最多像素点的线即为检测到的导线；

S24：提取导线的位置，并在原始的灰度图像中依次核算导线上像素点的灰度值进行第二次定位，剔除有误差的像素点，获取精确的单像素导线位置信息；

S3：根据图像中线性类目标的实际特征进行针对性的处理，完成线性类目标的语义分割和目标区域精细化提取。

2.根据权利要求1所述的一种基于红外相机的高压电线红外图像处理方法，其特征在于：所述的步骤S21中，具体步骤为：

S211：对红外图像进行RGB通道分离得到灰度图像；

S212：采用自适应的灰度阈值的算法对灰度图像进行二值处理，用于为图像去噪；

S213：采用K-means算法对去噪后的灰度图像进行ROI区域提取，用于划定和分割线性类目标的主体目标轮廓。

3.根据权利要求2所述的一种基于红外相机的高压电线红外图像处理方法，其特征在于：所述的步骤S213中，具体步骤为：

S2131：利用直方图的灰度分布频率特征，运用峰谷和平缓地区的个数设置灰度图像需要迭代的聚类数k；

S2132：运用分位点策略设置初始分组的中心点，逐步实现各个单元内均值迭代，完成分割；

将经过处理后的灰度图像中的所有未经分组处理的灰度值按照单调上升的原则排列到向量集合X中；

按照设置的k值把集合X平均分为k份，则每个等份之间的位置为分位点的位置P_i：

S2133：运用最优化准则计算最理想的分类数量，验证预设的k值，直到满足理想分割效果后导出分割后的红外图像；

在一个像素集合里，使经过分类之后的每个分组的内部差异最小即每个元素的数值都尽量接近该分组平均值、分组与分组之间的差异最大即不同分组之间的平均值差值越大，则分割效果越好；

同一分组的内部差异值表示为在一个分组中全部元素的像素值与中心点对应的像素值即分组内平均值之间的标准偏差；

设n为集合中所有像素点的数量，C_i为第i个分组，x为在第i个分组中的每个像素的像素值，Z为第i个分组中所有像素值的平均数，则整个像素集合的内部差异值S_in为：

4.根据权利要求2所述的一种基于红外相机的高压电线红外图像处理方法，其特征在于：所述的步骤S22中，具体步骤为：

S221：采用Canny算子检测图像中的直线，把对灰度图像中局部变化较为显著点的集合的检测转换为边缘检测；

S222：采用Seed-Filling种子填充法进行连通域处理以获取最大连通域，该连通域即为绝缘子的位置。

5.根据权利要求4所述的一种基于红外相机的高压电线红外图像处理方法，其特征在于：所述的步骤S221中，具体步骤为：

S2211：设(x，y)为图像中某一像素点的坐标，x²+y²为模糊半径，σ为正态分布的标准偏差，采用二维高斯函数对图像进行平滑操作得到数据阵列I(x，y)用于抑制图像噪声因素对边缘检测性能的不利影响，二维高斯函数为：

在二维空间中，上述公式生成的曲面的等高线是从中心开始呈正态分布的同心圆；分布不为零的像素组成的卷积矩阵与原始图像做变换，每个像素的值都是周围相邻像素值的加权平均；原始像素的值有最大高斯分布值和最大权重，相邻像素距离原始像素越远，其权重越小；

S2212：选取2×2邻域内各个像素点求有限差分均值的方法计算平滑后的数据阵列I(x，y)的梯度幅值和方向，得到相应的梯度幅值图像和梯度方向图像；

x方向和y方向的偏导数分别为：

G_x＝(I(i,j+1)-I(i,j)+I(i+1,j+1)-I(i+1,j))/2

G_y＝(I(i,j)-I(i+1,j)+I(i,j+1)-I(i+1,j+1))/2；

梯度幅值和梯度方向分别为：

S2213：采用Canny算法进行非极大值抑制、检测和连接边缘，得到图像的边缘点阵列，做进一步边缘阈值化操作剔除假边缘；

在图像的梯度方向实施方向角规范化操作以规范到四个角度；

对梯度方向上存在的所有非屋脊峰值的幅值进行抑制，达到细化幅值阵列A[i，j]中的梯度幅值屋脊的作用；

选取一个3×3像素窗口大小并包含8方向邻域的模板作用于幅值阵列A[i，j]的所有点，在每个点上将中心像素和沿着梯度线的两个像素进行比较，在比较过程中若发现中心像素点处的幅值A[i，j]不大于沿其梯度线方向上的两个相邻点幅值，则将A[i，j]置零。

6.根据权利要求1所述的一种基于红外相机的高压电线红外图像处理方法，其特征在于：所述的步骤S23中，具体步骤为：

S231：根据最大连通域确定绝缘子所在的位置信息；

S232：根据绝缘子的倾斜度估算导线在图像边缘的边界点位置；

S233：通过统计绝缘子处的导线端点与边界端点间的高灰度像素点确定最终的导线位置。

7.根据权利要求1所述的一种基于红外相机的高压电线红外图像处理方法，其特征在于：所述的步骤S3中，具体步骤为：

S31：对同一文件夹下的多张图像，按同一部位的不同温度结果将图像保存到不同的结果文件夹中；

S32：对单张图像，选择不同的点标记、线标记和矩形标记在图像中做出标记；标出单张红外图像中的引流线、导线以及对应的最高温度、最低温度和平均温度。

8.根据权利要求7所述的一种基于红外相机的高压电线红外图像处理方法，其特征在于：所述的步骤S32中，具体步骤为：

S321：对点标记，用户点击图像中的点标记后显示点的温度值，多次点击点标记后在温度信息显示区域显示点标记的包括最高温度、最低温度和平均温度的信息；

S322：对线标记，用户在图像上点击起始点和终止点后生成并显示线段，在温度趋势显示区域显示线段上的点的温度趋势图，在温度信息显示区域显示线段的包括最高温度、最低温度和平均温度的信息，在图像中标出最高温度和最低温度的具体位置；

S323：对矩形标记，用户在图像上点击起始点和终止点后生成并显示矩形，在温度信息显示区域显示矩形的包括最高温度、最低温度和平均温度的信息，同时在图像中标出最高温度和最低温度的具体位置。

9.一种用于权利要求1至8中任意一项所述的基于红外相机的高压电线红外图像处理方法的系统，其特征在于：包括图片文件夹选择模块、图片保存模块、文件夹目录树状显示模块、图片处理显示模块、标记种类选择模块、温度趋势显示模块、温度信息显示模块、图片信息显示模块和图片批处理参数设置模块；

图片文件夹选择模块用于为后续操作提供图片；

图片保存模块用于按所选路径保存当前图片；

文件夹目录树状显示模块用于按路径选择图片文件夹下的图片；

图片处理显示模块用于在所选图片中标注引流线、导线以及相应的最高温度、最低温度和平均温度信息；

标记种类模块用于配合图片处理显示模块，通过点击标记在图片上显示相应的最高温度、最低温度和平均温度信息；

温度趋势显示模块用于根据线标记指令、起始点和终止点的位置在图片上显示线段，并显示该线段上所有点的温度分布趋势；

温度信息显示模块用于根据点标记指令、多个点的位置在图片上显示所有点的最高温度、最低温度和平均温度信息；还用于根据线标记指令、多条线的位置显示每条线的最高温度、最低温度和平均温度信息，并显示不同线的温度趋势；还用于根据矩形标记指令、矩形区域的位置显示每个矩形区域的最高温度、最低温度和平均温度信息，并在相应矩形区域中标出最高温、最低温的位置；

图片信息显示模块用于显示当前图片的相关信息；

图片批处理参数设置模块用于分别存储最高温度符合预警温度值与阈值之和的图片。

10.一种计算机存储介质，其特征在于：其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行如权利要求1至权利要求8中任意一项所述的一种基于红外相机的高压电线红外图像处理方法。

Images