CN117237617A - 一种架空输电线图像识别方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种架空输电线图像识别方法、装置、设备及存储介质，所述方法包括：获取待识别图像；对待识别图像预处理和边缘检测生成中间图像；遍历中间图像提取第一点集，所述第一点集的元素是灰度值为1的像素点坐标，筛选所述第一点集中的轮廓角点得到第二点集；利用扫描窗口扫描第二点集得到若干拟合点集，对各拟合点集直线拟合遴选后进行悬链线拟合得到各拟合输电线方程，各拟合输电线方程用于确定待识别图像中架空输电线的各像素点坐标以完成识别。本申请提出的识别方法考虑了架空输电线的敷设特点，能够实现对输电线的精准图像识别。

Description

一种架空输电线图像识别方法、装置、设备及存储介质

技术领域

本发明属于输电线路智能运检领域，尤其涉及一种架空输电线图像识别方法、装置、设备及存储介质。

背景技术

早期输电线路监测主要依靠人工巡线，受地形环境、天气状况等因素的影响较大，存在效率低、工作量大、复巡周期长等缺点。近年来，随着计算机视觉技术的飞速发展，无人机巡线技术在输电线路巡检中得到应用，通过不同算法提取图像中的导线部分进行检测，然而这些算法多数是图像识别领域的普适性算法，没有考虑架空输电线路区别于建筑物屋面与立面、道路标线与路肩、树木林地、草地菜地、景观斑块等复杂图像背景，以及树枝条、藤条等条状背景的局部线性和悬链线属性，使得架空输电线路的图像识别准确率低，定位不准确，甚至存在因背景覆盖与遮挡导致的漏检问题。此外，受天气影响线路图像识别的准确率也不高。因此，架空输电线路的图像识别及故障排查仍依靠人工完成。

发明内容

基于此，本发明提供一种架空输电线图像识别方法、装置、设备及存储介质，通过图像处理获得图像中的轮廓点集，通过直线拟合、悬链线拟合等方式准确定位识别图像中的输电线路。

第一方面，本发明提供一种架空输电线图像识别方法，包括：

获取待识别图像；

对待识别图像预处理和边缘检测生成中间图像；

遍历中间图像提取第一点集，点集的元素是灰度值为1的像素点坐标，筛选第一点集中的轮廓角点得到第二点集；

利用扫描窗口扫描第二点集得到若干拟合点集，对各拟合点集直线拟合遴选后进行悬链线拟合得到各拟合输电线方程，各拟合输电线方程用于确定待识别图像中架空输电线的各像素点坐标以完成识别。

进一步地，对各拟合点集直线拟合遴选后进行悬链线拟合得到各拟合输电线方程包括：

分别直线拟合各拟合点集，筛选满足第一条件的拟合点集；

确定满足第一条件且线性相关系数最大对应的拟合点集为基准点集；

对基准点集悬链线拟合得到基准悬链线方程；

利用基准悬链线方程构建悬链线扫描窗口扫描除基准点集外的各拟合点集，筛选满足第二条件的拟合点集；

对满足第二条件的各拟合点集分别悬链线拟合得到与之对应的定位悬链线方程；

基准悬链线方程和各定位悬链线方程组成各拟合输电线方程。

进一步地，对基准点集悬链线拟合得到基准悬链线方程包括：

根据纵坐标相对差筛选基准点集的元素，确定纵坐标相对差不大于相对差阈值的像素点坐标构成精滤基准点集；

对精滤基准点集悬链线拟合得到基准悬链线方程。

进一步地，对满足第二条件的拟合点集分别悬链线拟合得到与之对应的定位悬链线方程包括：

对满足第二条件的各拟合点集分别进行悬链线预拟合得到预拟合线；

计算预拟合线的拟合标准差，筛选不超出标准差阈值的拟合点集；

计算上述筛选后的拟合点集的绝对差，根据绝对差排除点集中的奇异点；

对排除奇异点的各拟合点集分别进行悬链线拟合得到与之对应的定位悬链线方程。

进一步地，预处理包括HSI转化、灰度化、二值化、杂散像素块去除、区域孔洞填充中的一种或多种。

进一步地，对待识别图像进行HSI转化包括：

把待识别图像转化为HSI图像；

选择灰度直方图具有完整波峰与波谷的I分量图像生成第一图像。

进一步地，对待识别图像进行杂散像素块去除的过程包括：

利用八连通区域标记算法把待识别图像分为若干连通区域，计算各连通区域中灰度值为1的像素点数，对像素点数小于第一阈值的连通区域进行灰度置0，以生成第二图像。

进一步地，对待识别图像进行区域孔洞填充的过程包括：

利用八连通区域标记算法把待识别图像分为若干连通区域，计算各连通区域中灰度值为0的像素点数，对像素点数小于第二阈值的连通区域进行灰度置1，以生成第三图像。

进一步地，筛选第一点集中的轮廓角点得到第二点集包括：

比较当前像素点与前一像素点的横坐标与纵坐标，保留横坐标和纵坐标均与前一像素点不同的像素点，第一点集遍历完毕时得到第二点集。

进一步地，扫描窗口的大小为128×128。

第二方面，本发明提供一种架空输电线图像识别装置，包括：

图像获取单元，用于获取待识别图像；

图像预处理单元，用于对待识别图像预处理和边缘检测生成中间图像；

拟合单元，用于遍历中间图像提取第一点集，点集的元素是灰度值为1的像素点坐标，筛选第一点集中的轮廓角点得到第二点集，利用扫描窗口扫描第二点集得到若干拟合点集，对各拟合点集直线拟合遴选后进行悬链线拟合得到各拟合输电线方程，各拟合输电线方程用于确定待识别图像中架空输电线的各像素点坐标以完成识别。

第三方面，本发明提供一种电子设备，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于调用存储于所述存储器中的程序，以执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的架空输电线图像识别方法。

第四方面，本发明还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的架空输电线图像识别方法。

本发明具有如下有益效果：

本发明提出的架空输电线图像识别方法，考虑架空输电线的自身特性和悬挂特点，对图像中的像素点进行预处理、边缘检测、直线拟合和悬链线拟合，以此定位属于输电线图像的像素点，实现架空输电线的精准图像识别。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种架空输电线图像识别方法实现流程；

图2(a)~(d)分别为本发明一实施例提供的HSI图像的色调H分量图、饱和度S分量图、强度I分量图及强度I分量图的灰度直方图；

图3为本发明一实施例提供的二值化图像；

图4为本发明一实施例提供的去除杂散像素块的二值化图像；

图5为本发明一实施例提供的进行了区域孔洞填充的二值化图像；

图6为本发明一实施例提供的边缘检测图像；

图7为本发明一实施例提供的架空输电线识别的示意；

图8是本发明实施例提供的架空输电线识别装置的结构图；

图9是本发明实施例提供的电子设备架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1，本发明提供一种架空输电线图像识别方法，可以包括如下步骤：

步骤S11.获取待识别图像。

步骤S12.对待识别图像预处理和边缘检测生成中间图像。

具体地，在图像识别领域中，进行目标对象识别前往往对待识别图像进行一些预处理，过滤图像中的干扰元素，或者预筛选出目标对象区域，减小识别的复杂度，例如HSI转化、灰度化、二值化等。

本发明提供的一些实施例中，考虑到架空输电线的地理位置特性，输电线通常架空敷设，获取的图像往往包括建筑、地面、树木、草地等非目标区域，图像内容比较杂乱，因此还会进行杂散像素块去除，以排除伪目标对识别的干扰。

此外，由于输电线架空在楼宇之间，由于屋面雨水沟阴影、屋顶排气管阴影、建筑立面窗边阴影、树间阴影等灰度值小的区域存在，二值化后这些区域的灰度值会被置0，呈孤立的黑色孔洞点状分布，因此还需要对这些孔洞填充，减小边缘检测时伪目标导致的干扰。

步骤S13.遍历中间图像提取第一点集，点集的元素是灰度值为1的像素点坐标。

具体地，中间图像是经过预处理和边缘检测的图像，但由于输电线巡检的需要，图像识别的速度仍需提高，因此通过灰度筛选进一步确定目标区域，提高识别算法的运算速度。

步骤S14.筛选第一点集中的轮廓角点得到第二点集。

具体地，提高轮廓角点可以进一步减少数据量，过滤一些对识别无意义的像素点，提高识别速度。

在示例方面，轮廓角点的筛选过程为：

比较当前像素点与前一像素点的横坐标与纵坐标，保留横坐标和纵坐标均与前一像素点不同的像素点，第一点集遍历完毕时得到第二点集。

具体的示例方面，以第一点集的第1个点为起始点，第2个点对比第1个点的横坐标和纵坐标，若其横坐标和纵坐标均不同于第1个点的横坐标和纵坐标，则保留第2个点，否则排除第2个点，用第3个点对比刚保留的第2个点(若第2点被剔除，则对比第1点)的横坐标和纵坐标，若其横坐标和纵坐标均不同，则保留该点，否则予以剔除。类似地，始终用下一点对比最近一个保留的点的横坐标和纵坐标，两者皆不同才保留，直到所有点都完成了比对。通过遍历第一点集，确定了横坐标和纵坐标均不同于前一点的轮廓角点集（第二点集）。

步骤S15.利用扫描窗口扫描第二点集得到若干拟合点集，对各拟合点集直线拟合遴选后进行悬链线拟合得到各拟合输电线方程，各拟合输电线方程用于确定待识别图像中架空输电线的各像素点坐标以完成识别。

具体地，分别直线拟合各拟合点集，筛选满足第一条件的拟合点集，并确定满足第一条件且线性相关系数最大对应的拟合点集为基准点集；对基准点集悬链线拟合得到基准悬链线方程；利用基准悬链线方程构建悬链线扫描窗口扫描除基准点集外的各拟合点集，筛选满足第二条件的拟合点集；对满足第二条件的各拟合点集分别悬链线拟合得到与之对应的定位悬链线方程，基准悬链线方程和各定位悬链线方程组成各拟合输电线方程。

进一步的实施例中，对基准点集悬链线拟合之前再进行一次数据压缩，根据纵坐标相对差筛选基准点集的元素，确定纵坐标相对差不大于相对差阈值的像素点坐标构成精滤基准点集，对精滤基准点集悬链线拟合得到基准悬链线方程。

下面以一张含有架空输电线的图像为例，对上述本发明提供的图像识别方法进一步说明。

步骤S21.利用无人机获取待识别图像。

步骤S22.把待识别图像转化为HIS图像。

将无人机采集的RGB图像按1024×1024规格裁切后转化为HSI图像，如图2(a)~2(d)所示，图2(a)示意的色调H分量图中缺少完整的目标轮廓信息，图2(b)示意的饱和度S分量图中输电线与非输电线区域的灰度差不明显，在灰度直方图中缺少凸起的波峰或凹陷的波谷，因此在色调H及饱和度S分量图中难以通过灰度信息识别输电线。不同于H、S分量图，图2(c)示意的强度I分量图中输电线与非输电线区域的灰度差较为明显，灰度直方图中既有波峰又有波谷，如图2(d)所示，因此选取灰度直方图具有完整波峰与波谷的强度I分量/>作为图像参量。

步骤S23.对图像灰度化、二值化及杂散像素块去除。

图像二值化后的二值图像/>如图3所示，对图3按八连通域标记算法进行分块，因图像/>中存在建筑、地面、树木、草地等非输电线目标，因此统计各区域中灰度值为1的第一像素数，对第一像素数小于阈值/>的连通区域（呈独立分散分布的白色孔洞状，即杂散像素块）灰度置0，实现小杂散像素块等伪目标的去除，生成图像/>如图4。

步骤S24.对图像进行区域孔洞填充。

按八连通域标记算法对图像分块，因图像/>转换为黑白二值图像/>时，屋面雨水沟阴影、屋顶排气管阴影、建筑立面窗边阴影、树间阴影等较周边灰度值小的区域的灰度值会置0，呈孤立的黑色孔洞点状分布，因此统计各区域中灰度值为0的第二像素数，对第二像素数小于阈值/>的连通区域（呈孤立的黑色小孔洞）灰度置1，把孤立的黑色小孔洞填充为白色，减少边缘检测中过多的非输电线的伪目标产生，生成图像/>如图5。

步骤S25.对图像边缘检测。

对图像进行sobel算子边缘检测，生成含输电线、建筑、树木、藤条等边缘点的图像/>如图6。

步骤S26.提取图像的轮廓角点。

遍历图像，提取图像/>中灰度值为1的像素点的坐标，形成不含灰度信息及非边缘信息的二维像素点坐标集A，在集合A中筛选轮廓角点组成点集B。

步骤S27.基准输电线识别。

该步骤的目的在于提取属于基准导线的像素点，以定位图像中的基准输电线区域。

先建立大小为128×128的扫描窗口如下：

；

式中，为扫描窗口左上角的点坐标，表示其在图像坐标系中的起始位置，/>为扫描窗位置系数。

按1024×1024的图像规格，扫描窗口有64个不同位置，也就是以128像素为步长扫描点集B，对于其中的任意位置，检索出在该位置扫描窗口内出现的n个点：

；

容易理解的是，此时扫描完成后会得到64个拟合点集，接下来通过直线拟合对这64个拟合点集进行筛选。

对每个点集都进行直线拟合，并计算各拟合直线的线性相关系数R，统计各扫描窗口内出现的点数量，筛选/>且/>的若干拟合点集，其他不符合条件的拟合点集则不进入之后的悬链线拟合。

在上述筛选后的若干拟合点集中确定R最大的一个点集为基准点集，记为，其他拟合点集记为/>，/>，t与N为自然数，/>。

对于点集中的元素/>，计算各元素的纵坐标相对差/>如下：

；

纵坐标相对差不大于相对差阈值/>的元素/>构成精滤基准点集/>。

设架空输电线在图像坐标系中的最低点为，拟合方程形式设置为，其中，/>，/>表示输电线张力的水平分量，/>表示单位输电线当量比载；

根据上述拟合方程形式和精滤基准点集进行非线性拟合得到基准悬链线方程为/>，/>、/>、/>为常数，利用该方程可定位待识别图像中对应输电线的像素点，完成第1条输电线的识别。

步骤S28.利用基准输电线识别图像中的其他输电线。

同档输电线的悬链线具有自相似性，因此各输电线可视为第1条输电线悬链线平移的结果，因此可以以步骤S27识别的第1条输电线的悬链线方程为上下曲边或者左右曲边，窗口的另外两边为坐标系的坐标轴线，构建悬链线扫描窗口如下：

；

其中，表示扫描窗口高度，/>表示步长，/>表示步长系数，/>保证了步长的动态调整使待识别输电线对应的像素点坐标处于悬链线扫描窗口内，其他输电线总能被夹在窗口的两曲边之间，保证同档输电线不被漏检。

以上述悬链线扫描窗口扫描各拟合点集，统计各扫描窗口内出现的点数量/>，保留/>的拟合点集，其他不符合条件的拟合点集则不进入之后的悬链线拟合。为了便于区分，这里把保留的点集记为/>。

对各点集分别进行悬链线预拟合，预拟合过程和上述步骤S27的悬链线拟合相同，根据下式计算各预拟合线的拟合标准差/>，保留不超出标准差阈值的拟合点集，其余点集排除。

；

其中，表示点集内点坐标的数量，/>、/>分别表示点集中的第1列和第2列，/>、/>、/>为常数。

对于各保留的拟合点集，根据下式计算各点集的绝对差，根据绝对差排除点集中的奇异点，最终得到精滤过的各拟合点集/>。

；

对各拟合点集悬链线拟合，确定其他输电线的悬链线方程，至此可以通过各悬链线方程定位待识别图像中属于输电线的像素点。

如图7所示，对应三根输电线的三个悬链线方程为

；

根据上述三个悬链线方程，各输电线的左右端点对应的像素点坐标如下表1。

表1

上述公开的实施例中详细描述了一种架空输电线图像识别方法，对于公开的上述方法可采用多种形式的设备实现，因此本发明还公开了对应上述方法的架空输电线图像识别装置，下面给出具体的实施例进行详细说明。

本发明实施例提供的一种架空输电线图像识别装置100如图8所示，包括：

图像获取单元110，用于获取待识别图像；

图像预处理单元120，用于对待识别图像预处理和边缘检测生成中间图像；

拟合单元130，用于遍历中间图像提取第一点集，点集的元素是灰度值为1的像素点坐标，及，筛选第一点集中的轮廓角点得到第二点集，及，利用扫描窗口扫描第二点集得到若干拟合点集，对各拟合点集直线拟合和悬链线拟合得到点方程组，点方程组用于定位待识别图像中属于架空输电线的像素点以完成识别。

本申请实施例所提供的架空输电线图像识别装置100，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

参阅图9，其示出了一种电子设备的硬件结构框图，包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；

在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；

处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路等；

存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatilememory）等，例如至少一个磁盘存储器；

其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：实现前述架空输电线图像识别方案的各个处理流程。

本发明实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例和/或结合实施例的任一种可能的实施方式提供的架空输电线图像识别方法。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (12)

1.一种架空输电线图像识别方法，其特征在于，包括：

获取待识别图像；

对所述待识别图像预处理和边缘检测生成中间图像；

遍历所述中间图像提取第一点集，所述第一点集的元素是灰度值为1的像素点坐标，筛选所述第一点集中的轮廓角点得到第二点集；

利用扫描窗口扫描所述第二点集得到若干拟合点集，对各拟合点集直线拟合遴选后进行悬链线拟合得到各拟合输电线方程，所述各拟合输电线方程用于确定所述待识别图像中架空输电线的各像素点坐标以完成识别。

2.根据权利要求1所述的架空输电线图像识别方法，其特征在于，所述对各拟合点集直线拟合遴选后进行悬链线拟合得到各拟合输电线方程包括：

分别直线拟合所述各拟合点集，保留满足第一条件的拟合点集；

确定满足第一条件且线性相关系数最大对应的拟合点集为基准点集；

对所述基准点集悬链线拟合得到基准悬链线方程；

利用所述基准悬链线方程构建悬链线扫描窗口扫描除基准点集外的拟合点集，保留满足第二条件的拟合点集；

对满足所述第二条件的各拟合点集分别悬链线拟合得到与之对应的定位悬链线方程；

所述基准悬链线方程和各定位悬链线方程组成各拟合输电线方程。

3.根据权利要求2所述的架空输电线图像识别方法，其特征在于，对所述基准点集悬链线拟合得到基准悬链线方程包括：

根据纵坐标相对差筛选基准点集的元素，保留纵坐标相对差不大于相对差阈值的像素点坐标构成精滤基准点集；

对精滤基准点集悬链线拟合得到基准悬链线方程。

4.根据权利要求2所述的架空输电线图像识别方法，其特征在于，对满足第二条件的各拟合点集分别悬链线拟合得到与之对应的定位悬链线方程包括：

对满足第二条件的各拟合点集分别进行悬链线预拟合得到预拟合线；

计算所述预拟合线的拟合标准差，保留不超出标准差阈值的拟合点集；

计算被保留的拟合点集的绝对差，根据所述绝对差排除点集中的奇异点；

对排除奇异点的各拟合点集分别进行悬链线拟合得到与之对应的定位悬链线方程。

5.根据权利要求1所述的架空输电线图像识别方法，其特征在于，所述预处理包括HSI转化、灰度化、二值化、杂散像素块去除、区域孔洞填充中的一种或多种。

6.根据权利要求5所述的架空输电线图像识别方法，其特征在于，对所述待识别图像进行HSI转化包括：

把所述待识别图像转化为HSI图像；

选择灰度直方图具有完整波峰与波谷的I分量图像生成第一图像。

7.根据权利要求5所述的架空输电线图像识别方法，其特征在于，对所述待识别图像进行杂散像素块去除的过程包括：

利用八连通区域标记算法把所述待识别图像分为若干连通区域，计算各连通区域中灰度值为1的像素点数，对像素点数小于第一阈值的连通区域进行灰度置0，以生成第二图像。

8.根据权利要求5所述的架空输电线图像识别方法，其特征在于，对待识别图像进行区域孔洞填充的过程包括：

利用八连通区域标记算法把所述待识别图像分为若干连通区域，计算各连通区域中灰度值为0的像素点数，对像素点数小于第二阈值的连通区域进行灰度置1，以生成第三图像。

9.根据权利要求1所述的架空输电线图像识别方法，其特征在于，筛选所述第一点集中的轮廓角点得到所述第二点集包括：

比较当前像素点与前一像素点的横坐标与纵坐标，保留横坐标和纵坐标均与前一像素点不同的像素点，所述第一点集遍历完毕时得到所述第二点集。

10.一种架空输电线图像识别装置，其特征在于，包括：

图像获取单元，用于获取待识别图像；

图像预处理单元，用于对待识别图像预处理和边缘检测生成中间图像；

拟合单元，用于遍历中间图像提取第一点集，点集的元素是灰度值为1的像素点坐标，筛选所述第一点集中的轮廓角点得到第二点集，利用扫描窗口扫描所述第二点集得到若干拟合点集，对各拟合点集直线拟合遴选后进行悬链线拟合得到各拟合输电线方程，所述各拟合输电线方程用于确定待识别图像中架空输电线的各像素点坐标以完成识别。

11.一种电子设备，其特征在于，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于调用存储于所述存储器中的程序，以执行如权利要求1~9任一项所述的架空输电线图像识别方法。

12.一种可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1~9任一项所述的架空输电线图像识别方法。