CN114663751A - 一种基于增量学习技术的输电线路缺陷识别方法和系统 - Google Patents

Abstract

本申请涉及设备维护技术领域，本申请提供一种基于增量学习技术的输电线路缺陷识别方法和系统，所述方法包括获取原始巡检图像数据；基于元胞自动机算法剔除原始巡检图像数据中的背景冗余，得到抑制冗余背景的目标物体图像数据；采用基于特征提取的增量学习方式，在已知图像识别网络结构中新增识别部件，优化输电线路缺陷检测模型，通过输电线路缺陷检测模型提取目标物体图像数据中的图像特征，识别输电线路缺陷。本申请在获取原始巡检图像数据后，利用元胞自动机算法对巡检图像进行显著性检测，剔除冗余背景，然后采用增量学习方式在原有目标检测算法基础上改变网络结构实现增量学习，提高输电线路目标检测模型的识别准确率和泛化能力。

Description

一种基于增量学习技术的输电线路缺陷识别方法和系统

技术领域

本申请涉及设备维护技术领域，尤其涉及一种基于增量学习技术的输电线路缺陷识别方法和系统。

背景技术

目前电网输电线路的巡检方式主要是人工方式、无人机巡检和直升机巡检手段，在大雾大雨大风等恶劣天气条件下拍摄的输电杆塔、关键输电设备、杆塔标识牌等输电设备巡检图像不清晰，噪点高，难以直接用于智能化输电线路巡检技术应用中。此外，巡检图像中往往包含多个输电线路部件，且存在关键输电部件被遮挡的情况，目标部件的快速识别存在困难的情况，一线线路运维人员需要重复巡检输电线路，增加工作负担和线路运维成本，因此开展针对巡检线路中关键部件的图像显著性检测工作十分有必要。

发明内容

为了解决上述现有技术中的不足,本申请的主要目的在于提供一种基于增量学习技术的输电线路缺陷识别方法、装置、设备及计算机可读存储介质，通过元胞自动机算法实现巡检图像的显著性检测，然后再进行训练，在原有目标检测算法基础上改变网络结构实现增量学习，提升输电线路缺陷检测模型的泛化能力。

为实现上述目的，本申请提供一种基于增量学习技术的输电线路缺陷识别方法，通过元胞自动机算法对巡检图像数据提升目标显著性，抑制冗余背景信息对模型的干扰,所述基于增量学习技术的输电线路缺陷识别方法包括：

获取原始巡检图像数据；

基于元胞自动机算法剔除所述原始巡检图像数据中的背景冗余，得到抑制冗余背景的目标物体图像数据；

采用基于特征提取的增量学习方式，在已知图像识别网络结构中新增识别部件，优化输电线路缺陷检测模型，通过输电线路缺陷检测模型提取所述目标物体图像数据中的图像特征，识别输电线路缺陷。

可选的，所述原始巡检图像数据为输电线路上的直升机巡检视频图像数据。

可选的，所述基于元胞自动机算法剔除所述原始巡检图像数据中的背景冗余的方法，包括：

利用SLIC超像素分割方法分割原始巡检图像数据，获得N个超像素；

基于色空间颜色特征，采用k-means聚类方法，对超像素在边界上的CIE-Lab色空间颜色特征聚类；

根据聚类簇划分成多个不同的全局颜色差异图，构建GSD图；

基于元胞在色空间中的欧式距离衡量相似度，构建影响因子矩阵；

构建置信度矩阵优化元胞进化过程，并进行迭代更新，得到原始巡检图像数据检测的效果图。

可选的，基于元胞自动机算法对直升机巡检视频图像数据剔除背景冗余，对直升机巡检视频图像数据显著性检测，包括：

利用SLIC超像素分割算法分割输入图像，得到N个超像素；

基于每个边界上的超像素的CIE-Lab色空间颜色特征，进行K-means聚类，聚成K＝3类，属于第k类的超像素个数为p^k。根据这K个聚类簇，得到K幅不同的全局颜色差异GCD图，其中，所述GCD图中的GCD矩阵S＝[s_kj]_K×N，式中的元素s_kj,代表超像素i在第k幅GCD图中的显著值；

构建一个全局空间距离GSD矩阵W＝[w_ki]_K×N，式中w_ki代表超像素i与所有第k类聚类簇中的边界超像素的空间距离；

将每个超像素作为一个元胞，采用元胞在CIE-Lab色空间上的欧式距离衡量两个元胞的相似度，构建影响因子矩阵；

构建一个置信度矩阵优化元胞的进化过程。

可选的，所述边界超像素的空间距离为：

式中，r_i和r_j分别是超像素i,j的空间坐标，σ₁是固定的权重系数，通过融合距离信息w_kj和颜色信息s_kj得到基于背景的显著图。

可选的，融合距离信息w_kj和颜色信息s_kj得到基于背景的显著图的公式为：

。

可选的，构建影响因子矩阵F＝[f_ij]_N×N，其中：

式中，NB(i)是元胞i的邻居，为归一化F，引入次数矩阵D＝diag{d₁,d₂,……d_N}，归一化后的影响因子矩阵为：

F^*＝D^-1F。

可选的，在元胞自动机算法中，根据更新原则，所有元胞同时如下公式进化：

S^t+1＝C^*S^t+(I-C^*)F^*S^t

式中，I是单位矩阵，当初始时刻t＝0时，S⁰即为S^bg，经过N次更新得到最终的显著图。

可选的，采用基于特征提取的增量学习方式，包括：

保留原有识别部件类别在网络结构计算通路中的参数；

在已知图像识别网络结构中为新增识别部件类别添加分类层和回归层；

基于新增识别部件的图像识别网络结构提取所述目标物体图像数据中的图像特征。

可选的，所述在已知图像识别网络结构中为新增识别部件类别添加分类层和回归层，包括：

在RPN模块的隐层后，为新类别添加一个RPN_cls分类层和RPN_reg回归层；在CLS模块的两层全连接后，为新类别添加CLS_cls层和CLS_reg层；其中，与原版FPN相同，所述RPN模块中添加的RPN_cls层和RPN_reg层是卷积层，CLS模块中添加的CLS_cls层和CLS_reg层是全连接层。

可选的，所述输电线路缺陷识别方法中的增量学习技术基于保留损失函数，保留损失函数改动了网络在测试时，图片从输入网络到输出关于旧类别预测值的计算通路上的参数；所述保留损失函数在训练时在RPN模块和CLS模块中分别添加了检测新类别物体用的cls层和reg层。

此外，为实现上述目的，本申请还提供一种基于增量学习技术的输电线路缺陷识别系统，所述基于增量学习技术的输电线路缺陷识别系统包括：数据获取模块，用于获取原始巡检图像数据；图像优化模块，用于基于元胞自动机算法剔除所述原始巡检图像数据中的背景冗余，得到抑制冗余背景的目标物体图像数据；特征识别模块，用于采用基于特征提取的增量学习方式，在已知图像识别网络结构中新增识别部件，优化输电线路缺陷检测模型，通过输电线路缺陷检测模型提取所述目标物体图像数据中的图像特征，识别输电线路缺陷。

此外，为实现上述目的，本申请还提供一种基于增量学习技术的输电线路缺陷识别设备，所述基于增量学习技术的输电线路缺陷识别设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的基于增量学习技术的输电线路缺陷识别程序，其中所述基于增量学习技术的输电线路缺陷识别程序被所述处理器执行时，实现如上述的基于增量学习技术的输电线路缺陷识别方法的步骤。

此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于增量学习技术的输电线路缺陷识别程序，其中所述基于增量学习技术的输电线路缺陷识别程序被处理器执行时，实现如上述的基于增量学习技术的输电线路缺陷识别方法的步骤。

本申请提供一种基于增量学习技术的输电线路缺陷识别方法和系统，在获取原始巡检图像数据后，利用元胞自动机算法对巡检图像进行显著性检测，剔除冗余背景，然后采用增量学习方式在原有目标检测算法基础上改变网络结构实现增量学习，提高输电线路目标检测模型的识别准确率和泛化能力。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。在附图中：

图1为本申请基于增量学习技术的输电线路缺陷识别方法第一实施例的流程示意图；

图2为本申请基于增量学习技术的输电线路缺陷识别方法第二实施例的流程示意图；

图3为本申请基于增量学习技术的输电线路缺陷识别方法第二实施例中SLIC超像素分割方法的流程示意图；

图4为本申请基于增量学习技术的输电线路缺陷识别方法中显著性检测效果图；

图5为本申请基于增量学习技术的输电线路缺陷识别方法第三实施例的流程示意图；

图6为本申请基于增量学习技术的输电线路缺陷识别方法中添加新类别专有层后的总体网络结构；

图7为本申请基于增量学习技术的输电线路缺陷识别系统的结构示意性框图。

本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面，结合附图以及具体实施方式，对本申请做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

本申请的实施例提供了一种基于增量学习技术的输电线路缺陷识别方法和系统，基于元胞自动机算法对直升机巡检视频图像数据开展显著性检测，剔除图像数据中的背景冗余以达到提高检测效率的目的。元胞自动机算法通过迭代更新超像素间的影响实现进化过程以得到最优显著值。

针对输电线路巡检识别模型中图像数据显著性不高、泛化能力弱等问题，研究基于元胞自动机算法的图像显著性检测技术，实现对巡检视频、图像数据的智能前向处理，剔除冗余背景对识别模型的影像。采用增量学习方法提升目标识别模型对输电线路中新旧类别部件的识别准确率，提升识别模型的泛化能力。

在一些实施方式中，基于增量学习技术的输电线路缺陷识别方法可以应用在基于增量学习技术的输电线路缺陷识别设备，该基于增量学习技术的输电线路缺陷识别设备可以是PC、便携计算机、移动终端等具有显示和处理功能的设备，当然也不限于此。

请参照图1，图1为本申请基于增量学习技术的输电线路缺陷识别方法第一实施例的流程示意图。本申请的实施例中，所述基于增量学习技术的输电线路缺陷识别方法包括以下步骤：

步骤S10，获取原始巡检图像数据。

原始巡检图像数据为输电线路上的直升机巡检视频图像数据。

步骤S20，基于元胞自动机算法剔除所述原始巡检图像数据中的背景冗余，得到抑制冗余背景的目标物体图像数据。

在本申请实施例中，针对巡检图像数据开展显著性检测，剔除图像数据中的背景冗余以达到提高检测效率的目的。

基于元胞自动机算法对直升机巡检视频图像数据开展显著性检测，剔除图像数据中的背景冗余以达到提高检测效率的目的。元胞自动机算法通过迭代更新超像素间的影响实现进化过程以得到最优显著值。

步骤S30，采用基于特征提取的增量学习方式，在已知图像识别网络结构中新增识别部件，优化输电线路缺陷检测模型，通过输电线路缺陷检测模型提取所述目标物体图像数据中的图像特征，识别输电线路缺陷。

在本申请实施例中，采用基于特征提取的增量学习方式，提高输电线路目标识别模型的泛化能力。

本申请的实施例提供的一种基于增量学习技术的输电线路缺陷识别方法，通过元胞自动机算法实现巡检图像的显著性检测，然后再进行训练，在原有目标检测算法基础上改变网络结构实现增量学习，提升输电线路缺陷检测模型的泛化能力。

参照图2，图2为本申请基于增量学习技术的输电线路缺陷识别方法第二实施例的流程示意图。

基于上述图1所示实施例，本申请的实施例中，所述步骤S20中，所述基于元胞自动机算法剔除所述原始巡检图像数据中的背景冗余的方法，包括：

S201、利用SLIC超像素分割方法分割原始巡检图像数据，获得N个超像素；

S202、基于色空间颜色特征，采用k-means聚类方法，对超像素在边界上的CIE-Lab色空间颜色特征聚类；

S203、根据聚类簇划分成多个不同的全局颜色差异图，构建GSD图；

S204、基于元胞在色空间中的欧式距离衡量相似度，构建影响因子矩阵；

S205、构建置信度矩阵优化元胞进化过程，并进行迭代更新，得到原始巡检图像数据检测的效果图。

在本申请的实施例中，利用SLIC超像素分割方法原始巡检图像数据，获得N个超像素；再利用超像素在边界上的CIE-Lab色空间颜色特征，利用k-means聚类。根据聚类簇划分成多个不同的全局颜色差异图，即GCD图；构建全局空间距离矩阵衡量融合时不同GCD图的重要性；基于元胞在色空间中的欧式距离衡量相似度，构建影响因子矩阵；最后基于平衡颜色和空间的考虑，构建置信度矩阵优化元胞的进化过程，最终实现显著性检测的效果图，检测效果如图3所示。

具体的，基于元胞自动机算法对直升机巡检视频图像数据剔除背景冗余，对直升机巡检视频图像数据显著性检测，包括：

利用SLIC超像素分割算法分割输入图像，得到N个超像素；

基于每个边界上的超像素的CIE-Lab色空间颜色特征，进行K-means聚类，聚成K＝3类，属于第k类的超像素个数为p^k。根据这K个聚类簇，得到K幅不同的全局颜色差异GCD图，其中，所述GCD图中的GCD矩阵S＝[s_kj]_K×N，式中的元素s_kj,代表超像素i在第k幅GCD图中的显著值；

构建一个全局空间距离GSD矩阵W＝[w_ki]_K×N，式中w_ki代表超像素i与所有第k类聚类簇中的边界超像素的空间距离；

将每个超像素作为一个元胞，采用元胞在CIE-Lab色空间上的欧式距离衡量两个元胞的相似度，构建影响因子矩阵；

构建一个置信度矩阵优化元胞的进化过程。

在一些实施例中，基于元胞自动机算法对直升机巡检视频图像数据开展显著性检测，剔除图像数据中的背景冗余以达到提高检测效率的目的。元胞自动机算法通过不断迭代超像素与其相邻相似超像素的影响，来不断进化以得到最优显著值。首先应用K-means算法将图像边缘超像素聚成3类，根据聚类簇与内部超像素的颜色紧密度差异得到3张显著图，再引入空间信息进行融合。然后，利用基于元胞自动机的扩散模型来提高相似图像块之间的关联性，通过与邻近超像素的相互影响，某些处于显著性区域但被误认为是背景的边界超像素的显著值也可以被修正。

因此，第一步用SLIC超像素分割算法分割输入图像，得到N个超像素。

第二步基于每个边界上的超像素的CIE-Lab色空间颜色特征，再将他们进行K-means聚类，聚成K＝3类，属于第k类的超像素个数为p^k。根据这K个聚类簇，可以得到K幅不同的GCD(全局颜色差异)图，GCD矩阵S＝[s_kj]_K×N中的元素s_kj,代表超像素i在第k幅GCD图中的显著值。

第三步由于基于颜色紧密度构建的显著图效果有限，根据不同的边界超像素聚类簇得到的显著图效果相互不同。当一个超像素点的显著值是基于离它越近的边界簇计算时，它的显著值就越准确。因此，构建一个GSD(全局空间距离)矩阵W＝[w_ki]_K×N来权衡融合时不同全局颜色差异图的重要性，w_ki,代表超像素i与所有第k类聚类簇中的边界超像素的空间距离：

其中，r_i和r_j分别是超像素i,j的空间坐标，σ₁是固定的权重系数。通过融合距离信息w_kj,和颜色信息s_kj，可以得到基于背景的显著图：

第四步将每个超像素看作一个元胞，一个元胞的邻居定义为临近它的元胞以及和它邻居共用一条边的元胞，并且认为在图像边缘的超像素彼此之间相互关联，互为邻居。理论上，特征相近的邻居应对元胞有更大影响力，用元胞在CIE-Lab色空间上的欧式距离来衡量两个元胞的相似度，因此构建影响因子矩阵F＝[f_ij]_N×N：

其中，NB(i)是元胞i的邻居，为归一化F，引入次数矩阵D＝diag{d₁,d₂,……d_N}，归一化后的影响因子矩阵为：

F^*＝D^-1F

第五步考虑到每个元胞下一个状态是由它自己和邻居当前时刻的状态共同决定的，因此需要合理地平衡颜色和空间这两个影响因素。如果一个超像素与它所有邻居的颜色差别很大，那么它下一个状态将主要由其当时的状态决定；反之，如果一个超像素的颜色十分接近它的邻居，那么它更大程度上会被周围的环境所影响。因此构建一个置信度矩阵C＝diag{c₁,c₂,……c_N}来优化元胞的进化过程，为将c_i归一化且控制在[b,a+b]范围内，构建新的置信度矩阵

通过置信度矩阵C^*，每个元胞能够自动进化到更准确且稳定的状态。在元胞自动机算法中，根据更新原则，所有元胞同时如下公式进化：

S^t+1＝C^*S^t+(I-C^*)F^*S^t

其中，I是单位矩阵，当初始时刻t＝0时，S⁰就是上述公式中的S^bg，经过N次更新可以得到最终的显著图，检测效果如图4所示。

参照图5，图5为本申请基于增量学习技术的输电线路缺陷识别方法第三实施例的流程示意图。

基于上述图4所示实施例，本申请的实施例中，所述步骤S30中，采用基于特征提取的增量学习方式，包括：

S301、保留原有识别部件类别在网络结构计算通路中的参数；

S302、在已知图像识别网络结构中为新增识别部件类别添加分类层和回归层；

S303、基于新增识别部件的图像识别网络结构提取所述目标物体图像数据中的图像特征。

其中，所述在已知图像识别网络结构中为新增识别部件类别添加分类层和回归层，包括：

在RPN模块的隐层后，为新类别添加一个RPN_cls分类层和RPN_reg回归层；在CLS模块的两层全连接后，为新类别添加CLS_cls层和CLS_reg层；其中，与原版FPN相同，所述RPN模块中添加的RPN_cls层和RPN_reg层是卷积层，CLS模块中添加的CLS_cls层和CLS_reg层是全连接层。

在一些实施例中，基于特征提取的增量学习方案包括图片从输入网络到输出关于旧类别预测值的计算通路上所有的参数不做改动，网络关于旧类别的分类能力被完整保留。该方法适合用在不能损失一点旧类别分类准确率的场合。

网络结构上为了能检测新的类别，需要对已有网络添加新的层。具体表现为:在RPN模块的隐层后，为新类别添加一个专有的分类(cls)层和回归(reg)层。在CLS模块的两层全连接后，也为新类别添加专有的cls层和reg层。同原版FPN一样，RPN模块中添加的cls层和reg层是卷积层，CLS模块中添加的cls层和reg层是全连接层。改动后的网络结构，与未改前的结构大部分一样。只有RPN模块和CLS模块不一样。这两个模块改动后的结构如图6所示。

测试时:RPN模块、CLS模块中新添加的ds层和reg层输出关于新类别的预测值。即RPN模块的cls层输出每个anchor是新类别中目标的概率，reg层输出每个anchor的形变、平移参数；CLS模块的cls层输出每个RoI具体是什么新类别的概率，reg层输出每个RoI的形变、平移参数。

训练时:RPN模块中，旧类别的cls层和reg层后没有损失函数，新类别的cls层和reg层后跟有训练用的Sigmoid交叉嫡损失函数、Smooth L1损失函数。CLS模块中，旧类别的cls层和reg层同样没有损失函数，新类别的cls层和reg层后跟有训练用的Softmax交叉嫡损失函数、Smooth L1损失函数。这些损失函数的真实标签参照FPN方式得出。且在RPN模块、CLS模块中新类别cls层，reg层之前，添加阻断梯度传播的StopGradient层，阻止梯度向前传播，即不训练网络的其他层。

在本申请的实施例中，上述可以看成是:旧类别、新类别使用同样的网络前部层进行特征提取。然后将相同的特征输入到各自专有的最后一层。因为FPN是两阶段的目标检测算法，所以其中关于RoIs的细节是:在RPN阶段得到新、旧类别的RoIs后，将新、旧类别的RoIs对应的特征子图堆叠(Concat)起来，输入后面的CLS阶段。

所述输电线路缺陷识别方法中的增量学习技术基于保留损失函数，保留损失函数改动了网络在测试时，图片从输入网络到输出关于旧类别预测值的计算通路上的参数；所述保留损失函数在训练时在RPN模块和CLS模块中分别添加了检测新类别物体用的cls层和reg层。

另外，在本申请的基于增量学习技术的输电线路缺陷识别方法中，基于保留损失函数的方法改动了网络在测试时，图片从输入网络到输出关于旧类别预测值的计算通路上的参数，因此最终形成的网络在旧类别上的检测准确率上会有变化。

训练需要有两个网络。一个是固定不训练的网络。该网络是已有的、在旧类别上训练好的目标检测模型；另一个是被训练的网络，网络结构同特征提取方法的网络，即在RPN模块和CLS模块中分别添加了检测新类别物体用的cls层和reg层。

测试时:使用被训练网络进行测试。RPN模块、CLS模块中旧类别的cls层、reg层输出关于旧类别的预测值，新类别的cls层和reg层输出关于新类别的预测值。新、旧类别共享除各自专有的cls层、reg层之外的所有参数。

训练时:将被训练网络RPN模块中旧类别专有的Sigmoid层的输出、reg层的输出，与固定网络对应位置的输出计算Smooth L1误差(即添加Smooth Ll损失函数层)。将被训练网络CLS模块中旧类别专有的cls层的输出、reg层的输出，与固定网络对应位置的输出计算Smooth L1误差(也即添加Smooth Ll损失函数层)。同时，被训练网络还被新类别的检测误差进行训练。新类别的检测误差和普通FPN的训练过程中定义的相同。即在RPN模块中，是cls层的输出和真实标签的Sigmoid交叉墒误差、reg层的输出和真实标签的Smooth Ll误差；在CLS模块中，是cls层的输出和真实标签的Softmax交叉嫡误差、reg层的输出和真实标签的Smooth L1误差。

在训练的一次迭代中，将被训练网络的这些误差同时反传，得到它们关于每个参数的导数。根据梯度下降进行参数的更新，即完成了一次迭代的训练。

另外，在训练中只使用新类别的训练集图片，和其标注信息，不使用旧类别的训练图片。对于每次迭代，可将它的过程分为4步:

1)将训练图片同时输入固定网络和被训练网络。将固定网络RPN模块中Sigmoid层的输出结果、reg层的输出结果保存下来。

2)将被训练网络RPN模块得出的，关于旧类别的物体候选框(RoIs)数据传给固定网络。

3)固定网络和被训练网络根据一模一样的RoIs，从各自的特征图中，提取与RoIs对应的特征子图，将这些特征子图传递给各自后续的CLS模块。之后，固定网络将其CLS模块cls层的输出结果、reg层的输出结果保存下来。

4)被训练网络将其RPN模块中旧类别Sigmoid层的输出结果、旧类别reg层的输出结果、CLS模块中旧类别的cls层输出结果、旧类别reg层的输出结果，分别以固定网络对应的输出为回归目标，计算Smooth L1误差:将关于新类别的输出像训练普通FPN那样，与真实标签计算误差。利用反向传播算法，计算所有误差对网络中每个参数的导数，然后根据梯度下降更新这些参数。

在本申请的一些实施例中，输电线路缺陷检测模型在进行识别输电线路缺陷之前，还包括样本标注与训练。首先，本申请实施例中，提出输电线路巡陷图片的缺陷编码与标注规则。根据现有巡检作业规范，对巡检过程中可能出现的缺陷所在的部件、部位、缺陷类别、缺陷危急程度进行编码，不同的部件、部位、缺陷类别使用不同的小写英文字母和数字组成编码；建立作业规范中缺陷描述到缺陷编码的映射关系；按照缺陷的相似程度，对缺陷类别进行分类，交由不同的模型训练和检测；对不同的缺陷类别，建立该类别的缺陷标注规范。

然后，对新增缺陷图片进行标注并构建缺陷样本库。将同一缺陷图片分配至多个标注员，独立完成图片缺陷的初步标注；之后将标注不一致的图片重新分配至多个标注员，独立地在初步标注和比对结果的基础上，完成缺陷标注的订正；对于订正结果仍不一致的图片，交由专家复核、讨论后完成标注。将初步标注、订正、专家复核后达成一致结果的图片及其缺陷标注入库。

最后，完成输电线路巡检图片缺陷检测模型的训练。对于每个检测模型，首先，从样本库中提取包含该模型检测缺陷的图片样本及其标注(作为正样本)，以及一定量确认不包含涉及缺陷类别的图片(作为负样本)，并随机将这些样本划分为训练集和测试集。然后，基于训练集对模型进行训练和调参，基于测试集对模型进行评估。根据模型的训练结果，对可能存在问题的缺陷标注进行调整，并重新进行训练，直至达到所需的模型精度。

参照图7，图7为本申请基于增量学习技术的输电线路缺陷识别系统第一实施例的功能模块示意图。

本申请的实施例中，所述基于增量学习技术的输电线路缺陷识别系统包括：

数据获取模块100，用于获取原始巡检图像数据；

图像优化模块200，用于基于元胞自动机算法剔除所述原始巡检图像数据中的背景冗余，得到抑制冗余背景的目标物体图像数据；

特征识别模块300，用于采用基于特征提取的增量学习方式，在已知图像识别网络结构中新增识别部件，优化输电线路部件识别模型，通过输电线路部件识别模型提取所述目标物体图像数据中的图像特征，识别输电线路缺陷。

其中，上述基于增量学习技术的输电线路缺陷识别系统中各个模块与上述基于增量学习技术的输电线路缺陷识别方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。

本申请的基于增量学习技术的输电线路缺陷识别方法、装置可以实现为一种计算机程序的形式，该计算机程序可以在基于增量学习技术的输电线路缺陷识别设备上运行。

该基于增量学习技术的输电线路缺陷识别设备包括通过系统总线连接的处理器和存储器，其中，存储器可以包括非易失性存储介质和内存储器。

处理器用于提供计算和控制能力，支撑整个基于增量学习技术的输电线路缺陷识别设备的运行。

内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种基于增量学习技术的输电线路缺陷识别方法。

应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，所述处理器用于运行存储在存储器中的计算机程序，以实现本申请基于增量学习技术的输电线路缺陷识别方法的各个实施例，此处不再赘述。

此外，本申请实施例还提供一种计算机可读存储介质。

本申请计算机可读存储介质上存储有基于增量学习技术的输电线路缺陷识别程序，其中所述基于增量学习技术的输电线路缺陷识别程序被处理器执行时，实现如上述的基于增量学习技术的输电线路缺陷识别方法的步骤。

其中，基于增量学习技术的输电线路缺陷识别程序被执行时所实现的方法可参照本申请基于增量学习技术的输电线路缺陷识别方法的各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

本申请提供一种基于增量学习技术的输电线路缺陷识别方法和系统，在获取原始巡检图像数据后，利用元胞自动机算法对巡检图像进行显著性检测，剔除冗余背景，然后采用增量学习方式在原有目标检测算法基础上改变网络结构实现增量学习，提高输电线路目标检测模型的识别准确率和泛化能力。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种基于增量学习技术的输电线路缺陷识别方法，其特征在于，所述基于增量学习技术的输电线路缺陷识别方法包括以下步骤：

获取原始巡检图像数据；

基于元胞自动机算法剔除所述原始巡检图像数据中的背景冗余，得到抑制冗余背景的目标物体图像数据；

采用基于特征提取的增量学习方式，在已知图像识别网络结构中新增识别部件，优化输电线路缺陷检测模型，通过输电线路缺陷检测模型提取所述目标物体图像数据中的图像特征，识别输电线路缺陷。

2.根据权利要求1所述的基于增量学习技术的输电线路缺陷识别方法，其特征在于，所述原始巡检图像数据为输电线路上的直升机巡检视频图像数据。

3.根据权利要求2所述的基于增量学习技术的输电线路缺陷识别方法，其特征在于，所述基于元胞自动机算法剔除所述原始巡检图像数据中的背景冗余的方法，包括：

利用SLIC超像素分割方法分割原始巡检图像数据，获得N个超像素；

基于色空间颜色特征，采用k-means聚类方法，对超像素在边界上的CIE-Lab色空间颜色特征聚类；

根据聚类簇划分成多个不同的全局颜色差异图，构建GSD图；

基于元胞在色空间中的欧式距离衡量相似度，构建影响因子矩阵；

构建置信度矩阵优化元胞进化过程，并进行迭代更新，得到原始巡检图像数据检测的效果图。

4.根据权利要求3所述的基于增量学习技术的输电线路缺陷识别方法，其特征在于，基于元胞自动机算法对直升机巡检视频图像数据剔除背景冗余，对直升机巡检视频图像数据显著性检测，包括：

利用SLIC超像素分割算法分割输入图像，得到N个超像素；

基于每个边界上的超像素的CIE-Lab色空间颜色特征，进行K-means聚类，聚成K＝3类，属于第k类的超像素个数为p^k；根据这K个聚类簇，得到K幅不同的全局颜色差异GCD图，其中，所述GCD图中的GCD矩阵S＝[s_kj]_K×N，式中的元素s_kj,代表超像素i在第k幅GCD图中的显著值；

构建一个全局空间距离GSD矩阵W＝[w_ki]_K×N，式中w_ki代表超像素i与所有第k类聚类簇中的边界超像素的空间距离；

将每个超像素作为一个元胞，采用元胞在CIE-Lab色空间上的欧式距离衡量两个元胞的相似度，构建影响因子矩阵；

构建一个置信度矩阵优化元胞的进化过程。

5.根据权利要求4所述的基于增量学习技术的输电线路缺陷识别方法，其特征在于，所述边界超像素的空间距离为：

式中，r_i和r_j分别是超像素i,j的空间坐标，σ₁是固定的权重系数，通过融合距离信息w_kj和颜色信息s_kj得到基于背景的显著图。

6.根据权利要求5所述的基于增量学习技术的输电线路缺陷识别方法，其特征在于，所述构建影响因子矩阵F＝[f_ij]_N×N，其中：

式中，NB(i)是元胞i的邻居，为归一化F，引入次数矩阵D＝diag{d₁,d₂,……d_N}，归一化后的影响因子矩阵为：

F^*＝D^-1F。

7.根据权利要求6所述的基于增量学习技术的输电线路缺陷识别方法，其特征在于，在元胞自动机算法中，根据更新原则，所有元胞同时如下公式进化：

S^t+1＝C^*S^t+(I-C^*)F^*S^t

式中，I是单位矩阵，当初始时刻t＝0时，S⁰即为S^bg，经过N次更新得到最终的显著图。

8.如权利要求1-7中任一项所述的基于增量学习技术的输电线路缺陷识别方法，其特征在于，采用基于特征提取的增量学习方式，包括：

保留原有识别部件类别在网络结构计算通路中的参数；

在已知图像识别网络结构中为新增识别部件类别添加分类层和回归层；

基于新增识别部件的图像识别网络结构提取所述目标物体图像数据中的图像特征。

9.根据权利要求8所述的基于增量学习技术的输电线路缺陷识别方法，其特征在于，在已知图像识别网络结构中为新增识别部件类别添加分类层和回归层，包括：在RPN模块的隐层后，为新类别添加一个RPN_cls分类层和RPN_reg回归层；在CLS模块的两层全连接后，为新类别添加CLS_cls层和CLS_reg层；其中，与原版FPN相同，所述RPN模块中添加的RPN_cls层和RPN_reg层是卷积层，CLS模块中添加的CLS_cls层和CLS_reg层是全连接层。

10.一种基于增量学习技术的输电线路缺陷识别系统，其特征在于，所述基于增量学习技术的输电线路缺陷识别系统包括：

数据获取模块，用于获取原始巡检图像数据；

图像优化模块，用于基于元胞自动机算法剔除所述原始巡检图像数据中的背景冗余，得到抑制冗余背景的目标物体图像数据；

特征识别模块，用于采用基于特征提取的增量学习方式，在已知图像识别网络结构中新增识别部件，优化输电线路缺陷检测模型，通过输电线路缺陷检测模型提取所述目标物体图像数据中的图像特征，识别输电线路缺陷。

Images