CN116129158A - 一种输电线路铁塔小部件图像识别方法及装置 - Google Patents

一种输电线路铁塔小部件图像识别方法及装置 Download PDF

Info

Publication number
CN116129158A
CN116129158A CN202211077082.0A CN202211077082A CN116129158A CN 116129158 A CN116129158 A CN 116129158A CN 202211077082 A CN202211077082 A CN 202211077082A CN 116129158 A CN116129158 A CN 116129158A
Authority
CN
China
Prior art keywords
transmission line
image
iron tower
line iron
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211077082.0A
Other languages
English (en)
Inventor
张树琪
陈恩泽
季翠
张苹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Jinrui Electric Power Technology Co ltd
Original Assignee
Zhuhai Jinrui Electric Power Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Jinrui Electric Power Technology Co ltd filed Critical Zhuhai Jinrui Electric Power Technology Co ltd
Priority to CN202211077082.0A priority Critical patent/CN116129158A/zh
Publication of CN116129158A publication Critical patent/CN116129158A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种输电线路铁塔小部件图像识别方法及装置，该方法包括获取预先对输电线路铁塔部件进行标注的图像信息，并构建图像数据集；对图像数据集进行数据扩增和数据平衡，得到预处理后的图像数据集；对预处理后的图像数据集进行聚类操作，获得预测的锚框尺寸；搭建卷积神经网络，并利用预处理后的图像数据集对卷积神经网络进行训练后，获得网络识别模型；对当前采集到的输电线路铁塔图像进行部件识别，并将识别有缺陷部件的图像数据传输回运检中心。本发明用以解决目前现有技术中存在的浪费人力资源、人工巡检效率低、算法模型部署困难、无法满足电力行业发展和改革的需要以及现有图像识别算法存在的各种问题。

Description

一种输电线路铁塔小部件图像识别方法及装置
技术领域
本发明涉及空调智能控制技术领域，具体涉及一种输电线路铁塔小部件图像识别方法以及应用于该方法的装置。
背景技术
近年来，输电线路巡检人员少、人工巡检效率低和输电线路规模大、小部件数量多的矛盾日渐突出，传统的巡检方式已经无法满足电力行业发展和改革的需要，输电线路铁塔小部件巡检智能化越来越受到电力行业的重视。
目前大多数电力公司仅利用监测装置执行拍摄任务，而小部件缺陷判定部分仍由人工判断，远远不能满足当前的巡检需求，需要一种能够部署至监测装置的图像识别算法对输电线路铁塔小部件进行实时识别处理，但在对现有技术的研究和应用过程中发现，现有技术提出的各种图像识别算法存在模型参数量大且部署困难等问题，无法在实际巡检中得到应用。
发明内容
本发明提供一种输电线路铁塔小部件图像识别方法及装置，用以解决目前现有技术中存在的浪费人力资源、人工巡检效率低、算法模型部署困难、无法满足电力行业发展和改革的需要以及现有图像识别算法存在的各种问题。
第一方面，本发明提供的一种输电线路铁塔小部件图像识别方法，该方法包括：
获取预先对输电线路铁塔部件进行标注的图像信息，并构建图像数据集；
对图像数据集进行数据扩增和数据平衡，得到预处理后的图像数据集；
对预处理后的图像数据集进行聚类操作，输出预设定的锚框数量确定聚类的类别数量，获得预测的锚框尺寸；
搭建卷积神经网络，并利用预处理后的图像数据集对所述卷积神经网络进行训练后，获得用于识别输电线路铁塔部件的网络识别模型；
基于所述网络识别模型对当前采集到的输电线路铁塔图像进行部件识别，并将识别有缺陷部件的图像数据传输回运检中心。
根据本发明提供的一种输电线路铁塔小部件图像识别方法，所述获取预先对输电线路铁塔部件进行标注的图像信息包括：
对巡检采集到的输电线路全景图像进行裁剪，使其被裁剪为包含输电线路铁塔小部件的局部图像，其中，所述输电线路铁塔的小部件包括正常小部件和缺陷小部件；
在局部图像中标注所述输电线路铁塔小部件的类别和位置生成标注框，并将每张局部图像的标注框信息保存在标注文件中。
根据本发明提供的一种输电线路铁塔小部件图像识别方法，所述对图像数据集进行数据扩增和数据平衡，包括：
对图像数据集进行数据扩增：根据监测装置的实际拍摄情况采用数据扩增算法，生成对应的标注文件；
对图像数据集进行数据平衡：统计数据扩增后的图像数据集中每类小部件的标注框个数，对标注框数量较少的小部件图像进行再扩充，对标注框数量较多的小部件图像进行适当删减，使得每类小部件的标注框个数保持一致，得到预处理后的图像数据集。
根据本发明提供的一种输电线路铁塔小部件图像识别方法，使用K-means聚类算法对预处理后的图像数据集进行聚类操作，包括：
根据卷积神经网络输出网络设定的锚框数量设置聚类的类别数量，随机初始化聚类中心点A＝{a1,a2,...,an}；
针对预处理后的图像数据集的每个样本数据点xi，根据欧式距离公式计算每个聚类中心点与样本数据点之间的距离，将距离较近的样本数据划分到聚类中心点所在的类中；
针对每个类别，判断是否满足迭代终止条件，若满足则输出聚类标签，若不满足则更新该类别的聚类中心点，表示为公式(1)：
其中，ak表示聚类簇Ak中的聚类中心点，|Ak|表示该类别中样本数据点的总个数；
然后，不断更新聚类中心的值，直到聚类中心的位置不再发生变化或达到设置的迭代次数上线，从而获得预测的锚框尺寸。
根据本发明提供的一种输电线路铁塔小部件图像识别方法，所述搭建卷积神经网络，包括：
输入网络，采用PCNet将输入图像通过一个特征通道为1的1×1卷积核减少后续卷积操作参数量，然后并行使用特征通道为1的3×3卷积核，特征通道为2的5×5卷积核，特征通道为3的7×7卷积核，特征通道为4的9×9卷积核，特征通道为5的11×11卷积核，提取小部件图像的对比度信息，融合多重感受野；
主干网络，采用轻量化倒置残差结构，通过逐点卷积-深度卷积-逐点卷积的瓶颈结构代替传统的卷积核，并对特征通道先升维再降维使得特征提取在高维空间中进行；特征融合阶段采用的SPP-tiny在SPP模块的基础上仅保留跳跃连接和13×13最大池化层，再采用通道注意力机制给特征通道分配合适的权重，实现局部特征与全局特征的融合；
输出网络，采用FPN特征金字塔结构的思想进行多尺度预测，设定2种尺度信息，每种尺度设定3个锚框进行回归分析。
根据本发明提供的一种输电线路铁塔小部件图像识别方法，所述利用预处理后的图像数据集对所述卷积神经网络进行训练，包括：
根据预处理后的图像数据集按照比例划分出训练集和验证集，其中，训练集用于对搭建的卷积神经网络进行训练得到卷积神经网络模型；验证集用于在训练得到的卷积神经网络模型中选择参数最优化的卷积神经网络模型；
利用mosaic数据增强方法丰富识别物体的背景信息，在划分出的训练集中随机选择若干图像进行随机缩放裁剪再拼接形成新图像，将新图像和训练集图像分批次输入搭建的卷积神经网络进行卷积池化操作得到初步的输出预测结果；
通过卷积神经网络的输出网络对初步的输出预测结果进行损失计算，并构建损失函数，通过反向梯度传播算法对卷积神经网络模型的卷积核参数进行迭代更新，当达到设定的迭代次数时停止训练，根据验证集筛选得到参数最优化的卷积神经网络模型。
根据本发明提供的一种输电线路铁塔小部件图像识别方法，在筛选得到参数最优化的卷积神经网络模型后，采用剪枝方法对参数最优化的卷积神经网络模型进行模型压缩，利用批标准化BN层的缩放因子γ与输出通道相乘判断卷积层输出通道的重要性，在损失函数中添加缩放因子γ的正则项进行稀疏训练表示为公式(2)：
其中，L(W)为模型的损失函数，λ为稀疏因子，g(γ)为稀疏正则项，Γ为γ的集合；在稀疏训练过程中对学习率η和稀疏因子λ进行调整从而达到较好的稀疏效果，对稀疏训练后网络模型中缩放因子γ接近0的输出通道进行剪除，微调剪枝后获得用于识别输电线路铁塔小部件的网络识别模型。
第二方面，本发明还提供一种输电线路铁塔小部件图像识别装置，包括：
存储模块，用于部署识别输电线路铁塔部件的网络识别模型，以及存储监测装置所采集到的输电线路铁塔图像；
识别模块，用于将采集到的输电线路铁塔图像输入至所述网络识别模型，得到对应的输电线路铁塔部件的识别结果；
定位模块，用于对监测装置进行定位，并获取采集到的输电线路铁塔图像与输电线路铁塔部件对应的位置信息；
传输模块，用于对识别有缺陷部件的图像数据与位置信息进行实时压缩传输。
与现有技术相比，本发明的有益效果包括以下：
1、本发明搭建的卷积神经网络与现有的图像识别算法相比模型尺寸大幅减小，解决了模型参数量大和在监测装置上部署困难的问题。
2、本发明采用剪枝方法对参数最优化的卷积神经网络模型进行模型压缩，进一步减小模型参数量，提高了识别的实时性，减小监测装置功耗。
3、本发明首次采用PCNet，突破了现有技术中对复杂背景下小目标难以识别的问题。
4、本发明首次采用轻量化倒置残差结构Ires，能够适当加深网络更好提取深层特征的同时，克服了原始倒置残差结构当改变特征图尺寸大小时不能进行跳跃连接的弊端，提高特征的可重用性。
第三方面，本发明还提供一种电子设备，包括：
存储器，存储有计算机可执行指令；
处理器，配置为运行所述计算机可执行指令，
其中，所述计算机可执行指令被所述处理器运行时实现上述任一种的输电线路铁塔小部件图像识别方法的步骤。
第四方面，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述任一种的输电线路铁塔小部件图像识别方法的步骤。
由此可见，本发明提供了一种输电线路铁塔部件图像识别的电子设备以及存储介质，其包括：一个或多个存储器，一个或多个处理器。存储器用于存储程序代码和程序运行过程中产生的中间数据、模型输出结果的储存和模型及模型参数的储存；处理器用于代码运行所占用的处理器资源和训练模型时占用的多个处理器资源。
下面结合附图和具体实施方式对本发明作进一步详细说明。
附图说明
图1是本发明一种输电线路铁塔小部件图像识别方法实施例的流程图。
图2是本发明一种输电线路铁塔小部件图像识别方法实施例中搭建的卷积神经网络的结构示意图。
图3是本发明一种输电线路铁塔小部件图像识别方法实施例中输入网络PCNet的结构示意图。
图4是本发明一种输电线路铁塔小部件图像识别方法实施例中轻量化倒置残差结构Ires的结构示意图。
图5是本发明一种输电线路铁塔小部件图像识别方法实施例中SPP模块和SPP-tiny模块的对比图。
图6是本发明一种输电线路铁塔小部件图像识别装置实施例的原理图。
具体实施方式
下面结合附图对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
首先，结合附图对本申请中所涉及的部分用语和相关技术进行解释说明，以便于本领域技术人员理解。
K-means聚类算法：K-means聚类算法也称k均值聚类算法，是集简单和经典于一身的基于距离的聚类算法。它采用距离作为评价指标，即认为两个对象的距离越近，其相似度就越大。该算法认为类簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。
卷积神经网络：卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。
感受野：感受野是卷积神经网络里面重要的概念之一，被定义为卷积神经网络特征所能看到输入图像的区域，即特征输出受感受野区域内的像素点的影响。
输电线路铁塔部件：包括正常小部件和缺陷小部件两部分。
一种输电线路铁塔小部件图像识别方法实施例：
参见图1，一种输电线路铁塔小部件图像识别方法，包括以下步骤：
步骤S1，获取预先对输电线路铁塔部件进行标注的图像信息，并构建图像数据集。
步骤S2，对图像数据集进行数据扩增和数据平衡，得到预处理后的图像数据集。
步骤S3，对预处理后的图像数据集进行聚类操作，输出预设定的锚框数量确定聚类的类别数量，获得预测的锚框尺寸。
步骤S4，搭建卷积神经网络，并利用预处理后的图像数据集对所述卷积神经网络进行训练后，获得用于识别输电线路铁塔部件的网络识别模型。
步骤S5，基于所述网络识别模型对当前采集到的输电线路铁塔图像进行部件识别，并将识别有缺陷部件的图像数据传输回运检中心。其中，将用于识别输电线路铁塔小部件的网络识别模型部署至铁塔上安装的监测装置，对监测装置摄像头采集的输电线路铁塔图像进行小部件识别，并将识别有缺陷小部件的图像数据传输回运检中心。
在上述步骤S1中，获取预先对输电线路铁塔部件进行标注的图像信息包括：
对巡检采集到的输电线路全景图像进行裁剪，使其被裁剪为包含输电线路铁塔小部件的局部图像，其中，所述输电线路铁塔的小部件包括正常小部件和缺陷小部件。
在局部图像中标注所述输电线路铁塔小部件的类别和位置生成标注框，并将每张局部图像的标注框信息保存在标注文件中。
在上述步骤S2中，所述对图像数据集进行数据扩增和数据平衡，包括：
对图像数据集进行数据扩增：根据监测装置的实际拍摄情况采用数据扩增算法，生成对应的标注文件。其中，对图像数据集进行数据扩增是根据监测装置实际拍摄情况采用小角度旋转、亮度改变、模糊和滑窗切片算法等扩增方法进行数据扩增，并生成对应的标注文件。
对图像数据集进行数据平衡：统计数据扩增后的图像数据集中每类小部件的标注框个数，对标注框数量较少的小部件图像进行再扩充，对标注框数量较多的小部件图像进行适当删减，使得每类小部件的标注框个数保持一致，得到预处理后的图像数据集。
在上述步骤S3中，使用K-means聚类算法对预处理后的图像数据集进行聚类操作，需要根据卷积神经网络模型输出网络设定的锚框数量确定聚类的类别数量，进而预测锚框尺寸，其包括：
根据卷积神经网络输出网络设定的锚框数量设置聚类的类别数量，随机初始化聚类中心点A＝{a1,a2,...,an}；
针对预处理后的图像数据集的每个样本数据点xi，根据欧式距离公式计算每个聚类中心点与样本数据点之间的距离，将距离较近的样本数据划分到聚类中心点所在的类中；
针对每个类别，判断是否满足迭代终止条件，若满足则输出聚类标签，若不满足则更新该类别的聚类中心点，表示为公式(1)：
其中，ak表示聚类簇Ak中的聚类中心点，|Ak|表示该类别中样本数据点的总个数；
然后，不断更新聚类中心的值，直到聚类中心的位置不再发生变化或达到设置的迭代次数上线，从而获得预测的锚框尺寸。
在上述步骤S4中，所述搭建卷积神经网络，分为输入网络、主干网络、输出网络三个部分进行搭建，包括：
输入网络，采用PCNet将输入图像通过一个特征通道为1的1×1卷积核减少后续卷积操作参数量，然后并行使用特征通道为1的3×3卷积核，特征通道为2的5×5卷积核，特征通道为3的7×7卷积核，特征通道为4的9×9卷积核，特征通道为5的11×11卷积核，提取小部件图像的对比度信息，融合多重感受野。其中，输入网络采用一种自建并行卷积结构PCNet融合多重感受野。
主干网络，采用轻量化倒置残差结构，通过逐点卷积-深度卷积-逐点卷积的瓶颈结构代替传统的卷积核，并对特征通道先升维再降维使得特征提取在高维空间中进行；特征融合阶段采用的SPP-tiny在SPP模块的基础上仅保留跳跃连接和13×13最大池化层，再采用通道注意力机制给特征通道分配合适的权重，实现局部特征与全局特征的融合。其中，主干网络主要采用轻量化倒置残差结构和改进的空间金字塔池化模块(SPP-tiny)提取特征。
输出网络，采用FPN特征金字塔结构的思想进行多尺度预测，设定2种尺度信息，每种尺度设定3个锚框进行回归分析。其中，输出网络采用多尺度输出设定多个锚框进行预测，利用预处理后的图像数据集对卷积神经网络进行训练，从而获得用于识别输电线路铁塔小部件的网络识别模型。
在上述步骤S4中，所述利用预处理后的图像数据集对所述卷积神经网络进行训练，包括：
根据预处理后的图像数据集按照比例9:1划分出训练集和验证集，其中，训练集用于对搭建的卷积神经网络进行训练得到卷积神经网络模型；验证集用于在训练得到的卷积神经网络模型中选择参数最优化的卷积神经网络模型。
利用mosaic数据增强方法丰富识别物体的背景信息，在划分出的训练集中随机选择若干图像进行随机缩放裁剪再拼接形成新图像，将新图像和训练集图像分批次输入搭建的卷积神经网络进行卷积池化操作得到初步的输出预测结果。其中，在划分出的训练集中取出一批图像，从这批图像中随机选择若干图像，这里随机选择4张图像进行随机缩放裁剪等操作，将处理后的图像按照左上、右上、左下、右下四个方位进行拼接形成新图像，重复该操作，将新图像与训练集图像大小转换成416×416大小，分批次输入搭建的卷积神经网络进行卷积池化操作得到初步的输出预测结果。
通过卷积神经网络的输出网络对初步的输出预测结果进行损失计算，并构建损失函数，通过反向梯度传播算法对卷积神经网络模型的卷积核参数进行迭代更新，当达到设定的迭代次数时停止训练，根据验证集筛选得到参数最优化的卷积神经网络模型。
在本实施例中，在筛选得到参数最优化的卷积神经网络模型后，采用剪枝方法对参数最优化的卷积神经网络模型进行模型压缩，利用批标准化BN层的缩放因子γ与输出通道相乘判断卷积层输出通道的重要性，在损失函数中添加缩放因子γ的正则项进行稀疏训练表示为公式(2)：
其中，L(W)为模型的损失函数，λ为稀疏因子，g(γ)为稀疏正则项，Γ为γ的集合；在稀疏训练过程中对学习率η和稀疏因子λ进行调整从而达到较好的稀疏效果，对稀疏训练后网络模型中缩放因子γ接近0的输出通道进行剪除，微调剪枝后获得用于识别输电线路铁塔小部件的网络识别模型，，选取的正则项为L1正则，即可将上式改写为如下公式(3)：
本实施例中，输电线路铁塔部件为输电线路铁塔小部件，其包括正常小部件和缺陷小部件两部分，正常小部件包括普通螺栓、开销螺栓、防震锤等，缺陷小部件包括开销脱落、防震锤碰撞、防震锤缺失等；获取输电线路铁塔小部件图像是对巡检采集到的输电线路全景图像进行裁剪，使其被裁剪为包含输电线路铁塔小部件的局部图像，在局部图像中使用Labelimg软件标注铁塔小部件的类别和位置生成标注框，并添加小部件种类标签，种类标签应使用英文表示，一张局部图像中可能包含一个或多个小部件需要标注，将每张局部图像的标注框信息保存在标注文件中，标注文件在使用Labelimg软件标注完一张局部图像后保存时会自动生成。
在本实施例中，对图像数据集进行数据扩增是根据监测装置实际拍摄情况采用小角度旋转、亮度改变、模糊和滑窗切片算法等扩增方法，并生成对应的标注文件；对图像数据集进行数据平衡是根据所有标注文件统计数据扩增后图像数据集中每类小部件的标注框个数，对标注框数量较少的小部件图像进行再扩充，对标注框数量较多的小部件图像进行适当删减，使得每类小部件的标注框个数大致相同，得到预处理后的图像数据集。
例如，本实施例通过滑窗切片算法进行数据扩增，具体包括：
根据标注文件统计类别宽高分布和数量直方图，确定滑窗大小；
对图像数据集按指定宽高、步长的滑窗从左向右、自上而下依次滑动切片，重叠率一般控制在0.1至0.5之间；
在切片过程中有些标注的目标框会被滑窗切分，计算目标框与滑窗的相交比，保留相交比大于0.6的目标框，并将目标框大小限定在滑窗范围内。
在本实施例中，通过K-means聚类算法预测锚框尺寸，具体包括：
S31、根据卷积神经网络模型输出网络设定的锚框数量，将聚类的类别数量设置为6，随机初始化6个聚类中心点A＝{a1,a2,...,a6}；
S32、针对数据集中的每个样本数据点xi，根据欧式距离公式计算每个聚类中心点与样本数据点之间的距离，将距离较近的样本数据划分到聚类中心点所在的类中；
S33、针对每个类别，判断是否满足迭代终止条件，如果满足就输出聚类标签，如果不满足就利用如下公式更新该类别的聚类中心点，表示为公式(1)。
S34、重复步骤S32和步骤S33更新聚类中心的值，直到聚类中心的位置不再发生变化或达到设置的迭代次数上线，获得预测的锚框尺寸。
在本实施例中，本实施例中，搭建卷积神经网络，如图2所示，具体包括：
输入网络采用PCNet，如图3所示，首先将输入图像通过一个特征通道为1的1×1卷积核(Conv)减少后续卷积操作参数量，更好的提取细节信息，然后并行使用特征通道为1的3×3卷积核，特征通道为2的5×5卷积核，特征通道为3的7×7卷积核，特征通道为4的9×9卷积核，特征通道为5的11×11卷积核，提取小部件的对比度信息，融合多重感受野。
主干网络可以分为特征提取阶段和特征融合阶段两部分；
特征提取阶段采用轻量化倒置残差结构(Inverted residual block,Ires)，如图4所示，通过逐点卷积(PWConv)-深度卷积(DWConv)-逐点卷积的瓶颈结构代替传统的卷积核，可以成倍减少卷积操作的时间复杂度和空间复杂度，并对特征通道先升维再降维使得特征提取在高维空间中进行；在第一个逐点卷积和深度卷积后使用激活函数Relu6在高维空间中能够有效增加非线性，在第二个逐点卷积后使用线性操作Linear是因为在低维空间中进行非线性操作会对特征造成破坏；在瓶颈结构前添加一个卷积核，能够适当加深网络更好的提取深层特征，同时克服了原始倒置残差结构当改变特征图尺寸大小时不能进行跳跃连接的弊端，提高特征的可重用性；
特征融合阶段采用的SPP-tiny，如图5所示，左边表示SPP模块结构示意图、右边表示SPP-tiny模块结构示意图。在SPP模块的基础上仅保留跳跃连接和13×13最大池化层(Maxpool)，最大池化层对感受野的影响非常大，主要取决于池化窗口的尺寸大小，因此使用大尺寸的池化窗口可以极大的提高感受野，通过实验发现使用SPP-tiny模块和SPP模块的效果几乎一样，并且运算量得到了相应的减少；再采用通道注意力机制(SE block)给特征通道分配合适的权重，实现局部特征与全局特征的融合。
输出网络采用特征金字塔结构(Feature Pyramid Network,FPN)的思想进行多尺度预测，考虑到模型参数量和目标大小设定2种尺度信息，每种尺度设定3个锚框进行回归分析，共设6种尺寸的锚框。通过K-means预测的锚框尺寸如表1所示；
以表1为例，当输入图像尺寸设置为416×416大小时，得到的尺度信息分别为26×26和104×104，尺度信息为26×26的特征图拥有较大的感受野，可用于识别尺寸较大的小部件如防震锤等，尺度信息为104×104的特征图拥有较小的感受野，可用于识别尺寸较小的小部件如螺栓等，实际应用中，应该对尺度信息做出相应的调整来满足实际需求。
表1锚框尺寸对应表
一种输电线路铁塔小部件图像识别装置实施例：
在本实施例中，如图6所示，本发明还提供一种输电线路铁塔小部件图像识别装置，包括：
存储模块，用于部署识别输电线路铁塔部件的网络识别模型，以及存储监测装置所采集到的输电线路铁塔图像；
具体地，对于存储模块，用于在监测装置的GPU平台部署识别输电线路铁塔小部件网络模型，并将监测装置摄像头拍摄采集到的输电线路铁塔图像暂存在存储模块当中。
识别模块，用于将采集到的输电线路铁塔图像输入至所述网络识别模型，得到对应的输电线路铁塔部件的识别结果。
具体地，对于识别模块，其用于将采集到的图像进行预处理转换到的统一尺寸，输入至输电线路铁塔小部件的网络模型中进行识别，对于图像中的每个小部件得到多个预测锚框，对于每个小部件得到的多个预测锚框进行非极大值抑制获得置信度最高的锚框，将每个小部件置信度最高的锚框转换为原图的对应坐标，确定原图上每个小部件的类别、位置和相应的置信度。
定位模块，用于对监测装置进行定位，并获取采集到的输电线路铁塔图像与输电线路铁塔部件对应的位置信息。
具体地，对于定位模块，当监测装置摄像头拍摄采集输电线路铁塔图像时，对监测装置进行定位，获取采集到的输电线路铁塔图像与输电线路铁塔小部件对应的位置信息。
传输模块，用于对识别有缺陷部件的图像数据与位置信息进行实时压缩传输。
具体地，对于传输模块，根据小部件的类别选择对含有缺陷类别小部件的图像与位置信息进行实时压缩传输，完成操作后清除对应文件及图像，释放内存空间。
在一个实施例中，提供了一种电子设备，该电子设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于存储数据。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种输电线路铁塔小部件图像识别方法。
本领域技术人员可以理解，本实施例示出的电子设备结构，仅仅是与本申请方案相关的部分结构，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比本实施例中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
由此可见，本发明提供了一种输电线路铁塔部件图像识别的电子设备以及存储介质，其包括：一个或多个存储器，一个或多个处理器。存储器用于存储程序代码和程序运行过程中产生的中间数据、模型输出结果的储存和模型及模型参数的储存；处理器用于代码运行所占用的处理器资源和训练模型时占用的多个处理器资源。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (8)

1.一种输电线路铁塔小部件图像识别方法，其特征在于，包括：
获取预先对输电线路铁塔部件进行标注的图像信息，并构建图像数据集；
对图像数据集进行数据扩增和数据平衡，得到预处理后的图像数据集；
对预处理后的图像数据集进行聚类操作，输出预设定的锚框数量确定聚类的类别数量，获得预测的锚框尺寸；
搭建卷积神经网络，并利用预处理后的图像数据集对所述卷积神经网络进行训练后，获得用于识别输电线路铁塔部件的网络识别模型；
基于所述网络识别模型对当前采集到的输电线路铁塔图像进行部件识别，并将识别有缺陷部件的图像数据传输回运检中心。
2.根据权利要求1所述的方法，其特征在于，所述获取预先对输电线路铁塔部件进行标注的图像信息包括：
对巡检采集到的输电线路全景图像进行裁剪，使其被裁剪为包含输电线路铁塔小部件的局部图像，其中，所述输电线路铁塔的小部件包括正常小部件和缺陷小部件；
在局部图像中标注所述输电线路铁塔小部件的类别和位置生成标注框，并将每张局部图像的标注框信息保存在标注文件中。
3.根据权利要求2所述的方法，其特征在于，所述对图像数据集进行数据扩增和数据平衡，包括：
对图像数据集进行数据扩增：根据监测装置的实际拍摄情况采用数据扩增算法，生成对应的标注文件；
对图像数据集进行数据平衡：统计数据扩增后的图像数据集中每类小部件的标注框个数，对标注框数量较少的小部件图像进行再扩充，对标注框数量较多的小部件图像进行适当删减，使得每类小部件的标注框个数保持一致，得到预处理后的图像数据集。
4.根据权利要求1所述的方法，其特征在于：
使用K-means聚类算法对预处理后的图像数据集进行聚类操作，包括：
根据卷积神经网络输出网络设定的锚框数量设置聚类的类别数量，随机初始化聚类中心点A＝{a1,a2,...,an}；
针对预处理后的图像数据集的每个样本数据点xi，根据欧式距离公式计算每个聚类中心点与样本数据点之间的距离，将距离较近的样本数据划分到聚类中心点所在的类中；
针对每个类别，判断是否满足迭代终止条件，若满足则输出聚类标签，若不满足则更新该类别的聚类中心点，表示为公式(1)：
Figure FDA0003831963350000021
其中，ak表示聚类簇Ak中的聚类中心点，|Ak|表示该类别中样本数据点的总个数；
然后，不断更新聚类中心的值，直到聚类中心的位置不再发生变化或达到设置的迭代次数上线，从而获得预测的锚框尺寸。
5.根据权利要求1所述的方法，其特征在于，所述搭建卷积神经网络，包括：
输入网络，采用PCNet将输入图像通过一个特征通道为1的1×1卷积核减少后续卷积操作参数量，然后并行使用特征通道为1的3×3卷积核，特征通道为2的5×5卷积核，特征通道为3的7×7卷积核，特征通道为4的9×9卷积核，特征通道为5的11×11卷积核，提取小部件图像的对比度信息，融合多重感受野；
主干网络，采用轻量化倒置残差结构，通过逐点卷积-深度卷积-逐点卷积的瓶颈结构代替传统的卷积核，并对特征通道先升维再降维使得特征提取在高维空间中进行；特征融合阶段采用的SPP-tiny在SPP模块的基础上仅保留跳跃连接和13×13最大池化层，再采用通道注意力机制给特征通道分配合适的权重，实现局部特征与全局特征的融合；
输出网络，采用FPN特征金字塔结构的思想进行多尺度预测，设定2种尺度信息，每种尺度设定3个锚框进行回归分析。
6.根据权利要求5所述的方法，其特征在于，所述利用预处理后的图像数据集对所述卷积神经网络进行训练，包括：
根据预处理后的图像数据集按照比例划分出训练集和验证集，其中，训练集用于对搭建的卷积神经网络进行训练得到卷积神经网络模型；验证集用于在训练得到的卷积神经网络模型中选择参数最优化的卷积神经网络模型；
利用mosaic数据增强方法丰富识别物体的背景信息，在划分出的训练集中随机选择若干图像进行随机缩放裁剪再拼接形成新图像，将新图像和训练集图像分批次输入搭建的卷积神经网络进行卷积池化操作得到初步的输出预测结果；
通过卷积神经网络的输出网络对初步的输出预测结果进行损失计算，并构建损失函数，通过反向梯度传播算法对卷积神经网络模型的卷积核参数进行迭代更新，当达到设定的迭代次数时停止训练，根据验证集筛选得到参数最优化的卷积神经网络模型。
7.根据权利要求6所述的方法，其特征在于：
在筛选得到参数最优化的卷积神经网络模型后，采用剪枝方法对参数最优化的卷积神经网络模型进行模型压缩，利用批标准化BN层的缩放因子γ与输出通道相乘判断卷积层输出通道的重要性，在损失函数中添加缩放因子γ的正则项进行稀疏训练表示为公式(2)：
Figure FDA0003831963350000041
其中，L(W)为模型的损失函数，λ为稀疏因子，g(γ)为稀疏正则项，Γ为γ的集合；在稀疏训练过程中对学习率η和稀疏因子λ进行调整从而达到较好的稀疏效果，对稀疏训练后网络模型中缩放因子γ接近0的输出通道进行剪除，微调剪枝后获得用于识别输电线路铁塔小部件的网络识别模型。
8.一种输电线路铁塔小部件图像识别装置，其特征在于，包括：
存储模块，用于部署识别输电线路铁塔部件的网络识别模型，以及存储监测装置所采集到的输电线路铁塔图像；
识别模块，用于将采集到的输电线路铁塔图像输入至所述网络识别模型，得到对应的输电线路铁塔部件的识别结果；
定位模块，用于对监测装置进行定位，并获取采集到的输电线路铁塔图像与输电线路铁塔部件对应的位置信息；
传输模块，用于对识别有缺陷部件的图像数据与位置信息进行实时压缩传输。
CN202211077082.0A 2022-09-05 2022-09-05 一种输电线路铁塔小部件图像识别方法及装置 Pending CN116129158A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211077082.0A CN116129158A (zh) 2022-09-05 2022-09-05 一种输电线路铁塔小部件图像识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211077082.0A CN116129158A (zh) 2022-09-05 2022-09-05 一种输电线路铁塔小部件图像识别方法及装置

Publications (1)

Publication Number Publication Date
CN116129158A true CN116129158A (zh) 2023-05-16

Family

ID=86296126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211077082.0A Pending CN116129158A (zh) 2022-09-05 2022-09-05 一种输电线路铁塔小部件图像识别方法及装置

Country Status (1)

Country Link
CN (1) CN116129158A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116838114A (zh) * 2023-07-06 2023-10-03 同创华建集团有限公司 一种基于数据分析的钢结构与幕墙智能监测系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116838114A (zh) * 2023-07-06 2023-10-03 同创华建集团有限公司 一种基于数据分析的钢结构与幕墙智能监测系统
CN116838114B (zh) * 2023-07-06 2024-01-23 同创华建集团有限公司 一种基于数据分析的钢结构与幕墙智能监测系统

Similar Documents

Publication Publication Date Title
US20210042580A1 (en) Model training method and apparatus for image recognition, network device, and storage medium
US11373305B2 (en) Image processing method and device, computer apparatus, and storage medium
CN108647742B (zh) 基于轻量级神经网络的快速目标检测方法
CN112163465B (zh) 细粒度图像分类方法、系统、计算机设备及存储介质
CN110929577A (zh) 一种基于YOLOv3的轻量级框架改进的目标识别方法
CN111950656B (zh) 图像识别模型生成方法、装置、计算机设备和存储介质
CN109614921B (zh) 一种基于对抗生成网络的半监督学习的细胞分割方法
CN110413838B (zh) 一种无监督视频摘要模型及其建立方法
CN111368636B (zh) 目标分类方法、装置、计算机设备和存储介质
CN111242180B (zh) 一种基于轻量化卷积神经网络的图像识别方法及系统
CN110008853B (zh) 行人检测网络及模型训练方法、检测方法、介质、设备
CN110929610A (zh) 基于cnn模型和迁移学习的植物病害识别方法及系统
CN111833322B (zh) 一种基于改进YOLOv3的垃圾多目标检测方法
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
CN109919252A (zh) 利用少数标注图像生成分类器的方法
CN113128478A (zh) 模型训练方法、行人分析方法、装置、设备及存储介质
CN112597919A (zh) 基于YOLOv3剪枝网络和嵌入式开发板的实时药盒检测方法
CN112308825A (zh) 一种基于SqueezeNet的农作物叶片病害识别方法
CN116129158A (zh) 一种输电线路铁塔小部件图像识别方法及装置
CN111352926B (zh) 数据处理的方法、装置、设备及可读存储介质
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN111783688B (zh) 一种基于卷积神经网络的遥感图像场景分类方法
CN110580507A (zh) 一种城市肌理分类识别方法
CN112528058B (zh) 基于图像属性主动学习的细粒度图像分类方法
CN111339950B (zh) 一种遥感图像目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination