CN117934486A - 变压器元件检测方法、装置、电子设备和存储介质 - Google Patents

变压器元件检测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN117934486A
CN117934486A CN202410339692.6A CN202410339692A CN117934486A CN 117934486 A CN117934486 A CN 117934486A CN 202410339692 A CN202410339692 A CN 202410339692A CN 117934486 A CN117934486 A CN 117934486A
Authority
CN
China
Prior art keywords
target
image
preset
information
candidate region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410339692.6A
Other languages
English (en)
Other versions
CN117934486B (zh
Inventor
张彬
孙峰
李广野
宋进良
刘扬
张佳鑫
孙赫阳
阎宇航
田野
邱兵兵
佟帅辰
姜力行
李菁菁
刘祉成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Liaoning Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Liaoning Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Liaoning Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202410339692.6A priority Critical patent/CN117934486B/zh
Publication of CN117934486A publication Critical patent/CN117934486A/zh
Application granted granted Critical
Publication of CN117934486B publication Critical patent/CN117934486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种变压器元件检测方法、装置、电子设备和存储介质，涉及目标检测技术领域，其中，变压器元件检测方法包括：将目标图像输入至预设的检测模型中，得到目标识别结果；预设的检测模型用于从目标图像中提取出第一预设尺度的特征图像和第二预设尺度的特征图像，并根据第一预设尺度的特征图像输出目标图像中的各个变压器元件各自对应的目标候选区域，再根据第一预设尺度的特征图像、第二预设尺度的特征图像和目标候选区域确定各个目标候选区域对应的目标识别结果；根据目标识别结果，确定出目标图像中的各个变压器元件的类别信息和位置信息。本申请可以解决现有的对变压器元件检测的效率差和准确度低的问题。

Description

变压器元件检测方法、装置、电子设备和存储介质
技术领域
本申请涉及目标检测技术领域，尤其涉及一种变压器元件检测方法、装置、电子设备和存储介质。
背景技术
变压器元件作为变电站中最重要的部件之一，关系到电力系统的安全可靠性。因此，基于变压器图像的缺陷和故障识别具有重要的实用价值，其中变压器元件的检测是必不可少的一步。
传统的电力设备和部件检测方法主要是具有低级特征的算法（例如，尺度不变特征变换（SIFT）、定向梯度直方图（HOG））。尽管这些方法很直观，但它们很难适应复杂的场景，并且在应用于新场景时通常需要大量的人工进行调整，并且所获得的检测结果的精度也较低。
因此，一种能够对变电站上的变压器元件进行高效率和高准确度的检测方法亟待研究。
发明内容
本申请提供一种变压器元件检测方法、装置、电子设备和存储介质，可解决现有的对变压器元件检测的效率差和准确度低的问题。
第一方面，提供一种变压器元件检测方法，包括：
获取目标图像；目标图像中包括待检测的变压器元件；
将目标图像输入至预设的检测模型中，得到目标识别结果；预设的检测模型用于从目标图像中提取出第一预设尺度的特征图像和第二预设尺度的特征图像，并根据第一预设尺度的特征图像输出目标图像中的各个变压器元件各自对应的目标候选区域，再根据第一预设尺度的特征图像、第二预设尺度的特征图像和目标候选区域确定各个目标候选区域对应的目标识别结果；
根据目标识别结果，确定出目标图像中的各个变压器元件的类别信息和位置信息。
可选地，预设的检测模型包括基于改进的Faster R-CNN的神经网络模型，基于改进的Faster R-CNN的神经网络模型包括：
特征提取模块，用于从目标图像中提取出第一预设尺度的特征图像和第二预设尺度的特征图像；
目标候选区域生成模块，用于根据第一预设尺度的特征图像输出目标图像中的各个变压器元件各自对应的目标候选区域；
类别结果检测模块，用于根据第一预设尺度的特征图像、第二预设尺度的特征图像和目标候选区域确定各个目标候选区域对应的目标识别结果。
可选地，特征提取模块包括第一CNN模块和第二CNN模块；第一CNN模块包括第一预设数量个第一卷积层；第二CNN模块包括第二预设数量个第二卷积层；第一卷积层的卷积核大小小于第二卷积层的卷积核大小；相应地，从目标图像中提取出第一预设尺度的特征图像和第二预设尺度的特征图像，包括：
将目标图像输入第一CNN模块进行特征提取，得到第一预设尺度的特征图像；
将目标图像输入第二CNN模块进行特征提取，得到第二预设尺度的特征图像；
目标候选区域生成模块包括RPN网络结构、第一随机森林模型和区域确定模块，相应地，根据第一预设尺度的特征图像输出目标图像中的各个变压器元件各自对应的目标候选区域，包括：
将第一预设尺度的特征图像输入至RPN网络结构，得到各个候选区域的初始概率信息和初始坐标信息；
将初始概率信息和初始坐标信息输入至第一随机森林模型中，得到各个候选区域对应的判别概率信息和判别坐标信息；
将判别概率信息和判别坐标信息输入至区域确定模块中，以从各个候选区域中确定出目标候选区域。
可选地，第一随机森林模型包括基于决策树的随机森林模型；相应地，将初始概率信息和初始坐标信息输入至第一随机森林模型中，得到各个候选区域对应的判别概率信息和判别坐标信息，包括：
获取各个变压器元件各自对应的实物坐标信息、以及各个候选区域各自对应的候选框坐标信息；
根据实物坐标信息和候选框坐标信息，得到候选区域各自对应的第一相对位置特征；
将第一相对位置特征、初始概率信息和初始坐标信息输入至基于决策树的随机森林模型中，得到各个候选区域对应的判别概率信息和判别坐标信息。
可选地，类别结果检测模块包括第一分类回归网络、第二分类回归网络和第二随机森林模型；相应地，根据第一预设尺度的特征图像、第二预设尺度的特征图像和目标候选区域确定各个目标候选区域对应的目标识别结果，包括：
将第一预设尺度的特征图像和目标候选区域输入至第一分类回归网络，得到目标候选区域对应的第一预测信息；第一预测信息包括第一类别概率信息和第一位置信息；
将第二预设尺度的特征图像和目标候选区域输入至第二分类回归网络，得到目标候选区域对应的第二预测信息；第二预测信息包括第二类别概率信息和第二位置信息；
将第一预测信息和第二预测信息输入至第二随机森林模型中，得到目标候选区域对应的目标识别结果。
可选地，第一分类回归网络包括第一ROI池化层、第一类别概率预测结构和第一边框回归定位结构；将第一预设尺度的特征图像和目标候选区域输入至第一分类回归网络，得到目标候选区域对应的第一预测信息，包括：
将第一预设尺度的特征图像和目标候选区域输入至第一ROI池化层，得到目标候选区域对应的第一目标特征图；
将第一目标特征图输入至第一类别概率预测结构，得到第一类别概率信息；
将第一目标特征图输入至第一边框回归定位结构，得到第一位置信息；
第二分类回归网络包括第二ROI池化层、第二类别概率预测结构和第二边框回归定位结构；将第二预设尺度的特征图像和目标候选区域输入至第二分类回归网络，得到目标候选区域对应的第二预测信息，包括：
将第二预设尺度的特征图像和目标候选区域输入至第二ROI池化层，得到目标候选区域对应的第二目标特征图；
将第二目标特征图输入至第二类别概率预测结构，得到第二类别概率信息；
将第二目标特征图输入至第二边框回归定位结构，得到第二位置信息。
可选地，第二随机森林模型为基于决策树的随机森林模型；相应地，将第一预测信息和第二预测信息输入至第二随机森林模型中，得到目标候选区域对应的目标识别结果，包括：
获取各个变压器元件各自对应的实物坐标信息、以及目标候选区域各自对应的目标候选框坐标信息；
根据实物坐标信息和所述目标候选框坐标信息，得到目标候选区域各自对应的第二相对位置特征；
根据第一预设权重值对第一预测信息的加权结果、以及第二预设权重值对第二预测信息的加权结果，得到加权预测信息；
将第二相对位置特征和加权预测信息输入至基于决策树的随机森林模型中，得到目标识别结果；
其中，第一预设权重值和第二预设权重值是通过如下公式计算得到的：
；
其中，为第一预设权重值，/>为第二预设权重值，/>为目标图像的图像最初尺寸，/>为目标候选区域的目标框尺寸。
第二方面，提供一种变压器元件检测装置，包括：
获取模块，用于获取目标图像；目标图像中包括待检测的变压器元件；
图像输入模块，用于将目标图像输入至预设的检测模型中，得到目标识别结果；预设的检测模型用于从目标图像中提取出第一预设尺度的特征图像和第二预设尺度的特征图像，并根据第一预设尺度的特征图像输出目标图像中的各个变压器元件各自对应的目标候选区域，再根据第一预设尺度的特征图像、第二预设尺度的特征图像和目标候选区域确定各个目标候选区域对应的目标识别结果；
检测结果确定模块，用于根据目标识别结果，确定出目标图像中的各个变压器元件的类别信息和位置信息。
第三方面，提供一种电子设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，执行如第一方面、第二方面或其各实现方式中的方法。
第四方面，提供一种计算机可读存储介质，用于存储计算机程序，计算机程序使得计算机执行如第一方面、第二方面或其各实现方式中的方法。
通过本申请提供的技术方案，通过选用能够从目标图像中提取出第一预设尺度的特征图像和第二预设尺度的特征图像的检测模型，以使第一预设尺度的特征图像和第二预设尺度的特征图像能够对目标图像中的不同尺寸的变压器元件进行调整，进而使包含有不同尺寸的变压器元件的目标图像能够通过该检测模型高效率的输出准确的目标识别结果，从而可以根据该目标处理结果，较为准确、高效地确定出目标图像中的各个变压器元件的类别信息和位置信息，以便工作人员根据目标图像中的各个变压器元件的类别信息和位置信息，完成对变电站中的各个变压器元件的状态的判断。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用场景图；
图2为本申请实施例提供的一种变压器元件检测方法的流程图；
图3是本申请实施例提供的一种向基于决策树的随机森林模型输入的有四个训练样本和两类变压器元件对应的第一相对位置特征的示意图；
图4是本申请实施例提供的另一种向基于决策树的随机森林模型输入的有四个训练样本和两类变压器元件对应的第一相对位置特征的示意图；
图5为本申请实施例提供的一种变压器元件检测装置的示意图；
图6是本申请实施例提供的电子设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语 “第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在计算机视觉领域，近年来的实践表明，基于深度学习的目标检测模型可以对底层特征进行抽象和合成，在规范数据集上获得了更高的精度。然而，当普通物体（如汽车、工厂）中使用的深度学习检测模型直接应用于变压器元件检测时，缺陷和故障识别的准确性仍然不令人满意。一方面，各种变压器元件的尺寸差异很大，这将显著影响精度。另一方面，与普通物体不同，变压器部件的位置之间存在相对固定的关系，而普通物体的检测模型无法充分利用相对位置信息。因此，现有技术中的目标检测模型无法对变电站中的变压器元件进行准确的检测。
为了解决上述技术问题，本申请的发明构思是：电子设备可以获取目标图像；再将目标图像输入至预设的检测模型中，得到目标识别结果；预设的检测模型用于从目标图像中提取出第一预设尺度的特征图像和第二预设尺度的特征图像，并根据第一预设尺度的特征图像输出目标图像中的各个变压器元件各自对应的目标候选区域，再根据第一预设尺度的特征图像、第二预设尺度的特征图像和目标候选区域确定各个目标候选区域对应的目标识别结果；最后，根据目标识别结果，确定出目标图像中的各个变压器元件的类别信息和位置信息，以便工作人员根据目标图像中的各个变压器元件的类别信息和位置信息，完成对变电站中的各个变压器元件的状态的判断。
应理解的是，本申请技术方案可以应用于如下场景，但不限于：
在一些可实现方式中，图1为本申请实施例提供的一种应用场景图，如图1所示，该应用场景中可以包括电子设备110和网络设备120。电子设备110可以通过有线网络或者无线网络与网络设备120建立连接。
示例性的，电子设备110可以是台式电脑、笔记本电脑、平板电脑等，但不限于此。网络设备120可以是终端设备或者服务器，但不限于此。在本申请的一种实施例中，电子设备110可以向网络设备120发送请求消息，该请求消息可以用于请求获取目标图像，进一步地，电子设备110可以接收网络设备120发送的响应消息，该响应消息包括相机对位于变电站的变压器元件进行拍摄。
此外，图1示例性地给出了一个电子设备110和一个网络设备120，实际上可以包括其他数量的电子设备和网络设备，本申请对此不作限制。
在另一些可实现方式中，本申请技术方案也可以由上述电子设备110执行，或者，本申请技术方案还可以由上述网络设备120执行，本申请对此不做限制。
在介绍了本申请实施例的应用场景之后，下面将对本申请技术方案进行详细阐述：
图2为本申请实施例提供的一种变压器元件检测方法的流程图，该方法可以由如图1所示的电子设备110执行，但不限于此。如图2所示，该方法可以包括如下步骤：
S210、获取目标图像。
这里，目标图像中包括待检测的变压器元件。这里的变压器元件包括但不限于储油柜、散热器组、气体继电器、主体呼吸器、以及有载分接开关（OLTC）呼吸器。
需要说明的是，目标图像可以为在对220 kV变电站的变压器元件检查时所拍摄的图像，目标图像的分辨率为800（宽）×600（高）。
S220、将目标图像输入至预设的检测模型中，得到目标识别结果。
其中，预设的检测模型用于从目标图像中提取出第一预设尺度的特征图像和第二预设尺度的特征图像，并根据第一预设尺度的特征图像输出目标图像中的各个变压器元件各自对应的目标候选区域，再根据第一预设尺度的特征图像、第二预设尺度的特征图像和目标候选区域确定各个目标候选区域对应的目标识别结果。
由于，在对变电站的变压器检查过程中，工作人员在不同位置拍摄到的目标图像中的变压器元件的尺寸存在差异，因此，针对不同的目标图像中的变压器元件的尺寸差异的问题，这里通过选用能够从目标图像中提取出第一预设尺度的特征图像和第二预设尺度的特征图像的检测模型，以使第一预设尺度的特征图像和第二预设尺度的特征图像能够对目标图像中的不同尺寸的变压器元件进行调整，进而通过该检测模型能够对目标图像中的不同尺寸的目标候选区域各自对应的目标识别结果进行确定。
需要说明的是，这里的目标识别结果包括目标候选区域对应的变压器元件的目标别类概率信息和目标位置信息。
S230、根据目标识别结果，确定出目标图像中的各个变压器元件的类别信息和位置信息。
这里，通过根据上述目标识别结果中的目标别类概率信息的大小，即为根将目标别类概率信息最大值，确定出目标图像中的各个变压器元件的类别信息，再根据目标识别结果中的目标位置信息，确定与各个类别信息对应的变压器元件的位置信息，以便工作人员根据目标图像中的各个变压器元件的类别信息和位置信息，完成对变电站中的各个变压器元件的状态的判断。
通过本实施例提供的变压器元件检测方法，通过选用能够从目标图像中提取出第一预设尺度的特征图像和第二预设尺度的特征图像的检测模型，以使第一预设尺度的特征图像和第二预设尺度的特征图像能够对目标图像中的不同尺寸的变压器元件进行调整，进而使包含有不同尺寸的变压器元件的目标图像能够通过该检测模型高效率的输出准确的目标识别结果，从而可以根据该目标处理结果，较为准确、高效地确定出目标图像中的各个变压器元件的类别信息和位置信息，以便工作人员根据目标图像中的各个变压器元件的类别信息和位置信息，完成对变电站中的各个变压器元件的状态的判断，通过本实施例提供的变压器元件检测方法能够有助于提高电网的可靠性、安全性和效率，降低维护成本，减少能源损失和环境影响，从而对电网的稳定运行和可持续性发展产生积极影响。
在一些可能实现的实施例中，预设的检测模型包括基于改进的Faster R-CNN的神经网络模型，基于改进的Faster R-CNN的神经网络模型包括特征提取模块、目标候选区域生成模块和类别结果检测模块。
特征提取模块用于从目标图像中提取出第一预设尺度的特征图像和第二预设尺度的特征图像。
这里的特征提取模块可以为ResNet-50网络结构，该ResNet-50网络结构可以包括5个依次设置的卷积层，将目标图像输入至ResNet-50网络结构，可以得到5个卷积层分别对应输出的特征图像，且每一卷积层对应输出的特征图像的尺寸均不相同，因此，在本实施例中，可以根据第一预设尺度和第二预设尺度的大小，选择输出第一预设尺度的特征图像输出的第一卷积层、以及选择输出第二预设尺度的特征图像输出的第二卷积层，以实现将目标图像输入至本实施例中的特征提取模块后，能够提取出第一预设尺度的特征图像和第二预设尺度的特征图像。
示例性的，输出第一预设尺度的特征图像输出的第一卷积层为位于第二位置处的卷积层，输出第二预设尺度的特征图像输出的第二卷积层为位于第五位置处的卷积层。
目标候选区域生成模块用于根据第一预设尺度的特征图像输出目标图像中的各个变压器元件各自对应的目标候选区域。
这里，第一预设尺度的特征图像输入至目标候选区域生成模块后，能够生成多个候选区域，且每个候选区域均具有2个包含对象或不包含对象的概率、以及4个编码候选区域位置的坐标信息，再根据包含对象的概率确定包含变压器元件对应的目标候选区域。
类别结果检测模块用于根据第一预设尺度的特征图像、第二预设尺度的特征图像和目标候选区域确定各个目标候选区域对应的目标识别结果。
这里，类别结果检测模块通过第一预设尺度的特征图像、第二预设尺度的特征图像和目标候选区域，确定各个目标候选区域对应的目标识别结果，能够使包含有不同尺寸的变压器元件的目标图像能够通过该检测模型输出目标识别结果，从而可以根据该目标处理结果，较为准确、高效地确定出目标图像中的各个变压器元件的类别信息和位置信息。
在一些可能实现的实施例中，特征提取模块包括第一CNN模块和第二CNN模块；第一CNN模块包括第一预设数量个第一卷积层；第二CNN模块包括第二预设数量个第二卷积层；第一卷积层的卷积核大小小于第二卷积层的卷积核大小。
这里，第一卷积层的卷积核大小可以为3×3；第二卷积层的卷积核大小可以为5×5。第一预设数量可以和第二预设数量相同，例如：第一预设数量和第二预设数量均可以为10。
需要说明的是，第一卷积层可以包括第三预设数量个第一池化层，在每两个第一卷积层组合为一第一卷积层组时，每两个第一卷积层组之间均设置一第一池化层。例如：第一CNN模块包括10个第一卷积层，即为依次排列的第一卷积层I至第一卷积层X，第一卷积层I和第一卷积层II组合为第一卷积层组I、第一卷积层III和第一卷积层IV组合为第一卷积层组II、第一卷积层V和第一卷积层VI组合为第一卷积层组III、第一卷积层VII和第一卷积层VIII组合为第一卷积层组IV、以及第一卷积层IX和第一卷积层X组合为第一卷积层组V，则在第一卷积层II和第一卷积层III之间、第一卷积层IV和第一卷积层V之间、第一卷积层VI和第一卷积层VII之间、以及第一卷积层VIII和第一卷积层IX之间分别设一第一池化层。
进一步的，第二卷积层可以包括第四预设数量个第二池化层，根据预设规则将第二预设数量个第二卷积层进行分组划分，形成多个第二卷积层组，再将每两个第二卷积层组之间均设置一第二池化层。例如：第二CNN模块包括10个第二卷积层，即为依次排列的第二卷积层I至第二卷积层X，根据预设规则，将第二卷积层I和第二卷积层II组合为第二卷积层组I、第二卷积层III至第二卷积层V组合为第二卷积层组II、第二卷积层VI和第二卷积层VII组合为第二卷积层组III、第二卷积层VIII和第二卷积层IX组合为第二卷积层组IV、以及第二卷积层X作为第二卷积层组V，再在第二卷积层II和第二卷积层III之间、第二卷积层V和第二卷积层VI之间、第二卷积层VII和第二卷积层VIII之间、以及第二卷积层IX和第二卷积层X之间分别设一第二池化层。
相应地，从目标图像中提取出第一预设尺度的特征图像和第二预设尺度的特征图像，可以包括：将目标图像输入第一CNN模块进行特征提取，得到第一预设尺度的特征图像；将目标图像输入第二CNN模块进行特征提取，得到第二预设尺度的特征图像。
这里，通过将目标图像输入至第一CNN模块、以及将目标图像输入至第二CNN模块后，因第一CNN模块中的第一卷积层的卷积核大小小于第二CNN模块中的第二卷积层的卷积核大小，因此，第一CNN模块和第二CNN模块分别通过不同大小的卷积核分析目标图像的不同细节，故通过第一CNN模块和第二CNN模块对目标图像进行并行的特征提取，能够避免因使用具有同一大小的卷积核的CNN模块在对目标图像特征提取时出现特征遗漏的问题。其中，第一CNN模块对应输出的特征图像的尺度大小小于第二CNN模块对应输出的特征图像的尺度大小。
其中，第一CNN模块和第二CNN模块可以为两个不同的并行的CNN模块，通过第一CNN模块和第二CNN模块对目标图像进行特征提取后，可以得到形状相等的特征映射。其中，第一CNN模块可以包含10个依次排列的第一卷积层，第一卷积层的卷积核大小为3×3，每两个第一卷积层后均插入一个第一池化；第二CNN模块可以包括10个依次排列的第二卷积层，第二卷积层的卷积核大小为5×5，并在位于第二位置、第五位置、第七位置和第九位置的第二卷积层之后均插入第二池化层。
在不同场景中，可以根据需要对第一预设数量、第二预设数量、第三预设数量、第四预设数量、以及第一卷积层的卷积核大小进行选择和设定，以使第一CNN模块输出的特征图像的尺度为第一预设尺度、以及第二CNN模块输出的特征图像的尺度为第二预设尺度。
在本实施例中，通过使用具有不同卷积核大小的第一CNN模块和第二CNN模块对目标图像并行进行特征提取，使所获得第一预设尺度的特征图像和第二预设尺度的特征图像能够具有不同细节的特征，避免在对目标图像特征提取时所出现的特征遗漏的情况，进而使具有第一CNN模块和第二CNN模块的检测模型减少对目标图像中的变压器元件的检测遗漏，使其对目标图像的识别结果的精确度更高。
在一些可能实现的实施例中，目标候选区域生成模块包括RPN网络结构、第一随机森林模型和区域确定模块，相应地，根据第一预设尺度的特征图像输出目标图像中的各个变压器元件各自对应的目标候选区域，可以包括如下步骤：
S310、将第一预设尺度的特征图像输入至RPN网络结构，得到各个候选区域的初始概率信息和初始坐标信息。
这里，RPN网络结构（区域提议网络结构）包括RPN网络层（区域提议网络层），第一随机森林模型包括RF分类器（随机森林分类器）和RF回归器（随机森林回归器），第一预设尺度的特征图像输入RPN网络结构后生成多个待选区域，RF分类器可以细化待选区域包含对象或不包含对象的概率来提议目标候选区域概率，RF回归器可以通过学习候选区域大小和位置的比例关系来细化提议候选区域的坐标信息。
S320、将初始概率信息和初始坐标信息输入至第一随机森林模型中，得到各个候选区域对应的判别概率信息和判别坐标信息。
这里，通过将初始概率信息和初始坐标信息输入至第一随机森林模型中，能够细化各个候选区域对应的判别概率信息和判别坐标信息，以使得到的检测结果更加准确。
S330、将判别概率信息和判别坐标信息输入至区域确定模块中，以从各个候选区域中确定出目标候选区域。
在本实施例中，通过将各个候选区域的初始概率信息和初始坐标信息输入至第一随机森林模型中，得到各个候选区域对应的判别概率信息和判别坐标信息，再将判别概率信息和判别坐标信息输入至区域确定模块中，以从各个候选区域中准确的确定出目标候选区域。
在一些可能实现的实施例中，第一随机森林模型包括基于决策树的随机森林模型；相应地，将初始概率信息和初始坐标信息输入至第一随机森林模型中，得到各个候选区域对应的判别概率信息和判别坐标信息，可以包括如下步骤：
S410、获取各个变压器元件各自对应的实物坐标信息、以及各个候选区域各自对应的候选框坐标信息。
S420、根据实物坐标信息和候选框坐标信息，得到候选区域各自对应的第一相对位置特征。
这里，由于变电站中的各个变压器元件的位置相对固定，因此，各个变压器元件之间的相对位置关系相对固定，故这里考虑不同变压器元件之间的相对位置关系，以使在对目标图像中的各个变压器元件进行检测时，可以借助于各个变压器元件的相对位置来实现对各个变压器元件的定位，例如，在确定目标图像中的具有较大尺寸的变压器元件后，在较大尺寸的变压器元件的周围搜索具有较小尺寸的变压器元件。换句话说，这里对目标图像中的各个变压器元件不是同时检测的，而是以迭代的方式检测的，因此，在本步骤中通过根据实物坐标信息和候选框坐标信息，得到候选区域各自对应的第一相对位置特征，能够便于后续步骤中通过第一相对位置特征对初始概率信息和初始坐标信息进行迭代细化。
需要说明的是，根据实物坐标信息和候选框坐标信息，能够得到候选区域对应的第一相对位置，再根据第一相对位置即可得到候选区域各自对应的第一相对位置特征。
示例性的，一变压器元件对应的实物坐标信息包括在中心点在X轴上的坐标、中心点在Y轴上的坐标/>、宽度/>和高度/>，候选区域对应的候选框坐标信息包括在中心点在X轴上的坐标/>、中心点在Y轴上的坐标/>，宽度/>和高度/>，则候选区域对应的第一相对位置可以通过如下公式进行计算：
，/>，/>，/>，其中，/>为候选区域在第一相对位置上的中心点在X轴上的坐标，/>为候选区域在第一相对位置上的中心点在Y轴上的坐标，为候选区域在第一相对位置上的宽度，/>为候选区域在第一相对位置上的高度。其中，通过/>和/>作为公式中的分母能够避免变压器元件和用于拍摄目标图像的相机之间的距离的影响。
S430、根据第一相对位置特征、初始概率信息和初始坐标信息输入至基于决策树的随机森林模型中，得到各个候选区域对应的判别概率信息和判别坐标信息。
这里，将第一相对位置特征输入至基于决策树的随机森林模型中，能够对各个变压器元件的检测结果迭代细化，以使最终获得的各个候选区域对应的判别概率信息和判别坐标信息更加准确。
由于，第一相对位置特征为多元信息，在通过随机森林模型对第一相对位置特征进行细化过程中通常只检测到部分变压器元件，因此，候选区域的相对位置特征总是包含缺失值，故这里选用基于决策树的随机森林模型对第一相对位置特征进行分析，能够实现对缺失值具有鲁棒性，不需要手动填充缺失值。
例如，如图 3 所示，这里向基于决策树的随机森林模型输入的有四个训练样本和两类变压器元件（即 k=2），样本一中不包含类别一对应的变压器元件，而样本四中不包含类别二对应的变压器元件，可见图 3 中的每一列中均缺少一个第一相对位置特征对应的特征值，则该特征值只会丢失一个用于评估的值，而该列中的其他特征值仍然可以有效地评估该特征。因此，这里通过在决策树上的树节点上选择一个特征来划分样本并划分出新的节点。因此，根据分割标准依次单独检查每个特征。这里以要素为例，其分割点是通过双分区选择的。在不失一般性的情况下，考虑一个分割点/>（即，如果样本的/>值小于，则该样本将被分配给左侧子节点，否则将被分配到右侧子节点），并选择/>指数作为分割标准，则用于检查分割点/>的指数计算为：
（1）
其中，是可用训练样本的总数，/>是分配给左子节点的可用训练样本数量，/>是分配给右侧子节点的可用训练样本数量，/>是分配到左子节点的有效训练样本的标签集，是分配到右侧子节点的有效训练样本的标签集，/>是标签集/>的/>索引。
其中，对于特征，存在三个可用的训练样本（即，a＝3）：样本二、样本三和样本四，因此，/>、/>和/>是可用的特征值。此外，可以使用代理拆分等方法将不可用样本（即样本一）分配给左侧或右侧子节点。类似地，可以用同样的方式检查其他特征，因此，可用的特征值是图3中虚线框中的特征值，没有浪费任何特征值。
尽管单独检查每个特征对于处理缺失值是有效的，但当划分边界复杂时，这也会导致样本需要划分太多次的问题。为了解决这个问题，这里建立了多元决策树，通过在每个树节点上，不使用一个特征来划分样本，而是同时使用同一类别的四个特征（例如，、/>、/>和/>），并采用它们的线性组合（表示为/>（/>，/>，/>，/>）用于/>、/>、/>和/>，可以使用最小二乘法等计算）进行划分。将/>（/>，/>，/>，/>）的分割点表示为/>（/>，，/>，/>），然后在检查分割点时使用的索引计算为：
(2)
其中，、/>、/>、/>、/>和/>与公式（1）的含义相同，但训练样本是根据/>（，/>，/>，/>）而不是/>分配给左或右侧子节点的。
对于四个要素、/>、/>和/>，仍有三个可用的训练样本（即/>=3）：样本二、样本三和样本四。类似地，类别二的四个特征可以以相同的方式进行检查，因此，可用的特征值是图3中虚线框中的特征值，没有浪费任何特征值。
需要说明的是，如图4所示，对于单变量决策树，可用的特征值是虚线框中的值。而这里的样本二包含特征和/>上的缺失值，所以它不能参与/>（/>，/>，/>，/>）的计算，因此，样本二是类别一中对应的四个特征的不可用训练样本，可用特征值是虚线框中的值，其中，特征值/>和/>被浪费。然而，这里通过将决策树选用为多元决策树则不会导致这些特征值的浪费，同时，多元决策树还可以同时考虑多个特征，以适应复杂的划分边界。
这里的基于决策树的随机森林模型中使用的决策树算法是分类算法和回归树（CART）算法，该基于决策树的随机森林模型包括决策树分类器和回归器，以使该基于决策树的随机森林模型用于细化判别概率信息和判别坐标信息。其中，在CART算法中，测试样本的精细坐标被预测为训练样本在相应叶节点中的真实坐标的平均值。然而，CART坐标在图像中是连续的，因此简单地取平均值会离散坐标并降低精度。为了更准确地预测坐标，则在每个叶节点中，用训练样本建立了一个线性回归模型，并用它来预测测试样本的精细坐标。以坐标x的精化为例，假设一个叶节点中有r个训练样本，每个训练样本的特征为4+4k维（RPN结构输出的坐标为4维，以及第一相对位置特征的4k维）。由于第一相对位置特征可能包含缺失值，在这里只提取坐标的4个维度（即：，/>，/>，/>），并将多变量线性回归构造为：，其中，/>表示精确坐标，样本的真实坐标/>用作其标签（、/>、/>也是如此），参数b0至b4是通过r个训练样本用最小二乘法拟合。基于叶节点中的线性回归模型，当具有（4+4k）维特征的测试样本被分配给叶节点时，其精细坐标可以通过回归树算法被预测出来。
在一些可能实现的实施例中，类别结果检测模块包括第一分类回归网络、第二分类回归网络和第二随机森林模型；相应地，根据第一预设尺度的特征图像、第二预设尺度的特征图像和目标候选区域确定各个目标候选区域对应的目标识别结果，可以包括如下步骤：
S510、将第一预设尺度的特征图像和目标候选区域输入至第一分类回归网络，得到目标候选区域对应的第一预测信息；第一预测信息包括第一类别概率信息和第一位置信息。
S520、将第二预设尺度的特征图像和目标候选区域输入至第二分类回归网络，得到目标候选区域对应的第二预测信息；第二预测信息包括第二类别概率信息和第二位置信息。
S530、将第一预测信息和第二预测信息输入至第二随机森林模型中，得到目标候选区域对应的目标识别结果。
在本实施例中，通过将第一预测信息和第二预测信息输入至第一随机森林模型中，能够对第一预测信息和第二预测信息进行细化，以得到目标候选区域对应的准确的目标识别结果。
在一些可能实现的实施例中，第一分类回归网络包括第一ROI池化层、第一类别概率预测结构和第一边框回归定位结构；将第一预设尺度的特征图像和目标候选区域输入至第一分类回归网络，得到目标候选区域对应的第一预测信息，可以包括如下步骤：
S610、将第一预设尺度的特征图像和目标候选区域输入至第一ROI池化层，得到目标候选区域对应的第一目标特征图。
S620、将第一目标特征图输入至第一类别概率预测结构，得到第一类别概率信息。
这里的第一类别概率预测结构可以为softmax分类器，第一ROI池化层和第一类别概率预测结构之间设有多个全连接层。
S630、将第一目标特征图输入至第一边框回归定位结构，得到第一位置信息。
这里，通过将第一分类回归网络选用包括第一ROI池化层、第一类别概率预测结构和第一边框回归定位结构的结构，能够使第一预设尺度的特征图像输入至该第一分类回归网络后，快速得到目标候选区域对应的第一预测信息。
相应地，第二分类回归网络包括第二ROI池化层、第二类别概率预测结构和第二边框回归定位结构；将第二预设尺度的特征图像和目标候选区域输入至第二分类回归网络，得到目标候选区域对应的第二预测信息，可以包括如下步骤：
S710、将第二预设尺度的特征图像和目标候选区域输入至第二ROI池化层，得到目标候选区域对应的第二目标特征图；
S720、将第二目标特征图输入至第二类别概率预测结构，得到第二类别概率信息。
这里的，第二类别概率预测结构可以为softmax分类器。第二ROI池化层和第二类别概率预测结构之间设有多个全连接层。
S730、将第二目标特征图输入至第二边框回归定位结构，得到第二位置信息。
这里，通过将第二分类回归网络选用包括第二ROI池化层、第二类别概率预测结构和第二边框回归定位结构的结构，能够使第二预设尺度的特征图像输入至该第二分类回归网络后，快速得到目标候选区域对应的第二预测信息。
进一步的，第二随机森林模型为基于决策树的随机森林模型；相应地，将第一预测信息和第二预测信息输入至第二随机森林模型中，得到目标候选区域对应的目标识别结果，可以包括如下步骤：
S810、获取各个变压器元件各自对应的实物坐标信息、以及目标候选区域各自对应的目标候选框坐标信息。
S820、根据实物坐标信息和目标候选框坐标信息，得到目标候选区域各自对应的第二相对位置特征。
这里，对目标候选区域各自对应的第二相对位置特征的计算可以参考步骤S420中的根据实物坐标信息和候选框坐标信息对候选区域各自对应的第一相对位置特征的计算，因此，这里不对此进行一一赘述。
S830、根据第一预设权重值对第一预测信息的加权结果、以及第二预设权重值对第二预测信息的加权结果，得到加权预测信息。
其中，第一预设权重值和第二预设权重值是通过如下公式计算得到的：
；
其中，为第一预设权重值，/>为第二预设权重值，/>为目标图像的图像最初尺寸，/>为目标候选区域的目标框尺寸。
由于，通过ResNet-50网络结构处于不同位置的卷积层生成的第一预设尺度的特征图像和第二预设尺度的特征图像能够用于对不同尺寸的变压器元件的检测。若用于输出第一预设尺度的特征图像的卷积层的位置在用于输出第二预设尺度的特征图像的卷积层的位置之后，则第一预设尺度的特征图像的特征级别更高，其有利于对目标图像中的大尺寸的变压器元件进行的特征提取，但在在对目标图像进行特征提取时，卷积过程中会导致目标图像的小尺寸对象的信息丢失过多。相反，第二预设尺度的特征图像具有更高的分辨率和更少的信息损失，但第二预设尺度的特征图像的特征级别相对较低，并且第二预设尺度的特征图像的特征对于大尺寸对象可能不够具体；因此，这里为了使第一预设尺度的特征图像和第二预设尺度的特征图像能够动态调整不同的对象尺寸，则基于第一预设尺度的特征图像和第二预设尺度的特征图像分别对应生成第一预测信息和第二预测信息，然后根据第一预设权重值和第二预设权重值分别对第一预测信息和第二预测信息进行加权，再根据第一预测信息的加权结果和第二预测信息的加权结果求和所得到的加权预测信息，可以在对目标候选区域对应的对象检测过程中根据目标候选区域对应的对象大小动态变化来调整。
S840、将第二相对位置特征和加权预测信息输入至基于决策树的随机森林模型中，得到目标识别结果。
需要说明的是，这里选用的基于决策树的随机森林模型可以与步骤S430选用的基于决策树的随机森林模型相同，因此，本步骤中对基于决策树的选择原理不再作一一赘述。
这里，将第二相对位置特征和加权预测信息输入至基于决策树的随机森林模型中，能够对各个变压器元件的检测结果迭代细化，以使最终获得目标候选区域对应的目标识别结果更加准确。
图5是本发明提供的一个实施例的变压器元件检测装置的示意图。如图5所示，变压器元件检测装置900包括：
获取模块910，用于获取目标图像；目标图像中包括待检测的变压器元件；
图像输入模块920，用于将目标图像输入至预设的检测模型中，得到目标识别结果；预设的检测模型用于从目标图像中提取出第一预设尺度的特征图像和第二预设尺度的特征图像，并根据第一预设尺度的特征图像输出目标图像中的各个变压器元件各自对应的目标候选区域，再根据第一预设尺度的特征图像、第二预设尺度的特征图像和目标候选区域确定各个目标候选区域对应的目标识别结果；
检测结果确定模块930，用于根据目标识别结果，确定出目标图像中的各个变压器元件的类别信息和位置信息。
在一些可实现方式中，预设的检测模型包括基于改进的Faster R-CNN的神经网络模型，基于改进的Faster R-CNN的神经网络模型包括：
特征提取模块，用于从目标图像中提取出第一预设尺度的特征图像和第二预设尺度的特征图像；
目标候选区域生成模块，用于根据第一预设尺度的特征图像输出目标图像中的各个变压器元件各自对应的目标候选区域；
类别结果检测模块，用于根据第一预设尺度的特征图像、第二预设尺度的特征图像和目标候选区域确定各个目标候选区域对应的目标识别结果。
在一些可实现方式中，特征提取模块包括第一CNN模块和第二CNN模块；第一CNN模块包括第一预设数量个第一卷积层；第二CNN模块包括第二预设数量个第二卷积层；第一卷积层的卷积核大小小于第二卷积层的卷积核大小；相应地，特征提取模块包括：
第一特征提取单元，用于将目标图像输入第一CNN模块进行特征提取，得到第一预设尺度的特征图像；
第二特征提取单元，用于将目标图像输入第二CNN模块进行特征提取，得到第二预设尺度的特征图像；
目标候选区域生成模块包括RPN网络结构、第一随机森林模型和区域确定模块，相应地，目标候选区域生成模块包括：
候选区域选取单元，用于将第一预设尺度的特征图像输入至RPN网络结构，得到各个候选区域的初始概率信息和初始坐标信息；
第一判别单元，用于将初始概率信息和初始坐标信息输入至第一随机森林模型中，得到各个候选区域对应的判别概率信息和判别坐标信息；
目标候选区域确定单元，用于将判别概率信息和判别坐标信息输入至区域确定模块中，以从各个候选区域中确定出目标候选区域。
在一些可实现方式中，第一随机森林模型包括基于决策树的随机森林模型；相应地，第一判别单元包括：
第一获取子单元，用于获取各个变压器元件各自对应的实物坐标信息、以及各个候选区域各自对应的候选框坐标信息；
第一相对位置特征计算子单元，用于根据实物坐标信息和候选框坐标信息，得到候选区域各自对应的第一相对位置特征；
第一判别子单元，用于将第一相对位置特征、初始概率信息和初始坐标信息输入至基于决策树的随机森林模型中，得到各个候选区域对应的判别概率信息和判别坐标信息。
在一些可实现方式中，类别结果检测模块包括第一分类回归网络、第二分类回归网络和第二随机森林模型；相应地，类别结果检测模块包括：
第一预测信息计算单元，用于将第一预设尺度的特征图像和目标候选区域输入至第一分类回归网络，得到目标候选区域对应的第一预测信息；第一预测信息包括第一类别概率信息和第一位置信息；
第二预测信息计算单元，用于将第二预设尺度的特征图像和目标候选区域输入至第二分类回归网络，得到目标候选区域对应的第二预测信息；第二预测信息包括第二类别概率信息和第二位置信息；
类别结果获取单元，用于将第一预测信息和第二预测信息输入至第二随机森林模型中，得到目标候选区域对应的目标识别结果。
在一些可实现方式中，第一分类回归网络包括第一ROI池化层、第一类别概率预测结构和第一边框回归定位结构；第一预测信息计算单元包括：
第一目标特征图提取子单元，用于将第一预设尺度的特征图像和目标候选区域输入至第一ROI池化层，得到目标候选区域对应的第一目标特征图；
第一类别概率信息预测子单元，用于将第一目标特征图输入至第一类别概率预测结构，得到第一类别概率信息；
第一位置信息确定子单元，用于将第一目标特征图输入至第一边框回归定位结构，得到第一位置信息；
第二分类回归网络包括第二ROI池化层、第二类别概率预测结构和第二边框回归定位结构；第二预测信息计算单元包括：
第二目标特征图提取子单元，用于将第二预设尺度的特征图像和目标候选区域输入至第二ROI池化层，得到目标候选区域对应的第二目标特征图；
第二类别概率信息预测子单元，用于将第二目标特征图输入至第二类别概率预测结构，得到第二类别概率信息；
第二位置信息确定子单元，用于将第二目标特征图输入至第二边框回归定位结构，得到第二位置信息。
在一些可实现方式中，第二随机森林模型为基于决策树的随机森林模型；相应地，类别结果获取单元包括：
第一加权计算子单元，用于根据第一预设权重值对第一预测信息进行加权处理，得到第一加权结果；
第二加权计算子单元，用于根据第二预设权重值对第二预测信息分别进行加权处理，得到第二加权结果；
第一相对位置特征计算子单元，用于根据第二相对位置特征对第一加权结果和第二加权结果进行计算，得到目标候选区域的相对位置对应的第三预测信息；
目标识别结果获取子单元，用于将第三预测信息输入至基于决策树的随机森林模型中，得到目标识别结果；
第二获取子单元，用于获取各个变压器元件各自对应的实物坐标信息、以及目标候选区域各自对应的目标候选框坐标信息；
第二相对位置特征计算子单元，用于根据实物坐标信息和目标候选框坐标信息，得到目标候选区域各自对应的第二相对位置特征；
加权计算子单元，用于根据第一预设权重值对第一预测信息的加权结果、以及第二预设权重值对第二预测信息的加权结果，得到加权预测信息；
目标识别结果确定子单元，用于将第二相对位置特征和加权预测信息输入至基于决策树的随机森林模型中，得到目标识别结果；
其中，第一预设权重值和第二预设权重值是通过如下公式计算得到的：
；
其中，为第一预设权重值，/>为第二预设权重值，/>为目标图像的图像最初尺寸，/>为目标候选区域的目标框尺寸。
应理解的是，装置实施例与变压器元件检测方法实施例可以相互对应，类似的描述可以参照变压器元件检测方法实施例。为避免重复，此处不再赘述。具体地，图5所示的变压器元件检测装置900可以执行上述变压器元件检测方法实施例，并且变压器元件检测装置900中的各个模块的前述和其它操作和/或功能分别为了实现上述变压器元件检测方法中的相应流程，为了简洁，在此不再赘述。
上文中结合附图从功能模块的角度描述了本发明实施例的变压器元件检测装置900。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本发明实施例中的变压器元件检测方法以及检测方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本发明实施例公开的变压器元件检测方法以及检测方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述变压器元件检测方法以及检测方法实施例中的步骤。
图6是本发明提供的一个实施例的电子设备110的示意性框图。
如图6所示，该电子设备110可包括：
存储器1110和处理器1120，该存储器1110用于存储计算机程序，并将该程序代码传输给该处理器1120。换言之，该处理器1120可以从存储器1110中调用并运行计算机程序，以实现本发明实施例中的方法。
例如，该处理器1120可用于根据该计算机程序中的指令执行上述方法实施例。
在本发明的一些实施例中，该处理器1120可以包括但不限于：
通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本发明的一些实施例中，该存储器1110包括但不限于：
易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器（Read-Only Memory，ROM）、可编程只读存储器（Programmable ROM，PROM）、可擦除可编程只读存储器（Erasable PROM，EPROM）、电可擦除可编程只读存储器（Electrically EPROM，EEPROM）或闪存。易失性存储器可以是随机存取存储器（Random Access Memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，SRAM）、动态随机存取存储器（Dynamic RAM，DRAM）、同步动态随机存取存储器（Synchronous DRAM，SDRAM）、双倍数据速率同步动态随机存取存储器（Double DataRate SDRAM，DDR SDRAM）、增强型同步动态随机存取存储器（Enhanced SDRAM，ESDRAM）、同步连接动态随机存取存储器（Synch link DRAM，SLDRAM）和直接内存总线随机存取存储器（Direct Rambus RAM，DR RAM）。
在本发明的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器1110中，并由该处理器1120执行，以完成本发明提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该控制器中的执行过程。
如图6所示，该电子设备110还可包括：
收发器1130，该收发器1130可连接至该处理器1120或存储器1110。
其中，处理器1120可以控制该收发器1130与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器1130可以包括发射机和接收机。收发器1130还可以进一步包括天线，天线的数量可以为一个或多个。
应当理解，该电子设备中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
本发明还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本发明提供的一个实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本发明实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（Digital Subscriber Line，DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如数字视频光盘（Digital Video Disc，DVD））、或者半导体介质（例如固态硬盘（Solid State Disk，SSD））等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
以上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以该权利要求的保护范围为准。

Claims (10)

1.一种变压器元件检测方法，其特征在于，包括：
获取目标图像；所述目标图像中包括待检测的变压器元件；
将所述目标图像输入至预设的检测模型中，得到目标识别结果；所述预设的检测模型用于从所述目标图像中提取出第一预设尺度的特征图像和第二预设尺度的特征图像，并根据所述第一预设尺度的特征图像输出所述目标图像中的各个变压器元件各自对应的目标候选区域，再根据所述第一预设尺度的特征图像、所述第二预设尺度的特征图像和所述目标候选区域确定各个所述目标候选区域对应的目标识别结果；
根据所述目标识别结果，确定出所述目标图像中的各个所述变压器元件的类别信息和位置信息。
2.根据权利要求1所述的变压器元件检测方法，其特征在于，所述预设的检测模型包括基于改进的Faster R-CNN的神经网络模型，所述基于改进的Faster R-CNN的神经网络模型包括：
特征提取模块，用于从所述目标图像中提取出所述第一预设尺度的特征图像和所述第二预设尺度的特征图像；
目标候选区域生成模块，用于根据所述第一预设尺度的特征图像输出所述目标图像中的各个变压器元件各自对应的目标候选区域；
类别结果检测模块，用于根据所述第一预设尺度的特征图像、所述第二预设尺度的特征图像和所述目标候选区域确定各个所述目标候选区域对应的目标识别结果。
3.根据权利要求2所述的变压器元件检测方法，其特征在于，所述特征提取模块包括第一CNN模块和第二CNN模块；所述第一CNN模块包括第一预设数量个第一卷积层；所述第二CNN模块包括第二预设数量个第二卷积层；所述第一卷积层的卷积核大小小于所述第二卷积层的卷积核大小；相应地，所述从所述目标图像中提取出所述第一预设尺度的特征图像和所述第二预设尺度的特征图像，包括：
将所述目标图像输入所述第一CNN模块进行特征提取，得到所述第一预设尺度的特征图像；
将所述目标图像输入所述第二CNN模块进行特征提取，得到所述第二预设尺度的特征图像；
所述目标候选区域生成模块包括RPN网络结构、第一随机森林模型和区域确定模块，相应地，所述根据所述第一预设尺度的特征图像输出所述目标图像中的各个变压器元件各自对应的目标候选区域，包括：
将所述第一预设尺度的特征图像输入至所述RPN网络结构，得到各个候选区域的初始概率信息和初始坐标信息；
将所述初始概率信息和所述初始坐标信息输入至所述第一随机森林模型中，得到各个所述候选区域对应的判别概率信息和判别坐标信息；
将所述判别概率信息和所述判别坐标信息输入至所述区域确定模块中，以从各个所述候选区域中确定出所述目标候选区域。
4.根据权利要求3所述的变压器元件检测方法，其特征在于，所述第一随机森林模型包括基于决策树的随机森林模型；相应地，所述将所述初始概率信息和所述初始坐标信息输入至所述第一随机森林模型中，得到各个所述候选区域对应的判别概率信息和判别坐标信息，包括：
获取各个所述变压器元件各自对应的实物坐标信息、以及各个所述候选区域各自对应的候选框坐标信息；
根据所述实物坐标信息和所述候选框坐标信息，得到所述候选区域各自对应的第一相对位置特征；
将所述第一相对位置特征、所述初始概率信息和所述初始坐标信息输入至所述基于决策树的随机森林模型中，得到各个所述候选区域对应的判别概率信息和判别坐标信息。
5.根据权利要求2所述的变压器元件检测方法，其特征在于，所述类别结果检测模块包括第一分类回归网络、第二分类回归网络和第二随机森林模型；相应地，所述根据所述第一预设尺度的特征图像、所述第二预设尺度的特征图像和所述目标候选区域确定各个所述目标候选区域对应的目标识别结果，包括：
将所述第一预设尺度的特征图像和所述目标候选区域输入至所述第一分类回归网络，得到所述目标候选区域对应的第一预测信息；所述第一预测信息包括第一类别概率信息和第一位置信息；
将所述第二预设尺度的特征图像和所述目标候选区域输入至所述第二分类回归网络，得到所述目标候选区域对应的第二预测信息；所述第二预测信息包括第二类别概率信息和第二位置信息；
将所述第一预测信息和所述第二预测信息输入至所述第二随机森林模型中，得到所述目标候选区域对应的目标识别结果。
6.根据权利要求5所述的变压器元件检测方法，其特征在于，所述第一分类回归网络包括第一ROI池化层、第一类别概率预测结构和第一边框回归定位结构；相应地，所述将所述第一预设尺度的特征图像和所述目标候选区域输入至所述第一分类回归网络，得到所述目标候选区域对应的第一预测信息，包括：
将所述第一预设尺度的特征图像和所述目标候选区域输入至所述第一ROI池化层，得到所述目标候选区域对应的第一目标特征图；
将所述第一目标特征图输入至所述第一类别概率预测结构，得到所述第一类别概率信息；
将所述第一目标特征图输入至所述第一边框回归定位结构，得到所述第一位置信息；
所述第二分类回归网络包括第二ROI池化层、第二类别概率预测结构和第二边框回归定位结构；相应地，所述将所述第二预设尺度的特征图像和所述目标候选区域输入至所述第二分类回归网络，得到所述目标候选区域对应的第二预测信息，包括：
将所述第二预设尺度的特征图像和所述目标候选区域输入至所述第二ROI池化层，得到所述目标候选区域对应的第二目标特征图；
将所述第二目标特征图输入至所述第二类别概率预测结构，得到所述第二类别概率信息；
将所述第二目标特征图输入至所述第二边框回归定位结构，得到所述第二位置信息。
7.根据权利要求5所述的变压器元件检测方法，其特征在于，所述第二随机森林模型为基于决策树的随机森林模型；相应地，所述将所述第一预测信息和所述第二预测信息输入至所述第二随机森林模型中，得到所述目标候选区域对应的目标识别结果，包括：
获取各个所述变压器元件各自对应的实物坐标信息、以及所述目标候选区域各自对应的目标候选框坐标信息；
根据所述实物坐标信息和所述目标候选框坐标信息，得到所述目标候选区域各自对应的第二相对位置特征；
根据第一预设权重值对所述第一预测信息的加权结果、以及第二预设权重值对所述第二预测信息的加权结果，得到加权预测信息；
将所述第二相对位置特征和所述加权预测信息输入至所述基于决策树的随机森林模型中，得到所述目标识别结果；
其中，所述第一预设权重值和所述第二预设权重值是通过如下公式计算得到的：
；
其中，为第一预设权重值，/>为第二预设权重值，/>为所述目标图像的图像最初尺寸，/>为所述目标候选区域的目标框尺寸。
8.一种变压器元件检测装置，其特征在于，包括：
获取模块，用于获取目标图像；所述目标图像中包括待检测的变压器元件；
图像输入模块，用于将所述目标图像输入至预设的检测模型中，得到目标识别结果；所述预设的检测模型用于从所述目标图像中提取出第一预设尺度的特征图像和第二预设尺度的特征图像，并根据所述第一预设尺度的特征图像输出所述目标图像中的各个变压器元件各自对应的目标候选区域，再根据所述第一预设尺度的特征图像、所述第二预设尺度的特征图像和所述目标候选区域确定各个所述目标候选区域对应的目标识别结果；
检测结果确定模块，用于根据所述目标识别结果，确定出所述目标图像中的各个所述变压器元件的类别信息和位置信息。
9.一种电子设备，其特征在于，包括：
处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1-7中任一项所述的方法。
CN202410339692.6A 2024-03-25 2024-03-25 变压器元件检测方法、装置、电子设备和存储介质 Active CN117934486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410339692.6A CN117934486B (zh) 2024-03-25 2024-03-25 变压器元件检测方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410339692.6A CN117934486B (zh) 2024-03-25 2024-03-25 变压器元件检测方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN117934486A true CN117934486A (zh) 2024-04-26
CN117934486B CN117934486B (zh) 2024-06-07

Family

ID=90761277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410339692.6A Active CN117934486B (zh) 2024-03-25 2024-03-25 变压器元件检测方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN117934486B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944369A (zh) * 2017-11-17 2018-04-20 大连大学 一种基于级联区域生成网络和增强随机森林的行人检测方法
CN111368625A (zh) * 2019-11-08 2020-07-03 深圳北航新兴产业技术研究院 一种基于级联优化的行人目标检测方法
CN112016569A (zh) * 2020-07-24 2020-12-01 驭势科技(南京)有限公司 基于注意力机制的目标检测方法、网络、设备和存储介质
WO2021017998A1 (zh) * 2019-07-26 2021-02-04 第四范式（北京）技术有限公司 文本位置定位方法和系统以及模型训练方法和系统
CN112507888A (zh) * 2020-12-11 2021-03-16 北京建筑大学 建筑物识别方法及装置
WO2022083402A1 (zh) * 2020-10-22 2022-04-28 腾讯科技（深圳）有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN116563900A (zh) * 2022-01-22 2023-08-08 北京眼神智能科技有限公司 人脸检测方法、装置、存储介质及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944369A (zh) * 2017-11-17 2018-04-20 大连大学 一种基于级联区域生成网络和增强随机森林的行人检测方法
WO2021017998A1 (zh) * 2019-07-26 2021-02-04 第四范式（北京）技术有限公司 文本位置定位方法和系统以及模型训练方法和系统
CN111368625A (zh) * 2019-11-08 2020-07-03 深圳北航新兴产业技术研究院 一种基于级联优化的行人目标检测方法
CN112016569A (zh) * 2020-07-24 2020-12-01 驭势科技(南京)有限公司 基于注意力机制的目标检测方法、网络、设备和存储介质
WO2022083402A1 (zh) * 2020-10-22 2022-04-28 腾讯科技（深圳）有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN112507888A (zh) * 2020-12-11 2021-03-16 北京建筑大学 建筑物识别方法及装置
CN116563900A (zh) * 2022-01-22 2023-08-08 北京眼神智能科技有限公司 人脸检测方法、装置、存储介质及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
代小红;陈华江;朱超平;: "一种基于改进Faster RCNN的金属材料工件表面缺陷检测与实现研究", 表面技术, no. 10, 20 October 2020 (2020-10-20), pages 362 - 371 *

Also Published As

Publication number Publication date
CN117934486B (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
CN111079570B (zh) 一种人体关键点识别方法、装置及电子设备
CN109815770B (zh) 二维码检测方法、装置及系统
CN111368636B (zh) 目标分类方法、装置、计算机设备和存储介质
CN109740617A (zh) 一种图像检测方法及装置
CN114299034A (zh) 一种缺陷检测模型的训练方法、缺陷检测方法及装置
CN111597945B (zh) 一种目标检测方法、装置、设备及介质
CN109934216B (zh) 图像处理的方法、装置、计算机可读存储介质
CN114140683A (zh) 一种航拍图像目标检测的方法、设备与介质
CN112749726B (zh) 目标检测模型的训练方法、装置、计算机设备和存储介质
CN111815576B (zh) 金属部件腐蚀状况检测方法、装置、设备和存储介质
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN109325539A (zh) 绝缘子掉串检测方法及装置
CN110135428B (zh) 图像分割处理方法和装置
CN111242017A (zh) 一种多标线的路面裂缝识别方法、装置、设备及存储介质
CN112419243B (zh) 一种基于红外图像分析的配电房设备故障识别方法
CN116542980B (zh) 缺陷检测方法、装置、计算机设备、存储介质和程序产品
KR102260556B1 (ko) 전역 정보와 지역 정보 통합을 통한 딥러닝 기반 주차구획 검출 방법 및 장치
CN117474918A (zh) 异常检测方法和装置、电子设备以及存储介质
CN117934486B (zh) 变压器元件检测方法、装置、电子设备和存储介质
CN112966762A (zh) 一种野生动物检测方法、装置、存储介质及电子设备
CN116310899A (zh) 基于YOLOv5改进的目标检测方法及装置、训练方法
CN114445716B (zh) 关键点检测方法、装置、计算机设备、介质及程序产品
CN116258873A (zh) 一种位置信息确定方法、对象识别模型的训练方法及装置
CN112199984B (zh) 一种大尺度遥感图像的目标快速检测方法
CN110992257B (zh) 基于深度学习的遥感影像敏感信息自动屏蔽方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant