CN115311542A - 一种目标检测方法、装置、设备和介质 - Google Patents

一种目标检测方法、装置、设备和介质 Download PDF

Info

Publication number
CN115311542A
CN115311542A CN202211025122.7A CN202211025122A CN115311542A CN 115311542 A CN115311542 A CN 115311542A CN 202211025122 A CN202211025122 A CN 202211025122A CN 115311542 A CN115311542 A CN 115311542A
Authority
CN
China
Prior art keywords
feature
detected
picture
feature maps
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211025122.7A
Other languages
English (en)
Other versions
CN115311542B (zh
Inventor
赵建伦
严成才
张章
谢玉成
赵毅恒
黄晟
何茂丽
张乐心
杨炜锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hengsheng Electronic Technology Co ltd
Original Assignee
Hangzhou Hengsheng Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hengsheng Electronic Technology Co ltd filed Critical Hangzhou Hengsheng Electronic Technology Co ltd
Priority to CN202211025122.7A priority Critical patent/CN115311542B/zh
Publication of CN115311542A publication Critical patent/CN115311542A/zh
Application granted granted Critical
Publication of CN115311542B publication Critical patent/CN115311542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种目标检测方法、装置、设备和介质，其方法包括：获取待检测图片；其中，待检测图片包括电力信息图像；对待检测图片进行特征提取，得到多个不同大小的第一特征图；对多个不同大小的第一特征图进行自适应注意力计算，得到多个不同尺度的第二特征图；对多个不同尺度的第二特征图进行特征融合，得到融合特征图；对融合特征图进行多个电力信息的故障状态检测，得到检测结果。进行自适应注意力计算，使得不同尺度的第二特征图具有丰富的多尺度上下文信息，在一定程度上缓解了由于通道数减少而造成的信息丢失，提高了目标检测的精度。

Description

一种目标检测方法、装置、设备和介质
技术领域
本申请涉及目标检测的技术领域，尤其是涉及一种目标检测方法、装置、设备和介质。
背景技术
在传统的目标图像检测方法中，主流方法是由人工去进行批量的审核，这样随着信息流数据量的增大，人工成本和压力也与日俱增，因此依靠人工进行检测的方法变得不再现实。当今，目标检测是计算机视觉和数字图像处理领域非常热门的一个方向，在机器人巡航、自动驾驶、工业监控、智慧安防等诸多领域，均有广泛应用，可以为公司减少一定的人力成本。
相关技术中，目标检测算法中yolov5算法在灵活性和速度上远超其他算法，基于算法部署的成本考虑，yolov5算法得到了目标检测领域的广泛应用，然而，在使用yolov5算法进行目标检测时，由于受限于卷积层的局部特征影响，在目标检测上存在部分精度上限。
因此，如何提升目标检测时的精度是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种目标检测方法、装置、设备和介质，用于解决以上至少一项技术问题。
本申请的上述发明目的是通过以下技术方案得以实现的：
第一方面，本申请提供一种目标检测方法，采用如下的技术方案：
一种目标检测方法，所述方法包括：
获取待检测图片；其中，待检测图片包括电力信息图像，其中，电力信息图像包括以下任意一种或者多种：电流端子图像、电压端子图像、出口端子图像、电压板图像；
对所述待检测图片进行特征提取，得到多个不同大小的第一特征图；
对多个不同大小的所述第一特征图进行自适应注意力计算，得到多个不同尺度的第二特征图；
对多个所述不同尺度的第二特征图进行特征融合，得到融合特征图；
对所述融合特征图进行多个电力信息的故障状态检测，得到检测结果。
通过采用上述技术方案，获取待检测图片，对待检测图片进行特征提取，得到不同大小的第一特征图。对不同大小的第一特征图进行自适应注意力计算，得到不同尺度的第二特征图。对不同尺度的第二特征图进行特征融合，并对融合特征图进行多个电力信息的故障状态检测，得到检测结果。进行自适应注意力计算，使得不同尺度的第二特征图具有丰富的多尺度上下文信息，在一定程度上缓解了由于通道数减少而造成的信息丢失，提高了目标检测的精度。
本申请在一较佳示例中可以进一步配置为：所述获取待检测图片，包括：
获取初始待检测图片；
对所述初始待检测图片进行预处理，得到待检测图片；
其中所述预处理包括以下任意一种或者多种：缩放、裁剪、归一化、Mosaic数据增强。
通过采用上述技术方案，对初始待检测图片进行预处理，得到待检测图片，提高了目标检测的推理速度。
本申请在一较佳示例中可以进一步配置为：针对任一大小的第一特征图进行自适应注意力计算，得到任一尺度的第二特征图，包括：
对任一大小的第一特征图进行不同尺度池化，得到多个不同尺度的特征图；
针对每一尺度的特征图进行卷积，得到卷积后特征图，其中，所有尺度的特征图在进行卷积后的通道维数均相同；
利用双线性插值将通道维数相同的所有尺度的特征图上采样到相同尺度，得到多个维数尺度均相同的特征图；
将所述多个维数尺度均相同的特征图合并，得到合并特征图；
根据所述多个维数尺度均相同的特征图，生成各自对应的空间权值；
根据所有空间权值，得到权值映射特征图；
根据所述权值映射特征图与所述合并特征图进行Hadamard乘积操作，得到乘积合并特征图；将所述乘积合并特征图分离成多个乘积特征图，并根据所述多个乘积特征图与第一特征图聚合，得到任一尺度的第二特征图。
通过采用上述技术方案，对任一大小的第一特征图进行自适应注意力计算，得到任一尺度的第二特征图，最终得到的第二特征图具有丰富的多尺度上下文信息，使得特征更加明确精简。
本申请在一较佳示例中可以进一步配置为：所述对所述待检测图片进行特征提取，得到不同大小的第一特征图；对不同大小的所述第一特征图进行自适应注意力计算，得到不同尺度的第二特征图；对所述不同尺度的第二特征图进行特征融合，得到融合特征图；对所述融合特征图进行多个电力信息的故障状态检测，得到检测结果，是基于故障检测模型实现的；其中，所述故障检测模型的训练过程，包括：
获取待训练模型，其中，所述待训练模型为基于yolov5的模型，包括：backbone层、自适应注意力模块、neck层以及prediction层；backbone层能够进行特征提取，自适应注意力模块能够进行自适应注意力计算，neck层能够进行特征融合，prediction能够进行故障状态检测；
获取电流端子训练样本、电压端子训练样本、出口端子训练样本以及电压板训练样本；
基于所有训练样本对所述待训练模型进行训练，得到故障检测模型。
通过采用上述技术方案，获取待训练模型与电流端子训练样本、电压端子训练样本、出口端子训练样本以及电压板训练样本，基于所有训练样本对待训练模型进行训练，得到故障检测模型。基于大量的训练样本对训练模型进行训练，得到故障检测模型，提高了故障检测的准确度。
本申请在一较佳示例中可以进一步配置为：所述待训练模型中backbone层、neck层均包括CBL模块，CBL模块包括：
Conv卷积层、Bn批归一化、SMU激活函数。
通过采用上述技术方案，SMU激活函数效果更好，可以减少训练时神经元死亡的情况，进而得到的故障检测模型效果更好。
本申请在一较佳示例中可以进一步配置为：所述对所述融合特征图进行多个电力信息的状态检测，得到检测结果，包括：
对所述融合特征图进行多个电力信息的状态预测，得到多个电力信息状态对应的置信度；根据所述多个电力信息状态对应的置信度，确定检测结果。
通过采用上述技术方案，状态预测涵盖了所有电力信息状态可能出现的情况，并根据多个电力信息状态对应的置信度，确定检测结果，能够使得检测结果更加准确。
在一较佳示例中可以进一步配置为：所述获取待检测图片，包括：
获取初始待检测图片，判断所述初始待检测图片的尺寸是否满足预设尺寸；
若是，则将所述初始待检测图片确定为所述待检测图片；
若否，则将初始待检测图片分割，得到多张分割待检测图片，并将所述多张分割待检测图片确定为待检测图片。
通过采用上述技术方案，获取初始待检测图片，对初始待检测图片的尺寸不满足预设尺寸的图片进行分割，得到多张分割待检测图片，并将多张分割待检测图片确定为待检测图片。通过分割的方式缩小尺寸，能够减少待检测图片在压缩过程中损失信息，加强对小目标的检测。
第二方面，本申请提供一种目标检测装置，采用如下的技术方案：
目标检测装置，包括，
获取模块，用于获取待检测图片；其中，待检测图片包括电力信息图像，其中，电力信息图像包括以下任意一种或者多种：电流端子图像、电压端子图像、出口端子图像、电压板图像；特征提取模块，用于对所述待检测图片进行特征提取，得到多个不同大小的第一特征图；自适应注意力计算模块，用于对多个不同大小的所述第一特征图进行自适应注意力计算，得到多个不同尺度的第二特征图；
特征融合模块，用于对多个所述不同尺度的第二特征图进行特征融合，得到融合特征图；故障状态检测模块，用于对所述融合特征图进行多个电力信息的故障状态检测，得到检测结果。
通过采用上述技术方案，获取待检测图片，对待检测图片进行特征提取，得到不同大小的第一特征图。对不同大小的第一特征图进行自适应注意力计算，得到不同尺度的第二特征图。对不同尺度的第二特征图进行特征融合，并对融合特征图进行多个电力信息的故障状态检测，得到检测结果。进行自适应注意力计算，使得不同尺度的第二特征图具有丰富的多尺度上下文信息，在一定程度上缓解了由于通道数减少而造成的信息丢失，提高了目标检测的精度。
本申请在一较佳示例中可以进一步配置为：所述获取模块在执行获取待检测图片时，用于：
获取初始待检测图片；
对所述初始待检测图片进行预处理，得到待检测图片；
其中所述预处理包括以下任意一种或者多种：缩放、裁剪、归一化、Mosaic数据增强。
本申请在一较佳示例中可以进一步配置为：自适应注意力计算模块在执行针对任一大小的第一特征图进行自适应注意力计算，得到任一尺度的第二特征图时，用于：
对任一大小的第一特征图进行不同尺度池化，得到多个不同尺度的特征图；
针对每一尺度的特征图进行卷积，得到卷积后特征图，其中，所有尺度的特征图在进行卷积后的通道维数均相同；
利用双线性插值将通道维数相同的所有尺度的特征图上采样到相同尺度，得到多个维数尺度均相同的特征图；
将所述多个维数尺度均相同的特征图合并，得到合并特征图；
根据所述多个维数尺度均相同的特征图，生成各自对应的空间权值；
根据所有空间权值，得到权值映射特征图；
根据所述权值映射特征图与所述合并特征图进行Hadamard乘积操作，得到乘积合并特征图；将所述乘积合并特征图分离成多个乘积特征图，并根据所述多个乘积特征图与第一特征图聚合，得到任一尺度的第二特征图。
本申请在一较佳示例中可以进一步配置为：所述目标检测装置，还包括：
故障检测模型的训练模块，用于获取待训练模型，其中，所述待训练模型为基于yolov5的模型，包括：backbone层、自适应注意力模块、neck层以及prediction层；backbone层能够进行特征提取，自适应注意力模块能够进行自适应注意力计算，neck层能够进行特征融合，prediction能够进行故障状态检测；
获取电流端子训练样本、电压端子训练样本、出口端子训练样本以及电压板训练样本；
基于所有训练样本对所述待训练模型进行训练，得到故障检测模型。
本申请在一较佳示例中可以进一步配置为：所述待训练模型中backbone层、neck层均包括CBL模块，CBL模块包括：
Conv卷积层、Bn批归一化、SMU激活函数。
本申请在一较佳示例中可以进一步配置为：故障状态检测模块在执行对所述融合特征图进行多个电力信息的状态检测，得到检测结果时，用于：
对所述融合特征图进行多个电力信息的状态预测，得到多个电力信息状态对应的置信度；根据所述多个电力信息状态对应的置信度，确定检测结果。
第三方面，本申请提供一种电子设备，采用如下的技术方案：
至少一个处理器；
存储器；
至少一个应用程序，其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行上述的方法。
通过采用上述技术方案，获取待检测图片，对待检测图片进行特征提取，得到不同大小的第一特征图。对不同大小的第一特征图进行自适应注意力计算，得到不同尺度的第二特征图。对不同尺度的第二特征图进行特征融合，并对融合特征图进行多个电力信息的故障状态检测，得到检测结果。进行自适应注意力计算，使得不同尺度的第二特征图具有丰富的多尺度上下文信息，在一定程度上缓解了由于通道数减少而造成的信息丢失，提高了目标检测的精度。
第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：
一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令所述计算机执行上所述的方法。
通过采用上述技术方案，获取待检测图片，对待检测图片进行特征提取，得到不同大小的第一特征图。对不同大小的第一特征图进行自适应注意力计算，得到不同尺度的第二特征图。对不同尺度的第二特征图进行特征融合，并对融合特征图进行多个电力信息的故障状态检测，得到检测结果。进行自适应注意力计算，使得不同尺度的第二特征图具有丰富的多尺度上下文信息，在一定程度上缓解了由于通道数减少而造成的信息丢失，提高了目标检测的精度。
综上所述，本申请包括以下至少一种有益技术效果：
1.获取待检测图片，对待检测图片进行特征提取，得到不同大小的第一特征图。对不同大小的第一特征图进行自适应注意力计算，得到不同尺度的第二特征图。对不同尺度的第二特征图进行特征融合，并对融合特征图进行多个电力信息的故障状态检测，得到检测结果。进行自适应注意力计算，使得不同尺度的第二特征图具有丰富的多尺度上下文信息，在一定程度上缓解了由于通道数减少而造成的信息丢失，提高了目标检测的精度。
2.获取初始待检测图片，对初始待检测图片的尺寸不满足预设尺寸的图片进行分割，得到多张分割待检测图片，并将多张分割待检测图片确定为待检测图片。通过分割的方式缩小尺寸，能够减少待检测图片在压缩过程中损失信息，加强对小目标的检测。
附图说明
图1是本申请其中一实施例的一种目标检测方法的流程示意图。
图2是本申请其中一实施例的电力信息图像的示意图。
图3是本申请其中一实施例的自适应注意力的结构示意图。
图4是本申请其中一实施例的在backbone层以及neck层之间加入自适应注意力模块的示意图。
图5是本申请其中一实施例的一种目标检测装置的结构示意图。
图6是本申请其中一实施例的一种电子设备的结构示意图。
具体实施方式
以下结合附图1至附图6对本申请作进一步详细说明。
本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
下面结合说明书附图对本申请实施例作进一步详细描述。
在工业生产环境中，复杂的施工环境和施工人员的不安全行为很容易引发安全事故，甚至会威胁施工人员的生命安全。其中施工人员的头部受伤最为致命，这也是造成施工场景中安全事故的主要原因。因此安全帽的佩戴就显得十分必要，同时也是施工行为规范中最基本的要求。
随着计算机视觉技术的不断发展，目标检测在工业生产中有着广泛的应用，其中安全帽检测技术就是一个重要的应用领域。早期的基于手工特征的检测算法主要有Viola-Jonesdetector，Histogramof Oriented Gradients(HOG)，等。随着卷积神经网络的发展，目标检测算法也转向了基于深度神经网络的检测算法。对安全帽上的摄像头获取的图像进行目标检测，检查电流端子、电压端子、出口端子以及电压板是否发生故障，在人工检测的基础上附加上基于安全帽的目标检测，能够使对电流端子、电压端子、出口端子以及电压板的状态检测结果更加准确。
本申请实施例提供了一种目标检测方法，由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此，该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制，如图1所示，该方法包括步骤S101、步骤S102、步骤S103、步骤S104、步骤S105，其中：
步骤S101：获取待检测图片；其中，待检测图片包括电力信息图像，其中，电力信息图像包括以下任意一种或者多种：电流端子图像、电压端子图像、出口端子图像、电压板图像；对于本申请实施例，电流端子、电压端子、出口端子、电压板的故障与正常的状态呈现的形式如图2所示，具体的，电流端子的故障与正常状态，如图2a所示；电压端子的故障与正常状态，如图2b所示；出口端子的故障与正常状态，如图2c所示；电压板的故障与正常状态，如图2d所示。例如，在对电流端子以及电压端子进行检测时，若金属片在右边表示正常、金属片在左边表示故障，电流端子以及电压端子正常与故障状态在形式上呈对称状态。对于金属位置与电流端子以及电压端子的状态对应关系，本申请实施例不再进行限定，可根据实际情况自行设定。在对出口端子以及压板进行检测时，若出口端子安全措施未恢复、压板断开表示故障，若口端子安全措施恢复、压板正常连接表示正常。
步骤S102：对待检测图片进行特征提取，得到多个不同大小的第一特征图；
对于本申请实施例，对待检测图片可通过Focus结构进行切片操作、CSP模块先将基础层的特征映射划分为两部分，然后通过跨阶段层次结构将它们合并以及进行多次卷积操作，以将待检测图片分成多张不同大小的特征图，即得到不同大小的第一特征图。不同大小的特征图分别为：304*304，152*152，76*76，38*38，19*19。
步骤S103：对不同大小的第一特征图进行自适应注意力计算，得到不同尺度的第二特征图；
对于本申请实施例，对每一第一特征图进行自适应注意力计算的操作过程均相同，故仅论述针对任一张第一特征图进行处理的过程。
具体的，自适应注意力计算的过程可以包括：将任一大小的第一特征图输入至不同尺度池化层，获得此大小的第一特征图的不同尺度的特征图，对不同尺度的特征图进行卷积操作以及双线性插值操作，将不同尺度的特征图上采样到相同的尺度。利用卷积以及激活函数为相同尺度的每一特征图生成相应的空间权值，将空间权值与特征图结合，得到权值映射特征图，且通过concat层将相同尺度的特征图进行合并，得到合并特征图。将权值映射特征图与合并特征图进行Hadamard乘积操作，然后将进行Hadamard乘积操作的特征图分离开，并与第一特征图进行聚合，得到任一尺度的第二特征图。进行自适应注意力计算，能够使得到的不同尺度的第二特征图具有丰富的多尺度上下文信息。
步骤S104：对不同尺度的第二特征图进行特征融合，得到融合特征图；
对于本申请实施例，对不同尺度的第二特征图进行特征融合可以利用FPN+PAN的结构，特征金字塔FPN利用上采样的方式对信息进行传递融合，路径聚合网络PAN采用自底向上的特征金字塔。路径聚合网络PAN通过在FPN结构的基础上增加一条自下而上的路径，缩短了不同尺度的第二特征图中底层特征图信息与顶层特征图信息融合的路径，整个特征图融合的过程均使用Concat拼接完成，最终得到融合特征图。
步骤S105：对融合特征图进行多个电力信息的故障状态检测，得到检测结果。
对于本申请实施例，使融合特征图分别通过卷积进行通道数的改变，然后利用锚框对改变了通道数的融合特征图进行目标物体边框定位与类别检测，并输出边框坐标与类别结果，在进行目标物体边框定位以及类别检测过程中使用了损失函数，其中，使用定位损失函数调节权重参数，有效解决了边界框不重合时问题。最后利用NMS(Non MaximumSuppression，非极大值抑制)技术筛选各尺度的边框得到最终的故障状态检测结果。其中，故障状态检测的结果包括电流端子正常、电流端子故障、电压端子正常、电压端子故障、出口端子正常、出口端子故障、电压板正常、电压板故障这8类状态以及8类状态分别对应的置信度，基于故障状态检测的结果中8类状态分别对应的置信度，确定最大置信度所对应的状态，将确定的状态作为检测结果。
可见，在本申请实施例中，获取待检测图片，对待检测图片进行特征提取，得到不同大小的第一特征图。对不同大小的第一特征图进行自适应注意力计算，得到不同尺度的第二特征图。对不同尺度的第二特征图进行特征融合，并对融合特征图进行多个电力信息的故障状态检测，得到检测结果。进行自适应注意力计算，使得不同尺度的第二特征图具有丰富的多尺度上下文信息，在一定程度上缓解了由于通道数减少而造成的信息丢失，提高了目标检测的精度。
进一步的，为了提高目标检测的推理速度,在本申请实施例中，获取待检测图片，包括：
获取初始待检测图片；
对初始待检测图片进行预处理，得到待检测图片；
其中预处理包括以下任意一种或者多种：缩放、裁剪、归一化、Mosaic数据增强。
对于本申请实施例，缩放包括：缩小图像以及放大图像；其中，缩小图像使得初始待检测图片符合显示区域的大小，并生成对应初始待检测图片的缩略图；放大图像用于放大初始待检测图像,从而能够显示在更高分辨率的显示设备上。由于初始待检测图片的尺寸可能不同，因而，在进行预处理时将初始待检测图片同一缩放到一个标准尺寸，以保证得到的待检测图片的尺寸相同。裁剪能够划定一定的像素区域，将区域以外的数组去除，使得处理的数据更少。归一化能够便于后续数据处理，并且保证后续目标检测过程中程序收敛加快。
在本申请实施例中，针对初始待检测图片可以进行Mosaic数据增强、自适应锚框计算、自适应图片缩放。具体的，Mosaic数据增强的基本流程为随机选取4张图片并以随机缩放、随机裁剪、随机排布的方式进行拼接，使用Mosaic数据增强方式能够丰富检测物体的背景，提高检测的精度，增强对小目标的检测效果；自适应锚框计算将在初始锚框基础上输出的预测框与真实框进行对比，计算两者差距，再进行反向更新；自适应图片缩放则将待检测图片统一缩放到一个标准尺寸。
可见，在本申请实施例中，对初始待检测图片进行预处理，得到待检测图片，提高了目标检测的推理速度。
进一步的，为了减少信息丢失，使得特征更加明确精简,在本申请实施例中，针对任一大小的第一特征图进行自适应注意力计算，得到任一尺度的第二特征图，包括：
对任一大小的第一特征图进行不同尺度池化，得到多个不同尺度的特征图；
针对每一尺度的特征图进行卷积，得到卷积后特征图，其中，所有尺度的特征图在进行卷积后的通道维数均相同；
利用双线性插值将通道维数相同的所有尺度的特征图上采样到相同尺度，得到多个维数尺度均相同的特征图；
将多个维数尺度均相同的特征图合并，得到合并特征图；
根据多个维数尺度均相同的特征图，生成各自对应的空间权值；
根据所有空间权值，得到权值映射特征图；
根据权值映射特征图与合并特征图进行Hadamard乘积操作，得到乘积合并特征图；
将乘积合并特征图分离成多个乘积特征图，并根据多个乘积特征图与第一特征图聚合，得到任一尺度的第二特征图。
对于本申请实施例，针对任一大小的第一特征图进行自适应注意力计算的过程均相同，故本申请实施例仅以第一特征图C5进行自适应注意力计算，得到第二特征图M6为例进行论述，如图3所示。
第一特征图C5通过不同尺度池化层(对应图3中Adaptive Pooling Layer)，得到了多个不同尺度的特征图(本申请实施例以三个尺度为例)；为了尽量保持第一特征图C5位置信息不变，针对多个不同尺度的特征图分别进行卷积操作以及双线性插值，得到多个维数尺度均相同的特征图；多个维数尺度均相同的特征图通过concat层进行合并，得到合并特征图，以使得合并特征图包含更多信息；合并特征图依次经过1×1卷积层、ReLU激活层、3×3卷积层和sigmoid激活层，为合并特征图中每一维数尺度均相同的特征图，生成各自对应的空间权值；根据所有空间权值，得到权值映射特征图，使得特征更加明确；根据权值映射特征图与合并特征图进行Hadamard乘积操作(对应图3中Hadamard Product)，得到乘积合并特征图；将乘积合并特征图分离成多个乘积特征图，并根据多个乘积特征图与第一特征图C5聚合(对应图3中Matrix Sum)，得到第二特征图M6，能够提高目标检测的置信度。利用自适应注意力计算，使得在不同距离拍摄的待检测图片测试效果由原来0.61MAP提升到0.75MAP，其中，MAP作为衡量检测精度的指标。
可见，在本申请实施例中，对任一大小的第一特征图进行自适应注意力计算，得到任一尺度的第二特征图，最终得到的第二特征图具有丰富的多尺度上下文信息，使得特征更加明确精简。
进一步的，为了提高故障检测的准确度,在本申请实施例中，对待检测图片进行特征提取，得到不同大小的第一特征图；对不同大小的第一特征图进行自适应注意力计算，得到不同尺度的第二特征图；对不同尺度的第二特征图进行特征融合，得到融合特征图；对融合特征图进行多个电力信息的故障状态检测，得到检测结果，是基于故障检测模型实现的；其中，故障检测模型的训练过程，包括：
获取待训练模型，其中，待训练模型为基于yolov5的模型，包括：backbone层、自适应注意力模块、neck层以及prediction层；backbone层能够进行特征提取，自适应注意力模块能够进行自适应注意力计算，neck层能够进行特征融合，prediction能够进行故障状态检测；对于本申请实施例，待训练模型由backbone层、自适应注意力模块、neck层以及prediction层构成，具体的，backbone层对训练样本进行特征提取，自适应注意力模块用于对backbone层输出的特征图进行进一步的特征提取，以减少特征图中上下文信息的丢失，neck层用于进行特征融合，prediction层利用损失函数和非极大值抑制进行故障状态检测。
获取电流端子训练样本、电压端子训练样本、出口端子训练样本以及电压板训练样本；
基于所有训练样本对待训练模型进行训练，得到故障检测模型。
对于本申请实施例，对于待训练模型的输入以及故障检测模型的输出总共有8种类型，分别为电流端子正常、电流端子故障、电压端子正常、电压端子故障、出口端子正常、出口端子故障、电压板正常、电压板故障。为了论述简单，将电流端子、电压端子、出口端子以及电压板统称为电力器件。因而，电流端子训练样本、电压端子训练样本、出口端子训练样本以及电压板训练样本包括：对应8种类型的电力器件图片以及对应8种类型的电力器件状态标注信息。具体的，以电流端子训练样本为例，电流端子训练样本包括大量电流端子正常的图片与大量电流端子故障的图片，在电流端子正常以及电流端子故障的图片中分别包括电流端子正常与电流端子故障的标注信息。
在本申请实施例中，由于待检测的电力信息图像中电流端子、电压端子的正常与故障呈对称状态，因此在确定训练样本时，取消对待检测电流端子图片以及对待检测电压端子图片的旋转，使得对训练样本的处理更贴合实际情况。具体的，在对电流端子进行检测时，若金属片在右边表示电流端子正常、金属片在左边表示电流端子故障，电流端子正常与故障状态在形式上呈对称状态，倘若在确定训练样本时，对待检测图片进行了旋转，会导致一张待检测图片代表两种电流端子状态，造成故障检测模型检测异常。
利用所有训练样本对待训练模型进行训练，得到故障检测模型，以用于检测电力器件的状态(包括正常与故障)。具体的，基于所有训练样本通过待训练模型得到电力器件的状态信息；针对每一张训练样本，确定电力器件的状态信息与电力器件状态标注信息的相似度；基于多张电训练样本的相似度得到损失，将损失反向传播，以对待训练模型进行训练；对训练后的待训练模型的各损失进行加权求和，以得到总损失，当总损失满足设定损失阈值范围时，确定训练后的待训练模型为故障检测模型。
进一步的，本申请实施例中，利用电流端子训练样本、电压端子训练样本、出口端子训练样本以及电压板训练样本对待训练模型进行训练，得到故障检测模型，可以包括：利用所有训练样本对待训练模型进行训练，得到第一故障检测模型；利用测试集对第一故障检测模型进行测试，以得到测试结果；当测试结果满足预设结果阈值时，则确定第一故障检测模型为最终的故障检测模型；当测试结果不满足预设结果阈值时，则利用训练样本对第一电梯检测模型进行再训练，以得到第二故障检测模型，并利用测试集对第二故障检测模型进行测试，直至得到最终的符合预设结果阈值的故障检测模型。进一步的，在利用测试集对训练的故障检测模型进行测试后，可以将测试未通过的测试图像添加至所有训练样本中，以更新训练样本，能够有效提高训练效果。
具体的，增加自适应注意力模块对backbone层输出的不同大小的第一特征图进行特征提取，并输入至neck层的具体实现过程，如图4所示。
输入端训练样本，在backbone层中，利用Focus模块对训练样本进行分割后整合，然后利用CBL卷积操作提取特征图谱，并通过CSP模块增强待训练模型的学习能力，使得在轻量化的同时保持准确性，降低待训练模型计算量和内存成本。backbone层反复进行CBL+CSP1操作获取不同大小的特征图谱，最后通过CBL+SPP获取特征图谱，扩大感受野，融合不同大小特征图的信息，完成特征融合。然后将backbone层中获取的不同大小的第一特征图谱通过自适应注意力模块(对应图4中AAM)进一步提取特征，送入neck模块的FPN+PAN，然后再通过CSP2模块后输出预测，CSP2模块的作用为加强网络特征融合的能力，最后进行卷积操作就得到每个目标框的类别置信度。设置阈值，滤掉得分低的目标框，对保留的目标框进行NMS处理，就能够得到检测结果。
可见，在本申请实施例中，获取待训练模型与电流端子训练样本、电压端子训练样本、出口端子训练样本以及电压板训练样本，基于所有训练样本对待训练模型进行训练，得到故障检测模型。基于大量的训练样本对训练模型进行训练，得到故障检测模型，提高了故障检测的准确度。
进一步的，为了提升故障检测模型的检测效果,在本申请实施例中，待训练模型中backbone层、neck层均包括CBL模块，CBL模块包括：Conv卷积层、Bn批归一化、SMU激活函数。
对于本申请实施例，在相关技术中，CBL模块由Conv卷积层、Bn批归一化以及Leaky_relu激活函数构成，其中，Conv卷积层进行卷积操作，Bn批归一化用于对特征进行归一化处理，激活函数使输入的特征数据具有非线性。利用CBL模块进行提取特征，避免梯度消失并减少模型训练时间。而在本申请中利用SMU激活函数替换Leaky_relu激活函数，提高了故障检测效果。因为SMU激活函数比Leaky_relu激活函数效果更好，更好的激活函数可以减少训练时神经元死亡的情况，进而得到的故障检测模型效果更好。
SMU激活函数,从|x|函数的光滑逼近中可以找到一个maximum function的一般逼近公式，它可以平滑逼近一般的maxout族、ReLU、Leaky ReLU或其变体、Swish等。具体的，SMU激活函数定义为：
Figure BDA0003815292870000131
其中，x作为变量，作为激活函数的输入；erf表示误差函数；α表示超参数；μ表示平滑参数。
Conv卷积层Bn批归一化将cbl模块中的leakyrelu更换为SMU，检测效果由0.75MAP提升至0.77MAP。
可见，在本申请实施例中，SMU激活函数效果更好，可以减少训练时神经元死亡的情况，进而得到的故障检测模型效果更好。
进一步的，为了使得检测结果更加准确,在本申请实施例中，对融合特征图进行多个电力信息的状态检测，得到检测结果，包括：
对融合特征图进行多个电力信息的状态预测，得到多个电力信息状态对应的置信度；
根据多个电力信息状态对应的置信度，确定检测结果。
对于本申请实施例，对融合特征图进行了目标物体边框定位与类别检测，并利用损失函数进行分类预测、边界框预测以及置信度预测，结合分类预测、边界框预测以及置信度预测，能够得到多个电力信息状态对应的置信度，包括：电流端子正常置信度、电流端子故障置信度、电压端子正常置信度、电压端子故障置信度、出口端子正常置信度、出口端子故障置信度、电压板正常置信度以及电压板故障置信度。根据得到的8类电力信息状态对应的置信度，选取其中置信度最大的电力信息状态作为检测结果。例如，得到的预测结果分别为电流端子正常置信度5％、电流端子故障置信度5％、电压端子正常置信度70％、电压端子故障置信度10％、出口端子正常置信度2％、出口端子故障置信度2％、电压板正常置信度3％以及电压板故障置信度3％，则能够确定检测结果为电压端子正常。
可见，在本申请实施例中，状态预测涵盖了所有电力信息状态可能出现的情况，并根据多个电力信息状态对应的置信度，确定检测结果，能够使得检测结果更加准确。
进一步的，为了减少待检测图片在压缩过程中损失信息,在本申请实施例中，获取待检测图片，包括：
获取初始待检测图片，判断初始待检测图片的尺寸是否满足预设尺寸；
若是，则将初始待检测图片确定为待检测图片；
若否，则将初始待检测图片分割，得到多张分割待检测图片，并将多张分割待检测图片确定为待检测图片。
对于本申请实施例，相关技术中，若初始待检测图片的尺寸不满足预设尺寸时，会将初始待检测图片进行压缩更改成预设尺寸。例如，要求预处理待检测图片的大小为640*640，若待检测图片的尺寸大于640*640，则会对待检测图片进行压缩并加边框，初始待检测图片在压缩过程中会损失图片信息，进而影响后续的检测过程。yolov5中使用的coco数据集输入图片的尺寸为640x640，则确定预设尺寸为640*640。
在本申请实施例中，若初始待检测图片的尺寸不大于预设尺寸，则将初始待检测图片确定为待检测图片；若初始待检测图片的尺寸大于预设尺寸，则将初始待检测图片分割，得到多张分割待检测图片。
具体的，将初始待检测图片分割，以使得尺寸较大的待检测图片分割成尺寸较小的待检测图片，通过分割的方式缩小尺寸，能够减少待检测图片在压缩过程中损失信息，加强对小目标的检测。对于将图片分割成几份以及分割方式，本申请实施例不再进行限定，只要能将待检测图片分割成小尺寸图片，避免压缩过程即可。
相应的，将初始待检测图片进行分割得到多张分割待检测图片后，分别对每张分割待检测图片进行特征提取、自适应注意力计算、特征融合以及故障检测得到初步检测结果，基于每张分割待检测图片得到的初步检测结果确定检测结果。
可见，在本申请实施例中，获取初始待检测图片，对初始待检测图片的尺寸不满足预设尺寸的图片进行分割，得到多张分割待检测图片，并将多张分割待检测图片确定为待检测图片。通过分割的方式缩小尺寸，能够减少待检测图片在压缩过程中损失信息，加强对小目标的检测。
上述实施例从方法流程的角度介绍一种目标检测方法，下述实施例从虚拟模块或者虚拟单元的角度介绍了一种目标检测装置，具体详见下述实施例。
本申请实施例提供一种目标检测装置200，如图5所示，该目标检测装置200具体可以包括：
获取模块210，用于获取待检测图片；其中，待检测图片包括电力信息图像，其中，电力信息图像包括以下任意一种或者多种：电流端子图像、电压端子图像、出口端子图像、电压板图像；
特征提取模块220，用于对待检测图片进行特征提取，得到多个不同大小的第一特征图；自适应注意力计算模块230，用于对多个不同大小的第一特征图进行自适应注意力计算，得到多个不同尺度的第二特征图；
特征融合模块240，用于对多个不同尺度的第二特征图进行特征融合，得到融合特征图；故障状态检测模块250，用于对融合特征图进行多个电力信息的故障状态检测，得到检测结果。
优选的，获取模块210在执行获取待检测图片时，用于：
获取初始待检测图片；
对初始待检测图片进行预处理，得到待检测图片；
其中预处理包括以下任意一种或者多种：缩放、裁剪、归一化、Mosaic数据增强。
优选的，适应注意力计算模块230在执行针对任一大小的第一特征图进行自适应注意力计算，得到任一尺度的第二特征图时，用于：
对任一大小的第一特征图进行不同尺度池化，得到多个不同尺度的特征图；
针对每一尺度的特征图进行卷积，得到卷积后特征图，其中，所有尺度的特征图在进行卷积后的通道维数均相同；
利用双线性插值将通道维数相同的所有尺度的特征图上采样到相同尺度，得到多个维数尺度均相同的特征图；
将多个维数尺度均相同的特征图合并，得到合并特征图；
根据多个维数尺度均相同的特征图，生成各自对应的空间权值；
根据所有空间权值，得到权值映射特征图；
根据权值映射特征图与合并特征图进行Hadamard乘积操作，得到乘积合并特征图；
将乘积合并特征图分离成多个乘积特征图，并根据多个乘积特征图与第一特征图聚合，得到任一尺度的第二特征图。
优选的，目标检测装置200，还包括：
故障检测模型的训练模块，用于获取待训练模型，其中，待训练模型为基于yolov5的模型，包括：backbone层、自适应注意力模块、neck层以及prediction层；backbone层能够进行特征提取，自适应注意力模块能够进行自适应注意力计算，neck层能够进行特征融合，prediction能够进行故障状态检测；
获取电流端子训练样本、电压端子训练样本、出口端子训练样本以及电压板训练样本；
基于所有训练样本对待训练模型进行训练，得到故障检测模型。
优选的，待训练模型中backbone层、neck层均包括CBL模块，CBL模块包括：Conv卷积层、Bn批归一化、SMU激活函数。
优选的，故障状态检测模块250在执行对融合特征图进行多个电力信息的故障状态检测，得到检测结果时，用于：
对融合特征图进行多个电力信息的状态预测，得到多个电力信息状态对应的置信度；
根据多个电力信息状态对应的置信度，确定检测结果。
优选的，获取模块210在执行获取待检测图片时，用于：
获取初始待检测图片，判断初始待检测图片的尺寸是否满足预设尺寸；
若是，则将初始待检测图片确定为待检测图片；
若否，则将初始待检测图片分割，得到多张分割待检测图片，并将多张分割待检测图片确定为待检测图片。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的一种目标检测装置200的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例中提供了一种电子设备，如图6所示，图6所示的电子设备300包括：处理器301和存储器303。其中，处理器301和存储器303相连，如通过总线302相连。可选地，电子设备300还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备300的结构并不构成对本申请实施例的限定。
处理器301可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意一种或者多种。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线302可包括一通路，在上述组件之间传送信息。总线302可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一型的总线。
存储器303可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器303用于存储执行本申请方案的应用程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与相关技术相比，本申请实施例，获取待检测图片，对待检测图片进行特征提取，得到不同大小的第一特征图。对不同大小的第一特征图进行自适应注意力计算，得到不同尺度的第二特征图。对不同尺度的第二特征图进行特征融合，并对融合特征图进行多个电力信息的故障状态检测，得到检测结果。进行自适应注意力计算，使得不同尺度的第二特征图具有丰富的多尺度上下文信息，在一定程度上缓解了由于通道数减少而造成的信息丢失，提高了目标检测的精度。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种目标检测方法，其特征在于，包括：
获取待检测图片；其中，待检测图片包括电力信息图像，其中，电力信息图像包括以下任意一种或者多种：电流端子图像、电压端子图像、出口端子图像、电压板图像；
对所述待检测图片进行特征提取，得到多个不同大小的第一特征图；
对多个不同大小的所述第一特征图进行自适应注意力计算，得到多个不同尺度的第二特征图；
对多个所述不同尺度的第二特征图进行特征融合，得到融合特征图；
对所述融合特征图进行多个电力信息的故障状态检测，得到检测结果。
2.根据权利要求1所述的目标检测方法，其特征在于，所述获取待检测图片，包括：
获取初始待检测图片；
对所述初始待检测图片进行预处理，得到待检测图片；
其中所述预处理包括以下任意一种或者多种：缩放、裁剪、归一化、Mosaic数据增强。
3.根据权利要求1所述的目标检测方法，其特征在于，针对任一大小的第一特征图进行自适应注意力计算，得到任一尺度的第二特征图，包括：
对任一大小的第一特征图进行不同尺度池化，得到多个不同尺度的特征图；
针对每一尺度的特征图进行卷积，得到卷积后特征图，其中，所有尺度的特征图在进行卷积后的通道维数均相同；
利用双线性插值将通道维数相同的所有尺度的特征图上采样到相同尺度，得到多个维数尺度均相同的特征图；
将所述多个维数尺度均相同的特征图合并，得到合并特征图；
根据所述多个维数尺度均相同的特征图，生成各自对应的空间权值；
根据所有空间权值，得到权值映射特征图；
根据所述权值映射特征图与所述合并特征图进行Hadamard乘积操作，得到乘积合并特征图；
将所述乘积合并特征图分离成多个乘积特征图，并根据所述多个乘积特征图与第一特征图聚合，得到任一尺度的第二特征图。
4.根据权利要求1所述的目标检测方法，其特征在于，所述对所述待检测图片进行特征提取，得到不同大小的第一特征图；对不同大小的所述第一特征图进行自适应注意力计算，得到不同尺度的第二特征图；对所述不同尺度的第二特征图进行特征融合，得到融合特征图；对所述融合特征图进行多个电力信息的故障状态检测，得到检测结果，是基于故障检测模型实现的；其中，所述故障检测模型的训练过程，包括：
获取待训练模型，其中，所述待训练模型为基于yolov5的模型，包括：backbone层、自适应注意力模块、neck层以及prediction层；backbone层能够进行特征提取，自适应注意力模块能够进行自适应注意力计算，neck层能够进行特征融合，prediction能够进行故障状态检测；
获取电流端子训练样本、电压端子训练样本、出口端子训练样本以及电压板训练样本；
基于所有训练样本对所述待训练模型进行训练，得到故障检测模型。
5.根据权利要求4所述的目标检测方法，其特征在于，所述待训练模型中backbone层、neck层均包括CBL模块，CBL模块包括：
Conv卷积层、Bn批归一化、SMU激活函数。
6.根据权利要求1所述的目标检测方法，其特征在于，所述对所述融合特征图进行多个电力信息的状态检测，得到检测结果，包括：
对所述融合特征图进行多个电力信息的状态预测，得到多个电力信息状态对应的置信度；
根据所述多个电力信息状态对应的置信度，确定检测结果。
7.根据权利要求1至6任意一项所述的目标检测方法，其特征在于，所述获取待检测图片，包括：
获取初始待检测图片，判断所述初始待检测图片的尺寸是否满足预设尺寸；
若是，则将所述初始待检测图片确定为所述待检测图片；
若否，则将初始待检测图片分割，得到多张分割待检测图片，并将所述多张分割待检测图片确定为待检测图片。
8.一种目标检测装置，其特征在于，包括，
获取模块，用于获取待检测图片；其中，待检测图片包括电力信息图像，其中，电力信息图像包括以下任意一种或者多种：电流端子图像、电压端子图像、出口端子图像、电压板图像；
特征提取模块，用于对所述待检测图片进行特征提取，得到多个不同大小的第一特征图；
自适应注意力计算模块，用于对多个不同大小的所述第一特征图进行自适应注意力计算，得到多个不同尺度的第二特征图；
特征融合模块，用于对多个所述不同尺度的第二特征图进行特征融合，得到融合特征图；
故障状态检测模块，用于对所述融合特征图进行多个电力信息的故障状态检测，得到检测结果。
9.一种电子设备，其特征在于，包括：
至少一个处理器；
存储器；
至少一个应用程序，其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行权利要求1～7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令所述计算机执行权利要求1～7任一项所述的方法。
CN202211025122.7A 2022-08-25 2022-08-25 一种目标检测方法、装置、设备和介质 Active CN115311542B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211025122.7A CN115311542B (zh) 2022-08-25 2022-08-25 一种目标检测方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211025122.7A CN115311542B (zh) 2022-08-25 2022-08-25 一种目标检测方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN115311542A true CN115311542A (zh) 2022-11-08
CN115311542B CN115311542B (zh) 2023-06-02

Family

ID=83864688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211025122.7A Active CN115311542B (zh) 2022-08-25 2022-08-25 一种目标检测方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN115311542B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034193A (zh) * 2018-06-20 2018-12-18 上海理工大学 多特征融合与尺度自适应核相关滤波跟踪方法
CN109241835A (zh) * 2018-07-27 2019-01-18 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111539428A (zh) * 2020-05-06 2020-08-14 中国科学院自动化研究所 基于多尺度特征整合和注意力机制的旋转目标检测方法
CN112016571A (zh) * 2020-08-31 2020-12-01 驭势科技(南京)有限公司 一种基于注意力机制的特征提取方法、装置及电子设备
CN112819804A (zh) * 2021-02-23 2021-05-18 西北工业大学 一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
CN114022432A (zh) * 2021-10-28 2022-02-08 湖北工业大学 基于改进的yolov5的绝缘子缺陷检测方法
CN114113911A (zh) * 2021-12-06 2022-03-01 国网山东省电力公司电力科学研究院 一种基于故障波形的故障类型判别方法及判别系统
CN114519853A (zh) * 2021-12-29 2022-05-20 西安交通大学 一种基于多模态融合的三维目标检测方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034193A (zh) * 2018-06-20 2018-12-18 上海理工大学 多特征融合与尺度自适应核相关滤波跟踪方法
CN109241835A (zh) * 2018-07-27 2019-01-18 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111539428A (zh) * 2020-05-06 2020-08-14 中国科学院自动化研究所 基于多尺度特征整合和注意力机制的旋转目标检测方法
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
CN112016571A (zh) * 2020-08-31 2020-12-01 驭势科技(南京)有限公司 一种基于注意力机制的特征提取方法、装置及电子设备
CN112819804A (zh) * 2021-02-23 2021-05-18 西北工业大学 一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法
CN114022432A (zh) * 2021-10-28 2022-02-08 湖北工业大学 基于改进的yolov5的绝缘子缺陷检测方法
CN114113911A (zh) * 2021-12-06 2022-03-01 国网山东省电力公司电力科学研究院 一种基于故障波形的故障类型判别方法及判别系统
CN114519853A (zh) * 2021-12-29 2022-05-20 西安交通大学 一种基于多模态融合的三维目标检测方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MENGYUE GE ET AL.: "Saliency Detection Based on Local and Global Information Fusion", 《2019 IEEE 4TH INTERNATIONAL CONFERENCE ON IMAGE, VISION AND COMPUTING (ICIVC)》 *
MERYEM UZUN-PER ET AL.: "Face recognition with a novel image representation: Local Walsh-Hadamard Transform", 《2014 5TH EUROPEAN WORKSHOP ON VISUAL INFORMATION PROCESSING (EUVIP)》 *
单倩文等: "基于改进多尺度特征图的目标快速检测与识别算法", 《激光与光电子学进展》 *
麻森权等: "基于注意力机制和特征融合改进的小目标检测算法" *

Also Published As

Publication number Publication date
CN115311542B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN111681273B (zh) 图像分割方法、装置、电子设备及可读存储介质
CN110598788B (zh) 目标检测方法、装置、电子设备及存储介质
CN112329702B (zh) 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
CN114359851A (zh) 无人驾驶目标检测方法、装置、设备及介质
CN116363037B (zh) 一种多模态图像融合方法、装置及设备
CN113129298B (zh) 文本图像的清晰度识别方法
CN112966687B (zh) 图像分割模型训练方法、装置及通信设备
CN116805387B (zh) 基于知识蒸馏的模型训练方法、质检方法和相关设备
CN112488054B (zh) 一种人脸识别方法、装置、终端设备及存储介质
CN110969640A (zh) 视频图像的分割方法、终端设备以及计算机可读存储介质
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
CN111292331B (zh) 图像处理的方法与装置
CN117333440A (zh) 输配电线路缺陷检测方法、装置、设备、介质和程序产品
CN114549849A (zh) 图像识别方法、装置、计算机设备和存储介质
CN116486153A (zh) 图像分类方法、装置、设备及存储介质
CN116721288A (zh) 一种基于YOLOv5的安全帽检测方法及系统
CN115311542B (zh) 一种目标检测方法、装置、设备和介质
CN115374517A (zh) 布线软件的测试方法、装置、电子设备及存储介质
CN114820755A (zh) 一种深度图估计方法及系统
US20220270351A1 (en) Image recognition evaluation program, image recognition evaluation method, evaluation apparatus, and evaluation system
CN113516148A (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN116503721B (zh) 身份证篡改检测方法、装置、设备及存储介质
CN113807428B (zh) 分类模型概率标签的重构方法、系统、装置及存储介质
CN113542866B (zh) 视频处理方法、装置、设备及计算机可读存储介质
CN116071376B (zh) 图像分割方法及相关装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant