CN117058554A - 电力设备目标检测方法、模型训练方法和装置 - Google Patents

电力设备目标检测方法、模型训练方法和装置 Download PDF

Info

Publication number
CN117058554A
CN117058554A CN202311154377.8A CN202311154377A CN117058554A CN 117058554 A CN117058554 A CN 117058554A CN 202311154377 A CN202311154377 A CN 202311154377A CN 117058554 A CN117058554 A CN 117058554A
Authority
CN
China
Prior art keywords
power equipment
infrared
training
data set
image generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311154377.8A
Other languages
English (en)
Inventor
洪海程
孔令明
陈勉之
罗思敏
胡梦竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN202311154377.8A priority Critical patent/CN117058554A/zh
Publication of CN117058554A publication Critical patent/CN117058554A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种电力设备目标检测方法、模型训练方法、装置、计算机设备和存储介质。所述方法包括：创建电力设备红外数据集，划分电力设备红外数据集得到电力设备红外训练集；利用卷积神经网络模型构建用于数据增强的预训练图像生成模型；将电力设备红外训练集输入预训练图像生成模型，采用数据增强算法增强电力设备红外训练集，并利用增强后的电力设备红外训练集更新预训练图像生成模型；对更新后的预训练图像生成模型进行微调，获得电力设备目标检测模型。采用本方法能够提高电力设备目标检测识别准确性和可靠性。

Description

电力设备目标检测方法、模型训练方法和装置
技术领域
本申请涉及电力设备目标检测技术领域，特别是涉及一种电力设备目标检测方法、模型训练方法、装置、计算机设备和存储介质。
背景技术
在电力设备目标检测中使用红外图像有许多优势，例如能尽可能地防止故障的发生，帮助确定维护工作的重点，减少停机时间，还可以提供电力设备更详细的视图，识别可能遗漏的潜在问题。
传统的目标检测方法建立在人工识别的特征和浅层可训练的架构之上。通过构建复杂的集合，将多个低级图像特征与来自对象检测器和场景分类器的高级特征相结合，这种方式属于监督学习(supervised-learning)，效率较低且性能不高。传统的目标检测方法主要通过识别红外图像中的目标特征，以对红外图像特征的先验知识学习，从而可以基于提取到的特征训练分类器进行目标识别。但是由于红外图像存在对比度较低、背景较复杂、纹理轮廓模糊的不足，这些算法不能充分提取图像的有效特征，准确率也较低，不能很好地满足精准实现电力设备目标识别的需求。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高电力设备目标检测识别准确性和可靠性的电力设备目标检测方法、模型训练方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种电力设备目标检测模型的训练方法，包括：
创建电力设备红外数据集，划分电力设备红外数据集得到电力设备红外训练集；
利用卷积神经网络模型构建用于数据增强的预训练图像生成模型；
将电力设备红外训练集输入预训练图像生成模型，采用数据增强算法增强电力设备红外训练集，并利用增强后的电力设备红外训练集更新预训练图像生成模型；
对更新后的预训练图像生成模型进行微调，获得电力设备目标检测模型。
在其中一个实施例中，创建电力设备红外数据集包括：
获取电力设备初始红外数据集；
对电力设备初始红外数据集进行清洗；
采用选择性搜索算法标注清洗后的电力设备初始红外数据集，生成电力设备红外数据集。
在其中一个实施例中，将电力设备红外训练集输入预训练图像生成模型，采用数据增强算法增强电力设备红外训练集，并利用增强后的电力设备红外训练集更新预训练图像生成模型包括：
将电力设备红外训练集输入预训练图像生成模型进行训练；
采用数据增强算法对电力设备红外训练集进行随机变换，生成电力设备红外增强训练集，其中数据增强算法包括旋转、缩放和翻转；
将电力设备红外增强训练集输入预训练图像生成模型，对预训练图像生成模型的权重和偏置进行更新。
在其中一个实施例中，对更新后的预训练图像生成模型进行微调，获得电力设备目标检测模型包括：
将更新后的预训练图像生成模型的初始全连接头删除，并构造目的全连接头；
将目的全连接头添加至已删除初始全连接头的预训练图像生成模型，生成新预训练图像生成模型；
遍历并冻结已删除初始全连接头的预训练图像生成模型的所有层，获得电力设备目标检测模型。
第二方面，本申请提供了一种电力设备目标检测方法，包括：
获取电力设备目标红外数据集；
采用选择性搜索算法对电力设备目标红外数据集进行提取，生成电力设备目标红外数据集的区域建议集和边界框集；
调用电力设备目标检测模型，将包含区域建议集和边界框集的电力设备目标红外数据集输入电力设备目标检测模型进行预测，生成电力设备目标预测数据集；电力设备目标检测模型是通过上述第一方面提供的训练方法得到的；
从电力设备目标预测数据集中提取指定预测数据集，对指定预测数据集进行冗余优化处理，获得电力设备的目标检测结果。
在其中一个实施例中，对指定预测数据集进行冗余优化处理包括：
获取电力设备目标红外数据集中边界框的曼哈顿距离，基于曼哈顿距离筛选最佳边界框；
移除与最佳边界框汇集的边界框。
第三方面，本申请还提供了一种电力设备目标检测模型的训练装置，包括：
电力设备红外数据集创建模块，用于创建电力设备红外数据集，划分电力设备红外数据集得到电力设备红外训练集；
预训练图像生成模型构建模块，用于利用卷积神经网络模型构建用于数据增强的预训练图像生成模型；
预训练图像生成模型更新模块，用于将电力设备红外训练集输入预训练图像生成模型，采用数据增强算法增强电力设备红外训练集，并利用增强后的电力设备红外训练集更新预训练图像生成模型；
预训练图像生成模型微调模块，用于对更新后的预训练图像生成模型进行微调，获得电力设备目标检测模型。
第四方面，本申请还提供了一种电力设备目标检测装置，包括：
电力设备目标红外数据集获取模块，用于获取电力设备目标红外数据集；
区域建议和边界框提取模块，用于采用选择性搜索算法对电力设备目标红外数据集进行提取，生成电力设备目标红外数据集的区域建议集和边界框集；
电力设备目标预测数据集获取模块，用于调用电力设备目标检测模型，将包含区域建议集和边界框集的电力设备目标红外数据集输入电力设备目标检测模型进行预测，生成电力设备目标预测数据集；电力设备目标检测模型是通过上述第三方面提供的训练装置得到的；
电力设备的目标检测结果获取模块，用于从电力设备目标预测数据集中提取指定预测数据集，对指定预测数据集进行冗余优化处理，获得电力设备的目标检测结果。
第五方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的电力设备目标检测模型的训练方法的步骤；或者，实现上述的电力设备目标检测方法的步骤。
第六方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的电力设备目标检测模型的训练方法的步骤；或者，实现上述的电力设备目标检测方法的步骤。
上述电力设备目标检测方法、模型训练方法、装置、计算机设备和存储介质，通过创建电力设备红外数据集，划分电力设备红外数据集得到电力设备红外训练集；利用卷积神经网络模型构建用于数据增强的预训练图像生成模型；将电力设备红外训练集输入预训练图像生成模型，采用数据增强算法增强电力设备红外训练集，并利用增强后的电力设备红外训练集更新预训练图像生成模型；对更新后的预训练图像生成模型进行微调，获得电力设备目标检测模型。得到能够在不同场景下均兼具准确性和速度的电力设备目标检测模型，实现对电力设备红外图像中的目标进行检测。通过获取电力设备目标红外数据集；采用选择性搜索算法对电力设备目标红外数据集进行提取，生成电力设备目标红外数据集的区域建议集和边界框集；调用电力设备目标检测模型，将包含区域建议集和边界框集的电力设备目标红外数据集输入电力设备目标检测模型进行预测，生成电力设备目标预测数据集；从电力设备目标预测数据集中提取指定预测数据集，对指定预测数据集进行冗余优化处理，获得电力设备的目标检测结果。使用电力设备目标检测模型实现对电力设备红外图像中的目标检测，并精确定位目标所在的部位，为电力设备的维护和管理提供重要参考依据。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中电力设备目标检测模型的训练方法的流程示意图；
图2为一个实施例中电力设备目标检测方法的流程示意图；
图3为一个实施例中使用Confluence算法进行冗余优化前后的对比图；
图4为另一个实施例中电力设备目标检测方法的流程示意图；
图5为一个实施例中电力设备目标检测模型的训练装置的装置示意图；
图6为一个实施例电力设备目标检测装置的装置示意图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
在电力设备目标检测中使用红外图像有许多优势。首先，红外成像提供体现物体热量的视图，因此有助于识别电力设备中可能过热或存在其他故障的区域，这些信息可用于监测电力设备，从而尽可能地防止故障的发生，还可帮助确定维护工作的重点，以减少停机时间。其次，红外光谱提供了人眼无法获取的信息，它可以提供电力设备更详细的视图，识别可能遗漏的潜在问题。
传统的目标检测方法建立在人工识别的特征和浅层可训练的架构之上。通过构建复杂的集合，将多个低级图像特征与来自对象检测器和场景分类器的高级特征相结合，这种方式属于监督学习(supervised-learning)，效率较低且性能不高。传统图像识别算法由人工根据先验知识和对任务的理解提取图像特征，如根据电力设备的特点，提取边缘、梯度、颜色、纹理等特征，包括尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)特征、方向梯度直方图(Histogram of Oriented Gradient，HOG)特征等。传统的检测方法主要通过识别红外图像中的目标特征，对红外图像特征的先验知识学习，从而利用提取到的特征训练分类器进行目标识别。但是由于红外图像存在对比度较低、背景较复杂、纹理轮廓模糊的不足，这些算法不能充分提取图像的有效特征，同时准确率较低，并不能很好地满足电力设备目标检测识别的需求。
本申请提出一种基于微调MobileNet V2模型的电力设备红外图像目标检测分类器，主要分为三个部分：建立数据集、生成对象检测网络、执行对象检测并使用不同的方式进行优化。建立数据集从电力设备红外图像中提取出需要的数据，并将其转换为适合训练模型的格式，再通过优化数据集来提高模型的准确性和可靠性。生成对象检测网络将选择合适的算法和架构来构建模型，考虑模型的复杂性、训练时间、准确性等因素。执行对象检测涉及到将模型应用于新的数据集，并根据结果进行优化，包括调整模型参数、使用不同的优化算法等。
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种电力设备目标检测模型的训练方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤102，创建电力设备红外数据集，划分电力设备红外数据集得到电力设备红外训练集。
示例性的，使用FLIR(Forward-Looking Infrared，前视红外线)热成像摄像机拍摄关于电力设备的红外图片，再标注选定图片中套管的位置信息，根据位置信息自动生成包含套管以及不包含套管的数据集，实现识别红外图像中的套管、寻找合适的红外图像的目的。
可选的，将电力设备红外数据集划分为电力设备红外训练集、电力设备红外验证集和电力设备红外测试集等不同的部分，以便进行模型训练和测试。具体地，分割电力设备红外数据集为电力设备红外训练集和电力设备红外验证集，将75％的数据用作训练数据，余下的作为测试数据。
步骤104，利用卷积神经网络模型构建用于数据增强的预训练图像生成模型。
可选地，使用TensorFlow(使用数据流图进行计算的开源软件库)的Keras(神经网络)工具，用于创建CNN(Convolutional Neural Network，卷积神经网络)分类器，即构建用于数据增强的预训练图像生成模型；其中CNN选用的是MobileNet V2，具体过程包括从电力设备红外数据集中加载图片，对图片进行预处理，同时提取图片标签(套管类与非套管类)，将图片集合以及标签集合转为numpy数组，同时对标签集合采用one-hot encoding(一位有效编码)，使用二进制向量替代原本的变量，其中MobileNet V2网络整体结构如表1所示。
表1
步骤106，将电力设备红外训练集输入预训练图像生成模型，采用数据增强算法增强电力设备红外训练集，并利用增强后的电力设备红外训练集更新预训练图像生成模型。
具体地，作为用于训练的图像，对电力设备红外训练集中每个图像应用一系列随机变换，包括随机旋转、调整大小、剪切等，用随机转换的数据替换原始数据电力设备红外训练集，运用替换后的数据训练CNN。其中，原始数据电力设备红外训练集本身不用于训练。
步骤108，对更新后的预训练图像生成模型进行微调，获得电力设备目标检测模型。
在其中一个实施例中，微调基于迁移学习的原理，即利用从一项任务中获得的知识来提高另一项相关任务的性能。在深度学习中，这表现为采用在大型数据集上的预训练图像生成模型，并通过在较小的数据集上进行训练使预训练图像生成模型适应新任务。微调过程包括冻结预训练图像生成模型中的一些层，并仅在新数据集上训练其余层。
上述电力设备目标检测模型的训练方法中，通过创建电力设备红外数据集，划分电力设备红外数据集得到电力设备红外训练集；利用卷积神经网络模型构建用于数据增强的预训练图像生成模型；将电力设备红外训练集输入预训练图像生成模型，采用数据增强算法增强电力设备红外训练集，并利用增强后的电力设备红外训练集更新预训练图像生成模型；对更新后的预训练图像生成模型进行微调，获得电力设备目标检测模型。通过建立图像目标检测算法模型和部位识别的深度学习模型，并训练和优化这些模型，其中，卷积神经网络采用MobileNet V2，是一款轻量级CNN，兼具效率和准确性。通过自建电力设备红外数据集，并在电力设备红外数据集上训练对象检测网络实现红外图像中电气设备识别。由于数据增强在训练过程中进行，大大提升了分类模型(即电力设备目标检测模型)的训练效率；使用微调可以显著提高新数据集上的分类准确率，可以在新的数据集上进行更快、更高效的训练。
在一个示例性的实施例中，创建电力设备红外数据集包括：获取电力设备初始红外数据集；对电力设备初始红外数据集进行清洗；采用选择性搜索算法标注清洗后的电力设备初始红外数据集，生成电力设备红外数据集。
具体地，收集与电力设备目标检测任务相关的数据，例如图像、音频、文本等，生成电力设备初始红外数据集，再对电力设备初始红外数据集中的数据进行预处理，预处理包括清洗步骤，例如去除噪声、缺失值和异常值等，并对预处理后电力设备初始红外数据集中的数据标注，即为数据打上标签或注释，以便模型能够识别和分类不同的数据类型。
具体地，使用bs4(BeautifulSoup，Python的一个库，用于解析HTML和XML文档)中的BeautifulSoup模块解析XML注释文档，其中标注了电力设备初始红外数据集中图片的边界框信息，然后使用选择性搜索算法提取区域建议，即可能存在对象的区域。为了性能提升增加区域建议的最大值，设定为2000，若区域建议的数量大于2000，后续的建议将被丢弃，遍历区域建议中的选择框，对其运用IoU(Intersection over Union，交并比)方法，选取结果超过0.7的结果放入"包含对象"(positive)的数据集，选取结果小于0.05同时没有完全重叠(即区域建议的边界框完全处于标注框的内部)的结果放入"不包含对象"(negative)的数据集。对于电力设备初始红外数据集中每张图片的包含或不包含对象的结果也添加了限制，防止数据集过大或存在过多重复数据。
进一步地，对生成的电力设备红外数据集进行优化。由于在图片边缘或是体积极小的对象并没有被增加边界框，在运用选择性搜索时，区域特征会被放大，进而被标为可能存在对象的区域，而因为没有为该区域增加边界框，部分小体积的对象因此将被错误地划分到"不包含对象"的数据集中。在"包含对象"数据集中同样存在着问题，由于统一将生成的图片缩放到224*224的大小，可能会导致原先较小的对象被放大数倍而导致失真，此类失真图像已不包含明显的对象信息，也应被删除。在"包含对象"数据集中存在着部分相似图像，这些近似的图像不需要删除。
本实施例中，获取电力设备初始红外数据集；对电力设备初始红外数据集进行清洗；采用选择性搜索算法标注清洗后的电力设备初始红外数据集，生成电力设备红外数据集。在将XML对象转换为BeautifulSoup对象后就可以使用BeautifulSoup提供的一系列方法来获取和处理XML文档中的数据。例如，可以使用find()方法来查找XML文档中的特定元素，使用find_all()方法来查找所有符合条件的元素，并使用get()方法来获取元素的属性值等等，能加快电力设备目标检测模型生成的速度。对于生成并写入电力设备红外数据集中的图像，一致统一其大小为224*224并进行优化，以便于更好地应用到后续的步骤中。
在一个示例性的实施例中，将电力设备红外训练集输入预训练图像生成模型，采用数据增强算法增强电力设备红外训练集，并利用增强后的电力设备红外训练集更新预训练图像生成模型包括：将电力设备红外训练集输入预训练图像生成模型进行训练；采用数据增强算法对电力设备红外训练集进行随机变换，生成电力设备红外增强训练集，其中数据增强算法包括旋转、缩放和翻转；将电力设备红外增强训练集输入预训练图像生成模型，对预训练图像生成模型的权重和偏置进行更新。
示例性的，数据增强在预训练图像生成模型的训练过程中进行。具体地，先将一批电力设备红外训练集的原始数据输入到预训练图像生成模型中，然后使用数据增强算法对这批数据进行随机变换，生成一批新的训练样本，最后用这批新的训练样本来更新预训练图像生成模型的权重和偏置。进行数据增强使用了Keras的ImageDateGenerator类(Keras中用于数据增强的一个类)，可选的，使用参数rotation_range＝20在0度到20度的范围内随机旋转电力设备红外训练集中的图片；使用zoom_range＝0.15随机缩放电力设备红外训练集中的图片，该参数将使图片在0.85-1.15的范围内随机缩放；使用参数width_shift_range＝0.2，该参数将使电力设备红外训练集中的图片在水平范围内随机移动，移动范围最大为图片宽度的20％；使用参数height_shift_range＝0.2使电力设备红外训练集中的图片在垂直范围内随机移动；使用参数shear_range＝0.15，该参数对电力设备红外训练集中的图像应用随机“剪切”变换，即将图像沿坐标轴扭曲。经过数据增强后，生成生成电力设备红外增强训练集。
本实施例中，运用数据增强算法，增加数据集的多样性和数量，从而提高预训练图像生成模型的通用性和泛化能力，通过对数据分布增加少量的"抖动"使数据更加贴切现实世界中的数据分布，增强后生成的预训练图像生成模型可能会包含在训练数据中未曾包含的点。这样，预训练图像生成模型就能够更好地适应现实世界中的各种场景和变化。
在一个示例性的实施例中，对更新后的预训练图像生成模型进行微调，获得电力设备目标检测模型包括：将更新后的预训练图像生成模型的初始全连接头删除，并构造目的全连接头；将目的全连接头添加至已删除初始全连接头的预训练图像生成模型，生成新预训练图像生成模型；遍历并冻结已删除初始全连接头的预训练图像生成模型的所有层，获得电力设备目标检测模型。
具体地，加载ImageNet数据集上预训练的MobileNet V2模型，即通过增强后的电力设备红外训练集训练的预训练图像生成模型，去掉预训练图像生成模型的全连接头，构造目的全连接头后将目的全连接头添加到基础模型上形成全新的预训练图像生成模型。遍历原先的预训练图像生成模型，冻结所有层使其不能被训练，即可获得电力设备目标检测模型。
本实施例中，在生成更新预训练图像生成模型后对模型进行微调，可以显著提高新数据集上的分类准确率，可以在新的数据集上进行更快、更高效的训练，微调还通过利用预训练模型中的学习特征，降低了在小数据集上过度拟合的风险。
在一个实施例中，如图2所示，提供了一种电力设备目标检测方法，包括：
步骤202，获取电力设备目标红外数据集。
步骤204，采用选择性搜索算法对电力设备目标红外数据集进行提取，生成电力设备目标红外数据集的区域建议集和边界框集。
步骤206，调用电力设备目标检测模型，将包含区域建议集和边界框集的电力设备目标红外数据集输入电力设备目标检测模型进行预测，生成电力设备目标预测数据集；电力设备目标检测模型是通过上述实施例中提供的训练方法得到的。
步骤208，从电力设备目标预测数据集中提取指定预测数据集，对指定预测数据集进行冗余优化处理，获得电力设备的目标检测结果。
具体地，对电力设备目标红外数据集运用选择性搜索算法生成一系列的区域建议以及边界框，即区域建议集和边界框集。调整区域建议集和边界框集，并将调整后的区域建议集和边界框集传入电力设备目标检测模型中进行预测，生成电力设备目标预测数据集。提取电力设备目标预测数据，取其中预测结果为"套管"类的作为指定预测数据集，再通过加入最小概率进行进一步过滤。其中，最小概率可以认为是一个预设置的参数，改变此参数将对最终的结果产生影响，因为最终的结果只会提取预测值高于最小概率的边界框。如果最小概率设定太小，则会形成众多干扰项影响到后续的处理冗余步骤，最小概率过大则可能会过滤掉正确的结果，最终对过滤后的指定预测数据集采用Confluence(汇合算法)方法进行冗余处理，获得电力设备的目标检测结果。
本实施例中，对现场采集的电力设备红外图像进行验证，通过检测电力设备的红外图像和电力设备的温度变化，为电力设备潜在的故障提供预警，为电力设备的维护和管理提供重要参考依据。
在其中一个实施例中，对指定预测数据集进行冗余优化处理包括：获取电力设备目标红外数据集中边界框的曼哈顿距离，基于曼哈顿距离筛选最佳边界框；移除与最佳边界框汇集的边界框。
具体地，首先使用选择性搜索算法将电力设备目标红外数据集中的RGB图像转化为目标图像空间，再使用Felzenszwalb方法(菲尔森茨瓦布算法，一种图像分割方法)生成初始的区域提案，设置最小值为100。先建立自定义区域建议，对电力设备目标红外数据集中的图像运用局部二进制处理，遍历初始的区域提案，对每个提案分别计算区域的面积、区域的边界框和定义区域的二进制掩码，随后计算颜色直方图和纹理直方图。
其中，颜色直方图传入两个参数，分别为区域的二进制掩码以及图片。该函数首先检查图像是否为灰度图像。如果是，它会将其转换为具有单一颜色通道的3D图像。然后获取图像中的颜色通道数，循环遍历每个颜色通道并提取掩码定义的感兴趣区域内的像素，使用numpy库(Numerical Python的缩写，是Python的一种开源的科学计算库)的histogram(直方图)方法计算该通道中像素值的直方图。然后通过将串联直方图除以其值的总和来对串联直方图进行L1归一化。纹理直方图传入两个参数，分别为区域的二进制掩码以及局部二进制模式(Local Binary Pattern，简称LBP)处理后的图像信息。获取图像的颜色通道数进行处理，后续步骤与计算颜色直方图相似，区别在于纹理直方图使用的图片是经过LBP处理的。
进一步地，计算区域建议对，遍历Felzenszwalb方法生成初始的区域提案，使用由标签定义的区域的边界来找到给定标签的相邻标签，提取与边界相邻的唯一标签并将它们作为列表返回。对于每个相邻标签，计算当前标签定义的区域与相邻标签之间的相似性得分。相似度计算中颜色相似性、纹理相似性的计算使用了直方图交集，尺寸相似性通过基于两者相对于整个图像的大小得出，对于两个区域i和j，尺寸相似性的计算方法如公式(1)所示：
size(i,j)＝1-(size(i)+size(j))/(size(image)) (1)
其中size()函数表示区域的尺寸大小，image表示整个图像；
填充相似性首先获取两者的边界框，对于两个区域i和j，填充相似性的计算方法如公式(2)所示：
fill(i,j)＝1-(size(bound(i,j)-size(i)-size(j))/(size(image)) (2)
其中，fill()函数表示填充相似性，bound()函数表示边界框；
得到区域建议对后，获取最高的区域相似性将其合并，合并后重新计算新区域与周围区域的区域相似性，并重复此过程直至结束。
进一步地，Confluence是一种递归的两阶段算法，它首先保留一个最佳边界框，然后删除与之融合的假阳性。保留最佳边界框是通过使用置信加权的曼哈顿距离的接近度评估边界框的一致性来实现的，其能够保留最能代表集群中所有框的边界框。第二阶段包括移除与保留的边界框汇集的所有边界框，重复此过程直到处理完所有边界框。
具体地，先计算曼哈顿距离与接近度。曼哈顿距离(Manhattan Distance)是两点之间垂直和水平距离的总和，下面用MD表示曼哈顿距离。对于两点u1＝(x1,y1)和u2＝(x2,y2)，曼哈顿距离计算方法如公式(3)所示：
MD(u1, u2) ＝ |x1-x2| + |y1-y2| (3)
对于一个边界框bi，定义其左上角端点ui＝(xiu,yiu)，右下角端点vi＝(xiv,yiv)。对于两个边界框bi、bj，定义邻近度量函数P(bi,bj)如公式(4)所示：
P(bi,bj) ＝ MD(u1,u2) + MD(v1,v2) (4)
若P(bi,bj)值的结果较小，则表明两个边界框高度融合。对于每个边界框，计算其P值为其他所有边界框与其的平均P(bi,bj)值。如果一个边界框被多个边界框紧密环绕，其P值会是所有边界框中最低的，该边界框应当被视为对象的最可靠检测。
在一个实施例中，如图3的(a)图和图3的(b)图所示，图3的(a)图为使用Confluence进行冗余优化前的结果，包含多个目标检测边界框，图3的(b)图为使用Confluence进行冗余优化后的目标检测结果，只保留了最佳边界框，优化效果显著。
本实施例中，通过使用曼哈顿距离与接近度判断置信度解决了依赖分类置信度可能会面对的精度降低、分类结果不稳定等问题，计算更加简单快速，具有更好的鲁棒性。
在另一个实施例中，如图4所示，提供一种电力设备目标检测方法，该方法包括：
步骤402，获取电力设备初始红外数据集。
步骤404，对电力设备初始红外数据集进行清洗。
步骤406，采用选择性搜索算法标注清洗后的电力设备初始红外数据集，生成电力设备红外数据集。
步骤408，划分电力设备红外数据集得到电力设备红外训练集。
步骤410，利用卷积神经网络模型构建用于数据增强的预训练图像生成模型。
步骤412，将电力设备红外训练集输入预训练图像生成模型进行训练。
步骤414，采用数据增强算法对电力设备红外训练集进行随机变换，生成电力设备红外增强训练集，其中数据增强算法包括旋转、缩放和翻转。
步骤416，将电力设备红外增强训练集输入预训练图像生成模型，对预训练图像生成模型的权重和偏置进行更新。
步骤418，将更新后的预训练图像生成模型的初始全连接头删除，并构造目的全连接头。
步骤420，将目的全连接头添加至已删除初始全连接头的预训练图像生成模型，生成新预训练图像生成模型。
步骤422，遍历并冻结已删除初始全连接头的预训练图像生成模型的所有层，获得电力设备目标检测模型。
步骤424，获取电力设备目标红外数据集。
步骤426，采用选择性搜索算法对电力设备目标红外数据集进行提取，生成电力设备目标红外数据集的区域建议集和边界框集。
步骤428，调用电力设备目标检测模型，将包含区域建议集和边界框集的电力设备目标红外数据集输入电力设备目标检测模型进行预测，生成电力设备目标预测数据集；电力设备目标检测模型是通过上述实施例中提供的训练方法得到的。
步骤430，从电力设备目标预测数据集中提取指定预测数据集。
步骤432，获取电力设备目标红外数据集中边界框的曼哈顿距离，基于曼哈顿距离筛选最佳边界框。
步骤434，移除与最佳边界框汇集的边界框，获得电力设备的目标检测结果。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的电力设备目标检测模型的训练方法的电力设备目标检测模型的训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个电力设备目标检测模型的训练装置实施例中的具体限定可以参见上文中对于电力设备目标检测模型的训练方法的限定，在此不再赘述。
在一个示例性的实施例中，如图5所示，提供了一种电力设备目标检测模型的训练装置，包括：电力设备红外数据集创建模块502、预训练图像生成模型构建模块504、预训练图像生成模型更新模块506和预训练图像生成模型微调模块508，其中：
电力设备红外数据集创建模块502，用于创建电力设备红外数据集，划分电力设备红外数据集得到电力设备红外训练集；
预训练图像生成模型构建模块504，用于利用卷积神经网络模型构建用于数据增强的预训练图像生成模型；
预训练图像生成模型更新模块506，用于将电力设备红外训练集输入预训练图像生成模型，采用数据增强算法增强电力设备红外训练集，并利用增强后的电力设备红外训练集更新预训练图像生成模型；
预训练图像生成模型微调模块508，用于对更新后的预训练图像生成模型进行微调，获得电力设备目标检测模型。
在其中一个实施例中，电力设备红外数据集创建模块502还包括：
电力设备初始红外数据集获取模块，用于获取电力设备初始红外数据集；
电力设备初始红外数据集清洗模块，用于对电力设备初始红外数据集进行清洗；
电力设备红外数据集生成模块，用于采用选择性搜索算法标注清洗后的电力设备初始红外数据集，生成电力设备红外数据集。
在其中一个实施例中，预训练图像生成模型更新模块506包括：
电力设备红外训练集输入模块，用于将电力设备红外训练集输入预训练图像生成模型进行训练；
电力设备红外训练集增强模块，用于采用数据增强算法对电力设备红外训练集进行随机变换，生成电力设备红外增强训练集，其中数据增强算法包括旋转、缩放和翻转；
权重偏置更新模块，用于将电力设备红外增强训练集输入预训练图像生成模型，对预训练图像生成模型的权重和偏置进行更新。
在其中一个实施例中，预训练图像生成模型微调模块508包括：
全连接头替换模块，用于将更新后的预训练图像生成模型的初始全连接头删除，并构造目的全连接头；
新预训练图像生成模型生成模块，用于将目的全连接头添加至已删除初始全连接头的预训练图像生成模型，生成新预训练图像生成模型；
新预训练图像生成模型层冻结模块，用于遍历并冻结已删除初始全连接头的预训练图像生成模型的所有层，获得电力设备目标检测模型。
上述电力设备目标检测模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中，如图6所示，提供了一种电力设备目标检测装置，包括：电力设备目标红外数据集获取模块602、区域建议和边界框提取模块604、电力设备目标预测数据集获取模块606和电力设备的目标检测结果获取模块608，其中：
电力设备目标红外数据集获取模块602，用于获取电力设备目标红外数据集；
区域建议和边界框提取模块604，用于采用选择性搜索算法对电力设备目标红外数据集进行提取，生成电力设备目标红外数据集的区域建议集和边界框集；
电力设备目标预测数据集获取模块606，用于调用电力设备目标检测模型，将包含区域建议集和边界框集的电力设备目标红外数据集输入电力设备目标检测模型进行预测，生成电力设备目标预测数据集；电力设备目标检测模型是通过上述实施例提供的训练装置得到的；
电力设备的目标检测结果获取模块608，用于从电力设备目标预测数据集中提取指定预测数据集，对指定预测数据集进行冗余优化处理，获得电力设备的目标检测结果。
在其中一个实施例中，电力设备的目标检测结果获取模块508还包括：
最佳边界框筛选模块，用于获取电力设备目标红外数据集中边界框的曼哈顿距离，基于曼哈顿距离筛选最佳边界框；
冗余边界框移除模块，用于移除与最佳边界框汇集的边界框。
上述电力设备目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种电力设备目标检测模型的训练方法和一种电力设备目标检测方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种电力设备目标检测模型的训练方法，其特征在于，所述方法包括：
创建电力设备红外数据集，划分所述电力设备红外数据集得到电力设备红外训练集；
利用卷积神经网络模型构建用于数据增强的预训练图像生成模型；
将所述电力设备红外训练集输入预训练图像生成模型，采用数据增强算法增强所述电力设备红外训练集，并利用所述增强后的电力设备红外训练集更新所述预训练图像生成模型；
对所述更新后的预训练图像生成模型进行微调，获得电力设备目标检测模型。
2.根据权利要求1所述的方法，其特征在于，所述创建电力设备红外数据集包括：
获取电力设备初始红外数据集；
对所述电力设备初始红外数据集进行清洗；
采用选择性搜索算法标注所述清洗后的电力设备初始红外数据集，生成电力设备红外数据集。
3.根据权利要求1所述的方法，其特征在于，所述将所述电力设备红外训练集输入预训练图像生成模型，采用数据增强算法增强所述电力设备红外训练集，并利用所述增强后的电力设备红外训练集更新所述预训练图像生成模型包括：
将所述电力设备红外训练集输入所述预训练图像生成模型进行训练；
采用数据增强算法对所述电力设备红外训练集进行随机变换，生成电力设备红外增强训练集，其中所述数据增强算法包括旋转、缩放和翻转；
将所述电力设备红外增强训练集输入预训练图像生成模型，对所述预训练图像生成模型的权重和偏置进行更新。
4.根据权利要求1所述的方法，其特征在于，所述对所述更新后的预训练图像生成模型进行微调，获得电力设备目标检测模型包括：
将所述更新后的预训练图像生成模型的初始全连接头删除，并构造目的全连接头；
将所述目的全连接头添加至已删除初始全连接头的预训练图像生成模型，生成新预训练图像生成模型；
遍历并冻结所述已删除初始全连接头的预训练图像生成模型的所有层，获得电力设备目标检测模型。
5.一种电力设备目标检测方法，其特征在于，所述方法包括：
获取电力设备目标红外数据集；
采用选择性搜索算法对所述电力设备目标红外数据集进行提取，生成所述电力设备目标红外数据集的区域建议集和边界框集；
调用电力设备目标检测模型，将所述包含区域建议集和边界框集的电力设备目标红外数据集输入所述电力设备目标检测模型进行预测，生成电力设备目标预测数据集；所述电力设备目标检测模型是通过上述权利要求1-4中任意一项训练方法得到的；
从所述电力设备目标预测数据集中提取指定预测数据集，对所述指定预测数据集进行冗余优化处理，获得电力设备的目标检测结果。
6.根据权利要求5所述的方法，其特征在于，所述对所述指定预测数据集进行冗余优化处理包括：
获取所述电力设备目标红外数据集中边界框的曼哈顿距离，基于所述曼哈顿距离筛选最佳边界框；
移除与所述最佳边界框汇集的边界框。
7.一种电力设备目标检测模型的训练装置，其特征在于，所述装置包括：
电力设备红外数据集创建模块，用于创建电力设备红外数据集，划分所述电力设备红外数据集得到电力设备红外训练集；
预训练图像生成模型构建模块，用于利用卷积神经网络模型构建用于数据增强的预训练图像生成模型；
预训练图像生成模型更新模块，用于将所述电力设备红外训练集输入预训练图像生成模型，采用数据增强算法增强所述电力设备红外训练集，并利用所述增强后的电力设备红外训练集更新所述预训练图像生成模型；
预训练图像生成模型微调模块，用于对所述更新后的预训练图像生成模型进行微调，获得电力设备目标检测模型。
8.一种电力设备目标检测装置，其特征在于，所述装置包括：
电力设备目标红外数据集获取模块，用于获取电力设备目标红外数据集；
区域建议和边界框提取模块，用于采用选择性搜索算法对所述电力设备目标红外数据集进行提取，生成所述电力设备目标红外数据集的区域建议集和边界框集；
电力设备目标预测数据集获取模块，用于调用电力设备目标检测模型，将所述包含区域建议集和边界框集的电力设备目标红外数据集输入所述电力设备目标检测模型进行预测，生成电力设备目标预测数据集；所述电力设备目标检测模型是通过权利要求7的训练装置得到的；
电力设备的目标检测结果获取模块，用于从所述电力设备目标预测数据集中提取指定预测数据集，对所述指定预测数据集进行冗余优化处理，获得电力设备的目标检测结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202311154377.8A 2023-09-07 2023-09-07 电力设备目标检测方法、模型训练方法和装置 Pending CN117058554A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311154377.8A CN117058554A (zh) 2023-09-07 2023-09-07 电力设备目标检测方法、模型训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311154377.8A CN117058554A (zh) 2023-09-07 2023-09-07 电力设备目标检测方法、模型训练方法和装置

Publications (1)

Publication Number Publication Date
CN117058554A true CN117058554A (zh) 2023-11-14

Family

ID=88669316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311154377.8A Pending CN117058554A (zh) 2023-09-07 2023-09-07 电力设备目标检测方法、模型训练方法和装置

Country Status (1)

Country Link
CN (1) CN117058554A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808685A (zh) * 2024-02-29 2024-04-02 广东琴智科技研究院有限公司 一种红外图像数据增强的方法、装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808685A (zh) * 2024-02-29 2024-04-02 广东琴智科技研究院有限公司 一种红外图像数据增强的方法、装置

Similar Documents

Publication Publication Date Title
WO2022000426A1 (zh) 基于孪生深度神经网络的动目标分割方法及系统
EP2989607B1 (en) Method and device for performing super-resolution on an input image
US20220058429A1 (en) Method for fine-grained sketch-based scene image retrieval
US11983903B2 (en) Processing images using self-attention based neural networks
Ahmadi et al. Context-aware saliency detection for image retargeting using convolutional neural networks
Ahmad et al. 3D capsule networks for object classification from 3D model data
CN111768415A (zh) 一种无量化池化的图像实例分割方法
CN117058554A (zh) 电力设备目标检测方法、模型训练方法和装置
Bello et al. FFPointNet: Local and global fused feature for 3D point clouds analysis
Cai et al. IOS-Net: An inside-to-outside supervision network for scale robust text detection in the wild
CN114494786A (zh) 一种基于多层协调卷积神经网络的细粒度图像分类方法
Liang et al. Hybrid transformer-CNN networks using superpixel segmentation for remote sensing building change detection
CN113628181A (zh) 图像处理方法、装置、电子设备及存储介质
Chen et al. Robust face super-resolution via position relation model based on global face context
CN115630660B (zh) 基于卷积神经网络的条码定位方法和装置
Vijayalakshmi K et al. Copy-paste forgery detection using deep learning with error level analysis
Xiu et al. Double discriminative face super-resolution network with facial landmark heatmaps
Safar et al. Learning shape priors for object segmentation via neural networks
Jiao et al. Laplacian denoising autoencoder
Rezaei Abkenar et al. Salient region detection using feature extraction in the non‐subsampled contourlet domain
CN113139540A (zh) 背板检测方法及设备
Zeng et al. Scene recognition with comprehensive regions graph modeling
Jam et al. V-LinkNet: Learning Contextual Inpainting Across Latent Space of Generative Adversarial Network
Zhang et al. Fine‐Grained Guided Model Fusion Network with Attention Mechanism for Infrared Small Target Segmentation
US20240071049A1 (en) Spatially Preserving Flattening in Deep Learning Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination