CN112396594B - 变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质 - Google Patents

变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质 Download PDF

Info

Publication number
CN112396594B
CN112396594B CN202011364479.9A CN202011364479A CN112396594B CN 112396594 B CN112396594 B CN 112396594B CN 202011364479 A CN202011364479 A CN 202011364479A CN 112396594 B CN112396594 B CN 112396594B
Authority
CN
China
Prior art keywords
transmission line
power transmission
images
image
change detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011364479.9A
Other languages
English (en)
Other versions
CN112396594A (zh
Inventor
何勇
陈用生
王一名
夏国飞
李广俊
陈志浩
余航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN202011364479.9A priority Critical patent/CN112396594B/zh
Publication of CN112396594A publication Critical patent/CN112396594A/zh
Application granted granted Critical
Publication of CN112396594B publication Critical patent/CN112396594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Abstract

本发明涉及图像处理技术领域，尤其涉及一种变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质。其中的变化检测模型获取方法包括以下步骤：对采集到的多张输电线路遥感影像进行预处理，得到含输电线路标注的样本图像；将样本图像依次输入到卷积神经网络以进行特征提取，得到样本图像对应的特征图，并对特征图中的每一感兴趣区域进行输电线路区域分割、边框回归以及对输电线路区域中每一像素进行目标分类并进行反向传播至卷积神经网络，然后利用下一样本图像输入至卷积神经网络以进行网络训练。本发明的变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质，可以得到特征的准确空间位置，提高检测的准确率。

Description

变化检测模型获取方法及装置、变化检测方法、计算机设备及 可读存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质。
背景技术
通常地，输电线路图像中包含的信息有很多，如纹理、灰度、空间位置等信息。一般传统的变化检测过程是通过算法产生一幅二值图像，然后将变化的部分和未变化的部分表示出来。中国专利CN108734691A公开了一种输电线路缺陷图像识别方法，虽然图像变化检测的方法得到了新的提升，但是对于输电线路图像的变化检测来说，不同时相的拍摄图像可能会出现一些非重要因素而导致的伪变化，而如何消除这些伪变化给检测结果带来的影响是很重要的，但是现有的方法并没能很好地解决这个问题。
发明内容
为了解决现有技术中所存在的缺陷，本发明提供了一种变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质，不仅可以提高对输电线路图像的深度特征信息变化的提取，还可以得到特征的准确空间位置，利用训练好的网络来提取出不同拍摄时刻的输电线路图像，还可以提高变化检测的准确率。
为解决上述技术问题，本发明分别提供以下技术方案：
一种变化检测模型获取方法，应用于输电线路，包括以下步骤：
S110、对采集到的多张输电线路遥感影像进行预处理，得到含输电线路标注的样本图像；
S120、将样本图像依次输入到卷积神经网络以进行特征提取，得到样本图像对应的特征图，并对特征图中的每一感兴趣区域进行输电线路区域分割、边框回归以及对输电线路区域中每一像素进行目标分类；
S130、将输电线路区域分割误差、边框回归的误差及目标分类误差进行反向传播至卷积神经网络，然后利用下一样本图像输入至卷积神经网络以进行网络训练；
S140、直到构建的损失函数满足预设条件时停止训练，得到训练好的卷积神经网络，训练好的网络用于对输入的至少两张目标图像进行输电线路特征图提取，进而利用提取后的特征图进行比对，以得到至少两张目标图像之间的变化特征。
进一步的，对采集到的多张输电线路遥感影像进行预处理，得到含输电线路标注的样本图像，包括以下步骤：
S111、分别对同次飞行任务的每相邻两张输电线路遥感影像进行图像拼接，得到各飞行任务的特定范围内的输电线路的原始拼接图像；
S112、对各原始拼接图像进行数据增强处理，得到增强拼接图像；
S113、将所有原始拼接图像和增强拼接图像均作为样本图像，每一样本图像均含有输电线路的标注信息。
进一步的，对每相邻两张输电线路遥感影像进行图像拼接，包括以下步骤：
S1111、基于尺度不变特征变换算法提取各张输电线路遥感影像中的特征点；
S1112、对相邻两张遥感影像进行特征点匹配及图像对齐，得到相邻两张输电线路遥感影像对应的拼接图像。
进一步的，卷积神经网络为CNN网络，对CNN网络进行训练时，方法为：
通过Adam算法进行梯度下降，以确定CNN网络进行权重更新时的学习率。
进一步的，构建的损失函数由输电线路区域分割误差、边框回归的误差及目标分类误差构成；
损失函数L的表达式为：
L＝Lbbox+Lclass+Lmask；
其中，Lbbox为边框回归误差，Lclass为目标分类误差，Lmask为输电线路区域分割误差。
进一步的，多张输电线路遥感影像的获取，方法为：
利用地面站的定点航线飞行对同一输电线路进行拍摄，以获得不同飞行任务中下的多张输电线路遥感影像。
一种变化检测方法，应用于输电线路，包括以下步骤：
S210、对不同拍摄批次下采集到的同一输电线路的多张遥感图像进行预处理，得到对应拍摄批次的输电线路拼接图像；
S220、将每张输电线路拼接图像输入至训练好的卷积神经网络，输出各自对应的特征图；
S230、将各张特征图进行像素级对比，得到不同拍摄批次下的输电线路拼接图像之间的变化特征。
一种变化检测模型获取装置，包括依次连接的预处理模块、特征提取模块以及反馈训练模块。其中，预处理模块用于对采集到的多张输电线路遥感影像进行预处理，得到大量的含输电线路标注的样本图像；
特征提取模块用于将样本图像依次输入到卷积神经网络以进行特征提取，得到样本图像对应的特征图，并对特征图中的每一感兴趣区域进行输电线路区域分割、边框回归以及对输电线路区域中每一像素进行目标分类；
反馈训练模块用于将输电线路区域分割误差、边框回归的误差及目标分类误差进行反向传播至卷积神经网络，然后利用下一样本图像输入至卷积神经网络以进行网络训练，直到构建的损失函数满足预设条件时停止训练，得到训练好的卷积神经网络；训练好的网络用于对输入的至少两张目标图像进行输电线路特征图提取，进而利用提取后的特征图进行比对，以得到至少两张目标图像之间的变化特征。
一种计算机设备，包括处理器和存储器，存储器存储有计算机程序，处理器用于执行计算机程序以实施上述的变化检测模型获取方法或变化检测方法。
一种可读存储介质，存储有计算机程序，计算机程序用于实施上述的变化检测模型获取方法或变化检测方法。
与现有技术相比，本发明具有以下有益效果：
本发明通过对输电线路遥感影像进行预处理以得到大量带标注信息的样本图像，并利用这些样本图像对卷积神经网络进行网络训练以得到能够提取出输电线路图像特征的训练网络；在训练过程中，构建了包括输电线路区域分割误差、边框回归的误差及目标分类误差这三部分的多任务损失函数，不仅可以提高对输电线路图像的深度特征信息变化的提取，还可以得到特征的准确空间位置；利用该训练好的网络来提取出不同拍摄时刻的该输电线路图像，还可以提高变化检测的准确率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明的变化检测模型获取方法的第一流程示意图；
图2示出了本发明的变化检测模型获取方法的第二流程示意图；
图3示出了本发明的变化检测模型获取方法的第三流程示意图；
图4示出了本发明的变化检测模型获取方法的第四流程示意图；
图5示出了本发明的输电线路变化检测方法的流程示意图；
图6示出了本发明的变化检测模型获取装置的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本申请的各种实施例中被清楚地限定。
本发明实施例包括：
实施例一：
如图1所示，本实施例提出一种变化检测模型获取方法，可应用于输电线路遥感影像的变化检测，通过该方法获取得到变化检测模型可以提高检测的准确率，下面对该变化检测模型获取方法进行详细说明，包括以下步骤：
步骤S110、对采集到的多张输电线路遥感影像进行预处理，得到大量的含输电线路标注的样本图像。示范性地，可通过利用地面站的定点航线飞行进行同一输电线路的不同批次拍摄，从而获得不同拍摄批次下的多张输电线路遥感影像。通常地，输电线路的位置不会发生变化，为对该输电线路的状态进行监测，可采用无人机等设备按照该输电线路所在的固定位置进行定点航线飞行，并在每次的飞行过程中拍摄得到该输电线路的多张遥感影像，以便后续利用这些拍摄得到的实际影像进行标注处理及模型训练等。
如图2所示，对于步骤S110的预处理，包括以下步骤：
步骤S111、分别对同次飞行任务的每相邻两张输电线路遥感影像进行图像拼接，得到各飞行任务对应的特定范围内的输电线路的原始拼接图像。由于输电线路往往较长，而一张图像中很难将其全部拍摄在内，往往会通过连续拍摄多张来得到该输电线路不同位置的图像，因此，可通过图像拼接方式来得到整个长度或一定长度范围的输电线路的图像。对于一次飞行任务中得到的多张遥感影像，可以对每相邻两张的遥感影像进行图像拼接，从而得到该次飞行任务拍摄得到的输电线路的原始拼接图像。在本实施例中，可以将每次飞行任务拍摄得到的图像均执行上述图像拼接处理，以得到每次拍摄得到具有一定长度范围的输电线路的拼接图像。
如图3所示，对于步骤S111，还包括以下步骤：
子步骤S1111、基于尺度不变特征变换算法提取各张输电线路遥感影像中的特征点，其中，尺度不变特征变换算法是一种可以在空间尺度中寻找极值点并提取出影像中的位置、尺度和旋转不变量，通过该算法可以提取出每张输电线路遥感影像中的局部影像特征；
子步骤S1112、对相邻两张遥感影像进行特征点匹配及图像对齐，得到该相邻两张输电线路遥感影像对应的拼接图像。
在本实施例中，进行上述特征点的匹配过程中，可采用如KNN邻近算法等找到空间中距离最近的两个数据点，从而找到所有的匹配点。进而，进行图像对齐时，首先可计算得到一个匹配点计算得到两张影像对应的单应矩阵，即拍摄装置的外参，进而利用该单应性矩阵进行图像拼接。可选地，可先通过相机标定等方法来求解更加准确的单应矩阵。
步骤S112、对各原始拼接图像进行数据增强处理，得到大量的增强拼接图像。考虑到模型训练时往往需要较多的样本图像，其中，样本图像具有多样性，这样训练得到的模型的鲁棒性更好，泛化能力也更强。示范性地，可通过对各原始拼接图像进行数据增强处理，例如，可包括但不限于对图像进行旋转、亮度调整、尺寸调整和噪声增加等中的一种或多种组合操作，从而得到一定数量的增强拼接图像。
步骤S113、将所有原始拼接图像和增强拼接图像均作为样本图像，每一样本图像均含有输电线路的标注信息。示范性地，可以对样本图像中的输电线路进行依次标注，以得到该输电线路在当前图像中的具体位置信息，而这些标注信息主要用于后续的网络训练，即通过训练网络来提取出这些输电线路的深度特征信息等。
可以理解，标注操作优选地在数据增强之前执行，这样在数据增强操作过程中，则可以利用增强参数来直接计算得到增强图像的标注信息，当然也可以是数据增强之后执行，在此并不作限定。
步骤S120，将样本图像依次输入到卷积神经网络以进行特征提取，得到该样本图像对应的特征图，并对特征图中的每一感兴趣区域进行输电线路区域分割、边框回归以及对该输电线路区域中每一像素进行目标分类。
如图4所示，该卷积神经网络采用CNN网络。示范性地，将一样本图像输入到CNN网络后，将得到该整个样本图像的特征图。其中，在输出特征图时，还将通过区域建议网络(RPN)来得到该样本图像的候选框，进而将每个候选框映射到对应的特征图卷积层中。通常地，该特征图中将选取有多个感兴趣区域(ROI)，对于每个感兴趣区域ROI，将通过该卷积神经网络中的ROI Align层以进行输电线路目标的边框回归、输电线路区域的分割预测，以及对该输电线路区域中的像素进行目标分类。其中，目标分类是指判断该区域中的每个像素是否为输电线路而进行背景或背景的分类。
步骤S130，将输电线路区域分割误差、边框回归的误差及目标分类误差进行反向传播至卷积神经网络，然后利用下一样本图像输入至卷积神经网络以进行网络训练。示范性地，利用该次计算得到的三种误差进行反向传播至卷积神经网络中，以用于调整更新网络中的权重值、偏差等内部参数。进一步优选地，在对网络进行训练时，该方法还包括：通过Adam算法进行梯度下降，以确定CNN网络进行权重更新时的学习率。其中，梯度下降主要用于在神经网络中进行权重更新，即在一个方向上更新和调整网络模型的参数，以实现最小化损失函数。相对于随机梯度下降的方式，Adam算法是一种自适应学习率得法，其具有收敛速度更快，学习效果更为有效的优势。
在本实施例中，构建的损失函数包括三部分，分别是输电线路区域的分割误差、输电线路目标的边框回归的误差及上述的目标分类的误差之和，该损失函数L的表达式如下：
L＝Lbbox+Lclass+Lmask；
其中，Lbbox为边框回归误差，Lclass为目标分类误差，Lmask为分割误差。
为提高该卷积神经网络的准确性，将重复执行下一个样本图像的训练。其中，在下一次训练时，将利用调整了权重值后的卷积神经网络进行训练，从而使得输出的边框回归、分割预测和目标分类的结果更准确，即减小这三者之间的误差。接着，输入下一样本图像进行上述训练过程，直到该损失函数能够满足一定的条件时才停止。
步骤S140，直到构建的损失函数满足预设条件时停止训练，得到训练好的卷积神经网络。示范性地，当训练到该网络所输出的边框回归结果、分割预测结果以及目标分类结果这三者存在的误差之和小于预设误差阈值，例如，可取值为上述损失函数的最小值，当然也可以是其他的值，在此并不作限定。
通过上述训练过程将得到训练好的卷积神经网络，利用该训练好的卷积神经网络能够用于将输入的输电线路图像进行特征提取。
示范性地，当输入至少两张目标输电线路图像时，可输出对应的特征图，进而可利用提取到的特征图进行比对，以得到至少两张输电线路图像之间的变化特征。其中，可以是将两次不同飞行任务中拍摄得到的输电线路图像进行变化检测，也可以是将次不同飞行任务中拍摄得到的输电线路图像与原始的输电线路图像进行变化检测，在此并不作限定。
可以理解，通过对不同时刻的输电线路的特征进行提取，进而进行变化检测，可以对该输电线路进行定时定量分析，从而方便判断和检测该输电线路是否发生损坏等，以便及时发现问题、及时维护等。
本实施例的变化检测模型获取方法通过对输电线路遥感影像进行预处理以得到大量带标注信息的样本图像，并利用这些样本图像对卷积神经网络进行网络训练以得到能够提取出输电线路图像特征的训练网络；在训练过程中，构建了包括输电线路区域分割误差、边框回归的误差及目标分类误差这三部分的多任务损失函数，不仅可以提高对输电线路图像的深度特征信息变化的提取，还可以得到特征的准确空间位置；利用该训练好的网络来提取出不同拍摄时刻的该输电线路图像，可以提高变化检测的准确率。
实施例二：
如图5所示，基于上述实施例一的方法，本实施例还提出一种用于输电线路的变化检测方法，包括以下步骤：
步骤S210，对不同拍摄批次下采集到的同一输电线路的多张遥感图像进行预处理，得到对应拍摄批次的输电线路拼接图像。示范性地，所述的预处理主要包括对不同飞行任务得到的多张遥感图像进行图像拼接处理，例如，分别将第一次飞行任务和第二次飞行任务中各自得到的遥感图像进行拼接，以得到具有相同长度范围内的输电线路的拼接图像。可以理解，用于进行变化检测的两张输电线路图像应当是位于相同位置的同一段输电线路，例如，均是从A点到B点的输电线路，不同的地方仅在于拍摄的时间不同，例如，两次的拍摄时间相隔几天、1周或1个月等。此外，关于具体的拼接操作，可以参见上述实施例一中的图像拼接步骤，故在此不再重复描述。
步骤S220、将每张输电线路拼接图像输入至训练好的卷积神经网络，输出各自对应的特征图。
可以理解，本实施例的卷积神经网络将采用上述实施例一的方法进行训练得到，具体可参见上述实施例一，在此不再重复描述。
步骤S230，将各张特征图进行像素级对比，得到不同拍摄批次下的输电线路拼接图像之间的变化特征。
由于上述卷积神经网络输出的特征图中输电线路区域的每个像素都进行了目标分类，即得到的是像素级的特征图，通过将不同的特征图进行像素逐一对比，可以有效且准确地识别出该输电线路所发生的变化特征，达到变化检测目的。
实施例三：
如图6所示，基于上述实施例一的变化检测模型获取方法，本实施例提出一种变化检测模型获取装置，包括依次连接的预处理模块、特征提取模块以及反馈训练模块。
其中，预处理模块用于对采集到的多张输电线路遥感影像进行预处理，得到大量的含输电线路标注的样本图像；
特征提取模块用于将样本图像依次输入到卷积神经网络以进行特征提取，得到样本图像对应的特征图，并对特征图中的每一感兴趣区域进行输电线路区域分割、边框回归以及对输电线路区域中每一像素进行目标分类；
反馈训练模块用于将输电线路区域分割误差、边框回归的误差及目标分类误差进行反向传播至卷积神经网络，然后利用下一样本图像输入至卷积神经网络以进行网络训练，直到构建的损失函数满足预设条件时停止训练，得到训练好的卷积神经网络；训练好的网络用于对输入的至少两张目标图像进行输电线路特征图提取，进而利用提取后的特征图进行比对，以得到至少两张目标图像之间的变化特征。
可以理解，本实施例的各模块对应于上述实施例一的各步骤，上述实施例一中的任意可选项同样适用于本实施例，故在此不再详述。
本实施例还提供了一种计算机设备，包括处理器和存储器，存储器存储有计算机程序，处理器用于执行计算机程序以实施上述的变化检测模型获取方法或变化检测方法。
存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据，比如训练图像数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本实施例还提供了一种可读存储介质，存储有计算机程序，用于储存上述计算机设备中使用的所述计算机程序。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (6)

1.一种变化检测模型获取方法，其特征在于，应用于输电线路，包括以下步骤：
S110、对采集到的多张输电线路遥感影像进行预处理，得到含输电线路标注的样本图像；
S120、将样本图像依次输入到卷积神经网络以进行特征提取，得到样本图像对应的特征图，并对特征图中的每一感兴趣区域进行输电线路区域分割、边框回归以及对输电线路区域中每一像素进行目标分类；
S130、将输电线路区域分割误差、边框回归的误差及目标分类误差进行反向传播至卷积神经网络，然后利用下一样本图像输入至卷积神经网络以进行网络训练；
S140、直到构建的损失函数满足预设条件时停止训练，得到训练好的卷积神经网络，训练好的网络用于对输入的至少两张目标图像进行输电线路特征图提取，进而利用提取后的特征图进行比对，以得到至少两张目标图像之间的变化特征；
对采集到的多张输电线路遥感影像进行预处理，得到含输电线路标注的样本图像，包括以下步骤：
S111、分别对同次飞行任务的每相邻两张输电线路遥感影像进行图像拼接，得到各飞行任务的特定范围内的输电线路的原始拼接图像；
S112、对各原始拼接图像进行数据增强处理，得到增强拼接图像；
S113、将所有原始拼接图像和增强拼接图像均作为样本图像，每一样本图像均含有输电线路的标注信息；
对每相邻两张输电线路遥感影像进行图像拼接，包括以下步骤：
S1111、基于尺度不变特征变换算法提取各张输电线路遥感影像中的特征点；
S1112、对相邻两张遥感影像进行特征点匹配及图像对齐，得到相邻两张输电线路遥感影像对应的拼接图像；
构建的损失函数由输电线路区域分割误差、边框回归的误差及目标分类误差构成；
损失函数L的表达式为：
L＝Lbbox+Lclass+Lmask；
其中，Lbbox为边框回归误差，Lclass为目标分类误差，Lmask为输电线路区域分割误差；
其中，训练好的网络用于对输入的至少两张目标图像进行输电线路特征图提取，进而利用提取后的特征图进行比对，以得到至少两张目标图像之间的变化特征，包括如下步骤：
S210、对不同拍摄批次下采集到的同一输电线路的多张遥感图像进行预处理，得到对应拍摄批次的输电线路拼接图像；
S220、将每张输电线路拼接图像输入至训练好的卷积神经网络，输出各自对应的特征图；
S230、将各张特征图进行像素级对比，得到不同拍摄批次下的输电线路拼接图像之间的变化特征。
2.根据权利要求1所述的变化检测模型获取方法，其特征在于，卷积神经网络为CNN网络，对CNN网络进行训练时，方法为：
通过Adam算法进行梯度下降，以确定CNN网络进行权重更新时的学习率。
3.根据权利要求1所述的变化检测模型获取方法，其特征在于，多张输电线路遥感影像的获取，方法为：
利用地面站的定点航线飞行对同一输电线路进行拍摄，以获得不同飞行任务中下的多张输电线路遥感影像。
4.一种变化检测模型获取装置，其特征在于，所述变化检测模型获取装置应用于权利要求1至3任一项所述的变化检测模型获取方法，所述变化检测模型获取装置包括依次连接的预处理模块、特征提取模块以及反馈训练模块；其中，预处理模块用于对采集到的多张输电线路遥感影像进行预处理，得到含输电线路标注的样本图像；特征提取模块用于将样本图像依次输入到卷积神经网络以进行特征提取，得到样本图像对应的特征图，并对特征图中的每一感兴趣区域进行输电线路区域分割、边框回归以及对输电线路区域中每一像素进行目标分类；反馈训练模块用于将输电线路区域分割误差、边框回归的误差及目标分类误差进行反向传播至卷积神经网络，然后利用下一样本图像输入至卷积神经网络以进行网络训练，直到构建的损失函数满足预设条件时停止训练，得到训练好的卷积神经网络；训练好的网络用于对输入的至少两张目标图像进行输电线路特征图提取，进而利用提取后的特征图进行比对，以得到至少两张目标图像之间的变化特征。
5.一种计算机设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施权利要求1至3中任一项所述的变化检测模型获取方法。
6.一种可读存储介质，其特征在于，存储有计算机程序，所述计算机程序用于实施根据权利要求1至3中任一项所述的变化检测模型获取方法。
CN202011364479.9A 2020-11-27 2020-11-27 变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质 Active CN112396594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011364479.9A CN112396594B (zh) 2020-11-27 2020-11-27 变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011364479.9A CN112396594B (zh) 2020-11-27 2020-11-27 变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112396594A CN112396594A (zh) 2021-02-23
CN112396594B true CN112396594B (zh) 2024-03-29

Family

ID=74605463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011364479.9A Active CN112396594B (zh) 2020-11-27 2020-11-27 变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112396594B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077424A (zh) * 2021-03-23 2021-07-06 广东电网有限责任公司广州供电局 一种基于深度学习的输电线路通道环境变化检测方法及系统
CN115100544A (zh) * 2022-08-24 2022-09-23 中国电力科学研究院有限公司 输电线路星地协同外破监测预警方法、装置、设备及介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573276A (zh) * 2018-03-12 2018-09-25 浙江大学 一种基于高分辨率遥感影像的变化检测方法
CN109063569A (zh) * 2018-07-04 2018-12-21 北京航空航天大学 一种基于遥感影像的语义级变化检测方法
CN109409263A (zh) * 2018-10-12 2019-03-01 武汉大学 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法
CN109934154A (zh) * 2019-03-08 2019-06-25 北京科技大学 一种遥感影像变化检测方法及检测装置
CN110136170A (zh) * 2019-05-13 2019-08-16 武汉大学 一种基于卷积神经网络的遥感影像建筑物变化检测方法
CN110378224A (zh) * 2019-06-14 2019-10-25 香港理工大学深圳研究院 一种地物变化的检测方法、检测系统及终端
CN110543867A (zh) * 2019-09-09 2019-12-06 北京航空航天大学 一种多摄像头条件下的人群密度估测系统及方法
CN110969088A (zh) * 2019-11-01 2020-04-07 华东师范大学 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法
CN111047551A (zh) * 2019-11-06 2020-04-21 北京科技大学 一种基于U-net改进算法的遥感影像变化检测方法及系统
CN111582043A (zh) * 2020-04-15 2020-08-25 电子科技大学 基于多任务学习的高分辨率遥感影像地物变化检测方法
CN111815579A (zh) * 2020-06-24 2020-10-23 浙江大华技术股份有限公司 一种图像变化检测方法、装置及计算机可读存储介质
CN111986193A (zh) * 2020-08-31 2020-11-24 香港中文大学（深圳） 一种遥感影像变化检测方法、电子设备及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573276A (zh) * 2018-03-12 2018-09-25 浙江大学 一种基于高分辨率遥感影像的变化检测方法
CN109063569A (zh) * 2018-07-04 2018-12-21 北京航空航天大学 一种基于遥感影像的语义级变化检测方法
CN109409263A (zh) * 2018-10-12 2019-03-01 武汉大学 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法
CN109934154A (zh) * 2019-03-08 2019-06-25 北京科技大学 一种遥感影像变化检测方法及检测装置
CN110136170A (zh) * 2019-05-13 2019-08-16 武汉大学 一种基于卷积神经网络的遥感影像建筑物变化检测方法
CN110378224A (zh) * 2019-06-14 2019-10-25 香港理工大学深圳研究院 一种地物变化的检测方法、检测系统及终端
CN110543867A (zh) * 2019-09-09 2019-12-06 北京航空航天大学 一种多摄像头条件下的人群密度估测系统及方法
CN110969088A (zh) * 2019-11-01 2020-04-07 华东师范大学 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法
CN111047551A (zh) * 2019-11-06 2020-04-21 北京科技大学 一种基于U-net改进算法的遥感影像变化检测方法及系统
CN111582043A (zh) * 2020-04-15 2020-08-25 电子科技大学 基于多任务学习的高分辨率遥感影像地物变化检测方法
CN111815579A (zh) * 2020-06-24 2020-10-23 浙江大华技术股份有限公司 一种图像变化检测方法、装置及计算机可读存储介质
CN111986193A (zh) * 2020-08-31 2020-11-24 香港中文大学（深圳） 一种遥感影像变化检测方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN112396594A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
JP7236545B2 (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
US10789504B2 (en) Method and device for extracting information in histogram
CN109034078B (zh) 年龄识别模型的训练方法、年龄识别方法及相关设备
CN110647829A (zh) 一种票据的文本识别方法及系统
CN108229290B (zh) 视频物体分割方法和装置、电子设备、存储介质
US20190259493A1 (en) Segmentation, landmark detection and view classification using multi-task learning
EP3815043A1 (en) Systems and methods for depth estimation via affinity learned with convolutional spatial propagation networks
CN112396594B (zh) 变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质
US11392800B2 (en) Computer vision systems and methods for blind localization of image forgery
WO2023221608A1 (zh) 口罩识别模型的训练方法、装置、设备及存储介质
US11367206B2 (en) Edge-guided ranking loss for monocular depth prediction
CN114399640B (zh) 一种不确定区域发现与模型改进的道路分割方法及装置
US20220207679A1 (en) Method and apparatus for stitching images
CN108549899B (zh) 一种图像识别方法及装置
CN113239975B (zh) 一种基于神经网络的目标检测方法和装置
CN112581483B (zh) 基于自学习的植物叶片叶脉分割方法和装置
CN110210314B (zh) 人脸检测方法、装置、计算机设备及存储介质
CN111862239A (zh) 一种面阵相机图像重叠区域标定方法、装置、设备及存储介质
CN110472638A (zh) 一种目标检测方法、装置及设备、存储介质
KR102026280B1 (ko) 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템
CN110751163A (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备
CN114973064A (zh) 一种伪标签框生成方法、装置及电子设备
CN115311680A (zh) 人体图像质量检测方法、装置、电子设备及存储介质
CN116415019A (zh) 虚拟现实vr图像识别方法及装置、电子设备、存储介质
CN114241202A (zh) 着装分类模型的训练方法及装置、着装分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant