CN115546630A - 基于遥感影像特征目标检测的工地提取方法和系统 - Google Patents

基于遥感影像特征目标检测的工地提取方法和系统 Download PDF

Info

Publication number
CN115546630A
CN115546630A CN202211116082.7A CN202211116082A CN115546630A CN 115546630 A CN115546630 A CN 115546630A CN 202211116082 A CN202211116082 A CN 202211116082A CN 115546630 A CN115546630 A CN 115546630A
Authority
CN
China
Prior art keywords
network model
target detection
semantic segmentation
remote sensing
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211116082.7A
Other languages
English (en)
Inventor
苏晓
张明晖
丁争
张卓成
陈峻宇
李浪
许华栋
申若飞
白万崧
王德新
杨光兴
李毅
朱立夫
周兵
刘鸿燕
康晓
段丁丁
王成港
程锐
牛帆帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Aerospace Hongtu Information Technology Co Ltd
Original Assignee
Wuxi Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Aerospace Hongtu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Power Supply Co of State Grid Jiangsu Electric Power Co Ltd, Aerospace Hongtu Information Technology Co Ltd filed Critical Wuxi Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority to CN202211116082.7A priority Critical patent/CN115546630A/zh
Publication of CN115546630A publication Critical patent/CN115546630A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

基于遥感影像特征目标检测的工地提取方法和系统，所述方法包括：采集遥感影像数据，筛选和裁剪出含有工地影像的原始影像样本集；对原始影像样本集进行标注，得到塔吊目标检测数据集和裸土语义分割数据集，并进行数据集预处理；搭建目标检测网络模型；使用预处理过的塔吊目标检测数据集训练目标检测网络模型；搭建语义分割网络模型；使用预处理过的裸土语义分割数据集训练语义分割网络模型；使用训练好的目标检测网络模型和语义分割网络模型对待处理的遥感影像进行预测；根据预测结果中裸土面积和塔吊数量判断此区域是否为工地。采用基于深度学习的多目标联合判读方案，实现自动化检测，提高输电线路危险源排查效率，提高用电安全性能。

Description

基于遥感影像特征目标检测的工地提取方法和系统
技术领域
本发明涉及电力传输领域，具体涉及基于遥感影像特征目标检测的工地提取方法和系统。
背景技术
为保障电力稳定供应与安全输送，对输电线路的定期巡检、危险源实时排查尤为重要。输电网络一般存在距离远、设备所处环境恶劣、用户量巨大且分散等特点，在危险源排查时效率低且容易疏漏。相比之下，利用卫星遥感观测技术具有观测范围广、动态及时且基本不受自然条件影响，优势十分明显。
一些现有的基于遥感影像的输电线路检测技术对数据要求较高，或技术实现过于简单粗糙，鲁棒性不高。如基于高分辨率的SAR图像，MIT林肯实验室利用SAR影像进行白化滤波对电塔进行检测；基于可见光遥感影像的应用，如在高分辨率可见光遥感影像上构建导线在Cluster Randon(CR)频域空间的峰值特征提取输电导线，使用深度学习技术在遥感影像上实现电塔检测等。
工地作为输电线路危险源之一，安全隐患较大，因此对工地准确定位有利于实施规范化用电管理。相比人工巡检或自主报备，使用卫星遥感技术检测工地更为可靠，可以避免遗漏。工地一般呈现表面杂乱不规则、有塔吊等明显建筑器械、地面以裸土或者绿网为主、绿化少等特征，可采用深度学习中目标检测的方法进行定位。
发明内容
为解决现有技术中存在的不足，本发明的目的在于，提供基于遥感影像特征目标检测的工地提取方法和系统，根据工地的外在特征，采用基于深度学习的多目标联合判读方案，实现自动化检测，提高输电线路危险源排查效率，提高用电安全性能。
本发明采用如下的技术方案。
基于遥感影像特征目标检测的工地提取方法，方法包括：
步骤1，采集遥感影像数据，筛选和裁剪出含有工地影像的原始影像样本集；
步骤2，对原始影像样本集进行标注，得到塔吊目标检测数据集和裸土语义分割数据集，并对塔吊目标检测数据集和裸土语义分割数据集预处理；
步骤3，搭建目标检测网络模型；
步骤4，使用预处理过的塔吊目标检测数据集训练目标检测网络模型；
步骤5，搭建语义分割网络模型；
步骤6，使用预处理过的裸土语义分割数据集训练语义分割网络模型；
步骤7，使用训练好的目标检测网络模型和语义分割网络模型对待处理的遥感影像进行预测；
步骤8，根据预测结果中裸土面积和塔吊数量判断此区域是否为工地。
优选地，步骤1中使用标注软件或者遥感影像专用处理软件对样本进行一一标注，将塔吊用矩形边界框包围，标注文件和原图构成塔吊目标检测数据集；
将裸土作为前景生成掩膜，其中，标注的裸土块像素值赋1，背景像素值赋0；掩膜与原图组成一对样本，构建裸土语义分割数据集。
优选地，步骤3中目标检测网络模型包括：数据输入层，骨干网络，检测网络Neck结构，检测头和用于反向传播的目标函数。
数据输入层用于加载训练集的图像数据，根据深度学习框架规范格式对图像数据归一化处理并转换为张量后输入网络。
骨干网络为多层卷积神经网络，由浅至深提取不同层次特征，在不同图像细粒度上聚合并形成图像特征；
检测网络Neck结构包括一系列混合和组合图像特征的网络层，采用一种空间金字塔池化结构。
检测头位于整个网络末端，由一个普通卷积神经网络构成，根据提取到的图像特征进行预测，生成边界框并预测类别，检测头输出信息包括：置信概率，类别概率与回归检测框；
目标函数用于训练网络模型时在反向传播过程中计算预测信息与真实标注信息的偏差，包括：边界框回归损失项，置信度损失项，分类损失项。
优选地，边界框回归损失项使用CIoU损失，公式如下所示：
Figure BDA0003845609890000031
Figure BDA0003845609890000032
Figure BDA0003845609890000033
式中，
LCIoU表示计算得到的CIoU损失，
IoU表示预测框和真实框的交并比，
ρ2(b,bgt)表示真实框与预测框中心点的欧氏距离，
Α表示用于平衡比例的参数，
c表示能够同时覆盖预测框和gt框的最小矩形的对角线距离，
θ表示长宽比一致性参数，
ω表示预测框宽度，
h表示预测框高度，
ωgt表示真实框宽度，
hgt表示真实框高度。
基于遥感影像特征目标检测的工地提取系统，包括：采集模块，预处理模块，目标检测网络模型搭建模块，训练目标检测网络模型模块，语义分割网络模型搭建模块，语义分割网络模型训练模块，预测和判断模块，其中：
采集模块用于，采集遥感影像数据，筛选和裁剪出含有工地影像的原始影像样本集；
预处理模块用于对原始影像样本集进行标注，得到塔吊目标检测数据集和裸土语义分割数据集，并对塔吊目标检测数据集和裸土语义分割数据集预处理；
目标检测网络模型搭建模块用于搭建目标检测网络模型；
训练目标检测网络模型模块用于使用预处理过的塔吊目标检测数据集训练目标检测网络模型；
语义分割网络模型搭建模块用于搭建语义分割网络模型；
语义分割网络模型训练模块用于使用预处理过的裸土语义分割数据集训练语义分割网络模型；
预测和判断模块用于使用训练好的目标检测网络模型和语义分割网络模型对待处理的遥感影像进行预测；根据预测结果中裸土面积和塔吊数量判断此区域是否为工地。
一种终端，包括处理器及存储介质；其特征在于：
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行基于遥感影像特征目标检测的工地提取方法的步骤。
计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现基于遥感影像特征目标检测的工地提取方法的步骤。
本发明的有益效果在于，与现有技术相比，
本发明提出一种应用于电力输送领域，基于深度学习的双模型联合判读识别方案，实现在可见光遥感影像中准确、快速识别与前景区分度低、表面杂乱无特定分布规律并且形状不规则的工地目标，同时返回坐标信息作为输电线路危险源，为制定输电线路无人机巡检方案提供依据，代替传统的人工判读，大大提升工作效率。
两种目标联合判读策略考虑在复杂场景下使用单一模型的局限性，使用两种算法，即语义分割算法实现裸土提取、目标检测算法实现塔吊检测，根据二者预测结果分别设定阈值进行联合判读确定工地位置。该方案在提高工地目标检测精度的同时，基于统计学的阈值设定方法提升了该方案用于具体场景的灵活性和更广的适用性。
附图说明
图1是本发明基于遥感影像特征目标检测的工地提取方法流程图；
图2是塔吊检测网络结构图；
图3是塔吊检测网络训练过程；
图4是裸土分割网络结构图；
图5是裸土分割网络训练过程。
具体实施方式
下面结合附图对本申请作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本申请的保护范围。
实施例1。
如图1所示，基于遥感影像特征目标检测的工地提取方法，包括以下步骤：
步骤1，采集遥感影像数据，筛选和裁剪出含有工地影像的原始影像样本集。采集遥感影像数据，采集方式为利用遥感数据下载平台如Google卫星地图、水经注地图下载器、91卫图助手等进行数据下载，通过人工判读筛选并在遥感软件(如ArcGis、QGis)中裁剪出含有工地的影像作为构成样本集的原始影像。
步骤2，对原始影像样本集进行标注，得到塔吊目标检测数据集和裸土语义分割数据集，并对塔吊目标检测数据集和裸土语义分割数据集预处理。
样本标注，使用标注软件或者遥感影像专用处理软件对样本进行一一标注，将塔吊用矩形边界框包围，标注文件和原图构成塔吊目标检测数据集；将裸土作为前景生成掩膜(二值图，标注的裸土块像素值赋1，背景像素值赋0)，与原图组成一对样本，构建裸土语义分割数据集。
样本增强，在人工标注的小样本集上做旋转、翻转、饱和度、亮度、长宽扭曲、缩放、平移和裁剪等增强操作，对于发生尺度扭曲、位置变化的增强，目标检测数据集的标注框也跟着进行调整，语义分割数据集的掩膜也需要随之调整。所有增强的结果与原数据集共同构成最终的数据集，提高样本多样性，也有利于提升模型泛化能力。
步骤3，搭建目标检测网络模型。
如图2所示，网络结构主要包括数据输入层、骨干网络(在不同图像细粒度上聚合并形成图像特征的卷积神经网络)、检测网络Neck(一系列混合和组合图像特征的网络层，并将图像特征传递到预测层)、检测头(对图像特征进行预测，生成边界框和并预测类别)以及目标函数。数据输入层即负责加载训练集的图像数据，根据深度学习框架规范格式对图像数据归一化处理并转换为张量后输入网络。backbone作为整个检测网络的核心，主要作用是提取特征，采用53层卷积网络，由浅至深提取不同层次特征。网络的Neck是连接输出层与backbone部分的桥梁，采用SPP(空间金字塔池化)结构；3个检测头分别连接在3个Neck后，位于浅层的检测头感受野小，负责小目标检测，位于深层的检测头感受野大，负责大目标检测。检测头分别设置在32倍下采样、16倍下采样、8倍下采样处，其中16倍下采样为输入图像16倍下采样与32倍下采样层做2倍上采样的结果聚合而成，8倍下采样输出层为输入图像8倍下采样与32倍下采样层做4倍上采样的结果聚合而成，聚合方式为PAN(路径聚合网络)。每个检测头的feature map输出信息包括置信概率、类别概率与回归检测框，置信概率表示当前cell对应原图区域内有目标的概率，类别概率表示落在该cell上的目标属于各类的概率，检测框信息包括中心点坐标偏移量和高、宽缩放系数。
目标函数用于训练网络时计算预测信息与真实标注信息的偏差，包括边界框回归损失项、置信度损失项、分类损失项。置信度损失和分类损失使用BCE损失，目标函数为：
Figure BDA0003845609890000061
式中：
yi为输出层中与输入图像每个像素点对应的预测，
Figure BDA0003845609890000062
为标注图像掩膜与输入图像每个像素点对应的label，
ωi为权重参数。
为实现快速收敛，准确回归目标边界框，边界框回归损失项使用CIoU损失，充分考虑预测框与真实框的中心点距离、长宽比等因素，表示如下：
Figure BDA0003845609890000063
式中：
LCIoU表示计算得到的CIoU损失，
IoU表示预测框和真实框的交并比，
ρ2(b,bgt)表示真实框与预测框中心点的欧氏距离，
α是用于平衡比例的参数，
c表示能够同时覆盖预测框和gt框的最小矩形的对角线距离，
Figure BDA0003845609890000064
θ表示长宽比一致性参数。
Figure BDA0003845609890000065
式中：
ω表示预测框宽度，
h表示预测框高度，
ωgt表示真实框宽度，
hgt表示真实框高度。
步骤4，使用预处理过的塔吊目标检测数据集训练目标检测网络模型塔吊检测模型训练。
如图3所示，训练流程：将数据集划分为训练集和验证集，每次迭代进行一次训练和验证，在训练阶段，将数据集分批次喂入完成参数初始化的网络，完成所有层的前向传播后得到输出层，然后计算目标函数值，即该批次的损失，在反向传播中目标函数执行梯度下降进行网络权重参数更新，逐步达到训练目的。
网络的3个检测头都参与检测框的回归与目标置信概率、类别置信概率的预测，每个检测头对应一个feature map，按所处网络层分配3个先验框，位于浅层的先验框尺寸小，位于深层的先验框尺寸大，分别负责小目标和大目标的检测。每个feature map由多个cell构成，每个cell上的3个先验框都要进行损失计算，将真实框坐标转换至对应的featuremap尺度上，对于真实框所在cell，分别计算真实框与先验框重叠比，取重叠比最大的者作为正样本，计算回归损失、正样本置信度损失、类别置信度损失；然后确定负样本，计算feature map中所有cell的三个先验框与每个真实框的交并比，交并比不大于设定阈值的一律视为负样本，计算负样本置信度损失。
验证阶段只执行前向传播，并计算评价指标，如每类的平均检测精度AP、所有类别的平均精度均值mAP。每轮训练和验证结束后进行下一轮，直到网络收敛、损失不再明显下降，完成训练。
步骤5，搭建语义分割网络结构，如图4所示，网络结构主要包括特征提取模块、像素点的分类模块、目标函数模块三部分。
语义分割网络的特征提取模块主要包括下采样、上采样环节，下采样相当于编码，将图像的特征进行抽象表示，上采样相当于解码，把抽象的特征再还原解码到原图的尺寸，最终得到分割结果。该模块的基础网络由输入层、卷积层、长连接层、输出层构成，网络由浅到深对特征层次的提升和感受野的增大，通过长连接将同维度的特征层相连，采用特征叠加对其进行整合，确保不同层次的特征都被网络关注最终携带至输出层，输出层的宽、高维度与输入图像一致。
输出层像素点分类模块使用sigmoid函数，其输入为基础网络的输出，该层作用是将值较分散基础网络输出层映射到(0,1)，表示为：
Figure BDA0003845609890000081
x表示网络某一层的输出，作为激活函数的输入，
sigmoid(x)表示激活函数名称。
然后设定阈值(如0.5)，大于阈值判定为前景并将像素置1，其他为背景并将像素置0，网络输出最终的分割结果图。
目标函数模块的作用是训练模型过程中计算基础网络预测输出与标签图片掩膜之间的偏差，反向传播时执行梯度下降使目标函数越来越小以达到训练目的。使用DiceLoss与BCE结合，可以解决前后景不均衡、分割内容不均衡等场景训练的模型预测不准的问题表达式为：
Figure BDA0003845609890000082
式中：
A表示网络输出语义分割图像矩阵，
B表示标注生成的掩膜。
Figure BDA0003845609890000083
式中：
yi为输出层中与输入图像每个像素点对应的预测值，
Figure BDA0003845609890000084
为标注图像掩膜与输入图像每个像素点对应的label，
ωi为权重参数。
步骤6，使用预处理过的裸土语义分割数据集训练语义分割网络模型。
如图5所示，使用预训练模型初始化网络参数，再使用裸土语义分割数据集进行模型训练。将数据集划分为训练集和验证集，每次迭代进行一次训练和验证，在训练阶段，将数据集分批次喂入网络，完成所有层的前向传播得到输出层矩阵，然后计算目标函数值，即该批次的损失，目标函数在反向传播中执行梯度下降进行参数更新，逐步达到训练目的；验证阶段只进行前向传播，并计算评价指标，如网络输出层与标注图像掩膜的交并比。每轮训练和验证结束后进行下一轮，直到网络收敛、损失不再明显下降，完成训练。
步骤7，使用训练好的目标检测网络模型和语义分割网络模型对待处理的遥感影像进行预测。
使用训练好的模型进行预测，将待处理遥感影像裁剪为多幅预设尺寸的子图，再将这些子图喂入训练好的塔吊检测模型、裸土语义分割模型分别进行预测，并保存输出结果。
检测结果后处理，将所有子图的塔吊检测结果按裁剪时的起始点坐标进行回归得到预测框坐标信息和置信概率，将裸土提取结果按裁剪时的起始点坐标进行拼接得到预测结果图，二者作为最终预测结果。
步骤8，根据预测结果中裸土面积和塔吊数量判断此区域是否为工地。根据检测结果中的裸土和塔吊两种目标联合判读，满足某一范围内的裸土面积达到经验阈值和塔吊数量达到经验阈值两个条件则判定此区域为工地，经验阈值由对步骤2标注的标签进行统计确定。
实施例2。
基于遥感影像特征目标检测的工地提取系统包括：采集模块，预处理模块，目标检测网络模型搭建模块，训练目标检测网络模型模块，语义分割网络模型搭建模块，语义分割网络模型训练模块，预测和判断模块，其中：
采集模块用于采集遥感影像数据，筛选和裁剪出含有工地影像的原始影像样本集；
预处理模块用于对原始影像样本集进行标注，得到塔吊目标检测数据集和裸土语义分割数据集，并对塔吊目标检测数据集和裸土语义分割数据集预处理；
目标检测网络模型搭建模块用于搭建目标检测网络模型；
训练目标检测网络模型模块用于使用预处理过的塔吊目标检测数据集训练目标检测网络模型；
语义分割网络模型搭建模块用于搭建语义分割网络模型；
语义分割网络模型训练模块用于使用预处理过的裸土语义分割数据集训练语义分割网络模型；
预测和判断模块用于使用训练好的目标检测网络模型和语义分割网络模型对待处理的遥感影像进行预测；根据预测结果中裸土面积和塔吊数量判断此区域是否为工地。
实施例3。
本发明实施例三提供了一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明实施例一所述的基于遥感影像特征目标检测的工地提取方法中的步骤。
详细步骤与实施例1提供的基于遥感影像特征目标检测的工地提取方法相同，在此不再赘述。
实施例4。
本发明实施例4提供了一种电子设备。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明实施例一所述的基于遥感影像特征目标检测的工地提取方法中的步骤。
本发明的有益效果在于，与现有技术相比，
本发明提出一种应用于电力输送领域，基于深度学习的双模型联合判读识别方案，实现在可见光遥感影像中准确、快速识别与前景区分度低、表面杂乱无特定分布规律并且形状不规则的工地目标，同时返回坐标信息作为输电线路危险源，为制定输电线路无人机巡检方案提供依据，代替传统的人工判读，大大提升工作效率。
两种目标联合判读策略考虑在复杂场景下使用单一模型的局限性，使用两种算法，即语义分割算法实现裸土提取、目标检测算法实现塔吊检测，根据二者预测结果分别设定阈值进行联合判读确定工地位置。该方案在提高工地目标检测精度的同时，基于统计学的阈值设定方法提升了该方案用于具体场景的灵活性和更广的适用性。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其它自由传播的电磁波、通过波导或其它传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其它设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.基于遥感影像特征目标检测的工地提取方法，其特征在于，所述方法包括：
步骤1，采集遥感影像数据，筛选和裁剪出含有工地影像的原始影像样本集；
步骤2，对原始影像样本集进行标注，得到塔吊目标检测数据集和裸土语义分割数据集，并对塔吊目标检测数据集和裸土语义分割数据集预处理；
步骤3，搭建目标检测网络模型；
步骤4，使用预处理过的塔吊目标检测数据集训练目标检测网络模型；
步骤5，搭建语义分割网络模型；
步骤6，使用预处理过的裸土语义分割数据集训练语义分割网络模型；
步骤7，使用训练好的目标检测网络模型和语义分割网络模型对待处理的遥感影像进行预测；
步骤8，根据预测结果中裸土面积和塔吊数量判断此区域是否为工地。
2.根据权利要求1所述的基于遥感影像特征目标检测的工地提取方法，其特征在于，
步骤1中使用标注软件或者遥感影像专用处理软件对样本进行一一标注，将塔吊用矩形边界框包围，标注文件和原图构成塔吊目标检测数据集；
将裸土作为前景生成掩膜，其中，标注的裸土块像素值赋1，背景像素值赋0；掩膜与原图组成一对样本，构建裸土语义分割数据集。
3.根据权利要求1所述的基于遥感影像特征目标检测的工地提取方法，其特征在于，
步骤3中目标检测网络模型包括：数据输入层，骨干网络，检测网络Neck结构，检测头和用于反向传播的目标函数。
4.根据权利要求3所述的基于遥感影像特征目标检测的工地提取方法，其特征在于，
数据输入层用于加载训练集的图像数据，根据深度学习框架规范格式对图像数据归一化处理并转换为张量后输入网络。
5.根据权利要求4所述的基于遥感影像特征目标检测的工地提取方法，其特征在于，
骨干网络为多层卷积神经网络，由浅至深提取不同层次特征，在不同图像细粒度上聚合并形成图像特征；
检测网络Neck结构包括一系列混合和组合图像特征的网络层，采用一种空间金字塔池化结构。
6.根据权利要求5所述的基于遥感影像特征目标检测的工地提取方法，其特征在于，
检测头位于整个网络末端，由一个普通卷积神经网络构成，根据提取到的图像特征进行预测，生成边界框并预测类别，检测头输出信息包括：置信概率，类别概率与回归检测框；
目标函数用于训练网络模型时在反向传播过程中计算预测信息与真实标注信息的偏差，包括：边界框回归损失项，置信度损失项，分类损失项。
7.根据权利要求6所述的基于遥感影像特征目标检测的工地提取方法，其特征在于，
边界框回归损失项使用CIoU损失，公式如下所示：
Figure FDA0003845609880000021
Figure FDA0003845609880000022
Figure FDA0003845609880000023
式中，
LCIoU表示计算得到的CIoU损失，
IoU表示预测框和真实框的交并比，
ρ2(b,bgt)表示真实框与预测框中心点的欧氏距离，
Α表示用于平衡比例的参数，
c表示能够同时覆盖预测框和gt框的最小矩形的对角线距离，
θ表示长宽比一致性参数，
ω表示预测框宽度，
h表示预测框高度，
ωgt表示真实框宽度，
hgt表示真实框高度。
8.一种利用权利要求1-8任一项权利要求所述方法的基于遥感影像特征目标检测的工地提取系统，包括：采集模块，预处理模块，目标检测网络模型搭建模块，训练目标检测网络模型模块，语义分割网络模型搭建模块，语义分割网络模型训练模块，预测和判断模块，其特征在于：
采集模块用于，采集遥感影像数据，筛选和裁剪出含有工地影像的原始影像样本集；
预处理模块用于对原始影像样本集进行标注，得到塔吊目标检测数据集和裸土语义分割数据集，并对塔吊目标检测数据集和裸土语义分割数据集预处理；
目标检测网络模型搭建模块用于搭建目标检测网络模型；
训练目标检测网络模型模块用于使用预处理过的塔吊目标检测数据集训练目标检测网络模型；
语义分割网络模型搭建模块用于搭建语义分割网络模型；
语义分割网络模型训练模块用于使用预处理过的裸土语义分割数据集训练语义分割网络模型；
预测和判断模块用于使用训练好的目标检测网络模型和语义分割网络模型对待处理的遥感影像进行预测；根据预测结果中裸土面积和塔吊数量判断此区域是否为工地。
9.一种终端，包括处理器及存储介质；其特征在于：
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1-8任一项所述基于遥感影像特征目标检测的工地提取方法的步骤。
10.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8任一项所述基于遥感影像特征目标检测的工地提取方法的步骤。
CN202211116082.7A 2022-09-14 2022-09-14 基于遥感影像特征目标检测的工地提取方法和系统 Pending CN115546630A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211116082.7A CN115546630A (zh) 2022-09-14 2022-09-14 基于遥感影像特征目标检测的工地提取方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211116082.7A CN115546630A (zh) 2022-09-14 2022-09-14 基于遥感影像特征目标检测的工地提取方法和系统

Publications (1)

Publication Number Publication Date
CN115546630A true CN115546630A (zh) 2022-12-30

Family

ID=84727695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211116082.7A Pending CN115546630A (zh) 2022-09-14 2022-09-14 基于遥感影像特征目标检测的工地提取方法和系统

Country Status (1)

Country Link
CN (1) CN115546630A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116200258A (zh) * 2023-04-28 2023-06-02 中国医学科学院北京协和医院 一种用于消除培养皿盖内壁上的雾气的方法、装置和设备
CN116246175A (zh) * 2023-05-05 2023-06-09 西昌学院 土地利用信息生成方法、电子设备和计算机可读介质
CN116662593A (zh) * 2023-07-21 2023-08-29 湖南大学 一种基于fpga的全流水线医药高光谱图像神经网络分类方法
CN116884003A (zh) * 2023-07-18 2023-10-13 南京领行科技股份有限公司 图片自动标注方法、装置、电子设备及存储介质
CN117132798A (zh) * 2023-10-26 2023-11-28 江西省国土资源测绘工程总院有限公司 一种国土空间规划生态系统修复分区识别方法及装置
CN117268344A (zh) * 2023-11-17 2023-12-22 航天宏图信息技术股份有限公司 电塔线路树高危险源预测方法、装置、设备及介质
CN117333781A (zh) * 2023-11-15 2024-01-02 自然资源部国土卫星遥感应用中心 黑土区侵蚀沟卫星遥感智能提取方法、装置、设备及介质
CN117636266A (zh) * 2024-01-25 2024-03-01 华东交通大学 一种工人安全行为检测方法、系统、存储介质及电子设备

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116200258A (zh) * 2023-04-28 2023-06-02 中国医学科学院北京协和医院 一种用于消除培养皿盖内壁上的雾气的方法、装置和设备
CN116246175A (zh) * 2023-05-05 2023-06-09 西昌学院 土地利用信息生成方法、电子设备和计算机可读介质
CN116246175B (zh) * 2023-05-05 2023-07-14 西昌学院 土地利用信息生成方法、电子设备和计算机可读介质
CN116884003B (zh) * 2023-07-18 2024-03-22 南京领行科技股份有限公司 图片自动标注方法、装置、电子设备及存储介质
CN116884003A (zh) * 2023-07-18 2023-10-13 南京领行科技股份有限公司 图片自动标注方法、装置、电子设备及存储介质
CN116662593A (zh) * 2023-07-21 2023-08-29 湖南大学 一种基于fpga的全流水线医药高光谱图像神经网络分类方法
CN116662593B (zh) * 2023-07-21 2023-10-27 湖南大学 一种基于fpga的全流水线医药高光谱图像神经网络分类方法
CN117132798A (zh) * 2023-10-26 2023-11-28 江西省国土资源测绘工程总院有限公司 一种国土空间规划生态系统修复分区识别方法及装置
CN117132798B (zh) * 2023-10-26 2024-01-26 江西省国土资源测绘工程总院有限公司 一种国土空间规划生态系统修复分区识别方法及装置
CN117333781A (zh) * 2023-11-15 2024-01-02 自然资源部国土卫星遥感应用中心 黑土区侵蚀沟卫星遥感智能提取方法、装置、设备及介质
CN117333781B (zh) * 2023-11-15 2024-05-10 自然资源部国土卫星遥感应用中心 黑土区侵蚀沟卫星遥感智能提取方法、装置、设备及介质
CN117268344B (zh) * 2023-11-17 2024-02-13 航天宏图信息技术股份有限公司 电塔线路树高危险源预测方法、装置、设备及介质
CN117268344A (zh) * 2023-11-17 2023-12-22 航天宏图信息技术股份有限公司 电塔线路树高危险源预测方法、装置、设备及介质
CN117636266A (zh) * 2024-01-25 2024-03-01 华东交通大学 一种工人安全行为检测方法、系统、存储介质及电子设备
CN117636266B (zh) * 2024-01-25 2024-05-14 华东交通大学 一种工人安全行为检测方法、系统、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN115546630A (zh) 基于遥感影像特征目标检测的工地提取方法和系统
CN113902897B (zh) 目标检测模型的训练、目标检测方法、装置、设备和介质
CN112801164A (zh) 目标检测模型的训练方法、装置、设备及存储介质
CN110632608B (zh) 一种基于激光点云的目标检测方法和装置
CN112989995B (zh) 文本检测方法、装置及电子设备
CN113761999A (zh) 一种目标检测方法、装置、电子设备和存储介质
US20220004740A1 (en) Apparatus and Method For Three-Dimensional Object Recognition
CN110659601B (zh) 基于中心点的深度全卷积网络遥感图像密集车辆检测方法
CN112364843A (zh) 插拔式航拍图像目标定位检测方法、系统、设备
CN113947188A (zh) 目标检测网络的训练方法和车辆检测方法
CN115372877B (zh) 基于无人机的变电站的避雷器泄露电流表计巡检方法
CN112001317A (zh) 基于语义信息的导线缺陷识别方法、系统及终端设备
CN113781478B (zh) 油罐图像检测方法、装置、电子设备和计算机可读介质
CN114332633A (zh) 雷达图像目标检测识别方法、设备和存储介质
CN116052097A (zh) 一种地图要素检测方法、装置、电子设备和存储介质
CN115546629A (zh) 基于深度学习的遥感影像厂房识别方法和系统
CN113920273B (zh) 图像处理方法、装置、电子设备和存储介质
CN115272262A (zh) 室外绝缘子表面缺陷识别方法、装置及电子设备
CN113963011A (zh) 图像识别方法、装置、电子设备及存储介质
CN113177545B (zh) 目标物体的检测方法、装置、电子设备和存储介质
CN117237677B (zh) 一种基于深度学习的强降水空间整体相似度的降水预报订正方法
CN117475291B (zh) 画面信息识别方法、装置、电子设备和计算机可读介质
CN114037865B (zh) 图像处理方法、装置、设备、存储介质和程序产品
Zhang et al. A Multiscale Convolutional Neural Network With Color Vegetation Indices for Semantic Labeling of Point Cloud
Huang et al. Transfer Learning for Airport Detection Based on Saliency Fusion of Parallel Lines and Regions of Interest

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination