CN113378642A - 一种对农村违法占地建筑物进行检测的方法 - Google Patents

一种对农村违法占地建筑物进行检测的方法 Download PDF

Info

Publication number
CN113378642A
CN113378642A CN202110518952.2A CN202110518952A CN113378642A CN 113378642 A CN113378642 A CN 113378642A CN 202110518952 A CN202110518952 A CN 202110518952A CN 113378642 A CN113378642 A CN 113378642A
Authority
CN
China
Prior art keywords
building
image
under construction
feature
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110518952.2A
Other languages
English (en)
Other versions
CN113378642B (zh
Inventor
任东
彭宝钗
郑成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Zhigan Space Information Technology Co ltd
Original Assignee
China Three Gorges University CTGU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Three Gorges University CTGU filed Critical China Three Gorges University CTGU
Priority to CN202110518952.2A priority Critical patent/CN113378642B/zh
Publication of CN113378642A publication Critical patent/CN113378642A/zh
Application granted granted Critical
Publication of CN113378642B publication Critical patent/CN113378642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

一种对农村违法占地建筑物进行检测的方法,包括以下步骤:步骤1:采集遥感影像,对图像进行裁剪操作,对图像进行标记;步骤2:输入深度特征交融和多重关系强化机制识别模型,识别建筑物与在建建筑物;步骤3:将结果矢量化,位置配准,得到建筑、在建建筑物中心点经纬度坐标文件;步骤4:采用土地利用现状图可初步判断该建筑是否违规建筑,外业勘察核实结果。

Description

一种对农村违法占地建筑物进行检测的方法
技术领域
本发明涉及遥感影像中目标检测的技术领域,尤其涉及一种对农村违法占地建筑物的目标检测方法。
背景技术
宅基地是指在作为家庭户用作住宅基地而占有的土地,然而农村由于缺乏系统规划和有效管理,不少村民对相关的土地法律法规认识不足,没有深刻意识到耕地保护的重要意义,再加上我国对于农村宅基地管理的法律制度不够完善,长期以来,农村建房用地缺乏统一规划,选址随意,导致了大量耕地被占用为宅基地。被占用的耕地难以恢复,农村的生态环境也越来越受到严峻挑战,不利于农业的可持续发展。为加强城市规划区内农村宅基地管理,维护农民的合法权益,节约和保护耕地,促进农村社会稳定和经济可持续发展,利用现代化技术建立功能完全、结构完整、技术先进的宅基地信息管理系统,实现对宅基地有效且科学的管理是十分有必要的。在农村建房具有突处性、短期性、效仿性和复制性等特点,需要做到及时发现、及时报告、及时制止、及时处理,土地违法一旦发生,查处难度就特别大,故需要对在建的房屋进行及时且准确的识别。
传统的违规建筑房屋识别的工作通常采用人工巡查的方法进行,然而外业数据采集容易受到气象、地形等不良环境因素制约,采集过程中对人力、物力的需求较高,制图周期长,容易漏测且补测成本高。
目前基于深度学习的建筑物目标检测模型常仅对普通建筑物进行检测。例如,吴军等人利用改进Faster Rcnn主干网络VGG网络对建筑物进行检测和识别,以提高检测精度;陈等人针对不同尺度下的建筑物提出了一个融合多尺度信息的建议区域生成网络(RPN)和一种新颖的动态加权算法生成不同尺度的区域建议。
尽管上述基于深度学习的方法可以提取出单个建筑物,但是对于建筑物的类别并没有进一步进行分类,在建筑还未建筑完毕之前无法进行识别。季顺平等人提出的一种基于卷积神经网络的遥感影像建筑物变化检测方法中利用深度学习网络对建筑物进行变化检测识别,虽然能够检测出建筑物变化情况图班,但是容易受到外界各种因素的干扰,比如拆除建筑物、建筑物翻新等外界因素,并且难以得到准确的定位信息。
变化检测的方法需要两期图像进行配准,配准难度高、精度容易受到干扰;本发明通过改进Faster Rcnn网络,通过深度特征交融模块提取更多的语义特征,利用多重关系强化机制突出前景特征对建筑物、在建建筑物进行识别,采用联合损失函数能对目标进行更精准的定位,并且叠加土地利用现状图可以判断是否为违规建筑物。
发明内容
本发明的目的是为了解决农村违规占用地建筑物的识别与定位,该方法提供了一种不容易受外界各种因素干扰,只通过一期影像就可以判读建筑物类别的方法;所提出的识别网络模块采用深度特征交融模块、多重关系强化机制以及联合损失函数对建筑物、在建建筑物进行识别与定位。
一种对农村违法占地建筑物进行检测的方法,包括以下步骤:
步骤1:采集遥感影像,对图像进行裁剪操作,对图像进行标记;
步骤2:输入深度特征交融和多重关系强化机制识别模型,识别建筑物与在建建筑物;
步骤3:将结果矢量化,位置配准,得到建筑、在建建筑物中心点经纬度坐标文件;
步骤4:采用土地利用现状图可初步判断该建筑是否违规建筑,外业勘察核实结果。
在步骤2中,通过深度特征交融和多重关系强化机制识别模型,识别建筑物与在建建筑物时,具体采用以下步骤:
1):对目标图像进行离线数据增强;
2):对在建建筑物进行样本增强,得到最终的训练数据集;
3):构建深度学习特征提取网络,将训练集的数据传入识别网络进行模型训练,生成训练模型;
4):根据训练模型对遥感图像进行目标检测,得到检测框的标注。
在步骤1)中,离线目标增强的方法包括旋转、平移、缩放、随机遮挡、高斯模糊和图像照明度调整等操作;
在步骤2)中,将在建建筑复制粘贴在合适的位置,增加在建建筑物样本的数量,具体包括以下步骤:
(1):将目标从原图像中裁剪出来,得到目标图像以及标注信息。
(2):将目标经过旋转、缩放操作之后粘贴在图片中,并把标记信息写入在标注文件中。
在步骤(1)中,特殊的,粘贴时与其他目标至少间隔5像素,并对边界进行模糊处理;对每张图像复制多个在建建筑物对象而不是仅复制粘贴一个对象,同一个对象复制最多不超过三次。
在步骤3)中,深度特征交融和多重关系强化机制识别模型构造包括以下步骤:
(1)将待检测图像输入所述特征提取网络,通过自底向上的方式由浅至深提取特征;
(2)通过深度特征交融模块对不同层特征进行合并;
(3)通过多重关系强化机制减少噪声信息对网络模型的干扰;
(4)利用(x,y,w,h)对检测框进行回归。
步骤(1)中,使用faster RCNN作为主要框架,采用SCNet-101作为所述特征提取的主干网络。
在步骤(2)中,具体包括以下步骤:将低级特征图与高级特征图进行深度特征交融,得到丰富的语义信息,并且为了保证对象的锚采样,将特征图的大小设置为原图下采样后的n倍(n可取4、6、8),具体包括:
待检测图像经过所述主干网络后,根据主干网络不同特征图尺寸,得到输出的特征图,将其分为C*={C1,C2,C3,C4,C5},分别包含2倍,4倍,8倍,16倍,32倍下采样特征图;
取所述主干网络中C3,C4,C5层,建立深度特征交融模块,将C3上采样至原图的n倍下采样大小,经过通过Inception模块使其通道大小调整至与c4通道一致;再将C4、C5上采样至与C3相同大小;将经过三个通道的元素相加得到特征图F3。
在步骤(3)中,通过多重关系强化机制降低噪声干扰,突出前景信息,其中包括通道强化模型以及像素强化模块,其具体包括:
使用全局平均池化GAP输出1024个特征通道的数值分布,然后通过一个FC层将特征的维度降低到1/16,经过relu函数激活后再通过一个FC将维度变回原来的维度,通过sigmoid函数获得[0,1]之间归一化的权重,将权重与特征图F3相乘,得到新的特征图CA3。
将新的到的特征图CA3输入到Inception模块,使用不同大小的卷积核进行不用尺度的特征提取,经过卷积操作得到双通道的显著性映射,对目标区域进行二值化处理,得到含有目标区域的二值化图。将二值图输入进行softmax打分,将数值控制再[0,1]之间。之后与CA3相乘,得到最终经过多重关系强化机制强化后的特征图A3。
上述步骤(4)中,采用(x,y,w,h)来表示目标回归,具体包括:
对于每个样本,边界框的回归为:
Figure BDA0003063136490000041
Figure BDA0003063136490000042
其中t为回归参数,变量x,xa,x′表示真实框、锚定框和预测框的中心坐标x,变量y,ya,y′表示真实框、锚定框和预测框的中心坐标y,变量w,wa,w′表示真实框、锚定框和预测框的宽度,变量h,ha,h′表示真实框、锚定框和预测框的高度。
在进行网络的训练时,具体采用以下步骤:
使用联合损失函数对网络进行优化,联合损失函数由回归损失,关系强化损失和分类损失函数组成,定义如下:
Figure BDA0003063136490000043
其中N代表建议框的数量,tn代表对象的标签,pn是由softmax函数计算的各种类别的概率分布,t′n是一个二进制值(对于前景t′n=1;对于背景t′n=0,背景无回归),表示预测的偏移矢量,υ*j表示地面真值的目标矢量。uij,u′ij分别代表遮掩像素的标签和预测。IoU表示预测框和地面真相的重叠。超参数λ1,λ2和λ3控制权重。另外,分类损失Lcls是focalloss。回归损失采用IoUsmooth L1损失函数,Lreg是smooth L1损失函数,以及关系强化损失函数Latt是像素方向上的softmax交叉熵。
在步骤3中,将图像拼接,取坐标中心点(x,y),结果矢量化,位置配准,得到建筑物,在建建筑物的经纬度坐标文件。
在步骤4中,对比国家下发的土地利用现状图可初步判断该在建建筑是否是违规建筑,外业勘察核实结果,具体包括:
1):将经纬度坐标导入宅基地管理系统中;
2):根据经纬度导航至该建筑点;
3):实地勘察,上传实地拍照结果以及建筑许可证,确定建筑物类别。
与现有技术相比,本发明具有如下技术效果:
首先,本发明是基于深度学习的一种目标检测模型,只采用一期的图像就能达到端到端检测出在建建筑物的效果。而通过土地利用现状图产生的疑似违章建筑物经纬度能让后期直接前往目标地点核实勘察,在对违章建筑的排查中可以大量减少人力、物力的消耗。
其次,本发明不仅能检测出建筑物,还能将在建建筑物一并给检测出来。在对于样本的处理中,我们不仅仅只采用了传统的数据增强,对于数量较少的样本采用了改进后的过采样方法,使得模型更好的学习在建建筑物的特征。
最后,在识别模型的构建上,我们的模型主干网络采用了自校准卷积的Resnet网络加大感受野;深度特征交融模块结合上下文语义信息,并且采用Inception模块加深低级的语义信息;通过多重关系强化机制排除了背景信息的干扰;所采用联合损失函数得到更准确的回归框。
附图说明
下面结合附图和实施例对本发明作进一步说明:
图1为本发明的流程图;
图2为本发明中自校准的流程图;
图3为本发明中网络结构图;
图4为本发明中多重关系强化机制结构示意图;
图5为本发明中Inception模块的结构示意图。
具体实施方式
如图1所示,一种对农村违法占地建筑物进行检测的方法,包括以下步骤:
步骤1:采集遥感影像,对图像进行裁剪操作,对图像进行标记;
步骤2:输入深度特征交融和多重关系强化机制识别模型,识别建筑物与在建建筑物;
步骤3:将结果矢量化,位置配准,得到建筑、在建建筑物中心点经纬度坐标文件;
步骤4:采用土地利用现状图可初步判断该建筑是否违规建筑,外业勘察核实结果。
步骤2中,通过深度特征交融和多重关系强化机制识别模型,识别建筑物与在建建筑物时,具体采用以下步骤:
1):对目标图像进行离线数据增强;
2):对在建建筑物进行样本增强,得到最终的训练数据集;
3):构建深度学习特征提取网络,将训练集的数据传入识别网络进行模型训练,生成训练模型;
4):根据训练模型对遥感图像进行目标检测,得到检测框的标注。
步骤2)中,将在建建筑复制粘贴在合适的位置,增加在建建筑物的样本数量,具体包括以下步骤:
(1):将目标从原图像中裁剪出来,得到目标图像以及标注信息。
(2):将目标经过旋转、缩放操作之后粘贴在图片中,并把标记信息写入在标注文件中。
步骤3)中,深度特征交融和多重关系强化机制识别模型的构造包括以下步骤:
(1)将待检测图像输入所述特征提取网络,通过自底向上的方式由浅至深提取特征;
(2)通过深度特征交融模块对不同层特征进行融合;
(3)通过多重关系强化机制减少噪声信息对网络模型的干扰;
(4)利用(x,y,w,h)对检测框进行回归。
步骤(2)中,具体包括以下步骤:将低级特征图与高级特征图进行深度特征交融,得到丰富的语义信息,并且为了保证对象的锚采样,将特征图的大小设置为原图下采样后的n倍(n可取4、6、8),具体包括:
待检测图像经过所述主干网络后,根据主干网络不同特征图尺寸,得到输出的特征图,将其分为C*={C1,C2,C3,C4,C5},分别包含2倍,4倍,8倍,16倍,32倍下采样特征图;
取所述主干网络中C3,C4,C5层,建立特征融合网络,将C3上采样至原图的n倍下采样大小,经过通过Inception模块使其通道大小调整至与c4通道一致;再将C4、C5上采样至与C3相同大小;将经过三个通道的元素相加得到特征图F3。
在步骤(3)中,通过多重关系强化机制降低噪声干扰,突出前景信息,其中包括通道强化模型以及像素强化模块,其具体包括:
使用全局平均池化GAP输出1024个特征通道的数值分布,然后通过一个FC层将特征的维度降低到1/16,经过relu函数激活后再通过一个FC将维度变回原来的维度,通过sigmoid函数获得[0,1]之间归一化的权重,将权重与特征图F3相乘,得到新的特征图CA3。
将新的到的特征图CA3输入到Inception模块,使用不同大小的卷积核进行不用尺度的特征提取,经过卷积操作得到双通道的显著性映射,对目标区域进行二值化处理,得到含有目标区域的二值化图。将二值图输入进行softmax打分,将数值控制再[0,1]之间。之后与CA3相乘,得到最终经过多重关系强化机制强化后的特征图A3。
步骤(4)中,采用(x,y,w,h)来表示目标回归,具体包括:
对于每个样本,边界框的回归为:
Figure BDA0003063136490000071
Figure BDA0003063136490000072
其中t为回归参数,变量x,xa,x′表示真实框、锚定框和预测框的中心坐标x,变量y,ya,y′表示真实框、锚定框和预测框的中心坐标y,变量w,wa,w′表示真实框、锚定框和预测框的宽度,变量h,ha,h′表示真实框、锚定框和预测框的高度。
在进行网络的训练时,具体采用以下步骤:
使用联合损失函数对网络进行优化,联合损失函数由回归损失,关系强化损失和分类损失函数组成,定义如下:
Figure BDA0003063136490000073
其中N代表建议框的数量,tn代表对象的标签,pn是由softmax函数计算的各种类别的概率分布,t′n是一个二进制值(对于前景t′n=1;对于背景t′n=0,背景无回归),表示预测的偏移矢量,v*j表示地面真值的目标矢量。uij,u′ij分别代表遮掩像素的标签和预测。IoU表示预测框和地面真相的重叠。超参数λ1,λ2和λ3控制权重。另外,分类损失Lcls是focalloss。回归损失采用IoUsmooth L1损失函数,Lreg是smooth L1损失函数,以及关系强化损失函数Latt是像素方向上的softmax交叉熵。
在步骤3中,将图像拼接,取坐标中心点(x,y),结果矢量化,位置配准,得到建筑物,在建建筑物的经纬度坐标文件。
在步骤4中,对比国家下发的土地利用现状图可初步判断该在建建筑是否是违规建筑,外业勘察核实结果,具体包括:
1):将经纬度坐标导入宅基地管理系统中;
2):根据经纬度导航至该建筑点;
3):实地勘察,上传实地拍照结果以及建筑许可证,确定建筑物类别。
实施例:
本发明在遥感图像上进行在建建筑物目标检测识别方法按照以下方式进行:
步骤1:在遥感影像上获取影像,对影像进行裁剪,裁剪后图像大小为1000×1000像素,使用LabelImg进行标记,共包含两种建筑物类别,包括普通建筑物和在建建筑物。
步骤2:对原始数据进行离线数据增强操作,主要包含以下几种方法:
(1)旋转:将图像进行中心点旋转操作;
(2)平移:将图像在水平或垂直方向随机平移;
(3)缩放:将图像按照比例随机放大或者缩小;
(4)随机遮挡:将图像上随机采用空白方块遮挡目标;
(5)高斯模糊:对图像进行模糊操作;
(6)照明度调整:降低图像的灰度值,达到变暗或者变亮的效果。
步骤3:对在建建筑物进行数量上的增强,主要包含以下方法与特点:将目标经过旋转、缩放操作之后粘贴在图片中,并把标记信息写入在标注文件中。特殊的,粘贴时与其他目标至少间隔5像素,并对边界进行模糊处理;对每张图像复制多个在建建筑物对象而不是仅复制粘贴一个对象,同一个对象复制最多不超过三次。
步骤4:在原有的resnet101基础上,采用自校准卷积(SCNet)代替了普通卷积操作,增大感受野。如图2所示,自校准卷积操作第一步,将输入特征图X(原为W×H×C大小)拆分为两个W×H×C/2大小的X1,X2;第二步,卷积核K的维度为W×H×C×C,将K分为4个部分,每份的作用各不相同,分别记为K1,K2,K3,K4,其维度均为W×H×C/2×C/2;第三步,对特征X1采用平均池化下采样4倍,再进行双线性插值上采样,经过sigmoid激活函数对K3卷积提取后的特征进行校准得到输出特征Y1;第四步,对原尺度特征空间进行处理,对特征X2经过K1卷积提取得到特征Y2;第五步,对两个尺度空间输出特征Y1,Y2进行拼接操作,得到最终输出特征Y。
步骤4:待检测图像经过所述主干网络后,根据主干网络不同特征图尺寸,得到输出的特征图,将其分为C*={C1,C2,C3,C4,C5},分别包含2倍,4倍,8倍,16倍以及32倍下采样特征图。
取所述主干网络中C3,C4,C5层,建立深度特征交融模块,将C3上采样至原图的n倍(n可取4、6、8)下采样大小,经过通过Inception模块(如图5所示)使其通道大小调整至与C4通道一致;再将C4、C5上采样至与C3相同大小;将三个通道的元素相加得到特征图F3。
步骤5:特征图F3通过多重关系强化机制突出前景特征。
使用全局平均池化GAP输出1024个特征通道的数值分布,然后通过一个FC层将特征的维度降低到1/16,经过relu函数激活后再通过一个FC将维度变回原来的维度,通过sigmoid函数获得[0,1]之间归一化的权重,将权重与特征图F3相乘,得到新的特征图CA3。
将新的到的特征图CA3输入到Inception模块,使用不同大小的卷积核进行不用尺度的特征提取,经过卷积操作得到双通道的显著性映射,对目标区域进行二值化处理,得到含有目标区域的二值化图。将二值图输入进行softmax打分,将数值控制再[0,1]之间。之后与CA3相乘,得到最终经过多重关系强化机制强化后的特征图A3。
步骤5:使用RoI Align与GAP层代替两个全连接层,利用(x,y,w,h)来表示目标回归;使用联合损失函数对网络进行优化,联合损失函数由回归损失,关系强化损失和分类损失函数组成,定义如下:
Figure BDA0003063136490000091
其中N代表建议框的数量,tn代表对象的标签,pn是由softmax函数计算的各种类别的概率分布,t′n是一个二进制值(对于前景t′n=1;对于背景t′n=0,背景无回归),u′*j表示预测的偏移矢量,v*j表示地面真值的目标矢量。uij,u′ij分别代表遮掩像素的标签和预测。IoU表示预测框和地面真相的重叠。超参数λ1,λ2和λ3控制权重,取λ1=4,λ2=1和λ3=2。
Figure BDA0003063136490000092
其中bbox表示预测的矩形边界框,bbox*表示真实的矩形边界框,IoU是交并比函数。
另外,分类损失Lcls采用Focal Loss函数,Focal Loss是在交叉熵损失函数基础上进行的修改,下面是二分类交叉熵损失:
Figure BDA0003063136490000101
y′是经过激活函数的输出,所以在0-1之间,可见普通的交叉熵对于正样本而言,输出概率越大损失越小,对于负样本而言,输出概率越小则损失越小,此时的损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化至最优。
Figure BDA0003063136490000102
可以看到首先在原有的基础上加了一个因子γ,其中γ>0使得易分类样本的损失减少,使其更关注于困难的、错分的样本,这样减少了简单样本的影响,大量预测概率很小的样本叠加起来后的效应才可能比较有效。
回归损失是采用IoUsmooth L1损失函数,加入IoU常数因子,在边界的情况下,损失函数|-log(IoU)|接近0,消除了损失突然增加的情况。其中
Figure BDA0003063136490000103
表示梯度的方向,|-log(IoU)|表示梯度的大小,
Figure BDA0003063136490000104
以及关系强化损失函数Latt是像素方向上的softmax交叉熵损失函数,
Figure BDA0003063136490000105
其中i是输出节点标号,y为真实值,a是softmax函数求出的值。
步骤6:经过上述网络构建后,学习率设置为0.0003,迭代次数设置为30000轮,锚比例设置为[1,7/5.,5/7.,1/2.,2.,4.,1/4.]。训练完成后,使用该模型进行建筑物、在建建筑物检测。

Claims (10)

1.一种对农村违法占地建筑物进行检测的方法,其特征在于,包括以下步骤:
步骤1:采集遥感影像,对图像进行裁剪操作,对图像进行标记;
步骤2:输入深度特征交融和多重关系强化机制识别模型,识别建筑物与在建建筑物;
步骤3:将结果矢量化,位置配准,得到建筑、在建建筑物中心点经纬度坐标文件;
步骤4:采用土地利用现状图可初步判断该建筑是否违规建筑,外业勘察核实结果。
2.根据权利要求书1所述的方法,其特征在于,所述步骤2中,通过深度特征交融和多重关系强化机制识别模型,识别建筑物与在建建筑物时,具体采用以下步骤:
1):对目标图像进行离线数据增强;
2):对在建建筑物进行样本增强,得到最终的训练数据集;
3):构建特征提取网络,将训练集的数据传入识别网络进行模型训练,生成训练模型;
4):根据训练模型对遥感图像进行目标检测,得到检测框的标注。
3.根据权利要求2所述的方法,其特征在于,在步骤2)中,将在建建筑复制粘贴在合适的位置,增加在建建筑物的数量,具体包括以下步骤:
(1):将目标从原图像中裁剪出来,得到目标图像以及标注信息;
(2):将目标经过旋转、缩放操作之后粘贴在图片中,并把标记信息写入在标注文件中。
4.根据权利要求2所述的方法,其特征在于,在步骤3)中,深度特征交融和多重关系强化机制识别模型构造包括以下步骤:
(1)将待检测图像输入所述特征提取网络,通过自底向上的方式由浅至深提取特征;
(2)通过深度特征交融模块对不同层特征进行合并;
(3)通过多重关系强化机制减少噪声信息对网络模型的干扰;
(4)利用(x,y,w,h)对检测框进行回归。
5.根据权利要求4所述的方法,其特征在于,在步骤(2)中,具体包括以下步骤:将低级特征图与高级特征图进行深度特征交融,得到丰富的语义信息,并且为了保证对象的锚采样,将特征图的大小设置为原图下采样后的n倍,具体包括:
待检测图像经过所述主干网络后,根据主干网络不同特征图尺寸,得到输出的特征图,将其分为C*={C1,C2,C3,C4,C5},分别包含2倍,4倍,8倍,16倍,32倍下采样特征图;
取所述主干网络中C3,C4,C5层,建立深度特征交融模块,将C3上采样至原图的n倍下采样大小,经过通过Inception模块使其通道大小调整至与c4通道一致;再将C4、C5上采样至与C3相同大小;将经过三个通道的元素相加得到特征图F3。
6.根据权利要求4所述的方法,其特征在于,在步骤(3)中,通过多重关系强化机制降低噪声干扰,突出前景信息,其中包括通道强化模型以及像素强化模块,其具体包括:
使用全局平均池化GAP输出1024个特征通道的数值分布,然后通过一个FC层将特征的维度降低到1/16,经过relu函数激活后再通过一个FC将维度变回原来的维度,通过sigmoid函数获得[0,1]之间归一化的权重,将权重与特征图F3相乘,得到新的特征图CA3;
将新的到的特征图CA3输入到Inception模块,使用不同大小的卷积核进行不用尺度的特征提取,经过卷积操作得到双通道的显著性映射,对目标区域进行二值化处理,得到含有目标区域的二值化图,将二值图输入进行softmax打分,将数值控制再[0,1]之间,之后与CA3相乘,得到最终经过多重关系强化机制强化后的特征图A3。
7.根据权利要求4所述的方法,其特征在于,所述步骤(4)中,采用(x,y,w,h)来表示目标回归,具体包括:
对于每个样本,边界框的回归为:
Figure FDA0003063136480000021
Figure FDA0003063136480000022
其中x,y,w,h表示框的中心坐标,宽度,高度,变量x,xa,x′表示真实框,锚定框和预测框。
8.根据权利要求2至7其中之一所述的方法,其特征在于,在进行网络的训练时,具体采用以下步骤:
使用联合损失函数对网络进行优化,联合损失函数由回归损失,关系强化损失和分类损失函数组成,定义如下:
Figure FDA0003063136480000031
其中N代表建议框的数量,tn代表对象的标签,pn是由softmax函数计算的各种类别的概率分布,t′n是一个二进制值(对于前景t′n=1;对于背景t′n=0,背景无回归),表示预测的偏移矢量,v*j表示地面真值的目标矢量,uij,u′ij分别代表遮掩像素的标签和预测,IoU表示预测框和地面真相的重叠,超参数λ1,λ2和λ3控制权重,另外,分类损失Lcls是focal loss,回归损失采用IoUsmooth L1损失函数,Lreg是smooth L1损失函数,以及关系强化损失函数Latt是像素方向上的softmax交叉熵。
9.根据权利要求1至7其中之一所述的方法,其特征在于,在步骤3中,将图像拼接,取坐标中心点(x,y),结果矢量化,位置配准,得到建筑物,在建建筑物的经纬度坐标文件。
10.根据权利要求1至7其中之一所述的方法,其特征在于,在步骤4中,对比国家下发的土地利用现状图可初步判断该在建建筑是否是违规建筑,外业勘察核实结果,具体包括:
1):将经纬度坐标导入宅基地管理系统中;
2):根据经纬度导航至该建筑点;
3):实地勘察,上传实地拍照结果以及建筑许可证,确定建筑物类别。
CN202110518952.2A 2021-05-12 2021-05-12 一种对农村违法占地建筑物进行检测的方法 Active CN113378642B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110518952.2A CN113378642B (zh) 2021-05-12 2021-05-12 一种对农村违法占地建筑物进行检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110518952.2A CN113378642B (zh) 2021-05-12 2021-05-12 一种对农村违法占地建筑物进行检测的方法

Publications (2)

Publication Number Publication Date
CN113378642A true CN113378642A (zh) 2021-09-10
CN113378642B CN113378642B (zh) 2022-05-06

Family

ID=77572589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110518952.2A Active CN113378642B (zh) 2021-05-12 2021-05-12 一种对农村违法占地建筑物进行检测的方法

Country Status (1)

Country Link
CN (1) CN113378642B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155433A (zh) * 2021-11-30 2022-03-08 北京新兴华安智慧科技有限公司 一种违法土地的检测方法、装置、电子设备及存储介质
CN114239755A (zh) * 2022-02-25 2022-03-25 北京智弘通达科技有限公司 基于深度学习的铁路沿线彩钢瓦建筑智能识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102420976A (zh) * 2011-12-01 2012-04-18 厦门狄耐克电子科技有限公司 带面部识别的楼宇可视对讲门口主机
CN103017655A (zh) * 2012-11-30 2013-04-03 刘庆国 一种多楼层房屋建筑面积的提取方法及系统
CN105117989A (zh) * 2015-09-09 2015-12-02 百度在线网络技术(北京)有限公司 一种违章建筑举报处理的方法和服务器平台
CN105847769A (zh) * 2016-06-16 2016-08-10 苏州安控物联网科技有限公司 一种建筑现场行为分析系统及分析方法
CN106874863A (zh) * 2017-01-24 2017-06-20 南京大学 基于深度卷积神经网络的车辆违停逆行检测方法
CN107622239A (zh) * 2017-09-15 2018-01-23 北方工业大学 一种层次化局部结构约束的遥感图像指定建筑区检测方法
WO2020147996A1 (en) * 2019-01-14 2020-07-23 Siemens Schweiz Ag Method and system for detecting building objects installed within a building
CN111582117A (zh) * 2020-04-29 2020-08-25 长江大学 一种无人机违章建筑物巡检方法、设备及存储介质
WO2021003824A1 (zh) * 2019-07-11 2021-01-14 平安科技(深圳)有限公司 基于图像识别的违章建筑识别方法、装置
CN112287832A (zh) * 2020-10-29 2021-01-29 江苏科博空间信息科技有限公司 一种基于高分辨率遥感影像的城镇违法建筑物检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102420976A (zh) * 2011-12-01 2012-04-18 厦门狄耐克电子科技有限公司 带面部识别的楼宇可视对讲门口主机
CN103017655A (zh) * 2012-11-30 2013-04-03 刘庆国 一种多楼层房屋建筑面积的提取方法及系统
CN105117989A (zh) * 2015-09-09 2015-12-02 百度在线网络技术(北京)有限公司 一种违章建筑举报处理的方法和服务器平台
CN105847769A (zh) * 2016-06-16 2016-08-10 苏州安控物联网科技有限公司 一种建筑现场行为分析系统及分析方法
CN106874863A (zh) * 2017-01-24 2017-06-20 南京大学 基于深度卷积神经网络的车辆违停逆行检测方法
CN107622239A (zh) * 2017-09-15 2018-01-23 北方工业大学 一种层次化局部结构约束的遥感图像指定建筑区检测方法
WO2020147996A1 (en) * 2019-01-14 2020-07-23 Siemens Schweiz Ag Method and system for detecting building objects installed within a building
WO2021003824A1 (zh) * 2019-07-11 2021-01-14 平安科技(深圳)有限公司 基于图像识别的违章建筑识别方法、装置
CN111582117A (zh) * 2020-04-29 2020-08-25 长江大学 一种无人机违章建筑物巡检方法、设备及存储介质
CN112287832A (zh) * 2020-10-29 2021-01-29 江苏科博空间信息科技有限公司 一种基于高分辨率遥感影像的城镇违法建筑物检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LADISLAV OSTANKOVICH 等: "Illegal Buildings Detection from Satellite Images using GoogLeNet and Cadastral Map", 《RESEARCHGATE》 *
吴云辉: "基于无人机倾斜摄影的违法建筑定量化监测研究", 《测绘与空间地理信息》 *
姚金阶 等: "连体建造的8层违章建筑控制爆破拆除", 《拆除爆破》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155433A (zh) * 2021-11-30 2022-03-08 北京新兴华安智慧科技有限公司 一种违法土地的检测方法、装置、电子设备及存储介质
CN114155433B (zh) * 2021-11-30 2022-07-19 北京新兴华安智慧科技有限公司 一种违法土地的检测方法、装置、电子设备及存储介质
CN114239755A (zh) * 2022-02-25 2022-03-25 北京智弘通达科技有限公司 基于深度学习的铁路沿线彩钢瓦建筑智能识别方法

Also Published As

Publication number Publication date
CN113378642B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN111310862B (zh) 复杂环境下基于图像增强的深度神经网络车牌定位方法
Gong et al. Superpixel-based difference representation learning for change detection in multispectral remote sensing images
CN112818903B (zh) 一种基于元学习和协同注意力的小样本遥感图像目标检测方法
CN111738110A (zh) 基于多尺度注意力机制的遥感图像车辆目标检测方法
CN111310861A (zh) 一种基于深度神经网络的车牌识别和定位方法
CN113887459B (zh) 一种基于改进Unet++的露天矿区采场变化区域检测方法
CN110929577A (zh) 一种基于YOLOv3的轻量级框架改进的目标识别方法
CN113378686B (zh) 一种基于目标中心点估计的两阶段遥感目标检测方法
Tao et al. Scene context-driven vehicle detection in high-resolution aerial images
CN112183203A (zh) 一种基于多尺度像素特征融合的实时交通标志检测方法
CN112287832A (zh) 一种基于高分辨率遥感影像的城镇违法建筑物检测方法
CN113378642B (zh) 一种对农村违法占地建筑物进行检测的方法
CN112801227B (zh) 一种台风识别模型的生成方法、装置、设备及存储介质
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN112232371A (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN113628180A (zh) 一种基于语义分割网络的遥感建筑物检测方法及系统
CN112836614A (zh) 一种基于残差网络和迁移学习的高分遥感图像分类方法
CN112418207A (zh) 一种基于自注意力蒸馏的弱监督文字检测方法
CN116189130A (zh) 基于图像标注模型的车道线分割方法及装置
CN115376094A (zh) 基于尺度感知神经网络的无人清扫车路面识别方法及系统
CN112036246B (zh) 遥感影像分类模型的构建方法,遥感影像分类方法及系统
Guo et al. River Extraction Method of Remote Sensing Image Based on Edge Feature Fusion
Widyaningrum et al. Tailored features for semantic segmentation with a DGCNN using free training samples of a colored airborne point cloud

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221124

Address after: No. 13, Lantai Road, High tech Zone, Yichang City, Hubei Province, 443008

Patentee after: Hubei Zhigan Space Information Technology Co.,Ltd.

Address before: 443002 No. 8, University Road, Xiling District, Yichang, Hubei

Patentee before: CHINA THREE GORGES University

TR01 Transfer of patent right