CN116862252A - 一种基于复合卷积算子的城市建筑物损失应急评估方法 - Google Patents
一种基于复合卷积算子的城市建筑物损失应急评估方法 Download PDFInfo
- Publication number
- CN116862252A CN116862252A CN202310699688.6A CN202310699688A CN116862252A CN 116862252 A CN116862252 A CN 116862252A CN 202310699688 A CN202310699688 A CN 202310699688A CN 116862252 A CN116862252 A CN 116862252A
- Authority
- CN
- China
- Prior art keywords
- convolution
- change
- remote sensing
- composite
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 239000002131 composite material Substances 0.000 title claims abstract description 33
- 230000008859 change Effects 0.000 claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 238000012805 post-processing Methods 0.000 claims abstract description 5
- 230000011218 segmentation Effects 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000007246 mechanism Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 claims description 6
- 101150064138 MAP1 gene Proteins 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 claims 1
- 238000010606 normalization Methods 0.000 claims 1
- 238000013139 quantization Methods 0.000 claims 1
- 230000004044 response Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000013145 classification model Methods 0.000 abstract 1
- 238000010276 construction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Economics (AREA)
- Molecular Biology (AREA)
- Marketing (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Tourism & Hospitality (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Development Economics (AREA)
- Primary Health Care (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于复合卷积算子的城市建筑物损失应急评估方法，包括：获取覆盖灾害区域的遥感图像数据，对数据进行预处理；使用基于复合卷积算子的全卷积神经网络FCN从遥感图像中提取特征；将特征表示输入到一个变化检测模型中，该模型为二分类模型，用于检测出两幅遥感图像之间存在的变化；对变化区域进行后处理和分割，对变化预测值进行修正并且将变化区域从背景中分离出来；对变化区域进行分析，将结果可视化展示，在地图上标注出变化区域及其面积，以便决策者和应急响应团队进行更好的决策和响应。本发明解决了传统遥感变化检测图像解译速度慢，难以满足灾害应急处理等问题，实现了遥感变化检测技术在灾害应急处理上的应用。
Description
技术领域
本发明属于城市灾害应急管理、灾害快速评估领域，涉及遥感图像数据检测技术，具体涉及一种基于复合卷积算子的城市建筑物损失应急评估方法。
背景技术
中国的城市建筑主要以高层建筑为主。由于土地资源有限，城市人口密集，建筑物垂直发展成为相对必然的选择。城市拥有许多大型购物中心，这些购物中心不仅提供购物场所，还包括餐饮、娱乐、电影院等多种服务。这些购物中心通常人流量巨大。
在人口密集的城区发生地震、泥石流、山体滑坡等重大自然灾害时，需要在短时间内对受灾地区进行受灾位置、灾情以及受灾区域大小进行评估。在台风、泥石流、地震等自然灾害将道路阻塞或破坏时，进入灾害地区进行人工测绘和评估变得非常困难，并且耗时又危险。
这时利用遥感图像进行快速、准确的灾害评估和应急响应就显得尤为重要。因此对高效、智能的遥感图像变化检测方法有着巨大的需求。
发明内容
发明目的：针对城市建筑物损失评估人工勘探难度大，危险性高，且传统遥感变化检测图像解译速度慢，难以满足灾害应急处理等问题，提供一种基于复合卷积算子的城市建筑物损失应急评估方法，其通过构建基于复合卷积算子的骨干网减少了计算量，在网络不同深度分别引入空洞卷积和连续3*3卷积，提升遥感图像特征信息提取；对上采样网络的输入引入注意力机制。构建了边缘注意力模块，给予变化特征边缘轮廓更大的权重，以获取更完整的边缘信息，提升遥感图像中复杂轮廓变化的检测效果；同时实现了方法的高复用和可扩充，只需修改较少部分的内容，就可以在建筑物变化检测上应用。
技术方案：为实现上述目的，本发明提供一种基于复合卷积算子的城市建筑物损失应急评估方法，包括如下步骤：
S1：通过卫星对受灾城市建筑进行图像采集，对采集的遥感图像数据进行预处理，包括图像去噪、图像增强和裁剪和缩放；
S2：使用全卷积神经网络FCN从遥感图像中提取特征；FCN能够有效地捕捉遥感图像中的空间关系和上下文信息，并将其转换为一组高级特征表示，用于后续的变化检测；
S3：利用注意力机制来自适应地调整特征表示不同位置的重要性，从而增强模型对输入数据的关注度；
S4：将特征表示输入到一个上采样预测网络中，在恢复图片尺寸的同时预测每个像素的变化概率，用于检测出两幅遥感图像之间存在的变化；
S5：根据预测结果，对变化区域进行后处理和分割，将变化区域从背景中分离出来；
S6：对变化区域进行分析和量化，包括变化类型、变化量、变化位置等，将结果可视化展示，以便决策者和应急响应团队进行更好的决策和响应。
进一步地，所述步骤S1中图像去噪方法为：
A1：对信号进行滤波，在滤波的同时减少高频噪声的影响，利用高斯分布模型来计算信号的均值μ和方差σ2以及噪声的方差σn 2；构建一个高斯滤波器，其形式如下：
G(x，y)＝exp(-[(x2+y2)/(2*σ2)])
A2：将高斯滤波器应用于遥感图像，通过卷积运算得到一个平滑后的信号，卷积计算的公式如下，
S(x，y)＝(1/sum(G(x，y)))*∑[G(i，j)*I(x+i，y+j)]
其中，I(x，y)是原始信号，S(x，y)是平滑后的信号，sum(G(x，y))是滤波器的归一化系数，i和j分别是高斯滤波器的水平和垂直位置；
A3：对平滑后的信号进行加权平均处理，以减少噪声的影响，其计算公式如下：
D(x，y)＝(1-α)*S(x，y)+α*μ
其中，D(x，y)是去噪后的信号，α是加权平均的权重，根据信噪比来确定，μ是信号的均值；
图像裁剪方法为：
将经过去噪处理的遥感图像切分为像素值大小为256*256的图块；并且按照原始位置进行编号；将编号存储来保证后续还原遥感图像。
进一步地，所述步骤S2中使用全卷积神经网络FCN从遥感图像中提取特征的具体方法为：
Output＝Input*Kernel+Bias
其中，Input表示输入特征图，Kernel表示卷积核，它的权重需要通过学习获得；Output表示输出的特征图；Bias是偏置项，它与卷积核的权重一样，需要学习得到。
进一步地，所述步骤S2中全卷积神经网络FCN的卷积核为浅层复合卷积算子，其包括1*1卷积核、3*3的标准卷积核、扩张率为2的空洞卷积核、全局平均池化层、全连接层；
浅层复合卷积算子的计算过程如下：
B1：输入input进行1*1卷积计算，得到feature map 1；
B2：feature map 1分别经过一个标准卷积和扩张率为2的空洞卷积，然后融合得到feature map 2；
B3：feature map 2先经过一个平均值池化，再经过两个全连接层，获取不同通道的权重与特征图x相乘，得到输出；
平均值池化公式表述为Output(i，j)＝average(sum(Input(2i，2j)，Input(2i+1，2j)，Input(2i，2j+1)，Input(2i+1，2j+1)))；其中Input(i，j)表示输入特征图的第i行、第j列的像素值，sum表示求和，average表示求平均；可以将输入特征图缩小一半，从而减少模型参数和计算量。
进一步地，所述步骤S2中在全卷积神经网络FCN的网络深层使用深度复合卷积算予以解决特征信息丢失的问题，深度复合卷积算子的结构包括1*1卷积核、3*3的标准卷积核、全局平均池化层、全连接层。深层复合卷积算子的计算过程与浅层复合卷积算子的大致相同，在步骤B2处将空洞卷积替换为两次连续的标准卷积。
进一步地，所述步骤S3中注意力机制自适应调整特征表示不同位置重要性的方法为：
S(x，y，c)＝softmax(Wc*F(x，y)+Ws*F(x，y))
G(x，y，c)＝S(x，y，c)*F(x，y，c)
其中，Wc和Ws分别表示学习得到的通道和空间权重向量，softmax表示对Wc*F(x，y)+Ws*F(x，y)进行softmax归一化处理，得到每个像素的注意力系数S(x，y，c)，G(x，y，c)表示加权后的输出特征图。
进一步地，所述注意力机制的结构包括自适应平均池层、一维卷积单元、ReLU激活函数，注意力机制的计算过程如下：
C1：输入首先降低特征图的维维度，将原来的平面特征图(Rh*w)拉伸至一维(Rl *hw)，以减少计算量；
C2：采用一维全局平均池化的方法将特征图空间信息融合并压缩，并通过一维卷积和激活函数获得通道间的权重信息并且加强其非线性特征；
C3：转置后获得通道权重Cweight，将Cweight与Rc*hw相乘后经过reshape操作获得权重矩阵；
C4：将权重矩阵经过激活函数后与输入相乘获得最终输出。
进一步地，所述步骤S4中上采样预测网络为：
特征金字塔网络将输入映射为多个离散的输出类别之一，该网络的输出层是一个softmax层，将隐藏层的输出映射为一个概率分布，其中每个类别的概率值表示输入属于该类别的可能性，该网络的输出为：y＝softmax(W*h+b)，其中h表示隐藏层的输出，W和b是输出层的权重和偏置，使用交叉熵损失函数作为优化目标。
进一步地，所述步骤S5中变化区域的分割方法为：
D1：将图像分割成若干个小区域，其中每个小区域可以是像素块或超像素块，使用图像分割算法来生成这些小区域；
D2：对于分割后的像素块，根据像素块内发生改变的像素比例以及像素之间的相似性对像素块内的预测结果进行修正；
D3：将相邻的像素块进行合并，得到最后的预测结果。
进一步地，所述步骤S6中变化区域进行分析和量化计算方法为：
E1：将预测结果按照原始图像的顺序进行拼接，获得目标区域的变化检测结果；
E2：根据目标区域的变化检测结果，统计受灾区域的位置，面积以及受损程度；
E3：将统计结果与城市地图结合，进行可视化展示。
有益效果：本发明与现有技术相比，具备如下优点：
1、基于复合卷积算子的骨干网络，能够减少计算量，提升遥感图像特征信息提取。
2、引入注意力机制，给予变化特征边缘轮廓更大的权重，以获取更完整的边缘信息，提升遥感图像中复杂轮廓变化的检测效果。
3、减少计算量的同时在不同尺度上融合变化信息。在不同尺度上预测变化结果并对结果进行融合，提高遥感图像中复杂轮廓的检测精度。
4、实现了方法的高复用和可扩充，只需修改较少部分的内容，就可以在建筑物变化检测上应用。
附图说明
图1为本发明方法的流程示意图；
图2为本发明方法中浅层复合算子示意图。
图3为本发明方法中深层复合算子示意图。
图4为本发明方法中注意力机制示意图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
本发明提供一种基于复合卷积算子的城市建筑物损失应急评估方法，如图1所示，其包括如下步骤：
S1：通过卫星对受灾城市建筑进行图像采集，对采集的遥感图像数据进行预处理，包括图像去噪、图像增强和裁剪和缩放；
S2：使用全卷积神经网络(FCN)从遥感图像中提取特征。FCN能够有效地捕捉遥感图像中的空间关系和上下文信息，并将其转换为一组高级特征表示，用于后续的变化检测；
S3：利用注意力机制来自适应地调整特征表示中注意力机制，从而增强模型对输入数据的关注度；
S4：将特征表示输入到一个上采样预测网络中，在恢复图片尺寸的同时预测每个像素的变化概率，用于检测出两幅遥感图像之间存在的变化；
S5：根据预测结果，对变化区域进行后处理和分割，将变化区域从背景中分离出来；
S6：对变化区域进行分析和量化，包括变化类型、变化量、变化位置等。将结果可视化展示，以便决策者和应急响应团队进行更好的决策和响应；
S7：定期对施工进度进行比较，若出现某台振捣台车的施工进度明显落后于预期的施工进度，则调度其他振捣台车辅助或接替其工作；
本实施例步骤S1中图像去噪方法为：
A1：对信号进行滤波，在滤波的同时减少高频噪声的影响。利用高斯分布模型来计算信号的均值μ和方差σ2以及噪声的方差σn2。构建一个高斯滤波器，其形式如下：
G(x，y)＝exp(-[(x2+y2)/(2*σ2)])
A2：将高斯滤波器应用于遥感图像，通过卷积运算得到一个平滑后的信号版本，卷积计算的公式如下，
S(x，y)＝(1/sum(G(x，y)))*∑[G(i，j)*I(x+i，y+j)]
其中，I(x，y)是原始信号，S(x，y)是平滑后的信号，sum(G(x，y))是滤波器的归一化系数，i和j分别是高斯滤波器的水平和垂直位置。
A3：对平滑后的信号进行加权平均处理，以减少噪声的影响。其计算公式如下：
D(x，y)＝(1-α)*S(x，y)+α*μ
其中，D(x，y)是去噪后的信号，α是加权平均的权重，根据信噪比来确定。μ是信号的均值。
图像裁剪方法为：
将经过去噪处理的遥感图像切分为像素值大小为256*256的图块；并且按照原始位置进行编号；将编号存储来保证后续还原遥感图像。
本实施例步骤S2中使用全卷积神经网络(FCN)从遥感图像中提取特征的方法为：
Output＝Input*Kernel+Bias
其中，Input表示输入特征图，Kernel表示卷积核，他的权重需要通过学习获得。Output表示输出的特征图。Bias是偏置项，它与卷积核的权重一样，需要学习得到。
如图2所示，卷积核为浅层复合卷积算子，其包括1*1卷积核、3*3的标准卷积核、扩张率为2的空洞卷积核、全局平均池化层、全连接层；
浅层复合卷积算子的详细计算过程如下：
B1：输入input进行1*1卷积计算，得到feature map 1。
B2：feature map 1分别经过一个标准卷积和扩张率为2的空洞卷积，然后融合得到feature map 2。
B3：feature map 2先经过一个平均值池化，再经过两个全连接层，获取不同通道的权重与特征图x相乘，得到输出。平均值池化公式表述为Output(i，j)＝average(sum(Input(2i，2j)，Input(2i+1，2j)，Input(2i，2j+1)，Input(2i+1，2j+1)))；其中Input(i，j)表示输入特征图的第i行、第j列的像素值，sum表示求和，average表示求平均。可以将输入特征图缩小一半，从而减少模型参数和计算量。
如图3所示，在全卷积神经网络(FCN)的网络深层使用深度复合卷积算子以解决特征信息丢失的问题，深度复合卷积算子的结构包括1*1卷积核、3*3的标准卷积核、全局平均池化层、全连接层。深层复合卷积算子的计算过程与浅层复合卷积算子的大致相同，区别在于在步骤B2处将空洞卷积替换为两次连续的标准卷积。
本实施例步骤S3中注意力机制自适应调整特征表示不同位置重要性的方法为：
S(x，y，c)＝softmax(Wc*F(x，y)+Ws*F(x，y))
G(x，y，c)＝S(x，y，c)*F(x，y，c)
其中，Wc和Ws分别表示学习得到的通道和空间权重向量，softnax表示对Wc*F(x，y)+Ws*F(x，y)进行softmax归一化处理，得到每个像素的注意力系数S(x，y，c)，G(x，y，c)表示加权后的输出特征图。
如图4所示，注意力机制的结构包括自适应平均池层、一维卷积单元、ReLU激活函数，其计算过程如下：
C1：输入首先降低特征图的维维度，将原来的平面特征图(Rh*w)拉伸至一维(R1*hw)，以减少计算量。
C2：采用一维全局平均池化的方法将特征图空间信息融合并压缩。并通过一维卷积和激活函数获得通道间的权重信息并且加强其非线性特征。
C3：转置后获得通道权重Cweight(图4的绿色部分)。将Cweight与Rc*hw(图4的橘色部分)相乘后经过reshape操作获得权重矩阵。
C4：将权重矩阵经过激活函数后与输入相乘获得最终输出。
本实施例步骤S4中上采样预测网络为：
特征金字塔网络将输入映射为多个离散的输出类别之一。该网络的输出层是一个softmax层，将隐藏层的输出映射为一个概率分布，其中每个类别的概率值表示输入属于该类别的可能性。则该网络的输出为：y＝softmax(W*h+b)，其中h表示隐藏层的输出，W和b是输出层的权重和偏置，使用交叉熵损失函数作为优化目标。
本实施例中步骤S5中变化区域后处理方法为：
D1：图像分割成若干个小区域，其中每个小区域可以是像素块或超像素块。使用图像分割算法来生成这些小区域；
D2：对于分割后的像素块，根据像素块内发生改变的像素比例以及像素之间的相似性对像素块内的预测结果进行修正；
D3：将相邻的像素块进行合并，得到最后的预测结果。
本实施例中步骤S6中变化区域进行分析和量化计算方法为：
E1：将预测结果按照原始图像的顺序进行拼接，获得目标区域的变化检测结果；
E2：根据目标区域的变化检测结果，统计受灾区域的位置，面积以及受损程度；
E3：将统计结果与城市地图结合，进行可视化展示。
本实施例将本发明检测方法与现有检测方法相比，本发明方法检测速度快10％以上，对于传统的遥感检测(比如基于像素的方法)相比，速度和精度都会提高很多，可提高几倍甚至十几倍。
根据以上实例可知，针对城市建筑物损失评估人工勘探难度大，危险性高，且传统遥感变化检测图像解译速度慢，难以满足灾害应急处理等问题，本发明的方法通过构建基于复合卷积算子的骨干网减少了计算量，在网络不同深度分别引入空洞卷积和连续3*3卷积，提升遥感图像特征信息提取；对上采样网络的输入引入注意力机制。构建了边缘注意力模块，给予变化特征边缘轮廓更大的权重，以获取更完整的边缘信息，提升遥感图像中复杂轮廓变化的检测效果；同时实现了方法的高复用和可扩充，只需修改较少部分的内容，就可以在建筑物变化检测上应用。
Claims (10)
1.一种基于复合卷积算子的城市建筑物损失应急评估方法，其特征在于，包括如下步骤：
S1：通过卫星对受灾城市建筑进行图像采集，对采集的遥感图像数据进行预处理，包括图像去噪、图像增强和裁剪和缩放；
S2：使用全卷积神经网络FCN从遥感图像中提取特征；
S3：利用注意力机制来自适应地调整特征表示不同位置的重要性；
S4：将特征表示输入到一个上采样预测网络中，在恢复图片尺寸的同时预测每个像素的变化概率，用于检测出两幅遥感图像之间存在的变化；
S5：根据预测结果，对变化区域进行后处理和分割，将变化区域从背景中分离出来；
S6：对变化区域进行分析和量化，将结果可视化展示。
2.根据权利要求1所述的一种基于复合卷积算子的城市建筑物损失应急评估方法，其特征在于，所述步骤S1中图像去噪方法为：
A1：对信号进行滤波，在滤波的同时减少高频噪声的影响，利用高斯分布模型来计算信号的均值μ和方差σ2以及噪声的方差σn 2；构建一个高斯滤波器，其形式如下：
G(x，y)＝exp(-[(x2+y2)/(2*σ2)])
A2：将高斯滤波器应用于遥感图像，通过卷积运算得到一个平滑后的信号，卷积计算的公式如下，
S(x，y)＝(1/sum(G(x，y)))*∑[G(i，j)*I(x+i，y+j)]
其中，I(x，y)是原始信号，S(x，y)是平滑后的信号，sum(G(x，y))是滤波器的归一化系数，i和j分别是高斯滤波器的水平和垂直位置；
A3：对平滑后的信号进行加权平均处理，以减少噪声的影响，其计算公式如下：
D(x，y)＝(1-α)*S(x，y)+α*μ
其中，D(x，y)是去噪后的信号，α是加权平均的权重，根据信噪比来确定，μ是信号的均值；
图像裁剪方法为：
将经过去噪处理的遥感图像切分为像素值大小为256*256的图块；并且按照原始位置进行编号；将编号存储来保证后续还原遥感图像。
3.根据权利要求1所述的一种基于复合卷积算子的城市建筑物损失应急评估方法，其特征在于，所述步骤S2中使用全卷积神经网络FCN从遥感图像中提取特征的具体方法为：
Output＝Input*Kernel+Bias
其中，Input表示输入特征图，Kernel表示卷积核，它的权重需要通过学习获得；Output表示输出的特征图；Bias是偏置项，它与卷积核的权重一样，需要学习得到。
4.根据权利要求3所述的一种基于复合卷积算子的城市建筑物损失应急评估方法，其特征在于，所述步骤S2中全卷积神经网络FCN的卷积核为浅层复合卷积算子，其包括1*1卷积核、3*3的标准卷积核、扩张率为2的空洞卷积核、全局平均池化层、全连接层；
浅层复合卷积算子的计算过程如下：
B1：输入input进行1*1卷积计算，得到feature map 1；
B2：feature map 1分别经过一个标准卷积和扩张率为2的空洞卷积，然后融合得到feature map 2；
B3：feature map 2先经过一个平均值池化，再经过两个全连接层，获取不同通道的权重与特征图x相乘，得到输出；
平均值池化公式表述为Output(i，j)＝average(sum(Input(2i，2j)，Input(2i+1，2j)，Input(2i，2j+1)，Input(2i+1，2j+1)))；其中Input(i，j)表示输入特征图的第i行、第j列的像素值，sum表示求和，average表示求平均；
5.根据权利要求4所述的一种基于复合卷积算子的城市建筑物损失应急评估方法，其特征在于，所述步骤S2中在全卷积神经网络FCN的网络深层使用深度复合卷积算子以解决特征信息丢失的问题，深度复合卷积算子的结构包括1*1卷积核、3*3的标准卷积核、全局平均池化层、全连接层。
6.根据权利要求1所述的一种基于复合卷积算子的城市建筑物损失应急评估方法，其特征在于，所述步骤S3中注意力机制自适应调整特征表示不同位置重要性的方法为：
S(x，y，c)＝softmax(Wc*F(x，y)+Ws*F(x，y))
G(x，y，c)＝S(x，y，c)*F(x，y，c)
其中，Wc和Ws分别表示学习得到的通道和空间权重向量，softmax表示对Wc*F(x，y)+Ws*F(x，y)进行soffmax归一化处理，得到每个像素的注意力系数S(x，y，c)，G(x，y，c)表示加权后的输出特征图。
7.根据权利要求6所述的一种基于复合卷积算子的城市建筑物损失应急评估方法，其特征在于，所述注意力机制的结构包括自适应平均池层、一维卷积单元、ReLU激活函数，注意力机制的计算过程如下：
C1：输入首先降低特征图的维度，将原来的平面特征图(Rh*w)拉伸至一维(R1*hw)，以减少计算量；
C2：采用一维全局平均池化的方法将特征图空间信息融合并压缩，并通过一维卷积和激活函数获得通道间的权重信息并且加强其非线性特征；
C3：转置后获得通道权重Cweight，将Cweight与Rc*hw相乘后经过reshape操作获得权重矩阵；
C4：将权重矩阵经过激活函数后与输入相乘获得最终输出。
8.根据权利要求1所述的一种基于复合卷积算子的城市建筑物损失应急评估方法，其特征在于，所述步骤S4中上采样预测网络为：
特征金字塔网络将输入映射为多个离散的输出类别之一，该网络的输出层是一个softmax层，将隐藏层的输出映射为一个概率分布，其中每个类别的概率值表示输入属于该类别的可能性，该网络的输出为：y＝softmax(W*h+b)，其中h表示隐藏层的输出，W和b是输出层的权重和偏置，使用交叉熵损失函数作为优化目标。
9.根据权利要求1所述的一种基于复合卷积算子的城市建筑物损失应急评估方法，其特征在于，所述步骤S5中变化区域的分割方法为：
D1：将图像分割成若干个小区域，其中每个小区域可以是像素块或超像素块，使用图像分割算法来生成这些小区域；
D2：对于分割后的像素块，根据像素块内发生改变的像素比例以及像素之间的相似性对像素块内的预测结果进行修正；
D3：将相邻的像素块进行合并，得到最后的预测结果。
10.根据权利要求1所述的一种基于复合卷积算子的城市建筑物损失应急评估方法，其特征在于，所述步骤S6中变化区域进行分析和量化计算方法为：
E1：将预测结果按照原始图像的顺序进行拼接，获得目标区域的变化检测结果；
E2：根据目标区域的变化检测结果，统计受灾区域的位置，面积以及受损程度；
E3：将统计结果与城市地图结合，进行可视化展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310699688.6A CN116862252B (zh) | 2023-06-13 | 2023-06-13 | 一种基于复合卷积算子的城市建筑物损失应急评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310699688.6A CN116862252B (zh) | 2023-06-13 | 2023-06-13 | 一种基于复合卷积算子的城市建筑物损失应急评估方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116862252A true CN116862252A (zh) | 2023-10-10 |
| CN116862252B CN116862252B (zh) | 2024-04-26 |
Family
ID=88234870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310699688.6A Active CN116862252B (zh) | 2023-06-13 | 2023-06-13 | 一种基于复合卷积算子的城市建筑物损失应急评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116862252B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117556715A (zh) * | 2024-01-12 | 2024-02-13 | 湖南大学 | 基于信息融合的典型环境下智能电表退化分析方法及系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109871798A (zh) * | 2019-02-01 | 2019-06-11 | 浙江大学 | 一种基于卷积神经网络的遥感影像建筑物提取方法 |
| CN112580654A (zh) * | 2020-12-25 | 2021-03-30 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 遥感图像地物语义分割方法 |
| CN113408462A (zh) * | 2021-06-29 | 2021-09-17 | 西南交通大学 | 基于卷积神经网络与类别热力图的滑坡遥感信息提取方法 |
| CN114581770A (zh) * | 2022-02-17 | 2022-06-03 | 深圳信息职业技术学院 | 基于TransUnet的遥感影像建筑物自动提取处理方法 |
| CN114863097A (zh) * | 2022-04-06 | 2022-08-05 | 北京航空航天大学 | 一种基于注意力机制卷积神经网络的红外弱小目标检测方法 |
| CN114943894A (zh) * | 2022-05-11 | 2022-08-26 | 太原理工大学 | 一种基于ConvCRF的高分遥感影像建筑物提取优化方法 |
| CN115222750A (zh) * | 2022-07-27 | 2022-10-21 | 南京信息工程大学 | 基于多尺度融合注意力的遥感图像分割方法及系统 |
| CN115601661A (zh) * | 2022-10-31 | 2023-01-13 | 湖北工业大学（Cn） | 一种用于城市动态监测的建筑物变化检测方法 |
| CN115775316A (zh) * | 2022-11-23 | 2023-03-10 | 长春理工大学 | 基于多尺度注意力机制的图像语义分割方法 |
| CN115861260A (zh) * | 2022-12-16 | 2023-03-28 | 西安电子科技大学 | 一种面向广域城市场景下的深度学习变化检测方法 |
| CN116189008A (zh) * | 2023-03-06 | 2023-05-30 | 西安电子科技大学 | 基于定点数量化的遥感图像变化检测方法 |
| CN116228789A (zh) * | 2022-12-21 | 2023-06-06 | 河南大学 | 一种基于DeepLabv3+网络的遥感图像分割方法 |
| CN116403152A (zh) * | 2023-01-19 | 2023-07-07 | 华东交通大学 | 一种基于空间上下文学习网络的人群密度估计方法 |
-
2023
- 2023-06-13 CN CN202310699688.6A patent/CN116862252B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109871798A (zh) * | 2019-02-01 | 2019-06-11 | 浙江大学 | 一种基于卷积神经网络的遥感影像建筑物提取方法 |
| CN112580654A (zh) * | 2020-12-25 | 2021-03-30 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 遥感图像地物语义分割方法 |
| CN113408462A (zh) * | 2021-06-29 | 2021-09-17 | 西南交通大学 | 基于卷积神经网络与类别热力图的滑坡遥感信息提取方法 |
| CN114581770A (zh) * | 2022-02-17 | 2022-06-03 | 深圳信息职业技术学院 | 基于TransUnet的遥感影像建筑物自动提取处理方法 |
| CN114863097A (zh) * | 2022-04-06 | 2022-08-05 | 北京航空航天大学 | 一种基于注意力机制卷积神经网络的红外弱小目标检测方法 |
| CN114943894A (zh) * | 2022-05-11 | 2022-08-26 | 太原理工大学 | 一种基于ConvCRF的高分遥感影像建筑物提取优化方法 |
| CN115222750A (zh) * | 2022-07-27 | 2022-10-21 | 南京信息工程大学 | 基于多尺度融合注意力的遥感图像分割方法及系统 |
| CN115601661A (zh) * | 2022-10-31 | 2023-01-13 | 湖北工业大学（Cn） | 一种用于城市动态监测的建筑物变化检测方法 |
| CN115775316A (zh) * | 2022-11-23 | 2023-03-10 | 长春理工大学 | 基于多尺度注意力机制的图像语义分割方法 |
| CN115861260A (zh) * | 2022-12-16 | 2023-03-28 | 西安电子科技大学 | 一种面向广域城市场景下的深度学习变化检测方法 |
| CN116228789A (zh) * | 2022-12-21 | 2023-06-06 | 河南大学 | 一种基于DeepLabv3+网络的遥感图像分割方法 |
| CN116403152A (zh) * | 2023-01-19 | 2023-07-07 | 华东交通大学 | 一种基于空间上下文学习网络的人群密度估计方法 |
| CN116189008A (zh) * | 2023-03-06 | 2023-05-30 | 西安电子科技大学 | 基于定点数量化的遥感图像变化检测方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117556715A (zh) * | 2024-01-12 | 2024-02-13 | 湖南大学 | 基于信息融合的典型环境下智能电表退化分析方法及系统 |
| CN117556715B (zh) * | 2024-01-12 | 2024-03-26 | 湖南大学 | 基于信息融合的典型环境下智能电表退化分析方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116862252B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111047551B (zh) | 一种基于U-net改进算法的遥感影像变化检测方法及系统 | |
| CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
| CN111598030B (zh) | 一种航拍图像中车辆检测和分割的方法及系统 | |
| CN110956094A (zh) | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 | |
| CN110059768B (zh) | 用于街景理解的融合点与区域特征的语义分割方法及系统 | |
| CN110070091B (zh) | 用于街景理解的基于动态插值重建的语义分割方法及系统 | |
| CN113673590B (zh) | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 | |
| CN110287777B (zh) | 一种自然场景下的金丝猴躯体分割算法 | |
| CN108564588B (zh) | 一种基于深度特征和图割法的建成区自动提取方法 | |
| CN111709300B (zh) | 基于视频图像的人群计数方法 | |
| CN116862252B (zh) | 一种基于复合卷积算子的城市建筑物损失应急评估方法 | |
| CN101944178B (zh) | 用于智能监控的显著区域提取方法 | |
| CN114926797A (zh) | 基于边缘约束与特征适应的Transformer双分支道路提取方法及装置 | |
| CN101527043A (zh) | 基于运动目标轮廓信息的视频对象分割方法 | |
| CN114187520B (zh) | 一种建筑物提取模型的构建及应用方法 | |
| CN115661655B (zh) | 高光谱和高分影像深度特征融合的西南山区耕地提取方法 | |
| CN114612664A (zh) | 一种基于双边分割网络的细胞核分割方法 | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| CN115810149A (zh) | 基于超像素与图卷积的高分辨率遥感图像建筑物提取方法 | |
| CN113762265A (zh) | 肺炎的分类分割方法及系统 | |
| CN116071374B (zh) | 一种车道线实例分割方法及系统 | |
| Xia et al. | A Deep Learning Application for Building Damage Assessment Using Ultra-High-Resolution Remote Sensing Imagery in Turkey Earthquake | |
| CN114862713A (zh) | 基于注意力平滑膨胀卷积的两阶段图像去雨方法 | |
| CN114529730A (zh) | 一种基于lbp特征的卷积神经网络地面材质图像分类方法 | |
| CN114463175A (zh) | 基于深度卷积神经网络的火星图像超分辨方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |