CN116645616A - 一种利用遥感图像评估自然灾害中建筑物损坏程度的方法 - Google Patents
一种利用遥感图像评估自然灾害中建筑物损坏程度的方法 Download PDFInfo
- Publication number
- CN116645616A CN116645616A CN202310427629.3A CN202310427629A CN116645616A CN 116645616 A CN116645616 A CN 116645616A CN 202310427629 A CN202310427629 A CN 202310427629A CN 116645616 A CN116645616 A CN 116645616A
- Authority
- CN
- China
- Prior art keywords
- disaster
- image
- remote sensing
- images
- building
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012937 correction Methods 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 230000008859 change Effects 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 241000282326 Felis catus Species 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000013136 deep learning model Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000001932 seasonal effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- 238000006424 Flood reaction Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Remote Sensing (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Astronomy & Astrophysics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种利用遥感图像评估自然灾害中建筑物损坏程度的方法。该方法对获取的灾区受灾前后的多源遥感图像进行预对齐校正、协同超分后,利用获得的同分辨率图像进行目标特征变化检测,根据提取的目标差异变化特征和目标边界检测建筑物在自然灾害中损坏的程度以及影响的区域面积,评估自然灾害的危害等级以及带来的经济损失。本发明通过利用多源遥感图像,解决了不同遥感设备带来的差异信息,增加遥感图像的细节特征,使得检测模型可以从大尺度的遥感图像中检测出已损坏建筑物,通过分析灾区建筑物的损坏数量及区域范围,评估自然灾害危害等级以及造成的经济损失,可以整体直观看到灾区受自然灾害影响的区域分布。
Description
技术领域
本发明属于深度学习和遥感交叉技术领域,具体涉及一种利用遥感图像评估自然灾害中建筑物损坏程度的方法。
背景技术
全球地震、泥石流等自然灾害频繁发生。根据全球灾害数据平台显示,2021年全球共发生791次地震、洪涝等自然灾害。我国自然灾害形势复杂严峻,极端天气气候事件多发,自然灾害以洪涝、地震、地质灾害和雪灾为主,沙尘暴、森林草原火灾和海洋灾害等也有不同程度发生。2021年全年各种自然灾害共造成1.07亿人次受灾,因灾死亡失踪867人,倒塌房屋16.2万间,不同程度损坏198.1万间,农作物受灾面积11739千公顷,直接经济损失3340.2亿元。自然灾害发生时若不能及时救援,造成生命及财产损失将不可估计。因此需要快速识别受损的建筑物来定位受灾区域,进而制定精准的救援计划。
由于我国国土面积广阔、地形复杂和多山多林等因素,对于灾区已损坏建筑物的检测任务提出了苛刻的要求。基于遥感图像的大尺度范围灾害检测是一个热门的研究方向,深度学习技术在该领域发挥着重要的作用。其突破点在于大尺度下的小目标检测技术、模型实时技术、弱差异特征的目标检测技术。目前建筑物损毁检测评估主要是基于卫星或航空遥感影像,在大尺度上分析具有一定的优势。A.Zhang等(2017)基于卫星遥感图像给建筑物标记,为训练集标签和测试集标签设计了单独策略,并训练了带有分类标签的弱监督检测模型和带有少量像素级标签的半监督方法。M.Aamir等(2019)提出了一种从低对比度卫星图像中检测建筑物的方法,先利用基于离散小波变换(DWT)的奇异值分解(SVD)优化图像对比度来表示目标信息,最后检测建筑物的完整轮廓。Gonzalez-Drigo等(2019)收集了2011年5月11日洛尔卡地震(西班牙穆尔西亚)中严重受损的建筑物数据,通过经验和数值方法分析了建筑物的损坏程度。S.Fujita等(2021)研究开发了屋顶受损建筑物的估计系统,基于航空照片图像使用深度学习技术获得灾区损坏的概况。为了提供快速估计,该系统利用了修剪算法,并使用GIS上建筑物多边形的位置信息自动生成屋顶图像数据。Q.Li等(2021)以2008年5月12日发生在中国汶川的地震为例,提出了一种基于同震变形的建筑物破坏程度评估方法,收集了51个建筑样本,并对地震破坏调查数据进行了分析。
已有研究对自然灾害检测和灾区建筑物识别做出了不同的贡献,但是对于复杂地形的灾区检测仍然面临很大的挑战:1)遥感图像中建筑物目标小且分辨率低,直接识别建筑物是否损坏是极为困难的;2)如何利用灾前遥感图像对齐灾后遥感图像,准确计算损坏建筑的变化特征信息也十分困难。综上,研究出一种在利用高分遥感数据的前提下,能大范围且准确的对灾区已破环建筑物进行检测评估的技术方案,是本领域技术人员亟需解决的问题。
发明内容
针对现有技术不足,本发明提供一种利用遥感图像评估自然灾害中建筑物损坏程度的方法。通过对受灾区域前后遥感图像数据的分析,首先矫正灾区前后数据中目标特征非对齐问题,再进行特征差异计算以增强损坏建筑物的目标特征,最后利用目标边界约束使模型更加精确地检测出损坏的建筑物。
为了达到上述目的,本发明提供的技术方案是一种利用遥感图像评估自然灾害中建筑物损坏程度的方法,包括以下步骤:
步骤1,获取灾区受灾前后的高分多源遥感图像;
步骤2,对获取的多源遥感图像进行预对齐校正,降低不同遥感设备获取图像的空间位置差异和畸变;
步骤3,对步骤2预对齐校正后的不同分辨率的多源遥感图像进行协同超分,使得不同遥感设备获得的图像可以达到同一水平的分辨率;
步骤4,利用步骤3获得的同分辨率图像进行目标特征变化检测,提取同一目标不同时间在大尺度场景中微弱特征的差异变化;
步骤5,根据步骤4提取的目标差异变化特征,利用目标边界约束检测建筑物在自然灾害中损坏的程度以及影响的区域面积;
步骤6,利用步骤5中检测到的已损坏建筑物目标信息,评估自然灾害的危害等级以及带来的经济损失。
而且,所述步骤1中获取的高分多源遥感图像包括不同波段的卫星遥感图像、航天遥感图像、无人机遥感图像,图像的空间分辨率需小于n1 m/pix,图像分辨率在n2pix×n2pix~n3pix×n3pix,图像的噪音含量不大于n4%,n1-n4为设定的阈值。
而且,所述步骤2中首先使用特征点提取算子计算整个图像中的关键特征点,然后对灾前、灾后图像的公共区域进行特征匹配,且匹配成功之后公共区域的几何特征差异不能高于n5%,即MR≤n5%,n5为设定的阈值,灾区受灾前后遥感图像对齐的匹配指数MR计算方式如下:
式中,MR表示灾区受灾前后图像预对齐的匹配指数,f(·)表示对图像过滤背景差异以及光照、季节变化带来的非灾害差异,Ipre、Ipost表示未进行预对齐校正的灾前、灾后遥感图像,I′pre、I′post表示预对齐校正后的灾前、灾后遥感图像。
而且,所述步骤3中利用协同超分对多源图像的差异信息进行综合分析,并预测图像高分辨率情况下的纹理信息,使得多源图像的分辨率均达到最高分辨率水平,即:
c=Downsmaple(I′i)/Ii-1,c→0 (3)
式中,I′i表示超分后的遥感图像,S表示超分操作,Ii表示未做超分的遥感图像,Ui表示多源图像的信息集合,I~i表示超分后的遥感图像与其他源图像的信息差异,源图像通过对高分辨率图像进行下采样处理得到,N表示有N个源图像,Downsmaple(·)表示下采样处理,c表示图像超分的约束,即表示不能破环原始图像的信息,当c趋向0时表示超分图像保留原始图像的信息越多。
而且,所述步骤4中将经过预对齐、协同超分的灾前图像表示为X,经过预对齐、协调超分的灾后图像表示为Y,使用一个受参数W控制的转换矩阵T进行图形矫正使其对齐;引入转换矩阵T的正太分布标准化函数矫正图像的微小差异,即:
X′=1/(1-exp(-Cov3×3((TXT-1-μ)/b))) (4)
Y′=1/(1-exp(-Cov3×3((TYT-1-μ)/b))) (5)
T=f(W) (6)
W=D((B(X)-B(Y)),(B(Xdown)+B(Ydown))>1) (7)
式中,X′、Y′分别表示偏差矫正后的灾前图像、灾后图像;exp(·)表示以自然常数e为底的指数函数;cov3×3(·)表示使用3×3卷积核的卷积操作;T-1表示对T求逆;μ、b分别为偏移和缩放的自适应参数;T是受图像非对齐因子W控制的转换矩阵,通过结构相似函数构造的损失度量进行训练,其大小与图像特征大小一致;f(·)为卷积核5×5的滤波器,用于过滤W中的异常值;B(·)表示特征的二值化;Xdown、Ydown表示X、Y的下采样特征,下采样能够使图像非对齐差异减小;B(X)-B(Y)表示X与Y的非对齐特征;(B(Xdown)+B(Ydown))>1表示X、Y下采样特征相加大于1的值;D(A,B)表示A中特征点与B中离其最近的特征点的欧式距离。
先利用转换矩阵T得到X′、Y′,再使用结构相似函数评估X′与Y′的相似性,若相似性小于n6%,则视为未对齐,再次执行公式(4)-(7),直到对齐误差小于n7%,实现精确对齐,n6和n7为设定的阈值。对受灾前后图像进行精确对齐后,再进行灾前、灾后图像的特征差异计算,得到图像的变化信息,特征差异包括灾前灾后图像特征的差异,灾前图像与灾前、灾后图像融合特征的差异,灾后图像与灾前、灾后图像融合特征的差异三部分,三种差异汇聚成受灾前后图像特征的整体特征差异。
特征差异计算具体流程为:①计算灾前图像和灾后图像的融合特征:R0=Cat(X,Y),其中Cat(X,Y)表示将X和Y拼接在一起;②对灾前、灾后图像的融合特征进行通道降维处理:R1=Cov1×1(R0),其中Cov1×1(·)表示使用1×1卷积核的卷积操作;③计算灾前、灾后图像的差异特征:D1=1/(1+eX-Y);④计算R1与灾后图像的差异:⑤计算R1与灾前图像的差异:/>⑥将灾后图像与求得的差异特征进行融合:M′=Cat(D1,D2,D3,Y),其中Cat(D1,D2,D3,Y)表示将D1、D2、D3和Y拼接在一起;⑦对融合后的差异特征进行通道降维:M=Cov1×1(M′),其中Cov1×1(·)表示使用1×1卷积核的卷积操作。
而且,所述步骤5中将浅层的边界特征引入到深层特征,为位置和类别预测提供边界约束的作用,基于目标边界约束的位置框检测方法是先预测目标的像素级边界区域,再根据边界约束来预测建筑物目标位置及损坏类型,其数学形式表示为:
E′=Cov3×3(R0) (8)
E=Cat(Cov3×3(M×w>a(E′)),Cov3×3(M×(1-w<a(E′)))) (9)
式中,E′表示边界特征;cov3×3(·)表示使用3×3卷积核的卷积操作;R0表示灾前图像和灾后图像的融合特征;Cat(X,Y)表示将X和Y拼接在一起;M表示对差异信息进行融合得到的特征;w(·)是一个阈值函数,表示从E′提取大于或小于阈值a的边界特征;E表示目标融合边界信息的特征。
使用深度学习模型预测建筑物损坏类型,分为未损坏、微损坏、中等损坏、严重损坏四个等级,根据预测的损坏建筑物数量和面积估计受自然灾害影响的区域面积。
与现有技术相比,本发明具有如下优点:
1)灾区地形复杂多变,通过利用多源遥感图像,解决不同遥感设备带来的差异信息,增加遥感图像的细节特征,使得检测模型可以从大尺度的遥感图像中检测出已损坏建筑物。
2)从灾区遥感图像中挖掘因受到不同自然灾害影响的已损坏建筑物的特征变化信息,可以快速定位损坏建筑物目标的位置以及评估损坏程度。
3)通过分析灾区建筑物的损坏数量及区域范围,评估自然灾害危害等级以及造成的经济损失,可以整体直观看到灾区的受自然灾害影响的区域分布。
附图说明
图1为本发明实施例的流程图。
具体实施方式
本发明提供一种利用遥感图像评估自然灾害中建筑物损坏程度的方法,下面结合附图和实施例对本发明的技术方案作进一步说明。
如图1所示,本发明提供一种利用遥感图像评估自然灾害中建筑物损坏程度的方法,包括以下步骤:
步骤1,获取灾区受灾前后的高分多源遥感图像。
获取的高分多源遥感图像包括不同波段的卫星遥感图像、航天遥感图像、无人机遥感图像,图像的空间分辨率需小于10m/pix,图像分辨率在1000pix×1000pix~2000pix×2000pix,图像的噪音含量不大于10%。
步骤2,对获取的多源遥感图像进行预对齐校正,降低不同遥感设备获取图像的空间位置差异和畸变。
由于灾区受灾前后图像中的建筑物呈现不同特征,如建筑物倒塌、覆盖等造成待匹配的图像存在明显的特征区别,可能会影响图像匹配中关键特征点的提取,因此在图像变化检测之前先进行预对齐校正,即使用特征点提取算子计算整个图像中的关键特征点,然后对灾前、灾后图像的公共区域进行特征匹配,且匹配成功之后公共区域的几何特征差异不能高于30%(即MR≤30%)。灾区受灾前后遥感图像对齐的匹配指数MR计算方式如下:
式中,MR表示灾区受灾前后图像预对齐的匹配指数,f(·)表示对图像过滤背景差异以及光照、季节变化带来的非灾害差异,Ipre、Ipost表示未进行预对齐校正的灾前、灾后遥感图像,I′pre、I′post表示预对齐校正后的灾前、灾后遥感图像。
步骤3,对步骤2预对齐校正后的不同分辨率的多源遥感图像进行协同超分,使得不同遥感设备获得的图像可以达到同一水平的分辨率。
由于多源图像的分辨率存在较大的差异,且不同设备捕获的图像信息各不相同,尤其是纹理等细节信息在异源图像上呈现出较大差异。协同超分利用多源图像的差异信息进行综合分析,并预测图像高分辨率情况下的纹理信息,使得多源图像的分辨率均达到最高分辨率水平,即:
c=Downsmaple(I′i)/Ii-1,c→0 (3)
式中,I′i表示超分后的遥感图像,S表示超分操作,Ii表示未做超分的遥感图像,Ui表示多源图像的信息集合,表示超分后的遥感图像与其他源图像的信息差异,源图像通过对高分辨率图像进行下采样处理得到,N表示有N个源图像,Downsmaple(·)表示下采样处理,c表示图像超分的约束,即表示不能破环原始图像的信息,当c趋向0时表示超分图像保留原始图像的信息越多。
协同超分不会破坏低分辨率图像的结构信息,也不会改变原始图像的信息内容,即不会添加或减少图像的目标或者目标属性。
步骤4,利用步骤3获得的同分辨率图像进行目标特征变化检测,提取同一目标不同时间在大尺度场景中微弱特征的差异变化。
由于预对齐之后灾前图像和灾后图像还存在微小偏差,如相机参数不同造成的图像目标畸变,导致目标大小形状出现不对齐的情况,因此利用步骤3获得的同分辨率预对齐的图像,使用转换矩阵进行微调对齐,以实现灾前影像和灾后影像的精准对齐。
将经过预对齐、协调超分的灾前图像表示为X,经过预对齐、协调超分的灾后图像表示为Y,使用一个受参数W控制的转换矩阵T进行图形矫正使其对齐。引入转换矩阵T的正太分布标准化函数矫正图像的微小差异,即:
X′=1/(1-exp(-Cov3×3((TXT-1-μ)/b))) (4)
Y′=1/(1-exp(-Cov3×3((TYT-1-μ)/b))) (5)
T=f(W) (6)
W=D((B(X)-B(Y)),(B(Xdown)+B(Ydown))>1) (7)
式中,X′、Y′分别表示偏差矫正后的灾前图像、灾后图像;exp(·)表示以自然常数e为底的指数函数;cov3×3(·)表示使用3×3卷积核的卷积操作;T-1表示对T求逆;μ、b分别为偏移和缩放的自适应参数;T是受图像非对齐因子W控制的转换矩阵,通过结构相似函数构造的损失度量进行训练,其大小与图像特征大小一致;f(·)为卷积核5×5的滤波器,用于过滤W中的异常值;B(·)表示特征的二值化;Xdown、Ydown表示X、Y的下采样特征,下采样能够使图像非对齐差异减小;B(X)-B(Y)表示X与Y的非对齐特征;(B(Xdown)+B(Ydown))>1表示X、Y下采样特征相加大于1的值;D(A,B)表示A中特征点与B中离其最近的特征点的欧式距离。
先利用转换矩阵T得到X′、Y′,再使用结构相似函数评估X′与Y′的相似性,若相似性小于90%,则视为未对齐,再次执行公式(4)-(7),直到对齐误差小于10%,实现精确对齐。对受灾前后图像进行精确对齐后,再进行灾前、灾后图像的特征差异计算,得到图像的变化信息。特征差异包括灾前灾后图像特征的差异,灾前图像与灾前、灾后图像融合特征的差异,灾后图像与灾前、灾后图像融合特征的差异三部分,三种差异汇聚成受灾前后图像特征的整体特征差异。特征差异计算具体流程为:①计算灾前图像和灾后图像的融合特征:R0=Cat(X,Y),其中Cat(X,Y)表示将X和Y拼接在一起;②对灾前、灾后图像的融合特征进行通道降维处理:R1=Cov1×1(R0),其中Cov1×1(·)表示使用1×1卷积核的卷积操作;③计算灾前、灾后图像的差异特征:D1=1/(1+eX-Y);④计算R1与灾后图像的差异:⑤计算R1与灾前图像的差异:/>⑥将灾后图像与求得的差异特征进行融合:M′=Cat(D1,D2,D3,Y),其中Cat(D1,D2,D3,Y)表示将D1、D2、D3和Y拼接在一起;⑦对融合后的差异特征进行通道降维:M=Cov1×1(M′),其中Cov1×1(·)表示使用1×1卷积核的卷积操作。
步骤5,根据步骤4提取的目标差异变化特征,利用目标边界约束检测建筑物在自然灾害中损坏的程度以及影响的区域面积。
深度学习模型根据建筑物目标与锚框偏移的预测信息计算预测建筑物目标位置,其提取的图像特征中边界特征在浅层次体现,深层次边界特征被抽象特征代替。由于大尺度图像上目标特征尺度小,经过深度网络进行特征提取后,相邻的目标特征会出现干扰,进而影响建筑物目标位置检测。本发明将浅层的边界特征引入到深层特征,为位置和类别预测提供边界约束的作用。基于目标边界约束的位置框检测方法是先预测目标的像素级边界区域,再根据边界约束来预测建筑物目标位置及损坏类型,其数学形式表示为:
E′=Cov3×3(R0) (8)
E=Cat(Cov3×3(M×w>a(E′)),Cov3×3(M×(1-w<a(E′)))) (9)
式中,E′表示边界特征;cov3×3(·)表示使用3×3卷积核的卷积操作;R0表示灾前图像和灾后图像的融合特征;Cat(X,Y)表示将X和Y拼接在一起;M表示对差异信息进行融合得到的特征;w(·)是一个阈值函数,表示从E′提取大于或小于阈值a的边界特征;E表示目标融合边界信息的特征。
使用深度学习模型预测建筑物损坏类型,分为未损坏、微损坏、中等损坏、严重损坏四个等级,根据预测的损坏建筑物数量和面积估计受自然灾害影响的区域面积。
步骤6,利用步骤5中检测到的已损坏建筑物目标信息,评估自然灾害的危害等级以及带来的经济损失。
在自然灾害中,建筑物的损坏可以间接地表明自然灾害带来的危害,根据建筑物损坏的类型及区域面积来评估自然灾害的危害等级和经济损失。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施案例,做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (8)
1.一种利用遥感图像评估自然灾害中建筑物损坏程度的方法,其特征在于,包括以下步骤:
步骤1,获取灾区受灾前后的高分多源遥感图像;
步骤2,对获取的多源遥感图像进行预对齐校正,降低不同遥感设备获取图像的空间位置差异和畸变;
步骤3,对步骤2预对齐校正后的不同分辨率的多源遥感图像进行协同超分,使得不同遥感设备获得的图像可以达到同一水平的分辨率;
步骤4,利用步骤3获得的同分辨率图像进行目标特征变化检测,提取同一目标不同时间在大尺度场景中微弱特征的差异变化;
步骤5,根据步骤4提取的目标差异变化特征,利用目标边界约束检测建筑物在自然灾害中损坏的程度以及影响的区域面积;
步骤6,利用步骤5中检测到的已损坏建筑物目标信息,评估自然灾害的危害等级以及带来的经济损失。
2.如权利要求1所述的一种利用遥感图像评估自然灾害中建筑物损坏程度的方法,其特征在于:步骤1中获取的高分多源遥感图像包括不同波段的卫星遥感图像、航天遥感图像、无人机遥感图像,图像的空间分辨率需小于n1 m/pix,图像分辨率在n2pix×n2pix~n3pix×n3pix,图像的噪音含量不大于n4%,n1-n4为设定的阈值。
3.如权利要求1所述的一种利用遥感图像评估自然灾害中建筑物损坏程度的方法,其特征在于:步骤2中首先使用特征点提取算子计算整个图像中的关键特征点,然后对灾前、灾后图像的公共区域进行特征匹配,且匹配成功之后公共区域的几何特征差异不能高于n5%,即MR≤n5%,n5为设定的阈值,灾区受灾前后遥感图像对齐的匹配指数MR计算方式如下:
式中,MR表示灾区受灾前后图像预对齐的匹配指数,f(·)表示对图像过滤背景差异以及光照、季节变化带来的非灾害差异,Ipre、Ipost表示未进行预对齐校正的灾前、灾后遥感图像,I′pre、I′post表示预对齐校正后的灾前、灾后遥感图像。
4.如权利要求1所述的一种利用遥感图像评估自然灾害中建筑物损坏程度的方法,其特征在于:步骤3中利用协同超分对多源图像的差异信息进行综合分析,并预测图像高分辨率情况下的纹理信息,使得多源图像的分辨率均达到最高分辨率水平,即:
c=Downsmaple(I′i)/Ii-1,c→0 (3)
式中,I′i表示超分后的遥感图像,S表示超分操作,Ii表示未做超分的遥感图像,Ui表示多源图像的信息集合,表示超分后的遥感图像与其他源图像的信息差异,源图像通过对高分辨率图像进行下采样处理得到,N表示有N个源图像,Downsmaple(·)表示下采样处理,c表示图像超分的约束,即表示不能破环原始图像的信息,当c趋向0时表示超分图像保留原始图像的信息越多。
5.如权利要求1所述的一种利用遥感图像评估自然灾害中建筑物损坏程度的方法,其特征在于:步骤4中将经过预对齐、协调超分的灾前图像表示为X,经过预对齐、协调超分的灾后图像表示为Y,使用一个受参数W控制的转换矩阵T进行图形矫正使其对齐;引入转换矩阵T的正太分布标准化函数矫正图像的微小差异,即:
X′=1/(1-exp(-Cov3×3((TXT-1-μ)/b))) (4)
Y′=1/(1-exp(-Cov3×3((TYT-1-μ)/b))) (5)
T=f(W) (6)
W=D((B(X)-B(Y)),(B(Xdown)+B(Ydown))>1) (7)
式中,X′、Y′分别表示偏差矫正后的灾前图像、灾后图像;exp(·)表示以自然常数e为底的指数函数;cov3×3(·)表示使用3×3卷积核的卷积操作;T-1表示对T求逆;μ、b分别为偏移和缩放的自适应参数;T是受图像非对齐因子W控制的转换矩阵,通过结构相似函数构造的损失度量进行训练,其大小与图像特征大小一致;f(·)为卷积核5×5的滤波器,用于过滤W中的异常值;B(·)表示特征的二值化;Xdown、Ydown表示X、Y的下采样特征,下采样能够使图像非对齐差异减小;B(X)-B(Y)表示X与Y的非对齐特征;(B(Xdown)+B(Ydown))>1表示X、Y下采样特征相加大于1的值;D(A,B)表示A中特征点与B中离其最近的特征点的欧式距离;
先利用转换矩阵T得到X′、Y′,再使用结构相似函数评估X′与Y′的相似性,若相似性小于n6%,则视为未对齐,再次执行公式(4)-(7),直到对齐误差小于n7%,实现精确对齐,n6和n7为设定的阈值。
6.如权利要求5所述的一种利用遥感图像评估自然灾害中建筑物损坏程度的方法,其特征在于:步骤4中对受灾前后图像进行精确对齐后,再进行灾前、灾后图像的特征差异计算,得到图像的变化信息,特征差异包括灾前灾后图像特征的差异,灾前图像与灾前、灾后图像融合特征的差异,灾后图像与灾前、灾后图像融合特征的差异三部分,三种差异汇聚成受灾前后图像特征的整体特征差异。
7.如权利要求6所述的一种利用遥感图像评估自然灾害中建筑物损坏程度的方法,其特征在于:步骤4中特征差异计算具体流程为:①计算灾前图像和灾后图像的融合特征:R0=Cat(X,Y),其中Cat(X,Y)表示将X和Y拼接在一起;②对灾前、灾后图像的融合特征进行通道降维处理:R1=Cov1×1(R0),其中Cov1×1(·)表示使用1×1卷积核的卷积操作;③计算灾前、灾后图像的差异特征:D1=1/(1+eX-Y);④计算R1与灾后图像的差异:⑤计算R1与灾前图像的差异:/>⑥将灾后图像与求得的差异特征进行融合:M′=Cat(D1,D2,D3,Y),其中Cat(D1,D2,D3,Y)表示将D1、D2、D3和Y拼接在一起;⑦对融合后的差异特征进行通道降维:M=Cov1×1(M′),其中Cov1×1(·)表示使用1×1卷积核的卷积操作。
8.如权利要求1所述的一种利用遥感图像评估自然灾害中建筑物损坏程度的方法,其特征在于:步骤5中将浅层的边界特征引入到深层特征,为位置和类别预测提供边界约束的作用,基于目标边界约束的位置框检测方法是先预测目标的像素级边界区域,再根据边界约束来预测建筑物目标位置及损坏类型,其数学形式表示为:
E′=Cov3×3(R0) (8)
E=Cat(Cov3×3(M×w>a(E′)),Cov3×3(M×(1-w<a(E′)))) (9)
式中,E′表示边界特征;cov3×3(·)表示使用3×3卷积核的卷积操作;R0表示灾前图像和灾后图像的融合特征;Cat(X,Y)表示将X和Y拼接在一起;M表示对差异信息进行融合得到的特征;w(·)是一个阈值函数,表示从E′提取大于或小于阈值a的边界特征;E表示目标融合边界信息的特征;
使用深度学习模型预测建筑物损坏类型,分为未损坏、微损坏、中等损坏、严重损坏四个等级,根据预测的损坏建筑物数量和面积估计受自然灾害影响的区域面积。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310427629.3A CN116645616A (zh) | 2023-04-20 | 2023-04-20 | 一种利用遥感图像评估自然灾害中建筑物损坏程度的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310427629.3A CN116645616A (zh) | 2023-04-20 | 2023-04-20 | 一种利用遥感图像评估自然灾害中建筑物损坏程度的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116645616A true CN116645616A (zh) | 2023-08-25 |
Family
ID=87638872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310427629.3A Pending CN116645616A (zh) | 2023-04-20 | 2023-04-20 | 一种利用遥感图像评估自然灾害中建筑物损坏程度的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116645616A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117315303A (zh) * | 2023-11-28 | 2023-12-29 | 深圳市联嘉祥科技股份有限公司 | 基于图像特征匹配的电缆旧损程度分析方法、装置及设备 |
CN117455903A (zh) * | 2023-12-18 | 2024-01-26 | 深圳市焕想科技有限公司 | 一种基于图像处理技术的体育器械状态评估方法 |
CN117876362A (zh) * | 2024-03-11 | 2024-04-12 | 国任财产保险股份有限公司 | 一种基于深度学习的自然灾害损失评估方法及装置 |
-
2023
- 2023-04-20 CN CN202310427629.3A patent/CN116645616A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117315303A (zh) * | 2023-11-28 | 2023-12-29 | 深圳市联嘉祥科技股份有限公司 | 基于图像特征匹配的电缆旧损程度分析方法、装置及设备 |
CN117315303B (zh) * | 2023-11-28 | 2024-03-22 | 深圳市联嘉祥科技股份有限公司 | 基于图像特征匹配的电缆旧损程度分析方法、装置及设备 |
CN117455903A (zh) * | 2023-12-18 | 2024-01-26 | 深圳市焕想科技有限公司 | 一种基于图像处理技术的体育器械状态评估方法 |
CN117876362A (zh) * | 2024-03-11 | 2024-04-12 | 国任财产保险股份有限公司 | 一种基于深度学习的自然灾害损失评估方法及装置 |
CN117876362B (zh) * | 2024-03-11 | 2024-05-28 | 国任财产保险股份有限公司 | 一种基于深度学习的自然灾害损失评估方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10885381B2 (en) | Ship detection method and system based on multidimensional scene features | |
US10706285B2 (en) | Automatic ship tracking method and system based on deep learning network and mean shift | |
CN110232380B (zh) | 基于Mask R-CNN神经网络的火灾夜间场景复原方法 | |
Iqbal et al. | How computer vision can facilitate flood management: A systematic review | |
CN116645616A (zh) | 一种利用遥感图像评估自然灾害中建筑物损坏程度的方法 | |
CN105184779B (zh) | 一种基于快速特征金字塔的车辆多尺度跟踪方法 | |
CN101800890A (zh) | 一种高速公路监控场景下多车辆视频跟踪方法 | |
Xia et al. | PANDA: Parallel asymmetric network with double attention for cloud and its shadow detection | |
CN109635726B (zh) | 一种基于对称式深度网络结合多尺度池化的滑坡识别方法 | |
CN111524117A (zh) | 一种基于特征金字塔网络的隧道表面缺陷检测方法 | |
CN113610070A (zh) | 一种基于多源数据融合的滑坡灾害识别方法 | |
CN115497015A (zh) | 一种基于卷积神经网络的河流漂浮污染物识别方法 | |
CN111582069B (zh) | 一种空基监视平台的轨道障碍物零样本分类方法及装置 | |
CN117726958B (zh) | 配电线路无人机巡检图像目标检测及隐患智能识别方法 | |
CN116844147A (zh) | 一种基于深度学习的指针式仪表识别和异常警报方法 | |
CN114881381A (zh) | 基于改进卷积神经网络的城市积水水位预测方法及系统 | |
CN115661932A (zh) | 一种垂钓行为检测方法 | |
CN113469097B (zh) | 一种基于ssd网络的水面漂浮物多相机实时检测方法 | |
Katrojwar et al. | Design of Image based Analysis and Classification using Unmanned Aerial Vehicle | |
CN114067245A (zh) | 一种铁路外部环境隐患识别方法及系统 | |
CN117152617A (zh) | 一种城市洪涝识别方法及系统 | |
Li et al. | Automatic pavement crack detection based on single stage salient-instance segmentation and concatenated feature pyramid network | |
CN110942026A (zh) | 基于深度学习的胶囊机器人排水管病害检测方法及系统 | |
Qi et al. | JAED-Net: joint attention encoder–decoder network for road extraction from remote sensing images | |
CN112991425B (zh) | 一种水域水位提取方法、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |