CN113807198A - 道路网变化检测方法、模型训练方法、装置、设备及介质 - Google Patents
道路网变化检测方法、模型训练方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113807198A CN113807198A CN202110976872.1A CN202110976872A CN113807198A CN 113807198 A CN113807198 A CN 113807198A CN 202110976872 A CN202110976872 A CN 202110976872A CN 113807198 A CN113807198 A CN 113807198A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- image
- time
- phase remote
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 title claims abstract description 93
- 238000001514 detection method Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 title claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 80
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 31
- 230000011218 segmentation Effects 0.000 claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 238000010606 normalization Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009440 infrastructure construction Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种道路网变化检测方法，包括以下步骤：获取待检测的两个时相遥感图像，将所述时相遥感图像分割为多个预设大小的图像块，分别得到对应的时相遥感分割图。将两个所述时相遥感分割图输入第一卷积神经网络中，输出对应的第一特征图。将两个所述第一特征图输入第二卷积神经网络中，输出所述时相遥感图像对应的第二特征图。将每个所述时相遥感图像对应的第一特征图和第二特征图进行特征融合，获取对应的融合特征图。根据融合特征识别每个图像块是否发生变化。还提供一种道路网变化检测模型的训练方法、道路网变化检测装置及电子设备。本发明的道路网变化检测方法、模型的训练方法、装置及电子设备，能够提高道路网检测的效率及精准度。
Description
技术领域
本发明涉及道路网信息技术领域，特别是涉及一种道路网变化检测方法、模型训练方法、装置、设备及介质。
背景技术
随着经济的迅速发展，基础设施建设也得到了飞速发展，截至到2018年，我国高速公路里程已达13.6万公里，位列世界第一。道路网络的及时更新对于交通导航、自然资源保护与监测都具有非常重要的意义。目前道路网络的施工建设监测主要依靠人工解译高分辨率遥感影像，结合实地调查的方式，对于山区等困难地区需要耗费大量的人力和物力，其准确率及效率都非常低下。
对于道路变化检测，传统方法大多针对特定场景进行设计，如城市郊区道路网、平原地区道路网，对于城区、山区容易出现遮挡、大小差异较大的道路网，则难以自动处理，其精度也无法满足实际工程需求。我国幅员辽阔，地貌类型差异极大，如西北的山区道路与南方山区道路网，无论是光谱信息、几何特征信息，两者均有较大的差异，因此传统的道路网变化检测方法普适性较低，迫切需要一种高精度、泛化能力更强的道路网变化检测方法，在保持工程要求精度的同时，提高道路变化检测自动化的效率。
发明内容
本发明的目的在于克服现有技术中存在的不足，并提供一种道路网变化检测方法、模型训练方法、装置、设备及介质，以提高道路网检测的效率及精准度，为交通及车辆导航等相关领域提供技术支持。
为实现上述目的，本发明采用的技术方案为：
一种道路网变化检测方法，包括以下步骤：
获取待检测的两个时相遥感图像，将所述时相遥感图像分割为多个预设大小的图像块，分别得到对应的时相遥感分割图；
将两个所述时相遥感分割图输入第一卷积神经网络中，对所述时相遥感分割图中每个图像块进行特征提取，输出所述时相遥感图像对应的第一特征图；
将两个所述第一特征图输入第二卷积神经网络中，对所述第一特征图中每个图像块进行上下文特征提取，输出所述时相遥感图像对应的第二特征图；
将每个所述时相遥感图像对应的第一特征图和第二特征图进行特征融合，获取所述时相遥感图像对应的融合特征图，其中，所述融合特征图包括每个所述图像块的融合特征；
根据两个所述融合特征图中相同图像块的融合特征识别两个所述时相遥感图像中每个图像块所在区域是否发生变化。
对上述技术方案的进一步改进是：
所述第一卷积神经网络包括维度依次降低的多个特征提取层。
所述第二卷积神经网络包括位于第一分支的卷积核大小为3x3且膨胀系数为1的卷积层、批量归一化层及修正线性激活层；位于第二分支的卷积核大小为3x3且膨胀系数为3的卷积层、批量归一化层及修正线性激活层；位于第三分支的卷积核大小为3x3且膨胀系数为6的卷积层、批量归一化层及修正线性激活层；位于第四分支的卷积核大小为3x3且膨胀系数为9的卷积层、批量归一化层及修正线性激活层；位于第五分支的平均池化层、卷积核大小为1x1且膨胀系数为9的卷积层以及批量归一化层；分别将第一分支至第五分支的输出在通道维度上进行拼接的拼接层以及将第一分支至第五分支的输出在通道维度上进行重组的通道混合层。
所述将每个所述时相遥感图像对应的第一特征图和第二特征图进行特征融合，获取所述时相遥感图像对应的融合特征图，包括：
对所述第二特征图进行升维处理，得到第二特征高维图；
获取所述第一卷积神经网络中与所述第二特征高维图维度相同的特征提取层输出的第一特征高维图；
将所述第一特征高维图中每个所述图像块的特征与所述第二特征高维图中对应所述图像块的特征进行叠加，得到对应的低维融合特征图；
对所述低维融合特征图进行升维处理，得到所述融合特征图，其中，所述融合特征图与所述时相遥感图像的维度相同。
本发明还提供一种道路网变化检测模型的训练方法，所述道路网变化检测模型包括第一卷积神经网络、第二卷积神经网络、解码器以及分类器；所述训练方法包括：
获取训练样本，其中，所述训练样本包括不同时间采集的两个时相遥感图像组成的图像对以及道路网变化标签图，所述时相遥感图像和所述道路网变化标签图被分割为多个预设大小的图像块，所述道路网变化标签图中标注有两个所述时相遥感图像中发生变化的区域；
将所述训练样本输入至所述第一卷积神经网络中对所述图像对中每个图像块进行特征提取，输出所述时相遥感图像对应的第一特征图；
将所述图像对的两个所述第一特征图输入第二卷积神经网络中，对所述第一特征图中每个图像块进行上下文特征提取，输出所述时相遥感图像对应的第二特征图；
将每个所述时相遥感图像对应的第一特征图和第二特征图输入至所述解码器中进行特征融合，输出所述时相遥感图像对应的融合特征图，其中，所述融合特征图包括每个所述图像块的融合特征；
将所述图像对的两个所述融合特征图输入至分类器中，输出检测结果，所述检测结果包括所述图像对中每个图像块的分类结果，所述分类结果为发生变化或未发生变化；
根据所述分类结果和所述道路网变化标签图之间的误差调整所述第一卷积神经网络、所述第二卷积神经网络以及所述解码器的参数，直至所述道路网变化检测模型收敛，得到训练好的道路网变化检测模型。
进一步地，所述道路网变化标签图是按照如下步骤获取的：
将图像对中的两个时相遥感图像进行图像配准，得到配准图；
将所述配准图进行数值归一化处理；
对所述图像对中发生变化的区域在所述配准图中进行标注，得到所述道路网变化标签图。
进一步地，所述图像配准包括以下步骤：
选取任意一个所述时相遥感图像作为参考基准影像，另一个时相遥感图像作为待校正影像；
采用SIFT算法自动获取所述两个所述时相遥感图像的特征点，利用一次多项式全局变化模型对所述特征点进行筛选，解算投影变化模型参数估计，得到投影变化参数；
利用所述投影变化参数对所述待校正影像进行几何变化和图像插值。
所述数值归一化处理包括以下步骤：
采用最大最小数值归一化方法，对两个所述时相遥感图像进行数值归一处理。
本发明还提供了一种道路网变化检测装置，包括：
分割模块，用于获取待检测的两个时相遥感图像，将所述时相遥感图像分割为多个预设大小的图像块，分别得到对应的时相遥感分割图；
第一输入模块，用于将两个所述时相遥感分割图输入第一卷积神经网络中，对所述时相遥感分割图中每个图像块进行特征提取，输出所述时相遥感图像对应的第一特征图；
第二输入模块，用于将两个所述第一特征图输入第二卷积神经网络中，对所述第一特征图中每个图像块进行上下文特征提取，输出所述时相遥感图像对应的第二特征图；
融合模块，用于将每个所述时相遥感图像对应的第一特征图和第二特征图进行特征融合，获取所述时相遥感图像对应的融合特征图，其中，所述融合特征图包括每个所述图像块的融合特征；
识别模块，用于根据两个所述融合特征图中相同图像块的融合特征识别两个所述时相遥感图像中每个图像块所在区域是否发生变化。
本发明还提供了一种电子设备，包括处理器以及与所述处理器耦接的存储器，所述存储器存储有可被所述处理器执行的程序指令；所述处理器执行所述存储器存储的所述程序指令时实现上述的道路网变化检测方法。
本发明还提供一种存储介质，所述存储介质内存储有程序指令，所述程序指令被处理器执行时实现上述的道路网变化检测方法。
根据本发明的技术方案可知，本发明的道路网变化检测方法，基于深度语义分割网络及遥感图像，通过获取同一条道路网的不同时间的两个时相遥感图像，并对两个时相遥感图像进行特征提取及特征融合，根据融合特征识别每个图像所在区域是否发生变化。检测时，只需将待测试的道路网遥感图像输入到道路网变化检测模型即可得到道路网变化检测结果，该方法能够对道路网的变化信息进行快速准确的检测。
附图说明
图1为本发明实施例1的道路网变化检测方法的流程示意图。
图2为本发明实施例2的道路网变化检测模型的训练方法的流程示意图。
图3为本发明实施例2的道路网变化检测模型的训练方法的道路网变化检测模型的示意图。
图4为本发明实施例的道路网变化检测方法的第二卷积网络的结构示意图。
图5为本发明实施例3的道路网变化检测装置的结构示意图。
图6为本发明实施例4的电子设备的结构示意图。
图7为本发明实施例5的存储介质的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
图1是本发明第一实施例的道路网变化检测方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。
实施例1：如图1和图2所示，本实施例的道路网变化检测方法，包括以下步骤：
S10、获取同一道路网不同时间的两个时相遥感图像，将所述时相遥感图像分割为多个预设大小的图像块，分别得到对应的时相遥感分割图。
在本实施例中两个时相遥感图像为高分辨率遥感图像，利用高分辨率遥感图像可有效提高道路网变化检测的精度。在本实施例中所述高分辨率的空间分辨率为20米以下，比如20米、10米等。所述预设大小的图像块具体为长和宽相等的图像块，比如本实施例中的512×512像素。
S11、将两个所述时相遥感分割图输入第一卷积神经网络中，对所述时相遥感分割图中每个图像块进行特征提取，输出所述时相遥感图像对应的第一特征图。
其中，所述第一卷积神经网络包括维度依次降低的多个特征提取层。在本实施例中所述特征提取层共有4个，其维度依次降低，输出的特征图大小分别为256×256像素，128×128像素，64×64像素，直到最后输出的第一特征图大小为32×32像素。
S12、将两个所述第一特征图输入第二卷积神经网络中，对所述第一特征图中每个图像块进行上下文特征提取，输出所述时相遥感图像对应的第二特征图。
所述第二卷积神经网络包括位于第一分支的卷积核大小为3x3且膨胀系数为1的卷积层、批量归一化层及修正线性激活层；位于第二分支的卷积核大小为3x3且膨胀系数为3的卷积层、批量归一化层及修正线性激活层；位于第三分支的卷积核大小为3x3且膨胀系数为6的卷积层、批量归一化层及修正线性激活层；位于第四分支的卷积核大小为3x3且膨胀系数为9的卷积层、批量归一化层及修正线性激活层；位于第五分支的平均池化层、卷积核大小为1x1且膨胀系数为9的卷积层以及批量归一化层；分别将第一分支至第五分支的输出在通道维度上进行拼接的拼接层以及将第一分支至第五分支的输出在通道维度上进行重组的通道混合层。其中每个分支的卷积核步长均为1。
S13、将每个所述时相遥感图像对应的第一特征图和第二特征图进行特征融合，获取所述时相遥感图像对应的融合特征图，其中，所述融合特征图包括每个所述图像块的融合特征。
对所述第二特征图进行升维处理，得到第二特征高维图。
获取所述第一卷积神经网络中与所述第二特征高维图维度相同的特征提取层输出的第一特征高维图。
将所述第一特征高维图中每个所述图像块的特征与所述第二特征高维图中对应所述图像块的特征进行叠加，得到对应的低维融合特征图。
对所述低维融合特征图进行升维处理，得到所述融合特征图，其中，所述融合特征图与所述时相遥感图像的维度相同。
在本实施例中，首先通过一个4倍上采样的方式对所述第二特征图进行升维处理首先将第二特征图升维成128x128像素的第二特征高维图，再将该第二特征高维图与第一卷积神经网络特征提取层输出的128x128像素特征图进行叠加，得到对应的128x128像素的低维融合特征图。再对该低维融合特征图进行一个4倍上采样，得到所述融合特征图，此时得到所述融合特征图的像素为512x512，也就是与输入时的大小相等。
S14、根据两个所述融合特征图中相同图像块的融合特征识别两个所述时相遥感图像中每个图像块所在区域是否发生变化。
实施例2：本实施例提供一种道路网变化检测模型的训练方法，所述道路网变化检测模型包括第一卷积神经网络、第二卷积神经网络、解码器以及分类器。
所述训练方法具体包括：
S20、获取训练样本，其中，所述训练样本包括不同时间采集的两个时相遥感图像组成的图像对以及道路网变化标签图，所述时相遥感图像和所述道路网变化标签图被分割为多个预设大小的图像块，所述道路网变化标签图中标注有两个所述时相遥感图像中发生变化的区域。
所述时相遥感图像和所述道路网变化标签图被分割为多个预设大小的图像块具体为：将所述道路网变化标签图和时相遥感图像裁剪成预设的标准大小，使分割后的所述道路网变化标签图和时相遥感图像的长和宽的像素相等。在本实施例中，裁剪后的标准大小为512×512像素。
首先将图像对中的两个时相遥感图像进行图像配准，得到配准图。再将所述配准图进行数值归一化处理。对所述图像对中发生变化的区域在所述配准图中进行标注，得到所述道路网变化标签图。
所述图像配准具体为：选取其中一个时相遥感图像作为参考基准，另一个时相的遥感图像作为待校正影像。
采用SIFT算法自动获取两个时相遥感图像的特征点，利用一次多项式全局变化模型对所述特征点进行筛选，解算投影变化模型参数估计，得到投影变化参数。
利用所述投影变化参数对所述待校正影像进行几何变化和图像插值。
所述数值归一化处理具体为：采用最大最小数值归一化方法，对所述两个时相遥感图像进行数值归一化处理。
所述数值归一化方法的线性函数转换公式如下：
y＝(x-MinValue)/(MaxValue-MinValue)
其中，y为转换后的值，x为转换前的值，MaxValue为样本最大值，MinValue为样本最小值。
S21、将所述训练样本输入至所述第一卷积神经网络中对所述图像对中每个图像块进行特征提取，输出所述时相遥感图像对应的第一特征图。
具体参见实施例1中的步骤S11，在此不再赘述。
本实施例中的第一卷积神经网络采用编码层结构，为了顾及训练效率与精度需求，所述编码层采用Mobilenetv2网络作为主干特征提取网络。本实施例中的卷积层均采用通道可分离卷积，这样目的是减少计算量的同时，保持精度基本不变。
S22、将所述图像对的两个所述第一特征图输入第二卷积神经网络中，对所述第一特征图中每个图像块进行上下文特征提取，输出所述时相遥感图像对应的第二特征图。
根据所述道路网狭长的几何特征，基于Deeplabv3+网络进行改进，建立上下文信息提取层，也就是所述第二卷积神经网络。
S23、将每个所述时相遥感图像对应的第一特征图和第二特征图输入至所述解码器中进行特征融合，输出所述时相遥感图像对应的融合特征图，其中，所述融合特征图包括每个所述图像块的融合特征。
本实施例中的特征融合通过解码器来完成，解码器采用反卷积的形式对第二特征图进行升维操作，具体步骤请参照实施例1的步骤S13，在此不再赘述。
S24、将所述图像对的两个所述融合特征图输入至分类器中，输出检测结果，所述检测结果包括所述图像对中每个图像块的分类结果，所述分类结果为发生变化或未发生变化。
S25、根据所述分类结果和所述道路网变化标签图之间的误差调整所述第一卷积神经网络、所述第二卷积神经网络以及所述解码器的参数，直至所述道路网变化检测模型收敛，得到训练好的道路网变化检测模型。
本实施例通过将大量的分割后的道路网变化标签图和图像对输入语义分割网络中，以得到训练样本，通过GPU等高性能计算硬件，对初始参数进行调整，不断迭代网络模型，直到模型收敛。
按时间的先后顺序，分别获取道路网的第一时相遥感图像和第二时相遥感图像，对所述第一时相遥感图像和第二时相遥感图像进行几何配准和数值归一化处理。
本实施例的解码器采用膨胀卷积的方式来实现，用来获取丰富的上下文信息，膨胀系数分别设计为1,3,6,9四个尺度。平均池化层后接一个1×1卷积，用来减少特征维度，最终的特征组合方式，采用深度叠加的方式，对特征进行融合，通过该上下文信息提取层后，特征将更加丰富，有利于提高道路网变化检测方法的精准性。
本发明的道路网变化检测方法，基于深度语义分割网络，针对城区等复杂道路网场景，建立了上下文信息提取层，利用轻量级网络，以编码-解码结构完成整体网络的架构设计。
在需要对某道路网进行变化检测时，只需获取待测道路网的多个时相的遥感图像，经分块处理后，输入到所述道路网变化检测模型中，经模型自动处理，即可得到该道路网的变化检测结果。整体而言，该框架为端对端架构，无需任何手工特征设计与后续优化步骤，使检测效率得到有效提高。
本发明的道路网变化检测模型针对道路网狭长的几何特征，设计了一种针对性的多尺度的上下文特征提取层，目的是在不同材质、宽度、长度、上下文的道路场景，具备鲁棒性。
实施例3：本实施例提供一种道路网变化检测装置30，包括：
分割模块31，用于获取待检测的两个时相遥感图像，将所述时相遥感图像分割为多个预设大小的图像块，分别得到对应的时相遥感分割图；
第一输入模块32，用于将两个所述时相遥感分割图输入第一卷积神经网络中，对所述时相遥感分割图中每个图像块进行特征提取，输出所述时相遥感图像对应的第一特征图；
第二输入模块33，用于将两个所述第一特征图输入第二卷积神经网络中，对所述第一特征图中每个图像块进行上下文特征提取，输出所述时相遥感图像对应的第二特征图；
融合模块34，用于将每个所述时相遥感图像对应的第一特征图和第二特征图进行特征融合，获取所述时相遥感图像对应的融合特征图，其中，所述融合特征图包括每个所述图像块的融合特征；
识别模块35，用于根据两个所述融合特征图中相同图像块的融合特征识别两个所述时相遥感图像中每个图像块所在区域是否发生变化。
实施例4：本实施例提供一种电子设备40，所述电子设备40包括处理器41以及与所述处理器41耦接的存储器42，所述存储器42存储有可被所述处理器41执行的程序指令；所述处理器41执行所述存储器42存储的所述程序指令时实现上述的道路网变化检测方法。
实施例5：本实施例提供一种存储介质60，所述存储介质60内存储有程序指令61，所述程序指令61被处理器执行时实现上述的道路网变化检测方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围。
以上所述的仅是本发明的实施方式，在此应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出改进，但这些均属于本发明的保护范围。
Claims (10)
1.一种道路网变化检测方法，其特征在于，包括以下步骤：
获取待检测的两个时相遥感图像，将所述时相遥感图像分割为多个预设大小的图像块，分别得到对应的时相遥感分割图；
将两个所述时相遥感分割图输入第一卷积神经网络中，对所述时相遥感分割图中每个图像块进行特征提取，输出所述时相遥感图像对应的第一特征图；
将两个所述第一特征图输入第二卷积神经网络中，对所述第一特征图中每个图像块进行上下文特征提取，输出所述时相遥感图像对应的第二特征图；
将每个所述时相遥感图像对应的第一特征图和第二特征图进行特征融合，获取所述时相遥感图像对应的融合特征图，其中，所述融合特征图包括每个所述图像块的融合特征；
根据两个所述融合特征图中相同图像块的融合特征识别两个所述时相遥感图像中每个图像块所在区域是否发生变化。
2.根据权利要求1所述的道路网变化检测方法，其特征在于：所述第一卷积神经网络包括维度依次降低的多个特征提取层。
3.根据权利要求2所述的道路网变化检测方法，其特征在于：所述第二卷积神经网络包括位于第一分支的卷积核大小为3x3且膨胀系数为1的卷积层、批量归一化层及修正线性激活层；位于第二分支的卷积核大小为3x3且膨胀系数为3的卷积层、批量归一化层及修正线性激活层；位于第三分支的卷积核大小为3x3且膨胀系数为6的卷积层、批量归一化层及修正线性激活层；位于第四分支的卷积核大小为3x3且膨胀系数为9的卷积层、批量归一化层及修正线性激活层；位于第五分支的平均池化层、卷积核大小为1x1且膨胀系数为9的卷积层以及批量归一化层；分别将第一分支至第五分支的输出在通道维度上进行拼接的拼接层以及将第一分支至第五分支的输出在通道维度上进行重组的通道混合层。
4.根据权利要求2或3所述的道路网变化检测方法，其特征在于：所述将每个所述时相遥感图像对应的第一特征图和第二特征图进行特征融合，获取所述时相遥感图像对应的融合特征图，包括：
对所述第二特征图进行升维处理，得到第二特征高维图；
获取所述第一卷积神经网络中与所述第二特征高维图维度相同的特征提取层输出的第一特征高维图；
将所述第一特征高维图中每个所述图像块的特征与所述第二特征高维图中对应所述图像块的特征进行叠加，得到对应的低维融合特征图；
对所述低维融合特征图进行升维处理，得到所述融合特征图，其中，所述融合特征图与所述时相遥感图像的维度相同。
5.一种道路网变化检测模型的训练方法，其特征在于，所述道路网变化检测模型包括第一卷积神经网络、第二卷积神经网络、解码器以及分类器；所述训练方法包括：
获取训练样本，其中，所述训练样本包括不同时间采集的两个时相遥感图像组成的图像对以及道路网变化标签图，所述时相遥感图像和所述道路网变化标签图被分割为多个预设大小的图像块，所述道路网变化标签图中标注有两个所述时相遥感图像中发生变化的区域；
将所述训练样本输入至所述第一卷积神经网络中对所述图像对中每个图像块进行特征提取，输出所述时相遥感图像对应的第一特征图；
将所述图像对的两个所述第一特征图输入第二卷积神经网络中，对所述第一特征图中每个图像块进行上下文特征提取，输出所述时相遥感图像对应的第二特征图；
将每个所述时相遥感图像对应的第一特征图和第二特征图输入至所述解码器中进行特征融合，输出所述时相遥感图像对应的融合特征图，其中，所述融合特征图包括每个所述图像块的融合特征；
将所述图像对的两个所述融合特征图输入至分类器中，输出检测结果，所述检测结果包括所述图像对中每个图像块的分类结果，所述分类结果为发生变化或未发生变化；
根据所述分类结果和所述道路网变化标签图之间的误差调整所述第一卷积神经网络、所述第二卷积神经网络以及所述解码器的参数，直至所述道路网变化检测模型收敛，得到训练好的道路网变化检测模型。
6.根据权利要求5所述的道路网变化检测模型的训练方法，其特征在于：所述道路网变化标签图是按照如下步骤获取的：
将图像对中的两个时相遥感图像进行图像配准，得到配准图；
将所述配准图进行数值归一化处理；
对所述图像对中发生变化的区域在所述配准图中进行标注，得到所述道路网变化标签图。
7.根据权利要求6所述的道路网变化检测模型的训练方法，其特征在于：所述图像配准包括以下步骤：
选取任意一个所述时相遥感图像作为参考基准影像，另一个时相遥感图像作为待校正影像；
采用SIFT算法自动获取所述两个所述时相遥感图像的特征点，利用一次多项式全局变化模型对所述特征点进行筛选，解算投影变化模型参数估计，得到投影变化参数；
利用所述投影变化参数对所述待校正影像进行几何变化和图像插值；
所述数值归一化处理包括以下步骤：
采用最大最小数值归一化方法，对两个所述时相遥感图像进行数值归一处理。
8.一种道路网变化检测装置，其特征在于：包括
分割模块，用于获取待检测的两个时相遥感图像，将所述时相遥感图像分割为多个预设大小的图像块，分别得到对应的时相遥感分割图；
第一输入模块，用于将两个所述时相遥感分割图输入第一卷积神经网络中，对所述时相遥感分割图中每个图像块进行特征提取，输出所述时相遥感图像对应的第一特征图；
第二输入模块，用于将两个所述第一特征图输入第二卷积神经网络中，对所述第一特征图中每个图像块进行上下文特征提取，输出所述时相遥感图像对应的第二特征图；
融合模块，用于将每个所述时相遥感图像对应的第一特征图和第二特征图进行特征融合，获取所述时相遥感图像对应的融合特征图，其中，所述融合特征图包括每个所述图像块的融合特征；
识别模块，用于根据两个所述融合特征图中相同图像块的融合特征识别两个所述时相遥感图像中每个图像块所在区域是否发生变化。
9.一种电子设备，包括处理器以及与所述处理器耦接的存储器，所述存储器存储有可被所述处理器执行的程序指令，其特征在于：所述处理器执行所述存储器存储的所述程序指令时实现权利要求1～7任意一项所述的道路网变化检测方法。
10.一种存储介质，其特征在于：所述存储介质内存储有程序指令，所述程序指令被处理器执行时实现权利要求1～7任意一项所述的道路网变化检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110976872.1A CN113807198B (zh) | 2021-08-24 | 2021-08-24 | 道路网变化检测方法、模型训练方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110976872.1A CN113807198B (zh) | 2021-08-24 | 2021-08-24 | 道路网变化检测方法、模型训练方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113807198A true CN113807198A (zh) | 2021-12-17 |
| CN113807198B CN113807198B (zh) | 2023-08-22 |
Family
ID=78941802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110976872.1A Active CN113807198B (zh) | 2021-08-24 | 2021-08-24 | 道路网变化检测方法、模型训练方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113807198B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116343063A (zh) * | 2023-05-26 | 2023-06-27 | 南京航空航天大学 | 一种路网提取方法、系统、设备及计算机可读存储介质 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160307073A1 (en) * | 2015-04-20 | 2016-10-20 | Los Alamos National Security, Llc | Change detection and change monitoring of natural and man-made features in multispectral and hyperspectral satellite imagery |
| CN109377480A (zh) * | 2018-09-27 | 2019-02-22 | 中国电子科技集团公司第五十四研究所 | 基于深度学习的耕地变化检测方法 |
| CN110490082A (zh) * | 2019-07-23 | 2019-11-22 | 浙江科技学院 | 一种有效融合神经网络特征的道路场景语义分割方法 |
| US20200104719A1 (en) * | 2018-10-02 | 2020-04-02 | InSitu, Inc., a subsidiary of the Boeing Company | Change Detection In Digital Images |
| CN111161218A (zh) * | 2019-12-10 | 2020-05-15 | 核工业北京地质研究院 | 一种基于孪生卷积神经网络的高分遥感影像变化检测方法 |
| CN111259853A (zh) * | 2020-02-04 | 2020-06-09 | 中国科学院计算技术研究所 | 一种高分辨率遥感图像变化检测方法、系统及装置 |
| CN111723732A (zh) * | 2020-06-18 | 2020-09-29 | 西安电子科技大学 | 一种光学遥感图像变化检测方法、存储介质及计算设备 |
| US20200327639A1 (en) * | 2019-04-10 | 2020-10-15 | Eagle Technology, Llc | Hierarchical Neural Network Image Registration |
| CN111860351A (zh) * | 2020-07-23 | 2020-10-30 | 中国石油大学(华东) | 一种基于行列自注意力全卷积神经网络的遥感图像鱼塘提取方法 |
| CN112163449A (zh) * | 2020-08-21 | 2021-01-01 | 同济大学 | 一种轻量化的多分支特征跨层融合图像语义分割方法 |
| US20210019560A1 (en) * | 2019-07-18 | 2021-01-21 | Beijing Sensetime Technology Development Co., Ltd. | Image processing method and device, and storage medium |
| CN112287832A (zh) * | 2020-10-29 | 2021-01-29 | 江苏科博空间信息科技有限公司 | 一种基于高分辨率遥感影像的城镇违法建筑物检测方法 |
| CN112365525A (zh) * | 2020-11-19 | 2021-02-12 | 北京航天泰坦科技股份有限公司 | 高分辨率遥感影像变化检测网络和方法及装置 |
| CN112668494A (zh) * | 2020-12-31 | 2021-04-16 | 西安电子科技大学 | 基于多尺度特征提取的小样本变化检测方法 |
| CN112861690A (zh) * | 2021-02-01 | 2021-05-28 | 武汉汉达瑞科技有限公司 | 多方法融合的遥感影像变化检测方法及系统 |
| WO2021146890A1 (en) * | 2020-01-21 | 2021-07-29 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for object detection in image using detection model |
-
2021
- 2021-08-24 CN CN202110976872.1A patent/CN113807198B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160307073A1 (en) * | 2015-04-20 | 2016-10-20 | Los Alamos National Security, Llc | Change detection and change monitoring of natural and man-made features in multispectral and hyperspectral satellite imagery |
| CN109377480A (zh) * | 2018-09-27 | 2019-02-22 | 中国电子科技集团公司第五十四研究所 | 基于深度学习的耕地变化检测方法 |
| US20200104719A1 (en) * | 2018-10-02 | 2020-04-02 | InSitu, Inc., a subsidiary of the Boeing Company | Change Detection In Digital Images |
| US20200327639A1 (en) * | 2019-04-10 | 2020-10-15 | Eagle Technology, Llc | Hierarchical Neural Network Image Registration |
| US20210019560A1 (en) * | 2019-07-18 | 2021-01-21 | Beijing Sensetime Technology Development Co., Ltd. | Image processing method and device, and storage medium |
| CN110490082A (zh) * | 2019-07-23 | 2019-11-22 | 浙江科技学院 | 一种有效融合神经网络特征的道路场景语义分割方法 |
| CN111161218A (zh) * | 2019-12-10 | 2020-05-15 | 核工业北京地质研究院 | 一种基于孪生卷积神经网络的高分遥感影像变化检测方法 |
| WO2021146890A1 (en) * | 2020-01-21 | 2021-07-29 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for object detection in image using detection model |
| CN111259853A (zh) * | 2020-02-04 | 2020-06-09 | 中国科学院计算技术研究所 | 一种高分辨率遥感图像变化检测方法、系统及装置 |
| CN111723732A (zh) * | 2020-06-18 | 2020-09-29 | 西安电子科技大学 | 一种光学遥感图像变化检测方法、存储介质及计算设备 |
| CN111860351A (zh) * | 2020-07-23 | 2020-10-30 | 中国石油大学(华东) | 一种基于行列自注意力全卷积神经网络的遥感图像鱼塘提取方法 |
| CN112163449A (zh) * | 2020-08-21 | 2021-01-01 | 同济大学 | 一种轻量化的多分支特征跨层融合图像语义分割方法 |
| CN112287832A (zh) * | 2020-10-29 | 2021-01-29 | 江苏科博空间信息科技有限公司 | 一种基于高分辨率遥感影像的城镇违法建筑物检测方法 |
| CN112365525A (zh) * | 2020-11-19 | 2021-02-12 | 北京航天泰坦科技股份有限公司 | 高分辨率遥感影像变化检测网络和方法及装置 |
| CN112668494A (zh) * | 2020-12-31 | 2021-04-16 | 西安电子科技大学 | 基于多尺度特征提取的小样本变化检测方法 |
| CN112861690A (zh) * | 2021-02-01 | 2021-05-28 | 武汉汉达瑞科技有限公司 | 多方法融合的遥感影像变化检测方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| YANAN YOU,ET AL.: "A Survey of Change Detection Methods Based on Remote Sensing Images for Multi-Source and Multi-Objective Scenarios", 《REMOTE SENSING》, vol. 12, no. 15 * |
| 向阳 等: "基于改进UNet孪生网络的遥感影像矿区变化检测", 《煤炭学报》, vol. 44, no. 12, pages 3776 * |
| 徐俊峰;张保明;余东行;林雨准;郭海涛;: "多特征融合的高分辨率遥感影像飞机目标变化检测", no. 01 * |
| 杜慧: "基于SVM的多特征自适应融合变化检测", 《测绘与空间地理信息》, vol. 42, no. 6, pages 149 - 152 * |
| 王艳恒;高连如;陈正超;张兵;: "结合深度学习和超像元的高分遥感影像变化检测", no. 06 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116343063A (zh) * | 2023-05-26 | 2023-06-27 | 南京航空航天大学 | 一种路网提取方法、系统、设备及计算机可读存储介质 |
| CN116343063B (zh) * | 2023-05-26 | 2023-08-11 | 南京航空航天大学 | 一种路网提取方法、系统、设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113807198B (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112084901B (zh) | 基于gcam的高分辨率sar图像机场跑道区自动检测方法及系统 | |
| CN110781756A (zh) | 基于遥感图像的城市道路提取方法及装置 | |
| CN112967272B (zh) | 基于改进U-net的焊接缺陷检测方法、装置及终端设备 | |
| CN110728640A (zh) | 一种双通道单幅图像精细去雨方法 | |
| CN112926548A (zh) | 一种车道线检测方法、装置、电子设备及存储介质 | |
| CN116993732B (zh) | 一种缝隙检测方法、系统和存储介质 | |
| CN115049640B (zh) | 一种基于深度学习的道路裂缝检测方法 | |
| CN113807198A (zh) | 道路网变化检测方法、模型训练方法、装置、设备及介质 | |
| CN113643173A (zh) | 水印去除方法、装置、终端设备及可读存储介质 | |
| CN104598906B (zh) | 车辆外轮廓检测方法及其装置 | |
| CN116309612B (zh) | 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质 | |
| CN112989919A (zh) | 一种从影像中提取目标对象的方法及系统 | |
| CN116958968A (zh) | 变化检测图像的自动化标注方法以及系统 | |
| CN116703943A (zh) | 车道线信息生成方法、装置、电子设备和计算机可读介质 | |
| CN111881914A (zh) | 一种基于自学习阈值的车牌字符分割方法及系统 | |
| CN115773744A (zh) | 模型训练和路网处理方法、装置、设备、介质和产品 | |
| CN113139617B (zh) | 一种输电线路自主定位方法、装置及终端设备 | |
| CN115761699A (zh) | 交通信号灯的分类方法、装置及电子设备 | |
| CN112733934B (zh) | 复杂环境下的多模态特征融合道路场景语义分割方法 | |
| CN111383337B (zh) | 用于识别对象的方法和装置 | |
| CN105893520B (zh) | 一种城市道路面积估算方法 | |
| CN105241886B (zh) | 一种基于hvs与引导滤波器的土遗址裂缝检测方法 | |
| Liu | An automation system: generation of digital map data from pictorial map resources | |
| CN115937454B (zh) | 一种在大规模城市场景中自动摆放树木模型的方法和装置 | |
| CN116385889B (zh) | 基于铁路识别的电力巡检方法、装置、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |