CN117789042A - 一种道路信息解译方法、系统及存储介质 - Google Patents
一种道路信息解译方法、系统及存储介质 Download PDFInfo
- Publication number
- CN117789042A CN117789042A CN202410220401.1A CN202410220401A CN117789042A CN 117789042 A CN117789042 A CN 117789042A CN 202410220401 A CN202410220401 A CN 202410220401A CN 117789042 A CN117789042 A CN 117789042A
- Authority
- CN
- China
- Prior art keywords
- road
- image data
- map
- obtaining
- set area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 230000003287 optical effect Effects 0.000 claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 30
- 238000005457 optimization Methods 0.000 claims abstract description 24
- 238000004891 communication Methods 0.000 claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 25
- 238000012549 training Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008034 disappearance Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005211 surface analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明提供一种道路信息解译方法、系统及存储介质，涉及遥感技术领域，所述方法包括：获取遥感影像数据；根据遥感影像数据得到设定区域的DEM数据和光学影像数据并进行融合得到融合影像数据；将融合影像数据输入预设的残差网络道路语义分割模型；通过可变形卷积编码器和条带卷积解码器得到设定区域的道路特征；并将可变形卷积编码器输出的融合影像数据的特征图输入预设的密集连接网络模型得到设定区域的道路场景概率值；根据道路场景概率值得到分类损失值；根据道路特征，结合分类损失值和预设的联通优化子网络得到设定区域的道路预测图。提高遥感数据中道路信息提取的精准度，使最终得到的道路预测图在几何形状和道路场景判定方面更为可靠和准确。
Description
技术领域
本发明涉及遥感技术领域，具体而言，涉及一种道路信息解译方法、系统及存储介质。
背景技术
道路信息解译作为遥感分类的一个细分领域，通常对卫星图像等进行解译以提取包含道路信息的道路预测图。传统的图像分类方法一般以影像像元作为基本单元，从波谱和空间特征等方向进行解译，找到符合要求的像元区域，从而分割和识别出卫星图像中的道路位置。传统的图像分类方法还可以以面向对象作为基本单元，基于面向对象，将具有同质像元分割为一块块的无类别对象，然后再寻找有效的特征组合，完成对道路的识别。
在现有技术中，传统的图像分类方法是通过某些特征计算方法提取图像的特征，然后通过分类器进行类别判定，提取道路信息。但是，这些方法均基于人工进行设计，很容易受到复杂特征的影响，例如，山区道路无固定形状，同时道路分布稀疏细小造成道路信息提取不联通问题，因此，道路信息解译难度更大，导致道路信息提取通常存在较大幅度的不稳定性。
发明内容
本发明解决的技术问题是如何提高道路信息提取的精准度。
本发明提供一种道路信息解译方法，包括：
获取遥感影像数据；
根据所述遥感影像数据，得到设定区域的DEM数据和光学影像数据；
根据所述DEM数据和所述光学影像数据，进行融合得到融合影像数据；
将所述融合影像数据输入预设的残差网络道路语义分割模型；
通过所述残差网络道路语义分割模型的可变形卷积编码器和条带卷积解码器，得到所述设定区域的道路特征；
将所述可变形卷积编码器输出的所述融合影像数据的特征图输入预设的密集连接网络模型，得到所述设定区域的道路场景概率值；
根据所述道路场景概率值，得到分类损失值；
根据所述道路特征，结合所述分类损失值和预设的联通优化子网络，得到所述设定区域的道路预测图。
可选地，所述根据所述遥感影像数据，得到设定区域的DEM数据和光学影像数据，包括：
根据所述遥感影像数据，得到所述设定区域的RGB波段影像数据和近红外波段影像数据，并将所述RGB波段影像数据和所述近红外波段影像数据作为所述光学影像数据；
根据所述遥感影像数据，得到所述设定区域的地理特征；
根据所述地理特征，构建所述设定区域的高程模型，并根据所述高程模型，得到所述DEM数据。
可选地，所述根据所述DEM数据和所述光学影像数据，进行融合得到融合影像数据，包括：
将所述DEM数据作为高程信息叠加在所述光学影像数据中，得到所述融合影像数据。
可选地，所述通过所述残差网络道路语义分割模型的可变形卷积编码器和条带卷积解码器，得到所述设定区域的道路特征，包括：
将所述融合影像数据输入所述可变形卷积编码器，通过所述可变形卷积编码器的输出得到所述融合影像数据的所述特征图；
根据1x1卷积对所述特征图进行处理，得到所述设定区域的中心线预测图；
根据所述条带卷积解码器对所述中心线预测图进行卷积，得到所述设定区域的初始道路预测图；
通过连接注意力模块对所述初始道路预测图进行处理，得到所述设定区域的所述道路特征。
可选地，所述根据1x1卷积对所述特征图进行处理，得到所述设定区域的中心线预测图，包括：
将所述特征图输入所述1x1卷积，得到所述设定区域的所述初始中心线预测图；
根据所述初始中心线预测图，得到所述初始中心线预测图的中心线损失；
根据所述中心线损失调整所述初始中心线预测图，得到所述设定区域的所述中心线预测图。
可选地，所述根据所述条带卷积解码器对所述中心线预测图进行卷积，得到所述设定区域的初始道路预测图，包括：
根据所述条带卷积解码器中带有方向卷积的方向向量对所述中心线预测图的左对角方向、右对角方向以及垂直方向进行卷积，得到所述设定区域的所述初始道路预测图。
可选地，所述将所述可变形卷积编码器输出的所述融合影像数据的特征图输入预设的密集连接网络模型，得到所述设定区域的道路场景概率值，包括：
将所述特征图输入空间金字塔模块，并通过所述空间金字塔模块捕捉所述特征图得上下文信息，得到处理后的所述特征图；
将所述处理后的特征图输入所述密集连接网络模型进行梯度缓解，得到梯度缓解后的所述特征图；
将所述梯度缓解后的特征图分别输入平均池化和最大池化，通过所述密集连接网络模型的卷积层和Softmax激活函数输出所述道路场景概率值。
可选地，所述根据所述道路特征，结合所述分类损失值和预设的联通优化子网络，得到所述设定区域的道路预测图，包括：
将所述道路特征的预测图输入所述联通优化子网络，得到所述道路特征的残差特征图；
通过所述分类损失值进行加权对所述残差特征图进行优化，得到所述设定区域的所述道路预测图。
本发明还提供一种道路信息解译系统，其特征在于，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现上述所述的道路信息解译方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述所述的道路信息解译方法。
本发明的道路信息解译方法、系统及存储介质，根据遥感影像数据得到设定区域的DEM数据和光学影像数据，并将其进行叠加融合，再通过残差网络道路语义分割模型，缓解深层网络训练过程中的梯度消失问题，提高了特征的传递效率，再利用可变形卷积编码器和条带卷积解码器使用深度学习模型对道路进行语义分割，实现对道路特征的获取，可变形卷积编码器能够适应不同形状的道路结构，可以更好地捕捉复杂道路几何形状的特征。条带卷积解码器有助于从编码器中得到的高级抽象特征中恢复出精细的空间细节，因此，对于不规则形状道路，提高其捕捉和处理道路特征信息的能力。通过密集连接网络模型进一步处理特征图，得到更具体的道路场景的概率值，以此来识别易混淆的道路环境，结合分类损失值，可以优化训练过程中的参数调整，这使得模型更加关注于错误分类更高的区域。通过联通优化子网络确保预测的道路完整且连贯，提高了遥感数据中道路信息提取的精准度，使得最终得到的道路预测图在几何形状和道路场景判定方面更为可靠和准确。
附图说明
图1为本发明一实施例中道路信息解译方法的流程示意图；
图2为本发明另一实施例中道路信息解译方法的示意框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1所示，本发明提供一种道路信息解译方法，包括：
S1：获取遥感影像数据。
具体地，获取遥感影像数据，遥感影像数据科技与卫星影像进行获取。例如：为了获取新疆伊宁的山区道路信息，可基于资源三号卫星来获取高分辨率的遥感影像数据。
S2：根据所述遥感影像数据，得到设定区域的DEM数据和光学影像数据。
具体地，对于遥感影像数据，需要进行预处理，包括去除云层、大气影响的修正、辐射校正等。再对DEM（Digital Elevation Model-数字高程模型）数据和光学影像数据进行提取。获取到的光学影像数据需要进行图像处理，包括图像增强、分割、分类、变换等，以便更好地观察设定区域的地貌、植被覆盖、土地利用等情况。获取到的DEM数据可以通过数字影像处理软件进一步处理，比如进行地形参数的计算、地形分析等，以获取设定区域的地形高程、坡度、坡向等信息。
S3：根据所述DEM数据和所述光学影像数据，进行融合得到融合影像数据。
具体地，将经过配准的DEM数据与光学影像数据进行融合，得到融合影像数据。融合后的数据将包含地形信息和地物信息，可以在同一张影像中同时展现地貌特征和地物分布，并且可用于更深入的地理信息分析和应用。
S4：将所述融合影像数据输入预设的残差网络道路语义分割模型。
具体地，结合图2所示，输入的影像即为融合影像数据，在该步骤，基于上述融合影像数据，进入特征提取阶段，在此阶段将融合影像数据分为两个分支，其中一个分支为利用残差网络道路语义分割模型来对融合影像数据进行处理。其中预设的残差网络道路语义分割模型通过"残差块"来实现网络的深层结构。残差块通过将输入直接连接到输出，从而更容易学习恒等映射，有助于提高网络的收敛速度和泛化能力，在道路语义分割中，残差网络可以有效地从影像数据中提取道路特征，并用于得到道路场景概率值。
S5：通过所述残差网络道路语义分割模型的可变形卷积编码器和条带卷积解码器，得到所述设定区域的道路特征。
具体地，结合图2所示，首先，可变形卷积编码器部分是利用ResNet或其他卷积神经网络进行特征提取。这个过程包括对输入的遥感图像进行多层卷积和池化操作，以提取不同层次的特征信息，逐渐减少图像的空间尺寸并增加特征的深度。接下来，通过条带卷积解码器部分对编码器过程中提取的特征进行解码，通过上采样和反卷积操作，将特征图恢复到原始输入图像的尺寸。在这个过程中，结合可变形卷积的方法，可以更好地捕获和恢复图像中的空间特征和细节，以得到设定区域的道路特征。
S6：将所述可变形卷积编码器输出的所述融合影像数据的特征图输入预设的密集连接网络模型，得到所述设定区域的道路场景概率值。
具体地，结合图2所示，该步骤为特征提取阶段的第二个分支，将可变形卷积编码器输出的融合影像数据的特征图经空间金字塔模块输出后紧接输入密集连接网络模型，其中，密集连接网络模型是一种具有多层连接的深度学习模型，它的特点是每一层的输出都会连接到下一层的输入。在密集连接网络的最后一层，一般会使用适当的激活函数（如softmax）将网络输出转换为每个像素点属于道路类别的概率值，得到的概率图可以提供每个像素点是属于道路的概率估计，形成道路场景的概率图。结合图2所示，密集连接网络模型包括两个密集连接模块，两个密集连接模块相连接。
S7：根据所述道路场景概率值，得到分类损失值。
具体地，密集连接网络输出的道路场景概率值表示了每个像素点属于道路类别的概率估计。这些概率值为每个像素在图像中属于道路类别的概率提供了估计。通过对道路场景概率值和真实标签的比较，计算出来的分类损失值用于评估密集连接网络在道路场景语义分割任务中的效果。通常情况下，分类损失值越小，表明网络在道路场景的识别和分割能力越强。
S8：根据所述道路特征，结合所述分类损失值和预设的联通优化子网络，得到所述设定区域的道路预测图。
具体地，结合图2所示，联通优化子网络通过整合像素级别的信息，改进图像预测结果的连通性和准确性，联通优化子网络的输入是残差网络道路语义分割模型产生的预测图。输出一个残差特征图，其中，残差特征图即反应上述道路特征的特征图，增强道路区域并抑制非道路区域。将道路特征、分类损失值和联通优化子网络相结合，可以获得设定区域的道路预测图。该预测图将包含网络预测的道路分割结果，经过后处理优化，去除了噪声并具有更加连续和真实的道路形态。
本发明的道路信息解译方法，根据遥感影像数据得到设定区域的DEM数据和光学影像数据，并将其进行叠加融合，再通过残差网络道路语义分割模型，缓解深层网络训练过程中的梯度消失问题，提高了特征的传递效率，再利用可变形卷积编码器和条带卷积解码器使用深度学习模型对道路进行语义分割，实现对道路特征的获取，可变形卷积编码器能够适应不同形状的道路结构，可以更好地捕捉复杂道路几何形状的特征。条带卷积解码器有助于从编码器中得到的高级抽象特征中恢复出精细的空间细节，因此，对于不规则形状道路，提高其捕捉和处理道路特征信息的能力。通过密集连接网络模型进一步处理特征图，得到更具体的道路场景的概率值，以此来识别易混淆的道路环境，结合分类损失值，可以优化训练过程中的参数调整，这使得模型更加关注于错误分类更高的区域。通过联通优化子网络确保预测的道路完整且连贯，提高了遥感数据中道路信息提取的精准度，使得最终得到的道路预测图在几何形状和道路场景判定方面更为可靠和准确。
本发明实施例中，所述根据所述遥感影像数据，得到设定区域的DEM数据和光学影像数据，包括：
根据所述遥感影像数据，得到所述设定区域的RGB波段影像数据和近红外波段影像数据，并将所述RGB波段影像数据和所述近红外波段影像数据作为所述光学影像数据；
根据所述遥感影像数据，得到所述设定区域的地理特征；
根据所述地理特征，构建所述设定区域的高程模型，并根据高程模型，得到所述DEM数据。
在本实施例中，基于遥感影像数据获取设定区域的DEM数据和光学影像数据涉及多个步骤：
首先，利用遥感传感器获取的影像数据可以包括RGB波段影像数据和近红外波段影像数据。这两种波段的影像数据能够提供关于地表的不同信息，例如地物的空间分布、植被情况等。通过将RGB波段影像数据和近红外波段影像数据作为光学影像数据，可以获取更多关于地表特征的信息，有助于后续的地理特征提取和高程模型构建。其次，利用遥感影像数据，可以进行地理特征的提取和分析，例如提取地物类型、植被覆盖、土地利用等信息。这些地理特征可以提供更深入的地表信息，为后续的高程模型构建提供重要的支撑。接着，利用地理特征，构建设定区域的高程模型。高程模型基于遥感影像数据中的地表特征，利用数字化地形模型或数字高程模型构建成三维的地表高程图，以此来提供关于地表海拔高度的信息。根据高程模型，得到所需的DEM数据，从而获得设定区域的地形特征、地表高程等信息。
本发明的道路信息解译方法，利用遥感影像数据获取地理特征并构建高程模型，可以为后续的地表分析、地形分析以及环境监测等提供重要支撑。
本发明实施例中，所述根据所述DEM数据和所述光学影像数据，进行融合得到融合影像数据，包括：
将所述DEM数据作为高程信息叠加在所述光学影像数据中，得到所述融合影像数据。
在本实施例中，首先，DEM数据提供了地表的高程信息，用来确定地表的立体位置，例如山脉、峡谷等地形特征。光学影像数据提供了地表的纹理、颜色等视觉信息，包括建筑物、植被覆盖和其他地物对象的空间分布。因此，将DEM数据与光学影像数据融合提供更全面的地理信息。其次，融合DEM数据和光学影像数据的过程涉及将DEM数据的高程信息叠加在光学影像数据中，从而创建一个具有高程信息的影像。通过这种方式，可以将地形的高程信息直观地表示在光学影像上，形成一幅影像地图。
本发明的道路信息解译方法，将DEM数据作为高程信息叠加在光学影像数据中进行融合，利用融合影像数据来分析地表的立体特征和植被分布，有助于更全面地理解设定区域的地表特征。
本发明实施例中，所述通过所述残差网络道路语义分割模型的可变形卷积编码器和条带卷积解码器，得到所述设定区域的道路特征，包括：
将所述融合影像数据输入所述可变形卷积编码器，通过所述可变形卷积编码器的输出得到所述融合影像数据的所述特征图；
根据1x1卷积对所述特征图进行处理，得到所述设定区域的中心线预测图；
根据所述条带卷积解码器对所述中心线预测图进行卷积，得到所述设定区域的初始道路预测图；
通过连接注意力模块对所述初始道路预测图进行处理，得到所述设定区域的所述道路特征。
在本实施例中，结合图2所示，对于通过残差网络道路语义分割模型的可变形卷积编码器和条带卷积解码器来获得设定区域的道路特征，首先，将融合影像数据输入可变形卷积编码器中，利用可变形卷积编码器对融合影像数据进行特征提取，获得融合影像数据的特征图。这一步骤有助于从图像中抽取有关道路特征的高级表示，包括道路的纹理、形状、边界等信息。接下来，利用1x1卷积对特征图进行处理，以获得中心线预测图。中心线预测图可以帮助定位道路的中心线，这对于道路的精确定位和边界识别非常有用。上述中心线预测图经过条带卷积解码器的卷积操作后，得到初始道路预测图，有助于将特征图中提取的道路特征与地物之间进行精细的区分和准确定位。最后，通过连接注意力模块对初始道路预测图进行处理，获得设定区域的道路特征。通过连接注意力模块促进像素级别的信息融合，提高道路特征图中的连通性和准确性，有利于去除噪声并使道路特征更加连续和真实。
本发明的道路信息解译方法，通过上述步骤从遥感影像数据中提取道路特征，实现道路的精细识别和定位。
本发明实施例中，所述根据1x1卷积对所述特征图进行处理，得到所述设定区域的中心线预测图，包括：
将所述特征图输入所述1x1卷积，得到所述设定区域的所述初始中心线预测图；
根据所述初始中心线预测图，得到所述初始中心线预测图的中心线损失；
根据所述中心线损失，调整所述初始中心线预测图得到所述设定区域的所述中心线预测图。
在本实施例中，结合图2所示，1x1 卷积用于在特征图上执行线性变换，调整特征图的深度，而不改变特征图的空间分辨率。首先，将特征图输入1x1卷积层，输出初始中心线预测图，1x1卷积能够通过学习将特征图高维度特征映射为低维度特征。接下来，根据初始中心线预测图，生成中心线损失。中心线损失代表了模型对中心线位置的估计与实际中心线标签之间的误差。基于中心线损失，使用反向传播算法，在训练过程中逐渐调整模型参数，使得预测的中心线逐渐逼近实际标签的中心线位置，从而得到更加准确的中心线预测图。最后，根据中心线损失对初始中心线预测图进行调整得到最终的中心线预测图。有助于模型对道路中心线进行更准确的定位，提高中心线预测结果的精度和准确性。
本发明的道路信息解译方法，通过1x1卷积对特征图进行处理，然后根据中心线损失调整中心线预测图，有利于提高模型对道路中心线的识别能力并改善预测的准确性。
本发明实施例中，所述根据所述条带卷积解码器对所述中心线预测图进行卷积，得到所述设定区域的初始道路预测图，包括：
根据所述条带卷积解码器中带有方向卷积的方向向量对所述中心线预测图的左对角方向、右对角方向以及垂直方向进行卷积，得到所述设定区域的所述初始道路预测图。
在本实施例中，结合图2所示，首先，使用条带卷积解码器对中心线预测图进行卷积处理。方向卷积通常通过卷积核中的权重参数来捕获图像中的方向性信息，以便更好地识别图像中道路的方向特征。对中心线预测图进行左对角方向、右对角方向以及垂直方向的卷积操作，有助于提取道路在不同方向上的边缘和纹理信息，进而生成初始的道路预测图。在这个过程中，方向卷积有助于加强对道路的方向性特征的识别，从而改善道路预测图的精度和准确性。通过这种方式，模型能够更好地理解道路的方向性特征，有助于提高模型在道路识别与分割中的性能表现。
本发明的道路信息解译方法，借助于方向卷积的帮助，条带卷积解码器有助于提取道路图像中的方向特征，有助于生成更具有方向性信息的初始道路预测图。进而提高语义分割模型对道路的识别和定位能力。
本发明实施例中，所述将所述可变形卷积编码器输出的所述融合影像数据的特征图输入密集连接网络模型，得到所述设定区域的道路场景概率值，包括：
将所述特征图输入空间金字塔模块，并通过所述空间金字塔模块捕捉所述特征图得上下文信息，得到处理后的所述特征图；
将所述处理后的特征图输入所述密集连接网络模型进行梯度缓解，得到梯度缓解后的所述特征图；
将所述梯度缓解后的特征图分别输入平均池化和最大池化，通过所述密集连接网络模型的卷积层和Softmax激活函数输出所述道路场景概率值。
在本实施例中，结合图2所示，将可变形卷积编码器输出的特征图输入密集连接网络模型，采用了空间金字塔模块和梯度缓解，以此提高道路场景概率值的准确性和稳定性。首先，将提取的特征图输入空间金字塔模块，用于捕捉特征图的上下文信息。空间金字塔模块利用不同尺度下的空间信息对特征图进行多尺度的分析和整合，有助于提高对道路场景的理解，并从多个角度综合考虑图像的全局与局部信息。再通过梯度缓解技术对处理后的特征图进行梯度缓解处理，梯度缓解用于缓解特征图中的高梯度对网络训练的不稳定性，有助于更好地训练密集连接网络模型，提高模型对道路场景的识别能力。随后，经过平均池化和最大池化处理的梯度缓解后的特征图分别输入到密集连接网络模型的卷积层和Softmax激活函数，用于计算道路场景概率值。结合图2所示，在密集连接网络的卷积层之后应用线性分类器来计算道路场景概率值，以此提供了对道路存在与否的概率估计。
本发明的道路信息解译方法，能够充分利用特征图的上下文信息和梯度缓解技术，从而提高了密集连接网络在道路场景概率值预测任务中的准确性和稳定性。
本发明实施例中，所述根据所述道路特征，结合所述分类损失值和预设的联通优化子网络，得到所述设定区域的道路预测图，包括：
将所述道路特征的预测图输入所述联通优化子网络，得到所述道路特征的残差特征图；
通过所述分类损失值进行加权对所述残差特征图进行优化，得到所述设定区域的所述道路预测图。
在本实施例中，使用联通优化子网络来结合道路特征和分类损失值，以获得最终的道路预测图。将道路特征的预测图输入联通优化子网络，得到道路特征的残差特征图。联通优化子网络能够优化预测图，减少图像中的噪声和细小的不连续性，从而使得预测结果更加平滑和连续。结合图2所示，根据分类损失值对残差特征图进行加权优化。加权优化过程是通过联通优化子网络根据分类损失值，对特征图进行逐像素级的加权调整，以尽量减小损失值，使得预测图更加符合实际情况。
本发明的道路信息解译方法，结合了道路特征、分类损失值以及联通优化，因此具有更高的准确性和鲁棒性。该道路预测图的生成结合了多种技术手段，具有更好的连续性和真实性，提高道路识别的准确性和有效性。
本发明还提供一种道路信息解译系统，其特征在于，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现上述所述的道路信息解译方法。
本发明的道路信息解译系统，根据遥感影像数据得到设定区域的DEM数据和光学影像数据，并将其进行叠加融合，再通过残差网络道路语义分割模型，缓解深层网络训练过程中的梯度消失问题，提高了特征的传递效率，再利用可变形卷积编码器和条带卷积解码器使用深度学习模型对道路进行语义分割，实现对道路特征的获取，可变形卷积编码器能够适应不同形状的道路结构，可以更好地捕捉复杂道路几何形状的特征；条带卷积解码器有助于从编码器中得到的高级抽象特征中恢复出精细的空间细节，因此，对于不规则形状道路，提高其捕捉和处理道路特征信息的能力。通过密集连接网络模型进一步处理特征图，得到更具体的道路场景的概率值，以此来识别易混淆的道路环境，结合分类损失值, 可以优化训练过程中的参数调整，这使得模型更加关注于错误分类更高的区域；通过联通优化子网络确保预测的道路完整且连贯。提高了遥感数据中道路信息提取的精准度，使得最终得到的道路预测图在几何形状和道路场景判定方面更为可靠和准确。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述所述的道路信息解译方法。
本发明的计算机可读存储介质，根据遥感影像数据得到设定区域的DEM数据和光学影像数据，并将其进行叠加融合，再通过残差网络道路语义分割模型，缓解深层网络训练过程中的梯度消失问题，提高了特征的传递效率，再利用可变形卷积编码器和条带卷积解码器使用深度学习模型对道路进行语义分割，实现对道路特征的获取，可变形卷积编码器能够适应不同形状的道路结构，可以更好地捕捉复杂道路几何形状的特征；条带卷积解码器有助于从编码器中得到的高级抽象特征中恢复出精细的空间细节，因此，对于不规则形状道路，提高其捕捉和处理道路特征信息的能力。通过密集连接网络模型进一步处理特征图，得到更具体的道路场景的概率值，以此来识别易混淆的道路环境，结合分类损失值, 可以优化训练过程中的参数调整，这使得模型更加关注于错误分类更高的区域；通过联通优化子网络确保预测的道路完整且连贯。提高了遥感数据中道路信息提取的精准度，使得最终得到的道路预测图在几何形状和道路场景判定方面更为可靠和准确。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种道路信息解译方法，其特征在于，包括：
获取遥感影像数据；
根据所述遥感影像数据，得到设定区域的DEM数据和光学影像数据；
根据所述DEM数据和所述光学影像数据，进行融合得到融合影像数据；
将所述融合影像数据输入预设的残差网络道路语义分割模型；
通过所述残差网络道路语义分割模型的可变形卷积编码器和条带卷积解码器，得到所述设定区域的道路特征；
将所述可变形卷积编码器输出的所述融合影像数据的特征图输入预设的密集连接网络模型，得到所述设定区域的道路场景概率值；
根据所述道路场景概率值，得到分类损失值；
根据所述道路特征，结合所述分类损失值和预设的联通优化子网络，得到所述设定区域的道路预测图。
2.根据权利要求1所述的道路信息解译方法，其特征在于，所述根据所述遥感影像数据，得到设定区域的DEM数据和光学影像数据，包括：
根据所述遥感影像数据，得到所述设定区域的RGB波段影像数据和近红外波段影像数据，并将所述RGB波段影像数据和所述近红外波段影像数据作为所述光学影像数据；
根据所述遥感影像数据，得到所述设定区域的地理特征；
根据所述地理特征，构建所述设定区域的高程模型，并根据所述高程模型，得到所述DEM数据。
3.根据权利要求1所述的道路信息解译方法，其特征在于，所述根据所述DEM数据和所述光学影像数据，进行融合得到融合影像数据，包括：
将所述DEM数据作为高程信息叠加在所述光学影像数据中，得到所述融合影像数据。
4.根据权利要求1所述的道路信息解译方法，其特征在于，所述通过所述残差网络道路语义分割模型的可变形卷积编码器和条带卷积解码器，得到所述设定区域的道路特征，包括：
将所述融合影像数据输入所述可变形卷积编码器，通过所述可变形卷积编码器的输出得到所述融合影像数据的所述特征图；
根据1x1卷积对所述特征图进行处理，得到所述设定区域的中心线预测图；
根据所述条带卷积解码器对所述中心线预测图进行卷积，得到所述设定区域的初始道路预测图；
通过连接注意力模块对所述初始道路预测图进行处理，得到所述设定区域的所述道路特征。
5.根据权利要求4所述的道路信息解译方法，其特征在于，所述根据1x1卷积对所述特征图进行处理，得到所述设定区域的中心线预测图，包括：
将所述特征图输入所述1x1卷积，得到所述设定区域的所述初始中心线预测图；
根据所述初始中心线预测图，得到所述初始中心线预测图的中心线损失；
根据所述中心线损失调整所述初始中心线预测图，得到所述设定区域的所述中心线预测图。
6.根据权利要求4所述的道路信息解译方法，其特征在于，所述根据所述条带卷积解码器对所述中心线预测图进行卷积，得到所述设定区域的初始道路预测图，包括：
根据所述条带卷积解码器中带有方向卷积的方向向量对所述中心线预测图的左对角方向、右对角方向以及垂直方向进行卷积，得到所述设定区域的所述初始道路预测图。
7.根据权利要求1所述的道路信息解译方法，其特征在于，所述将所述可变形卷积编码器输出的所述融合影像数据的特征图输入预设的密集连接网络模型，得到所述设定区域的道路场景概率值，包括：
将所述特征图输入空间金字塔模块，并通过所述空间金字塔模块捕捉所述特征图得上下文信息，得到处理后的所述特征图；
将所述处理后的特征图输入所述密集连接网络模型进行梯度缓解，得到梯度缓解后的所述特征图；
将所述梯度缓解后的特征图分别输入平均池化和最大池化，通过所述密集连接网络模型的卷积层和Softmax激活函数输出所述道路场景概率值。
8.根据权利要求1所述的道路信息解译方法，其特征在于，所述根据所述道路特征，结合所述分类损失值和预设的联通优化子网络，得到所述设定区域的道路预测图，包括：
将所述道路特征的预测图输入所述联通优化子网络，得到所述道路特征的残差特征图；
通过所述分类损失值进行加权对所述残差特征图进行优化，得到所述设定区域的所述道路预测图。
9.一种道路信息解译系统，其特征在于，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如权利要求1-8任一项所述的道路信息解译方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至8中任一项所述的道路信息解译方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410220401.1A CN117789042B (zh) | 2024-02-28 | 一种道路信息解译方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410220401.1A CN117789042B (zh) | 2024-02-28 | 一种道路信息解译方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117789042A true CN117789042A (zh) | 2024-03-29 |
| CN117789042B CN117789042B (zh) | 2024-05-14 |
Family
ID=
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2018101336A4 (en) * | 2018-09-12 | 2018-10-11 | Hu, Yuan Miss | Building extraction application based on machine learning in Urban-Suburban-Integration Area |
| CN113505842A (zh) * | 2021-07-21 | 2021-10-15 | 中国科学院空天信息创新研究院 | 一种适用于大尺度区域遥感影像城市建筑物自动提取方法 |
| CN113688813A (zh) * | 2021-10-27 | 2021-11-23 | 长沙理工大学 | 多尺度特征融合遥感影像分割方法、装置、设备和存储器 |
| CN114821342A (zh) * | 2022-06-02 | 2022-07-29 | 中国科学院地理科学与资源研究所 | 一种遥感影像道路提取方法及系统 |
| CN115797931A (zh) * | 2023-02-13 | 2023-03-14 | 山东锋士信息技术有限公司 | 一种基于双分支特征融合的遥感图像语义分割方法 |
| CN115862014A (zh) * | 2023-02-27 | 2023-03-28 | 中国地质大学（武汉） | 矿区语义分割模型构建方法、装置及矿区语义分割方法 |
| CN115937697A (zh) * | 2022-07-14 | 2023-04-07 | 中国人民解放军战略支援部队信息工程大学 | 一种遥感影像变化检测方法 |
| WO2023126914A2 (en) * | 2021-12-27 | 2023-07-06 | Yeda Research And Development Co. Ltd. | METHOD AND SYSTEM FOR SEMANTIC APPEARANCE TRANSFER USING SPLICING ViT FEATURES |
| CN116778146A (zh) * | 2023-06-02 | 2023-09-19 | 中国地质大学（武汉） | 基于多模态数据的道路信息提取方法及装置 |
| CN116797787A (zh) * | 2023-05-22 | 2023-09-22 | 中国地质大学（武汉） | 基于跨模态融合与图神经网络的遥感影像语义分割方法 |
| CN116935240A (zh) * | 2023-07-20 | 2023-10-24 | 武汉墨锦创意科技有限公司 | 多尺度感知金字塔的地表覆盖分类系统和方法 |
| CN117372876A (zh) * | 2023-11-09 | 2024-01-09 | 北京邮电大学 | 一种多任务遥感影像道路损毁评估方法及系统 |
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2018101336A4 (en) * | 2018-09-12 | 2018-10-11 | Hu, Yuan Miss | Building extraction application based on machine learning in Urban-Suburban-Integration Area |
| CN113505842A (zh) * | 2021-07-21 | 2021-10-15 | 中国科学院空天信息创新研究院 | 一种适用于大尺度区域遥感影像城市建筑物自动提取方法 |
| CN113688813A (zh) * | 2021-10-27 | 2021-11-23 | 长沙理工大学 | 多尺度特征融合遥感影像分割方法、装置、设备和存储器 |
| WO2023126914A2 (en) * | 2021-12-27 | 2023-07-06 | Yeda Research And Development Co. Ltd. | METHOD AND SYSTEM FOR SEMANTIC APPEARANCE TRANSFER USING SPLICING ViT FEATURES |
| CN114821342A (zh) * | 2022-06-02 | 2022-07-29 | 中国科学院地理科学与资源研究所 | 一种遥感影像道路提取方法及系统 |
| CN115937697A (zh) * | 2022-07-14 | 2023-04-07 | 中国人民解放军战略支援部队信息工程大学 | 一种遥感影像变化检测方法 |
| CN115797931A (zh) * | 2023-02-13 | 2023-03-14 | 山东锋士信息技术有限公司 | 一种基于双分支特征融合的遥感图像语义分割方法 |
| CN115862014A (zh) * | 2023-02-27 | 2023-03-28 | 中国地质大学（武汉） | 矿区语义分割模型构建方法、装置及矿区语义分割方法 |
| CN116797787A (zh) * | 2023-05-22 | 2023-09-22 | 中国地质大学（武汉） | 基于跨模态融合与图神经网络的遥感影像语义分割方法 |
| CN116778146A (zh) * | 2023-06-02 | 2023-09-19 | 中国地质大学（武汉） | 基于多模态数据的道路信息提取方法及装置 |
| CN116935240A (zh) * | 2023-07-20 | 2023-10-24 | 武汉墨锦创意科技有限公司 | 多尺度感知金字塔的地表覆盖分类系统和方法 |
| CN117372876A (zh) * | 2023-11-09 | 2024-01-09 | 北京邮电大学 | 一种多任务遥感影像道路损毁评估方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| MENG-HAO GUO，ET AL: "SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation", ARXIV:2209.08575V1, 18 September 2022 (2022-09-18), pages 1 - 15 * |
| 徐寅生: "融合STPA的U-Net高分辨率遥感图像道路提取研究", 信息与电脑(理论版), vol. 35, no. 23, 10 December 2023 (2023-12-10), pages 153 - 155 * |
| 欧阳淑冰等: "植被覆盖区高精度遥感地貌场景分类数据集", 遥感学报, vol. 26, no. 4, 25 April 2022 (2022-04-25), pages 606 - 619 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Esch et al. | Delineation of urban footprints from TerraSAR-X data by analyzing speckle characteristics and intensity information | |
| CN112686935B (zh) | 基于特征融合的机载测深雷达与多光谱卫星影像配准方法 | |
| CN112288647A (zh) | 一种基于门控卷积的遥感影像云和阴影修复的方法 | |
| US20190122336A1 (en) | Method and apparatus for enhancing 3d model resolution | |
| CN113569815B (zh) | 基于图像分割与孪生神经网络的遥感影像变化的检测方法 | |
| CN112712535A (zh) | 基于模拟困难样本的Mask-RCNN滑坡分割方法 | |
| CN114119884A (zh) | 一种基于高分七号卫星影像的建筑物lod1模型构建方法 | |
| Shin et al. | True orthoimage generation using airborne lidar data with generative adversarial network-based deep learning model | |
| Parmehr et al. | Automatic registration of optical imagery with 3d lidar data using local combined mutual information | |
| Quackenbush et al. | Road extraction: A review of LiDAR-focused studies | |
| Cresson et al. | Comparison of convolutional neural networks for cloudy optical images reconstruction from single or multitemporal joint SAR and optical images | |
| US10535119B2 (en) | Method and apparatus for enhancing 3D model resolution | |
| CN117789042B (zh) | 一种道路信息解译方法、系统及存储介质 | |
| CN116310832A (zh) | 遥感图像处理方法、装置、设备、介质及产品 | |
| Seo et al. | Local-based iterative histogram matching for relative radiometric normalization | |
| Babu et al. | Detection and extraction of roads from satellite images based on Laplacian of Gaussian operator | |
| CN117789042A (zh) | 一种道路信息解译方法、系统及存储介质 | |
| Lee et al. | Determination of building model key points using multidirectional shaded relief images generated from airborne LiDAR data | |
| Amirkolaee et al. | Convolutional neural network architecture for digital surface model estimation from single remote sensing image | |
| Gruszczyński et al. | Correction of low vegetation impact on UAV-Derived point cloud heights with U-Net networks | |
| Tripodi et al. | Automated chain for large-scale 3d reconstruction of urban scenes from satellite images | |
| CN113505650A (zh) | 地形特征线提取方法及装置、设备 | |
| Ahmed et al. | High-quality building information models (BIMs) using geospatial datasets | |
| Qayyum et al. | Monitoring of vegetation near power lines based on dynamic programming using satellite stereo images | |
| Zabuawala et al. | Fusion of LiDAR and aerial imagery for accurate building footprint extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |