CN115797788A - 基于深度学习的多模态铁路设计要素遥感特征提取方法 - Google Patents
基于深度学习的多模态铁路设计要素遥感特征提取方法 Download PDFInfo
- Publication number
- CN115797788A CN115797788A CN202310130539.8A CN202310130539A CN115797788A CN 115797788 A CN115797788 A CN 115797788A CN 202310130539 A CN202310130539 A CN 202310130539A CN 115797788 A CN115797788 A CN 115797788A
- Authority
- CN
- China
- Prior art keywords
- image
- deep learning
- visible light
- images
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于深度学习的多模态铁路设计要素遥感特征提取方法，其包括对目标区域遥感影像进行预处理，得到目标区域的单波段图像、可见光图像和热红外图像；选择三种图像中至少一张图像根据铁路设计要素进行分类，将经过分类的三种图像合并成具有预设通道的第一图像；将第一图像根据单波段数、可见光波段数和热红外波段数得到若干组不同组合的第二图像并裁剪构建数据集；将训练集中的图像转化为预设数据类型输入到深度学习模型中进行训练，得到训练好的深度学习模型；将目标区域的遥感影像输入到训练好的深度学习模型中，提取得到铁路设计要素。本发明利用可见光波段、单波段和热红外三种遥感影像进行神经网络训练，提高了提取地物的精度。
Description
技术领域
本发明涉及遥感测算技术领域，尤其涉及一种基于深度学习的多模态铁路设计要素遥感特征提取方法。
背景技术
随着对地观测技术的发展，人类对地球的综合观测能力达到空前水平。单一的遥感影像通常因为其分辨率、波段设置、获取信息的丰匮乏和不可靠性等在生产实践中不能完美地满足要求。而遥感技术所能获取的信息源朝着多时相、多波段、多平台、多传感器的方向迅猛发展。因此不同成像方式、不同波段、不同分辨率、不同观测尺度和维度的多模态遥感数据已成为地球科学信息获取﹑处理和应用的关键载体，在国家安全和工业生产中扮演着日益重要的角色。
深度学习是一种深层次结构的神经网络，相比支持向量机等浅层结构模型能更好地提取影像的特征，并在遥感影像分类中取得了比传统方法更好的分类精度。目前绝大多数的研究者将深度学习的方法应用于遥感影像地物分类时，都是单独利用的可见光波段的遥感影像、热红外影像或者某个单波段影像。而较少利用其中几种不同的甚至全部的影像对神经网络进行综合训练，因此网络的泛化能力通常都不高，只能对训练影像相同类型的数据进行预测。
发明内容
有鉴于此，有必要提供一种基于深度学习的多模态铁路设计要素遥感特征提取方法，用以解决现有技术中单独利用可见光波段、单波段和热红外遥感影像进行神经网络训练导致网络泛化能力不高的问题。
为了解决上述问题，本发明提供一种基于深度学习的多模态铁路设计要素遥感特征提取方法，包括：
对目标区域遥感影像进行预处理，得到目标区域的单波段图像、可见光图像和热红外图像；
选择所述单波段图像、所述可见光图像和所述热红外图像中至少一张图像根据铁路设计要素进行分类，将经过分类的所述单波段图像、所述可见光图像和所述热红外图像合并成具有预设通道的第一图像；
将所述第一图像根据单波段数、可见光波段数和热红外波段数得到若干组不同组合的第二图像，将所述若干组第二图像进行裁剪构建数据集；
将所述数据集中的训练集图像转化为预设数据类型并输入到预设的深度学习网络模型中进行训练，得到训练完备的深度学习网络模型；
将目标区域的待测遥感影像输入到所述训练完备的深度学习网络模型中，提取得到铁路设计要素。
在一些可能的实现方式中，所述铁路设计要素至少包括道路、水系、房屋和植被。
在一些可能的实现方式中，所述预设通道为十一通道，所述第一图像的一到五通道为单波段数据，所述第一图像的六到八通道为可见光数据，所述第一图像的九到十一通道为热红外数据。
在一些可能的实现方式中，将所述第一图像根据单波段数、可见光波段数和热红外波段数得到若干组不同组合的第二图像，将所述若干组第二图像进行裁剪构建数据集，包括：
对所述第一图像进行数据增强，得到单波段、可见光和热红外组合的第二图像；
对所述第二图像进行裁剪，得到数据集，将数据集分为测试集和训练集。
在一些可能的实现方式中，对所述第一图像进行数据增强，得到单波段、可见光和热红外组合的第二图像，包括：
分别根据第一图像单波段数、可见光波段数和热红外波段数制作得到各自图像，将没有数据的通道补0，得到单波段、可见光、热红外、单波段和可见光，单波段和热红外，可见光和热红外，单波段、可见光和可见光共7种组合的第二图像。
在一些可能的实现方式中，所述将所述数据集中的训练集图像转化为预设数据类型，包括：
随机选所述第二图像中图像边缘超过预设像素的一个点；
以所述点为左上角顶点裁剪出一张所述预设像素乘以所述预设像素的图像及其对应的标签组成数据集；
将所述数据集一部分作为测试集，另一部分作为训练集。
在一些可能的实现方式中，所述将所述数据集中的训练集图像转化为预设数据类型，包括：
使用gdal库中的Open函数读取所述训练集中的图像；
调用Open().ReadAsArray函数将所述训练集中的图像转换为numpy.ndarray类型数据。
另一方面，本发明还提供了一种基于深度学习的多模态铁路设计要素遥感特征提取装置，包括：
不同波段图像获取单元，用于对目标区域遥感影像进行预处理，得到目标区域的单波段图像、可见光图像和热红外图像；
多通道图像获取单元，用于选择所述单波段图像、所述可见光图像和所述热红外图像中至少一张图像根据铁路设计要素进行分类，将经过分类的所述单波段图像、所述可见光图像和所述热红外图像合并成具有预设通道的第一图像；
数据集构建单元，将所述第一图像根据单波段数、可见光波段数和热红外波段数得到若干组不同组合的第二图像，将所述若干组所述第二图像进行裁剪构建数据集；
深度学习网络模型构建单元，将所述数据集中的训练集图像转化为预设数据类型输入到预设的深度学习网络模型中进行训练，得到训练完备的深度学习网络模型；
铁路设计要素提取单元，用于将目标区域的待测遥感影像输入到所述训练完备的深度学习网络模型中，提取得到铁路设计要素。
另一方面，本发明还提供了一种电子设备，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述任意一种实现方式中所述的基于深度学习的多模态铁路设计要素遥感特征提取方法中的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时能够实现上述任意一种实现方式中所述的基于深度学习的多模态铁路设计要素遥感特征提取方法中的步骤。
采用上述实施例的有益效果是：本发明提供的基于深度学习的多模态铁路设计要素遥感特征提取方法，首先对目标区域遥感影像进行预处理，得到目标区域的单波段图像、可见光图像和热红外图像，然后选择所述单波段图像、所述可见光图像和所述热红外图像中至少一张图像根据铁路设要素分类，将经过分类的所述单波段图像、所述可见光图像和所述热红外图像合并成预设通道的第一图像，然后将所述第一图像根据单波段数、可见光波段数和热红外波段数得到若干组不同组合的第二图像，将所述第二图像进行裁剪构建训练集，将所述训练集中的图像转化为预设数据类型输入到预设的深度学习网络模型中进行训练，得到训练完备的深度学习网络模型，最后将目标区域的遥感影像输入到训练完备的深度学习网络模型，提取得到铁路设计要素。本发明针对铁路设计要素，利用单波段、可见光和热红外得到多模态混合数据，修改深度学习网络模型参数，得到深度学习网络模型能处理多通道的图像，提高了影像的利用率，同时利用多源遥感数据提高了提取铁路设计要素的精度。
附图说明
图1为本发明提供的基于深度学习的多模态铁路设计要素遥感特征提取方法一实施例的结构流程图；
图2为本发明提供的基于深度学习的多模态铁路设计要素遥感特征提取装置的一个实施例结构示意图；
图3为本发明提供的电子设备的一个实施例结构示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
图1为本发明提供的基于深度学习的多模态铁路设计要素遥感特征提取方法的一个实施例流程示意图，如图1所示，一种基于深度学习的多模态铁路设计要素遥感特征提取方法，包括：
S101、对目标区域遥感影像进行预处理，得到目标区域的单波段图像、可见光图像和热红外图像；
S102、选择所述单波段图像、所述可见光图像和所述热红外图像中至少一张图像根据铁路设计要素进行分类，将经过分类的所述单波段图像、所述可见光图像和所述热红外图像合并成具有预设通道的第一图像；
S103、将所述第一图像根据单波段数、可见光波段数和热红外波段数得到若干组不同组合的第二图像，将所述若干组第二图像进行裁剪构建数据集；
S104、将所述数据集中的训练集图像转化为预设数据类型并输入到预设的深度学习网络模型中进行训练，得到训练完备的深度学习网络模型；
S105、将目标区域的待测遥感影像输入到所述训练完备的深度学习网络模型中，提取得到铁路设计要素。
与现有技术相比，本实施例提供的基于深度学习的多模态铁路设计要素遥感特征提取方法，首先对目标区域遥感影像进行预处理，得到目标区域的单波段图像、可见光图像和热红外图像，然后选择所述单波段图像、所述可见光图像和所述热红外图像中至少一张图像根据铁路设要素分类，将经过分类的所述单波段图像、所述可见光图像和所述热红外图像合并成预设通道的第一图像，然后将所述第一图像根据单波段数、可见光波段数和热红外波段数得到若干组不同组合的第二图像，将所述第二图像进行裁剪构建数据集，将所述训练集中的图像转化为预设数据类型输入到预设的深度学习网络模型中进行训练，得到训练完备的深度学习网络模型，最后将目标区域的遥感影像输入到训练完备的深度学习网络模型，提取得到铁路设计要素。本发明针对铁路设计要素，利用单波段、可见光和热红外得到多模态混合数据，修改深度学习网络模型参数，得到深度学习网络模型能处理多通道的图像，提高了影像的利用率，同时利用多源遥感数据提高了提取铁路设计要素的精度。
需要说明的是，在步骤S101中，铁路设计要素除了包括道路、水系、房屋和植被。还可以是山川、湖泊等等。在步骤S101中，对目标区域遥感影像进行预处理，包括：
对目标区域的多模态遥感数据进行地理配准和重采样，得到对应的正射影像，所述正射影像包括单波段图像、可见光图像和热红外图像。
在本发明的一些实施例中，所述铁路设计要素至少包括道路、水系、房屋和植被。
在本发明的具体实施例中，获取目标区域遥感影像包括采用大疆精灵4RTK获取的多光谱数据，分辨率为15.4cm。采用M200无人机获取热红外数据，热红外分辨率26.84cm。采用XT2双光热红外仪获取可见光数据，可见光分辨率为7cm。然后将获取的目标区域遥感影像使用Pix4D软件进行地理配准和重采样，得到对应的正射影像，然后根据可见光数据在正射影像上勾画出道路、水系、房屋和植被的范围，将道路标为1，水系标为2，房屋3，植被4，剩下的背景为0，从而得到带标签的分类图像。
需要说明的是，单波段影像包含红、绿、蓝、红边和近红外5个波段，热红外影像是包含温度信息的彩图，因此将热红外重采样成与可见光数据相同大小。
为了实现数据增强中的波段增强，因此将不同影像按照固定顺序进行合并。在本发明的一些实施例中，在步骤S102中，所述预设通道为十一通道，所述第一图像的一到五通道为单波段数据，所述第一图像的六到八通道为可见光数据，所述第一图像的九到十一通道为热红外数据。
为了扩大数据集和使得训练得到的深度学习网络模型能对各种波段组合的遥感影像数据进行预测。在本发明的一些实施例中，在步骤S103中，将所述第一图像根据单波段数、可见光波段数和热红外波段数得到若干组不同组合的第二图像，将所述若干组第二图像进行裁剪构建数据集，包括：对所述第一图像进行数据增强，得到单波段、可见光和热红外组合的第二图像；
对所述第二图像进行裁剪，得到数据集，将数据集分为测试集和训练集。
为了得到多源混合数据集。在本发明的一些实施例中，除使用旋转，转置等常用数据增强方法外。对所述第一图像进行数据增强，得到单波段、可见光和热红外组合的第二图像，包括：
分别根据第一图像单波段数、可见光波段数和热红外波段数制作得到各自图像，将没有数据的通道补0，得到单波段、可见光、热红外、单波段和可见光，单波段和热红外，可见光和热红外，单波段、可见光和可见光共7种组合的第二图像。
在本发明的一些实施例中，在步骤S104中，随机选所述第二图像中图像边缘超过预设像素的一个点；
以所述点为左上角顶点裁剪出一张所述预设像素乘以所述预设像素的图像及其对应的标签组成数据集；
将所述数据集一部分作为测试集，另一部分作为训练集。
在本发明的具体实施例中，随机选所述第二图像中图像边缘256像素的一个点；
然后以所述点为左上角顶点裁剪出一张所述256*256像素的图像及其对应的标签，从每幅数据增强后的目标区域影像中裁剪出300张总计16800张图像及对应标签组成数据集，将其中2100张作为测试集，14700张作为训练集。
在本发明的一些实施例中，在步骤S104中，所述将所述数据集中的训练集图像转化为预设数据类型，包括：
使用gdal库中的Open函数读取所述训练集中的图像；
调用Open().ReadAsArray函数将所述训练集中的图像转换为numpy.ndarray类型数据。
需要说明的是，gdal库是一个在X/MIT许可协议下的开源栅格空间数据转换库。它利用抽象数据模型来表达所支持的各种文件格式。它还有一系列命令行工具来进行数据转换和处理。
在本发明的具体实施例中，在步骤S104中，由于测试集中图像通道数为11，因此使用gdal库的Open函数读取图像，Open函数能够读取包含几十个通道的遥感影像。再调用Open().ReadAsArray函数将11通道图像转换为深度学习网络模型能够接受的numpy.ndarray类型数据作为输入层的输入，进而传入深度学习网络模型进行训练学习，调整训练的各项参数使精度与损失均收敛，得到训练完备的深度学习网络模型。
其中深度学习网络模型采用的网络优化器为自适应矩估计即Adaptive MomentEstimation，计算公式如下：
其中，
为偏差纠正后的一阶矩估计，
为偏差纠正后的二阶矩估计，
和
是学习率。
深度学习网络模型的损失函数为交叉熵损失，公式如下：
其中，Y为真实标签值，
是预测的概率值。
在本发明的具体实施例中，深度学习网络模型选择卷积神经网络SegNet或U-Net。
得到训练完备的深度学习网络模型，包括根据测试集数据评价深度学习网络模型以及各波段组合下各类地物精度，确定深度学习网络模型最优模型。用测试集数据来验证训练完成的深度学习网络模型精度。首先用深度学习网络模型对测试集数据进行预测，利用预测结果与真实标签来计算深度学习网络模型的mIOU指数，根据模型的mIOU指数以及各类地物的IOU指数来评定深度学习网络模型的精度。IOU计算公式如下：
其中TP为true positive ，FP为false positive，FN为false negative。mIOU计算公式如下：
其中k为类别数，k+1表示加上了背景类，
表示将i类识别为i，及识别正确的像素数
以及
均为识别错误的像素数。
在本发明的具体实施例中，在步骤S106中，将目标区域的遥感影像据输入到所述训练完备的深度学习网络模型中，提取得到铁路设计要素。首将目标区域的遥感影像预处理得到深度学习网络模型可以处理的图像。获取的目标区域的遥感影像的可见光、热红外、单波段图像大小为1845*2622*3、1845*2622*3和1845*2622*1，无法直接传入训练完备的深度学习网络模型进行预测，因此将这三类图像长和宽补0，补全为256整数倍的图像，在将三种影像按照顺序合并生成一个1845*2622*11的图像，将各数据按照单波段的数据填入一到五通道，热红外数据填入六到八通道，可见光数据填入九到十一通道的原则填入生成可裁剪的目标区域的多通道影像。然后制作不同波段组合的目标区域的影像，原理同数据增强操作的波段增强，如制作单波段+热红外组合的影像时，将十一通道研究区影像单波段和热红外数据对应的一到八通道保留，再把可见光数据对应的九到十一通道全部赋值为0。再对得到的7种组合的图像进行逐行裁剪出若干个的256*256大小的深度学习网络模型可接受图像。将预处理过后的图像逐个传入深度学习网络模型得到分类预测结果。
再根据预测之后得到的不同波段组合的分类图，分别统计各类地物的精度对7种不同波段组合的敏感程度。
在本实施例中具体是统计不同波段组合的预测结果中各类地物的IOU指数以及目标区域的mIOU，并统计每张图中各类正确分类与错误分类的像素数。将各类地物在各波段组合下的mIOU指数按照从大到小进行排序，分析每种影像对于某种地物的提取有促进作用还是阻碍作用，进而得到每种地物预测精度最高的波段组合，在后续地物提取时优先使用mIOU高的波段组合。按照得到的地物精度最高的组合确定各类地物范围，再进行组合得到包含整个目标区域的大图，然后去掉之前补0的部分，得到整个目标区域的地物分类预测图。
对于此方法可能遇到的某一像素同时被分为多类的问题，本发明采用该地物的类别以IOU指数最高的波段组合为准的解决方法。例如某一像素在单波段+可将光组合中被分为道路，在热红外中被分为房屋，而单波段+可将光对道路分类的IOU为0.92，热红外对房屋分类IOU为0.89，则将该像素分为道路。采用这种方法来对地物进行分类，能够有效避免多源数据中引入了某种不利于地物分类的影像而导致的精度下降，进而能最高精度地提取各类地物。
最后根据目标区域地物分类预测图提取四类地物（道路、水系、房屋、植被），评定提取结果的精度。包括以下步骤：
1）铁路设计要素提取。由于分类预测图中每个像元值表示了该像元所属分类，素值为1则为道路、2为水系、3为房屋、4为植被，因此直接根据像元值即可筛选出四类铁路设计要素的范围。
2）精度评定。本实施例选取了计算各类地物IOU指数的方法来评定精度。若IOU越接近1（越大），则说明精度越高。
为了更好实施本发明实施例中的基于深度学习的多模态铁路设计要素遥感特征提取方法，在基于深度学习的多模态铁路设计要素遥感特征提取方法基础之上，对应的，如图2所示，本发明实施例还提供了一种基于深度学习的多模态铁路设计要素遥感特征提取装置，基于深度学习的多模态铁路设计要素遥感特征提取装置200包括：
不同波段图像获取单元201，用于对目标区域遥感影像进行预处理，得到目标区域的单波段图像、可见光图像和热红外图像；
多通道图像获取单元202，用于选择所述单波段图像、所述可见光图像和所述热红外图像中至少一张图像根据铁路设计要素进行分类，将经过分类的所述单波段图像、所述可见光图像和所述热红外图像合并成具有预设通道的第一图像；
数据集构建单元203，将所述第一图像根据单波段数、可见光波段数和热红外波段数得到若干组不同组合的第二图像，将所述若干组所述第二图像进行裁剪构建数据集；
深度学习网络模型构建单元204，将所述数据集中的训练集图像转化为预设数据类型输入到预设的深度学习网络模型中进行训练，得到训练完备的深度学习网络模型；
铁路设计要素提取单元205，用于将目标区域的待测遥感影像输入到所述训练完备的深度学习网络模型中，提取得到铁路设计要素。
上述实施例提供的基于深度学习的多模态铁路设计要素遥感特征提取装置200可实现上述自基于深度学习的多模态铁路设计要素遥感特征提取方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述基于深度学习的多模态铁路设计要素遥感特征提取方法实施例中的相应内容，此处不再赘述。
如图3所示，本发明还相应提供了一种电子设备300。该电子设备300包括处理器301、存储器302及显示器303。图3仅示出了电子设备300的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
处理器301在一些实施例中可以是一中央处理器（CentralProcessing Unit，CPU），微处理器或其他数据处理芯片，用于运行存储器302中存储的程序代码或处理数据，例如本发明中的基于深度学习的多模态铁路设计要素遥感特征提取方法。
在一些实施例中，处理器301可以是单个服务器或服务器组。服务器组可为集中式或分布式的。在一些实施例中，处理器301可为本地的或远程的。在一些实施例中，处理器301可实施于云平台。在一实施例中，云平台可包括私有云、公共云、混合云、社区云、分布式云、内部间、多重云等，或以上的任意组合。
存储器302在一些实施例中可以是电子设备300的内部存储单元，例如电子设备300的硬盘或内存。存储器302在另一些实施例中也可以是电子设备300的外部存储设备，例如电子设备300上配备的插接式硬盘，智能存储卡（SmartMedia Card，SMC），安全数字（SecureDigital，SD）卡，闪存卡（FlashCard）等。
进一步地，存储器302还可既包括电子设备300的内部储存单元也包括外部存储设备。存储器302用于存储安装电子设备300的应用软件及各类数据。
显示器303在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（OrganicLight-Emitting Diode，有机发光二极管）触摸器等。显示器303用于显示在电子设备300的信息以及用于显示可视化的用户界面。电子设备300的部件301-303通过系统总线相互通信。
在一些实施例中，当处理器301执行存储器302中的基于深度学习的多模态铁路设计要素遥感特征提取程序时，可实现以下步骤：
对目标区域遥感影像进行预处理，得到目标区域的单波段图像、可见光图像和热红外图像；
选择所述单波段图像、所述可见光图像和所述热红外图像中至少一张图像根据铁路设计要素进行分类，将经过分类的所述单波段图像、所述可见光图像和所述热红外图像合并成具有预设通道的第一图像；
将所述第一图像根据单波段数、可见光波段数和热红外波段数得到若干组不同组合的第二图像，将所述若干组第二图像进行裁剪构建数据集；
将所述数据集中的训练集图像转化为预设数据类型并输入到预设的深度学习网络模型中进行训练，得到训练完备的深度学习网络模型；
将目标区域的待测遥感影像输入到所述训练完备的深度学习网络模型中，提取得到铁路设计要素。
应当理解的是：处理器301在执行存储器302中的基于深度学习的多模态铁路设计要素遥感特征提取程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面相应方法实施例的描述。
进一步地，本发明实施例对提及的电子设备300的类型不做具体限定，电子设备300可以为手机、平板电脑、个人数字助理(personal digitalassistant，PDA)、可穿戴设备、膝上型计算机(laptop)等便携式电子设备。便携式电子设备的示例性实施例包括但不限于搭载IOS、android、microsoft或者其他操作系统的便携式电子设备。上述便携式电子设备也可以是其他便携式电子设备，诸如具有触敏表面(例如触控面板)的膝上型计算机(laptop)等。还应当理解的是，在本发明其他一些实施例中，电子设备300也可以不是便携式电子设备，而是具有触敏表面(例如触控面板)的台式计算机。
相应地，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述各方法实施例提供的基于深度学习的多模态铁路设计要素遥感特征提取方法中的步骤或功能。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习的多模态铁路设计要素遥感特征提取方法，其特征在于，包括：
对目标区域遥感影像进行预处理，得到目标区域的单波段图像、可见光图像和热红外图像；
选择所述单波段图像、所述可见光图像和所述热红外图像中至少一张图像根据铁路设计要素进行分类，将经过分类的所述单波段图像、所述可见光图像和所述热红外图像合并成具有预设通道的第一图像；
将所述第一图像根据单波段数、可见光波段数和热红外波段数得到若干组不同组合的第二图像，将所述若干组第二图像进行裁剪构建数据集；
将所述数据集中的训练集图像转化为预设数据类型并输入到预设的深度学习网络模型中进行训练，得到训练完备的深度学习网络模型；
将目标区域的待测遥感影像输入到所述训练完备的深度学习网络模型中，提取得到铁路设计要素。
2.根据权利要求1所述的基于深度学习的多模态铁路设计要素遥感特征提取方法，其特征在于，所述铁路设计要素至少包括道路、水系、房屋和植被。
3.根据权利要求1所述的基于深度学习的多模态铁路设计要素遥感特征提取方法，其特征在于，所述预设通道为十一通道，所述第一图像的一到五通道为单波段数据，所述第一图像的六到八通道为可见光数据，所述第一图像的九到十一通道为热红外数据。
4.根据权利要求1所述的基于深度学习的多模态铁路设计要素遥感特征提取方法，其特征在于，将所述第一图像根据单波段数、可见光波段数和热红外波段数得到若干组不同组合的第二图像，将所述若干组第二图像进行裁剪构建数据集，包括：
对所述第一图像进行数据增强，得到单波段、可见光和热红外组合的第二图像；
对所述第二图像进行裁剪，得到数据集，将数据集分为测试集和训练集。
5.根据权利要求4所述的基于深度学习的多模态铁路设计要素遥感特征提取方法，其特征在于，对所述第一图像进行数据增强，得到单波段、可见光和热红外组合的第二图像，包括：
分别根据第一图像单波段数、可见光波段数和热红外波段数制作得到各自图像，将没有数据的通道补0，得到单波段、可见光、热红外、单波段和可见光，单波段和热红外，可见光和热红外，单波段、可见光和可见光共7种组合的第二图像。
6.根据权利要求1所述的基于深度学习的多模态铁路设计要素遥感特征提取方法，其特征在于，将所述第二图像进行裁剪，构建数据集，包括：
随机选所述第二图像中图像边缘超过预设像素的一个点；
以所述点为左上角顶点裁剪出一张所述预设像素乘以所述预设像素的图像及其对应的标签组成数据集；
将所述数据集一部分作为测试集，另一部分作为训练集。
7.根据权利要求1所述的基于深度学习的多模态铁路设计要素遥感特征提取方法，其特征在于，所述将所述数据集中的训练集图像转化为预设数据类型，包括：
使用gdal库中的Open函数读取所述训练集中的图像；
调用Open().ReadAsArray函数将所述训练集中的图像转换为numpy.ndarray类型数据。
8.一种基于深度学习的多模态铁路设计要素遥感特征提取装置，其特征在于，包括：
不同波段图像获取单元，用于对目标区域遥感影像进行预处理，得到目标区域的单波段图像、可见光图像和热红外图像；
多通道图像获取单元，用于选择所述单波段图像、所述可见光图像和所述热红外图像中至少一张图像根据铁路设计要素进行分类，将经过分类的所述单波段图像、所述可见光图像和所述热红外图像合并成具有预设通道的第一图像；
数据集构建单元，将所述第一图像根据单波段数、可见光波段数和热红外波段数得到若干组不同组合的第二图像，将所述若干组所述第二图像进行裁剪构建数据集；
深度学习网络模型构建单元，将所述数据集中的训练集图像转化为预设数据类型输入到预设的深度学习网络模型中进行训练，得到训练完备的深度学习网络模型；
铁路设计要素提取单元，用于将目标区域的待测遥感影像输入到所述训练完备的深度学习网络模型中，提取得到铁路设计要素。
9.一种电子设备，其特征在于，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述权利要求1至7中任意一项所述的基于深度学习的多模态铁路设计要素遥感特征提取方法中的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时能够实现上述权利要求1至7中任意一项所述的基于深度学习的多模态铁路设计要素遥感特征提取方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310130539.8A CN115797788B (zh) | 2023-02-17 | 2023-02-17 | 基于深度学习的多模态铁路设计要素遥感特征提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310130539.8A CN115797788B (zh) | 2023-02-17 | 2023-02-17 | 基于深度学习的多模态铁路设计要素遥感特征提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115797788A true CN115797788A (zh) | 2023-03-14 |
| CN115797788B CN115797788B (zh) | 2023-04-14 |
Family
ID=85431015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310130539.8A Active CN115797788B (zh) | 2023-02-17 | 2023-02-17 | 基于深度学习的多模态铁路设计要素遥感特征提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115797788B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120087645A1 (en) * | 2010-10-12 | 2012-04-12 | Omnivision Technologies, Inc. | Visible and infrared dual mode imaging system |
| CN103412407A (zh) * | 2012-10-20 | 2013-11-27 | 江苏五维电子科技有限公司 | 多谱段图像采集系统 |
| CN108052911A (zh) * | 2017-12-20 | 2018-05-18 | 上海海洋大学 | 基于深度学习的多模态遥感影像高层特征融合分类方法 |
| CN108805861A (zh) * | 2018-04-28 | 2018-11-13 | 中国人民解放军国防科技大学 | 一种基于深度学习的遥感图像云检测方法 |
| CN110956207A (zh) * | 2019-11-22 | 2020-04-03 | 苏州中科天启遥感科技有限公司 | 一种光学遥感影像全要素变化检测方法 |
| CN111428781A (zh) * | 2020-03-20 | 2020-07-17 | 中国科学院深圳先进技术研究院 | 遥感影像地物分类方法及系统 |
| CN112070111A (zh) * | 2020-07-28 | 2020-12-11 | 浙江大学 | 一种适配多波段图像的多目标检测方法和系统 |
| CN112183428A (zh) * | 2020-10-09 | 2021-01-05 | 浙江大学中原研究院 | 一种小麦种植区域分割与产量预测方法 |
| CN112861646A (zh) * | 2021-01-18 | 2021-05-28 | 浙江大学 | 复杂环境小目标识别场景下的卸油工安全帽级联检测方法 |
| CN113569760A (zh) * | 2021-07-29 | 2021-10-29 | 重庆交通大学 | 基于多模态深度学习的三维变化检测方法 |
| CN113610180A (zh) * | 2021-08-17 | 2021-11-05 | 湖南工学院 | 基于深度学习的可见光图像和红外图像融合的船舶分类方法与装置 |
| CN113984772A (zh) * | 2021-10-25 | 2022-01-28 | 浙江大学 | 基于多源数据融合的作物病害信息检测方法、系统及装置 |
| CN114511788A (zh) * | 2022-01-27 | 2022-05-17 | 湖南北斗微芯产业发展有限公司 | 一种坡体裂缝识别方法、系统、设备以及存储介质 |
| CN114612804A (zh) * | 2022-01-28 | 2022-06-10 | 广东省科学院广州地理研究所 | 基于无人机遥感图像的植被检测方法、装置以及设备 |
| CN114882444A (zh) * | 2022-07-01 | 2022-08-09 | 浙江智慧视频安防创新中心有限公司 | 一种图像融合处理方法、设备及介质 |
| CN115082785A (zh) * | 2022-05-30 | 2022-09-20 | 青海大学 | 一种高原鼠兔型退化草甸秃斑特征的判别方法 |
| CN115359411A (zh) * | 2022-10-21 | 2022-11-18 | 成都工业学院 | 一种基于改进DeepLab V3+网络的变电站环境理解方法 |
| CN115564983A (zh) * | 2022-05-20 | 2023-01-03 | 北京理工大学 | 目标检测方法、装置、电子设备、存储介质及其应用 |
-
2023
- 2023-02-17 CN CN202310130539.8A patent/CN115797788B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120087645A1 (en) * | 2010-10-12 | 2012-04-12 | Omnivision Technologies, Inc. | Visible and infrared dual mode imaging system |
| CN103412407A (zh) * | 2012-10-20 | 2013-11-27 | 江苏五维电子科技有限公司 | 多谱段图像采集系统 |
| CN108052911A (zh) * | 2017-12-20 | 2018-05-18 | 上海海洋大学 | 基于深度学习的多模态遥感影像高层特征融合分类方法 |
| CN108805861A (zh) * | 2018-04-28 | 2018-11-13 | 中国人民解放军国防科技大学 | 一种基于深度学习的遥感图像云检测方法 |
| CN110956207A (zh) * | 2019-11-22 | 2020-04-03 | 苏州中科天启遥感科技有限公司 | 一种光学遥感影像全要素变化检测方法 |
| CN111428781A (zh) * | 2020-03-20 | 2020-07-17 | 中国科学院深圳先进技术研究院 | 遥感影像地物分类方法及系统 |
| CN112070111A (zh) * | 2020-07-28 | 2020-12-11 | 浙江大学 | 一种适配多波段图像的多目标检测方法和系统 |
| CN112183428A (zh) * | 2020-10-09 | 2021-01-05 | 浙江大学中原研究院 | 一种小麦种植区域分割与产量预测方法 |
| CN112861646A (zh) * | 2021-01-18 | 2021-05-28 | 浙江大学 | 复杂环境小目标识别场景下的卸油工安全帽级联检测方法 |
| CN113569760A (zh) * | 2021-07-29 | 2021-10-29 | 重庆交通大学 | 基于多模态深度学习的三维变化检测方法 |
| CN113610180A (zh) * | 2021-08-17 | 2021-11-05 | 湖南工学院 | 基于深度学习的可见光图像和红外图像融合的船舶分类方法与装置 |
| CN113984772A (zh) * | 2021-10-25 | 2022-01-28 | 浙江大学 | 基于多源数据融合的作物病害信息检测方法、系统及装置 |
| CN114511788A (zh) * | 2022-01-27 | 2022-05-17 | 湖南北斗微芯产业发展有限公司 | 一种坡体裂缝识别方法、系统、设备以及存储介质 |
| CN114612804A (zh) * | 2022-01-28 | 2022-06-10 | 广东省科学院广州地理研究所 | 基于无人机遥感图像的植被检测方法、装置以及设备 |
| CN115564983A (zh) * | 2022-05-20 | 2023-01-03 | 北京理工大学 | 目标检测方法、装置、电子设备、存储介质及其应用 |
| CN115082785A (zh) * | 2022-05-30 | 2022-09-20 | 青海大学 | 一种高原鼠兔型退化草甸秃斑特征的判别方法 |
| CN114882444A (zh) * | 2022-07-01 | 2022-08-09 | 浙江智慧视频安防创新中心有限公司 | 一种图像融合处理方法、设备及介质 |
| CN115359411A (zh) * | 2022-10-21 | 2022-11-18 | 成都工业学院 | 一种基于改进DeepLab V3+网络的变电站环境理解方法 |
Non-Patent Citations (2)
| Title |
|---|
| QINGWU HU: "A Panorama Image and 3D Laser Point Cloud Integration Approach for Railway Surveying" * |
| 毛庆洲: "铁路钢轨外观与几何状态智能检测关键技术研究" * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115797788B (zh) | 2023-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110414499B (zh) | 文本位置定位方法和系统以及模型训练方法和系统 | |
| CN111898696B (zh) | 伪标签及标签预测模型的生成方法、装置、介质及设备 | |
| Li et al. | A2-FPN for semantic segmentation of fine-resolution remotely sensed images | |
| CN107067003B (zh) | 感兴趣区域边界的提取方法、装置、设备和计算机存储介质 | |
| WO2021009141A1 (en) | Object-based change detection using a neural network | |
| Chen et al. | Building detection in an urban area using lidar data and QuickBird imagery | |
| Zhang et al. | Detecting horizontal and vertical urban growth from medium resolution imagery and its relationships with major socioeconomic factors | |
| Tian et al. | Multiscale building extraction with refined attention pyramid networks | |
| US8855427B2 (en) | Systems and methods for efficiently and accurately detecting changes in spatial feature data | |
| CN111460967A (zh) | 一种违法建筑识别方法、装置、设备及存储介质 | |
| CN113989681B (zh) | 遥感影像变化检测方法、装置、电子设备及存储介质 | |
| CN116468392A (zh) | 一种电网工程项目进度监控方法、装置、设备及存储介质 | |
| Cheng et al. | Multi-scale Feature Fusion and Transformer Network for urban green space segmentation from high-resolution remote sensing images | |
| Sun et al. | Semantic labeling of high-resolution aerial images using an ensemble of fully convolutional networks | |
| CN115797788B (zh) | 基于深度学习的多模态铁路设计要素遥感特征提取方法 | |
| CN116704324A (zh) | 基于水下图像的目标检测方法、系统、设备以及存储介质 | |
| Günen | Fast building detection using new feature sets derived from a very high-resolution image, digital elevation and surface model | |
| CN116721104A (zh) | 实景三维模型缺陷检测方法、装置、电子设备及存储介质 | |
| Touzani et al. | Machine Learning for Automated Extraction of Building Geometry | |
| CN115546569B (zh) | 一种基于注意力机制的数据分类优化方法及相关设备 | |
| Lizarazo | Fuzzy image regions for estimation of impervious surface areas | |
| Yang et al. | Automatic Identification Method of Construction and Demolition Waste Based on Deep Learning and GAOFEN-2 Data | |
| Zhang et al. | A labor-free index-guided semantic segmentation approach for urban vegetation mapping from high-resolution true color imagery | |
| Qiao et al. | Revolutionizing building damage detection: A novel weakly supervised approach using high-resolution remote sensing images | |
| CN112287755A (zh) | 遥感影像中物体识别方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |