CN111144418A - 一种铁路轨道区域分割提取的方法 - Google Patents

一种铁路轨道区域分割提取的方法 Download PDF

Info

Publication number
CN111144418A
CN111144418A CN201911417328.2A CN201911417328A CN111144418A CN 111144418 A CN111144418 A CN 111144418A CN 201911417328 A CN201911417328 A CN 201911417328A CN 111144418 A CN111144418 A CN 111144418A
Authority
CN
China
Prior art keywords
railway
scene
image
along
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911417328.2A
Other languages
English (en)
Other versions
CN111144418B (zh
Inventor
王志鹏
童磊
马慧茹
贾利民
耿毅轩
周莹
秦勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN201911417328.2A priority Critical patent/CN111144418B/zh
Publication of CN111144418A publication Critical patent/CN111144418A/zh
Application granted granted Critical
Publication of CN111144418B publication Critical patent/CN111144418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的一种铁路轨道区域分割提取的方法，首先利用无人机搭载可见光相机采集铁路沿线场景地物图像，并将其制作为数据集，然后构建铁路沿线场景分割模型，并利用制作好的训练集对构建的网络模型进行训练。模型训练完成后，采用测试集中的图像输入到铁路沿线场景分割模型中，可得到相应的分割好的灰度图像LBL，对图像和LBL应用双矩形法，完成轨道区域和相应标签图像的提取；本发明提供的方法能够实现对铁路沿线场景图像中轨道区域的分割提取，而且根据铁路线相对平直的特性，采用双矩形法对轨道区域进行提取一定程度上有利于增加轨道区域分割提取的准确度，在未来无人机巡线条件下，具有明显的应用价值。

Description

一种铁路轨道区域分割提取的方法
技术领域
本发明涉及轨道交通运营安全与保障技术领域，尤其涉及一种铁路轨道区域分割提取的方法。
背景技术
轨道区域是列车运行的核心区域，对该区域的铁路基础设施进行快速有效的检测具有重要意义。近年来，无人机遥感技术有了很大进步，采用无人机对轨道区域设施设备进行定期或不定期的巡检成为一种发展趋势。然而无人机巡检工作中采集的图像视域广阔，内容丰富，分辨率高，于是对这些图像中轨道区域的分割提取成为首要任务。传统对轨道区域基础设施的检测大都采用人工巡线和轨检列车检测的方式，工作效率低且占用轨道运行时间，而实现轨道区域的分割提取将为快速高效的无人机巡检工作奠定基础，有着十分重要的意义。
无人机遥感技术是利用先进的无人驾驶飞行器、遥感传感器技术和遥测遥控等技术，能够实现自动化、智能化、专用化快速获取国土资源、自然环境等空间遥感信息的应用技术。无人机遥感系统因其所具有的灵活、快速、低成本等优势，已在输电线路巡检工作中得以应用，在铁路线路巡检工作中有着极好的应用前景。
全卷积神经网络是一种可以实现图像语义分割的卷积神经网络。该网络作为一种端到端的网络，输出的分割图像具有与原图像相同的分辨率，且分割图像中所有像素点均被分类为预设类别中的一类，且可实现任意大小的输入图像的分割。其主要特征在于将传统卷积神经网络中的全连接层全部转化为卷积层，并通过构建几个上采样层来实现特征图的上采样。对按照不同精度要求采集的不同分辨率大小的无人机遥感图像，该网络有着良好的兼容特性。
发明内容
本发明的实施例提供了一种铁路轨道区域分割提取的方法，用于解决现有技术中存在的问题。
为了实现上述目的，本发明采取了如下技术方案。
一种铁路轨道区域分割提取的方法，包括：
通过无人机获取铁路沿线场景图像，基于该铁路沿线场景图像构建铁路沿线场景语义分割数据集；
构建铁路沿线场景语义分割模型，并利用铁路沿线场景语义分割数据集对构建的铁路沿线场景语义分割模型进行训练，利用训练后的铁路沿线场景语义分割模型对铁路沿线场景图像进行分割，并获得相应的分割预测图像；
基于铁路沿线场景图像和该分割预测图像，获得目标轨道区域图像。
优选地，铁路沿线场景语义分割模型包括相互连接的卷积核与采样层，该卷积核与采样层通过卷积化后的全连接层相互连，卷积化后的全连接层包括多个连续布置的卷积层；
卷积核包括多个卷积层和多个池化层，其中，某个池化层的输出对应某个卷积层的输入；采样层包括多个交替布置的上采样层和融合层，以及一个用于铁路沿线场景语义分割模型输出的Softmax分类器，该Softmax分类器的输入对应某个上采样层的输出；
卷积核中某个卷积层的输出还对应某个融合层的输入。
优选地，利用铁路沿线场景语义分割数据集对构建的铁路沿线场景语义分割模型进行训练包括：
基于已知的深度神经网络模型，通过调整一个或多个层结构以及调整某个层结构的参数，使该深度神经网络模型的任务目标与铁路沿线场景语义分割模型相适应。
优选地，构建铁路沿线场景语义分割模型，并利用铁路沿线场景语义分割数据集对构建的铁路沿线场景语义分割模型进行训练，利用训练后的铁路沿线场景语义分割模型对铁路沿线场景图像进行分割，并获得相应的分割预测图像还包括通过铁路沿线场景语义分割数据集对铁路沿线场景语义分割模型进行训练和评价的子步骤；
通过铁路沿线场景语义分割数据集对铁路沿线场景语义分割模型进行评价的子步骤包括：通过如下函数式
Figure BDA0002351533210000021
Figure BDA0002351533210000031
Figure BDA0002351533210000032
Figure BDA0002351533210000033
对铁路沿线场景语义分割模型进行评价；式中，
Figure BDA0002351533210000034
是类别i所对应的像素数占总的像素数的权重比。
优选地，基于铁路沿线场景图像和该分割预测图像，获得目标轨道区域图像包括：
在分割预测图像中获取与目标场景类别相同的待处理图像区域；
对待处理图像区域进行转换，获得掩膜图像；
通过双矩形法利用掩膜图像从铁路沿线场景图像中提取获得目标轨道图像。
优选地，通过双矩形法利用掩膜图像从铁路沿线场景图像中提取获得目标轨道区域图像包括：
通过如下公式
Figure BDA0002351533210000036
和
Figure BDA0002351533210000035
利用掩膜图像从铁路沿线场景图像中提取获得目标轨道图像；式中，CropM(·)表示对掩膜所表示区域进行剪切。
优选地，通过无人机获取铁路沿线场景图像，基于该铁路沿线场景图像构建铁路沿线场景语义分割数据集包括：
对铁路沿线场景图像进行标注，获得标注图像；
对标注图像进行数据扩充，获得铁路沿线场景语义分割数据集。
优选地，对铁路沿线场景图像进行标注，获得标注图像包括：
从铁路沿线场景图像中获取多个场景特征；
基于场景特征的所属类别，通过彩色标签对场景特征进行标注，获得标注图像；
对标注图像进行数据扩充，获得铁路沿线场景语义分割数据集包括：
通过旋转及水平镜像、亮度变换和剪切变换标注图像进行数据扩充，获得铁路沿线场景语义分割数据集。
由上述本发明的实施例提供的技术方案可以看出，本发明提供的一种铁路轨道区域分割提取的方法，首先利用无人机搭载可见光相机采集铁路沿线场景地物图像，并将其制作为数据集，然后构建铁路沿线场景分割模型，接着采用测试集中的图像输入到铁路沿线场景分割模型中，可得到相应的分割好的灰度图像LBL，对图像和LBL应用双矩形法，完成轨道区域和相应标签图像的提取；本发明提供的方法能够实现对铁路沿线场景图像中轨道区域的分割提取，而且根据铁路线相对平直的特性，采用双矩形法对轨道区域进行提取一定程度上有利于增加轨道区域分割提取的准确度，在未来无人机巡线条件下，具有明显的应用价值。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种铁路轨道区域分割提取的方法的处理流程图；
图2为本发明提供的一种铁路轨道区域分割提取的方法的一种实施例的处理流程图；
图3是铁路沿线场景无人机遥感图像标注示意图；
图4是数据集数据扩充示意图；
图5为本发明提供的一种铁路轨道区域分割提取的方法的铁路沿线场景语义分割模型的架构示意图；
图6是双矩形方法提取示意图；
图7为本发明提供的一种铁路轨道区域分割提取的方法中原始高分辨率图像轨道区域分割提取两种方式的流程图；
图8为本发明提供的一种铁路轨道区域分割提取的方法的测试实施例中图像三个采集地点示意图；
图9是测试集中图像语义分割效果展示图；
图10是测试集中图像轨道区域提取效果展示图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
参见图1，本发明提供的一种铁路轨道区域分割提取的方法，其特征在于，包括：
通过无人机获取铁路沿线场景图像，基于该铁路沿线场景图像构建铁路沿线场景语义分割数据集；
构建铁路沿线场景语义分割模型，并利用铁路沿线场景语义分割数据集对构建的铁路沿线场景语义分割模型进行训练，利用训练后的铁路沿线场景语义分割模型对铁路沿线场景图像进行分割，并获得相应的分割预测图像；
基于铁路沿线场景图像和该分割预测图像，获得目标轨道区域图像。
其中，在第一个步骤中，基于该铁路沿线场景图像构建铁路沿线场景语义分割数据集还包括如下子步骤。
对所获取的铁路沿线场景图像进行筛选；
对铁路沿线场景图像进行标注，获得标注图像；
对标注图像进行数据扩充，获得铁路沿线场景语义分割数据集；
在第一个子步骤中，具体为：在天气状况良好条件下，根据无人机采集到图像的视域范围和分辨率等方面要求，将无人机飞行高度设定在80-200m之间，图像采集完成之后，对所采集到的铁路沿线场景图像进行筛选，将其中重复的、模糊的、角度偏离的一些不适用图像去掉；
在第二个子步骤中，还包括：
从所获取的铁路沿线场景图像中识别出场景特征即各种物体以及背景特征；
基于场景特征的所属类别，通过彩色标签对场景特征进行标注，获得标注图像；在该子步骤中，场景特征的所属类别即物体以及背景特征的自然属性，包括但不限于轨道、道路、植被、建筑物和背景；在标注过程中，可以适当根据图像大小按比例缩放进行标注，以提高标注效率，设定沿水平和竖直方向分别缩放为原采集图像的1/w和1/h；如图3所示，标注好的图像中，采用不同的颜色代表不同的区域类别；黄色代表轨道区域，红色、绿色和蓝色分别代表建筑物、植被和道路，黑色代表背景类别。
在第三个子步骤中，所有图像标注完成后，需要对制作的标注好的数据进行数据扩充(data augmentation)以得到更大规模的铁路沿线场景语义分割数据集。经过数据扩充后，数据集规模可以达到原先标注图像的17倍。其具体实施方式见图4所示，对原始图像和标签图像进行如下操作：
旋转及水平镜像，共8种：分别对原始图像和标注图像进行水平镜像(2种，是、否)×旋转(4种，0°、90°、180°、270°)，其中“否×0°”代表原始图像(铁路沿线场景图像)和原始的标注图像；
亮度变换，共4种：对原始图像以亮度系数0.5，0.8，1.2，1.5下作变换，标注图像保持原始图像的标注不变；
剪切变换，共5种：分别对原始图像和标注图像相对应的左上、左下、中心、右上、右下部分进行剪切，得到新的图像与标注图像；
数据集规模由此变为原始标注图像数量的17倍；将构建完成的按9：1：1的比例分为三个部分：训练集、验证集和测试集；同时为了后续对模型准确度验证上的客观性，尽量保证测试集中的图像采集地点不同于训练集和验证集的采集地点；同时不得不提的是，在模型的训练过程中，将上述彩色标注图像统一转换为灰度图像和原图像输入到网络中进行训练，其中灰度图像中分布有5个不同的范围在0-255的像素值，分别代表5种不同类别。
进一步的，在第二个步骤中，铁路沿线场景语义分割模型基于无人机遥感图像的FCN-8s模型构建，包括相互连接的卷积核与采样层，该卷积核与采样层通过卷积化后的全连接层相互连接，卷积化后的全连接层包括多个连续布置的卷积层；
卷积核包括多个卷积层和多个池化层，其中，某个池化层的输出对应某个卷积层的输入；采样层包括多个交替布置的上采样层和融合层，以及一个用于所述铁路沿线场景语义分割模型输出的Softmax分类器，该Softmax分类器的输入对应某个上采样层的输出；
卷积核中某个卷积层的输出还对应某个融合层的输入。
在一些优选实施例中，如图5所示，其中网络的A-F模块为基于VGG-19分类网络模型改造的图像特征提取部分，主要将VGG-19网络中与图6中模块F对应的三个全连接网络层全部改为卷积层，也就是这里的F1-F3层；
然后构建了3个上采样层和2个特征融合层；3个上采样层将因5次池化而缩减为原输入图像1/32倍大小的特征图(F1-F3)分别上采样为1/16、1/8和1倍大小；2个特征融合层紧跟在前两个上采样层之后，上采样后的特征图都与对应的池化层进行了融合，将低层网络中较为精细的局部特征与高层网络中较为粗糙的全局特征综合考虑进来，实现更为精确的特征分析提取；前两个上采样层中特征图与相应池化层中的特征图有着相同的深度(通道数)，最后一个上采样层深度与本实施例中语义分割任务中图像分割的类别数一致，取为5；
最后，模型的尾部添加了Softmax分类器，该分类器以前一层深度为5的上采样后的特征图为输入，通过对每个像素点处特征值向量进行不同类别的概率值求取，实现对图像中每个像素点的分类；针对预先设定好的取值为0-4共5个不同类别，分别给出像素点取不同类别的概率值，取概率值最大的类别为相应像素点的最终划分类别，实现图像的语义分割；
在图5中，对模块A-F来说，括号中的元素分别代表相应模块中卷积层的数量和特征图深度，后续的上采样层和融合层相应标注了特征图深度。
更进一步的，在一些优选实施例中，利用铁路沿线场景语义分割数据集对构建的铁路沿线场景语义分割模型进行训练的过程采用迁移训练的方式实现，一般来说，从零开始训练一个深度神经网络并不可行，主要因为模型的训练一般需要足够大的数据集，而且即便足够大的数据集训练过程也可能消耗太长的时间。即使花费的时间并不很长或者需要的数据集不那么大，从一个预训练模型开始训练比从随机初始化的权重开始训练要有效的多。这便是迁移学习，从一个预训练模型开始不断地微调模型中的权重参数是迁移学习的一种主要的方式。
因为迁移学习主要利用已有的训练好的网络中的参数，而已有的网络模型与实际任务中的模型有着一定的区别，这时只要利用已有网络模型中需要的部分，而通过自己构建一些别的层来进行微调。一般情况下是将已有模型的高层结构去除，因为低层结构的参数中通常含有一些多数模型通用的特征。除此之外，在进行迁移学习时选择合适的学习率也十分重要，一般选择较小的学习率，如10-4～10-6。
由于语义分割数据集在创建时存在的固有困难，通常语义分割数据集比起图像分类数据集要小得多。正因为如此，从预训练模型上通过微调来实现迁移学习也成为了语义分割任务中一个普遍的趋势，有着极为广泛的应用。
在本发明提供的优选实施例中，便利用了在公开大规模图像数据集ImageNet上已训练好的可供下载使用的VGG-19网络参数模型，通过改造VGG-19的全连接层为卷积层，以及随机初始化新构建的其他的高层结构(如上采样层等)，完成铁路沿线场景分割网络模型中的参数的初始化。在之后的训练过程中选择较低的学习率，通过不断微调网络中的参数，尤其是随机初始化的高层参数，最终完成模型的训练。
训练过程中，可以根据实际需要设定模型的超参数，如Batch Size，LearningRate，Iterations No.等。模型训练过程中采用的深度学习框架、Dropout值的选取、损失函数的选取和和优化器的选取也需要提前选取。其中，损失函数一般选取交叉熵损失函数作为网络目标函数。
同时值得注意的是，在实际训练过程中，采用训练集中的数据对模型进行训练，采用验证集中的数据对模型进行损失值评价，模型训练到损失值能保持长期稳定为止。
更进一步的，在一些优选实施例中，模型训练完成后，还包括对模型预测的准确率进行评价；在本实施例中，采用PA、MPA、MIoU和FWIoU四种函数对模型进行全方位的评价，其中MIoU是语义分割任务的标准度量；假设对每个像素而言有k+1个类别(从C0到Ck，其中包含背景类别C0)，pij表示本属于类别i，被预测为类别j的像素的数量；特别地，pii表示被正确预测的属于类别i的像素的数量，其中i,j∈{0,1,…,k}；计算公式分别如下：
Figure BDA0002351533210000091
Figure BDA0002351533210000092
Figure BDA0002351533210000093
Figure BDA0002351533210000094
式中，
Figure BDA0002351533210000095
是类别i所对应的像素数占总的像素数的权重比；
根据相关研究测试，采用标准度量MIoU作为评价标准，FCN-8s模型可达到的准确率约为56％；在对训练好的模型完成准确度评价后，在认可其准确度的条件下，进行下一步工作。
进一步的，上述的基于铁路沿线场景图像和该分割预测图像，获得目标轨道区域图像的步骤具体包括用测试集中的图像IMG(或无人机在原图像采集点一定范围内新采集到的图像)输入到训练好的铁路沿线场景语义分割模型中，可得到相应的分割好的灰度图像LBL(分割预测图像)；对图像IMG和LBL应用双矩形法，完成轨道区域和相应标签图像的提取；进一步可分为以下两部分：
(1)FCN-8s对轨道区域进行分割
随机选取测试集中的原始图像IMG(铁路沿线场景图像)，(或者采用无人机在原图像采集点一定范围内新采集到的图像，可以考虑先像数据集中图像一样先缩放为较小分辨率的图像)，将其输入到分割模型中，得到分割预测后的灰度图像LBL，并设定数据集中图像在水平和垂直方向上的缩放倍数为w和h，即原始采集图像在水平和垂直方向上的分辨率分别缩放为原来的1/w和1/h；
(2)双矩形法对轨道区域进行提取
由(1)中得到的预测图像LBL中，可能会有多个类别为“轨道”的像素点集中区域，比如对于由绿色隔离带隔开的普速铁路和高速铁路并行的区间里，理论上至少有2个这样的集中区域；采用双矩形法分别对这些区域进行有效的提取，见图7所示，首先给出如下相关定义：
正(绿)矩形区域：两对边分别沿水平、竖直方向，且能将LBL中类别为“轨道”的某个像素点集中区域包含在内而且面积最小的矩形区域；
偏(红)矩形区域：两对边不分别沿水平、竖直方向，且能将LBL中类别为“轨道”的某个像素点集中区域包含在内而且面积最小的矩形区域；
掩膜(mask)：与原始图像IMG分辨率一致的图，且该图中仅特定区域灰度值为1，其他区域灰度值均为0；
“×”运算：定义在大小相同的两个图像之间，运算后得到相同大小的图像，运算方式为，两个图像对应位置的像素值直接相乘得到新图像在该位置处的值。
基于上述原理，获得目标轨道图像包括如下子步骤：
在所述分割预测图像中获取与目标场景类别相同的待处理图像区域；
对待处理图像区域进行转换，获得掩膜图像；
通过双矩形法利用掩膜图像从铁路沿线场景图像中提取获得目标轨道图像。
具体过程为：
设定在LBL中，共有N个类别为“轨道”的像素点集中区域，用i表示其中第i个集中区域，MGi表示正(绿)矩形区域对应的掩膜，MRi表示偏(红)矩形区域对应的掩膜，LBL中属于“轨道”类别的像素点所对应掩膜为MLR，则与第i个集中区域相对应的目标子图objgraph和目标子标签objlabel可分别通过如下公式得到，其具体过程见图6所示：
Figure BDA0002351533210000101
Figure BDA0002351533210000102
其中，CropM(·)表示对掩膜所表示区域进行剪切；因为前述共有像素点共有5种不同类别，MLR表示其中属于“轨道”类别的像素点所对应掩膜，当前述分类中只取两种分类类别：“背景”0和“轨道”1时，则标签图像LBL中像素值为0或1，此时有MLR×LBL＝MLR＝LBL成立；上述求得的目标子图objgraph和目标子标签objlabel便是最终从IMG中所提取的轨道区域和从LBL中提取的轨道区域的标签。
在本发明提供的优选实施例中，上述通过无人机获取铁路沿线场景图像，基于该铁路沿线场景图像构建铁路沿线场景语义分割数据集的步骤中，铁路沿线场景语义分割数据集中所有铁路沿线场景图像均沿水平和竖直方向分别缩放为原采集图像的1/w和1/h，现若想得到原始高分辨率采集图像的轨道区域分割图像，可采用两种方式，如图7所示：
方式一，先将以上步骤中得到的所有掩膜图像沿着水平和竖直方向分别扩充为原采集图像的w和h倍，之后再应用上述双矩形法对铁路沿线场景图像的轨道区域分割图像；
方式二，也可以将未经过缩放的原始采集的铁路沿线场景图像直接输入到训练好的模型中进行分割预测，则可直接采用原始采集图像和相应掩模图像应用前述双矩形法，而不用先对相关掩膜进行扩充。
本发明还提供一个实施例，用于示例性地显示使用本发明提供的方法进行实地场景采集测试。
本实例选择了京沪高铁廊坊段3个指定区域A、B和C进行图像采集工作，图像采当天天气状况良好，采集到的图像分辨率均为3648×5472，如图6所示，图中图像采用方形以方便展示。本文采用这些图像训练了铁路沿线场景分割模型，并对模型进行了评价，采用模型进行了轨道区域的分割，并最终利用双矩形法实现了轨道区域的提取。
步骤一、构建铁路沿线场景语义分割数据集
从筛选出来的430图片中选择220张用来制作铁路沿线场景语义分割数据集，其中用采集自A、B两地的200张用于构建训练集和验证集，采集自C地的20张用于构建测试集。在所采集的图像中，如图3所示，既包含了高铁线，也包含普速铁路线。为提高标注效率，将所有原始图像按比例缩放为512×768，所有图像的标注均采用图像标注工具LabelMe来实现。
见图4所示，利用数据扩充技术可以将数据集扩充到原数据集大小的17倍。最终构建的可得训练集3060张，训练集340张，测试集340张。图中图像采用方形以方便展示。
步骤二、采用训练集对构建铁路沿线场景分割网络FCN-8S进行训练，对训练完成的网络进行准确度评价。
在对模型进行训练前，先下载了在IMAGENET上已训练好的VGG-19模型作为预训练模型，去除其高层结构参数，同时加入新的高层结构构建FCN-8S网络模型。
模型训练过程中采用了如下的超参数：
表1模型训练超参数
Figure BDA0002351533210000121
本文的训练过程在NVIDIA RTX 2080GPU上完成，所有的实验均在TensorFlow深度学习框架进行，训练模型参数直到损失函数收敛，使用了交叉熵损失函数作为网络目标函数。在Batch Size为2的输入模式下，总的损失值为所有图像中全部像素点处损失值的和。模型的训练过程采用了Adam优化器，同时在网络的每个卷积层中采用了15％的丢失率(dropout)。
采用测试集中图像对模型的准确率进行评价。结果如下：
表2测试集上交叉验证评价结果
Figure BDA0002351533210000122
表3测试集不同类别评价结果
Figure BDA0002351533210000123
由于测试集中的图像采集地点(C地)不同于训练集和验证集的采集地点(A地与B地)，对模型的评价更具客观性和准确性。测试集上模型准确率各项评价指标再表2中给出，其中标准度量MIOU为55.8％，接近于相关模型本身可达到的MIOU准确率水平56％。从表3中可以看出，在测试集上轨道区域的IOU值相比其他类别的IOU值要大的多，保持了较高水平，这客观真实地说明了模型对于轨道区域分割能力相比其他类别要好。以上说明所构建模型对轨道区域的分割效果符合预期效果，预测效果图见图9。
步骤三、采用测试集中的图像输入到训练好的分割模型中，得到相应预测标签图像，对其应用双矩形法提取轨道区域。
采用的测试集中的图像，利用以上模型和方法对轨道区域进行分割提取，轨道区域的提取效果见图10。
根据实验结果可以看出，基于无人机遥感图像的轨道区域提取方法可实现高效的轨道区域的分割提取。可见本发明的方法能够实现对铁路沿线场景图像中轨道区域的分割提取，而且根据铁路线相对平直的特性，采用双矩形法对轨道区域进行提取一定程度上有利于增加轨道区域分割提取的准确度，在未来无人机巡线条件下，具有明显的应用价值。
综上所述，本发明提供的一种铁路轨道区域分割提取的方法，首先利用无人机搭载可见光相机采集铁路沿线场景地物图像，并将其制作为数据集，然后构建铁路沿线场景分割模型，接着采用测试集中的图像输入到铁路沿线场景分割模型中，可得到相应的分割好的灰度图像LBL，对图像和LBL应用双矩形法，完成轨道区域和相应标签图像的提取；本发明提供的方法，具有如下优点：
(1)轨道区域是列车运行的核心区域，利用无人机对该区域进行有效的分割和提取是未来对关键基础设施(如轨道)进行监测检测的基础和前提工作，相比与人工和轨检车，采用无人机对轨道区域进行监测和检测具有快速、高效和低成本等多种优点，且在工作过程中不影响铁路线的正常运行；
(2)采用数据扩充技术，将原始人工标注数据扩充为原来的17倍，大大降低了了无人机采集图像构建数据集在数量上的要求，同时可抑制模型在训练数据集上的过拟合现象，提高模型的泛化能力，并提高工程中不同操作条件下对轨道区域分割的适应性和准确度；
(3)所构建分割网络模型可实现端到端的图像分割，直接输入任何分辨率大小的铁路沿线场景图像即可实现轨道区域的分割，无需事先对图像特征进行提取，可兼容无人机不同设定飞行高度下采集到的不同分辨率大小的图像，故能满足不同精度条件下的工程要求。
(4)根据双矩形法提取分割图像中轨道区域的特点，只需要较低分辨率的分割图像来提取矩形轨道区域，即可还原回原分辨率图像中的轨道区域，这意味着标注过程可以采用一定比例下的低分辨率图像，以避免标注过程中因图像分辨率过高而经常出现的卡顿情况，提高标注效率。同时双矩形法具有天然的优势，十分适合相对平直的轨道区域的提取。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种铁路轨道区域分割提取的方法，其特征在于，包括：
通过无人机获取铁路沿线场景图像，基于该铁路沿线场景图像构建铁路沿线场景语义分割数据集；
构建铁路沿线场景语义分割模型，并利用铁路沿线场景语义分割数据集对构建的铁路沿线场景语义分割模型进行训练，利用训练后的铁路沿线场景语义分割模型对铁路沿线场景图像进行分割，并获得相应的分割预测图像；
基于铁路沿线场景图像和该分割预测图像，获得目标轨道区域图像。
2.根据权利要求1所述的方法，其特征在于，所述铁路沿线场景语义分割模型包括相互连接的卷积核与采样层，该卷积核与采样层通过卷积化后的全连接层相互连，卷积化后的全连接层包括多个连续布置的卷积层；
卷积核包括多个卷积层和多个池化层，其中，某个池化层的输出对应某个卷积层的输入；采样层包括多个交替布置的上采样层和融合层，以及一个用于所述铁路沿线场景语义分割模型输出的Softmax分类器，该Softmax分类器的输入对应某个上采样层的输出；
卷积核中某个卷积层的输出还对应某个融合层的输入。
3.根据权利要求2所述的方法，其特征在于，所述的利用铁路沿线场景语义分割数据集对构建的铁路沿线场景语义分割模型进行训练包括：
基于已知的深度神经网络模型，通过调整一个或多个层结构以及调整某个层结构的参数，使该深度神经网络模型的任务目标与所述铁路沿线场景语义分割模型相适应。
4.根据权利要求2所述的方法，其特征在于，所述的构建铁路沿线场景语义分割模型，并利用铁路沿线场景语义分割数据集对构建的铁路沿线场景语义分割模型进行训练，利用训练后的铁路沿线场景语义分割模型对铁路沿线场景图像进行分割，并获得相应的分割预测图像还包括通过所述铁路沿线场景语义分割数据集对所述铁路沿线场景语义分割模型进行训练和评价的子步骤；
所述的通过所述铁路沿线场景语义分割数据集对所述铁路沿线场景语义分割模型进行评价的子步骤包括：通过如下函数式
Figure FDA0002351533200000021
Figure FDA0002351533200000022
Figure FDA0002351533200000023
Figure FDA0002351533200000024
对所述铁路沿线场景语义分割模型进行评价；式中，
Figure FDA0002351533200000025
是类别i所对应的像素数占总的像素数的权重比。
5.根据权利要求2所述的方法，其特征在于，所述的基于铁路沿线场景图像和该分割预测图像，获得目标轨道区域图像包括：
在所述分割预测图像中获取与目标场景类别相同的待处理图像区域；
对待处理图像区域进行转换，获得掩膜图像；
通过双矩形法利用掩膜图像从铁路沿线场景图像中提取获得目标轨道图像。
6.根据权利要求5所述的方法，其特征在于，所述的通过双矩形法利用掩膜图像从铁路沿线场景图像中提取获得目标轨道区域图像包括：
通过如下公式
Figure FDA0002351533200000026
和
Figure FDA0002351533200000027
利用掩膜图像从铁路沿线场景图像中提取获得目标轨道图像；式中，CropM(·)表示对掩膜所表示区域进行剪切。
7.根据权利要求1至6任一所述的方法，其特征在于，所述的通过无人机获取铁路沿线场景图像，基于该铁路沿线场景图像构建铁路沿线场景语义分割数据集包括：
对铁路沿线场景图像进行标注，获得标注图像；
对标注图像进行数据扩充，获得铁路沿线场景语义分割数据集。
8.根据权利要求7所述的方法，其特征在于，所述的对铁路沿线场景图像进行标注，获得标注图像包括：
从铁路沿线场景图像中获取多个场景特征；
基于场景特征的所属类别，通过彩色标签对场景特征进行标注，获得标注图像；
所述的对标注图像进行数据扩充，获得铁路沿线场景语义分割数据集包括：
通过旋转及水平镜像、亮度变换和剪切变换标注图像进行数据扩充，获得铁路沿线场景语义分割数据集。
CN201911417328.2A 2019-12-31 2019-12-31 一种铁路轨道区域分割提取的方法 Active CN111144418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911417328.2A CN111144418B (zh) 2019-12-31 2019-12-31 一种铁路轨道区域分割提取的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911417328.2A CN111144418B (zh) 2019-12-31 2019-12-31 一种铁路轨道区域分割提取的方法

Publications (2)

Publication Number Publication Date
CN111144418A true CN111144418A (zh) 2020-05-12
CN111144418B CN111144418B (zh) 2022-12-02

Family

ID=70522846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911417328.2A Active CN111144418B (zh) 2019-12-31 2019-12-31 一种铁路轨道区域分割提取的方法

Country Status (1)

Country Link
CN (1) CN111144418B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860137A (zh) * 2020-06-09 2020-10-30 北京航空航天大学 一种基于视觉的轨道道岔识别方法
CN113160219A (zh) * 2021-05-12 2021-07-23 北京交通大学 用于无人机遥感图像的实时铁路场景解析方法
CN113705476A (zh) * 2021-08-30 2021-11-26 国网四川省电力公司营销服务中心 一种基于神经网络的现场作业违章行为分析方法及系统
CN113807354A (zh) * 2020-12-29 2021-12-17 京东科技控股股份有限公司 图像语义分割方法、装置、设备和存储介质
CN114581861A (zh) * 2022-03-02 2022-06-03 北京交通大学 一种基于深度学习卷积神经网络的轨道区域识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710863A (zh) * 2018-05-24 2018-10-26 东北大学 基于深度学习的无人机航拍场景语义分割方法及系统
CN108875596A (zh) * 2018-05-30 2018-11-23 西南交通大学 一种基于dssnn神经网络的铁路场景图像语义分割方法
CN109145983A (zh) * 2018-08-21 2019-01-04 电子科技大学 一种基于轻量化网络的实时场景图像语义分割方法
CN109840471A (zh) * 2018-12-14 2019-06-04 天津大学 一种基于改进Unet网络模型的可行道路分割方法
CN109872328A (zh) * 2019-01-25 2019-06-11 腾讯科技（深圳）有限公司 一种脑部图像分割方法、装置和存储介质
CN109886161A (zh) * 2019-01-30 2019-06-14 江南大学 一种基于可能性聚类和卷积神经网络的道路交通标识识别方法
CN109903257A (zh) * 2019-03-08 2019-06-18 上海大学 一种基于图像语义分割的虚拟头发染色方法
CN109993082A (zh) * 2019-03-20 2019-07-09 上海理工大学 卷积神经网络道路场景分类与道路分割方法
CN110006435A (zh) * 2019-04-23 2019-07-12 西南科技大学 一种基于残差网络的变电站巡检机器人视觉辅助导航方法
CN110009573A (zh) * 2019-01-29 2019-07-12 北京奇艺世纪科技有限公司 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710863A (zh) * 2018-05-24 2018-10-26 东北大学 基于深度学习的无人机航拍场景语义分割方法及系统
CN108875596A (zh) * 2018-05-30 2018-11-23 西南交通大学 一种基于dssnn神经网络的铁路场景图像语义分割方法
CN109145983A (zh) * 2018-08-21 2019-01-04 电子科技大学 一种基于轻量化网络的实时场景图像语义分割方法
CN109840471A (zh) * 2018-12-14 2019-06-04 天津大学 一种基于改进Unet网络模型的可行道路分割方法
CN109872328A (zh) * 2019-01-25 2019-06-11 腾讯科技（深圳）有限公司 一种脑部图像分割方法、装置和存储介质
CN110009573A (zh) * 2019-01-29 2019-07-12 北京奇艺世纪科技有限公司 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN109886161A (zh) * 2019-01-30 2019-06-14 江南大学 一种基于可能性聚类和卷积神经网络的道路交通标识识别方法
CN109903257A (zh) * 2019-03-08 2019-06-18 上海大学 一种基于图像语义分割的虚拟头发染色方法
CN109993082A (zh) * 2019-03-20 2019-07-09 上海理工大学 卷积神经网络道路场景分类与道路分割方法
CN110006435A (zh) * 2019-04-23 2019-07-12 西南科技大学 一种基于残差网络的变电站巡检机器人视觉辅助导航方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIFENG DAI等: "BoxSup: Exploiting Bounding Boxes to Supervise Convolutional Networks for Semantic Segmentation", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
韩浩: "结合FCN与条件随机场的道路场景分割模型的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860137A (zh) * 2020-06-09 2020-10-30 北京航空航天大学 一种基于视觉的轨道道岔识别方法
CN111860137B (zh) * 2020-06-09 2022-12-23 北京航空航天大学 一种基于视觉的轨道道岔识别方法
CN113807354A (zh) * 2020-12-29 2021-12-17 京东科技控股股份有限公司 图像语义分割方法、装置、设备和存储介质
CN113807354B (zh) * 2020-12-29 2023-11-03 京东科技控股股份有限公司 图像语义分割方法、装置、设备和存储介质
CN113160219A (zh) * 2021-05-12 2021-07-23 北京交通大学 用于无人机遥感图像的实时铁路场景解析方法
CN113160219B (zh) * 2021-05-12 2023-02-07 北京交通大学 用于无人机遥感图像的实时铁路场景解析方法
CN113705476A (zh) * 2021-08-30 2021-11-26 国网四川省电力公司营销服务中心 一种基于神经网络的现场作业违章行为分析方法及系统
CN114581861A (zh) * 2022-03-02 2022-06-03 北京交通大学 一种基于深度学习卷积神经网络的轨道区域识别方法
CN114581861B (zh) * 2022-03-02 2023-05-23 北京交通大学 一种基于深度学习卷积神经网络的轨道区域识别方法

Also Published As

Publication number Publication date
CN111144418B (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
CN111144418B (zh) 一种铁路轨道区域分割提取的方法
CN109934163B (zh) 一种基于场景先验和特征再融合的航空图像车辆检测方法
Yang et al. Building extraction at scale using convolutional neural network: Mapping of the united states
Wieland et al. Estimating building inventory for rapid seismic vulnerability assessment: Towards an integrated approach based on multi-source imaging
CN108647585A (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
CN111598030A (zh) 一种航拍图像中车辆检测和分割的方法及系统
CN113255589B (zh) 一种基于多卷积融合网络的目标检测方法及系统
CN111832489A (zh) 一种基于目标检测的地铁人群密度估计方法及系统
CN113688836A (zh) 一种基于深度学习的实时性道路图像语义分割方法及系统
US20220366682A1 (en) Computer-implemented arrangements for processing image having article of interest
CN111640116B (zh) 基于深层卷积残差网络的航拍图建筑物分割方法及装置
CN111209894A (zh) 道路航拍图像的路边违章建筑识别方法
CN103778616A (zh) 基于区域的对比度金字塔图像融合方法
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN112766409A (zh) 一种遥感图像目标检测的特征融合方法
CN114820655A (zh) 可靠区域作为注意力机制监督的弱监督建筑物分割方法
CN114089786A (zh) 一种基于无人机视觉的沿山区公路自主巡检系统
CN111832616A (zh) 利用多类深度表示图的遥感图像飞机型号识别方法及系统
CN111368775A (zh) 一种基于局部上下文感知的复杂场景密集目标检测方法
CN114067245A (zh) 一种铁路外部环境隐患识别方法及系统
CN113111740A (zh) 一种遥感图像目标检测的特征编织方法
CN112288702A (zh) 一种基于车联网的道路图像检测方法
CN114550016B (zh) 一种基于上下文信息感知的无人机定位方法及系统
CN111726535A (zh) 基于车辆感知的智慧城市cim视频大数据画质控制方法
CN114494893B (zh) 基于语义重用上下文特征金字塔的遥感图像特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant