CN115170989A - 一种基于强化特征提取的轨道分割方法 - Google Patents

一种基于强化特征提取的轨道分割方法 Download PDF

Info

Publication number
CN115170989A
CN115170989A CN202210728626.9A CN202210728626A CN115170989A CN 115170989 A CN115170989 A CN 115170989A CN 202210728626 A CN202210728626 A CN 202210728626A CN 115170989 A CN115170989 A CN 115170989A
Authority
CN
China
Prior art keywords
track
pictures
resnet50
network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210728626.9A
Other languages
English (en)
Inventor
张煜菲
袁锦辉
李邺
尤新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Net New Intelligent Technology Co ltd
Original Assignee
Zhejiang Net New Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Net New Intelligent Technology Co ltd filed Critical Zhejiang Net New Intelligent Technology Co ltd
Priority to CN202210728626.9A priority Critical patent/CN115170989A/zh
Publication of CN115170989A publication Critical patent/CN115170989A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Remote Sensing (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于强化特征提取的轨道分割方法，采集轨道图片后经深度学习网络模型进行处理，深度学习网络模型参照resnet50和Unet网络设计出了混合改进网络模型，在该混合改进网络模型中，轨道图片分为原图和标注图，原图和标注图按照设定比例随机分配分成训练集和测试集；并且resnet50中加入聚合模块和BAM注意力机制，通过聚合模块，聚合遥感图像空间信息，获得分类内和类间的上下文关系，再通过BAM注意力机制使网络学习到轨道部分的特征值。本发明采用resnet50与Unet的结合网络，能更好的结合图像的背景语义信息，进行多尺度的分割，且使得Unet网络更好的运用于其他数据集。

Description

一种基于强化特征提取的轨道分割方法
技术领域
本发明属于轨道交通技术领域，具体涉及轨道分割技术。
背景技术
铁路在长期的运行过程中，轨道不仅受自然条件的影响，还有火车车辆的动力作用对铁路的影响。上述所说对铁路的影响因素可能会损害轨道，从而降低铁路运输的安全性，会对运输效率和人们出行造成一定不良影响，所以及时对铁路轨道进行维修和养护至关重要。
由于铁路数量众多，若单单依靠人工进行维护和修养会导致运作效率低下，且人工维护劳动强度大，工人本身的身体素质和技术素质也成为了影响因素，无法做到高效率维修。针对这一点，近年来无人机遥感技术有了很大进步，采用无人机对轨道区域进行定期或不定期的巡检成为一种发展趋势。但同时无人机遥感技术也存在缺点，它采集的图像涉及的视野范围广，内容丰富，分辨率高，且对铁路的维修种类复杂，包括改善轨枕、道床、道岔、路基以及道口的状态等，这些就要求技术人员可以精确的分割出铁路轨道部分，这样才能做到及时发现问题并对轨道损害部分进行维修和养护。
对轨道分割这一需求来说就属于深度学习图像语义分割领域。目前在图像分割方面较为经典的就是卷积神经网络模型。王志鹏，童磊等人提出了一种铁路轨道区域分割提取方法，首先用无人机搭载可见光相机采集铁路沿线场景地物图像，并将其作为数据集，然后构建铁路沿线场景分割模型，并将训练集放入模型进行训练。模型训练完成后，采用测试集中的图像输入到铁路沿线场景分割模型中，得到相应的分割好的灰度图像LBL，对图像和LBL应用双矩形法，完成轨道区域和相应标签图像的提取。黄永祯，赵晟初等人提出了一种轨面语义分割方法，将获取的轨道图像输入至预先训练好的轨面语义分割模型中，获取所述轨道图像中每个像素点对应的分类概率，所述分类概率用于表征每个像素点是轨面特征的概率，根据所述轨道图像中每个像素点对应的分类概率和预设分类概率阈值，得到所述轨道图像的轨面分割图像。
但是单纯的卷积网络不能精确的分割出轨道边缘，并且对轨道的分割存在空缺现象，对于图像中较远处部分不能精确分割。并且无人机遥感技术的成像会受到天气，光线遮挡物等等的影响，这对于图像分割来说都是难点。
发明内容
针对现有技术的缺陷，本发明所要解决的技术问题就是提供一种基于强化特征提取的轨道分割方法，提高轨道图片分割精度。
为解决上述技术问题，本发明采用如下技术方案：
一种基于强化特征提取的轨道分割方法，采集轨道图片后经深度学习网络模型进行处理，所述深度学习网络模型参照resnet50和Unet网络设计出了混合改进网络模型，在该混合改进网络模型中，轨道图片分为原图和标注图，原图和标注图按照设定比例随机分配分成训练集和测试集；并且所述resnet50中加入聚合模块和BAM注意力机制，通过聚合模块，聚合遥感图像空间信息，可获得分类内和类间的上下文关系，再通过BAM注意力机制使网络学习到轨道部分的特征值。
优选的，原图和标注图按照9：1或8:2的比例随机分配分成训练集和测试集。
优选的，以resnet50为主干模型，加上Unet的上采样部分构成resnet50与Unet的混合改进网络模型。
本发明从提高轨道图像分割精度角度出发，提出了一种在混合网络中加入注意力机制和聚合模块的铁路轨道分割方法。具有如下有益效果：
1、本发明采用resnet50与Unet的结合网络，能更好的结合图像的背景语义信息，进行多尺度的分割，且使得Unet网络更好的运用于其他数据集。
2、在网络中加入注意力机制模块可以使网络更好的关注到想要提取的特征部分。
3、在算法效率方面，结合聚合模块可以使得网络加深特征提取，在相同感受野的前提下还减少了计算量，进一步增强了算法的运行速度。
4、针对于不同光线，不同天气条件，遮挡物等对图片的影响，注意力机制和聚合模块相结合可以降低这些因素对图片分割的影响，提升算法的分割精度。
本发明的具体技术方案及其有益效果将会在下面的具体实施方式中结合附图进行详细的说明。
附图说明
下面结合附图和具体实施方式对本发明作进一步描述：
图1为本发明注意力机制示意图；
图2为本发明聚合模块结构图；
图3为本发明聚合模块感受野示意图；
图4为本发明网络模型图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1至图4所示,本发明实施例提供了一种基于强化特征提取的轨道分割方法，目前的方法是采集轨道图片后经深度学习网络模型进行处理。由于车载视频采集的图像有内容丰富，范围广等特点，所以对于单纯的resnet50或Unet网络来说，无法对轨道图片进行高精度分割，且Unet网络主要用于医疗图像分割领域。因此，为了提高轨道图片分割精度，本发明采用resnet50与Unet的结合网络模型，在resnet50与Unet的结合网络模型中，轨道图片分为原图和标注图，原图和标注图按照设定比例随机分配分成训练集和测试集；并且所述resnet50中加入聚合模块和BAM(双向注意力机制)。
本发明中的深度学习网络是以resnet50为主干模型，加上Unet的上采样部分成为主要模型，在此基础上在resnet50中加入了BAM注意力机制和聚合模块，这构成了本发明完整的图像语义分割模型。
相比于传统unet主干网络，采用resnet50作为主干网络，可以拥有更多的网络深度，可以挖掘更多的语义信息，适合更多复杂的环境。resnet50模型包括卷积，归一化，激活函数，最大池化层等，其中最重要的是Conv Block和Identity Block这两个板块，图4中展示了这两个板块的构造。本发明在resnet50的layer2层之后加入了聚合模块和BAM，这两个模块的结合使得特征图经过聚合模块之后区分类内和类间的上下文关系后再经过注意力机制可以使网络更加有效地学习到轨道部分的特征值。结合残差网络的跳跃连接，本发明在经过若干轨道视频数据集实验测试，取得较好的分割结果。
使用resnet50为backbone的原因如下：
1、加深网络层数，提高了网络的分割精度；
2、网络中间可以添加更多的跳转连接，这样就能更好的结合图像的背景语义信息，进行多尺度的分割；
3、ResNet具有快速收敛，减小模型数据量的优势；
4、ResNet使得模型更加的容易训练，既能防止模型退化，又能防止梯度消失，loss不收敛。
由于resnet50不是轻量级网络，随着网络层数的增加图片丢失的特征就会越多，这对图片分割的精度有一定的影响，本发明在此基础上引入BAM注意力机制和聚合模块使得网络更准确的识别想要分割出的特征部分。
如图1所示，这是本发明加入的注意力机制：从图中可以看出，该注意力机制分为通道注意力和空间注意力，在通道和空间中又分为宽度和深度的特征提取，通道注意力在前，空间注意力在后。当一张特征图输入后，首先进入通道注意力，根据输入特征图的宽高和通道数，首先分别对水平方向和垂直方向进行通道池化，再进行一个7*7的卷积操作，然后通过Sigmoid函数获得归一化注意力权重，最后通过乘法逐通道加权到原始输入特征图上，完成通道注意力对原始特征的重新标定。公式如下所示。
Figure BDA0003711826470000051
通道注意力之后再进入空间注意力机制，基于输入的特征图A的宽高和通道数进行水平和垂直方向上的GAP,GMP，再经过池化和激活函数，最后经过1*1卷积使特征图提升为原来的维度，并将两个方向上的特征图进行结合，最后再和特征图A进行融合，从而在空间和通道两个维度上完成对特征图的重标定。
选用BAM注意力机制的原因如下：
注意力机制的主要作用是使得模型可以自动着重关注图像中较为重要位置和内容，目前许多深度神经网络都使用注意力机制来优化模型。目前的注意力机制有SENET，CBAM等注意力机制，它通过2D全局池化来计算通道注意力，在一些轻量级网络中发挥了作用，效果有显著提升，但是这类注意力机制只考虑了通道间信息的编码而忽略了位置信息的重要性。
但是如果之有位置信息而忽略通道间的信息也同样是不可行的，相比于SENET通道注意力机制，BAM注意力机制同时注意了通道和空间信息，在本数据集上，BAM注意力机制的效果比SENET注意力机制取得的效果要好。
如图2和图3所示，这是本发明加入的聚合模块结构图和聚合模块感受野：
从图中可以看出，本发明的聚合模块将一个k*k卷积变成一个k*1卷积和一个1*k卷积，也就是所说的空间可分离卷积。它一方面在空间上进行聚合，另一方面在深度维度上进行聚合，再将两个方向上的内容结合在一起，这样就可以做到对空间和深度维度上的聚合，就很好的帮助模型区分类内和类间的上下文信息。从图中(右)可以看出，在感受野不变的前提下(k*k)减少了k/2的计算量，从而提升模型分割效率。
聚合模块的加入也对网络加入了先验知识，让模型知道应该着重提取轨道这部分的像素特征，减少其它像素的特征提取，这样可以让模型更好的学习到轨道部分，也就提升了分割精度。
选用本发明中的聚合模块原因如下：
对语义分割来说上下文相关性是十分重要的，只有充分捕获了上下文信息才能获得更精准的分割结果。但是目前的聚合上下文信息的方法关注的都是相同类别的上下文关系，很少有区分不同类别之间的上下文信息，这会影响语义分割模型的性能。就比如之前的non-local网络，其关注的是特征图像素之间的关系，而忽略了不同类别之间的上下文依赖关系，因为并不是所有的类间依赖关系都对语义分割模型有用，有些甚至可能会造成混乱。
目前，聚合上下文信息主要有两种方法：
(1)基于金字塔的聚合方法
比如像pspnet这个网络是采用基于金字塔的聚合方法。但是这捕获的是同一类别的上下文关系，忽略了在不同类别之间的上下文关系。这对于场景中存在混淆类别的图片就会降低分割精度。
(2)基于注意力的聚合方法
目前的注意力主要分为通道注意力和空间注意力，这些是有选择的聚合不同类别之间的上下文信息。这类机制的缺陷在于对不同类别之间的区分不明确，这也会降低分割的效果。
从以上两点可以看出，这些方式都没有同时区分类内和类间的上下文信息，这样对于深度网络取特征的时候会容易混淆，从而不会有很好的分割精度。
本发明模型中使用的聚合模块可以帮助模型同时区分类内和类间的上下文信息，它是一个具有完全可分离的卷积的高效聚合模块，也就是在空间和深度维度上都是分离的，其将标准卷积在空间上分解为两个不对称卷积，一个k*k卷积可以使用一个k*1卷积加上一个1*k卷积，这也就是所说的空间可分离卷积。和一般的卷积相比，在保持相等的感受野的同时减少了k/2的计算量，在本模型中加入了该聚合模块对分割的精度有所提升。
采用resnet50和Unet的混合改进网络能实现对轨道图片边缘和远处轨道的分割精度提升，也能填补分割有空缺的缺陷。这可以提高车载视频在轨道维修领域发挥更好的作用。
进一步的，原图和标注图按照一定比例随机分配分成训练集和测试集。验证集即为测试集。相比于其他端到端网络在该数据集上的表现来说，本模型准确度更好，分割效果更好。
本发明能实现对轨道图片边缘和远处轨道的分割精度提升，也能填补分割有空缺的缺陷。这可以提高无人机遥感技术的工作效率，使无人机遥感技术在轨道维修上发挥更好的作用。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，熟悉该本领域的技术人员应该明白本发明包括但不限于上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。

Claims (3)

1.一种基于强化特征提取的轨道分割方法，采集轨道图片后经深度学习网络模型进行处理，其特征在于，所述深度学习网络模型参照resnet50和Unet网络设计出了混合改进网络模型，在该混合改进网络模型中，轨道图片分为原图和标注图，原图和标注图按照设定比例随机分配分成训练集和测试集；并且所述resnet50中加入聚合模块和BAM注意力机制，通过聚合模块，聚合遥感图像空间信息，获得分类内和类间的上下文关系，再通过BAM注意力机制使网络学习到轨道部分的特征值。
2.根据权利要求1所述的一种基于强化特征提取的轨道分割方法，其特征在于：原图和标注图按照9：1或8:2的比例随机分配分成训练集和测试集。
3.根据权利要求1所述的一种基于强化特征提取的轨道分割方法，其特征在于：以resnet50为主干模型，加上Unet的上采样部分构成resnet50与Unet的混合改进网络模型。
CN202210728626.9A 2022-06-24 2022-06-24 一种基于强化特征提取的轨道分割方法 Pending CN115170989A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210728626.9A CN115170989A (zh) 2022-06-24 2022-06-24 一种基于强化特征提取的轨道分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210728626.9A CN115170989A (zh) 2022-06-24 2022-06-24 一种基于强化特征提取的轨道分割方法

Publications (1)

Publication Number Publication Date
CN115170989A true CN115170989A (zh) 2022-10-11

Family

ID=83486409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210728626.9A Pending CN115170989A (zh) 2022-06-24 2022-06-24 一种基于强化特征提取的轨道分割方法

Country Status (1)

Country Link
CN (1) CN115170989A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206265A (zh) * 2023-05-05 2023-06-02 昆明轨道交通四号线土建项目建设管理有限公司 用于轨道交通运营维护的防护报警装置及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206265A (zh) * 2023-05-05 2023-06-02 昆明轨道交通四号线土建项目建设管理有限公司 用于轨道交通运营维护的防护报警装置及方法
CN116206265B (zh) * 2023-05-05 2023-07-18 昆明轨道交通四号线土建项目建设管理有限公司 用于轨道交通运营维护的防护报警装置及方法

Similar Documents

Publication Publication Date Title
CN110348445B (zh) 一种融合空洞卷积和边缘信息的实例分割方法
CN110956094B (zh) 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN108830252A (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN108921875A (zh) 一种基于航拍数据的实时车流检测与追踪方法
CN109948418A (zh) 一种基于深度学习的违反导向违法自动审核方法
CN112487862B (zh) 基于改进EfficientDet模型的车库行人检测方法
CN109766769A (zh) 一种基于单目视觉与深度学习的道路目标检测识别方法
CN107085696A (zh) 一种基于卡口图像的车辆定位及型号识别方法
CN108509912A (zh) 多路网络视频流车牌识别方法及系统
CN112906631B (zh) 一种基于视频的危险驾驶行为检测方法和检测系统
CN115346177A (zh) 一种新的路侧视角下目标检测系统及方法
CN110472634A (zh) 基于多尺度深度特征差值融合网络的变化检测方法
CN115690730A (zh) 基于单分类和异常生成的高铁接触网异物检测方法及系统
CN115170989A (zh) 一种基于强化特征提取的轨道分割方法
Yang et al. PDNet: Improved YOLOv5 nondeformable disease detection network for asphalt pavement
CN110503049B (zh) 基于生成对抗网络的卫星视频车辆数目估计方法
CN116977917A (zh) 一种红外图像行人检测方法
CN115861760A (zh) 一种基于相机的目标检测与跟踪方法及系统
CN116363612A (zh) 一种基于图像识别的行人追踪及过街意图预测方法
CN116129327A (zh) 一种基于改进YOLOv7算法的红外车辆检测方法
CN115546667A (zh) 一种无人机场景的实时车道线检测方法
Lu et al. Pedestrian detection for autonomous vehicles using virtual-to-real augmentation
CN116092034A (zh) 一种基于改进的DeeplabV3+模型的车道线检测方法
CN115661786A (zh) 一种区域预搜索的轨道障碍物小目标检测方法
CN115170803A (zh) 一种基于e-solo的城市街景实例分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination