CN113159046B - 无砟道床异物检测方法及装置 - Google Patents
无砟道床异物检测方法及装置 Download PDFInfo
- Publication number
- CN113159046B CN113159046B CN202110412350.9A CN202110412350A CN113159046B CN 113159046 B CN113159046 B CN 113159046B CN 202110412350 A CN202110412350 A CN 202110412350A CN 113159046 B CN113159046 B CN 113159046B
- Authority
- CN
- China
- Prior art keywords
- semantic segmentation
- detected
- network model
- picture
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 66
- 230000011218 segmentation Effects 0.000 claims abstract description 132
- 230000007246 mechanism Effects 0.000 claims abstract description 43
- 238000011176 pooling Methods 0.000 claims abstract description 30
- 238000005070 sampling Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 31
- 238000010586 diagram Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 14
- 238000012800 visualization Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 230000005484 gravity Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 13
- 230000000694 effects Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种无砟道床异物检测方法及装置，涉及语义分割技术领域。该方法包括：利用预先训练好的语义分割网络模型对待检测图片进行语义分割，获得待检测图片的掩模图像；语义分割网络模型包括编码器和解码器；编码器包括引入通道注意力机制的残差网络及空洞空间卷积池化金字塔模块，解码器包括上采样网络结构和损失函数；将提取得到的掩模图像的轮廓与轮廓阈值进行比较；将掩模图像中小于轮廓阈值的轮廓位置确定为异物位置。本发明中语义分割网络模型的残差网络引入了注意力机制，能够较好的检测出异物，提高了无砟道床异物检测精度。
Description
技术领域
本发明涉及语义分割技术领域，尤其涉及无砟道床异物检测方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
我国铁路线路里程长，空间跨度大，情况复杂多变，对铁路基础设施的高效运营维护提出了很高的要求。在高速铁路的实际运营中，无砟道床附近极易出现断裂的零件或者外来异常物体，由于列车高速行驶的强气流可能带起这些异物，造成异物与车辆的撞击，可导致列车的结构性损坏，给高速列车行驶带来了严重的安全隐患。因此需要对于无砟道床异物进行准确、高效地加以检测，从而及时清理异物，规避行车安全风险。目前广泛采用的道床异物检测方式为人工巡道进行状态检查，这种方式存在着检测效率低下、人为因素影响大、且易产生大量漏检等问题，故需要采用更为行之有效的技术手段对无砟道床存在的异物进行检测。
目前的计算机视觉的方法发展迅速，并逐渐成为检测领域的研究热点。图像分类、目标检测、图像分割、生成对抗网络、元学习等方法都被相继提出，但对于高速铁路无砟道床异物检测这一特定任务，多采用传统图像处理和目标检测的技术手段，且在异物检出率与检测的精细程度上仍需进一步提升。
发明内容
本发明实施例提供一种无砟道床异物检测方法，用以提高无砟道床异物检测精度，该无砟道床异物检测方法包括：
利用预先训练好的语义分割网络模型对待检测图片进行语义分割，获得待检测图片的掩模图像；语义分割网络模型包括编码器和解码器；编码器包括引入通道注意力机制的残差网络及空洞空间卷积池化金字塔模块，解码器包括上采样网络结构和损失函数；引入通道注意力机制的残差网络用于提取待检测图片的早期特征图；空洞空间卷积池化金字塔模块用于提取待检测图片的多尺度特征图；解码器用于将待检测图片的早期特征图与经上采样后的多尺度特征图进行特征融合及上采样；
将提取得到的掩模图像的轮廓与轮廓阈值进行比较；
将掩模图像中小于轮廓阈值的轮廓位置确定为异物位置。
本发明实施例还提供一种无砟道床异物检测装置，用以提高无砟道床异物检测精度，该无砟道床异物检测装置包括：
语义分割模块，用于利用预先训练好的语义分割网络模型对待检测图片进行语义分割，获得待检测图片的掩模图像；语义分割网络模型包括编码器和解码器；编码器包括引入通道注意力机制的残差网络及空洞空间卷积池化金字塔模块，解码器包括上采样网络结构和损失函数；引入通道注意力机制的残差网络用于提取待检测图片的早期特征图；空洞空间卷积池化金字塔模块用于提取待检测图片的多尺度特征图；解码器用于将待检测图片的早期特征图与经上采样后的多尺度特征图进行特征融合及上采样；
轮廓比较模块，用于将提取得到的掩模图像的轮廓与轮廓阈值进行比较；
异物位置确定模块，用于将掩模图像中小于轮廓阈值的轮廓位置确定为异物位置。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述无砟道床异物检测方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述无砟道床异物检测方法的计算机程序。
本发明实施例中，利用预先训练好的语义分割网络模型对待检测图片进行语义分割，获得待检测图片的掩模图像；语义分割网络模型包括编码器和解码器；编码器包括引入通道注意力机制的残差网络及空洞空间卷积池化金字塔模块，解码器包括上采样网络结构和损失函数；引入通道注意力机制的残差网络用于提取待检测图片的早期特征图；空洞空间卷积池化金字塔模块用于提取待检测图片的多尺度特征图；解码器用于将待检测图片的早期特征图与经上采样后的多尺度特征图进行特征融合及上采样；将提取得到的掩模图像的轮廓与轮廓阈值进行比较；将掩模图像中小于轮廓阈值的轮廓位置确定为异物位置。本发明实施例中语义分割网络模型的残差网络引入了注意力机制，能够较好的检测出异物，提高了无砟道床异物检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例提供的无砟轨道异物检测方法的实现流程图；
图1-1为本发明实施例提供的RFODLab语义分割网络模型的结构示意图；
图1-2为本发明实施例提供的多个待检测图片；
图1-3为本发明实施例提供的利用语义分割网络模型获得的多个待检测图片的多个掩模图像；
图1-4为本发明实施例提供的原有ResNet主干网络的结构示意；
图1-5为本发明实施例提供的引入两支注意力机制的ResNet 50主干网络的结构示意；
图2为本发明实施例提供的无砟轨道异物检测方法的另一实现流程图；
图3为本发明实施例提供的无砟轨道异物检测方法中训练语义分割网络模型的实现流程图；
图4为本发明实施例提供的无砟轨道异物检测装置的功能模块图；
图5为本发明实施例提供的无砟轨道异物检测装置的另一功能模块图；
图6为本发明实施例提供的无砟轨道异物检测装置中训练语义分割网络模型包含的功能模块图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
图1示出了本发明实施例提供的无砟轨道异物检测方法的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
如图1所示，无砟轨道异物检测方法，其包括：
步骤101，利用预先训练好的语义分割网络模型对待检测图片进行语义分割，获得待检测图片的掩模图像；语义分割网络模型包括编码器和解码器；编码器包括引入通道注意力机制的残差网络及空洞空间卷积池化金字塔模块，解码器包括上采样网络结构和损失函数；引入通道注意力机制的残差网络用于提取待检测图片的早期特征图；空洞空间卷积池化金字塔模块用于提取待检测图片的多尺度特征图；解码器用于将待检测图片的早期特征图与经上采样后的多尺度特征图进行特征融合及上采样；
步骤102，将提取得到的掩模图像的轮廓与轮廓阈值进行比较；
步骤103，将掩模图像中小于轮廓阈值的轮廓位置确定为异物位置。
检测算法对语义分割网络模型分割提取异物的能力提出了较高的要求，模型的分割效果直接影响异物能否被有效检出。因此，本发明实施例针对高速铁路无砟道床异物图像的特点，提出了名为RFODLab(Railway Foreign Object Detection Lab)的语义分割网络模型。
在对无砟轨道进行异物检测时，训练好的(RFODLab)语义分割网络模型能够实现对待检测图片进行语义分割，获得待检测图片的掩模图像。其中，语义分割网络模型可以包括DeepLab系列的V1、V2、V3及V3+语义分割网络模型，还可以包括本发明实施例提供的语义分割网络模型。
图1-1示出了本发明实施例提供的RFODLab语义分割网络模型的结构示意。如图1-1所示，RFODLab语义分割网络模型采用类似于DeepLab V3+的语义分割网络模型的编解码(Encoder-Decoder)器结构，即本发明实施例提供的语义分割网络模型至少包括编码器和解码器两部分。编码器部分主要包括主干网络和ASPP(atrous spatial pyramid pooling，空洞空间卷积池化金字塔)模块，解码器部分包括上采样、特征融合及损失函数部分。在编码器的主干网络部分采用引入通道注意力机制的残差网络，例如主干网络部分采用引入通道注意力机制的RestNet 50残差网络，还可以是采用引入通道注意力机制的RestNet 18残差网络、RestNet 34残差网络、RestNet 101残差网络及RestNet 152残差网络等。引入通道注意力机制能够提高RFODLab语义分割网络模型对无砟道床的异物提取能力。
其中，编码器的引入通道注意力机制的RestNet 50残差网络主要用于提取待检测图片的早期特征图；空洞空间卷积池化金字塔模块主要用于实现待检测图片多尺度特征图的提取；编码器部分还对空洞空间卷积池化金字塔模块提取的多尺度特征图进行多次上采样(例如4次上采样等)，得到多次上采样后的多尺度特征图。解码器部分主要用于将引入通道注意力机制的RestNet 50残差网络提取的待检测图片的早期特征图与(多次上采样后的)多尺度特征图进行特征融合，以及对融合后的特征进行多次上采样(例如4次上采样等)，进而解码器在损失函数的约束下获得待检测图片的掩模图像。
在本发明的一实施例中，为了提高语义分割网络模型的边缘分割精度，语义分割网络模型输出的掩模图像与待检测图片尺寸大小相同。
编解码器结构中编码器(Encoder)部分可从待检测图片中提取早期特征图及多尺度特征图等特征信息，再通过解码器(Decoder)结构将早期特征图及多尺度特征图进行特征融合及上采样后调整到与待检测图片尺寸大小相同的分割结果(待检测图片的掩模图像)。该结构避免了图像一次上采样过大倍数给检测效果带来的精度损失，可有效提升语义分割网络模型边缘分割结果精度，从而可在最大程度上将异物(目标)与周边环境(背景)区分开来，减少误报产生。
图1-2示出了本发明实施例提供的多个待检测图片；图1-3示出了本发明实施例提供的利用语义分割网络模型获得的多个待检测图片的多个掩模图像。如图1-2及图1-3所示，利用本发明实施例提供的语义分割网络模型，能够有效提取待检测图片的掩模图像(中的异物)。
在本发明的一实施例中，为了提高异物检测精度，语义分割网络模型的损失函数为多个损失函数的组合。例如，语义分割网络模型的损失函数为Focal损失函数与Dice损失函数的组合。
语义分割网络模型中普遍采用的交叉熵损失函数评估每一个像素点的类别预测，之后对所有的像素点进行平均，本质上就是对图片上的每个像素进行同等重要程度的学习，这将造成了一个问题，即如果在图像上的多种类别有不平衡的表征，那么训练会由像素占比最大的类别主导。
由于轨道图像中异物图像样本类别分布存在显著不平衡的状况，背景像素数量远大于异物像素数量(目标像素数量)，本发明针对语义分割网络模型的损失函数进行了调整，采用了Focal Loss与Dice Loss结合的损失函数。该损失函数结合了Focal loss和Diceloss的特点。Focal loss通过减少易分类样本的权重使得语义分割网络模型在训练时更专注于难分类的样本，可有效减少由于大量易分类的背景像素在损失函数中占据的较大比重。Dice loss能够将一个类别的所有像素作为一个整体作为考量，计算交集在总体中的占比，所以不受大量无砟道床背景像素的影响，适用于无砟道床异物检测中前景与背景样本严重不平衡的检测场景。Focal Loss与Dice Loss损失函数的组合设计，在针对小目标的分割问题上能够取得良好的效果，非常有利于无砟道床异物检测问题中小尺寸异物的有效检出。
Focal Loss与Dice Loss结合的损失函数公式如下：
L＝LDice+λLFocal
其中，L表示语义分割网络模型的损失函数，LDice表示Dice Loss，LFocal表示FocalLoss，λ用于平衡Dice Loss和Focal Loss的比重(权重系数)。
针对无砟道床异物检测的特点，Focal Loss与Dice Loss结合的损失函数在FocalLoss和Dice Loss平衡数据中类别不平衡特点优势的基础上，可使语义分割网络模型针对异物检测中存在的大量小尺寸异物类型进行更为有效的检测。
在本发明的一实施例中，为了进一步提高语义分割网络模型提取异物的能力，语义分割网络模型的残差网络引入两支并行的注意力机制。
为进一步提高语义分割网络模型对道床异物特征的提取能力，在语义分割网络模型的主干网络部分引入了通道注意力机制。轨道采集图像中，道床上出现的异物尺寸相对于整个图像数据较小，异物尺寸大多在图像长或者宽的0.045-0.08左右，像素占比较少。与此同时，异物出现位置随机性较高，对语义分割网络模型提取图像有效特征的能力提出了很高的要求。注意力机制利用人类注意力的特点，可看成模型的一种自适应池化，能够在一张图像中关注特定的位置进行更大程度的权重分配。加入注意力机制后可在特征接近异物的区域分配更多权重，对于异物的有效检出可以起到较好的效果。本发明实施例提供的语义分割网络模型在原有的ResNet主干网络中引入了两分支的通道注意力机制。图1-4示出了本发明实施例提供的原有ResNet主干网络的结构示意，图1-5示出了本发明实施例提供的引入两支注意力机制的ResNet 50主干网络的结构示意。
在本发明实施例中，利用预先训练好的语义分割网络模型对待检测图片进行语义分割，获得待检测图片的掩模图像；语义分割网络模型包括编码器和解码器；编码器包括引入通道注意力机制的残差网络及空洞空间卷积池化金字塔模块，解码器包括上采样网络结构和损失函数；引入通道注意力机制的残差网络用于提取待检测图片的早期特征图；空洞空间卷积池化金字塔模块用于提取待检测图片的多尺度特征图；解码器用于将待检测图片的早期特征图与经上采样后的多尺度特征图进行特征融合及上采样；将提取得到的掩模图像的轮廓与轮廓阈值进行比较；将掩模图像中小于轮廓阈值的轮廓位置确定为异物位置。本发明实施例中语义分割网络模型的残差网络引入了注意力机制，能够较好的检测出异物，提高了无砟道床异物检测精度。
图2示出了本发明实施例提供的无砟轨道异物检测方法的另一实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高掩模图像中异物的可视化效果，如图2所示，在上述图1所示方法步骤的基础上，无砟轨道异物检测方法还包括：
步骤201，通过卷积可视化获取多尺度特征图的热力图。
本发明实施例还对RFODLab语义分割网络模型经过ASPP模块进行特征融合后得到的特征图进行卷积可视化Grad-CAM操作以获得激活热力图，用于分析语义分割网络模型更为关注的区域(异物)。
在本发明实施例中，通过卷积可视化获取多尺度特征图的热力图，能够提高RFODLab语义分割网络模型对图中异物的敏感度。
图3示出了本发明实施例提供的无砟轨道异物检测方法中训练语义分割网络模型的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高语义分割网络模型检测异物的精度，如图3所示，训练语义分割网络模型包括：
步骤301，利用训练图数据集合迭代训练语义分割网络模型，利用验证图数据集合验证语义分割网络模型；
步骤302，在满足迭代停止条件时停止迭代训练，获得训练后的语义分割网络模型。
在训练语义分割网络模型，采用包含大量(无砟道床)训练图片的训练图数据集合不断的迭代训练语义分割网络模型，同时利用包含大量(无砟道床)验证图片的验证图数据集合验证语义分割网络模型的检测精度、准确度等。在满足迭代停止条件时停止迭代训练，获得训练后的语义分割网络模型。其中，满足迭代停止条件包括语义分割网络模型的准确性不小于准确性阈值，例如95％、99％等等，或者语义分割网络模型的迭代训练次数不小于训练次数阈值，例如10万次或15万次或8万次等等。
在本发明实施例中，利用训练图数据集合迭代训练语义分割网络模型，利用验证图数据集合验证语义分割网络模型，在满足迭代停止条件时停止迭代训练，获得训练后的语义分割网络模型，能够提高语义分割网络模型检测异物的精度。
本发明实施例还提供一种无砟轨道异物检测装置，如下面的实施例所述。由于这些装置解决问题的原理与无砟轨道异物检测方法相似，因此这些装置的实施可以参见方法的实施，重复之处不再赘述。
图4示出了本发明实施例提供的无砟轨道异物检测装置的功能模块，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
参考图4，所述无砟轨道异物检测装置所包含的各个模块用于执行图1对应实施例中的各个步骤，具体请参阅图1以及图1对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述无砟轨道异物检测装置包括语义分割模块401、轮廓比较模块402及异物位置确定模块403。
语义分割模块401，用于利用预先训练好的语义分割网络模型对待检测图片进行语义分割，获得待检测图片的掩模图像；语义分割网络模型包括编码器和解码器；编码器包括引入通道注意力机制的残差网络及空洞空间卷积池化金字塔模块，解码器包括上采样网络结构和损失函数；引入通道注意力机制的残差网络用于提取待检测图片的早期特征图；空洞空间卷积池化金字塔模块用于提取待检测图片的多尺度特征图；解码器用于将待检测图片的早期特征图与经上采样后的多尺度特征图进行特征融合及上采样。
轮廓比较模块402，用于将提取得到的掩模图像的轮廓与轮廓阈值进行比较；
异物位置确定模块403，用于将掩模图像中小于轮廓阈值的轮廓位置确定为异物位置。
在本发明实施例中，语义分割模块401利用预先训练好的语义分割网络模型对待检测图片进行语义分割，获得待检测图片的掩模图像；语义分割网络模型包括编码器和解码器；编码器包括引入通道注意力机制的残差网络及空洞空间卷积池化金字塔模块，解码器包括上采样网络结构和损失函数；引入通道注意力机制的残差网络用于提取待检测图片的早期特征图；空洞空间卷积池化金字塔模块用于提取待检测图片的多尺度特征图；解码器用于将待检测图片的早期特征图与经上采样后的多尺度特征图进行特征融合及上采样；轮廓比较模块402将提取得到的掩模图像的轮廓与轮廓阈值进行比较；异物位置确定模块403将掩模图像中小于轮廓阈值的轮廓位置确定为异物位置。本发明实施例中语义分割网络模型的残差网络引入了注意力机制，能够较好的检测出异物，提高了无砟道床异物检测精度。
图5示出了本发明实施例提供的无砟轨道异物检测装置的另一功能模块，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高掩模图像中异物的可视化效果，参考图5，所述无砟轨道异物检测装置所包含的各个模块用于执行图2对应实施例中的各个步骤，具体请参阅图2以及图2对应实施例中的相关描述，此处不再赘述。本发明实施例中，在上述图4所示功能模块的基础上，所述无砟轨道异物检测装置还包括卷积可视化模块501。
卷积可视化模块501，用于通过卷积可视化获取多尺度特征图的热力图。
在本发明实施例中，卷积可视化模块501通过卷积可视化获取多尺度特征图的热力图，能够提高语义分割网络模型对图中异物的敏感度。
图6示出了本发明实施例提供的无砟轨道异物检测装置中训练语义分割网络模型包含的功能模块，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高语义分割网络模型检测异物的精度，参考图6，所述训练语义分割网络模型所包含的各个模块用于执行图3对应实施例中的各个步骤，具体请参阅图3以及图3对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述训练语义分割网络模型包括迭代训练模块601及模型获得模块602。
迭代训练模块601，用于利用训练图数据集合迭代训练语义分割网络模型，利用验证图数据集合验证语义分割网络模型。
模型获得模块602，用于在满足迭代停止条件时停止迭代训练，获得训练后的语义分割网络模型。
在本发明实施例中，迭代训练模块601利用训练图数据集合迭代训练语义分割网络模型，利用验证图数据集合验证语义分割网络模型，模型获得模块602在满足迭代停止条件时停止迭代训练，获得训练后的语义分割网络模型，能够提高语义分割网络模型检测异物的精度。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述无砟轨道异物检测方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述无砟轨道异物检测方法的计算机程序。
本发明实施例具有以下有益技术效果：
1、针对无砟道床场景下基于语义分割的手段实现异物检测；
2、考虑检测算法对语义分割模型分割提取异物的能力的较高要求，提出了RFODLab(Railway Foreign Object Detection Lab)的语义分割网络，对于无砟道床异物具有良好的分割精度；
3、考虑语义分割模型对道床异物特征的提取能力提升，通过对模型主干网络引入通道注意力机制，在轨道图像实现自适应的权重分配；
4、考虑轨道图像中异物图像样本类别分布存在显著不平衡的状况，采用了FocalLoss与Dice Loss结合的损失函数，减小数据中类别不平衡对模型表征学习的影响。
综上所述，本发明实施例中，利用预先训练好的语义分割网络模型对待检测图片进行语义分割，获得待检测图片的掩模图像；语义分割网络模型包括编码器和解码器；编码器包括引入通道注意力机制的残差网络及空洞空间卷积池化金字塔模块，解码器包括上采样网络结构和损失函数；引入通道注意力机制的残差网络用于提取待检测图片的早期特征图；空洞空间卷积池化金字塔模块用于提取待检测图片的多尺度特征图；解码器用于将待检测图片的早期特征图与经上采样后的多尺度特征图进行特征融合及上采样；将提取得到的掩模图像的轮廓与轮廓阈值进行比较；将掩模图像中小于轮廓阈值的轮廓位置确定为异物位置。本发明实施例中语义分割网络模型的残差网络引入了注意力机制，能够较好的检测出异物，提高了无砟道床异物检测精度。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种无砟道床异物检测方法，其特征在于，包括：
利用预先训练好的语义分割网络模型对待检测图片进行语义分割，获得待检测图片的掩模图像；语义分割网络模型包括编码器和解码器；编码器包括引入通道注意力机制的残差网络及空洞空间卷积池化金字塔模块，解码器包括上采样网络结构和损失函数；引入通道注意力机制的残差网络用于提取待检测图片的早期特征图；空洞空间卷积池化金字塔模块用于提取待检测图片的多尺度特征图；解码器用于将待检测图片的早期特征图与经上采样后的多尺度特征图进行特征融合及上采样；编码器的引入通道注意力机制的残差网络用于提取待检测图片的早期特征图；空洞空间卷积池化金字塔模块用于实现待检测图片多尺度特征图的提取；编码器部分还对空洞空间卷积池化金字塔模块提取的多尺度特征图进行多次上采样，得到多次上采样后的多尺度特征图；语义分割网络模型的损失函数为Focal损失函数与Dice损失函数的组合；Focal Loss与Dice Loss结合的损失函数公式如下：
L＝LDice+λLFocal
其中，L表示语义分割网络模型的损失函数，LDice表示Dice Loss，LFocal表示FocalLoss，λ用于平衡Dice Loss和Focal Loss的比重；
将提取得到的掩模图像的轮廓与轮廓阈值进行比较；
将掩模图像中小于轮廓阈值的轮廓位置确定为异物位置。
2.如权利要求1所述的无砟道床异物检测方法，其特征在于，语义分割网络模型输出的掩模图像与待检测图片尺寸大小相同。
3.如权利要求1所述的无砟道床异物检测方法，其特征在于，语义分割网络模型的损失函数为多个损失函数的组合。
4.如权利要求1所述的无砟道床异物检测方法，其特征在于，语义分割网络模型的残差网络引入两支并行的注意力机制。
5.如权利要求1所述的无砟道床异物检测方法，其特征在于，还包括：
通过卷积可视化获取多尺度特征图的热力图。
6.如权利要求1所述的无砟道床异物检测方法，其特征在于，训练语义分割网络模型包括：
利用训练图数据集合迭代训练语义分割网络模型，利用验证图数据集合验证语义分割网络模型；
在满足迭代停止条件时停止迭代训练，获得训练后的语义分割网络模型。
7.一种无砟道床异物检测装置，其特征在于，包括：
语义分割模块，用于利用预先训练好的语义分割网络模型对待检测图片进行语义分割，获得待检测图片的掩模图像；语义分割网络模型包括编码器和解码器；编码器包括引入通道注意力机制的残差网络及空洞空间卷积池化金字塔模块，解码器包括上采样网络结构和损失函数；引入通道注意力机制的残差网络用于提取待检测图片的早期特征图；空洞空间卷积池化金字塔模块用于提取待检测图片的多尺度特征图；解码器用于将待检测图片的早期特征图与经上采样后的多尺度特征图进行特征融合及上采样；编码器的引入通道注意力机制的残差网络用于提取待检测图片的早期特征图；空洞空间卷积池化金字塔模块用于实现待检测图片多尺度特征图的提取；编码器部分还对空洞空间卷积池化金字塔模块提取的多尺度特征图进行多次上采样，得到多次上采样后的多尺度特征图；语义分割网络模型的损失函数为Focal损失函数与Dice损失函数的组合；Focal Loss与Dice Loss结合的损失函数公式如下：
L＝LDice+λLFocal
其中，L表示语义分割网络模型的损失函数，LDice表示Dice Loss，LFocal表示FocalLoss，λ用于平衡Dice Loss和Focal Loss的比重；
轮廓比较模块，用于将提取得到的掩模图像的轮廓与轮廓阈值进行比较；
异物位置确定模块，用于将掩模图像中小于轮廓阈值的轮廓位置确定为异物位置。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一所述无砟道床异物检测方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至6任一所述无砟道床异物检测方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110412350.9A CN113159046B (zh) | 2021-04-16 | 2021-04-16 | 无砟道床异物检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110412350.9A CN113159046B (zh) | 2021-04-16 | 2021-04-16 | 无砟道床异物检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113159046A CN113159046A (zh) | 2021-07-23 |
| CN113159046B true CN113159046B (zh) | 2024-04-30 |
Family
ID=76868496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110412350.9A Active CN113159046B (zh) | 2021-04-16 | 2021-04-16 | 无砟道床异物检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113159046B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116778398B (zh) * | 2023-08-21 | 2023-11-14 | 中铁十二局集团铁路养护工程有限公司 | 一种基于特征重建的双模态道床异物检测方法及系统 |
| CN117893934A (zh) * | 2024-03-15 | 2024-04-16 | 中国地震局地质研究所 | 一种改进的UNet3+网络无人机影像铁路轨道线检测方法与装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111292330A (zh) * | 2020-02-07 | 2020-06-16 | 北京工业大学 | 基于编解码器的图像语义分割方法及装置 |
| CN112116594A (zh) * | 2020-09-10 | 2020-12-22 | 福建省海峡智汇科技有限公司 | 一种基于语义分割的风飘异物识别方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190039633A1 (en) * | 2017-08-02 | 2019-02-07 | Panton, Inc. | Railroad track anomaly detection |
-
2021
- 2021-04-16 CN CN202110412350.9A patent/CN113159046B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111292330A (zh) * | 2020-02-07 | 2020-06-16 | 北京工业大学 | 基于编解码器的图像语义分割方法及装置 |
| CN112116594A (zh) * | 2020-09-10 | 2020-12-22 | 福建省海峡智汇科技有限公司 | 一种基于语义分割的风飘异物识别方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 基于视觉的无砟轨道异物检测研究;刘宇鸣;中国优秀硕士学位论文全文数据库(第第2021年第03期期);全文 * |
| 基于通道注意力机制的RGB-D图像语义分割网络;吴子涵;周大可;杨欣;;电子设计工程(13);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113159046A (zh) | 2021-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113159046B (zh) | 无砟道床异物检测方法及装置 | |
| CN111080598B (zh) | 一种钩尾销安全吊的螺栓、螺母缺失检测方法 | |
| KR102150673B1 (ko) | 외관불량 검사방법 및 외관불량 검사 시스템 | |
| CN108805015A (zh) | 加权卷积自编码长短期记忆网络人群异常检测方法 | |
| CN111797890A (zh) | 一种用于检测输电线路设备缺陷的方法及系统 | |
| CN112016500A (zh) | 基于多尺度时间信息融合的群体异常行为识别方法及系统 | |
| CN110782443B (zh) | 一种铁路轨道缺陷检测方法和系统 | |
| Liu et al. | An efficient method for high-speed railway dropper fault detection based on depthwise separable convolution | |
| CN108171134A (zh) | 一种操作动作辨识方法及装置 | |
| CN109360188A (zh) | 一种高铁接触网等电位线不良状态的检测方法 | |
| CN110717863A (zh) | 一种基于生成对抗网络的单图像去雪方法 | |
| CN113569756A (zh) | 异常行为检测与定位方法、系统、终端设备及可读存储介质 | |
| CN111079734A (zh) | 铁路货车三角孔异物检测方法 | |
| CN108648210B (zh) | 一种静态复杂场景下快速多目标检测方法及装置 | |
| CN108830882B (zh) | 视频异常行为实时检测方法 | |
| CN114782410A (zh) | 一种基于轻量化模型的绝缘子缺陷检测方法及其系统 | |
| CN111612803A (zh) | 一种基于图像清晰度的车辆图像语义分割方法 | |
| CN112508862B (zh) | 一种通过改进gan增强裂纹磁光图像的方法 | |
| Song et al. | Modeling and optimization of semantic segmentation for track bed foreign object based on attention mechanism | |
| Ha et al. | Improved Optical Flow Estimation In Wrong Way Vehicle Detection. | |
| CN115171001A (zh) | 基于改进ssd的增强热红外图像上车辆检测方法及系统 | |
| CN116152674A (zh) | 一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法 | |
| CN113763384A (zh) | 工业质检中的缺陷检测方法、缺陷检测装置 | |
| CN113627499A (zh) | 基于检查站柴油车尾气图像的烟度等级估算方法及设备 | |
| CN110956097A (zh) | 遮挡人体提取方法及模块、场景转换方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |