CN113205510B - 铁路侵限异物检测方法、装置及终端 - Google Patents

铁路侵限异物检测方法、装置及终端 Download PDF

Info

Publication number
CN113205510B
CN113205510B CN202110571071.7A CN202110571071A CN113205510B CN 113205510 B CN113205510 B CN 113205510B CN 202110571071 A CN202110571071 A CN 202110571071A CN 113205510 B CN113205510 B CN 113205510B
Authority
CN
China
Prior art keywords
railway
foreign matter
feature map
channel
matter detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110571071.7A
Other languages
English (en)
Other versions
CN113205510A (zh
Inventor
余志强
张明
杨轶轩
朴春慧
孙晓云
何朝峰
冯涛
刘卫东
方庆园
金梦哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shijiazhuang Tiedao University
Original Assignee
Shijiazhuang Tiedao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shijiazhuang Tiedao University filed Critical Shijiazhuang Tiedao University
Priority to CN202110571071.7A priority Critical patent/CN113205510B/zh
Publication of CN113205510A publication Critical patent/CN113205510A/zh
Application granted granted Critical
Publication of CN113205510B publication Critical patent/CN113205510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning, or like safety means along the route or between vehicles or vehicle trains
    • B61L23/04—Control, warning, or like safety means along the route or between vehicles or vehicle trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

本发明适用于铁路检测技术领域，提供了一种铁路侵限异物检测方法、装置及终端，所述方法包括：构建铁路侵限异物检测模型，其中，铁路侵限异物检测模型包括特征提取网络、检测网络，特征提取网络包括多个包含通道注意力处理层的深度可分离卷积残差块，深度可分离卷积残差块在进行深度可分离卷积操作时，通过通道注意力处理层进行特征融合；获取训练样本集；基于训练样本集，对铁路侵限异物检测模型进行训练；获取铁路侵限区域对应的待检测图像，并将待检测图像作为训练得到的铁路侵限异物检测模型的输入图像，对待检测图像进行铁路侵限异物检测。本发明能够提高现有的铁路侵限异物检测方法的检测准确率。

Description

铁路侵限异物检测方法、装置及终端
技术领域
本发明属于铁路检测技术领域，尤其涉及一种铁路侵限异物检测方法、装置及终端。
背景技术
滚石、行人、动物等异物侵入铁路限界，频频引发铁路交通事故，严重威胁了人民生命财产安全和铁路运输经济的发展。因此，对铁路侵限异物进行准确检测，对于铁路运输至关重要。
利用YOLO V4卷积神经网络模型，对铁路侵限异物进行检测，是一种有效的解决办法。然而，现有的YOLO V4卷积神经网络模型在提取图像特征过程中，对数据特征的提取能力较差，导致对铁路侵限异物的检测准确率低。
发明内容
有鉴于此，本发明实施例提供了一种铁路侵限异物检测方法、装置及终端，以提高现有的铁路侵限异物检测方法的检测准确率。
本发明实施例的第一方面提供了一种铁路侵限异物检测方法，包括：
构建铁路侵限异物检测模型，其中，铁路侵限异物检测模型包括用于从输入图像中提取特征图的特征提取网络以及用于检测特征图中目标的检测网络；特征提取网络包括多个包含通道注意力处理层的深度可分离卷积残差块，深度可分离卷积残差块在进行深度可分离卷积操作时，通过通道注意力处理层进行特征融合；
获取训练样本集；其中，训练样本集中的样本包括铁路侵限区域存在异物的图像；
基于训练样本集，对铁路侵限异物检测模型进行训练；
获取铁路侵限区域对应的待检测图像，并将待检测图像作为训练得到的铁路侵限异物检测模型的输入图像，对待检测图像进行铁路侵限异物检测。
本发明实施例的第二方面提供了一种铁路侵限异物检测装置，包括：
构建模块，用于构建铁路侵限异物检测模型，其中，铁路侵限异物检测模型包括用于从输入图像中提取特征图的特征提取网络以及用于检测特征图中目标的检测网络；特征提取网络包括多个包含通道注意力处理层的深度可分离卷积残差块，深度可分离卷积残差块在进行深度可分离卷积操作时，通过通道注意力处理层进行特征融合；
获取模块，用于获取训练样本集；其中，训练样本集中的样本包括铁路侵限区域存在异物的图像；
训练模块，用于基于训练样本集，对铁路侵限异物检测模型进行训练；
检测模块，用于获取铁路侵限区域对应的待检测图像，并将待检测图像作为训练得到的铁路侵限异物检测模型的输入图像，对待检测图像进行铁路侵限异物检测。
本发明实施例的第三方面提供了一种终端，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述铁路侵限异物检测方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述铁路侵限异物检测方法的步骤。
本发明实施例与现有技术相比存在的有益效果是：
本发明实施例通过在传统的卷积神经网络模型的主干网络中融入通道注意力机制，即特征提取网络的每个深度可分离卷积残差块均加入通道注意力处理层，深度可分离卷积残差块在进行深度可分离卷积操作时，通过通道注意力处理层进行特征融合，能够使网络自主的学习到各个通道间特征的相关性，增强了主干网络提取数据特征的能力；进一步，获取包括铁路侵限区域存在异物的图像作为训练样本集，对整个铁路侵限异物检测模型进行训练，并利用训练得到的模型进行铁路侵限异物检测。本发明实施例能够提高卷积神经网络模型对数据特征的提取能力，进而提高对铁路侵限异物的检测准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的铁路侵限异物检测方法的实现流程示意图；
图2是本发明实施例提供的传统深度可分离卷积残差块的结构示意图；
图3是本发明实施例提供的改进深度可分离卷积残差块的结构示意图；
图4是本发明实施例提供的通道注意力处理层的处理过程示意图；
图5是本发明实施例提供的铁路侵限异物整体检测流程示意图；
图6是本发明实施例提供的铁路侵限异物检测装置的结构示意图；
图7是本发明实施例提供的终端的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
本发明实施例提供了一种铁路侵限异物检测方法，如图1所示，该方法包括以下步骤：
步骤S101、构建铁路侵限异物检测模型，其中，铁路侵限异物检测模型包括用于从输入图像中提取特征图的特征提取网络以及用于检测特征图中目标的检测网络；特征提取网络包括多个包含通道注意力处理层的深度可分离卷积残差块，深度可分离卷积残差块在进行深度可分离卷积操作时，通过通道注意力处理层进行特征融合。
在本发明实施例中，铁路侵限异物检测模型由特征提取网络和检测网络构成，特征提取网络用于从输入图像中提取特征图，检测网络用于检测特征图中的目标。其中，铁路侵限异物检测模型为改进的卷积神经网络模型，即在传统的卷积神经网络模型的主干网络中融入通道注意力机制，使网络自主的学习到各个通道间特征的相关性，增强主干网络提取数据特征的能力。示例性的，本发明的铁路侵限异物检测模型采用改进YOLO V4网络模型，并在YOLO V4网络模型主干网络的深度可分离卷积残差块中加入通道注意力处理层，以增强主干网络提取数据特征的能力。
步骤S102、获取训练样本集；其中，训练样本集中的样本包括铁路侵限区域存在异物的图像。
步骤S103、基于训练样本集，对铁路侵限异物检测模型进行训练。
在本发明实施例中，还可以采用迁移学习的思想，先使用源领域相近的样本对模型进行预训练，预训练的样本可以为包含人像、车辆、动物的图像，再使用铁路侵限区域存在异物的图像对模型参数进行微调。例如，训练样本、测试样本的比例可以设置为2：1。
步骤S104、获取铁路侵限区域对应的待检测图像，并将待检测图像作为训练得到的铁路侵限异物检测模型的输入图像，对待检测图像进行铁路侵限异物检测。
本发明实施例通过在传统的卷积神经网络模型的主干网络中融入通道注意力机制，即特征提取网络的每个深度可分离卷积残差块均加入通道注意力处理层，深度可分离卷积残差块在进行深度可分离卷积操作时，通过通道注意力处理层进行特征融合，能够使网络自主的学习到各个通道间特征的相关性，增强了主干网络提取数据特征的能力；进一步，获取包括铁路侵限区域存在异物的图像作为训练样本集，对整个铁路侵限异物检测模型进行训练，并利用训练得到的模型进行铁路侵限异物检测。本发明实施例能够提高卷积神经网络模型对数据特征的提取能力，进而提高对铁路侵限异物的检测准确率。
可选的，作为一种可能的实施方式，特征提取网络还包括卷积层，特征提取网络从输入图像中提取特征图的过程可以详述为：
卷积层从输入图像中提取初始特征图；
卷积层将初始特征图输出，输出的初始特征图依次经过各个深度可分离卷积残差块进行深度可分离卷积，得到输入图像对应的特征图。
可选的，作为一种可能的实施方式，深度可分离卷积残差块还包括ResBlock层和特征融合层，通道注意力处理层包括挤压单元、激发单元和权重分配单元。
每个深度可分离卷积残差块对初始特征图执行以下操作：
ResBlock层对初始特征图进行卷积，得到第一初始特征图；其中，第一初始特征图为多通道特征图；
挤压单元将第一初始特征图中各个通道对应的空间特征进行全局平均池化编码，得到各个通道对应的全局描述特征；
激发单元根据各个通道对应的全局描述特征计算各个通道之间的相关性，得到各个通道的权重值；
权重分配单元根据各个通道的权重值对第一初始特征图进行权重分配，得到第二初始特征图；
特征融合层将第一初始特征图、第二初始特征图进行逐通道相加后输出。
可选的，作为一种可能的实施方式，可以通过以下公式对第一初始特征图进行权重分配：
Fscale(uc,sc)＝uc×sc
式中，uc为第一初始特征图，sc为各个通道的权重值形成的权重矩阵。
在本发明实施例中，YOLO V4网络模型引入CSP Darknet-53作为主干网络，并将CSP Darknet-53进行改进优化。即将常规的3x3卷积(conv)利用深度可分离卷积(Dconv)的思想进行改进，把常规卷积操作分成了逐通道卷积和逐点卷积，可以极大地减少计算参数、提高运算速度。逐通道卷积是一个卷积核只对一个通道进行卷积，因此一个三通道的图像经过运算生成了三个特征图，但是该运算只是对输入层的每个通道单独运算，没有有效的利用不同通道在相同空间位置上的特征信息，因此需要逐点卷积将逐通道卷积生成的特征图重新进行组合成新的特征图。逐点卷积的卷积核的尺寸为1x1xM，M为上一层的通道数，利用逐点卷积将上一层的特征图在深度方向上进行加权组合，生成最终的特征图。改进的CSPDarknet-53网络配置如表1所示。
表1改进CSP Darknet-53网络配置表
层类型
Inputs
Darknet Dconv2D_BN-Mish
Resblock_body1 x1
Resblock_body2 x2
Resblock_body3 x8
Resblock_body4 x8
Resblock_body5 x4
Dconv x3
特征提取网络可以由卷积层和5个深度可分离卷积残差块依次连接组成。每个深度可分离卷积残差块都是使用3x3和1x1的卷积层来构建，并加入CSP结构。常规的深度可分离卷积残差块结构可以参考图2所示，即将输入的特征图分为part1和part2，part2经过ResBlock层进行卷积后和part1逐通道相加后输出。而本发明实施例的深度可分离卷积残差块结构如图3所示，即在深度可分离卷积残差块中加入注意力处理层，part2经过ResBlock层进行卷积后，通过挤压单元将各个通道对应的空间特征进行全局平均池化编码，得到各个通道对应的全局描述特征，激发单元根据各个通道对应的全局描述特征计算各个通道之间的相关性，得到各个通道的权重值，权重分配单元根据各个通道的权重值进行权重分配；最后，将输出的part2和part1逐通道相加后输出。
其中，挤压单元通过
Figure BDA0003082624450000071
z∈RC将各个通道对应的空间特征进行全局平均池化编码，H、W、C为输入图像的长、宽、通道数。激发操作包括四个步骤，首先将挤压单元所得到的的全局描述特征输入到FC层，起到降维的作用，降维系数r最优值为16，然后采用ReLU函数激活，然后再经过一个FC层恢复原始的维度，最后利用sigmoid函数激活。通道注意力处理层的处理流程可以参照图4所示。
可选的，作为一种可能的实施方式，检测网络检测特征图中目标的过程可以详述为：
根据预设的检测锚点值，对特征图进行目标检测，得到多个锚点框；
计算各个锚点框对应的目标置信度，并根据各个锚点框对应的目标置信度，去除虚假锚点框；其中，虚假锚点框为不包含目标的锚点框；
对各个锚点框中的目标进行目标坐标回归计算和目标分类计算，得到特征图中各个目标的坐标和类别。
在本发明实施例中，特征图输入检测网络前，可以先调整其尺寸使之适应检测网络，然后将其划分为S*S尺寸的网格进行检测。对于每个网格，检测网络会根据检测锚点值产生多个不同尺寸的锚点框来检测目标，并计算这些锚点框相对应的目标置信度，每个目标置信度表示为
Figure BDA0003082624450000072
其中，
Figure BDA0003082624450000073
为第i个网格中第j个锚点框对应的目标置信度，Pij(Object)是关于目标的函数，表示该网格内是否包含目标中心点，包含目标中心点时，Pij(Object)的值为1，否则为0。之后，将目标置信度小于预设阈值的锚点框作为虚假锚点框删除。最后，依据训练样本中预先标记好的真实锚点框，对上述检测得到的各个锚点框中的目标进行目标坐标回归计算和目标分类计算，得到特征图中各个目标的坐标和类别。
其中，回归运算公式如下：
LCIOU＝1-IOU(A,C)+ρ2(Actr,Bctr)/c2+α·v
式中，A、B分别为检测锚点框和真实锚点框，Actr、Bctr分别表示检测锚点框中心点坐标和真实锚点框中心点坐标，ρ(.)表示为欧式距离的计算，
Figure BDA0003082624450000081
c为检测锚点框与真实锚点框最小包围框的对角线长度，
Figure BDA0003082624450000082
wgt、hgt表示真实锚点框的宽、高，w和h表示为检测锚点框的宽和高。
分类运算公式如下：
Figure BDA0003082624450000083
式中，S2是图像的网格单元数，B是锚点框数量，
Figure BDA0003082624450000084
和
Figure BDA0003082624450000085
分别是检测锚点框的目标得分和真实锚点框的目标得分。
可选的，作为一种可能的实施方式，检测网络检测特征图中目标的过程还可以包括：
获取训练样本集中各个样本的宽高比；
基于K-Means聚类算法对各个样本的宽高比进行聚类，得到预设的检测锚点值。
在本发明实施例中，考虑到训练样本集中不同样本的尺寸有所不同，预设固定的锚点值并不能对所有的样本有较好的检测能力，泛化性较差。而锚点框的选择对网络模型的的检测结果起着关键的影响。为选取适合训练样本集尺寸的锚点框，采用K-means聚类算法对训练样本集进行聚类分析。聚类步骤可以如下：
(1)从样本中任意选择3个样本的宽高比作为聚类操作的初始聚类中心，将剩余的样本按照其与聚类中心的距离将其归于最相近的聚类：
Figure BDA0003082624450000086
(2)计算每个所得的新聚类中心：
Figure BDA0003082624450000091
(3)循环式(2)步骤，直到收敛为止，收敛判断方式如下：
Figure BDA0003082624450000092
该函数表示每个样本点到其聚类中心的欧氏距离，K-means即将该距离调整到最小。利用K-means聚类算法对锚点框进行设定，能够使锚点框更加适合训练样本集，提高检测准确率。
可选的，作为一种可能的实施方式，在获取铁路侵限区域对应的待检测图像之后，还包括：
检测待检测图像中的轨道，将轨道两侧预设距离内的区域确定为铁路侵限区域，并对待检测图像中的铁路侵限区域进行标记；
根据标记从待检测图像中提取铁路侵限区域的图像；
相应的，将待检测图像作为训练得到的铁路侵限异物检测模型的输入图像，可以详述为：
将提取到的铁路侵限区域的图像作为训练得到的铁路侵限异物检测模型的输入图像。
在本发明实施例中，在图像输入铁路侵限异物检测模型之前，可以先对图像进行处理，划分出潜在危险区域，即以铁轨的位置作为参考物，向左右延伸一定距离作为铁路侵限区域，对图像进行裁剪，将其余的部分去除，这样就达到了只对潜在危险区域进行检测的目的，提高了模型的运算速度。可以通过对图像进行去噪、灰度化、二值化和canny边缘提取等预处理后，使用霍夫变换算法对图像进行过轨道检测。
根据以上步骤，本发明实施例还提供了整体的铁路侵限异物检测流程，可以参照图5所示。以下，将本发明实施例提出的铁路侵限异物检测方法和Faster RCNN、SSD、传统YOLO V4三种方法分别对同一训练样本集进行训练检测，验证方法的可行性。四种方法的准确度结果为：Faster RCNN的准确率为79.1％，SSD的准确率为80.2％，传统YOLO V4的准确率为85.7％，本方法的准确率为91.3％。可见，相对于其余三种方法，本方法的准确率得到了明显提升。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本发明另一实施例还提供了一种铁路侵限异物检测装置，如图6所示，该装置60包括：
构建模块61，用于构建铁路侵限异物检测模型，其中，所述铁路侵限异物检测模型包括用于从输入图像中提取特征图的特征提取网络以及用于检测特征图中目标的检测网络；所述特征提取网络包括多个包含通道注意力处理层的深度可分离卷积残差块，所述深度可分离卷积残差块在进行深度可分离卷积操作时，通过所述通道注意力处理层进行特征融合。
获取模块62，用于获取训练样本集；其中，所述训练样本集中的样本包括铁路侵限区域存在异物的图像。
训练模块63，用于基于所述训练样本集，对所述铁路侵限异物检测模型进行训练。
检测模块64，用于获取铁路侵限区域对应的待检测图像，并将所述待检测图像作为训练得到的铁路侵限异物检测模型的输入图像，对所述待检测图像进行铁路侵限异物检测。
可选的，作为一种可能的实施方式，在构建模块61构建的铁路侵限异物检测模型中，特征提取网络还包括卷积层，特征提取网络从输入图像中提取特征图的过程包括：
卷积层从输入图像中提取初始特征图；
卷积层将初始特征图输出，输出的初始特征图依次经过各个深度可分离卷积残差块进行深度可分离卷积，得到输入图像对应的特征图。
可选的，作为一种可能的实施方式，在构建模块61构建的铁路侵限异物检测模型中，深度可分离卷积残差块还包括ResBlock层和特征融合层，通道注意力处理层包括挤压单元、激发单元和权重分配单元。
每个深度可分离卷积残差块对初始特征图执行以下操作：
ResBlock层对初始特征图进行卷积，得到第一初始特征图；其中，第一初始特征图为多通道特征图；
挤压单元将第一初始特征图中各个通道对应的空间特征进行全局平均池化编码，得到各个通道对应的全局描述特征；
激发单元根据各个通道对应的全局描述特征计算各个通道之间的相关性，得到各个通道的权重值；
权重分配单元根据各个通道的权重值对第一初始特征图进行权重分配，得到第二初始特征图；
特征融合层将第一初始特征图、第二初始特征图进行逐通道相加后输出。
可选的，作为一种可能的实施方式，在构建模块61构建的铁路侵限异物检测模型中，通过以下公式对第一初始特征图进行权重分配：
Fscale(uc,sc)＝uc×sc
式中，uc为第一初始特征图，sc为各个通道的权重值形成的权重矩阵。
可选的，作为一种可能的实施方式，在构建模块61构建的铁路侵限异物检测模型中，检测网络检测特征图中目标的过程可以详述为：
根据预设的检测锚点值，对特征图进行目标检测，得到多个锚点框；
计算各个锚点框对应的目标置信度，并根据各个锚点框对应的目标置信度，去除虚假锚点框；其中，虚假锚点框为不包含目标的锚点框；
对各个锚点框中的目标进行目标坐标回归计算和目标分类计算，得到特征图中各个目标的坐标和类别。
可选的，作为一种可能的实施方式，在构建模块61构建的铁路侵限异物检测模型中，检测网络检测特征图中目标的过程还包括：
获取训练样本集中各个样本的宽高比；
基于K-Means聚类算法对各个样本的宽高比进行聚类，得到预设的检测锚点值。
可选的，作为一种可能的实施方式，在获取铁路侵限区域对应的待检测图像之后，检测模块64还用于：
检测待检测图像中的轨道，将轨道两侧预设距离内的区域确定为铁路侵限区域，并对待检测图像中的铁路侵限区域进行标记；
根据标记从待检测图像中提取铁路侵限区域的图像；
将提取到的铁路侵限区域的图像作为训练得到的铁路侵限异物检测模型的输入图像。
另外，作为一种可能的实施方式，可以预先训练铁路侵限异物检测模型进行存储。示例性的，此时的铁路侵限异物检测装置具体可以由摄像头、嵌入式微处理器及其外围电路、SD卡、执行机构、以太网接口、WIFI无线通信模块等构成，嵌入式微处理器控制摄像头采集图像数据，并对图像进行预处理，并划分潜在侵限区域。预先部署在嵌入式微型处理器的铁路侵限异物检测模型对图像进行分析，当判断出图像中存在侵限异物，立即通过执行机构中的声光报警设备发出警报。通过以太网或者WIFI无线通信模块将侵限图像发送至检测控制中心，同时将图像保存至SD卡中。
图7是本发明一实施例提供的终端设备70的示意图。如图7所示，该实施例的终端设备70包括：处理器71、存储器72以及存储在存储器72中并可在处理器71上运行的计算机程序73。处理器71执行计算机程序73时实现上述各个铁路侵限异物检测方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，处理器71执行计算机程序73时实现上述各装置实施例中各模块的功能，例如图6所示模块61至64的功能。
示例性的，计算机程序73可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器72中，并由处理器71执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序73在终端设备70中的执行过程。例如，计算机程序73可以被分割成构建模块61、获取模块62、训练模块63、检测模块64(虚拟装置中的模块)，各模块具体功能如下：
构建模块61，用于构建铁路侵限异物检测模型，其中，所述铁路侵限异物检测模型包括用于从输入图像中提取特征图的特征提取网络以及用于检测特征图中目标的检测网络；所述特征提取网络包括多个包含通道注意力处理层的深度可分离卷积残差块，所述深度可分离卷积残差块在进行深度可分离卷积操作时，通过所述通道注意力处理层进行特征融合。
获取模块62，用于获取训练样本集；其中，所述训练样本集中的样本包括铁路侵限区域存在异物的图像。
训练模块63，用于基于所述训练样本集，对所述铁路侵限异物检测模型进行训练。
检测模块64，用于获取铁路侵限区域对应的待检测图像，并将所述待检测图像作为训练得到的铁路侵限异物检测模型的输入图像，对所述待检测图像进行铁路侵限异物检测。
终端设备70可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备70可包括，但不仅限于，处理器71、存储器72。本领域技术人员可以理解，图7仅仅是终端设备70的示例，并不构成对终端设备70的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备70还可以包括输入输出设备、网络接入设备、总线等。
所称处理器71可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器72可以是终端设备70的内部存储单元，例如终端设备70的硬盘或内存。存储器72也可以是终端设备70的外部存储设备，例如终端设备70上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器72还可以既包括终端设备70的内部存储单元也包括外部存储设备。存储器72用于存储计算机程序以及终端设备70所需的其他程序和数据。存储器72还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (8)

1.一种铁路侵限异物检测方法，其特征在于，包括：
构建铁路侵限异物检测模型，其中，所述铁路侵限异物检测模型包括用于从输入图像中提取特征图的特征提取网络以及用于检测特征图中目标的检测网络；所述特征提取网络包括多个包含通道注意力处理层的深度可分离卷积残差块，所述深度可分离卷积残差块在进行深度可分离卷积操作时，通过所述通道注意力处理层进行特征融合；
获取训练样本集；其中，所述训练样本集中的样本包括铁路侵限区域存在异物的图像；
基于所述训练样本集，对所述铁路侵限异物检测模型进行训练；获取铁路侵限区域对应的待检测图像，并将所述待检测图像作为训练得到的铁路侵限异物检测模型的输入图像，对所述待检测图像进行铁路侵限异物检测；
其中，所述特征提取网络还包括卷积层，所述特征提取网络从输入图像中提取特征图的过程包括：卷积层从输入图像中提取初始特征图；卷积层将初始特征图输出，输出的初始特征图依次经过各个深度可分离卷积残差块进行深度可分离卷积，得到输入图像对应的特征图；
所述深度可分离卷积残差块还包括ResBlock层和特征融合层，所述通道注意力处理层包括挤压单元、激发单元和权重分配单元；每个深度可分离卷积残差块对初始特征图执行以下操作：
所述各个深度可分离卷积残差块还包括CSP结构，将初始特征图分为part1和part2，所述part2输入至所述ResBlock层；
所述ResBlock层对所述part2进行卷积，得到第一初始特征图；其中，所述第一初始特征图为多通道特征图；所述挤压单元将所述第一初始特征图中各个通道对应的空间特征进行全局平均池化编码，得到各个通道对应的全局描述特征；所述激发单元根据各个通道对应的全局描述特征计算各个通道之间的相关性，得到各个通道的权重值；所述权重分配单元根据各个通道的权重值对所述第一初始特征图进行权重分配，得到第二初始特征图；所述特征融合层将所述第一初始特征图、所述第二初始特征图进行逐通道相加后输出；
所述深度可分离卷积残差块将所述part1和所述特征融合层的输出特征图逐通道相加后输出。
2.如权利要求1所述的铁路侵限异物检测方法，其特征在于，通过以下公式对所述第一初始特征图进行权重分配：
Fscale(uc,sc)＝uc×sc
式中，uc为第一初始特征图，sc为各个通道的权重值形成的权重矩阵。
3.如权利要求1所述的铁路侵限异物检测方法，其特征在于，所述检测网络检测特征图中目标的过程包括：
根据预设的检测锚点值，对特征图进行目标检测，得到多个锚点框；
计算各个锚点框对应的目标置信度，并根据各个锚点框对应的目标置信度，去除虚假锚点框；其中，所述虚假锚点框为不包含目标的锚点框；
对各个锚点框中的目标进行目标坐标回归计算和目标分类计算，得到特征图中各个目标的坐标和类别。
4.如权利要求3所述的铁路侵限异物检测方法，其特征在于，所述检测网络检测特征图中目标的过程还包括：
获取所述训练样本集中各个样本的宽高比；
基于K-Means聚类算法对各个样本的宽高比进行聚类，得到所述预设的检测锚点值。
5.如权利要求1-4任一项所述的铁路侵限异物检测方法，其特征在于，在获取铁路侵限区域对应的待检测图像之后，还包括：
检测所述待检测图像中的轨道，将轨道两侧预设距离内的区域确定为铁路侵限区域，并对所述待检测图像中的铁路侵限区域进行标记；
根据标记从所述待检测图像中提取铁路侵限区域的图像；
相应的，将所述待检测图像作为训练得到的铁路侵限异物检测模型的输入图像，包括：
将提取到的铁路侵限区域的图像作为训练得到的铁路侵限异物检测模型的输入图像。
6.一种铁路侵限异物检测装置，其特征在于，包括：
构建模块，用于构建铁路侵限异物检测模型，其中，所述铁路侵限异物检测模型包括用于从输入图像中提取特征图的特征提取网络以及用于检测特征图中目标的检测网络；所述特征提取网络包括多个包含通道注意力处理层的深度可分离卷积残差块，所述深度可分离卷积残差块在进行深度可分离卷积操作时，通过所述通道注意力处理层进行特征融合；
获取模块，用于获取训练样本集；其中，所述训练样本集中的样本包括铁路侵限区域存在异物的图像；
训练模块，用于基于所述训练样本集，对所述铁路侵限异物检测模型进行训练；
检测模块，用于获取铁路侵限区域对应的待检测图像，并将所述待检测图像作为训练得到的铁路侵限异物检测模型的输入图像，对所述待检测图像进行铁路侵限异物检测；
其中，所述特征提取网络还包括卷积层，所述特征提取网络从输入图像中提取特征图的过程包括：卷积层从输入图像中提取初始特征图；卷积层将初始特征图输出，输出的初始特征图依次经过各个深度可分离卷积残差块进行深度可分离卷积，得到输入图像对应的特征图；
所述深度可分离卷积残差块还包括ResBlock层和特征融合层，所述通道注意力处理层包括挤压单元、激发单元和权重分配单元；每个深度可分离卷积残差块对初始特征图执行以下操作：
所述各个深度可分离卷积残差块还包括CSP结构，将初始特征图分为part1和part2，所述part2输入至所述ResBlock层；
所述ResBlock层对所述part2进行卷积，得到第一初始特征图；其中，所述第一初始特征图为多通道特征图；所述挤压单元将所述第一初始特征图中各个通道对应的空间特征进行全局平均池化编码，得到各个通道对应的全局描述特征；所述激发单元根据各个通道对应的全局描述特征计算各个通道之间的相关性，得到各个通道的权重值；所述权重分配单元根据各个通道的权重值对所述第一初始特征图进行权重分配，得到第二初始特征图；所述特征融合层将所述第一初始特征图、所述第二初始特征图进行逐通道相加后输出；
所述深度可分离卷积残差块将所述part1和所述特征融合层的输出特征图逐通道相加后输出。
7.一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN202110571071.7A 2021-05-25 2021-05-25 铁路侵限异物检测方法、装置及终端 Active CN113205510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110571071.7A CN113205510B (zh) 2021-05-25 2021-05-25 铁路侵限异物检测方法、装置及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110571071.7A CN113205510B (zh) 2021-05-25 2021-05-25 铁路侵限异物检测方法、装置及终端

Publications (2)

Publication Number Publication Date
CN113205510A CN113205510A (zh) 2021-08-03
CN113205510B true CN113205510B (zh) 2023-02-03

Family

ID=77023229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110571071.7A Active CN113205510B (zh) 2021-05-25 2021-05-25 铁路侵限异物检测方法、装置及终端

Country Status (1)

Country Link
CN (1) CN113205510B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113903009B (zh) * 2021-12-10 2022-07-05 华东交通大学 一种基于改进YOLOv3网络的铁路异物检测方法与系统
CN116416504B (zh) * 2023-03-16 2024-02-06 北京瑞拓电子技术发展有限公司 基于车辆协同的高速公路异物检测系统和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706197A (zh) * 2019-08-06 2020-01-17 北方工业大学 一种基于迁移学习的特殊场景下铁路异物侵限检测方法
CN112464851A (zh) * 2020-12-08 2021-03-09 国网陕西省电力公司电力科学研究院 一种基于视觉感知的智能电网异物入侵检测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427867B (zh) * 2019-07-30 2021-11-19 华中科技大学 基于残差注意力机制的面部表情识别方法及系统
CN112801270B (zh) * 2021-01-21 2023-12-12 中国人民解放军国防科技大学 融合深度卷积与注意力机制的u形网络槽自动识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706197A (zh) * 2019-08-06 2020-01-17 北方工业大学 一种基于迁移学习的特殊场景下铁路异物侵限检测方法
CN112464851A (zh) * 2020-12-08 2021-03-09 国网陕西省电力公司电力科学研究院 一种基于视觉感知的智能电网异物入侵检测方法及系统

Also Published As

Publication number Publication date
CN113205510A (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN109918969B (zh) 人脸检测方法及装置、计算机装置和计算机可读存储介质
EP3396625A1 (en) Image tampering detection method and system, electronic apparatus and storage medium
CN110378297B (zh) 基于深度学习的遥感图像目标检测方法、装置、及存储介质
CN113205510B (zh) 铁路侵限异物检测方法、装置及终端
CN108073898B (zh) 人头区域识别方法、装置及设备
CN110363211B (zh) 检测网络模型和目标检测方法
CN112200081A (zh) 异常行为识别方法、装置、电子设备及存储介质
CN110659391A (zh) 一种视频侦查方法及装置
CN110991215B (zh) 车道线检测方法、装置、存储介质及电子设备
CN112215179B (zh) 车内人脸识别方法、设备、装置及存储介质
CN111860496A (zh) 车牌识别方法、装置、设备及计算机可读存储介质
CN111582032A (zh) 行人检测方法、装置、终端设备及存储介质
CN112801158A (zh) 基于级联融合和注意力机制的深度学习小目标检测方法及装置
CN112036381B (zh) 视觉跟踪方法、视频监控方法及终端设备
CN116186770A (zh) 图像脱敏方法、装置、电子设备及存储介质
CN110298302B (zh) 一种人体目标检测方法及相关设备
CN110751040B (zh) 一种三维物体的检测方法和装置、电子设备、存储介质
CN110866428A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN115578590A (zh) 基于卷积神经网络模型的图像识别方法、装置及终端设备
CN113012215A (zh) 一种空间定位的方法、系统及设备
CN110969640A (zh) 视频图像的分割方法、终端设备以及计算机可读存储介质
CN112215188A (zh) 交警姿态识别方法、装置、设备及存储介质
CN111104965A (zh) 车辆目标识别的方法及装置
CN111126248A (zh) 一种遮挡下的车辆识别方法及装置
CN114724128B (zh) 一种车牌识别方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant