CN111709991B - 一种铁路工机具的检测方法、系统、装置和存储介质 - Google Patents
一种铁路工机具的检测方法、系统、装置和存储介质 Download PDFInfo
- Publication number
- CN111709991B CN111709991B CN202010467531.7A CN202010467531A CN111709991B CN 111709991 B CN111709991 B CN 111709991B CN 202010467531 A CN202010467531 A CN 202010467531A CN 111709991 B CN111709991 B CN 111709991B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- target
- detection
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 156
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000013528 artificial neural network Methods 0.000 claims abstract description 33
- 238000005286 illumination Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000004519 manufacturing process Methods 0.000 claims abstract description 9
- 230000009466 transformation Effects 0.000 claims description 45
- 230000004927 fusion Effects 0.000 claims description 33
- 238000011426 transformation method Methods 0.000 claims description 31
- 238000013527 convolutional neural network Methods 0.000 claims description 29
- 230000009467 reduction Effects 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 6
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种铁路工机具的检测方法、系统、装置和存储介质，方法包括获取多个工机具图像，根据所有工机具图像制作数据集；构建深度卷积神经网络，利用数据集和深度卷积神经网络构建反射图像提取网络，根据深度卷积神经网络和反射图像提取网络得到特征检测网络，根据深度卷积神经网络、反射图像提取网络和特征检测网络得到初始检测网络模型；利用数据集对初始检测网络模型进行训练，得到目标检测网络模型；根据目标检测网络模型对待检测工机具图像进行检测，得到检测结果。本发明可有效解决背景复杂、光照不均以及目标尺度差异大、形态复杂和存在遮挡等问题，对铁路工机具进行快速而准确地目标检测，实现铁路工机具的自动清点。
Description
技术领域
本发明涉及铁路运维与目标检测技术领域，尤其涉及一种铁路工机具的检测方法、系统、装置和存储介质。
背景技术
铁路是交通系统的重要组成部分。为了保障铁路的安全运行，铁路部门通常在夜间开展运维工作，而运维过程中经常出现大量工机具遗失的问题。目前为止，采取的工机具检测方法是对工人领取和归还的工机具进行拍照留存，通过人工对比分析，发现遗失的工机具。此方法需要工人进行繁琐、重复的检查工作，极大浪费人力财力。因此，通过对铁路工机具图像进行分析可实现工机具的自动清点。
铁路工机具自动清点的核心问题是铁路工机具的目标检测。图像中的目标检测是计算机视觉中的重要组成部分，其主要目的是识别图像中的目标并精准找到目标的位置。随着深度学习技术的发展，研究学者提出了多种目标检测神经网络模型，在精度和速度方面不断取得突破。然而，现有的深度学习模型无法满足铁路工机具检测的精度要求，其主要原因在于：铁路运维通常在夜间进行，野外作业环境复杂，通过手电筒补光方式拍摄的工机具图像背景复杂且存在光照不均以及遮挡等问题；除此之外，铁路工机具种类繁多，大小差异较大，形态复杂。基于上述原因，现有的目标检测模型无法对上述复杂背景下，尺寸差异大的各类工机具进行统一有效地检测，在样本数量有限情况下，还存在样本不均衡和过拟合等问题。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种铁路工机具的检测方法、系统、装置和存储介质，可有效解决背景复杂、光照不均以及目标尺度差异大、形态复杂和存在遮挡等问题，对铁路工机具进行快速而准确地目标检测，实现铁路工机具的自动清点。
本发明解决上述技术问题的技术方案如下：
一种铁路工机具的检测方法，包括以下步骤：
步骤1：获取多个工机具图像，根据所有工机具图像制作数据集；
步骤2：构建深度卷积神经网络，利用所述数据集和所述深度卷积神经网络构建反射图像提取网络，根据所述深度卷积神经网络和所述反射图像提取网络得到特征检测网络，根据所述深度卷积神经网络、所述反射图像提取网络和所述特征检测网络得到初始检测网络模型；
步骤3：利用所述数据集对所述初始检测网络模型进行训练，得到目标检测网络模型；
步骤4：根据所述目标检测网络模型对待检测工机具图像进行检测，得到检测结果。
依据本发明的另一方面，还提供了一种铁路工机具的检测系统，应用于本发明中的铁路工机具的检测方法中，包括数据集获取模块、网络模型构建模块、训练模块和检测模块；
所述数据集获取模块，用于获取多个工机具图像，根据所有工机具图像制作数据集；
所述网络模型构建模块，用于构建深度卷积神经网络，利用所述数据集和所述深度卷积神经网络构建反射图像提取网络，根据所述深度卷积神经网络和所述反射图像提取网络得到特征检测网络，根据所述深度卷积神经网络、所述反射图像提取网络和所述特征检测网络得到初始检测网络模型；
所述训练模块，用于利用所述数据集对所述初始检测网络模型进行训练，得到目标检测网络模型；
所述检测模块，用于根据所述目标检测网络模型对待检测工机具图像进行检测，得到检测结果。
依据本发明的另一方面，提供了一种铁路工机具的检测装置，包括处理器、存储器和存储在所述存储器中且可运行在所述处理器上的计算机程序，所述计算机程序运行时实现本发明的一种铁路工机具的检测方法中的步骤。
依据本发明的另一方面，提供了一种计算机存储介质，所述计算机存储介质包括：至少一个指令，在所述指令被执行时实现本发明的一种铁路工机具的检测方法中的步骤。
本发明的铁路工机具的检测方法、系统、装置和存储介质的有益效果是：以铁路工机具的图像作为输入图像并制作数据集，首先构建深度卷积神经网络，再利用数据集和深度卷积神经网络构建反射图像提取网络，然后利用深度卷积神经网络和反射图像提取网络得到特征检测网络，综合三种网络得到初始检测网络模型，可有效解决背景复杂、光照不均以及目标尺度差异大、形态复杂和存在遮挡等问题，并在一定程度上避免了样本不均衡和过拟合等问题，自动检测出图像中工机具的位置和类别，对铁路工机具进行快速而准确地目标检测，实现铁路工机具的自动清点，大大提高了检测精度，有助于提高铁路运维的安全性。
附图说明
图1为本发明实施例一中一种铁路工机具的检测方法的流程示意图；
图2为本发明实施例一中制作数据集的流程示意图；
图3为本发明实施例一中构建深度卷积神经网络的流程示意图；
图4为本发明实施例一中构建反射图像提取网络的流程示意图；
图5为本发明实施例一中得到特征检测网络的流程示意图；
图6为本发明实施例一中得到特征检测网络的模型图；
图7为本发明实施例一中得到目标位置和目标类别的流程示意图；
图8为本发明实施例一中得到目标位置和目标类别的完整模型图；
图9为本发明实施例一中一种铁路工机具的检测方法的完整流程图；
图10为本发明实施例二中一种铁路工机具的检测系统的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
下面结合附图，对本发明进行说明。
实施例一、如图1所示，一种铁路工机具的检测方法，包括以下步骤：
S1：获取多个工机具图像，根据所有工机具图像制作数据集；
S2：构建深度卷积神经网络，利用所述数据集和所述深度卷积神经网络构建反射图像提取网络，根据所述深度卷积神经网络和所述反射图像提取网络得到特征检测网络，根据所述深度卷积神经网络、所述反射图像提取网络和所述特征检测网络得到初始检测网络模型；
S3：利用所述数据集对所述初始检测网络模型进行训练，得到目标检测网络模型；
S4：根据所述目标检测网络模型对待检测工机具图像进行检测，得到检测结果。
以铁路工机具的图像作为输入图像并制作数据集，首先构建深度卷积神经网络，再利用数据集和深度卷积神经网络构建反射图像提取网络，然后利用深度卷积神经网络和反射图像提取网络得到特征检测网络，综合三种网络得到初始检测网络模型，可有效解决背景复杂、光照不均以及目标尺度差异大、形态复杂和存在遮挡等问题，并在一定程度上避免了样本不均衡和过拟合等问题，自动检测出图像中工机具的位置和类别，对铁路工机具进行快速而准确地目标检测，实现铁路工机具的自动清点，大大提高了检测精度，有助于提高铁路运维的安全性。
具体地，本实施例S1中，从铁路系统获取工机具图像，铁路工机具包括道钉锤、道镐、道碴叉、棘轮扳手、轨距尺、检查锤和钩锁器等。
优选地，如图2所示，在S1中，根据所有工机具图像制作所述数据集的具体步骤包括：
S11：采用像素颜色变换方法，分别对每个工机具图像进行初次变换，得到每个工机具图像一一对应的第一变换图像；
S12：采用空间几何变换方法，分别对每个第一变换图像进行再次变换，得到每个第一变换图像一一对应的第二变换图像；
S13：分别对每个第二变换图像中的工机具的位置和类别进行标注，得到每个第二变换图像一一对应的标注图像；
S14：将所有标注图像制作成所述数据集。
通过采用像素颜色变换方法进行的初次变换和采用空间几何变换方法进行的再次变换，实现了数据集增强的功能，能增加样本图像的多样性，并大大扩充样本图像，例如扩充到原来的6倍，能有效避免样本不均衡和过拟合等问题，为后续的检测奠定了数据基础，从而便于在一定程度上提高后续得到的目标检测网络模型对工机具的检测精度；通过对两次变换后的每个第二变换图像的位置和类别进行标注，能便于后续得到的目标检测网络模型对工机具的位置和类别进行准确地识别。
具体地，在本实施例S13中得到的每个标注图像均为xml格式的标签文件。
具体地，所述像素颜色变换方法具体为亮度变换方法，所述空间几何变换方法包括旋转变换方法、平移变换方法、缩放变换方法和切变变换方法的至少一种。
具体地，亮度变换方法的步骤实施如下：
选取任一个工机具图像，设为图像I，在HSV颜色空间中按照亮度变换公式对该图像I进行亮度分量调整，亮度变换公式具体为：
val(I′)＝val(I)×γ；
其中，val(I)为图像I的亮度分量值，val(I′)为图像I经过调整后的图像I′的亮度分量值，γ为亮度调节因子。
旋转变换方法的步骤实施如下：
对于图像I经过调整后的图像I′，按照旋转变换矩阵对该图像I′进行旋转变换，旋转变换矩阵具体为：
其中，θ为随机旋转角度，满足
平移变换方法的步骤实施如下：
对于图像I经过调整后的图像I′，按照平移变换矩阵对该图像I′进行平移变换，平移变换矩阵具体为：
dx＝width(I′)×gx
dy＝height(I′)×gy；
其中，dx为x轴平移量，dy为y轴平移量，width(I′)为图像I′的宽，height(I′)为图像I′的高，gx为x轴随机平移因子，满足gx∈[-0.2,0.2]，gy为y轴随机平移因子，满足gy∈[-0.2,0.2]。
缩放变换方法的步骤实施如下：
对于图像I经过调整后的图像I′，按照缩放变换矩阵对该图像I′进行缩放变换，缩放变换矩阵具体为：
其中，sx和sy分别为x轴随机缩放因子和y轴随机缩放因子，满足sx∈[0.8,1.2]，sy∈[0.8,1.2]。
切变变换方法的步骤实施如下：
对于图像I经过调整后的图像I′，按照切变变换矩阵对该图像I′在x轴方向上进行切变变换，切变变换矩阵具体为：
其中，k为x轴随机切变因子，满足k∈[-0.2,0.2]。
需要说明的是，上述空间几何变换方法可以选择其中一种或多种进行，当选择多种时，变换顺序可根据实际情况选择和调整。
优选地，如图3所示，在S2中，构建所述深度卷积神经网络的具体步骤包括：
S21：定义卷积层、反残差瓶颈块和池化层，得到卷积网络架构；
S22：将所述数据集输入到所述卷积网络架构中，得到所述深度卷积神经网络以及所述深度卷积神经网络输出的多个图像特征。
通过定义卷积层、反残差瓶颈块和池化层，可以得到卷积网络架构，便于后续将数据集按照该卷积网络架构进行执行，可以得到深度卷积神经网络以及输出的多个图像特征，基于该深度卷积神经网络，可以构建出反射图像提取网络，而基于图像特征，便于结合反射图像提取网络得到特征检测网络，进而得到整个目标检测过程所需要的初始检测网络模型，实现对工机具的自动检测。
具体地，本实施例中的深度卷积神经网络MobileNetV2共有54个卷积层，包括17个反残差瓶颈块、2个普通卷积层和1个平均池化层，其中，每个反残差瓶颈块由“扩张，卷积，压缩”三个操作的三个可分离卷积层构成。
优选地，如图4所示，在S2中，构建所述反射图像提取网络的具体步骤包括：
S23：获取工机具在标准光照下的标准光照图像，将所述标准光照图像和所述数据集分别输入到所述深度卷积神经网络中，得到所述数据集对应的反射图像集；
S24：根据所述反射图像集和所述深度卷积神经网络模型，得到所述反射图像提取网络以及所述反射图像提取网络输出的多个反射图像特征。
由于数据集中的工机具图像为低照度的图像，通过获取工机具在标准光照下的标准光照图像，将数据集和标准光照图像分别输入到深度卷积神经网络，可以提取出数据集中每个图像对应的反射图像，这些反射图像构成了反射图像集，其中，深度卷积神经网络中提取反射图像集的特征的分支即构成了反射图像提取网络，该网络可以提取出反射图像集对应的多个反射图像特征；根据Retinex原理同一图像在不同光照强度下，其反射图像基本接近，因此，以反射图像进行约束，通过上述反射图像提取网络，可以有效解决背景复杂和光照不均等问题，有利于提高后续对工机具进行目标检测的精度。
优选地，如图5所示，在S2中，得到所述特征检测网络的具体步骤包括：
S25：按照预设特征图尺度大小，从所有反射图像特征中获取目标反射图像特征，并按照所述预设特征图尺度大小，从所述深度卷积网络模型中的第一预设卷积层输出的所有图像特征中获取目标图像特征；
S26：采用逐通道相连的方法，将所述目标反射图像特征与所述目标图像特征进行融合，得到初始融合特征；
S27：在所述深度卷积网络模型中的所述第一预设卷积层之后的所有卷积层中，选取第二预设卷积层和第三预设卷积层，按照所述第一预设卷积层，分别对所述第二预设卷积层和所述第三预设卷积层进行降维，并将所述初始融合特征输入到所述深度卷积神经网络模型中在所述第一预设卷积层之后的每个卷积层中，分别提取出降维后的所述第二预设卷积层输出的第一深层特征和降维后的所述第三预设卷积层输出的第二深层特征；
S28：采用逐通道相连的方法，对所述初始融合特征、所述第一深层特征和所述第二深层特征进行融合，得到目标融合特征；
S29：根据所述目标融合特征定义输入特征层，并定义输出特征图的尺度和边界框，得到所述特征检测网络。
按照预设特征图尺度大小和第一预设卷积层，可以对深度卷积神经网络是第一预设卷积层输出的图像特征和反射提取网络输出的反射图像特征进行第一次融合，得到融合后的初始融合特征；然后按照第一预设卷积层，对第二预设卷积层和第三预设卷积层进行降维处理，可以使得第二预设卷积层和第三预设卷积层的特征图尺度大小、维度大小与第一预设卷积层的相同，便于后续进行第二次融合；在第二次融合过程中，将第一预设卷积层对应的特征(即经过第一次融合后的初始融合特征)作为浅层特征，并将该浅层特征输入给该第一预设卷积层之后的卷积层，将经过降维处理后的第二预设卷积层输出的特征作为第一深层特征，将经过降维处理后的第三预设卷积层输出的特征作为第二深层特征，通过浅层特征与第一深层特征、第二深层特征的融合，实现了特征的第二次融合；基于上述第一次融合和第二次融合得到的目标融合特征，可以作为后续特征检测网络的输入特征层，最后通过定义特征检测网络的输出特征图的尺度和边界框，可以得到特征检测网络，实现对工机具的目标检测；通过上述两次的特征融合，可以有效避免目标尺度差异大、形态复杂和存在遮挡等问题，在一定程度上提高特征检测网络对目标检测的准确率，进而实现对铁路工机具进行快速而准确地目标检测，实现铁路工机具的自动清点，大大提高了检测精度。
具体地，预设特征图尺度大小、第一预设卷积层、第二预设卷积层和第三预设卷积层可以根据实际情况选择和调整，在本实施例，预设特征图尺度大小设为64*64，第一预设卷积层设为第11层，因此采用逐通道相连的方法，将反射图像提取网络提取的大小为64*64的特征图与深度卷积神经网络的第11层大小为64*64的特征图进行融合，并将融合后初始融合特征输入给深度卷积神经网络在11层之后的卷积层；第二预设卷积层设为第14层，第三预设卷积层设为第17层，在降维过程中，首先对第11层进行预降维，再以预降维后的第11层为基准，对第14层和第17层进行降维，使这两层的尺度和维度与第11层相同；最后再次采用逐通道相连的方法对这三层的特征进行融合，得到一个最终融合后的目标融合特征，即为特征检测网络的输入特征层。
需要说明的是，逐通道相连的方法的操作步骤为现有技术，具体细节此处不再赘述。
具体地，本实施例S29中，当定义了特征检测网络的输入特征层、输入特征图的尺度和边界框后，得到的特征检测网络可以采用softmax分类器和边界回归方法对某一个输入图像进行检测和分类，得到对应的位置和类别。
具体地，在本实施例S29得到特征检测网络后，前述的深度卷积神经网络、反射提取图像网络和特征检测网络即构成了整个初始检测网络模型；然后在S3中，再利用数据集对整个初始检测网络模型进行训练，调整并优化模型参数，使其更拟合工机具目标检测任务，生成最终的检测模型，即目标检测网络模型，本实施例得到特征检测网络的模型图如图6所示。
优选地，如图7所示，所述检测结果包括所述待检测工机具图像对应的目标位置和目标类别，则S4具体包括：
S41：将所述待检测工机具图像输入到所述目标检测网络模型中，得到所述待检测工机具图像对应的位置边界框和类别边界框；
S42：对所述位置边界框进行解析，得到位置解析信息，并对所述类别边界框进行解析，得到类别解析信息；
S43：采用非极大值抑制方法对所述位置解析信息和所述类别解析信息进行筛选，得到所述待检测工机具图像对应的所述目标位置和所述目标类别。
当在S3中，利用数据集对初始检测网络模型进行训练后，可以得到一个检测精度最优的检测模型，即目标检测网络模型，然后将需要检测的工机具图像(即待检测工机具图像)输入到该目标检测网络模型，可以定位出与位置信息相关的位置边界框和与类别信息相关的类别边界框，然后对这两个边界框分别进行解析，然后采用非极大值抑制方法进行筛选，即可输出方便检测者查看的目标位置和目标类别；上述检测方法，运算简单、检测效率高、检测精度高，有利于提高铁路运维的安全性。
需要说明的是，非极大值抑制方法的操作步骤为现有技术，具体细节此处不再赘述。
具体地，本实施例中得到目标位置和目标类别的完整模型图如图8所示，铁路工机具的检测方法的完整流程示意图如图9所示。
实施例二、如图10所示，一种铁路工机具的检测系统，应用于实施例一中的铁路工机具的检测方法中，包括数据集获取模块、网络模型构建模块、训练模块和检测模块；
所述数据集获取模块，用于获取多个工机具图像，根据所有工机具图像制作数据集；
所述网络模型构建模块，用于构建深度卷积神经网络，利用所述数据集和所述深度卷积神经网络构建反射图像提取网络，根据所述深度卷积神经网络和所述反射图像提取网络得到特征检测网络，根据所述深度卷积神经网络、所述反射图像提取网络和所述特征检测网络得到初始检测网络模型；
所述训练模块，用于利用所述数据集对所述初始检测网络模型进行训练，得到目标检测网络模型；
所述检测模块，用于根据所述目标检测网络模型对待检测工机具图像进行检测，得到检测结果。
数据集获取模块以铁路工机具的图像作为输入图像并制作数据集，网络模型构建模块首先构建深度卷积神经网络，再利用数据集和深度卷积神经网络构建反射图像提取网络，然后利用深度卷积神经网络和反射图像提取网络得到特征检测网络，综合三种网络得到初始检测网络模型，可有效解决背景复杂、光照不均以及目标尺度差异大、形态复杂和存在遮挡等问题，并在一定程度上避免了样本不均衡和过拟合等问题，通过检测模块自动检测出图像中工机具的位置和类别，对铁路工机具进行快速而准确地目标检测，实现铁路工机具的自动清点，大大提高了检测精度，有助于提高铁路运维的安全性
优选地，所述数据集获取模块具体用于：
采用像素颜色变换方法，分别对每个工机具图像进行初次变换，得到每个工机具图像一一对应的第一变换图像；
采用空间几何变换方法，分别对每个第一变换图像进行再次变换，得到每个第一变换图像一一对应的第二变换图像；
分别对每个第二变换图像中的工机具的位置和类别进行标注，得到每个第二变换图像一一对应的标注图像；
将所有标注图像制作成所述数据集。
通过上述数据集获取模块，实现了数据集增强的功能，能增加样本图像的多样性，并大大扩充样本图像，能有效避免样本不均衡和过拟合等问题，为后续的检测奠定了数据基础，从而便于在一定程度上提高后续得到的目标检测网络模型对工机具的检测精度；通过对两次变换后的每个第二变换图像的位置和类别进行标注，能便于后续得到的目标检测网络模型对工机具的位置和类别进行准确地识别。
优选地，所述网络模型构建模块具体用于：
定义卷积层、反残差瓶颈块和池化层，得到卷积网络架构；
将所述数据集输入到所述卷积网络架构中，得到所述深度卷积神经网络以及所述深度卷积神经网络输出的多个图像特征。
所述网络模型构建模块还具体用于：
获取工机具在标准光照下的标准光照图像，将所述标准光照图像和所述数据集分别输入到所述深度卷积神经网络中，得到所述数据集对应的反射图像集；
根据所述反射图像集和所述深度卷积神经网络模型，得到所述反射图像提取网络以及所述反射图像提取网络输出的多个反射图像特征。
优选地，所述网络模型构建模块还具体用于：
按照预设特征图尺度大小，从所有反射图像特征中获取目标反射图像特征，并按照所述预设特征图尺度大小，从所述深度卷积网络模型中的第一预设卷积层输出的所有图像特征中获取目标图像特征；
采用逐通道相连的方法，将所述目标反射图像特征与所述目标图像特征进行融合，得到初始融合特征；
在所述深度卷积网络模型中的所述第一预设卷积层之后的所有卷积层中，选取第二预设卷积层和第三预设卷积层，按照所述第一预设卷积层，分别对所述第二预设卷积层和所述第三预设卷积层进行降维，并将所述初始融合特征输入到所述深度卷积神经网络模型中在所述第一预设卷积层之后的每个卷积层中，分别提取出降维后的所述第二预设卷积层输出的第一深层特征和降维后的所述第三预设卷积层输出的第二深层特征；
采用逐通道相连的方法，对所述初始融合特征、所述第一深层特征和所述第二深层特征进行融合，得到目标融合特征；
根据所述目标融合特征定义输入特征层，并定义输出特征图的尺度和边界框，得到所述特征检测网络。
通过网络模型构建模块，可以有效避免目标尺度差异大、形态复杂和存在遮挡等问题，在一定程度上提高特征检测网络对目标检测的准确率，进而实现对铁路工机具进行快速而准确地目标检测，实现铁路工机具的自动清点，大大提高了检测精度。
优选地，所述检测结果包括所述待检测工机具图像对应的目标位置和目标类别，所述检测模块具体用于：
将所述待检测工机具图像输入到所述目标检测网络模型中，得到所述待检测工机具图像对应的位置边界框和类别边界框；
对所述位置边界框进行解析，得到位置解析信息，并对所述类别边界框进行解析，得到类别解析信息；
采用非极大值抑制方法对所述位置解析信息和所述类别解析信息进行筛选，得到所述待检测工机具图像对应的所述目标位置和所述目标类别。
通过上述检测模块，运算简单、检测效率高、检测精度高，有利于提高铁路运维的安全性。
实施例三、基于实施例一和实施例二，本实施例还公开了一种铁路工机具的检测装置，包括处理器、存储器和存储在所述存储器中且可运行在所述处理器上的计算机程序，所述计算机程序运行时实现如图1所示的S1至S4的具体步骤。
通过存储在存储器上的计算机程序，并运行在处理器上，实现本发明的铁路工机具的检测，有效解决背景复杂、光照不均以及目标尺度差异大、形态复杂和存在遮挡等问题，并在一定程度上避免了样本不均衡和过拟合等问题，自动检测出图像中工机具的位置和类别，对铁路工机具进行快速而准确地目标检测，实现铁路工机具的自动清点，大大提高了检测精度，有助于提高铁路运维的安全性。
本实施例还提供一种计算机存储介质，所述计算机存储介质上存储有至少一个指令，所述指令被执行时实现所述S1至S4的具体步骤。
通过执行包含至少一个指令的计算机存储介质，实现本发明的铁路工机具的检测，有效解决背景复杂、光照不均以及目标尺度差异大、形态复杂和存在遮挡等问题，并在一定程度上避免了样本不均衡和过拟合等问题，自动检测出图像中工机具的位置和类别，对铁路工机具进行快速而准确地目标检测，实现铁路工机具的自动清点，大大提高了检测精度，有助于提高铁路运维的安全性。
本实施例中S1至S4的未尽细节，详见实施例一以及图1至图9的具体描述内容，此处不再赘述。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种铁路工机具的检测方法，其特征在于，包括以下步骤：
步骤1：获取多个工机具图像，根据所有工机具图像制作数据集；
步骤2：构建深度卷积神经网络，利用所述数据集和所述深度卷积神经网络构建反射图像提取网络，根据所述深度卷积神经网络和所述反射图像提取网络得到特征检测网络，根据所述深度卷积神经网络、所述反射图像提取网络和所述特征检测网络得到初始检测网络模型；
步骤3：利用所述数据集对所述初始检测网络模型进行训练，得到目标检测网络模型；
步骤4：根据所述目标检测网络模型对待检测工机具图像进行检测，得到检测结果；
在所述步骤1中，根据所有工机具图像制作所述数据集的具体步骤包括：
步骤11：采用像素颜色变换方法，分别对每个工机具图像进行初次变换，得到每个工机具图像一一对应的第一变换图像；
步骤12：采用空间几何变换方法，分别对每个第一变换图像进行再次变换，得到每个第一变换图像一一对应的第二变换图像；
步骤13：分别对每个第二变换图像中的工机具的位置和类别进行标注，得到每个第二变换图像一一对应的标注图像；
步骤14：将所有标注图像制作成所述数据集；
所述像素颜色变换方法具体为亮度变换方法，所述空间几何变换方法包括旋转变换方法、平移变换方法、缩放变换方法和切变变换方法中的至少一种；
其中，在所述步骤2中，构建所述反射图像提取网络的具体步骤包括：
步骤23：获取工机具在标准光照下的标准光照图像，将所述标准光照图像和所述数据集分别输入到所述深度卷积神经网络中，得到所述数据集对应的反射图像集；
步骤24：根据所述反射图像集和所述深度卷积神经网络，得到所述反射图像提取网络以及所述反射图像提取网络输出的多个反射图像特征；
在所述步骤2中，得到所述特征检测网络的具体步骤包括：
步骤25：按照预设特征图尺度大小，从所有反射图像特征中获取目标反射图像特征，并按照所述预设特征图尺度大小，从所述深度卷积网络中的第一预设卷积层输出的所有图像特征中获取目标图像特征；
步骤26：采用逐通道相连的方法，将所述目标反射图像特征与所述目标图像特征进行融合，得到初始融合特征；
步骤27：在所述深度卷积网络模型中的所述第一预设卷积层之后的所有卷积层中，选取第二预设卷积层和第三预设卷积层，按照所述第一预设卷积层，分别对所述第二预设卷积层和所述第三预设卷积层进行降维，并将所述初始融合特征输入到所述深度卷积神经网络中在所述第一预设卷积层之后的每个卷积层中，分别提取出降维后的所述第二预设卷积层输出的第一深层特征和降维后的所述第三预设卷积层输出的第二深层特征；
步骤28：采用逐通道相连的方法，对所述初始融合特征、所述第一深层特征和所述第二深层特征进行融合，得到目标融合特征；
步骤29：根据所述目标融合特征定义输入特征层，并定义输出特征图的尺度和边界框，得到所述特征检测网络。
2.根据权利要求1所述的铁路工机具的检测方法，其特征在于，在所述步骤2中，构建所述深度卷积神经网络的具体步骤包括：
步骤21：定义卷积层、反残差瓶颈块和池化层，得到卷积网络架构；
步骤22：将所述数据集输入到所述卷积网络架构中，得到所述深度卷积神经网络以及所述深度卷积神经网络输出的多个图像特征。
3.根据权利要求1所述的铁路工机具的检测方法，其特征在于，所述检测结果包括所述待检测工机具图像对应的目标位置和目标类别，则所述步骤4具体包括：
步骤41：将所述待检测工机具图像输入到所述目标检测网络模型中，得到所述待检测工机具图像对应的位置边界框和类别边界框；
步骤42：对所述位置边界框进行解析，得到位置解析信息，并对所述类别边界框进行解析，得到类别解析信息；
步骤43：采用非极大值抑制方法对所述位置解析信息和所述类别解析信息进行筛选，得到所述待检测工机具图像对应的所述目标位置和所述目标类别。
4.一种铁路工机具的检测系统，其特征在于，应用于如权利要求1至3任一项所述的铁路工机具的检测方法中，包括数据集获取模块、网络模型构建模块、训练模块和检测模块；
所述数据集获取模块，用于获取多个工机具图像，根据所有工机具图像制作数据集；
所述网络模型构建模块，用于构建深度卷积神经网络，利用所述数据集和所述深度卷积神经网络构建反射图像提取网络，根据所述深度卷积神经网络和所述反射图像提取网络得到特征检测网络，根据所述深度卷积神经网络、所述反射图像提取网络和所述特征检测网络得到初始检测网络模型；
所述训练模块，用于利用所述数据集对所述初始检测网络模型进行训练，得到目标检测网络模型；
所述检测模块，用于根据所述目标检测网络模型对待检测工机具图像进行检测，得到检测结果；
其中，所述数据集获取模块具体用于：
采用像素颜色变换方法，分别对每个工机具图像进行初次变换，得到每个工机具图像一一对应的第一变换图像；
采用空间几何变换方法，分别对每个第一变换图像进行再次变换，得到每个第一变换图像一一对应的第二变换图像；
分别对每个第二变换图像中的工机具的位置和类别进行标注，得到每个第二变换图像一一对应的标注图像；
将所有标注图像制作成所述数据集；
所述像素颜色变换方法具体为亮度变换方法，所述空间几何变换方法包括旋转变换方法、平移变换方法、缩放变换方法和切变变换方法中的至少一种；
所述网络模型构建模块，具体用于：
获取工机具在标准光照下的标准光照图像，将所述标准光照图像和所述数据集分别输入到所述深度卷积神经网络中，得到所述数据集对应的反射图像集；
根据所述反射图像集和所述深度卷积神经网络模型，得到所述反射图像提取网络以及所述反射图像提取网络输出的多个反射图像特征；
所述网络模型构建模块还具体用于：
按照预设特征图尺度大小，从所有反射图像特征中获取目标反射图像特征，并按照所述预设特征图尺度大小，从所述深度卷积网络中的第一预设卷积层输出的所有图像特征中获取目标图像特征；
采用逐通道相连的方法，将所述目标反射图像特征与所述目标图像特征进行融合，得到初始融合特征；
在所述深度卷积网络中的所述第一预设卷积层之后的所有卷积层中，选取第二预设卷积层和第三预设卷积层，按照所述第一预设卷积层，分别对所述第二预设卷积层和所述第三预设卷积层进行降维，并将所述初始融合特征输入到所述深度卷积神经网络中在所述第一预设卷积层之后的每个卷积层中，分别提取出降维后的所述第二预设卷积层输出的第一深层特征和降维后的所述第三预设卷积层输出的第二深层特征；
采用逐通道相连的方法，对所述初始融合特征、所述第一深层特征和所述第二深层特征进行融合，得到目标融合特征；
根据所述目标融合特征定义输入特征层，并定义输出特征图的尺度和边界框，得到所述特征检测网络。
5.一种铁路工机具的检测装置，其特征在于，包括处理器、存储器和存储在所述存储器中且可运行在所述处理器上的计算机程序，所述计算机程序运行时实现如权利要求1至3任一项权利要求所述的方法步骤。
6.一种计算机存储介质，其特征在于，所述计算机存储介质包括：至少一个指令，在所述指令被执行时实现如权利要求1至3任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010467531.7A CN111709991B (zh) | 2020-05-28 | 2020-05-28 | 一种铁路工机具的检测方法、系统、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010467531.7A CN111709991B (zh) | 2020-05-28 | 2020-05-28 | 一种铁路工机具的检测方法、系统、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111709991A CN111709991A (zh) | 2020-09-25 |
| CN111709991B true CN111709991B (zh) | 2023-11-07 |
Family
ID=72538084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010467531.7A Active CN111709991B (zh) | 2020-05-28 | 2020-05-28 | 一种铁路工机具的检测方法、系统、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111709991B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113628211B (zh) * | 2021-10-08 | 2022-02-15 | 深圳市信润富联数字科技有限公司 | 参数预测推荐方法、设备及计算机可读存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944412A (zh) * | 2017-12-04 | 2018-04-20 | 国网山东省电力公司电力科学研究院 | 基于多层卷积神经网络的输电线路自动识别系统及方法 |
| CN108596101A (zh) * | 2018-04-25 | 2018-09-28 | 上海交通大学 | 一种基于卷积神经网络的遥感图像多目标检测方法 |
| CN108875935A (zh) * | 2018-06-11 | 2018-11-23 | 兰州理工大学 | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 |
| CN109086656A (zh) * | 2018-06-06 | 2018-12-25 | 平安科技（深圳）有限公司 | 机场异物检测方法、装置、计算机设备及存储介质 |
| CN109147254A (zh) * | 2018-07-18 | 2019-01-04 | 武汉大学 | 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法 |
| CN109886312A (zh) * | 2019-01-28 | 2019-06-14 | 同济大学 | 一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法 |
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
| CN111079764A (zh) * | 2019-12-06 | 2020-04-28 | 深圳久凌软件技术有限公司 | 一种基于深度学习的低照度车牌图像识别方法及装置 |
| CN111179249A (zh) * | 2019-12-30 | 2020-05-19 | 南京南瑞信息通信科技有限公司 | 一种基于深度卷积神经网络的电力设备检测方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9940520B2 (en) * | 2015-05-01 | 2018-04-10 | Applied Research LLC. | Automatic target recognition system with online machine learning capability |
-
2020
- 2020-05-28 CN CN202010467531.7A patent/CN111709991B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944412A (zh) * | 2017-12-04 | 2018-04-20 | 国网山东省电力公司电力科学研究院 | 基于多层卷积神经网络的输电线路自动识别系统及方法 |
| CN108596101A (zh) * | 2018-04-25 | 2018-09-28 | 上海交通大学 | 一种基于卷积神经网络的遥感图像多目标检测方法 |
| CN109086656A (zh) * | 2018-06-06 | 2018-12-25 | 平安科技（深圳）有限公司 | 机场异物检测方法、装置、计算机设备及存储介质 |
| CN108875935A (zh) * | 2018-06-11 | 2018-11-23 | 兰州理工大学 | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 |
| CN109147254A (zh) * | 2018-07-18 | 2019-01-04 | 武汉大学 | 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法 |
| CN109886312A (zh) * | 2019-01-28 | 2019-06-14 | 同济大学 | 一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法 |
| CN111079764A (zh) * | 2019-12-06 | 2020-04-28 | 深圳久凌软件技术有限公司 | 一种基于深度学习的低照度车牌图像识别方法及装置 |
| CN111179249A (zh) * | 2019-12-30 | 2020-05-19 | 南京南瑞信息通信科技有限公司 | 一种基于深度卷积神经网络的电力设备检测方法和装置 |
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
Non-Patent Citations (1)
| Title |
|---|
| 顾文璇.基于深度卷积网络的农业病虫害图像分类识别应用.《中国优秀硕士学位论文电子期刊》.2018,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111709991A (zh) | 2020-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102094341B1 (ko) | 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템 및 방법 | |
| Akagic et al. | Pothole detection: An efficient vision based method using rgb color space image segmentation | |
| CN110826514A (zh) | 一种基于深度学习的施工现场违章智能识别方法 | |
| CN111784657A (zh) | 一种基于数字图像的水泥路面病害自动识别的系统及方法 | |
| CN110910350B (zh) | 一种用于风电塔筒的螺母松动检测方法 | |
| CN112528979B (zh) | 变电站巡检机器人障碍物判别方法及系统 | |
| CN110992349A (zh) | 一种基于深度学习的地下管道异常自动化定位与识别方法 | |
| CN114743119B (zh) | 基于无人机的高铁接触网吊弦螺母缺陷检测方法 | |
| CN116863274B (zh) | 一种基于半监督学习的钢板表面缺陷检测方法及系统 | |
| CN109409327B (zh) | 基于端到端深度神经网络的rru模块物件位姿检测方法 | |
| CN114399672A (zh) | 一种基于深度学习的铁路货车闸瓦故障检测方法 | |
| WO2024016877A1 (zh) | 一种面向车路协同的路测感知仿真系统 | |
| CN115439458A (zh) | 基于深度图注意力的工业图像缺陷目标检测算法 | |
| CN111881970A (zh) | 一种基于深度学习的外破图像智能识别方法 | |
| CN114972177A (zh) | 道路病害识别管理方法、装置及智能终端 | |
| CN112598066A (zh) | 一种基于机器视觉的轻量化道路路面检测方法及系统 | |
| CN111709991B (zh) | 一种铁路工机具的检测方法、系统、装置和存储介质 | |
| CN117274843B (zh) | 基于轻量级边缘计算的无人机前端缺陷识别方法及系统 | |
| CN117671585A (zh) | 一种基于YOLOv5的拌合站物料识别方法 | |
| CN113762247A (zh) | 一种基于显著实例分割算法的道路裂缝自动检测方法 | |
| CN115830302B (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
| CN114627371B (zh) | 一种基于注意力机制的桥梁健康监测方法 | |
| CN113222070B (zh) | 一种仿真图像数据自动标注方法及系统 | |
| CN114663353A (zh) | 神经网络训练方法、焊接接头裂纹检测方法、装置和介质 | |
| CN114973067A (zh) | 一种基于深度多任务学习的土压平衡盾构渣土信息提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |