CN111709319A - 一种铁路工机具清点方法及装置 - Google Patents

一种铁路工机具清点方法及装置 Download PDF

Info

Publication number
CN111709319A
CN111709319A CN202010466840.2A CN202010466840A CN111709319A CN 111709319 A CN111709319 A CN 111709319A CN 202010466840 A CN202010466840 A CN 202010466840A CN 111709319 A CN111709319 A CN 111709319A
Authority
CN
China
Prior art keywords
tool
data set
target detection
detection network
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010466840.2A
Other languages
English (en)
Inventor
陈灯
杨瑾
王司恺
张子航
魏巍
张彦铎
吴云韬
周华兵
刘玮
段功豪
于宝成
郑朝晖
鞠剑平
唐剑隐
徐文霞
王逸文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Yinxing Technology Co ltd
Wuhan Institute of Technology
Original Assignee
Wuhan Yinxing Technology Co ltd
Wuhan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Yinxing Technology Co ltd, Wuhan Institute of Technology filed Critical Wuhan Yinxing Technology Co ltd
Priority to CN202010466840.2A priority Critical patent/CN111709319A/zh
Publication of CN111709319A publication Critical patent/CN111709319A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种铁路工机具清点方法及装置，方法包括：从公共数据库中读取多个工机具样本图像，并对多个所述工机具样本图像进行预处理，通过经预处理后的多个所述工机具样本图像得到训练图像数据集；构建目标检测网络，通过所述训练图像数据集对所述目标检测网络进行训练处理，得到目标检测模型；通过拍摄设备对出工现场进行图像采集，得到待处理图像；根据所述目标检测模型对所述待处理图像进行比对分析，得到遗失工机具类别的名称和数量。本发明实现了对工机具的准确检测与清点，可满足实际应用需求，且不需要人工提取工机具的图像特征，节省了时间的同时也提高了实时性和准确率，为智能铁路运维奠定了技术基础。

Description

一种铁路工机具清点方法及装置
技术领域
本发明主要涉及工机具检测领域，具体涉及一种铁路工机具清点方法及装置。
背景技术
铁路是交通系统的重要组成部分。为了保障铁路的安全运行，铁路部门通常在夜间开展运维工作。运维工作中工机具的大量遗失给铁路部门造成了巨大的经济损失。当前的解决方案是对工人领取和归还的工机具进行拍照留存，通过人工对比分析，发现遗失的工机具。然而，人工清点存在主观误差和时效性不足等问题，无法满足人力资源受限情况下铁路运维的智能化要求。基于图像处理技术可实现铁路工机具的自动检测和清点，然而铁路运维通常在夜间进行，而且野外作业环境复杂，拍摄的工机具图像存在背景复杂，光照度低，光照不均等问题。此外，由于铁路工机具种类繁多，工机具图像数据集存在样本稀疏和欠均衡问题。上述问题导致基于图像的铁路工机具自动清点存在精确度低，无法满足实际应用的困难局面。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种铁路工机具清点方法及装置。
本发明解决上述技术问题的技术方案如下：一种铁路工机具清点方法，包括如下步骤：
从公共数据库中读取多个工机具样本图像，并对多个所述工机具样本图像进行预处理，通过经预处理后的多个所述工机具样本图像得到训练图像数据集；
构建目标检测网络，通过所述训练图像数据集对所述目标检测网络进行训练处理，得到目标检测模型；
通过拍摄设备对出工现场进行图像采集，得到待处理图像；
根据所述目标检测模型对所述待处理图像进行比对分析，得到遗失工机具类别的名称和数量。
本发明解决上述技术问题的另一技术方案如下：一种铁路工机具清点装置，包括：
训练图像数据集处理模块，用于从公共数据库中读取多个工机具样本图像，并对多个所述工机具样本图像进行预处理，通过经预处理后的多个所述工机具样本图像得到训练图像数据集；
目标检测网络处理模块，用于构建目标检测网络，通过所述训练图像数据集对所述目标检测网络进行训练处理，得到目标检测模型；
待处理图像采集模块，用于通过拍摄设备对出工现场进行图像采集，得到待处理图像；
遗失工机具检测模块，用于根据所述目标检测模型对所述待处理图像进行比对分析，得到遗失工机具类别的名称和数量。
本发明的有益效果是：通过对所述多个工机具样本图像进行预处理，通过经处理后的多个工机具样本图像得到训练图像数据集；并构建目标检测网络，通过所述训练图像数据集对所述目标检测网络的训练处理得到目标检测模型，并根据所述目标检测模型对所述待处理图像的比对分析得到遗失工机具类别的名称和数量，实现了对工机具的准确检测与清点，可满足实际应用需求，且不需要人工提取工机具的图像特征，完全由深度神经网络模型端到端、自动地提取特征，能同时完成目标检测与定位两项任务，节省了时间的同时也提高了实时性和准确率，为智能铁路运维奠定了技术基础。
附图说明
图1为本发明一实施例提供的铁路工机具清点方法的流程示意图；
图2为本发明一实施例提供的铁路工机具清点装置的模块框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
图1为本发明一实施例提供的铁路工机具清点方法的流程示意图。
如图1所示，一种铁路工机具清点方法，包括如下步骤：
从公共数据库中读取多个工机具样本图像，并对多个所述工机具样本图像进行预处理，通过经预处理后的多个所述工机具样本图像得到训练图像数据集；
构建目标检测网络，通过所述训练图像数据集对所述目标检测网络进行训练处理，得到目标检测模型；
通过拍摄设备对出工现场进行图像采集，得到待处理图像；
根据所述目标检测模型对所述待处理图像进行比对分析，得到遗失工机具类别的名称和数量。
应理解地，所述工机具图像包括道钉锤、道镐、道碴叉、棘轮扳手、轨距尺、检查锤、钩锁器等。
应理解地，所述公共数据库属于外部的铁路系统。
上述实施例中，通过对多个所述工机具样本图像进行预处理，通过经处理后的多个工机具样本图像得到训练图像数据集；并构建目标检测网络，通过所述训练图像数据集对所述目标检测网络的训练处理得到目标检测模型，并根据所述目标检测模型对所述待处理图像的比对分析得到遗失工机具类别的名称和数量，实现了对工机具的准确检测与清点，可满足实际应用需求，且不需要人工提取工机具的图像特征，完全由深度神经网络模型端到端、自动地提取特征，能同时完成目标检测与定位两项任务，节省了时间的同时也提高了实时性和准确率，为智能铁路运维奠定了技术基础。
可选地，作为本发明的一个实施例，所述对多个所述工机具样本图像进行预处理，通过经处理后的多个所述工机具样本图像得到训练图像数据集的过程包括：
根据数据集增强算法分别对各个工机具样本图像进行图像变换处理，通过经变换处理后的多个工机具样本图像对所述训练图像数据集进行数量扩充，得到待标注训练图像数据集；
对所述待标注训练图像数据集中各工机具样本图像分别进行工机具位置标注和工机具类别名称标注，通过经标注后的各个工机具样本图像得到训练图像数据集。
具体地，采用空间几何变换和像素颜色变换对所述工机具图像数据集进行增强；对各个所述工机具样本图像，分别实施旋转变换、平移变换、亮度变换、缩放变换、切变变换并将其添加到所述待标注训练图像数据集中,各变换的详细说明如下：
亮度变换：在HSV颜色空间对图像I进行亮度分量调整。调整方法为val(I′)＝val(I)×γ,其中val(I)为图像I的亮度分量值，γ∈[0.8,1.2]为随机的亮度调节因子；
平移变换：基于第一式、第二式和第三式对图像I进行平移变换，所述第一式、所述第二式和所述第三式分别为：
Figure BDA0002512935670000051
dx＝width(I)×gx，
dy＝height(I)×gy，
其中，gx∈[-0.2,0.2]为x轴随机平移因子，gy∈[-0.2,0.2]为y轴随机平移因子。
旋转变换：基于第四式的旋转矩阵对图像I进行旋转变换，所述第四式为：
Figure BDA0002512935670000052
其中，θ∈[-10,10]为随机旋转角度。
缩放变换：基于第五式的缩放矩阵对图像I进行缩放变换，所述第五式为：
Figure BDA0002512935670000053
其中，sx∈[0.8,1.2]，sy∈[0.8,1.2]分别为x轴和y轴随机的缩放因子。
切变变换：基于第六式的切变矩阵对图像I在x轴方向进行切变变换，所述第六式为：
Figure BDA0002512935670000054
其中，k∈[-0.2,0.2]为x轴方向随机切变因子。
数据集增强方法从几何特性和颜色特性上增加了样本图像的多样性，且样本数量增加了5倍；对数据集增强后的所述待标注训练图像数据集进行人工标注，标出每个工机具的位置和其对应类别的名称，并自动生成xml格式的标签文件，根据所述标签文件得到训练图像数据集。
上述实施例中，根据数据集增强算法分别对各个工机具样本图像的图像变换处理，并通过经变换处理后的多个工机具样本图像对所述训练图像数据集的数量扩充得到待标注训练图像数据集；并对对所述待标注训练图像数据集中各图像分别的工机具位置标注和工机具类别名称标注，并通过经标注后的各个工机具样本图像得到训练图像数据集，增加了样本图像的多样性，扩大和丰富了样本数量，为工机具的有效检测奠定了数据基础。
可选地，作为本发明的一个实施例，所述目标检测网络包括深度卷积神经网络和特征检测网络，所述构建目标检测网络的过程包括：
所述深度卷积神经网络对所述训练图像数据集进行神经网络特征提取，得到神经网络特征图组；
所述特征检测网络对所述神经网络特征图组进行检测网络特征提取，得到多个预设尺度检测网络特征图，并将多个所述预设尺度检测网络特征图与所述原始特征图组一并级联到所述特征检测网络的检测层中进行检测处理，得到工机具的类别和位置信息。
上述实施例中，所述深度卷积神经网络对训练图像数据集的神经网络特征提取得到神经网络特征图组；特征检测网络对神经网络特征图组的检测网络特征提取得到多个预设尺度检测网络特征图，并将多个预设尺度检测网络特征图与所述原始特征图组一并级联到所述特征检测网络的检测层中的检测处理得到工机具的类别和位置信息，完全由深度神经网络端到端、自动地提取特征，能同时完成目标检测与定位两项任务，节省了时间的同时也提高了实时性和准确率。
可选地，作为本发明的一个实施例，所述深度卷积神经网络对所述训练图像数据集进行神经网络特征提取，得到神经网络特征图组的过程包括：
所述深度卷积神经网络包括输入层和13个深度可分离卷积层；
根据所述深度卷积神经网络对所述训练图像数据集进行神经网络特征提取，得到神经网络特征图组，所述神经网络特征图组包括第11个深度可分离卷积层的特征图和第13个深度可分离卷积层的特征图；
将所述第13个深度可分离卷积层的特征图作为原始特征图，并将所述原始特征图输入至所述特征检测网络中。
具体地，深度卷积神经网络由输入层和13个深度可分离卷积层组成，每一个卷积层后连接一个批量归一化层和一个非线性层；将所述训练图像数据集输入到深度卷积神经网络中，将第13个卷积层输出的特征图作为原始特征图输入给特征检测网络。
上述实施例中，根据深度卷积神经网络对训练图像数据集的神经网络特征提取得到第11个深度可分离卷积层的特征图和第13个深度可分离卷积层的特征图；将第13个深度可分离卷积层的特征图作为原始特征图，并将所述原始特征图输入至所述特征检测网络中，实现了端到端的操作，节省了时间的同时也提高了实时性和准确率。
可选地，作为本发明的一个实施例，所述特征检测网络对所述神经网络特征图组进行检测网络特征提取，得到多个预设尺度检测网络特征图，并将多个所述预设尺度检测网络特征图与所述原始特征图组一并层级联到所述特征检测网络的检测层中进行检测处理，得到工机具的类别和位置信息的过程包括：
根据所述特征检测网络对所述原始特征图在预设尺度条件下进行检测网络特征提取，得到多个预设尺度检测网络特征图；
对多个所述预设尺度检测网络特征图与所述神经网络特征图组进行组合，得到多个待处理特征图；
对各个所述待处理特征图中的每个像素点进行边界框生成处理，得到多个边界框；
根据边界框分类和回归模型对多个所述边界框进行目标检测，得到工机具的类别和位置信息。
应理解地，特征检测网络将深度卷积神经网络产生的所述原始特征图生成预设尺度特征图，综合应用预设尺度特征图、第11个深度可分离卷积层的特征图和第13个深度可分离卷积层的特征图并分别在这些特征图中每个像素点处生成预设尺度大小的边界框；并利用边界框分类和回归模型进行目标检测并使预测边界框逐渐接近真实边界框，从而实现目标的类别分类和定位。
上述实施例中，根据特征检测网络对原始特征图在预设尺度条件下的检测网络特征提取，得到多个预设尺度特征图；对多个所述预设尺度检测网络特征图与所述神经网络特征图组的组合得到多个待处理特征图；对各个所述待处理特征图中的每个像素点的边界框生成处理得到多个边界框；根据边界框分类和回归模型对多个边界框的目标检测得到工机具的类别名称和位置信息，实现了对工机具的分类和定位及对工机具的自动计数，能同时完成目标检测与定位两项任务，节省了时间的同时也提高了实时性和准确率。
可选地，作为本发明的一个实施例，所述通过所述训练图像数据集对所述目标检测网络进行训练处理，得到目标检测模型的过程包括：
根据预设的ImageNet数据集对所述目标检测网络进行训练，得到预训练网络；
根据迁移学习算法将所述预训练网络的13个深度可分离卷积层中的参数迁移至所述目标检测网络中，得到待训练目标检测网络；
根据所述训练图像数据集对所述待训练目标检测网络进行训练，得到目标检测模型。
具体地，以经过公共数据集良好训练的目标检测网络为预训练模型，利用迁移学习策略,将预训练模型的13个深度可分离卷积层中的参数迁移至所述目标检测网络，作为其初始权重值，并随机初始化额外层的权值；采用所述训练图像数据集对所述目标检测网络模型再训练，人工调整模型参数，使其更加拟合工机具目标检测任务，生成最终的目标检测模型。
上述实施例中，根据预设的ImageNet数据集对所述目标检测网络的训练得到预训练网络；根据迁移学习算法将所述预训练网络的13个深度可分离卷积层中的参数迁移至所述目标检测网络中，得到待训练目标检测网络；根据所述训练图像数据集对所述待训练目标检测网络的训练得到目标检测模型，不需要人工提取工机具的图像特征，完全实现了端到端、自动地提取特征，能同时完成目标检测与定位两项任务，节省了时间的同时也提高了实时性和准确率，为智能铁路运维奠定了技术基础。
可选地，作为本发明的一个实施例，所述根据所述目标检测模型对所述待处理图像进行比对分析，得到遗失工机具的类别的名称和数量的过程包括：
所述待处理图像包括出工前工机具图像和出工后工机具图像；
根据所述目标检测模型分别对所述出工前工机具图像和所述出工后工机具图像进行检测，得到多个出工前工机具类别和多个出工后工机具类别；
分别对多个出工前工机具类别的数量和多个出工后工机具类别的数量进行数量统计，得到出工前类别总数量和出工后类别总数量，并将所述出工前类别总数量与所述出工后类别总数量进行对比，得到遗失工机具类别的名称和数量。
应理解地，利用训练得到的目标检测模型对工人出工前后的工机具图像进行检测，获取出工前和收工后的工机具类别，并自动统计出工前后每类工机具对应的数量，通过对比，可自动检测遗失的工机具。
上述实施例中，根据所述目标检测模型分别对所述出工前工机具图像和所述出工后工机具图像的检测得到多个出工前工机具类别和多个出工后工机具类别；分别对多个出工前工机具类别的数量和多个出工后工机具类别的数量进行数量统计得到出工前类别总数量和出工后类别总数量，并将所述出工前类别总数量与所述出工后类别总数量的对比得到遗失工机具类别的名称和数量，实现了对工机具的准确检测与清点，可满足实际应用需求，节省了时间的同时也提高了实时性和准确率，为智能铁路运维奠定了技术基础。
图2为本发明一实施例提供的铁路工机具清点装置的模块框图。
可选地，作为本发明的另一个实施例，如图2所示，一种铁路工机具清点装置，包括：
训练图像数据集处理模块，用于从公共数据库中读取多个工机具样本图像，并对多个所述工机具样本图像进行预处理，通过经预处理后的多个所述工机具样本图像得到训练图像数据集；
目标检测网络处理模块，用于构建目标检测网络，通过所述训练图像数据集对所述目标检测网络进行训练处理，得到目标检测模型；
待处理图像采集模块，用于通过拍摄设备对出工现场进行图像采集，得到待处理图像；
遗失工机具检测模块，用于根据所述目标检测模型对所述待处理图像进行比对分析，得到遗失工机具类别的名称和数量。
可选地，作为本发明的一个实施例，所述训练图像数据集处理模块具体用于：
根据数据集增强算法分别对各个工机具样本图像进行图像变换处理，通过经变换处理后的多个工机具样本图像对所述训练图像数据集进行数量扩充，得到待标注训练图像数据集；
对所述待标注训练图像数据集中各工机具样本图像分别进行工机具位置标注和工机具类别名称标注，通过经标注后的各个工机具样本图像得到训练图像数据集。
可选地，作为本发明的一个实施例，所述目标检测网络包括深度卷积神经网络和特征检测网络，所述目标检测网络处理模块具体用于：
所述深度卷积神经网络对所述训练图像数据集进行神经网络特征提取，得到神经网络特征图组；
所述特征检测网络对所述神经网络特征图组进行检测网络特征提取，得到多个预设尺度检测网络特征图，并将多个所述预设尺度检测网络特征图与所述原始特征图组一并级联到所述特征检测网络的检测层中进行检测处理，得到工机具的类别和位置信息。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。用于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种铁路工机具清点方法，其特征在于，包括如下步骤：
从公共数据库中读取多个工机具样本图像，并对多个所述工机具样本图像进行预处理，通过经预处理后的多个所述工机具样本图像得到训练图像数据集；
构建目标检测网络，通过所述训练图像数据集对所述目标检测网络进行训练处理，得到目标检测模型；
通过拍摄设备对出工现场进行图像采集，得到待处理图像；
根据所述目标检测模型对所述待处理图像进行比对分析，得到遗失工机具类别的名称和数量。
2.根据权利要求1所述的铁路工机具清点方法，其特征在于，所述对多个所述工机具样本图像进行预处理，通过经处理后的多个所述工机具样本图像得到训练图像数据集的过程包括：
根据数据集增强算法分别对各个工机具样本图像进行图像变换处理，通过经变换处理后的多个工机具样本图像对所述训练图像数据集进行数量扩充，得到待标注训练图像数据集；
对所述待标注训练图像数据集中各工机具样本图像分别进行工机具位置标注和工机具类别名称标注，通过经标注后的各个工机具样本图像得到训练图像数据集。
3.根据权利要求1所述的铁路工机具清点方法，其特征在于，所述目标检测网络包括深度卷积神经网络和特征检测网络，所述构建目标检测网络的过程包括：
所述深度卷积神经网络对所述训练图像数据集进行神经网络特征提取，得到神经网络特征图组；
所述特征检测网络对所述神经网络特征图组进行检测网络特征提取，得到多个预设尺度检测网络特征图，并将多个所述预设尺度检测网络特征图与所述原始特征图组一并级联到所述特征检测网络的检测层中进行检测处理，得到工机具的类别和位置信息。
4.根据权利要求3所述的铁路工机具清点方法，其特征在于，所述深度卷积神经网络对所述训练图像数据集进行神经网络特征提取，得到神经网络特征图组的过程包括：
所述深度卷积神经网络包括输入层和13个深度可分离卷积层；
根据所述深度卷积神经网络对所述训练图像数据集进行神经网络特征提取，得到神经网络特征图组，所述神经网络特征图组包括第11个深度可分离卷积层的特征图和第13个深度可分离卷积层的特征图；
将所述第13个深度可分离卷积层的特征图作为原始特征图，并将所述原始特征图输入至所述特征检测网络中。
5.根据权利要求3所述的铁路工机具清点方法，其特征在于，所述特征检测网络对所述神经网络特征图组进行检测网络特征提取，得到多个预设尺度检测网络特征图，并将多个所述预设尺度检测网络特征图与所述原始特征图组一并层级联到所述特征检测网络的检测层中进行检测处理，得到工机具的类别和位置信息的过程包括：
根据所述特征检测网络对所述原始特征图在预设尺度条件下进行检测网络特征提取，得到多个预设尺度检测网络特征图；
对多个所述预设尺度检测网络特征图与所述神经网络特征图组进行组合，得到多个待处理特征图；
对各个所述待处理特征图中的每个像素点进行边界框生成处理，得到多个边界框；
根据边界框分类和回归模型对多个所述边界框进行目标检测，得到工机具的类别和位置信息。
6.根据权利要求1所述的铁路工机具清点方法，其特征在于，所述通过所述训练图像数据集对所述目标检测网络进行训练处理，得到目标检测模型的过程包括：
根据预设的ImageNet数据集对所述目标检测网络进行训练，得到预训练网络；
根据迁移学习算法将所述预训练网络的13个深度可分离卷积层中的参数迁移至所述目标检测网络中，得到待训练目标检测网络；
根据所述训练图像数据集对所述待训练目标检测网络进行训练，得到目标检测模型。
7.根据权利要求1所述的铁路工机具清点方法，其特征在于，所述根据所述目标检测模型对所述待处理图像进行比对分析，得到遗失工机具的类别的名称和数量的过程包括：
所述待处理图像包括出工前工机具图像和出工后工机具图像；
根据所述目标检测模型分别对所述出工前工机具图像和所述出工后工机具图像进行检测，得到多个出工前工机具类别和多个出工后工机具类别；
分别对多个出工前工机具类别的数量和多个出工后工机具类别的数量进行数量统计，得到出工前类别总数量和出工后类别总数量，并将所述出工前类别总数量与所述出工后类别总数量进行对比，得到遗失工机具类别的名称和数量。
8.一种铁路工机具清点装置，其特征在于，包括：
训练图像数据集处理模块，用于从公共数据库中读取多个工机具样本图像，并对多个所述工机具样本图像进行预处理，通过经预处理后的多个所述工机具样本图像得到训练图像数据集；
目标检测网络处理模块，用于构建目标检测网络，通过所述训练图像数据集对所述目标检测网络进行训练处理，得到目标检测模型；
待处理图像采集模块，用于通过拍摄设备对出工现场进行图像采集，得到待处理图像；
遗失工机具检测模块，用于根据所述目标检测模型对所述待处理图像进行比对分析，得到遗失工机具类别的名称和数量。
9.根据权利要求8所述的铁路工机具清点装置，其特征在于，所述训练图像数据集处理模块具体用于：
根据数据集增强算法分别对各个工机具样本图像进行图像变换处理，通过经变换处理后的多个工机具样本图像对所述训练图像数据集进行数量扩充，得到待标注训练图像数据集；
对所述待标注训练图像数据集中各工机具样本图像分别进行工机具位置标注和工机具类别名称标注，通过经标注后的各个工机具样本图像得到训练图像数据集。
10.根据权利要求8所述的铁路工机具清点装置，其特征在于，所述目标检测网络包括深度卷积神经网络和特征检测网络，所述目标检测网络处理模块具体用于：
所述深度卷积神经网络对所述训练图像数据集进行神经网络特征提取，得到神经网络特征图组；
所述特征检测网络对所述神经网络特征图组进行检测网络特征提取，得到多个预设尺度检测网络特征图，并将多个所述预设尺度检测网络特征图与所述原始特征图组一并级联到所述特征检测网络的检测层中进行检测处理，得到工机具的类别和位置信息。
CN202010466840.2A 2020-05-28 2020-05-28 一种铁路工机具清点方法及装置 Pending CN111709319A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010466840.2A CN111709319A (zh) 2020-05-28 2020-05-28 一种铁路工机具清点方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010466840.2A CN111709319A (zh) 2020-05-28 2020-05-28 一种铁路工机具清点方法及装置

Publications (1)

Publication Number Publication Date
CN111709319A true CN111709319A (zh) 2020-09-25

Family

ID=72538259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010466840.2A Pending CN111709319A (zh) 2020-05-28 2020-05-28 一种铁路工机具清点方法及装置

Country Status (1)

Country Link
CN (1) CN111709319A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019162241A1 (en) * 2018-02-21 2019-08-29 Robert Bosch Gmbh Real-time object detection using depth sensors
CN110245689A (zh) * 2019-05-23 2019-09-17 杭州有容智控科技有限公司 基于机器视觉的盾构刀具识别与定位检测方法
CN110309876A (zh) * 2019-06-28 2019-10-08 腾讯科技（深圳）有限公司 目标检测方法、装置、计算机可读存储介质和计算机设备
CN110490236A (zh) * 2019-07-29 2019-11-22 武汉工程大学 基于神经网络的自动图像标注方法、系统、装置和介质
CN110705338A (zh) * 2018-07-10 2020-01-17 浙江宇视科技有限公司 车辆检测方法、装置及监控设备
CN111179249A (zh) * 2019-12-30 2020-05-19 南京南瑞信息通信科技有限公司 一种基于深度卷积神经网络的电力设备检测方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019162241A1 (en) * 2018-02-21 2019-08-29 Robert Bosch Gmbh Real-time object detection using depth sensors
CN110705338A (zh) * 2018-07-10 2020-01-17 浙江宇视科技有限公司 车辆检测方法、装置及监控设备
CN110245689A (zh) * 2019-05-23 2019-09-17 杭州有容智控科技有限公司 基于机器视觉的盾构刀具识别与定位检测方法
CN110309876A (zh) * 2019-06-28 2019-10-08 腾讯科技（深圳）有限公司 目标检测方法、装置、计算机可读存储介质和计算机设备
CN110490236A (zh) * 2019-07-29 2019-11-22 武汉工程大学 基于神经网络的自动图像标注方法、系统、装置和介质
CN111179249A (zh) * 2019-12-30 2020-05-19 南京南瑞信息通信科技有限公司 一种基于深度卷积神经网络的电力设备检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王建林;付雪松;黄展超;郭永奇;王汝童;赵利强;: "改进YOLOv2卷积神经网络的多类型合作目标检测" *

Similar Documents

Publication Publication Date Title
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
US20210319561A1 (en) Image segmentation method and system for pavement disease based on deep learning
Akagic et al. Pothole detection: An efficient vision based method using rgb color space image segmentation
DE112016004535T5 (de) Universelles Übereinstimmungsnetz
Klonus et al. Combined edge segment texture analysis for the detection of damaged buildings in crisis areas
CN111311567A (zh) 对轨道线路图像进行扣件和钢轨病害识别的方法
CN112966665A (zh) 路面病害检测模型训练方法、装置和计算机设备
CN115223054A (zh) 一种基于分区聚类与卷积的遥感影像变化检测方法
CN113505781A (zh) 目标检测方法、装置、电子设备及可读存储介质
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
CN115272826A (zh) 一种基于卷积神经网络的图像识别方法、装置及系统
CN116206112A (zh) 基于多尺度特征融合和sam的遥感图像语义分割方法
Kekre et al. Query by image content using color-texture features extracted from Haar wavelet pyramid
CN111709319A (zh) 一种铁路工机具清点方法及装置
CN111709991B (zh) 一种铁路工机具的检测方法、系统、装置和存储介质
CN110084125B (zh) 一种基于深度学习的农业保险查勘技术方法
Miah A real time road sign recognition using neural network
CN114820870A (zh) 核电流程图辅助绘制方法、装置、计算机设备和存储介质
CN112115949B (zh) 一种烟草证件以及订单的光学文字识别方法
JP2007139421A (ja) 形態分類装置及び方法、並びに変化領域抽出装置及び方法
KR102416714B1 (ko) 3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템 및 방법
CN112861932B (zh) 轨道板裂缝检测方法
Hu et al. Vehicle detection in dark weather based on YOLO and MSRCR method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200925

RJ01 Rejection of invention patent application after publication