CN113822148B - 一种基于卷积神经网络的轨道微小遗留物智能辨识方法 - Google Patents

一种基于卷积神经网络的轨道微小遗留物智能辨识方法 Download PDF

Info

Publication number
CN113822148B
CN113822148B CN202110894827.1A CN202110894827A CN113822148B CN 113822148 B CN113822148 B CN 113822148B CN 202110894827 A CN202110894827 A CN 202110894827A CN 113822148 B CN113822148 B CN 113822148B
Authority
CN
China
Prior art keywords
track
neural network
convolutional neural
picture
trace
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110894827.1A
Other languages
English (en)
Other versions
CN113822148A (zh
Inventor
孙奥
李炜博
彭远
王子涵
项恺文
沈拓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202110894827.1A priority Critical patent/CN113822148B/zh
Publication of CN113822148A publication Critical patent/CN113822148A/zh
Application granted granted Critical
Publication of CN113822148B publication Critical patent/CN113822148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的轨道微小遗留物智能辨识方法，构建轨道异物数据集；将轨道异物数据集中的各个轨道异物图像分别分割成若干网格；在卷积神经网络中增设一个特征尺度104×104；基于每个特征尺度，通过预设大小的锚框提取各个网格中的图片特征信息，生成特征图；导入待辨识图片，利用特征图中的元素预测待辨识图片中的轨道微小遗留物目标。本发明大大提升了对小目标的检测能力，平均检测精度大大提高，实现了在不同环境天气情况下对轨道上各种异物乃至影响轨道细微平整性的微小遗留物准确识别。

Description

一种基于卷积神经网络的轨道微小遗留物智能辨识方法
技术领域
本发明涉及一种基于卷积神经网络的轨道微小遗留物智能辨识方法，属于图像智能识别技术领域。
背景技术
到2020年末，全国铁路营业里程将达到15万公里，而全球铁路运营里程早在2015年就已经突破160万公里。这其中，高速电气化运营的铁路里程占比逐年提高。对高速运行的轨道交通系统来说，轨道状况的良好是安全运行的重中之重。然而，由于铁路轨道穿越各种复杂的地形与环境，如山地、农村、车站等。因此，无论是自然原因还是人为原因，都无法避免轨道上出现各种异常遗留的物体。这些遗留物如果未能及时清理，将会对铁路运行造成极大危害。基于这一问题，铁路巡检除了保证轨道本身的正常工况外，也必须保证这些遗留物得到及时发现与清理。
长期以来，铁路巡检依靠传统的人力巡检，检查工作反复、单调、工作量大，除了要耗费巨大的人力物力之外，也具有很高的疏漏、人为失误风险。长时间高强度的目视巡检对巡检员本身的体能与健康也是极大地消耗，特别是极端天气情况下。在这样的背景下，人工巡检往往难以避免人员疲惫造成的各种疏忽，从而产生巨大的安全隐患。
目前，现有技术中，已经开始借助计算机视觉技术手段解决这一问题的方法。但是在实践中往往暴露出以下问题：1、识别准确度低，无法对轨道上的微小遗留物做到准确识别；2、对识别环境要求高，无法适应现实的各种环境；3、系统封闭单一、不具有平台的通用性。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于卷积神经网络的轨道微小遗留物智能辨识方法。
为达到上述目的，本发明提供
一种基于卷积神经网络的轨道微小遗留物智能辨识方法，包含：
导入待辨识图片，利用构建的特征图中的元素，预测所述待辨识图片中的轨道微小遗留物目标。
优先地，构建特征图，包括：
构建轨道异物数据集；
将所述轨道异物数据集中的各个包含轨道的图像分别分割成若干网格；
在原始yolov3卷积神经网络中增设一个特征尺度，特征尺度为13的偶数倍；
基于每个所述特征尺度，通过预设大小的锚框提取各个所述网格中的图片特征信息，并生成特征图；
优先地，构建轨道异物数据集，包括：
采集若干个不同工况条件的轨道图像；
标记所述若干轨道图像中的异物，建立坐标系获取异物的坐标信息，生成包含异物坐标信息的异物标定文件；
拓展所述标记后的若干轨道图像，生成图片信息文件；
基于原始yolov3卷积神经网络，对所述若干个轨道图像、所述异物标定文件和所述图片信息文件建立VOC数据集目录，获得轨道异物数据集。
优先地，构建轨道异物数据集前，原始yolov3卷积神经网络中包括三个特征尺度；三个特征尺度包括13×13，26×26和52×52；在原始yolov3卷积神经网络中增设的特征尺度为13的偶数倍。
优先地，图片特征信息包含深层特征和浅层特征，所述深层特征和所述浅层特征融合生成所述特征图；
选择608×608作为输入原始yolov3卷积神经网络的轨道图像的分辨率，对应的最深层特征图为19×19。
优先地，不同工况条件包括时间、气候、光照、摄像头与异物的距离和异物尺寸。
优先地，拓展所述标记后的若干轨道图像包含对所述轨道图像进行旋转和对图片参数进行调整。
优先地，所述图片参数包含饱和度、色温与曝光度。
优先地，获得所述预设大小的AnchorBox，包含：
根据所述原始yolov3卷积神经网络的3个特征尺度，基于K-Means聚类算法获取9个质心；
将所述9个质心调整到416×416尺寸所对应的AnchorBox的中心坐标，获得所述预设大小的AnchorBox。
优先地，利用构建的特征图中的特征点，预测所述待辨识图片中的轨道微小遗留物目标中心点。
本发明所达到的有益效果：
根据本发明实施例的基于卷积神经网络的轨道微小遗留物智能辨识方法，大大提升了对小目标的检测能力，平均检测精度大大提高，实现了在不同环境天气情况下对轨道上各种异物乃至影响轨道细微平整性的微小遗留物准确识别。
附图说明
图1为本发明的流程图；
图2为构建轨道异物数据集的流程图。
具体实施方式
以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
首先，将结合图1~2描述根据本发明实施例的基于卷积神经网络的轨道微小遗留物智能辨识方法，用于对轨道进行实时监控管理，应用场景很广。AnchorBox为锚框。
如图1所示，本发明实施例的基于卷积神经网络的轨道微小遗留物智能辨识方法，具有如下步骤：
具体地，如图1所示，在S1中，构建轨道异物数据集。
进一步，如图2所示，在S11中，采集若干处于不同工况条件，诸如：时间、气候、光照、距离、异物大小等不同工况条件的轨道图像，以获得丰富的轨道异物数据集的素材。
进一步，如图2所示，在S12中，标记若干轨道图像中的异物，以轨道图像上某一点为原点建立坐标系，获取异物的坐标信息，生成包含异物坐标信息的异物标定文件。在本实施例中，通过运用LabelImg-master标记软件，对若干轨道图像中的异物进行标记，并生成含有被标记的异物的坐标信息的xml文件。
进一步，如图2所示，在S13中，为了丰富轨道异物数据集、提高训练难度与识别准确度，基于OpenCV，对轨道图像进行旋转和对饱和度、色温与曝光度等图片参数等进行调整，拓展后的轨道图像更能凸显不同环境和各类现实情况下可能出现的画面，保证了模型能够适应复杂的检测环境，提升了数据训练的准确度与鲁棒性，继而以拓展标记后的若干轨道图像，运用Python脚本生成含有图片信息的txt图片信息文件。
进一步，如图2所示，在S14中，基于原始yolov3卷积神经网络的算法要求，根据若干轨道图像、xml异物标定文件、txt图片信息文件，建立数据集目录，构建轨道异物数据集。
具体地，如图1所示，在S2中，将轨道异物数据集中的各个图像分别分割成若干网格。
具体地，如图1所示，在S3中，在原始yolov3卷积神经网络的3个特征尺度中增设一个特征尺度104×104。原始的卷积神经网络结构存在13×13，26×26，52×52三个特征尺度，其中52×52这个特征尺度主要用以检测小目标，而本实施例中的网络结构，在经过2倍上采样层之后，输出的特征尺度由52×52提升至104×104，加强了其对于输入图片的特征提取能力，更容易提取到图片当中微小目标的特征。
具体地，如图1所示，在S4中，基于每个特征尺度，通过预设大小的AnchorBox提取各个网格中的图片特征信息，根据不同的特征尺度和AnchorBox，提取到深层特征和浅层特征，并将深层特征和浅层特征进行融合后，生成特征图，通过对深层特征和浅层特征的充分利用，大大提升了图像识别的精度。
在本实施例中，首先采用K-Means聚类算法，根据原始yolov3卷积神经网络的3个特征尺度，获取9个质心坐标；再将9个质心调整到416×416的尺寸所对应的AnchorBox的中心坐标，从而获得AnchorBox的大小，实现AnchorBox大小的预设，从而在特征尺度变大的同时，减小了AnchorBox的尺寸，在图片特征信息提取的时候更容易注重到微小特征信息的提取，在相同的图片输入尺寸之上，虽然降低了对于大目标的检测能力，但是对于微小物体的检测能力得到大幅度的提升，检测精度获得了较大提高。
以VOC数据集为例，采用K-Means聚类算法，根据原始yolov3卷积神经网络的3个特征尺度，获取9个质心坐标： (10，13)，(16，30)，(33，23)，(30，61)，(62，45)，(59，119)，(116，90)，(156，198)，(373，326)；再将9个质心调整到416×416的尺寸所对应的AnchorBox的中心坐标（1，1），（2，2），（2，2），（3，2），（3，3），（9，11），（10，14），（14，17），（45，40），获得AnchorBox的大小。
进一步，针对VOC数据集，原始yolov3卷积神经网络输入的分辨率是416×416，而本实施例中的轨道图像的图片分辨率达到4752×3168，而提升输入图片的分辨率，有利于得到特征更为细腻的特征图，图片的特征信息会更加完整与丰富，同时，由于在图片输入的分辨率的选择中，原始yolov3卷积神经网络为了保证最终采样的图片当中能有中心点，其尺寸必须为奇数，为此，在本实施例中，选择608×608作为输入的分辨率，对应的最深层特征图为19×19，大大提升了平均精度。
具体地，如图1所示，在S5中，导入待辨识图片，利用特征图中的元素预测待辨识图片中的轨道微小遗留物目标。在本实施例中，通过特征图的每个元素，预测中心点在AnchorBox内的轨道微小遗留物目标。
以上，参照图1~2描述了根据本发明实施例的基于卷积神经网络的轨道微小遗留物智能辨识方法，大大提升了对小目标的检测能力，平均检测精度大大提高，实现了在不同环境天气情况下对轨道上各种异物乃至影响轨道细微平整性的微小遗留物准确识别。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种基于卷积神经网络的轨道微小遗留物智能辨识方法，其特征在于，包含：
导入待辨识图片，利用构建的特征图中的元素，预测所述待辨识图片中的轨道微小遗留物目标；
构建特征图，包括：
采集若干个不同工况条件的轨道图像；
标记所述若干轨道图像中的异物，建立坐标系获取异物的坐标信息，生成包含异物坐标信息的异物标定文件；
拓展所述标记后的若干轨道图像，生成图片信息文件；
基于原始yolov3卷积神经网络，对所述若干个轨道图像、所述异物标定文件和所述图片信息文件建立VOC数据集目录，获得轨道异物数据集；
将所述轨道异物数据集中的各个包含轨道的图像分别分割成若干网格；
原始yolov3卷积神经网络中包括三个特征尺度；三个特征尺度包括13×13，26×26和52×52；在原始yolov3卷积神经网络中增设一个特征尺度，在原始yolov3卷积神经网络中增设的特征尺度为13的偶数倍；
根据所述原始yolov3卷积神经网络的3个特征尺度，基于K-Means聚类算法获取9个质心；
将所述9个质心调整到416×416尺寸所对应锚框的中心坐标，获得所述预设大小的锚框；
基于每个所述特征尺度，通过预设大小的锚框提取各个所述网格中的图片特征信息，并生成特征图。
2.根据权利要求1所述的一种基于卷积神经网络的轨道微小遗留物智能辨识方法，其特征在于，图片特征信息包含深层特征和浅层特征，所述深层特征和所述浅层特征融合生成所述特征图；
选择608×608作为输入原始yolov3卷积神经网络的轨道图像的分辨率，对应的最深层特征图为19×19。
3.根据权利要求1所述的一种基于卷积神经网络的轨道微小遗留物智能辨识方法，其特征在于，不同工况条件包括时间、气候、光照、摄像头与异物的距离和异物尺寸。
4.根据权利要求1所述的一种基于卷积神经网络的轨道微小遗留物智能辨识方法其特征在于，拓展所述标记后的若干轨道图像包含对所述轨道图像进行旋转和对图片参数进行调整。
5.根据权利要求4所述的一种基于卷积神经网络的轨道微小遗留物智能辨识方法，其特征在于，所述图片参数包含饱和度、色温与曝光度。
6.根据权利要求4所述的一种基于卷积神经网络的轨道微小遗留物智能辨识方法，其特征在于，利用构建的特征图中的特征点，预测所述待辨识图片中的轨道微小遗留物目标中心点。
CN202110894827.1A 2021-08-05 2021-08-05 一种基于卷积神经网络的轨道微小遗留物智能辨识方法 Active CN113822148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110894827.1A CN113822148B (zh) 2021-08-05 2021-08-05 一种基于卷积神经网络的轨道微小遗留物智能辨识方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110894827.1A CN113822148B (zh) 2021-08-05 2021-08-05 一种基于卷积神经网络的轨道微小遗留物智能辨识方法

Publications (2)

Publication Number Publication Date
CN113822148A CN113822148A (zh) 2021-12-21
CN113822148B true CN113822148B (zh) 2024-04-12

Family

ID=78912942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110894827.1A Active CN113822148B (zh) 2021-08-05 2021-08-05 一种基于卷积神经网络的轨道微小遗留物智能辨识方法

Country Status (1)

Country Link
CN (1) CN113822148B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222474A (zh) * 2020-01-09 2020-06-02 电子科技大学 一种任意尺度的高分辨率图像小目标检测方法
CN111401148A (zh) * 2020-02-27 2020-07-10 江苏大学 一种基于改进的多级YOLOv3的道路多目标检测方法
AU2020101011A4 (en) * 2019-06-26 2020-07-23 Zhejiang University Method for identifying concrete cracks based on yolov3 deep learning model

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020101011A4 (en) * 2019-06-26 2020-07-23 Zhejiang University Method for identifying concrete cracks based on yolov3 deep learning model
CN111222474A (zh) * 2020-01-09 2020-06-02 电子科技大学 一种任意尺度的高分辨率图像小目标检测方法
CN111401148A (zh) * 2020-02-27 2020-07-10 江苏大学 一种基于改进的多级YOLOv3的道路多目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于改进YOLOv2网络的遗留物检测算法;张瑞林;张俊为;桂江生;高春波;包晓安;;浙江理工大学学报(自然科学版)(03);全文 *
基于深度学习的动车组运行安全图像异物检测;周雯;史天运;李平;马小宁;;交通信息与安全(06);全文 *

Also Published As

Publication number Publication date
CN113822148A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
CN106920291B (zh) 基于增强现实的结构表面巡检和分析系统
CN109711377B (zh) 标准化考场监控的单帧图像中考生定位和计数方法
CN104881865A (zh) 基于无人机图像分析的森林病虫害监测预警方法及其系统
KR102346676B1 (ko) 딥러닝 기반의 시설물 손상영상 분류를 활용한 손상도 생성방법
CN112070135A (zh) 电力设备图像检测方法、装置、电力设备及存储介质
CN113674216A (zh) 一种基于深度学习的地铁隧道病害检测方法
US11587299B2 (en) Systems and methods for detection of anomalies in civil infrastructure using context aware semantic computer vision techniques
CN111964763B (zh) 一种动态平板秤称重区域汽车断续行驶行为检测方法
CN113505638B (zh) 车流量的监测方法、监测装置及计算机可读存储介质
CN114627021A (zh) 基于点云与深度学习的缺陷检测方法和系统
CN111507398A (zh) 基于目标检测的变电站金属仪器锈蚀识别方法
CN114708519B (zh) 一种基于无人机遥感的麋鹿识别与形态轮廓参数提取方法
CN117351521A (zh) 基于数字孪生的输电线鸟类检测方法、系统、介质及设备
Dahmane et al. Weathereye-proposal of an algorithm able to classify weather conditions from traffic camera images
CN114694130A (zh) 基于深度学习的铁路沿线电线杆及杆号检测方法和装置
CN113033386B (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
Song et al. Automated flood depth estimates from online traffic sign images: Explorations of a convolutional neural network-based method
CN113822148B (zh) 一种基于卷积神经网络的轨道微小遗留物智能辨识方法
CN111523543A (zh) 一种基于学习的隧道表面缺陷定位方法
CN116978125A (zh) 一种吸烟检测方法、装置、电子设备及介质
CN110084125B (zh) 一种基于深度学习的农业保险查勘技术方法
CN114529721A (zh) 一种基于深度学习的城市遥感影像植被覆盖识别方法
Burdziakowski et al. Framework for extracting rails and setting-out railway line axis based on UAV photogrammetric measurements
CN114005054A (zh) 一种ai智能评分系统
CN112699736A (zh) 一种基于空间注意力的桥梁支座病害识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant