CN111899227A - 基于无人机作业的铁路扣件缺陷自动采集辨识方法 - Google Patents

基于无人机作业的铁路扣件缺陷自动采集辨识方法 Download PDF

Info

Publication number
CN111899227A
CN111899227A CN202010640270.4A CN202010640270A CN111899227A CN 111899227 A CN111899227 A CN 111899227A CN 202010640270 A CN202010640270 A CN 202010640270A CN 111899227 A CN111899227 A CN 111899227A
Authority
CN
China
Prior art keywords
cyolo
detection
defect
image
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010640270.4A
Other languages
English (en)
Inventor
秦勇
崔京
吴云鹏
刘嘉豪
曹先彬
樊邦奎
李齐贤
陈平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN202010640270.4A priority Critical patent/CN111899227A/zh
Publication of CN111899227A publication Critical patent/CN111899227A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明提供了一种基于无人机作业的铁路扣件缺陷自动采集辨识方法。该方法包括：对无人机拍摄的铁路扣件图像数据进行增强处理，得到训练集、验证集和测试集；利用CYOLO算法构建网络模型，利用训练集中的图像数据对CYOLO网络模型进行训练，利用验证集中的图像数据对训练完成的CYOLO网络模型进行比对检测，得到训练好的CYOLO网络模型；将训练好的CYOLO网络模型作为铁路扣件缺陷图像的检测模型，将测试集中的图像数据输入到铁路扣件缺陷图像的检测模型中，实现图像数据的铁路扣件缺陷目标检测。本发明将CYOLO算法应用到铁路扣件缺陷巡检中，实现扣件缺陷自动识别，提高检测效率，可以实现对铁路无人机图像扣件缺陷的坐标定位和分类。

Description

基于无人机作业的铁路扣件缺陷自动采集辨识方法
技术领域
本发明涉及铁路轨道扣件检测技术领域，尤其涉及一种基于无人机作业的铁路扣件缺陷自动采集辨识方法。
背景技术
由于列车运行中的激荡和振动，铁路轨道扣件容易损坏甚至丢失。目前，检测轨道扣件损坏的手段主要是检测车上线巡检，由人工离线读取大量图像数据。然而，随着高速电气化铁路的大规模建设，人工目视检测照片数量巨大、检测效率低。检测车挂载的不同相机通常在夜间拍摄，获得图像质量差并且存在遗漏的现象。近年来，无人机检测方法因为其高效、灵活和低成本等特点，已经被广泛应用在工程测量、植保检测、目标识别以及目标识别跟踪定位等方面，并且取得了显著的效果，逐渐成为不可替代的检测手段。但无人机巡检在铁路方面的应用较少，引入无人机作为巡检的辅助手段逐渐成为了铁路基础设施和环境监测的迫切需求。通过无人机拍摄铁路轨道获得质量高的轨道图像能够避免拍摄角度造成的漏检，利用深度学习目标检测算法实现扣件缺陷的自动检测，对于提高扣件检测的准确度和效率有着重要的意义。
近年来随着图形处理技术的发展，一些研究人员提出基于传统图像的检测手段，虽然在一定程度上可以检测出外观缺陷，但是算法受周围环境影响大，在精度和速度上并没有达到理想要求。随着大数据的时代的到来，卷积神经网络对图像目标检测和识别表现出很大的优势。YOLO系列算法是一种基于卷积神经网络的单阶段目标检测算法，YOLOv3算法通过使用Darknet53作为backbone提取图像特征，利用5个下采样层输出3个尺度的输出层，其大小分别为13*13，26*26，52*52，然后直接在输出层回归边界框的位置及其所属的类别。
发明内容
本发明的实施例提供了一种基于无人机作业的铁路扣件缺陷自动采集辨识方法，以克服现有技术的问题。
为了实现上述目的，本发明采取了如下技术方案。
一种基于无人机作业的铁路扣件缺陷自动采集辨识方法，包括：
通过无人机搭载相机获取铁路扣件图像，对无人机拍摄的铁路扣件图像数据进行增强处理，得到训练集、验证集和测试集；
基于级联思想利用CYOLO算法构建CYOLO网络模型，利用所述训练集中的图像数据对所述CYOLO网络模型进行训练，利用所述验证集中的图像数据对训练完成的CYOLO网络模型进行比对检测，调整CYOLO网络模型的参数，得到训练好的CYOLO网络模型；
将所述训练好的CYOLO网络模型作为铁路扣件缺陷图像的检测模型，将所述测试集中的图像数据输入到铁路扣件缺陷图像的检测模型中，该检测模型利用CYOLO目标检测算法实现图像数据的铁路扣件缺陷目标检测。
优选地，所述的通过无人机搭载相机获取铁路扣件图像，包括：
通过工业级无人机挂载工业级变焦相机距离轨面30-70m的空中拍摄铁路扣件图像，无人机采用智能电池延长飞行时间以及内置的API控制功能和可扩展的中心框架，在扣件检测任务中，选用的无人机最大起飞重量为15.1kg，选用的可见光相机达到30倍光学变焦，6倍数码变焦以及获取高清1080P视频的要求。
优选地，所述的对无人机拍摄的铁路扣件图像数据进行增强处理，得到训练集、验证集和测试集，包括：
对无人机拍摄的铁路扣件图像数据进行增强处理，通过调整图像对比度、亮度、镜像、旋转图像角度和增加噪声对铁路扣件图像数据进行增广，将增广后的铁路扣件图像数据按6:2:2的比例分为训练集、验证集和测试集，
用labelImage软件将训练集中的图像的缺陷用矩形框标出，生成包含图像名称、缺陷坐标和缺陷类型的缺陷矩形框图像，根据各个缺陷矩形框图像利用Kmeans算法计算先验检测框的大小和长宽比例，生成6个锚框，较大的3个锚框用于在26*26输出层上做回归，以用于检测较大的缺陷目标；其余3个锚框用于在52*52输出层上做回归，以用于检测较小的缺陷目标。
优选地，所述的基于级联思想利用CYOLO算法构建CYOLO网络模型，包括：
基于级联思想和数据集特点利用CYOLO算法构建CYOLO网络模型，将Darknet53作为所述CYOLO网络模型的骨架，CYOLO网络模型总共有个4个下采样层，每个下采样层是利用3*3的卷积核和步长为2的基本卷积操作，利用特征融合技术将包含不同信息的不同尺度层卷积神经网络的特征图进行融合，去掉CYOLO网络模型的1个下采样层，剪掉了原本YOLOv3的13*13输出尺度。
把第3个下采样层输出的特征，输入给8个残差块，残差块输出的特征经过resize形成和下一层相同尺度的特征信息，被直接级联到26*26尺度的输出特种图上，形成基于特征金字塔自上而下的特征融合路径，将产生52*52输出层的特征级联到26*26的输出层；
再将Kmeans算法得到的6个检测框进行回归和分类，较大的3个检测框在26*26上做预测，其余3个检测框在52*52上做预测，利用损失函数和梯度下降法来反向传播CYOLO网络模型的参数，CYOLO网络模型的多任务损失函数为：
Figure BDA0002571253820000041
其中，
Figure BDA0002571253820000042
代表预测值，
Figure BDA0002571253820000043
真实值，
Figure BDA0002571253820000044
Figure BDA0002571253820000045
代表在第i个网格中的第j个预测框负责检测目标；
Figure BDA0002571253820000046
和
Figure BDA0002571253820000047
代表预测的自信度和真实值；Pi j和
Figure BDA0002571253820000048
代表预测的类和真是值。
优选地，所述的将所述训练好的CYOLO网络模型作为铁路扣件缺陷图像的检测模型，将所述测试集中的图像数据输入到铁路扣件缺陷图像的检测模型中，该检测模型利用CYOLO目标检测算法实现图像数据的铁路扣件缺陷目标检测，包括：
将所述训练好的CYOLO网络模型作为铁路扣件缺陷图像的检测模型，将测试集中的图像数据输入到铁路扣件缺陷图像的检测模型中，利用上述3个较大和较小的锚框在图像数据的52*52和26*26尺度输出层上分别进行预测，得到多个检测框，采用NMS非极大值抑制算法去掉框选内容相近的检测框，最终保留置信度大于设定阈值的一个或者多个检测框，根据所述一个或者多个检测框标识出图像数据的铁路扣件缺陷。
由上述本发明的实施例提供的技术方案可以看出，本发明实施例利用无人机拍摄轨道，可在不影响线路运行、不必考虑天窗期的情况下能够获取图像质量更好的轨道图像。将CYOLO算法应用到扣件巡检中，实现扣件缺陷自动识别，提高检测效率，可以实现对铁路无人机图像扣件缺陷的坐标定位和分类。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供一种基于无人机作业的铁路扣件缺陷自动采集辨识方法的处理流程图；
图2为本发明实施例提供一种无人机拍摄轨道示意图；
图3为本发明实施例提供一种CYOLO网络模型改进的框架示意图；
图4为本发明实施例提供一种部分原始数据示意图；
图5为本发明实施例提供一种部分扣件缺陷检测结果图；
图6为本发明实施例提供一种目标检测交并比示意图；
图7为本发明实施例提供一种loss曲线训练过程的收敛示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
本发明基于YOLOv3深度学习目标检查网络，提出一种适用于铁路扣件数据集的Cascade YOLO(CYOLO)检测器，该算法算法可以实现对铁路无人机图像扣件缺陷的坐标定位和分类。
本发明提出了一种将无人机铁路扣件图像输入到目标检测网络中，通过卷积网络提取特征，完成缺陷坐标的定位与分类任务，实现扣件缺陷的自动检测。图1为本发明实施例提供一种基于无人机作业的铁路扣件缺陷自动采集辨识方法的处理流程图，具体步骤如下：
步骤S1、通过无人机搭载相机获取铁路扣件图像。
图2为本发明实施例提供一种无人机拍摄轨道示意图。选用满足需求的工业级无人机挂载工业级变焦相机距离轨面30-70m的空中拍摄铁路扣件。无人机采用额外的智能电池延长飞行时间以及内置的API(Application Programming Interface，应用程序接口)控制功能和可扩展的中心框架，最大起飞重量也满足需求。在扣件检测任务中，选用的无人机最大起飞重量为15.1kg，选用的可见光相机可达到30倍光学变焦，6倍数码变焦以及获取高清1080P视频的要求，完全满足了对于扣件数据的图像精度要求。
步骤S2、对无人机拍摄的铁路扣件图像数据进行增强处理，扩充数据集。
对无人机拍摄的铁路扣件图像数据进行增强处理，通过调整图像对比度、亮度、镜像、旋转图像角度和增加噪声等方法对铁路扣件图像数据进行增广，将增广后的铁路扣件图像数据按6:2:2的比例分为训练集、验证集和测试集，用labelImage软件将训练集中的图像的缺陷用矩形框标出，生成包含图像名称、缺陷坐标和缺陷类型的缺陷矩形框图像。根据各个缺陷矩形框图像利用Kmeans算法计算先验检测框的大小和长宽比例。由于拍摄角度、拍摄参数和缺陷种类不同造成检测框的长宽比例，大小有很大的差异，为了配合网络的2个输出层，改进了生成检测框的机制，利用kmeans算法生成6个锚框，较大的3个锚框用于在26*26输出层上做回归，以用于检测较大的缺陷目标；其余3个锚框用于在52*52输出层上做回归，以用于检测较小的缺陷目标。Kmeans算法的具体流程如下：
通过kmeans算法求解检测框算法流程如下
Figure BDA0002571253820000071
Figure BDA0002571253820000081
步骤S3：构建CYOLO网络模型。
基于级联思想和数据集特点，利用CYOLO算法构建CYOLO网络模型。
图3为本发明实施例提供一种CYOLO网络模型改进的框架示意图。将Darknet53作为CYOLO网络模型的骨架，CYOLO网络模型总共有个4个下采样层，每个下采样层是利用3*3的卷积核和步长为2的基本卷积操作。利用特征融合技术将包含不同信息的不同尺度层卷积神经网络的特征图进行融合；由于每个扣件在图像中的占比较小，因此去掉CYOLO网络模型的1个下采样层，从而剪掉了原本YOLOv3的13*13输出尺度。
把第3个下采样层输出的特征，输入给8个残差块，残差块输出的特征经过resize形成和下一层相同尺度的特征信息，被直接级联到26*26尺度的输出特种图上，这样形成基于特征金字塔自上而下的特征融合路径。即将产生52*52输出层的特征级联到26*26的输出层，从而克服因去掉了一个输出尺度层造成的召回率降低问题。
然后再利用Kmeans得到的6个检测框在这两个尺度的输出特征图上做检测框的回归和分类，较大的3个检测框在26*26上做预测，其余3个检测框在52*52上做预测。然后利用损失函数和梯度下降法来反向传播CYOLO网络模型的参数，定义该CYOLO网络模型的多任务损失函数为：
Figure BDA0002571253820000091
其中，
Figure BDA0002571253820000092
代表预测值，
Figure BDA0002571253820000093
真实值，
Figure BDA0002571253820000094
Figure BDA0002571253820000095
代表在第i个网格中的第j个预测框负责检测目标；
Figure BDA0002571253820000096
和
Figure BDA0002571253820000097
代表预测的自信度和真实值；Pi j和
Figure BDA0002571253820000098
代表预测的类和真是值。
NMS算法如下
Figure BDA0002571253820000099
然后，将训练集中的图像数据输入到CYOLO网络模型，对CYOLO网络模型进行训练，得到训练完成的CYOLO网络模型。将验证集中的图像数据输入到训练完成的CYOLO网络模型中，比对检测结果，调整CYOLO网络模型的参数，得到训练好的CYOLO网络模型。
步骤S4、基于CYOLO算法实现扣件缺陷目标检测
将上述训练好的CYOLO网络模型作为铁路扣件缺陷图像的检测模型。将测试集中的图像数据输入到铁路扣件缺陷图像的检测模型中，利用上述3个较大和较小的锚框在图像数据的52*52和26*26尺度输出层上分别进行预测，得到多个检测框，因为检测框的数量较多，采用NMS(NON-MAXIMUM SUPPRESSION,非极大值抑制)算法去掉框选内容相近且多余的检测框，最终保留置信度大于设定阈值的一个或者多个检测框作为图像数据的铁路扣件缺陷检测结果，根据上述一个或者多个检测框可以标识出图像数据的铁路扣件缺陷。
针对无人机采集回来的扣件数据中扣件所占图片比例较小问题，通过去掉模型结构中的13*13输出层以及52*52和26*26输出层的特征级联操作，使CYOLO算法更加适用于小目标的识别检测。通过已有采集回来的的无人机扣件数据，采用图片标注软件labelImg进行扣件种类及缺陷的人工数据标注，即人为的对图像数据中的扣件类型进行标注工作，生成与图片数据一一对应的xml格式的标注文件，使得模型算法有可以进行参数学习的样本数据。之后将图像数据和标注数据一并送入CYOLO目标检测算法中进行模型参数训练，使算法的训练及检测结果达到一个较好的扣件缺陷识别精度。
上述铁路扣件缺陷图像的检测模型能够充分利用图像层级信息，实现对小目标的检测，提高目标识别精度，提升扣件部件检测效果。图4为本发明实施例提供一种部分原始数据示意图；图5为本发明实施例提供一种部分扣件缺陷检测结果图。
记检测模型的识别结果的交叠率为IOUresult，设定交叠率的阈值为0.5，当IOUresult>0.5时，认为检测到缺陷目标，得出预测框的类型为真正例(TP)，假正例(FP)，真反例(TN)，假反例(FN)，计算模型性能评估指标，P(准确率)，R(召回率)，AP(精度均值)，mAP(平均精度均值)。
准确率，召回率，AP值计算如下
Figure BDA0002571253820000111
Figure BDA0002571253820000112
Figure BDA0002571253820000113
图6为本发明实施例提供一种目标检测交并比示意图，图7为本发明实施例提供一种loss曲线训练过程的收敛示意图。
loss函数曲线的作用就是描述模型的预测值与真实值之间的差距大小。寻找一个标准来帮助训练机制随时优化参数，以便于找到网络的最高精度下的参数。因此loss曲线的数值越小说明模型算法识别精度逐渐提高，其中图7中由左到右分别是GIoU损失曲线、回归损失曲线和目标检测分类损失曲线。
本实例采取京沪铁路廊坊段的无人机扣件图像数据集进行验证。无人机拍摄京沪铁路廊坊段的扣件图像数量为500张。通过传统图像处理手段对数据量扩充为2000张，按照6:2:2的比例划分为训练集、验证集、测试集。扣件检测被分为3类：扣件正常、扣件缺失、扣件歪斜。通过darknet53网络对输入的图片特征提取，基于级联思想对两个输出特征图融合顶层的语义信息。在这两个输出特征图上进行候选框的分类和位置的回归。通过反向传播和随机梯度下降算法实现端到端的训练。
在扣件数据集中，实验对比了传统的目标检测器如HOG+SVM和深度学习目标检测网络如两阶段的Faster R-CNN，基于FPN的Faster R-CNN网络和一阶段的YOLOv3网络，采用了不同的特征提取网络如VGG16、ResNet50、ResNet101。网络训练的步数为20000次，采用随机梯度下降算法学习率设为0.001，动量为0.9。设定缺陷的检测阈值为0.6，检测指标为mAP。
表2无人机铁路扣件数据集算法对比结果
Figure BDA0002571253820000121
根据试验结果可以看出CYOLO算法在铁路数据集中达到了82.6的mAP值，较传统的YOLOV3实现了5.7％提升，可见本发明对于无人机采集的扣件部件缺陷检测达到了更好的效果，具有明显的实际应用价值。
综上所述，本发明实施例利用无人机拍摄轨道，可在不影响线路运行、不必考虑天窗期的情况下能够获取图像质量更好的轨道图像。将CYOLO算法应用到扣件巡检中，实现扣件缺陷自动识别，提高检测效率，可以实现对铁路无人机图像扣件缺陷的坐标定位和分类。与现有技术相比,本发明在小目标检测准确率方面优于YOLOV3算法，具有一定的应用价值。
本发明提出面向扣件缺陷检测的方法，克服了小目标分类精度低、边框回归不准确的缺点。传统YOLOv3网络使用了5个下采样，由于在卷积过程中池化层的作用，越后面的卷积层获得的特征图分辨率越低，在目标较小的情况下容易丢失目标。本发明通过去掉一个下采样，并在输出层中级联前一层的特征信息，在保证检测精度的同时，获得了更少的网络参数，具有更好的鲁棒性。利用CYOLO算法减少了由于池化和卷积带来的特征损失，能提高对小目标的识别准确率。
本发明中，为了配合网络的2个输出层，改进了生成预选框的机制，利用Kmeans算法生成6个框，较大的3个框用于在26*26输出层上做回归，以用于检测较大的目标；其余3个框用于在52*52输出层上做回归，以用于检测较小的目标。这使得CYOLO更适合铁路扣件缺陷检测的数据集，减少了因为锚框比例不适合而导致的目标丢失问题。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种基于无人机作业的铁路扣件缺陷自动采集辨识方法，其特征在于，包括：
通过无人机搭载相机获取铁路扣件图像，对无人机拍摄的铁路扣件图像数据进行增强处理，得到训练集、验证集和测试集；
基于级联思想利用CYOLO算法构建CYOLO网络模型，利用所述训练集中的图像数据对所述CYOLO网络模型进行训练，利用所述验证集中的图像数据对训练完成的CYOLO网络模型进行比对检测，调整CYOLO网络模型的参数，得到训练好的CYOLO网络模型；
将所述训练好的CYOLO网络模型作为铁路扣件缺陷图像的检测模型，将所述测试集中的图像数据输入到铁路扣件缺陷图像的检测模型中，该检测模型利用CYOLO目标检测算法实现图像数据的铁路扣件缺陷目标检测。
2.根据权利要求1所述的方法，其特征在于，所述的通过无人机搭载相机获取铁路扣件图像，包括：
通过工业级无人机挂载工业级变焦相机距离轨面30-70m的空中拍摄铁路扣件图像，无人机采用智能电池延长飞行时间以及内置的API控制功能和可扩展的中心框架，在扣件检测任务中，选用的无人机最大起飞重量为15.1kg，选用的可见光相机达到30倍光学变焦，6倍数码变焦以及获取高清1080P视频的要求。
3.根据权利要求1所述的方法，其特征在于，所述的对无人机拍摄的铁路扣件图像数据进行增强处理，得到训练集、验证集和测试集，包括：
对无人机拍摄的铁路扣件图像数据进行增强处理，通过调整图像对比度、亮度、镜像、旋转图像角度和增加噪声对铁路扣件图像数据进行增广，将增广后的铁路扣件图像数据按6:2:2的比例分为训练集、验证集和测试集，
用labelImage软件将训练集中的图像的缺陷用矩形框标出，生成包含图像名称、缺陷坐标和缺陷类型的缺陷矩形框图像，根据各个缺陷矩形框图像利用Kmeans算法计算先验检测框的大小和长宽比例，生成6个锚框，较大的3个锚框用于在26*26输出层上做回归，以用于检测较大的缺陷目标；其余3个锚框用于在52*52输出层上做回归，以用于检测较小的缺陷目标。
4.根据权利要求1所述的方法，其特征在于，所述的基于级联思想利用CYOLO算法构建CYOLO网络模型，包括：
基于级联思想和数据集特点利用CYOLO算法构建CYOLO网络模型，将Darknet53作为所述CYOLO网络模型的骨架，CYOLO网络模型总共有个4个下采样层，每个下采样层是利用3*3的卷积核和步长为2的基本卷积操作，利用特征融合技术将包含不同信息的不同尺度层卷积神经网络的特征图进行融合，去掉CYOLO网络模型的1个下采样层，剪掉了原本YOLOv3的13*13输出尺度。
把第3个下采样层输出的特征，输入给8个残差块，残差块输出的特征经过resize形成和下一层相同尺度的特征信息，被直接级联到26*26尺度的输出特种图上，形成基于特征金字塔自上而下的特征融合路径，将产生52*52输出层的特征级联到26*26的输出层；
再将Kmeans算法得到的6个检测框进行回归和分类，较大的3个检测框在26*26上做预测，其余3个检测框在52*52上做预测，利用损失函数和梯度下降法来反向传播CYOLO网络模型的参数，CYOLO网络模型的多任务损失函数为：
Figure FDA0002571253810000021
其中，
Figure FDA0002571253810000031
代表预测值，
Figure FDA0002571253810000032
真实值，
Figure FDA0002571253810000033
代表在第i个网格中的第j个预测框负责检测目标；
Figure FDA0002571253810000034
和
Figure FDA0002571253810000035
代表预测的自信度和真实值；Pi j和
Figure FDA0002571253810000036
代表预测的类和真是值。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述的将所述训练好的CYOLO网络模型作为铁路扣件缺陷图像的检测模型，将所述测试集中的图像数据输入到铁路扣件缺陷图像的检测模型中，该检测模型利用CYOLO目标检测算法实现图像数据的铁路扣件缺陷目标检测，包括：
将所述训练好的CYOLO网络模型作为铁路扣件缺陷图像的检测模型，将测试集中的图像数据输入到铁路扣件缺陷图像的检测模型中，利用上述3个较大和较小的锚框在图像数据的52*52和26*26尺度输出层上分别进行预测，得到多个检测框，采用NMS非极大值抑制算法去掉框选内容相近的检测框，最终保留置信度大于设定阈值的一个或者多个检测框，根据所述一个或者多个检测框标识出图像数据的铁路扣件缺陷。
CN202010640270.4A 2020-07-06 2020-07-06 基于无人机作业的铁路扣件缺陷自动采集辨识方法 Pending CN111899227A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010640270.4A CN111899227A (zh) 2020-07-06 2020-07-06 基于无人机作业的铁路扣件缺陷自动采集辨识方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010640270.4A CN111899227A (zh) 2020-07-06 2020-07-06 基于无人机作业的铁路扣件缺陷自动采集辨识方法

Publications (1)

Publication Number Publication Date
CN111899227A true CN111899227A (zh) 2020-11-06

Family

ID=73191614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010640270.4A Pending CN111899227A (zh) 2020-07-06 2020-07-06 基于无人机作业的铁路扣件缺陷自动采集辨识方法

Country Status (1)

Country Link
CN (1) CN111899227A (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419289A (zh) * 2020-11-30 2021-02-26 西南交通大学 一种城市地铁轨道扣件缺陷智能检测方法
CN112819771A (zh) * 2021-01-27 2021-05-18 东北林业大学 一种基于改进YOLOv3模型的木材缺陷检测方法
CN112906547A (zh) * 2021-02-09 2021-06-04 哈尔滨市科佳通用机电股份有限公司 一种基于e-yolo的铁路列车风挡破损故障检测方法
CN112949692A (zh) * 2021-02-03 2021-06-11 歌尔股份有限公司 一种目标检测方法和装置
CN113111875A (zh) * 2021-04-02 2021-07-13 广州地铁集团有限公司 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法
CN113591973A (zh) * 2021-07-29 2021-11-02 中国铁路上海局集团有限公司科学技术研究所 一种轨道板外观状态变化智能比对方法
CN113610792A (zh) * 2021-07-30 2021-11-05 杭州申昊科技股份有限公司 轨道扣件检测方法、设备和可读存储介质
CN114216911A (zh) * 2021-12-20 2022-03-22 河北科技大学 一种金属选择性激光熔化成型中铺粉质量监测及控制方法
CN114842315A (zh) * 2022-05-07 2022-08-02 无锡雪浪数制科技有限公司 轻量化高铁轮毂垫片防松识别方法及装置
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
CN116958841A (zh) * 2023-09-18 2023-10-27 众芯汉创(江苏)科技有限公司 基于图像识别的配电线路无人机巡检系统
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11983630B2 (en) 2023-01-19 2024-05-14 Tesla, Inc. Neural networks for embedded devices

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447034A (zh) * 2018-11-14 2019-03-08 北京信息科技大学 基于YOLOv3网络的自动驾驶中交通标识检测方法
CN109829907A (zh) * 2019-01-31 2019-05-31 浙江工业大学 一种基于深度学习的金属轴表面缺陷识别方法
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN110310261A (zh) * 2019-06-19 2019-10-08 河南辉煌科技股份有限公司 一种接触网吊弦缺陷检测模型训练方法和缺陷检测方法
CN110838112A (zh) * 2019-11-08 2020-02-25 上海电机学院 一种基于霍夫变换和YOLOv3网络的绝缘子缺损检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN109447034A (zh) * 2018-11-14 2019-03-08 北京信息科技大学 基于YOLOv3网络的自动驾驶中交通标识检测方法
CN109829907A (zh) * 2019-01-31 2019-05-31 浙江工业大学 一种基于深度学习的金属轴表面缺陷识别方法
CN110310261A (zh) * 2019-06-19 2019-10-08 河南辉煌科技股份有限公司 一种接触网吊弦缺陷检测模型训练方法和缺陷检测方法
CN110838112A (zh) * 2019-11-08 2020-02-25 上海电机学院 一种基于霍夫变换和YOLOv3网络的绝缘子缺损检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
余肖生，陈鹏，姜艳静编著: "《大数据处理》", 30 June 2020, 武汉：武汉大学出版社, pages: 143 *
卓金武，王鸿钧: "《高职高专MATLAB数学建模》", 1 August 2019, 北京：北京航空航天大学出版社, pages: 80 - 81 *
张建同编著: "《实用多元统计分析》", 31 August 2016, 上海：同济大学出版社, pages: 208 *
董洪义: "《深度学习之PyTorch物体检测实战》", 31 January 2020, 北京：机械工业出版社, pages: 211 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11797304B2 (en) 2018-02-01 2023-10-24 Tesla, Inc. Instruction set architecture for a vector computational unit
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11908171B2 (en) 2018-12-04 2024-02-20 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
CN112419289A (zh) * 2020-11-30 2021-02-26 西南交通大学 一种城市地铁轨道扣件缺陷智能检测方法
CN112819771A (zh) * 2021-01-27 2021-05-18 东北林业大学 一种基于改进YOLOv3模型的木材缺陷检测方法
CN112949692A (zh) * 2021-02-03 2021-06-11 歌尔股份有限公司 一种目标检测方法和装置
CN112906547A (zh) * 2021-02-09 2021-06-04 哈尔滨市科佳通用机电股份有限公司 一种基于e-yolo的铁路列车风挡破损故障检测方法
CN113111875A (zh) * 2021-04-02 2021-07-13 广州地铁集团有限公司 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法
CN113591973B (zh) * 2021-07-29 2023-08-01 中国铁路上海局集团有限公司科学技术研究所 一种轨道板外观状态变化智能比对方法
CN113591973A (zh) * 2021-07-29 2021-11-02 中国铁路上海局集团有限公司科学技术研究所 一种轨道板外观状态变化智能比对方法
CN113610792A (zh) * 2021-07-30 2021-11-05 杭州申昊科技股份有限公司 轨道扣件检测方法、设备和可读存储介质
CN114216911A (zh) * 2021-12-20 2022-03-22 河北科技大学 一种金属选择性激光熔化成型中铺粉质量监测及控制方法
CN114842315B (zh) * 2022-05-07 2024-02-02 无锡雪浪数制科技有限公司 轻量化高铁轮毂垫片防松识别方法及装置
CN114842315A (zh) * 2022-05-07 2022-08-02 无锡雪浪数制科技有限公司 轻量化高铁轮毂垫片防松识别方法及装置
US11983630B2 (en) 2023-01-19 2024-05-14 Tesla, Inc. Neural networks for embedded devices
CN116958841B (zh) * 2023-09-18 2023-12-26 众芯汉创(江苏)科技有限公司 基于图像识别的配电线路无人机巡检系统
CN116958841A (zh) * 2023-09-18 2023-10-27 众芯汉创(江苏)科技有限公司 基于图像识别的配电线路无人机巡检系统

Similar Documents

Publication Publication Date Title
CN111899227A (zh) 基于无人机作业的铁路扣件缺陷自动采集辨识方法
Chen et al. Distribution line pole detection and counting based on YOLO using UAV inspection line video
CN110688925B (zh) 基于深度学习的级联目标识别方法及系统
CN110263706B (zh) 一种雾霾天气车载视频动态目标检测和识别的方法
CN111951212A (zh) 对铁路的接触网图像进行缺陷识别的方法
KR20200007084A (ko) 장면의 다차원 특징을 기반으로 하는 선박 탐지 방법 및 시스템
Wang et al. Object detection using clustering algorithm adaptive searching regions in aerial images
Yang et al. Deep learning‐based bolt loosening detection for wind turbine towers
CN111368600A (zh) 遥感图像目标检测识别方法、装置、可读存储介质及设备
CN111489339A (zh) 高速铁路定位器螺栓备母缺陷的检测方法
CN109919223B (zh) 基于深度神经网络的目标检测方法及装置
CN111047565A (zh) 一种用于森林云雾图像分割的方法、存储介质和设备
CN111428558A (zh) 一种基于改进YOLOv3方法的车辆检测方法
CN114049572A (zh) 识别小目标的检测方法
Singh et al. Vehicle detection and accident prediction in sand/dust storms
CN112836657A (zh) 一种基于轻量化YOLOv3的行人检测方法及系统
CN113160283A (zh) 一种基于sift的多摄像头场景下的目标跟踪方法
CN115546742A (zh) 一种基于单目热红外摄像头的铁轨异物识别方法及系统
CN111881984A (zh) 一种基于深度学习的目标检测方法和装置
CN116824335A (zh) 一种基于YOLOv5改进算法的火灾预警方法及系统
CN113281780B (zh) 对图像数据进行标注的方法、装置及电子设备
CN114708537A (zh) 一种基于多视角的复杂场所异常行为分析系统及分析方法
CN114169425A (zh) 训练目标跟踪模型和目标跟踪的方法和装置
Ouyang et al. Aerial target detection based on the improved YOLOv3 algorithm
Dong et al. Pixel-level intelligent segmentation and measurement method for pavement multiple damages based on mobile deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination