CN108921846A - 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法 - Google Patents

一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法 Download PDF

Info

Publication number
CN108921846A
CN108921846A CN201810781433.3A CN201810781433A CN108921846A CN 108921846 A CN108921846 A CN 108921846A CN 201810781433 A CN201810781433 A CN 201810781433A CN 108921846 A CN108921846 A CN 108921846A
Authority
CN
China
Prior art keywords
image
defect
rail tread
gray level
rail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810781433.3A
Other languages
English (en)
Inventor
刘震
吴穗宁
任鸣
任一鸣
胡杨
李若铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201810781433.3A priority Critical patent/CN108921846A/zh
Publication of CN108921846A publication Critical patent/CN108921846A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法,包括:利用配准好的钢轨踏面灰度图像与深度图像对建立钢轨踏面图像数据集,并划分为训练样本集和测试样本集,对数据集的图像进行预处理;采用一种特殊的卷积神经网络结构用于缺陷识别,该网络的前端具有两个分支结构,可分别从钢轨踏面灰度图像和深度图像中提取特征;通过特征图连接实现灰度图像和深度图像的特征信息的融合,之后采用预测模块输出初步预测结果;最后采用非极大值抑制方法筛选初步的缺陷预测结果得到最终的钢轨缺陷识别结果。本发明同时结合钢轨踏面的二维及三维特征,具有区分真实缺陷和伪缺陷的能力,可降低误判率和漏检率,尤其适合复杂环境下的缺陷识别。

Description

一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法
技术领域
本发明属于模式识别与信息处理技术领域,涉及目标检测技术,具体涉及一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法。
背景技术
钢轨踏面缺陷识别是指在钢轨踏面图像中定位出缺陷位置并确定缺陷类型的过程。它是计算机视觉技术在工业领域中的应用难点,是基于图像的目标检测的应用技术。钢轨踏面缺陷识别既能应用于铁路正线的监测,同样也可应用于钢轨生产线上的检测。钢轨踏面缺陷识别的难点在于:受到光线、水渍、油渍等不同因素的影响,钢轨踏面缺陷在图像中的表现形态复杂;一些真伪缺陷在图像中十分相似,难以区别;钢轨属于高速运动的物体,面阵相机采集到的图像可能受到照明光源的影响,出现亮度不均匀的情况,踏面图像质量会影响识别精度。
目前,缺陷识别的传统方法是基于传统的机器学习模型的。具体地,采用人为设计特征算子如Sift、Harr在图像中进行特征提取,之后采用Adaboost、PLSA等模型实现缺陷分类。传统方法具有局限性。首先,人工设计专用的图像存在很大的难度,且每次针对一个新的特殊问题都需要对专用特征的设计与选择工作进行重复操作,大大增加了算法设计的工作量和人工成本。并且,人为设计专用图像特征的通用性不强。此外,传统的钢轨踏面检测方法中仅使用钢轨踏面的灰度图像。与这些传统方法相比,本发明方法同时利用了灰度图像和深度图像,有助于提高识别精度。
基于深度学习的目标检测网络可以从输入样本中自主学习丰富的特征信息,减少了在特征选取中人为因素的影响,可减少数据的预处理过程。此外,深度学习网络具有多尺度、平移不变性及旋转不变性等优点。一方面,深度学习网络是优秀的特征提取工具。另一方面,深度学习网络通过学习一种深层非线性网络结构,实现对复杂函数的逼近,具有很强的非线性推理能力,在分类、识别、生成等复杂任务的表现优于传统方法。可见,深度学习网络更适应于高精度的钢轨踏面缺陷检测。
深度学习技术的成熟,在计算机视觉领域的研究中取得了众多优秀的成果。但是现有的基于深度学习的缺陷检测方法只采用了物体的彩色或灰度图像,然而一些真实缺陷和伪缺陷在这些图像中表现的非常近似,很容易造成缺陷的误报或漏报。但如果可以同步采用钢轨踏面灰度图像及对应三维数据就可以大幅提高检测系统检测准确率。完全依靠三维数据实现识别,不但存在三维数据量大、识别速度慢的缺点,而且也容易发生识别错误。如果将三维数据转化为深度图像,并结合二维图像进行识别,则能实现高速、高精度的识别。基于此,本发明结合深度学习技术设计了一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法。
发明内容
有鉴于此,本发明的主要目的在于提供一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法,能够在复杂的现场环境的情况下准确识别出钢轨踏面的真实缺陷。
为达到上述目的,本发明的技术方案是这样实现的:
一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法,该方法包括:
a、构建钢轨踏面图像数据集,包含的是配准好的钢轨表面灰度图像、深度图像对。将该数据集随机地分为训练样本集、测试样本集两个部分。其中训练样本集用于训练钢轨踏面缺陷识别网络,测试样本集用于验证钢轨踏面缺陷识别网络的有效性;
b、对步骤a获得的训练样本集、测试样本集分别进行预处理,采用预处理后的两个样本集分别进行基于灰度图像和深度图像的钢轨踏面缺陷识别神经网络的训练及有效性评价;
c、构建基于灰度图像和深度图像的钢轨踏面缺陷识别神经网络,该神经网络由两个前端分支结构与一个后端的预测模块组成,能输出245个缺陷预测结果,后续需要采用非极大值抑制方法对这245个缺陷预测结果进行筛选从而可得到最终的无重叠的钢轨缺陷识别结果;
d、采用经过步骤b预处理后的训练样本集训练步骤c得到的钢轨踏面缺陷识别神经网络,并结合测试样本集验证钢轨踏面缺陷识别网络的有效性,最终得到性能稳定的神经网络;
e、采用经步骤d训练好的钢轨踏面缺陷识别神经网络识别待检测的钢轨表面灰度图像、深度图像对,输出初步的245个缺陷识别结果;采用非极大值抑制方法对的初步的缺陷预测结果进行筛选,可得到最终的无重叠的钢轨踏面缺陷识别结果。
步骤a中钢轨踏面图像数据集中的每张图片均可分为正样本或负样本。钢轨表面缺陷识别网络的理想效果是仅识别出真实缺陷,因此在标注数据集时将伪缺陷区域和无缺陷区域均视作背景信息;钢轨踏面缺陷识别网络应当具备准确识别出缺陷的能力,以及避免将非真实缺陷无识别成真实缺陷的能力。因此,训练样本集中图像可分为两类:正样本图像是包含有真实缺陷的图像,用于提高网络对真实缺陷的识别能力;负样本图像是不含有真实缺陷的图像,用于抑制网络将非真实缺陷或无缺陷区域错误识别为真实缺陷。
步骤b中针对钢轨踏面训练样本集、测试样本集中图像预处理包含归一化处理和数据增强操作,实现步骤如下:
(1)将钢轨踏面训练样本集、测试样本集中的图像数据均归一化到[-1,1]的范围内;
(2)通过旋转、裁剪、缩放等图像处理技术实现对钢轨踏面训练样本集的增强。
步骤c中构建的基于灰度图像和深度图像的钢轨踏面缺陷识别神经网络具体特征如下:
详细地,每个前端分支结构中含9个卷积模块,每个模块均为卷积层-批归一化层-激活层-最大池化层。这两个分支结构分别提取经过步骤b预处理后的灰度图像和深度图像中的图像特征,各自生成一组特征图。批归一化层的使用可提高网络训练速度,并防止梯度扩散。激活层采用的激活函数为Relu,采用最大池化层能更好的获得纹理特征。
之后,将所得的两组特征图在深度方向上连接形成新的特征图。由于钢轨踏面的灰度图像和深度图像是来源与两个不同源域的信息,因此连接操作可以实现将这两个源域信息的融合。从而实现了识别方法中对灰度图像和深度图像的同步利用。
后端的预测模块将融合后的新特征图处理成预测结果。用于输出网络初步预测结果的预测模块包含3个卷积模块。每个卷积模块的结构均为3×3卷积层和1×1卷积层。所述1×1卷积层维度数均为5(n+5),n为缺陷类别数目,预测结果的维度为7×7×(5n+25)。该预测结果可划分为245个缺陷预测结果。每个缺陷预测结果的回归值为n个类别的概率分布、1个置信度值以及4个关于预测结果所在位置的目标边框的参量。定义每个预测结果所属的缺陷类别为n个类别的概率分布中最大的概率对应的类别。
步骤d中使用步骤b处理后的图像数据集训练步骤c中设计的钢轨踏面缺陷识别方神经网络过程为:
(1)构建损失函数,损失函数采用Softmax函数,分为三个部分:位置损失、置信度损失和类别概率损失;
(2)将经步骤b预处理后的训练样本集输入钢轨踏面缺陷识别神经网络进行前向传播得到输出损失值,之后进行反向传播;
(3)反向传播中采用Adam优化器,将输出的损失值按原路返回计算,依次反向传播至输入层,神经网络中的参数进行更新。Adam优化器能设计自适应性学习率,并能解决稀疏梯度。当网络损失值稳定收敛,降至很小的值后,再将测试样本集输入钢轨踏面缺陷识别神经网络,并计算平均准确率,本方法中当平均准确率达到60%后认为钢轨踏面缺陷识别神经网络训练成功,否则继续训练钢轨踏面缺陷识别神经网络。
步骤e中通过非极大值抑制方法筛选出最终的识别结果的具体过程为:
(1)将由待检测的钢轨踏面灰度图像和深度图像得到的初步的缺陷预测结果按照缺陷类别分类,取属于一种类别中的一张图像;
(2)读取该图像中属于该类别的所有初步预测结果,按照置信度值的降序排列;
(3)从第一个预测结果开始计算相邻的预测结果中的目标边框与其的目标边框之间的交叠率,若大于阈值0.5,则删除相邻的预测结果;
(4)从未处理的预测结果中继续选一个置信度最高的预测结果,重复以上操作直至遍历完所有的预测结果。
本发明与现有技术相比的优点在于:
1、本发明提出一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法,实现高精度的缺陷识别,显著地降低缺陷的误判率和漏报率。现有的钢轨踏面缺陷识别技术仅采用灰度图像,难以区分出真实缺陷和伪缺陷并且难以适应复杂的光线和现场环境。本方法通过结合钢轨踏面灰度图像和深度图像用于识别,能够依据钢轨踏面中的深度信息,更好地识别出钢轨踏面上的真实缺陷。
2、本发明中采用的是深度学习技术,具有高的精度与鲁棒性,能自主从图像中提取出海量特征。现有钢轨踏面缺陷识别技术仅采用传统的机器学习方法,因此识别精度不高,并且,传统的机器学习方法需要人为地设计图像特征导致其效率低下、鲁棒性低。与传统机器学习方法,本方法通过采用深度学习技术,在识别精度、鲁棒性和灵活性上有显著的提升。
3、本发明采用深度图像替代传统的识别方法中采用的三维点云数据,能减少处理时间和数据存储空间。传统识别方法采用的是三维点云数据,数据量庞大,且具有很多冗余的信息。相比于这类方法,本方法还利用上了钢轨踏面的灰度图像,灰度图像中包含有钢轨踏面的纹理、形貌等信息,配合深度图像更有助于钢轨踏面缺陷的识别。
附图说明
图1为本发明基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法流程图;
图2为基于灰度图像和深度图像结合的钢轨踏面缺陷识别网络结构。
具体实施方式
本发明的基本思想是:采用配准好的钢轨踏面灰度图像和深度图像,利用卷积神经网络,回归输出目标缺陷的种类分布概率及在图像中的位置坐标,即实现钢轨踏面的缺陷识别。
下面结合具体实施例及由一个由输入配准好的钢轨踏面灰度图像和深度图像预测输出踏面缺陷位置及类别的端到端的卷积神经网络为例,对本发明作进一步详细说明。
如图1所示,本发明基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法包括以下步骤:
步骤11:构建钢轨踏面图像数据集
钢轨踏面图像数据集包含的是配准好的钢轨踏面灰度图像、深度图像对,灰度图像是钢轨踏面的二维信息,深度图像包含了钢轨踏面的三维信息。因此,本识别方法同时利用了钢轨表面的二维信息和深度信息,有助于区分真伪缺陷。将该数据集随机地分为训练样本集、测试样本集两个部分,其中训练样本集用于训练钢轨踏面缺陷识别网络,测试样本集用于验证钢轨踏面缺陷识别网络的有效性。
钢轨踏面缺陷识别网络的理想效果是仅识别出真实缺陷,因此在标注数据集时将伪缺陷区域和无缺陷区域均视作背景信息;钢轨踏面缺陷识别网络应当具备准确识别出缺陷的能力,以及避免将非真实缺陷无识别成真实缺陷的能力。因此,训练样本集中图像可分为两类:正样本图像和负样本图像。正样本图像是包含有真实缺陷的图像,用于提高网络对真实缺陷的识别能力;负样本图像是不含有真实缺陷的图像,用于抑制网络将非真实缺陷或无缺陷区域错误识别为真实缺陷。
步骤12:对钢轨踏面训练样本集和测试样本集进行预处理。
步骤121:对钢轨踏面训练样本集和测试样本集中的灰度图像和深度图像进行归一化处理。
由于深度学习的训练中使用到梯度下降,因此归一化处理十分必要。如果输入层x的值很大,在反向传播时传递到输入层的梯度值就会很大,将会导致识别网络难以收敛。此外,由于灰度图像和深度图像属于两个源域,因此这两种图像的灰度值有较大差别,因此需要利用归一化处理将两种图像的灰度值均归一化到[-1,1]的范围内。
步骤122:对归一化处理后的钢轨踏面训练样本集进行数据增强。
通过旋转、裁剪、缩放等图像处理技术完成钢轨踏面训练样本集的增强,数据增强技术能使得训练出的网络鲁棒性和泛化能力更高。
步骤13:构建基于灰度图像和深度图像的钢轨踏面缺陷识别神经网络。
步骤131:构建网络前端分支结构用于分别提取钢轨踏面灰度图像和深度图像中的特征;
每个前端分支结构中含9个卷积模块,每个模块均为卷积层-批归一化层-激活层-最大池化层。这两个分支结构分别提取经过步骤b预处理后的灰度图像和深度图像中的图像特征,各自生成一组特征图。批归一化层提高训练速度,防止梯度扩散。激活层采用的激活函数为Relu,采用最大池化层能更好的获得纹理特征。
步骤132:将所得的两组特征图在深度方向上连接形成新的特征图。
由于钢轨踏面的灰度图像和深度图像是来源于两个不同源域的信息,连接操作可以实现这两个源域信息的融合,故而实现了识别方法中对灰度图像和深度图像的同步利用。
定义识别网络的模型为f(x_c,x_d)=f(n)(f(n-1)(…f(2)(f(1)(x_c,x_d)))),f(i)表示网络的第i层,则识别网络中灰度图像与深度图像的信息融合由公式(1)表达。
f(i)(x_c,x_d)=H3([H1(x_c),H2(x_d)]) (1)
式中,x_c,x_d分别为输入网络的灰度图像和深度图像。H1(x_c)表示钢轨踏面缺陷识别网络的前端分支结构从灰度图像提取出的特征图,H2(x_d)表示钢轨踏面识别网络的前段分支结构从深度图像中提取出的特征图。[H1(x_c),H2(x_d)]表示将网络第i-1层输出的灰度图像和深度图像的特征图在深度上进行连接以输入网络的第i层,也就是输入网络的预测模块。H3(·)表示对拼接后的特征图做映射,因此得到钢轨识别网络的第i-1层。
步骤133:预测模块将融合后的新特征图处理成预测结果。
用于输出网络初步预测结果的预测模块包含3个卷积模块。每个卷积模块的结构均为3×3卷积层和1×1卷积层。所述1×1卷积层维度数均为5(n+5),n为缺陷类别数目,预测结果的维度为7×7×(5n+25)。该预测结果可划分为245个缺陷预测结果。每个缺陷预测结果的回归值为n个类别的概率分布、1个置信度值以及4个关于预测结果所在位置的目标边框的参量。定义每个预测结果所属的缺陷类别为n个类别的概率分布中最大的概率对应的类别。
步骤14:利用训练样本集训练钢轨踏面识别网络
步骤141:构建损失函数,损失函数采用Softmax函数,分为三个部分:位置损失、置信度损失和类别概率损失;
步骤142:将预处理后的训练样本集输入钢轨踏面缺陷识别神经网络进行前向传播得到输出损失值,之后进行反向传播;
步骤143:反向传播中采用Adam优化器,将输出的损失值按原路返回计算,依次反向传播至输入层,各权值单元进行更新。Adam优化器能设计自适应性学习率,并能解决稀疏梯度。当网络损失值稳定收敛,降至很小的值后,再将测试样本集输入钢轨踏面缺陷识别神经网络,并计算平均准确率,本方法中当平均准确率达到60%后认为钢轨踏面缺陷识别神经网络训练成功,否则继续训练钢轨踏面缺陷识别神经网络。
步骤15:使用训练后的钢轨踏面缺陷识别网络对待检测的钢轨踏面图像进行识别,得到初步的缺陷预测结果,之后采用非极大值抑制方法筛选所有的缺陷预测结果,输出最终的识别结果。根据步骤15得出最终的缺陷识别结果主要包括以下步骤:
步骤151:将待检测的钢轨踏面图像进行归一化处理后输入训练好的钢轨踏面缺陷识别网络,可到的初步的缺陷预测结果;
步骤152:将由待检测的钢轨踏面灰度图像和深度图像得到的初步的缺陷预测结果按照缺陷类别分类,取属于一种类别中的一张图像;
步骤153:读取该图像中属于该类别的所有初步预测结果,按照置信度值的降序排列;
步骤154:从第一个预测结果开始计算相邻的预测结果中的目标边框与其的目标边框之间的交叠率,若大于阈值0.5,则删除相邻的预测结果;
步骤155:从未处理的预测结果中继续选一个置信度最高的预测结果,重复以上操作直至遍历完所有的预测结果。
如图2所示,基于灰度图像和深度图像结合的钢轨踏面缺陷识别网络结构具有以下特征:
(1)基于灰度图像和深度图像结合的钢轨踏面缺陷识别网络具有两个前端分支结构。这两个分支结构分别提取经过步骤预处理后的灰度图像和深度图像中的图像特征,各自生成一组特征图;
(2)对基于灰度图像和深度图像的缺陷识别神经网络前端分支结构输出的两组特征图进行连接操作,生成一组融合灰度图像特征和深度图像特征的新特征图;
(3)对连接后的新特征图采用1个预测模块输出初步的缺陷预测结果,包含缺陷的预测类别概率以及缺陷的预测位置;
(4)采用非极大值抑制方法上一步得到的初步的缺陷预测结果进行筛选,可得到最终的无重叠的钢轨踏面缺陷识别结果。

Claims (6)

1.一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法,其特征在于,包括以下步骤:
a、构建钢轨踏面图像数据集,并划分为训练样本集和测试样本集;训练样本集用于训练钢轨踏面缺陷识别网络,测试样本集用于验证钢轨踏面缺陷识别网络的有效性;训练样本集中的图像分为两类:正样本图像和负样本图像;正样本图像是包含有真实缺陷的图像,用于提高网络对真实缺陷的识别能力;负样本图像是不含有真实缺陷的图像,用于抑制网络将非真实缺陷或无缺陷区域错误识别为真实缺陷;
b、对步骤a获得的训练样本集、测试样本集分别进行预处理,预处理后的两个样本集分别用于基于灰度图像和深度图像的钢轨踏面缺陷识别神经网络的训练及有效性评价;
c、构建基于灰度图像和深度图像的钢轨踏面缺陷识别神经网络,所述神经网络由两个前端分支结构与一个后端的预测模块组成;钢轨踏面缺陷识别神经网络处理图像时将其划分成7×7个区域,其中每个区域又能预测5个结果,网络能输出245个初步的缺陷预测结果,后续需要非极大值抑制方法对这245个缺陷预测结果进行筛选,从而得到最终的无重叠的钢轨缺陷识别结果;
d、采用经过步骤b预处理后的训练样本集训练步骤c构建的钢轨踏面缺陷识别神经网络,并结合测试样本集验证钢轨踏面缺陷识别网络的有效性,最终得到训练好的钢轨踏面缺陷识别神经网络;
e、采用经步骤d训练好的钢轨踏面缺陷识别神经网络识别待检测的钢轨表面灰度图像、深度图像对,输出初步的245个缺陷识别结果;采用非极大值抑制方法对所得的初步缺陷预测结果进行筛选,得到最终的无重叠的钢轨踏面缺陷识别结果。
2.根据权利要求1所述的基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法,其特征在于:所述步骤a中,钢轨踏面图像数据集包括配准好的钢轨踏面灰度图像、深度图像对,灰度图像是钢轨踏面的二维信息,深度图像包含钢轨踏面的三维信息;同时利用了钢轨踏面的二维信息和深度信息,有助于区分真伪缺陷。
3.根据权利要求1所述的基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法,其特征在于:所述步骤b中,对由步骤a所得的钢轨踏面训练样本集和测试样本集中的灰度图像和深度图像分别进行预处理包括归一化处理和数据增强,具体步骤如下:
(1)将钢轨踏面训练样本集和测试样本集中的灰度图像数据归一化到[-1,1]的范围内;
(2)将钢轨踏面训练样本集和测试样本集中的深度图像数据归一化到[-1,1]的范围内;
(3)通过旋转、裁剪、缩放的图像处理技术完成钢轨踏面训练样本集的增强。
4.根据权利要求1所述的基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法,其特征在于:所述步骤c中,所构建的基于灰度图像和深度图像的钢轨踏面缺陷识别神经网络由两个前端分支结构与一个后端的预测模块组成,具体结构如下:
每个前端分支结构中含9个卷积模块,每个模块均为卷积层-批归一化层-激活层-最大池化层;这两个分支结构分别提取经过步骤b预处理后的灰度图像和深度图像中的图像特征,各自生成一组特征图;
之后,将所得的两组特征图在深度方向上连接形成新的特征图,钢轨踏面的灰度图像和深度图像是来源于两个不同源域的信息,连接操作实现将两个源域信息的融合,从而实现对灰度图像和深度图像的同步利用;
后端的预测模块将融合后的新特征图处理成预测结果;用于输出网络初步预测结果的预测模块包含3个卷积模块,每个卷积模块的结构均为3×3卷积层和1×1卷积层;所述1×1卷积层维度数均为5(n+5),n为缺陷类别数目,预测结果的维度为7×7×(5n+25);所述预测结果划分为245个缺陷预测结果,预测结果包含有:缺陷的类别、缺陷的预测位置即目标边框以及目标边框所在区域的置信度信息,每个缺陷预测结果的回归值有n+5,分别为n个类别的概率分布、1个置信度值以及4个关于预测结果所在位置的目标边框的参量,定义每个预测结果所属的缺陷类别为n个类别的概率分布中最大的概率对应的类别。
5.根据权利要求1所述的基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法,其特征在于:所述步骤d中,采用经过步骤b预处理后的训练样本集训练钢轨踏面缺陷识别神经网络得到网络参数,并结合测试样本集验证钢轨踏面缺陷识别网络的有效性的具体过程为:
(1)构建损失函数,损失函数采用Softmax函数,分为三个部分:位置损失、置信度损失和类别概率损失;
(2)将经步骤b预处理后的训练样本集输入钢轨踏面缺陷识别神经网络进行前向传播得到输出损失值,之后进行反向传播;
(3)反向传播中采用Adam优化器,将输出的损失值按原路返回计算,依次反向传播至输入层,钢轨缺陷识别神经网络中的各网络参数进行更新;Adam优化器能设计自适应性学习率,并能解决稀疏梯度;当网络损失值稳定收敛,降至很小的值后,再将测试样本集输入钢轨踏面缺陷识别神经网络,并计算平均准确率,当平均准确率达到60%后认为钢轨踏面缺陷识别神经网络训练成功,否则继续训练钢轨踏面缺陷识别神经网络。
6.根据权利要求1所述的基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法,其特征在于:所述步骤e中,由待检测的钢轨踏面灰度图像和深度图像得到的初步的缺陷预测结果中一些预测结果可能是相互重叠的,需要通过非极大值抑制方法初步的缺陷预测结果筛选出最终的钢轨踏面缺陷识别结果,具体过程为:
(1)将由待检测的钢轨踏面灰度图像和深度图像得到的初步的缺陷预测结果按照缺陷类别分类,取属于一种类别中的一张图像;
(2)读取所述图像中属于该类别的所有初步预测结果,按照置信度值的降序排列;
(3)从第一个预测结果开始计算相邻的预测结果中的目标边框与其的目标边框之间的交叠率,若大于阈值0.5,则删除相邻的预测结果;
(4)从未处理的预测结果中继续选一个置信度最高的预测结果,重复以上操作直至遍历完所有的预测结果。
CN201810781433.3A 2018-07-17 2018-07-17 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法 Pending CN108921846A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810781433.3A CN108921846A (zh) 2018-07-17 2018-07-17 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810781433.3A CN108921846A (zh) 2018-07-17 2018-07-17 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法

Publications (1)

Publication Number Publication Date
CN108921846A true CN108921846A (zh) 2018-11-30

Family

ID=64415398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810781433.3A Pending CN108921846A (zh) 2018-07-17 2018-07-17 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法

Country Status (1)

Country Link
CN (1) CN108921846A (zh)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166099A (zh) * 2018-07-19 2019-01-08 北京交通大学 基于视觉联想机制的钢轨缺陷测量方法
CN109614974A (zh) * 2018-12-24 2019-04-12 浙江大学常州工业技术研究院 一种数字水表的数据识别方法
CN109800697A (zh) * 2019-01-09 2019-05-24 国网浙江省电力有限公司舟山供电公司 基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法
CN110009618A (zh) * 2019-04-02 2019-07-12 浙江大学 一种轴类零件表面质量检测方法及装置
CN110046561A (zh) * 2019-03-29 2019-07-23 贵阳铝镁设计研究院有限公司 一种基于三维视觉的电解铝阳极炭块表面钢印识别方法
CN110045729A (zh) * 2019-03-12 2019-07-23 广州小马智行科技有限公司 一种车辆自动驾驶方法及装置
CN110111289A (zh) * 2019-04-28 2019-08-09 深圳市商汤科技有限公司 一种图像处理方法及装置
CN110136130A (zh) * 2019-05-23 2019-08-16 北京阿丘机器人科技有限公司 一种检测产品缺陷的方法及装置
CN110314854A (zh) * 2019-06-06 2019-10-11 苏州市职业大学 一种基于视觉机器人的工件检测分拣的装置及方法
CN110837860A (zh) * 2019-11-06 2020-02-25 惠州皓赛技术有限公司 基于深度学习的贴片检测方法及相关系统
CN111028210A (zh) * 2019-11-25 2020-04-17 北京航天控制仪器研究所 基于稀疏自动编码器的深度神经网络玻璃管端面缺陷检测方法
CN111044522A (zh) * 2019-12-14 2020-04-21 中国科学院深圳先进技术研究院 缺陷检测方法、装置及终端设备
CN111242891A (zh) * 2019-12-27 2020-06-05 北京交通大学 一种钢轨表面缺陷识别分类方法
CN111353515A (zh) * 2018-12-21 2020-06-30 湖南工业大学 一种基于多尺度分级的列车轮对踏面损伤分类识别方法
CN111476767A (zh) * 2020-04-02 2020-07-31 南昌工程学院 一种基于异源图像融合的高铁扣件缺陷识别方法
CN111563869A (zh) * 2019-01-25 2020-08-21 宁波舜宇光电信息有限公司 用于摄像模组质检的污点测试方法
CN111815605A (zh) * 2020-07-09 2020-10-23 成都协创信和科技有限公司 基于分步深度学习的轨枕缺陷检测方法及存储介质
CN111833323A (zh) * 2020-07-08 2020-10-27 哈尔滨市科佳通用机电股份有限公司 基于稀疏表示与svm的分任务铁路货车图像质量判断方法
CN112001902A (zh) * 2020-08-19 2020-11-27 上海商汤智能科技有限公司 缺陷检测方法和相关装置、设备、存储介质
CN112288819A (zh) * 2020-11-20 2021-01-29 中国地质大学(武汉) 多源数据融合的视觉引导机器人抓取及分类系统及方法
WO2021017725A1 (zh) * 2019-08-01 2021-02-04 北京迈格威科技有限公司 产品缺陷的检测方法、装置及系统
CN112541889A (zh) * 2020-12-02 2021-03-23 杭州安脉盛智能技术有限公司 一种多层级模型的复杂纹理对象表面缺陷检测方法
CN112651965A (zh) * 2021-01-14 2021-04-13 成都铁安科技有限责任公司 一种车轮踏面缺陷三维检测方法及其系统
CN112686843A (zh) * 2020-12-21 2021-04-20 福建新大陆软件工程有限公司 一种基于神经网络的木板缺陷检测方法及系统
CN112734760A (zh) * 2021-03-31 2021-04-30 惠州高视科技有限公司 半导体bump缺陷检测方法、电子设备及存储介质
CN113516660A (zh) * 2021-09-15 2021-10-19 江苏中车数字科技有限公司 适用于列车的视觉定位与缺陷检测方法和装置
US20210372938A1 (en) * 2020-05-29 2021-12-02 The Board Of Trustee Of The University Of Alabama Deep learning-based crack segmentation through heterogeneous image fusion
CN113962274A (zh) * 2021-11-18 2022-01-21 腾讯科技(深圳)有限公司 一种异常识别方法、装置、电子设备及存储介质
CN114550021A (zh) * 2022-04-25 2022-05-27 深圳市华汉伟业科技有限公司 基于特征融合的表面缺陷检测方法及设备
CN114663436A (zh) * 2022-05-25 2022-06-24 南京航空航天大学 一种基于深度学习的跨尺度缺陷检测方法
CN114972892A (zh) * 2022-07-12 2022-08-30 山东嘉通专用汽车制造有限公司 基于计算机视觉的汽车刹车片缺陷分类方法
CN115587987A (zh) * 2022-10-19 2023-01-10 中国长江三峡集团有限公司 一种蓄电池缺陷检测方法、装置、存储介质及电子设备
CN116385336A (zh) * 2022-12-14 2023-07-04 广州市斯睿特智能科技有限公司 基于深度学习的焊缝检测方法、系统、装置及存储介质
CN116645371A (zh) * 2023-07-27 2023-08-25 中铁十二局集团铁路养护工程有限公司 一种基于特征搜索的钢轨表面缺陷检测方法及系统
CN116778398A (zh) * 2023-08-21 2023-09-19 中铁十二局集团铁路养护工程有限公司 一种基于特征重建的双模态道床异物检测方法及系统
CN117705816A (zh) * 2024-02-06 2024-03-15 西南交通大学 基于无人机的钢轨表面缺陷检测方法、系统、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1998272A2 (de) * 2007-06-01 2008-12-03 Robert Bosch GmbH Vorrichtung zur Bestimmung einer Objekt- und/oder Existenzwahrscheinlichkeit eines Suchobjekts in einem Auslesefenster eines Bildes, Verfahren sowie Computerprogramm
CN108021938A (zh) * 2017-11-29 2018-05-11 中冶南方工程技术有限公司 一种冷轧带钢表面缺陷在线检测方法以及检测系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1998272A2 (de) * 2007-06-01 2008-12-03 Robert Bosch GmbH Vorrichtung zur Bestimmung einer Objekt- und/oder Existenzwahrscheinlichkeit eines Suchobjekts in einem Auslesefenster eines Bildes, Verfahren sowie Computerprogramm
CN108021938A (zh) * 2017-11-29 2018-05-11 中冶南方工程技术有限公司 一种冷轧带钢表面缺陷在线检测方法以及检测系统

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166099A (zh) * 2018-07-19 2019-01-08 北京交通大学 基于视觉联想机制的钢轨缺陷测量方法
CN111353515B (zh) * 2018-12-21 2024-01-26 湖南工业大学 一种基于多尺度分级的列车轮对踏面损伤分类识别方法
CN111353515A (zh) * 2018-12-21 2020-06-30 湖南工业大学 一种基于多尺度分级的列车轮对踏面损伤分类识别方法
CN109614974A (zh) * 2018-12-24 2019-04-12 浙江大学常州工业技术研究院 一种数字水表的数据识别方法
CN109614974B (zh) * 2018-12-24 2022-09-27 浙江大学常州工业技术研究院 一种数字水表的数据识别方法
CN109800697A (zh) * 2019-01-09 2019-05-24 国网浙江省电力有限公司舟山供电公司 基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法
CN109800697B (zh) * 2019-01-09 2022-10-25 国网浙江省电力有限公司舟山供电公司 基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法
CN111563869B (zh) * 2019-01-25 2023-07-21 宁波舜宇光电信息有限公司 用于摄像模组质检的污点测试方法
CN111563869A (zh) * 2019-01-25 2020-08-21 宁波舜宇光电信息有限公司 用于摄像模组质检的污点测试方法
CN110045729A (zh) * 2019-03-12 2019-07-23 广州小马智行科技有限公司 一种车辆自动驾驶方法及装置
CN110046561A (zh) * 2019-03-29 2019-07-23 贵阳铝镁设计研究院有限公司 一种基于三维视觉的电解铝阳极炭块表面钢印识别方法
CN110009618B (zh) * 2019-04-02 2021-04-20 浙江大学 一种轴类零件表面质量检测方法及装置
CN110009618A (zh) * 2019-04-02 2019-07-12 浙江大学 一种轴类零件表面质量检测方法及装置
CN110111289A (zh) * 2019-04-28 2019-08-09 深圳市商汤科技有限公司 一种图像处理方法及装置
CN110111289B (zh) * 2019-04-28 2021-09-28 深圳市商汤科技有限公司 一种图像处理方法及装置
CN110136130A (zh) * 2019-05-23 2019-08-16 北京阿丘机器人科技有限公司 一种检测产品缺陷的方法及装置
CN110314854A (zh) * 2019-06-06 2019-10-11 苏州市职业大学 一种基于视觉机器人的工件检测分拣的装置及方法
WO2021017725A1 (zh) * 2019-08-01 2021-02-04 北京迈格威科技有限公司 产品缺陷的检测方法、装置及系统
CN110837860A (zh) * 2019-11-06 2020-02-25 惠州皓赛技术有限公司 基于深度学习的贴片检测方法及相关系统
CN111028210A (zh) * 2019-11-25 2020-04-17 北京航天控制仪器研究所 基于稀疏自动编码器的深度神经网络玻璃管端面缺陷检测方法
CN111044522A (zh) * 2019-12-14 2020-04-21 中国科学院深圳先进技术研究院 缺陷检测方法、装置及终端设备
CN111044522B (zh) * 2019-12-14 2022-03-11 中国科学院深圳先进技术研究院 缺陷检测方法、装置及终端设备
CN111242891A (zh) * 2019-12-27 2020-06-05 北京交通大学 一种钢轨表面缺陷识别分类方法
CN111476767A (zh) * 2020-04-02 2020-07-31 南昌工程学院 一种基于异源图像融合的高铁扣件缺陷识别方法
CN111476767B (zh) * 2020-04-02 2022-04-12 南昌工程学院 一种基于异源图像融合的高铁扣件缺陷识别方法
US20210372938A1 (en) * 2020-05-29 2021-12-02 The Board Of Trustee Of The University Of Alabama Deep learning-based crack segmentation through heterogeneous image fusion
CN111833323B (zh) * 2020-07-08 2021-02-02 哈尔滨市科佳通用机电股份有限公司 基于稀疏表示与svm的分任务铁路货车图像质量判断方法
CN111833323A (zh) * 2020-07-08 2020-10-27 哈尔滨市科佳通用机电股份有限公司 基于稀疏表示与svm的分任务铁路货车图像质量判断方法
CN111815605B (zh) * 2020-07-09 2021-08-17 成都运达科技股份有限公司 基于分步深度学习的轨枕缺陷检测方法及存储介质
CN111815605A (zh) * 2020-07-09 2020-10-23 成都协创信和科技有限公司 基于分步深度学习的轨枕缺陷检测方法及存储介质
CN112001902A (zh) * 2020-08-19 2020-11-27 上海商汤智能科技有限公司 缺陷检测方法和相关装置、设备、存储介质
CN112288819A (zh) * 2020-11-20 2021-01-29 中国地质大学(武汉) 多源数据融合的视觉引导机器人抓取及分类系统及方法
CN112541889A (zh) * 2020-12-02 2021-03-23 杭州安脉盛智能技术有限公司 一种多层级模型的复杂纹理对象表面缺陷检测方法
CN112686843B (zh) * 2020-12-21 2023-09-15 福建新大陆软件工程有限公司 一种基于神经网络的木板缺陷检测方法及系统
CN112686843A (zh) * 2020-12-21 2021-04-20 福建新大陆软件工程有限公司 一种基于神经网络的木板缺陷检测方法及系统
CN112651965A (zh) * 2021-01-14 2021-04-13 成都铁安科技有限责任公司 一种车轮踏面缺陷三维检测方法及其系统
CN112651965B (zh) * 2021-01-14 2023-11-07 成都铁安科技有限责任公司 一种车轮踏面缺陷三维检测方法及其系统
CN112734760A (zh) * 2021-03-31 2021-04-30 惠州高视科技有限公司 半导体bump缺陷检测方法、电子设备及存储介质
CN112734760B (zh) * 2021-03-31 2021-08-06 高视科技(苏州)有限公司 半导体bump缺陷检测方法、电子设备及存储介质
CN113516660B (zh) * 2021-09-15 2021-12-07 江苏中车数字科技有限公司 适用于列车的视觉定位与缺陷检测方法和装置
CN113516660A (zh) * 2021-09-15 2021-10-19 江苏中车数字科技有限公司 适用于列车的视觉定位与缺陷检测方法和装置
CN113962274A (zh) * 2021-11-18 2022-01-21 腾讯科技(深圳)有限公司 一种异常识别方法、装置、电子设备及存储介质
CN114550021A (zh) * 2022-04-25 2022-05-27 深圳市华汉伟业科技有限公司 基于特征融合的表面缺陷检测方法及设备
CN114663436A (zh) * 2022-05-25 2022-06-24 南京航空航天大学 一种基于深度学习的跨尺度缺陷检测方法
CN114972892A (zh) * 2022-07-12 2022-08-30 山东嘉通专用汽车制造有限公司 基于计算机视觉的汽车刹车片缺陷分类方法
CN115587987A (zh) * 2022-10-19 2023-01-10 中国长江三峡集团有限公司 一种蓄电池缺陷检测方法、装置、存储介质及电子设备
CN116385336A (zh) * 2022-12-14 2023-07-04 广州市斯睿特智能科技有限公司 基于深度学习的焊缝检测方法、系统、装置及存储介质
CN116385336B (zh) * 2022-12-14 2024-04-12 广州市斯睿特智能科技有限公司 基于深度学习的焊缝检测方法、系统、装置及存储介质
CN116645371A (zh) * 2023-07-27 2023-08-25 中铁十二局集团铁路养护工程有限公司 一种基于特征搜索的钢轨表面缺陷检测方法及系统
CN116645371B (zh) * 2023-07-27 2023-10-17 中铁十二局集团铁路养护工程有限公司 一种基于特征搜索的钢轨表面缺陷检测方法及系统
CN116778398A (zh) * 2023-08-21 2023-09-19 中铁十二局集团铁路养护工程有限公司 一种基于特征重建的双模态道床异物检测方法及系统
CN116778398B (zh) * 2023-08-21 2023-11-14 中铁十二局集团铁路养护工程有限公司 一种基于特征重建的双模态道床异物检测方法及系统
CN117705816A (zh) * 2024-02-06 2024-03-15 西南交通大学 基于无人机的钢轨表面缺陷检测方法、系统、设备及介质
CN117705816B (zh) * 2024-02-06 2024-04-26 西南交通大学 基于无人机的钢轨表面缺陷检测方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN108921846A (zh) 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法
CN107590489A (zh) 基于级联卷积神经网络的目标检测方法
CN107316064B (zh) 一种基于卷积神经网络的沥青路面裂缝分类识别方法
CN103604809B (zh) 一种图案布匹瑕疵在线视觉检测方法
CN109460709A (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN110473178A (zh) 一种基于多光源融合的外观缺陷检测方法及系统
CN104181596B (zh) 地质层位自动追踪方法及装置
Ahranjany et al. A very high accuracy handwritten character recognition system for Farsi/Arabic digits using convolutional neural networks
CN103116896A (zh) 一种基于视觉显著性模型的自动检测跟踪方法
CN102998316B (zh) 一种透明液体杂质检测系统及其检测方法
CN113409267B (zh) 一种基于深度学习的路面裂缝检测与分割方法
CN104299009A (zh) 基于多特征融合的车牌字符识别方法
CN107038442A (zh) 一种基于深度学习的车牌检测和整体识别方法
CN103020649A (zh) 一种基于纹理信息的森林类型识别方法
CN104008551A (zh) 一种基于可见光图像的柑橘黄龙病检测方法
CN111125403B (zh) 一种基于人工智能的辅助设计绘图方法及系统
CN113703045A (zh) 一种基于轻量级网络的地震相识别方法
CN108734172A (zh) 基于直线边缘特征的目标识别方法、系统
CN108765439A (zh) 一种基于无人水面艇的海天线检测方法
CN111260609A (zh) 一种基于深度学习的烟支外观缺陷检测方法
CN117269168B (zh) 一种新能源汽车精密零配件表面缺陷检测装置及检测方法
CN112395956B (zh) 一种面向复杂环境的可通行区域检测方法及系统
CN116079713A (zh) 一种钻锚机器人多钻臂协同控制方法、系统、设备及介质
CN110111358A (zh) 一种基于多层时序滤波的目标跟踪方法
CN112598680B (zh) 基于人工智能网络的黏连矿石的图像分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220401