CN111080609B - 一种基于深度学习的闸瓦插销丢失检测方法 - Google Patents

一种基于深度学习的闸瓦插销丢失检测方法 Download PDF

Info

Publication number
CN111080609B
CN111080609B CN201911272344.7A CN201911272344A CN111080609B CN 111080609 B CN111080609 B CN 111080609B CN 201911272344 A CN201911272344 A CN 201911272344A CN 111080609 B CN111080609 B CN 111080609B
Authority
CN
China
Prior art keywords
image
decoder
output
coding unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911272344.7A
Other languages
English (en)
Other versions
CN111080609A (zh
Inventor
孙晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN201911272344.7A priority Critical patent/CN111080609B/zh
Publication of CN111080609A publication Critical patent/CN111080609A/zh
Application granted granted Critical
Publication of CN111080609B publication Critical patent/CN111080609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于深度学习的闸瓦插销丢失检测方法，属于货运列车检测技术领域。本发明是为了解决目前依靠人工查看图像的检测方式存在高成本、低效率等问题，以及现有的图像自动处理技术进行检测存在准确率低的问题。本发明首先获取货车图像，然后从图像中确定待识别部件的感兴趣区域并提取出待识别部件的感兴趣区域图像；利用训练好的深度学习模型分割闸瓦插销对应的图像；根据深度学习模型分割的结果，利用图像处理方法进一步获得分割部件的信息，根据先验规则，进行闸瓦插销丢失的判定。本发明主要用于闸瓦插销丢失检测。

Description

一种基于深度学习的闸瓦插销丢失检测方法
技术领域
本发明涉及一种闸瓦插销丢失检测方法。属于货运列车检测技术领域。
背景技术
针对于货运列车的设备检测，长期以来，车辆段采用人工查看图像的方法对货运列车进行全车检查，一直存在高成本、效率低等问题。采用人工查看图像的方式，工作枯燥，容易懈怠，有效工作时间有限，效率进一步降低，而且非常容易出现遗漏部件、误报等情况，难以保障准确率。
因此，对货车进行自动化故障检测具有重要意义。但是目前并没有一种自动化的故障检测方法。虽然可以通过现有的图像处理技术来实现检测，但是目前的图像处理技术并不能针对闸瓦插销丢失进行有效的检测，主要原因是货车的设备检测具有包括检测环境因素、结构因素、尺寸因素等在内的特殊性，尤其是其尺寸非常小，图像中的结果相对复杂，所以现有的图像处理技术并不能满足闸瓦插销丢失检测，其准确率极低。
发明内容
本发明是为了解决目前依靠人工查看图像的检测方式存在成本高、效率低等问题，以及现有的图像自动处理技术进行检测存在准确率低的问题。
一种基于深度学习的闸瓦插销丢失检测方法，包括以下步骤：
s1、获取货车图像，从图像中确定待识别部件的感兴趣区域并提取出待识别部件的感兴趣区域图像；
s2、利用训练好的深度学习模型分割闸瓦插销对应的图像；
s3、根据深度学习模型分割的结果，利用图像处理方法进一步获得分割部件的信息，根据先验规则，进行闸瓦插销丢失的判定；所述先验规则包括闸瓦插销的周长、长宽比和面积。
进一步地，所述深度学习模型包括编码器、解码器和空洞卷积单元；
所述的编码器采用4个下采样的编码单元；所述解码器采用4个上采样的解码单元；
第一编码单元包括两个3*3的卷积层和池化层；第二编码单元与第一编码单元相同；
第三编码单元包括两个3*3的卷积层、一个1*1的卷积层和池化层；第四编码单元与第三编码单元相同；
第一编码单元的输出作为第二编码单元的输入，第二编码单元的输出作为第三编码单元的输入；第三编码单元的输出作为第四编码单元的输入；第四编码单元的输出作为空洞卷积单元的输入；
空洞卷积单元包括并联的3个3*3空洞卷积层，形成四条支路；第一条支路经过dilation＝1，2，4的3*3空洞卷积，第二条支路经过dilation＝1，2的3*3空洞卷积，第三条支路经过dilation＝1的3*3空洞卷积，第四条支路不经过卷积；所有支路的结果相加输入到解码器的第一个解码单元；
解码器的4个解码单元相同；每个解码单元包括一个3*3的卷积层，一个4*4的转置卷积层；
同时，第一个编码单元中池化层之前的图像通过高速通道输出并与解码器的第四个解码单元输出相加；然后经过3*3卷积层后输出最终的结果；
第二个编码单元中池化层之前的图像通过高速通道输出并与解码器的第三个解码单元输出相加作为解码器的第四个解码单元的输入；
第三个编码单元中池化层之前的图像通过高速通道输出并与解码器的第二个解码单元输出相加作为解码器的第三个解码单元的输入；
第四个编码单元中池化层之前的图像通过高速通道输出并与解码器的第一个解码单元输出相加作为解码器的第二个解码单元的输入。
进一步地，所述的深度学习模型的损失函数如下：
Figure GDA0002772316330000021
其中，P为预测图像，GT为真值图像，P和GT具有相同的宽W和高H，i、j分别为宽、高上像素的序号；gtij为真值图像的一个像素值，Pij为预测图像中的一个像素值。
进一步地，所述深度学习模型的参数通过训练过程确定。所述深度学习模型的训练过程中获取训练样本的过程包括以下步骤：
w1、针对获取的货车图像，根据硬件的先验知识，从货车图像信息中确定待识别部件的感兴趣区域并提取出待识别部件的感兴趣区域图像；
w2、数据集图像预处理，包括以下步骤：
w2.1、根据获得部件的感兴趣区域图像，建立原始的数据集；
w2.2、将闸瓦插销丢失的故障图像和含有伪目标的区域提取出来，放到有待识别部件的随机选取数据集的图像上进行融合，提高负样本比例；
w2.3、对数据集进行数据扩增，数据扩增包括对比度增强、锐度变化、随机缩放、随机旋转角度、直方图均衡化、模糊处理；
w3、对数据扩增后组成的训练数据集进行标记，获得与原始图像相对应的标记掩码GT图像。
一种基于深度学习的闸瓦插销丢失检测系统，包括一个深度学习模型；
所述的深度学习模型包括编码器、解码器和空洞卷积单元；
所述的编码器采用4个下采样的编码单元；所述解码器采用4个上采样的解码单元；
第一编码单元包括两个3*3的卷积层和池化层；第二编码单元与第一编码单元相同；
第三编码单元包括两个3*3的卷积层、一个1*1的卷积层和池化层；第四编码单元与第三编码单元相同；
第一编码单元的输出作为第二编码单元的输入，第二编码单元的输出作为第三编码单元的输入；第三编码单元的输出作为第四编码单元的输入；第四编码单元的输出作为空洞卷积单元的输入；
空洞卷积单元包括并联的3个3*3空洞卷积层，形成四条支路；第一条支路经过dilation＝1，2，4的3*3空洞卷积，第二条支路经过dilation＝1，2的3*3空洞卷积，第三条支路经过dilation＝1的3*3空洞卷积，第四条支路不经过卷积；所有支路的结果相加输入到解码器的第一个解码单元；
解码器的4个解码单元相同；每个解码单元包括一个3*3的卷积层，一个4*4的转置卷积层；
同时，第一个编码单元中池化层之前的图像通过高速通道输出并与解码器的第四个解码单元输出相加；然后经过3*3卷积层后输出最终的结果；
第二个编码单元中池化层之前的图像通过高速通道输出并与解码器的第三个解码单元输出相加作为解码器的第四个解码单元的输入；
第三个编码单元中池化层之前的图像通过高速通道输出并与解码器的第二个解码单元输出相加作为解码器的第三个解码单元的输入；
第四个编码单元中池化层之前的图像通过高速通道输出并与解码器的第一个解码单元输出相加作为解码器的第二个解码单元的输入。
进一步地，所述的一种基于深度学习的闸瓦插销丢失检测系统，还包括一个部件丢失检测模块；
所述的部件丢失检测模块，用于根据深度学习模型分割的结果，进一步获得分割部件的信息，并根据先验规则，进行闸瓦插销丢失的判定。
进一步地，所述的一种基于深度学习的闸瓦插销丢失检测系统，还包括感兴趣区域图像提取单元，用于从货车图像中确定待识别部件的感兴趣区域并提取出待识别部件的感兴趣区域图像。
进一步地，所述的一种基于深度学习的闸瓦插销丢失检测系统，还包括图像获取模块，用于获取货车图像。
有益效果：
1、使用图像自动识别的方式代替人工检测，方法或系统能够自动识别车辆故障并报警，作业标准统一，不再受人员素质和责任心影响，不仅能够解决高成本的问题，而且无需人工逐张浏览图片，人工只需对报警图片进行故障确认即可完成检车作业，可节省大量的动态检车人员，并提高作业效率。相比现有的人工检测，检测效率至少提高数十倍，并且图像数量的增加，效率还会进一步提高；而且利用本发明还能够有效提高作业质量。
2、基于深度学习的故障检测方法比传统的手工标准特征提取的机器视觉检测方法具有高的灵活性、准确性和鲁棒性。利用本发明进行闸瓦插销丢失检测的漏检率几乎为0。
附图说明
图1为具体实施方式的流程示意图；
图2为部分数据扩增的效果图；
图3为深度学习模型的网络结构图；
图4为空洞卷积单元结构图。
具体实施方式
具体实施方式一：参照图1具体说明本实施方式，
本实施方式所述的一种基于深度学习的闸瓦插销丢失检测方法，包括以下步骤：
1、图像获取
利用固定设备搭载照相机或摄像机，对高速运动的货车进行拍摄，拍摄货车的上部、两侧及底部的全车图像。针对于线阵相机(也称线扫描相机)，通过被测物的移动速度计算线阵相机的拍摄频率，进行连续的多次拍照，将所拍下的多幅“条”形图象，合并成一张完整的图，这样可实现无缝拼接，生成视野大，精度高的二维图象。
2、粗定位
根据硬件的轴距信息和部件的位置等先验知识，从全车的大图信息中确定待识别部件的感兴趣区域并提取出待识别部件的感兴趣区域图像，以此减少计算量并提高识别的速度。
3、数据集图像预处理
步骤3.1、建立原始数据集
根据粗定位获得待识别部件的感兴趣区域图像，建立原始的数据集。
步骤3.2、图像融合
因为在货车自动识别检测领域，经常出现两种情况：
1)图像经常不包含带检测目标的故障图像，负样本比例较小。
2)图像干扰因素较多，经常出现一些和真实目标底层纹理特征相近伪目标(草棍等异物)，误报较多。
所以将闸瓦插销丢失的故障图像和含有伪目标的区域提取出来，放到有待识别部件的随机选取数据集的图像上进行融合，提高负样本比例，减少误报。
步骤3.3、对数据集进行数据扩增，扩充后的如图2所示。数据扩增包括对比度增强、锐度变化、随机缩放、随机旋转角度、直方图均衡化、模糊处理等图像处理方式，可以是一种处理方式单独进行处理，也可以是几种图像处理方式共同处理；
由于列车车速、室外光照等因素的影响，运动中的货车线阵图像可能会出现对比度不同，图像拉伸等问题，针对自动识别部件图像的具体问题，采用图像增强方法进行处理，既能获得更多的训练样本，也能增加模型的鲁棒性。
步骤四：数据标记
利用图像融合和数据扩增的数据，组成新的训练数据集并对数据集进行标记，获得与原始图像相对应的标记掩码GT(Ground Truth)图像。
4、故障目标分割
构建编码器-解码器网络，如图3所示。由于在货车自动识别检测中对于检测的实时性和精度要求较高，所以为满足检测的实时性可以不需要非常深的网络，减少特征网络图个数，实现加速计算。针对故障检测的高精度要求，本发明引入空洞卷积单元使特征图具有更大的感受野，并利用高速通道连接对应特征层，使特征图具有更多的底层的纹理信息，以此保证检测精度。
所述多特征图深度学习的训练过程包括以下步骤：
步骤4.1、构建编码器网络：
由于待识别部件尺寸较小，所以采用4个下采样的编码单元，其中2个相同编码单元是由两个3*3的卷积层和池化层组成，另外2个相同的编码单元是由两个3*3的卷积层、一个1*1的卷积层和池化层组成，一共采用10个卷积层进行特征提取和4个池化层进行下采样，相比现有的编码单元结构，本发明的编码器可以加速计算。
步骤4.2、构建解码器网络：
解码器采用4个相同的上采样的解码单元，每个解码单元包含一个3*3的卷积层，一个4*4的转置卷积层进行上采样。
步骤4.3、编码器和解码器中间部分加入空洞卷积单元，如图4所示。
在解码器的后端加入并联的3个3*3空洞卷积层(dilation＝1，2，4)，第一条支路经过dilation＝1，2，4的3*3空洞卷积，第二条支路经过dilation＝1，2的3*3空洞卷积，第三条支路经过dilation＝1的3*3空洞卷积，第四条支路不经过卷积；并联结构可有效的的融合多尺度特征，空洞卷积可以增大感受野，图4中从上到下对应的感受野分别为15，7，3，1，最后将所有支路的结果相加输入到解码器中(第一个解码单元的输入)，提升整个网络的识别能力。
步骤4.4、加入高速通道单元连接编码器和解码器特征图。
采用高速通道将编码器特征图与相应解码器特征图进行连接，
编码器的第一个编码单元中池化层之前的图像通过高速通道输出并与解码器的第四个解码单元输出相加，然后经过3*3卷积层(即dilation＝1的3*3空洞卷积层)后输出结果；
编码器的第二个编码单元中池化层之前的图像通过高速通道输出并与解码器的第三个解码单元输出相加作为解码器的第四个解码单元的输入；
编码器的第三个编码单元中池化层之前的图像通过高速通道输出并与解码器的第二个解码单元输出相加作为解码器的第三个解码单元的输入；
编码器的第四个编码单元中池化层之前的图像通过高速通道输出并与解码器的第一个解码单元输出相加作为解码器的第二个解码单元的输入；
从而完成分割网络的最终搭建，得到搭建好的分割网络；
上述过程可以获取更多的底层的纹理信息，加强底层特征在最后决策中的比重。
步骤4.5、把训练数据集和标签图像一起归一化到固定大小256*256，输入到搭建好的分割网络中。
步骤4.6、图像数据经过分割网络输出的预测(predict)图像和原始标记的真值(GT)图像做交叉熵损失函数(BCE Loss)，使分割网络模型学到的预测数据分布趋近于真实数据分布。
Figure GDA0002772316330000061
其中，P为预测(Predict)图像，GT真值(GT)图像，P和GT具有相同的宽W和高H，gtij为真值(GT)图像的一个像素值，Pij为预测(Predict)图像中的一个像素值。
步骤4.7、根据损失函数进行误差反向传播，并更新所述分割网络的参数。
步骤4.8、重复步骤4.5到4.7，对多个训练样本图片进行多次训练，直至交叉熵损失逐渐收敛，置信度升至稳定值，确定当前学习到的模型参数为训练好的模型参数，从而获得训练好的深度学习模型。所述训练好的模型参数包括深度卷积网络的参数、转置卷积的参数和空洞卷积的参数。
5模型预测
步骤一：神经网络预测
获得货车图像，粗定位部件区域，利用训练好的深度学习模型，进行预测。
粗定位的过程如下：从图像中确定待识别部件的感兴趣区域并提取出待识别部件的感兴趣区域图像；
步骤二：根据先验规则进行检测
根据深度学习模型分割的结果，利用图像处理方法进一步获得分割部件的周长，长宽比，面积大小等信息，根据先验规则，进行闸瓦插销丢失的判定。
步骤三：上传报警平台
根据判定的结果的信息上传报警平台。

Claims (6)

1.一种基于深度学习的闸瓦插销丢失检测方法，其特征在于，包括以下步骤：
s1、获取货车图像，从图像中确定待识别部件的感兴趣区域并提取出待识别部件的感兴趣区域图像；
s2、利用训练好的深度学习模型分割闸瓦插销对应的图像；所述深度学习模型包括编码器、解码器和空洞卷积单元；
所述的编码器采用4个下采样的编码单元；所述解码器采用4个上采样的解码单元；
第一编码单元包括两个3*3的卷积层和池化层；第二编码单元与第一编码单元相同；
第三编码单元包括两个3*3的卷积层、一个1*1的卷积层和池化层；第四编码单元与第三编码单元相同；
第一编码单元的输出作为第二编码单元的输入，第二编码单元的输出作为第三编码单元的输入；第三编码单元的输出作为第四编码单元的输入；第四编码单元的输出作为空洞卷积单元的输入；
空洞卷积单元包括并联的3个3*3空洞卷积层，形成四条支路；第一条支路经过dilation＝1，2，4的3*3空洞卷积，第二条支路经过dilation＝1，2的3*3空洞卷积，第三条支路经过dilation＝1的3*3空洞卷积，第四条支路不经过卷积；所有支路的结果相加输入到解码器的第一个解码单元；
解码器的4个解码单元相同；每个解码单元包括一个3*3的卷积层，一个4*4的转置卷积层；
同时，第一个编码单元中池化层之前的图像通过高速通道输出并与解码器的第四个解码单元输出相加；然后经过3*3卷积层后输出最终的结果；
第二个编码单元中池化层之前的图像通过高速通道输出并与解码器的第三个解码单元输出相加作为解码器的第四个解码单元的输入；
第三个编码单元中池化层之前的图像通过高速通道输出并与解码器的第二个解码单元输出相加作为解码器的第三个解码单元的输入；
第四个编码单元中池化层之前的图像通过高速通道输出并与解码器的第一个解码单元输出相加作为解码器的第二个解码单元的输入；
s3、根据深度学习模型分割的结果，利用图像处理方法进一步获得分割部件的信息，根据先验规则，进行闸瓦插销丢失的判定；所述先验规则包括闸瓦插销的周长、长宽比和面积。
2.根据权利要求1所述的一种基于深度学习的闸瓦插销丢失检测方法，其特征在于，所述的深度学习模型的损失函数如下：
Figure FDA0002772316320000021
其中，P为预测图像，GT为真值图像，P和GT具有相同的宽W和高H，i、j分别为宽、高上像素的序号；gtij为真值图像的一个像素值，Pij为预测图像中的一个像素值。
3.根据权利要求1所述的一种基于深度学习的闸瓦插销丢失检测方法，其特征在于，所述深度学习模型的参数通过训练过程确定。
4.根据权利要求1、2或3所述的一种基于深度学习的闸瓦插销丢失检测方法，其特征在于，所述深度学习模型的训练过程中获取训练样本的过程包括以下步骤：
w1、针对获取的货车图像，根据硬件的先验知识，从货车图像信息中确定待识别部件的感兴趣区域并提取出待识别部件的感兴趣区域图像；
w2、数据集图像预处理，包括以下步骤：
w2.1、根据获得部件的感兴趣区域图像，建立原始的数据集；
w2.2、将闸瓦插销丢失的故障图像和含有伪目标的区域提取出来，放到有待识别部件的随机选取数据集的图像上进行融合，提高负样本比例；
w2.3、对数据集进行数据扩增，数据扩增包括对比度增强、锐度变化、随机缩放、随机旋转角度、直方图均衡化、模糊处理；
w3、对数据扩增后组成的训练数据集进行标记，获得与原始图像相对应的标记掩码GT图像。
5.根据权利要求4所述的一种基于深度学习的闸瓦插销丢失检测方法，其特征在于，所述获取的货车图像通过线阵相机获得。
6.一种基于深度学习的闸瓦插销丢失检测系统，其特征在于，包括一个深度学习模型，还包括图像获取模块、感兴趣区域图像提取单元和一个部件丢失检测模块；
所述图像获取模块，用于获取货车图像；
所述感兴趣区域图像提取单元，用于从货车图像中确定待识别部件的感兴趣区域并提取出待识别部件的感兴趣区域图像；
所述的部件丢失检测模块，用于根据深度学习模型分割的结果，进一步获得分割部件的信息，并根据先验规则，进行闸瓦插销丢失的判定；
所述的深度学习模型包括编码器、解码器和空洞卷积单元；
所述的编码器采用4个下采样的编码单元；所述解码器采用4个上采样的解码单元；
第一编码单元包括两个3*3的卷积层和池化层；第二编码单元与第一编码单元相同；
第三编码单元包括两个3*3的卷积层、一个1*1的卷积层和池化层；第四编码单元与第三编码单元相同；
第一编码单元的输出作为第二编码单元的输入，第二编码单元的输出作为第三编码单元的输入；第三编码单元的输出作为第四编码单元的输入；第四编码单元的输出作为空洞卷积单元的输入；
空洞卷积单元包括并联的3个3*3空洞卷积层，形成四条支路；第一条支路经过dilation＝1，2，4的3*3空洞卷积，第二条支路经过dilation＝1，2的3*3空洞卷积，第三条支路经过dilation＝1的3*3空洞卷积，第四条支路不经过卷积；所有支路的结果相加输入到解码器的第一个解码单元；
解码器的4个解码单元相同；每个解码单元包括一个3*3的卷积层，一个4*4的转置卷积层；
同时，第一个编码单元中池化层之前的图像通过高速通道输出并与解码器的第四个解码单元输出相加；然后经过3*3卷积层后输出最终的结果；
第二个编码单元中池化层之前的图像通过高速通道输出并与解码器的第三个解码单元输出相加作为解码器的第四个解码单元的输入；
第三个编码单元中池化层之前的图像通过高速通道输出并与解码器的第二个解码单元输出相加作为解码器的第三个解码单元的输入；
第四个编码单元中池化层之前的图像通过高速通道输出并与解码器的第一个解码单元输出相加作为解码器的第二个解码单元的输入。
CN201911272344.7A 2019-12-12 2019-12-12 一种基于深度学习的闸瓦插销丢失检测方法 Active CN111080609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911272344.7A CN111080609B (zh) 2019-12-12 2019-12-12 一种基于深度学习的闸瓦插销丢失检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911272344.7A CN111080609B (zh) 2019-12-12 2019-12-12 一种基于深度学习的闸瓦插销丢失检测方法

Publications (2)

Publication Number Publication Date
CN111080609A CN111080609A (zh) 2020-04-28
CN111080609B true CN111080609B (zh) 2020-12-15

Family

ID=70314079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911272344.7A Active CN111080609B (zh) 2019-12-12 2019-12-12 一种基于深度学习的闸瓦插销丢失检测方法

Country Status (1)

Country Link
CN (1) CN111080609B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258483B (zh) * 2020-10-23 2021-07-06 哈尔滨市科佳通用机电股份有限公司 一种钩尾销插托错位和螺母丢失故障检测方法
CN112307965B (zh) * 2020-10-30 2021-05-25 哈尔滨市科佳通用机电股份有限公司 一种滚动轴承施封锁丢失和折断故障检测方法
CN112465033B (zh) * 2020-11-30 2021-08-03 哈尔滨市科佳通用机电股份有限公司 基于深度学习的闸片开口销丢失检测方法、系统及装置
CN112200274B (zh) * 2020-12-09 2021-03-30 湖南索莱智能科技有限公司 一种目标检测方法、装置、电子设备和存储介质
CN113808133B (zh) * 2021-11-19 2022-01-25 西南交通大学 一种基于三维点云的地铁闸瓦故障检测方法
CN115909182B (zh) * 2022-08-09 2023-08-08 哈尔滨市科佳通用机电股份有限公司 一种动车组闸片磨损故障图像识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1843822A (zh) * 2006-04-30 2006-10-11 西安英卓电子科技有限公司 列车轮对动态检测系统及检测方法
CN109902600A (zh) * 2019-02-01 2019-06-18 清华大学 一种道路区域检测方法
CN110033416A (zh) * 2019-04-08 2019-07-19 重庆邮电大学 一种结合多粒度的车联网图像复原方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875596A (zh) * 2018-05-30 2018-11-23 西南交通大学 一种基于dssnn神经网络的铁路场景图像语义分割方法
CN109238756B (zh) * 2018-10-15 2021-05-25 哈尔滨市科佳通用机电股份有限公司 货车运行故障动态图像检测设备及检测方法
CN109767427A (zh) * 2018-12-25 2019-05-17 北京交通大学 列车轨道扣件缺陷的检测方法
CN110264440B (zh) * 2019-05-10 2023-01-17 湖南大学 基于深度学习的大规模列车移位故障检测方法及系统
CN110458807A (zh) * 2019-07-09 2019-11-15 常州大学 一种铁路轨道缺陷机器视觉检测系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1843822A (zh) * 2006-04-30 2006-10-11 西安英卓电子科技有限公司 列车轮对动态检测系统及检测方法
CN109902600A (zh) * 2019-02-01 2019-06-18 清华大学 一种道路区域检测方法
CN110033416A (zh) * 2019-04-08 2019-07-19 重庆邮电大学 一种结合多粒度的车联网图像复原方法

Also Published As

Publication number Publication date
CN111080609A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN111080609B (zh) 一种基于深度学习的闸瓦插销丢失检测方法
CN111091555B (zh) 闸瓦折断目标检测方法
CN109829891B (zh) 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法
CN111652227A (zh) 铁路货车底部地板破损故障检测方法
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN113313031B (zh) 一种基于深度学习的车道线检测和车辆横向定位方法
CN111080613B (zh) 一种铁路货车浴盆破损故障图像识别方法
CN111080621B (zh) 一种铁路货车地板破损故障图像识别方法
CN114742799B (zh) 基于自监督异构网络的工业场景未知类型缺陷分割方法
CN111611861A (zh) 一种基于多尺度特征关联的图像变化检测方法
CN108648210B (zh) 一种静态复杂场景下快速多目标检测方法及装置
CN111079748A (zh) 铁路货车滚轴承甩油故障检测方法
CN116823800A (zh) 一种基于深度学习的复杂背景下桥梁混凝土裂缝检测方法
CN116579992A (zh) 一种用于无人机巡检的小目标螺栓缺陷检测方法
CN114612803A (zh) 一种改进CenterNet的输电线路绝缘子缺陷检测方法
CN112307965B (zh) 一种滚动轴承施封锁丢失和折断故障检测方法
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN112258483B (zh) 一种钩尾销插托错位和螺母丢失故障检测方法
CN116797941A (zh) 一种高分辨率遥感影像的海上溢油风险源快速智能识别分类方法
CN116385477A (zh) 一种基于图像分割的杆塔图像配准方法
CN115761223A (zh) 一种利用数据合成的遥感影像实例分割方法
CN115661097A (zh) 一种物体表面缺陷检测方法及系统
Xia et al. A shadow detection method for remote sensing images using affinity propagation algorithm
CN114202536A (zh) 一种基于AT-EnFCM-SCNN的灾害环境特征提取方法
CN114926456A (zh) 一种半自动标注和改进深度学习的铁轨异物检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant