CN112102281A

CN112102281A - 基于改进Faster Rcnn的货车制动缸故障检测方法

Info

Publication number: CN112102281A
Application number: CN202010954953.7A
Authority: CN
Inventors: 何鑫
Original assignee: Harbin Kejia General Mechanical and Electrical Co Ltd
Current assignee: Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date: 2020-09-11
Filing date: 2020-09-11
Publication date: 2020-12-18
Anticipated expiration: 2040-09-11
Also published as: CN112102281B

Abstract

基于改进Faster Rcnn的货车制动缸故障检测方法，它属于货车制动缸故障检测技术领域。本发明解决了采用现有Faster Rcnn模型对货车制动缸故障检测的检测速度慢的问题。本发明首先获取货车的线阵图像，并从线阵图像中截取出制动缸部件图像；然后对截取出的图像进行标记，将标记后的图像用于训练改进的Faster Rcnn模型；最后利用训练好的改进Faster Rcnn模型对制动缸故障进行检测。本发明可以应用于货车制动缸故障的检测。

Description

基于改进Faster Rcnn的货车制动缸故障检测方法

技术领域

本发明属于货车制动缸故障检测技术领域，具体涉及一种基于改进Faster Rcnn的货车制动缸故障检测方法。

背景技术

制动缸体，是货车制动装置的组成之一，制动缸体的损坏危及行车安全。针对这种故障检测，虽然单阶段目标检测比双阶段识别速度快，但是双阶段目标检测的效果优于单阶段检测这是业内比较公认的。目前工业上常采用Faster Rcnn模型来进行该故障检测。然而Faster Rcnn模型的检测速度又比较慢，针对运行时间有要求的情景，又无法满足识别速度的要求。因此如何优化Faster Rcnn模型，使得Faster Rcnn模型的识别速度快，识别效果好，是目前急需要解决的问题。

发明内容

本发明的目的是为解决采用现有Faster Rcnn模型对货车制动缸故障检测的检测速度慢的问题，而提出了一种基于改进Faster Rcnn的货车制动缸故障检测方法。

本发明为解决上述技术问题所采取的技术方案是：基于改进Faster Rcnn的货车制动缸故障检测方法，所述方法包括以下步骤：

步骤一、获取途经货车的线阵图像；

步骤二、对获取的线阵图像进行截取，获得制动缸部件图像；

步骤三、将获得的制动缸部件图像分为训练集和测试集两部分，并对训练集的图像进行标记；

步骤四、将Faster Rcnn模型中的1个3*3卷积核替代为2个2*2卷积核后，利用训练集对Faster Rcnn模型进行训练，利用测试集对Faster Rcnn模型进行测试，获得训练好的Faster Rcnn模型；

步骤五、将采集的待检测图像进行步骤一和步骤二的处理后，将截取到的图像输入训练好的Faster Rcnn模型，得到故障检测结果。

本发明的有益效果是：

1、利用图像自动识别的方式代替人工检测，提高检测效率、准确率。

2、自适应生成候选框比例，提高有效候选框生成效率，避免了采用固定比例以及人工设置比例的缺点，提高了模型的复用性。

3、与传统的Faster Rcnn算法相比，提出了采用2*2卷积替代3*3卷积的思路，模型运算量缩减了14％，提高了检测速度。

4、与传统的Faster Rcnn算法相比，本发明在训练时间上缩短百分之20，检测精度上提高了2％。

附图说明

图1为相机拍摄的线阵图像；

图2为截取出的制动缸部件图像；

图3为xml文件的截图；

图4为原始Faster Rcnn与改进Faster Rcnn两种模型的检测精度对比图；

图5为改进Faster Rcnn模型输出的预测结果图。

具体实施方式

具体实施方式一、本实施方式所述的基于改进Faster Rcnn的货车制动缸故障检测方法，所述方法具体包括以下步骤：

步骤一、获取途经货车的线阵图像；

目前Faster Rcnn模型的网络结构，大致可以分为三部分：

特征提取网络如VGG16/19；

候选框生成网络RPN层；

识别定位网络；

大体流程：传入图片信息，通过特征提取网络提取特征得到特征图，通过RPN层生成候选区域，粗定位将待检测候选区域分成两类：1.存在待检测的目标。2.背景识别定位网络进一步检测目标，进行分类和位置回归。本方法主要针对特征提取部分以及候选框生成部分进行优化。在保证模型精度的前提下，缩短运行时间。

具体实施方式二、本实施方式与具体实施方式一不同的是：所述线阵图像是利用搭载在固定设备上的照相机或摄像机拍摄的。

利用固定设备搭载照相机或摄像机，对高速运动的货车进行拍摄，拍摄货车的上部、两侧及底部的全车图像。每次只扫描列车的一条线，可实现无缝拼接，生成视野大，精度高的二维图象，如图1所示。

具体实施方式三、本实施方式与具体实施方式一不同的是：所述步骤二中，对获取的线阵图像进行截取，获得制动缸部件图像，是根据制动缸部件所在位置的先验知识进行截取的。

根据同一车型部件所在位置大致相同原则，从二维图像中截取部件所在区域。获得待检测部件图片，如图2所示。

具体实施方式四、本实施方式与具体实施方式一不同的是：所述对训练集的图像进行标记，是通过labelimg工具进行标记的，标记后分别得到训练集中每张图像对应的xml文件，xml文件中包含对应图像的标记信息。

xml文件的截图如图3所示。

具体实施方式五、本实施方式与具体实施方式一不同的是：所述将Faster Rcnn模型中的1个3*3卷积核替代为2个2*2卷积核后，替代后所需的运算量为：

若获得制动缸部件图像的大小为25*25像素，采用2个2*2卷积核，步长为1，则经过第一个2*2卷积后得到的感受野M1为：

M1＝L-K+1

其中，L为制动缸部件图像的长度(L＝25)，K为卷积核的大小(K＝2)；

M2为第二个2*2卷积对第一个2*2卷积处理后的图像进行操作，得到的感受野结果：

M2＝M1-K+1

替代后所需的运算量Num为：

Num＝M1*K*K+M2*K*K。

第一个神经网络的卷积核的大小是7*7卷积核，模型的参数量十分庞大，导致模型训练速度很慢。后来研究者发现，采用多个小卷积的叠加，可以取得跟7*7卷积相同的感受野，并且参数量成倍的下降，增加模型训练速度。后来采用3*3卷积已经成为了默认卷积核参数。

在实际过程中，通过卷积核对图像操作，会导致输出图像的尺寸减少。比如24*24像素大小的图像，通过3*3卷积后，图像会变成22*22像素大小。很多时候，我们希望输入图片与输出图片尺寸相同。

奇数卷积核的优势：为了保证输入图片与输出图片尺寸相同，我们会进行补齐操作，比如在图像的四周增加一圈0像素。由于奇数卷积核具有对称结构，所以在四周增加补齐操作不会对识别产生影响。也保证了输入输出尺寸相同。业内普遍默认这种奇数卷积核的操作。

但是本发明并不关心输出图像的大小，只关心分类的结果。所以，在模型内部不必再进行补齐操作。此时2*2卷积核的优势就凸显出来。采用的卷积核越小，所需参数量越小。模型训练速度越快，缩短研发周期。

在进行卷积核大小选择的时候，业内一般默认采用3*3的卷积核大小。采用小卷积的叠加取得和大卷积核相同的作用效果，并且极大的减小了运算的复杂度，提高了模型的运算速度。基于上面的思想，本发明提出了采用2层2*2卷积，替代3*3卷积的方法，将运算数据量缩小了一个数量级。以图片大小为25*25像素为例：

采用1个3*3卷积，步长为1：

得到的感受野：

M＝L-K+1

其中：M为感受野大小，L为图片的长度，K为卷积核的大小。M＝23；

所需的运算量：

Num＝M*K*K＝207

采用2个2*2卷积，步长为1：

得到的感受野：

M1＝L-K+1

其中，L＝25，K＝2，则M1＝24，

M2＝M1-K+1

其中，M1＝24,K＝2,则M2＝23，

所需的运算量：

Num＝M1*K*K+M2*K*K＝178

不难发现，采用2个2*2卷积与1个3*3卷积相比，感受野相同，但是所需的运算量却缩减了(207–178)/207＝14％。极大的提升了模型的运行速度。

具体实施方式六、本实施方式与具体实施方式四不同的是：所述Faster Rcnn模型的候选框生成网络RPN层的生成候选框的比例是根据训练集标记信息的xml文件确定的。

候选框生成网络RPN层，目前RPN采用的是固定比例生成候选框的方式如1：1，2：1，1：2。默认要检测的部件为正方形或者长短比接近1：2。然而在实际过程中要检测部件的形状千差万别，比例也并不固定。一般这种情况，在针对具体的项目时：会根据具体检测的部件，通过测量设置该部件的长宽比，得到更加精准的候选框。

但是针对不同项目都要进行修改，人工成本较高，也不利于复用。

本发明在进行目标检测过程中，利用标记数据的xml文件，如图3所示，读取已标记部件的长宽信息。对应图中所示的xmin＝327，ymin＝259，xmax＝432，ymax＝371.

对应做差得到长度为432-327＝105，高度为371-259＝112，长宽比约为1：1。通过这种方式计算训练集中的所有数据，得到概率出现次数最多的3组长宽比，作为生成候选框的比例。这种方法克服了固定比例与人工设置比例的缺点，提高了模型的复用性，提高了候选框生成的准确率，降低了模型训练的难度。缩短了研发时间。

模型效果

针对制动缸脱落这个具体问题，采用相同的数据集，在原始Faster Rcnn与本发明改进版Faster Rcnn上分别进行了测试。改进版Faster Rcnn比原始Faster Rcnn模型训练时间缩短了百分之20。模型检测精度提高了百分之2。如图4所示。

读取标记数据xml文件，得到3组长宽比，作为生成候选框的比例，训练网络模型。模型训练完毕后，保存模型权重，用于接下来的故障识别。将待检测制动缸图片，使用图像处理算法统一缩放到固定尺寸大小如(384*384)。读取权重数据，得到识别结果。计算程序运行时间。

识别结果演示

采集待检测图片，传入改进Faster Rcnn网络，输出预测结果。如图5所示。

具体实施方式七、本实施方式与具体实施方式一不同的是：所述利用训练集对Faster Rcnn模型进行训练，直至达到设置的最大训练次数时停止训练，获得训练好的Faster Rcnn模型。

本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims

1.基于改进Faster Rcnn的货车制动缸故障检测方法，其特征在于，该方法包括以下步骤：

步骤一、获取途经货车的线阵图像；

2.根据权利要求1所述的基于改进Faster Rcnn的货车制动缸故障检测方法，其特征在于，所述线阵图像是利用搭载在固定设备上的照相机或摄像机拍摄的。

3.根据权利要求1所述的基于改进Faster Rcnn的货车制动缸故障检测方法，其特征在于，所述步骤二中，对获取的线阵图像进行截取，获得制动缸部件图像，是根据制动缸部件所在位置的先验知识进行截取的。

4.根据权利要求1所述的基于改进Faster Rcnn的货车制动缸故障检测方法，其特征在于，所述对训练集的图像进行标记，是通过labelimg工具进行标记的，标记后分别得到训练集中每张图像对应的xml文件，xml文件中包含对应图像的标记信息。

5.根据权利要求1所述的基于改进Faster Rcnn的货车制动缸故障检测方法，其特征在于，所述将Faster Rcnn模型中的1个3*3卷积核替代为2个2*2卷积核后，替代后所需的运算量为：

M1＝L-K+1

其中，L为制动缸部件图像的长度，K为卷积核的大小；

M2＝M1-K+1

替代后所需的运算量Num为：

Num＝M1*K*K+M2*K*K。

6.根据权利要求4所述的基于改进Faster Rcnn的货车制动缸故障检测方法，其特征在于，所述Faster Rcnn模型的候选框生成网络RPN层的生成候选框的比例是根据训练集标记信息的xml文件确定的。

7.根据权利要求1所述的基于改进Faster Rcnn的货车制动缸故障检测方法，其特征在于，所述利用训练集对Faster Rcnn模型进行训练，直至达到设置的最大训练次数时停止训练，获得训练好的Faster Rcnn模型。