CN112950566B - 一种风挡破损故障检测方法 - Google Patents

Abstract

一种风挡破损故障检测方法，涉及图像处理技术领域，针对现有技术中风挡破损故障检测准确率低的问题，包括：步骤一：获取车辆风挡图像，并对风挡图像中风挡破损部位进行标注后构建数据集；步骤二：对数据集进行数据扩增；步骤三：对扩增后的数据集中图像进行特征提取，并根据提取到的特征以及扩增后的数据集训练神经网络；步骤四：利用训练好的神经网络完成风挡破损故障检测。本申请提出了一种S‑SR算法，在稀疏表示优化目标函数中增加结构性约束项，提高稀疏表示算法特征提取能力，进而提高整个故障检测算法的准确程度；同时采用l2范数约束代替l1范数约束，提高稀疏表示算法速度。

Description

一种风挡破损故障检测方法

技术领域

本发明涉及图像处理技术领域，具体为一种风挡破损故障检测方法。

背景技术

传统的车辆故障检测方法大多采用人工查看过车图像判断故障位置，检测过程费时费 力，人工成本高，采用计算机模拟的故障自动检测方法可以有效的提高故障检测的效率， 同时能够减少由于检车人员疲劳、粗心等造成的故障漏检、误检，提高故障检测的准确程 度。

发明内容

本发明的目的是：针对现有技术中风挡破损故障检测准确率低的问题，提出一种风挡 破损故障检测方法。

本发明为了解决上述技术问题采取的技术方案是：

一种风挡破损故障检测方法，包括以下步骤：

步骤一：获取车辆风挡图像，并对风挡图像中风挡破损部位进行标注后构建数据集；

步骤二：对数据集进行数据扩增；

步骤三：对扩增后的数据集中图像进行特征提取，并根据提取到的特征以及扩增后的 数据集训练神经网络；

步骤四：利用训练好的神经网络完成风挡破损故障检测。

进一步的，数据扩增包括：图像旋转、图像亮度变换、图像对比度变换和图像加噪。

进一步的，扩增后的数据集包括训练集、测试集与验证集。

进一步的，训练集、测试集与验证集的比例为7：1：2。

进一步的，步骤三中提取到的特征包括Canny特征与深度学习特征。

进一步的，Canny特征与深度学习特征的获取步骤包括：

步骤三一：对扩增后的数据集中图像进行滤波，并提取滤波后图像的目标候选框；

步骤三二：利用Canny算法得到目标候选框中图像的Canny特征，其中Canny算法的高阈值Th₁采用Otsu算法得到，低阈值Th₂＝0.5Th₁；

步骤三三：将训练集与验证集中图像的目标候选框图像进行分类，分为存在风挡破损 的破损类图像和不存在风挡破损的正常类图像，然后使正常类图像与破损类图像数量保持 一致，最后利用正常类图像与破损类图像训练Darknet19分类网络；

步骤三四：将训练好的Darknet19网络中最后的平均池化层和Softmax分类层删除，并 将网络的输出层变为卷积层，得到改进的Darknet19网络，将目标候选框图像输入改进的 Darknet19网络中，得到目标候选框图像的深度学习特征。

进一步的，Canny特征包括Canny特征稀疏特征，深度学习特征包括深度学习稀疏特 征；以及

Canny特征与深度学习特征的获取步骤还包括：

步骤三五：选取N个破损类图像，并通过步骤三一和步骤三二得到破损类图像的目标 候选框的Canny特征，进而得到Canny特征图，然后将Canny特征图切成8*8的小块，表 示为样本X＝[x₁,x₂,…,x_N]∈R^n×N，其中n表示特征维度，为8*8＝64；

步骤三六：对于样本X采用过完备的稀疏字典D∈R^n×K进行稀疏表示，得到稀疏系数， 即稀疏特征Α＝[α₁,α₂,…,α_N]∈R^K×N，K取256；

步骤三七：选取N个破损类图像，并通过步骤三三和步骤三四得到破损类图像的目标 候选框图像的深度学习特征，进而得到深度学习特征图，表示为样本

其中n^d表示特征维度，为7*7＝49；

步骤三八：对于样本X^d采用过完备的稀疏字典

进行稀疏表示，得到稀疏系数，即稀疏特征

K取256。

进一步的，步骤三一中采用高斯滤波器对扩增后的数据集中图像进行滤波。

进一步的，步骤三一中采用选择搜索算法提取滤波后图像中的目标候选框。

进一步的，稀疏表示的目标函数表示为：

其中，

其中，D和α_i分别表示稀疏字典和稀疏系数，S为结构性约束函数，

分别表示原始样本x_i和经稀疏字典映射后的稀疏系数Dα_i的均值，

分别表示原始样本x_i和经稀疏字典映射后的稀疏系数Dα_i的方差，

表示原始样本x_i与经稀疏字典映射后的稀疏系数Dα_i的协方差，λ₁、λ₂为规则化系数，c₁、c₂为一个小正数，c₁、c₂为0.01。

本发明的有益效果是：

1、本申请提出了一种S-SR算法，在稀疏表示优化目标函数中增加结构性约束项，提 高稀疏表示算法特征提取能力，进而提高整个故障检测算法的准确程度；同时采用l2范数 约束代替l1范数约束，提高稀疏表示算法速度。

2、采用传统Canny特征与深度学习特征相结合进行稀疏表示。

附图说明

图1为本申请整体流程图；

图2为本申请故障检测框图。

具体实施方式

需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组 合。

具体实施方式一：参照图1和图2具体说明本实施方式，本实施方式的一种风挡破损 故障检测方法，包括以下步骤：

步骤一：获取车辆风挡图像，并对风挡图像中风挡破损部位进行标注后构建数据集；

步骤二：对数据集进行数据扩增；

步骤三：对扩增后的数据集中图像进行特征提取，并根据提取到的特征以及扩增后的 数据集训练神经网络；

步骤四：利用训练好的神经网络完成风挡破损故障检测。

具体实施方式二：本实施方式是对具体实施方式一的进一步改进，与具体实施方式一 的区别是数据扩增包括：图像旋转、图像亮度变换、图像对比度变换和图像加噪。

具体实施方式三：本实施方式是对具体实施方式一的进一步改进，与具体实施方式一 的区别是扩增后的数据集包括训练集、测试集与验证集。

具体实施方式四：本实施方式是对具体实施方式三的进一步改进，与具体实施方式三 的区别是训练集、测试集与验证集的比例为7：1：2。

具体实施方式五：本实施方式是对具体实施方式三的进一步改进，与具体实施方式三 的区别是步骤三中提取到的特征包括Canny特征与深度学习特征。

具体实施方式六：本实施方式是对具体实施方式五的进一步改进，与具体实施方式五 的区别是Canny特征与深度学习特征的获取步骤为：

步骤三一：对扩增后的数据集中图像进行滤波，并提取滤波后图像的目标候选框，

步骤三二：利用Canny算法得到目标候选框中图像的Canny特征，其中Canny算法的高阈值Th₁采用Otsu算法得到，低阈值Th₂＝0.5Th₁；

步骤三三：将训练集与验证集中图像的目标候选框图像进行分类，分为存在风挡破损 的破损类图像和不存在风挡破损的正常类图像，然后使正常类图像与破损类图像数量保持 一致，最后利用训练集中正常类图像与破损类图像训练Darknet19分类网络；

步骤三四：将训练好的Darknet19网络中最后的平均池化层和Softmax分类层删除，并 将网络的输出层变为卷积层，得到改进的Darknet19网络，将目标候选框图像输入改进的 Darknet19网络中，得到目标候选框图像的深度学习特征。

具体实施方式七：本实施方式是对具体实施方式六的进一步改进，与具体实施方式六 的区别是Canny特征包括Canny特征稀疏特征，深度学习特征包括深度学习稀疏特征；以 及

Canny特征与深度学习特征的获取步骤还包括：

步骤三五：选取N个破损类图像，并通过步骤三一和步骤三二得到破损类图像的目标 候选框的Canny特征，进而得到Canny特征图，然后将Canny特征图切成8*8的小块，表 示为样本X＝[x₁,x₂,…,x_N]∈R^n×N，其中n表示特征维度，为8*8＝64；

步骤三六：对于样本X采用过完备的稀疏字典D∈R^n×K进行稀疏表示，得到稀疏系数， 即稀疏特征Α＝[α₁,α₂,…,α_N]∈R^K×N，K取256；

步骤三七：选取N个破损类图像，并通过步骤三三和步骤三四得到破损类图像的目标 候选框图像的深度学习特征，进而得到深度学习特征图，表示为样本

其中n^d表示特征维度，为7*7＝49；

步骤三八：对于样本X^d采用过完备的稀疏字典

进行稀疏表示，得到稀疏系数，即稀疏特征

K取256。

具体实施方式八：本实施方式是对具体实施方式七的进一步改进，与具体实施方式七 的区别是步骤三一中采用高斯滤波器对扩增后的数据集中图像进行滤波。

具体实施方式九：本实施方式是对具体实施方式七的进一步改进，与具体实施方式七 的区别是步骤三一中采用选择搜索算法提取滤波后图像中的目标候选框。

具体实施方式十：本实施方式是对具体实施方式七的进一步改进，与具体实施方式七 的区别是稀疏表示的目标函数表示为：

其中，

其中，D和α_i分别表示稀疏字典和稀疏系数，S为结构性约束函数，

分别表示原始样本x_i和经稀疏字典映射后的稀疏系数Dα_i的均值，

分别表示原始样本x_i和经稀疏字典映射后的稀疏系数Dα_i的方差，

表示原始样本x_i与经稀疏字典映射后的稀疏系数Dα_i的协方差，λ₁、λ₂为规则化系数，c₁、c₂为一个小正数，c₁、c₂为0.01。

实施例：收集铁路货车图像，建立故障检测样本数据集。

在铁路动车轨道四周搭建高清成像设备，获取铁路动车通过后得到的过车图像，收集 发生风挡破损故障的风挡部分图像。真实的风挡破损故障较少发生，本专利采用PS软件将 真实的风挡破损经过旋转等变换P到没有发生风挡破损故障的图像上，增加风挡破损故障 图像的数量。采用标注软件对图像中发生破损的部位进行标注，生成的标注文件与图像一 一对应，标注文件与图像共同构成故障检测数据集。对数据集中图像进行旋转、亮度变换、 对比度变换、加噪等数据扩增操作，其标注文件也进行相应变换。数据扩增操作可以将低 后续故障检测网络发生过拟合的概率，提升故障检测网络的泛化能力。将扩增后的数据集 按照7：1：2的比例划分为训练集，测试集与验证集。

Canny边缘特征与深度学习特征提取

采用高斯滤波器对数据集中图像进行滤波，去除图像中的噪声，采用选择搜索算法提 取去噪后图像中目标候选框，

提取候选框图像的Canny特征，其中Canny算法的高阈值Th₁采用Otsu算法得到，低阈值Th₂＝0.5Th₁。

将训练集与验证集图像的候选框图像进行分类，分为存在风挡破损的破损类和不存在 风挡破损的正常类，去除一定正常类候选框图像，使正常类图像与破损类图像数量保持一 致，采用训练集正常类图像与破损类图像训练Darknet19分类网络，在验证集上进行分类 测试，保证训练的Darknet19网络不发生过拟合现象。去掉训练好的Darknet19网络最后的 平均池化层和Softmax分类层，网络的输出层变为卷积层，其输出特征图大小为7*7，将候 选框图像送入去掉平均池化层和Softmax分类层的Darknet19网络中，得到候选框图像的深 度学习特征，每张候选款图像的深度学习特征大小为7*7。

S-SR稀疏表示

稀疏表示(SR)是一种基于过完备字典的数据表示方法，SR采用尽可能少的非零元素 表示数据，去除原始数据中的冗余，大大简化许多问题的处理过程。本专利采用改进的稀 疏表示算法S-SR对候选框图像的Canny边缘特征和深度学习特征进行稀疏表示，得到候选框图像的Canny稀疏特征和深度学习稀疏特征。

候选框图像的Canny特征S-SR稀疏表示的过程如下：

选取20张有代表性的候选框图像，有代表性的指候选框图像中包含风挡破损故障，且 20张图像尽量包含所有类型的风挡破损故障形态。将20张有代表性的候选框图像的Canny 特征图切成8*8的小块，表示为X＝[x₁,x₂,…,x_N]∈R^n×N，其中n表示特征维度，这里为8*8＝64，N表示样本个数这里为20。对于样本X采用过完备的稀疏字典D∈R^n×K(过完备 字典中K＞＞n，本专利中K取256)对其进行稀疏表示求得稀疏系数(稀疏特征) Α＝[α₁,α₂,…,α_N]∈R^K×N的过程为稀疏字典D和稀疏系数Α的联合优化过程，对于传统的 SR其优化目标函数如公式(1)所示，式中前一项为保真项，保证稀疏表示没有改变原始 样本的内容，即所求稀疏系数经过稀疏字典映射后能够恢复为原始样本，后一项为正则项， 这里采用l1范数，保证所求稀疏系数的稀疏性。

本专利S-SR稀疏表示算法的优化目标函数如公式(2)所示，传统的SR的保真项仅能够保证原始样本和经字典映射后的稀疏系数在数据上尽可能相等，没有考虑到样本的结构性信息，经过稀疏表示后样本的结构性可能会有所改变，本专利在保真项中增加结构性约束(公式(2)中第二项)，尽量保留原始样本的结构信息。具体的结构性约束如公式(3) 所示，公式(3)表示了原始样本和经稀疏字典映射后的稀疏系数的结构相似度，式中

分别表示原始样本x_i和经稀疏字典映射后的稀疏系数Dα_i的均值，

分别表示 原始样本x_i和经稀疏字典映射后的稀疏系数Dα_i的方差，

表示原始样本x_i与经稀疏字 典映射后的稀疏系数Dα_i的协方差，λ₁、λ₂为规则化系数，c₁、c₂为一个小正数，防止分 母为零。本专利设定为0.01，c₁、c₂尽量小就可以，一般不超过0.1。

l1范数约束能够对样本起到隐式选择作用，使求得的稀疏系数具有很高的稀疏性，但 其计算成本较高，Zhang等人在论文“Sparse Representation or CollaborativeRepresentation: Which Helps Face Recognition”中提出可以采用l2范数约束代替l1范数约束，因此本专利 采用l2范数约束代替约束项中的l1范数约束(公式(2)中第三项)，在保证稀疏性的同时 有效的提高稀疏表示算法的速度。

本专利采用K-SVD与OMP算法进行公式(2)的优化求解，得到稀疏字典D与稀疏 系数A。

深度学习特征的稀疏表示过程与Canny边缘特征的稀疏表示过程相似，仅在样本特征 维度上不同，对于深度学习特征，其大小为7*7，不对其进行图像切块，直接对深度学习 特征图进行稀疏表示，样本特征维度为7*7＝49。

SVM网络训练测试

将训练集候选框图像的Canny稀疏特征与深度学习稀疏特征级联，送入SVM网络中进行训练，将验证集候选框图像的Canny稀疏特征与深度学习特征级联，送入训练好的SVM网络中，将验证集中检测错误的图像加入到训练集，重新训练SVM网络，完成整个故障检 测网络的训练。最后在测试集图像上进行测试，如果检测结果没有达到标准(不出现漏报， 误报辆均为0.5％)则对检测错误的结果进行数据扩增操作，并重新划分数据集进行故障检测网络的训练。

铁路动车风挡破损故障网络测试

铁路动车通过高清成像设备后，获取过车图像，将风挡部分的过车图像送入训练好的 风挡破损故障检测网络中，若网络检测出了风挡破损故障，上传故障报警，检车人员依据 人工先验原则对发生报警的部位进行处理。

需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定 权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本 发明的保护范围内。

Claims (8)

1.一种风挡破损故障检测方法，其特征在于包括以下步骤：

步骤一：获取车辆风挡图像，并对风挡图像中风挡破损部位进行标注后构建数据集；

步骤二：对数据集进行数据扩增；

步骤三：对扩增后的数据集中图像进行特征提取，并根据提取到的特征以及扩增后的数据集训练神经网络；

步骤四：利用训练好的神经网络完成风挡破损故障检测；

所述步骤三中提取到的特征包括Canny特征与深度学习特征；

所述Canny特征与深度学习特征的获取步骤包括：

步骤三一：对扩增后的数据集中图像进行滤波，并提取滤波后图像的目标候选框；

步骤三二：利用Canny算法得到目标候选框中图像的Canny特征，其中Canny算法的高阈值Th₁采用Otsu算法得到，低阈值Th₂＝0.5Th₁；

步骤三三：将训练集与验证集中图像的目标候选框图像进行分类，分为存在风挡破损的破损类图像和不存在风挡破损的正常类图像，然后使正常类图像与破损类图像数量保持一致，最后利用正常类图像与破损类图像训练Darknet19分类网络；

步骤三四：将训练好的Darknet19网络中最后的平均池化层和Softmax分类层删除，并将网络的输出层变为卷积层，得到改进的Darknet19网络，将目标候选框图像输入改进的Darknet19网络中，得到目标候选框图像的深度学习特征。

2.根据权利要求1所述的一种风挡破损故障检测方法，其特征在于所述数据扩增包括：图像旋转、图像亮度变换、图像对比度变换和图像加噪。

3.根据权利要求1所述的一种风挡破损故障检测方法，其特征在于所述扩增后的数据集包括训练集、测试集与验证集。

4.根据权利要求3所述的一种风挡破损故障检测方法，其特征在于所述训练集、测试集与验证集的比例为7：1：2。

5.根据权利要求1所述的一种风挡破损故障检测方法，其特征在于所述Canny特征包括Canny特征稀疏特征，所述深度学习特征包括深度学习稀疏特征；以及

所述Canny特征与深度学习特征的获取步骤还包括：

步骤三五：选取N个破损类图像，并通过步骤三一和步骤三二得到破损类图像的目标候选框的Canny特征，进而得到Canny特征图，然后将Canny特征图切成8*8的小块，表示为样本X＝[x₁,x₂,…,x_N]∈R^n×N，其中n表示特征维度，为8*8＝64；

步骤三六：对于样本X采用过完备的稀疏字典D∈R^n×K进行稀疏表示，得到稀疏系数，即稀疏特征Α＝[α₁,α₂,…,α_N]∈R^K×N，K取256；

步骤三七：选取N个破损类图像，并通过步骤三三和步骤三四得到破损类图像的目标候选框图像的深度学习特征，进而得到深度学习特征图，表示为样本

其中n^d表示特征维度，为7*7＝49；

步骤三八：对于样本X^d采用过完备的稀疏字典

进行稀疏表示，得到稀疏系数，即稀疏特征

K取256。

6.根据权利要求5所述的一种风挡破损故障检测方法，其特征在于所述步骤三一中采用高斯滤波器对扩增后的数据集中图像进行滤波。

7.根据权利要求5所述的一种风挡破损故障检测方法，其特征在于所述步骤三一中采用选择搜索算法提取滤波后图像中的目标候选框。

8.根据权利要求5所述的一种风挡破损故障检测方法，其特征在于稀疏表示的目标函数表示为：

其中，

其中，D和α_i分别表示稀疏字典和稀疏系数，S为结构性约束函数，

分别表示原始样本x_i和经稀疏字典映射后的稀疏系数Dα_i的均值，

分别表示原始样本x_i和经稀疏字典映射后的稀疏系数Dα_i的方差，

表示原始样本x_i与经稀疏字典映射后的稀疏系数Dα_i的协方差，λ₁、λ₂为规则化系数，c₁、c₂为一个小正数，c₁、c₂为0.01。

Images