CN111833323B

CN111833323B - 基于稀疏表示与svm的分任务铁路货车图像质量判断方法

Info

Publication number: CN111833323B
Application number: CN202010654159.0A
Authority: CN
Inventors: 韩旭
Original assignee: Harbin Kejia General Mechanical and Electrical Co Ltd
Current assignee: Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date: 2020-07-08
Filing date: 2020-07-08
Publication date: 2021-02-02
Anticipated expiration: 2040-07-08
Also published as: CN111833323A

Abstract

基于稀疏表示与SVM的分任务铁路货车图像质量判断方法，属于图像处理技术领域。为了解决现有的图像质量判断方法对货车图像进行检测时存在准确率低甚至失效的问题。本发明将货车图像送入训练好的质量判断网络得到图像质量判断结果；质量判断网络的确定过程中：根据亮度、清晰度、对称性、拉伸程度与噪声的正样本和负样本构建5个质量判断数据集并对每幅图像的图像质量评分，作为质量标签；针对五种质量判断任务，提取图像不同特征并采用稀疏表示进行特征编码，并分别构建和训练不同的质量判断模型，根据五个质量判断模型得到五个质量分数确定最终质量分数，作为图像质量判断的判断结果。主要用于铁路货车图像质量判断。

Description

基于稀疏表示与SVM的分任务铁路货车图像质量判断方法

技术领域

本发明涉及铁路货车图像质量判断方法。属于图像处理技术领域。

背景技术

铁路货车一直一来承担着重要的运输角色，铁路部门需要经常对铁路货车进行安全检查，以保证铁路货车的安全稳定运行。长期以来，铁路货车的设备检测基本都是采用人工查看图像的方法对货运列车进行全车检查，一直存在高成本、效率低等问题。采用人工查看图像的方式，工作枯燥，容易懈怠，有效工作时间有限，效率进一步降低，而且非常容易出现遗漏部件、误报等情况，难以保障准确率。

相比于人工查图像的故障检测方式，采用深度学习方式对车辆图像进行自动化故障检测的方法可以显著提高检测效率，降低成本，减少人工检测中由于人员疲劳、懈怠造成的误检、漏检等情况。但是这种方式对于图像的质量要求比较高，低质量的图像对后续故障检测任务有极大的负面影响，加大了故障检测难度，降低了故障检测的准确程度。因此十分有必要在故障检测前对获取的图像进行质量进行判断，对低质量的图像进行处理，并对相机进行调整，提高后续故障检测任务的准确率。但是目前的图像质量判断大都依赖于人工完成，即主观质量评价方法，这种方式不仅存在人为差异导致的判断准确率差异大的不足，而且存在效率极低、工作量非常大的问题。目前也有一些图像质量的自动判断方法，即图像客观质量评价方法，虽然这些方法的判断标准已经不再依赖于人为主观因素，采用计算机模拟人的质量评价过程，省时省力，但是实际应用中，由于检测对象的不同，应用的任务不同，每个领域/任务对于图像质量的要求也是不同的，所以目前的图像质量判断也有针对性，不能应用于各种领域，由于货车图像是在其高速行驶的情况下获得的，图像存在存在畸变噪声等质量退化现象，且质量评判的标准与现有的自然图像、美学图像等质量评价的标准不同，所以利用现有的方法对铁路货车图像进行图像质量判断准确率低、甚至失效，如果采用依赖于现有的方法判断出的质量符合要求的图片进行货车的故障检测会存在极大的安全隐患。

发明内容

本发明是为了解决现有的图像质量判断方法对货车图像进行检测时存在准确率低甚至失效的问题。

基于稀疏表示与SVM的分任务铁路货车图像质量判断方法，包括以下步骤：

首先，获得铁路货车通过图像；

然后，将图像送入训练好的质量判断网络，得到图像质量判断结果；

所述质量判断网络的确定过程包括以下步骤：

s1、分别在采集到的图像中挑选亮度、清晰度、对称性、拉伸程度与噪声的正样本和负样本，构建亮度、清晰度、对称性、拉伸程度与噪声质量判断数据集；

分别确定5个质量判断数据集中的每幅图像的图像质量评分，作为质量标签；

s2、针对亮度、清晰度、对称性、拉伸程度和噪声五种质量判断任务，提取图像不同特征并采用稀疏表示进行特征编码，并分别构建不同的质量判断模型；

s3、将五个质量判断任务对应的质量判断模型得到五个质量分数S_i,i∈{1,2,...,5}，最终质量分数为

将最终质量得分作为图像质量判断的判断结果。

进一步地，步骤s2所述针对亮度、清晰度、对称性、拉伸程度和噪声五种质量判断任务，提取图像不同特征并采用稀疏表示进行特征编码，并分别构建不同的质量判断模型的过程包括以下步骤：

s211、根据不同质量判断任务提取图像不同特征：

对于图像亮度和噪声质量判断任务，均直接提取亮度通道作为稀疏字典训练的特征图；

对于图像清晰度质量判断任务，提取梯度特征作为稀疏字典训练的特征图；

对于对称性和拉伸程度质量判断任务中，提取图像DOG特征作为稀疏字典训练特征图；

s212、提取特征图后，采用稀疏表示进行进一步的特征编码，对亮度、清晰度、对称性、拉伸程度与噪声五个质量判断任务训练出五个不同的稀疏字典，分别表示为D_L、D_C、D_S、D_D和D_N；

在稀疏编码阶段，采用五个不同任务的稀疏字典对相应特征进行系数表示，得到五个不同的稀疏系数，表示为X_L、X_C、X_S、X_D和X_N；

s213、采用稀疏表示阶段得到的五种不同的系数特征与相应质量标签，训练五个不同的SVM，完成五个不同任务的稀疏表示SVM模型的训练，即得到亮度、清晰度、对称性、拉伸程度与噪声对应的质量判断模型，并对5个质量判断模型进行验证。

进一步地，在步骤s211所述根据不同质量判断任务提取图像不同特征之前，需要对图像进行如下处理：

除了对称性质量判断任务，亮度、清晰度、拉伸程度与噪声质量判断任务均均提取图像中的需要进行故障检测的部分，然后再根据不同质量判断任务提取图像不同特征。

进一步地，s211中所述的对于图像清晰度质量判断任务，提取梯度特征作为稀疏字典训练的特征图的过程包括以下步骤：

采用sobel算子提取图像水平方向梯度

和竖直方向梯度

将梯度幅度||▽f||作为最终梯度图特征；

其中，f表示原始图像，S_x表示水平方向Sobel算子，S_y表示竖直方向Sobel算子。

进一步地，s211中对于对称性和拉伸程度质量判断任务中，提取图像DOG特征作为稀疏字典训练特征图所述的DOG特征如下：

其中σ表示DOG滤波的尺度，k表示滤波器中心与周围的比例，x,y表示图像中像素的位置。

进一步地，s212所述提取特征图后采用稀疏表示进行进一步的特征编码的过程包括以下步骤：

稀疏表示分为稀疏字典学习与稀疏编码两个部分；在稀疏编码阶段，提取五个数据集中训练图像和验证图像的特征图，得到五种特征图，分别采用稀疏字典训练阶段得到的五个不同的稀疏字典，对相应的特征图进行稀疏编码，最终得到五种稀疏特征：

在图像亮度质量判断任务中，提取数据集中W1张有代表图像的亮度通道特征，将特征图切成

的小块，表示为Y＝[y₁,y₂,…,y_N]∈R^n×N，N为W1*一张图像中的小块数量，n代表特征维度，求解稀疏字典D∈R^n×K的过程如公式(5)所示；

其中，K＞N为字典的原子个数，X＝[x₁,x₂,…,x_N]∈R^K×N为亮度特征的稀疏表示系数，ψ是稀疏规则化函数，μ是规则化系数，||||_P表示范数，采用组合范数对数据进行约束；l1约束使大部分像素的值为零，保证了稀疏性，但可能使像素中重要特征归零，因此采用组合范数的形式，即同时采用l1范数与l2范数对像素进行约束，如公式(6)所示；组合范数中将特征图像素分成组进行约束，P代表一共分成的组的数量，(Y-DX)_i ^(p)代表其中一个分组，|(Y-DX)^(p)|代表分组中像素的个数；

对亮度、清晰度、对称性、拉伸程度与噪声五个质量判断任务训练出五个不同的稀疏字典，分别表示为D_L、D_C、D_S、D_D和D_N。

进一步地，s212所述采用五个不同任务的稀疏字典对相应特征进行系数表示，得到五个不同的稀疏系数，表示为X_L、X_C、X_S、X_D和X_N的过程采用OMP算法完成公式(6)的优化求解过程：

其中λ为大于0的参数。

进一步地，所述对亮度、清晰度、对称性、拉伸程度与噪声五个质量判断任务训练出五个不同的稀疏字典的过程采用K-SVD算法实现。

进一步地，所述的特征维度n＝64，对应的特征图切成8*8的小块。

进一步地，所述组合范数中将特征图像素分成组进行约束的过程中，将8*8的小块分成4个4*4的分组进行组合范数约束；在每一个组内采用l2范数约束，四个组之间再进行l1范数约束。

有益效果：

1、本发明能够很好的从亮度、清晰度、对称性、拉伸程度与噪声这几个方面对铁路货车图像进行质量判断，从而解决图像畸变、清晰度下降等问题，提高故障识别任务的准确率，而且经过图像质量判断的图像可以很好的应用于基于图像的货车部件故障判断过程。

2、本发明将稀疏表示与机器学习相结合的方法应用到铁路货车图像进行质量判断中，降低后续故障识别难度，提高故障识别任务的准确率；同时保证了图像质量判断的速度，从而保证了图像质量的判断的效率。

3、采用分任务的方式对铁路货车图像进行质量评价，使网络能更精准的提取到对当前质量评价分任务有用的特征，降低整体图像质量评价任务的难度，提高质量判断的效果。

附图说明

图1为铁路货车图像失真示例图；

图2为图像质量评价流程图；

图3为基于稀疏表示与SVM的分任务铁路货车图像质量评价算法框图；

图4为铁路货车底部三相机图像与拼接图像示例图，其中图4(a)、图4(b)、图4(c)分别为底部三相机图像对应的图像，图4(d)为图4(a)和图4(c)两相机拍摄的图片拼接图像。

具体实施方式

具体实施方式一：结合图2说明本实施方式，

本实施方式所述的基于稀疏表示与SVM的分任务铁路货车图像质量判断方法，包括以下步骤：

1、收集图像病建立图像质量判断数据集：

在铁路货车两侧及底部搭设高清相机，例如可以在货车两侧各设置2台相机，底部设置3台相机，获取货车通过后的货车图像；由于相机角度、聚焦、阳光、天气、车速不均等的影响，拍摄到的图像会出现质量较低的情况，严重影响后续识别任务。因此要在故障检测前对图像进行质量判断，提高故障检测的准确率。

本发明对图像进行分任务质量判断，分别评价图像的亮度、清晰度、对称性、拉伸程度与噪声大小是否符合标准，降低图像质量判断难度，因此对不同任务需建立不同的数据集。同时对于不同相机采集到的图像也应建立不同的数据集，构建不同的质量判断模型，方便后续对质量判断模型进行调整。

1)收集数据：

分别在采集到的图像中挑选亮度、清晰度、对称性、拉伸程度与噪声的正样本和负样本，构建亮度、清晰度、对称性、拉伸程度与噪声质量判断数据集。亮度、清晰度、对称性、拉伸程度与噪声的正样本和负样本即亮度正常与不正常、清晰与模糊、对称与不对称、拉伸程度正常与不正常、有噪声与没有噪声的图像。

图1展示了图像各种失真示意图，图像亮度质量判断数据集应包括亮度正常、过亮、过暗与亮度不均图像；清晰度质量判断数据集应包括清晰与模糊图像；对称性质量判断数据集应包括对称图像、货车两侧对应相机拍摄图像的不对称图像、底部相机拍摄的货车底部对称零件的不对称图像；拉伸数据集应包括正常图像和由于货车速度造成的拉伸异常图像；噪声数据集应包括无噪声图像、由于阳光造成的光影噪声图像和黑道子和白道子噪声图像。然后对各数据集中的图像进行数据扩增，但数据扩增的方式不能改变原本图像亮度、清晰度、对称性、拉伸程度与噪声大小，如亮度质量判断数据集中只能对图像进行平移、裁剪、加噪等不改变原本亮度的数据增广方式，保证数据集中的图像失真情况均为真实拍摄到的失真，不是人为构建的失真。

2)图像质量判断：

找到15名工程师，在不受外界干扰同的情况下，分别对每个质量判断数数据集中的图像质量进行评价，对质量判断数数据集中的每幅图像进行评分，1到5分，评分标准为图像中的失真对后续故障识别的影响程度；几乎无失真，对识别不造成影响，打5分；略有失真，但对识别影响不大，打4分；一般失真，对识别有一定影响，打3分；明显失真，严重影响识别，打2分；失真严重且几乎不能识别打1分。将15名工程师的评分去掉最高与最低分，然后进行加权平均，作为图像的最终质量评分，作为质量标签。

针对每个相机都获得带有评分的亮度、清晰度、对称性、拉伸程度与噪声五个质量判断数据集，然后将分别这五个质量判断数据集划分为训练集与验证集，以供后续进行图像质量判断模型训练。

2、基于稀疏表示和SVM的铁路货车图像质量判断模型的训练与验证：

本发明对亮度、清晰度、对称性、拉伸程度和噪声这五种质量判断任务分别构建不同的质量判断模型，降低质量判断难度，然后综合不同任务得到的质量分数，得到图像最终的质量。具体包括以下步骤：

首先，根据不同质量判断任务提取图像不同特征，提取特征时仅提取图像中对识别(对识别有用部分)的特征，如闸瓦、螺栓等，以解决整幅图像质量好但关键部位有失真造成的图像质量较差之类的情况，同时由于提取特征部分的大小会减小，也能够降低模型计算复杂度。

然后，采用稀疏表示方法分别对图像特征图进行稀疏表示，得到不同任务的稀疏特征。

最后，分别采用不同质量判断任务的稀疏特征训练不同的SVM，得到不同质量判断任务的图像质量分数，综合不同质量判断任务的质量得分，得到图像最终的质量分数。

具体过程包括以下步骤：

s211、提取用于稀疏字典学习的特征图，提取特征时，除了对称性质量判断任务，其他任务均仅提取图像中的需要进行故障检测的部分，可以先采用检测算法提取图像中需要进行故障检测的部分，在后续识别中需要进行故障检测的部分的特征，采用更有针对性的特征训练模型，能够提高模型质量判断准确程度，解决铁路货车质量判断的特殊问题，即虽然可能图像整体质量较好，但关键部位失真，影响后续识别任务，图像质量应该判断为差或图像整体质量不太好，但关键部位没有失真，没有影响后续识别，图像质量应该判别为好的问题。由于本发明中噪声失真为贯穿图像的黑道子、白道子或者较亮的成块的光影，因此对于图像亮度和噪声质量判断任务，均直接提取图像中需要进行故障检测的部分的亮度通道作为稀疏字典训练的特征图。对于图像清晰度质量判断任务，提取对模糊程度敏感的梯度特征作为稀疏字典训练的特征图，如公式(1)所示，采用sobel算子提取图像水平方向梯度

和竖直方向梯度

将梯度幅度||▽f||作为最终梯度图特征；

DOG(Difference of Guassian)特征可以很好的提取图像的边缘结构信息，且计算方式简单，如公式(4)所示，其中σ表示DOG滤波的尺度，k表示滤波器中心与周围的比例，x,y表示图像中像素的位置。图像对称性与拉伸失真均为图像结构信息的变化，因此本发明在对称性和拉伸程度质量判断任务中，提取图像DOG特征作为稀疏字典训练特征图。在对称性图像质量判断任务中，对于货车两侧相机，将左侧相机拍摄图片的左半张图像和对应右侧相机拍摄图像的右半张图拼接为一张图像，然后提取图像的DOG特征；针对于底部图像，以底部设置三相机为例进行说明，底部三相机并行排列，三相机图像组合起来为整个车厢的底部图像，底部三相机图像如图4(a)、图4(b)、图4(c)所示，将图4(a)、图4(c)两相机拍摄的图片拼接为一张图片如图4(d)，截取拼接图像图4(d)的左半部分提取DOG特征。

s212、提取特征图后，采用稀疏表示进行进一步的特征编码：

稀疏表示方法可以用最少的非零元素表示出特征中的关键信息，去除特征中的冗余，降低后续SVM网络训练难度，提高质量判断网络的准确率。稀疏表示分为稀疏字典学习与稀疏编码两个部分；

在稀疏字典学习阶段，对于每个质量判断任务，在相应的数据库中挑选有代表性的20张图片提取相应任务特征图，训练稀疏字典，最终五个图像质量判断任务训练得到五个不同的稀疏字典；在稀疏编码阶段，提取五个质量判断数据集中训练图像和验证图像的特征图，得到五种特征图，分别采用稀疏字典训练阶段得到的五个不同的稀疏字典，对相应的特征图进行稀疏编码，最终得到五种稀疏特征，如图3所示。

具体的，在图像亮度质量判断任务中，提取数据集中20张有代表图像的亮度通道特征，将特征图切成8*8的小块，表示为Y＝[y₁,y₂,…,y_N]∈R^n×N，N为20*一张图像中的小块数量，n代表特征维度，这里为8*8＝64，求解稀疏字典D∈R^n×K(K＞N)的过程如公式(5)所示

其中，K为字典的原子个数，X＝[x₁,x₂,…,x_N]∈R^K×N为亮度特征的稀疏表示系数，ψ是稀疏规则化函数，μ是规则化系数，||||_P表示范数，本发明采用组合范数对数据进行约束。l1约束使数据中大部分元素为零，保证了稀疏性，但可能使元素中重要特征归零，因此本发明采用组合范数的形式，即同时采用l1范数与l2范数对数据中的元素进行约束，如公式(6)所示。组合范数中将特征图像素分成组进行约束，P代表一共分成的组的数量，

代表其中一个分组，|(Y-DX)^(p)|代表分组中像素的个数，本发明中将8*8的小块分成4个4*4的分组进行组合范数约束。在每一个组内采用l2范数约束，在四个组之间采用l1范数约束，l2范数使所有像素值都很小，保证了稀疏字典的准确程度和泛化性能，同时将像素分成组进行约束也提高了稀疏字典的结构性。公式(5)其实是稀疏系数X与稀疏字典D的联合优化问题，本发明采用K-SVD算法进行公式(5)的优化求解，字典的原子个数K设置为256。

最终采用K-SVD算法对亮度、清晰度、对称性、拉伸程度与噪声五个质量判断任务训练出五个不同的稀疏字典，分别表示为D_L、D_C、D_S、D_D和D_N。

在稀疏编码阶段，采用五个不同任务的稀疏字典通过公式(6)对相应特征进行系数表示，得到五个不同的稀疏系数，表示为X_L、X_C、X_S、X_D和X_N。本发明中采用OMP算法完成公式(6)的优化求解过程：

其中λ为大于0的参数；

s213、SVM网络训练验证：

采用稀疏表示阶段得到的五种不同的稀疏系数与相应质量标签，训练五个不同的SVM，完成五个不同任务的稀疏表示加SVM模型的训练，即得到亮度、清晰度、对称性、拉伸程度与噪声对应的质量判断模型；其中SVM采用sklearn中的svm模块实现。在模型验证阶段，提取五个数据集中的验证集图像的对应特征，采用相应稀疏字典得到稀疏系数，送入训练好的五个SVM中，得到五个不同任务的质量分数。

3、图像质量判断：

将五个质量判断任务对应的质量判断模型得到五个质量分数S_i,i∈{1,2,...,5}，最终质量分数为

若最终质量得分为3分以下，图像质量判为不合格，否则为合格，然后将图像质量最终是否合格与五个任务得分写入txt作为最终质量判断网络结果。

4、基于稀疏表示与SVM的铁路货车图像质量判断网络测试：

1)获得铁路货车通过图像采集设备的过车图像，将图像送入上述训练好的质量判断网络，得到图像质量判断结果。

2)上报图像质量判断结果，根据人工先验原则选择是否抛弃图像，是否对相机进行调整。

需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。

Claims

1.基于稀疏表示与SVM的分任务铁路货车图像质量判断方法，其特征在于，包括以下步骤：

首先，获得铁路货车通过图像；

所述质量判断网络的确定过程包括以下步骤：

将最终质量得分作为图像质量判断的判断结果；

步骤s2所述针对亮度、清晰度、对称性、拉伸程度和噪声五种质量判断任务，提取图像不同特征并采用稀疏表示进行特征编码，并分别构建不同的质量判断模型的过程包括以下步骤：

s211、根据不同质量判断任务提取图像不同特征：

2.根据权利要求1所述基于稀疏表示与SVM的分任务铁路货车图像质量判断方法，其特征在于，在步骤s211所述根据不同质量判断任务提取图像不同特征之前，需要对图像进行如下处理：

3.根据权利要求2所述基于稀疏表示与SVM的分任务铁路货车图像质量判断方法，其特征在于，s211中所述的对于图像清晰度质量判断任务，提取梯度特征作为稀疏字典训练的特征图的过程包括以下步骤：

采用sobel算子提取图像水平方向梯度

和竖直方向梯度

将梯度幅度

作为最终梯度图特征；

4.根据权利要求2所述基于稀疏表示与SVM的分任务铁路货车图像质量判断方法，其特征在于，s211中对于对称性和拉伸程度质量判断任务中，提取图像DOG特征作为稀疏字典训练特征图所述的DOG特征如下：

5.根据权利要求1至4之一所述基于稀疏表示与SVM的分任务铁路货车图像质量判断方法，其特征在于，s212所述提取特征图后采用稀疏表示进行进一步的特征编码的过程包括以下步骤：

其中，K＞N为字典的原子个数，X＝[x₁,x₂,…,x_N]∈R^K×N为亮度特征的稀疏表示系数，ψ是稀疏规则化函数，μ是规则化系数，|| ||_P表示范数，采用组合范数对数据进行约束；l1约束使大部分像素的值为零，保证了稀疏性，但可能使像素中重要特征归零，因此采用组合范数的形式，即同时采用l1范数与l2范数对像素进行约束，如公式(6)所示；组合范数中将特征图像素分成组进行约束，P代表一共分成的组的数量，

代表其中一个分组，|(Y-DX)^(p)|代表分组中像素的个数；

6.根据权利要求5所述基于稀疏表示与SVM的分任务铁路货车图像质量判断方法，其特征在于，s212所述采用五个不同任务的稀疏字典对相应特征进行系数表示，得到五个不同的稀疏系数，表示为X_L、X_C、X_S、X_D和X_N的过程采用OMP算法完成公式(6)的优化求解过程：

其中λ为大于0的参数。

7.根据权利要求5所述基于稀疏表示与SVM的分任务铁路货车图像质量判断方法，其特征在于，所述对亮度、清晰度、对称性、拉伸程度与噪声五个质量判断任务训练出五个不同的稀疏字典的过程采用K-SVD算法实现。

8.根据权利要求5所述基于稀疏表示与SVM的分任务铁路货车图像质量判断方法，其特征在于，所述的特征维度n＝64，对应的特征图切成8*8的小块。

9.根据权利要求8所述基于稀疏表示与SVM的分任务铁路货车图像质量判断方法，其特征在于，所述组合范数中将特征图像素分成组进行约束的过程中，将8*8的小块分成4个4*4的分组进行组合范数约束；在每一个组内采用l2范数约束，四个组之间再进行l1范数约束。