CN111639665B - 一种汽车换挡面板图像自动分类方法 - Google Patents

Abstract

本发明公开了一种汽车换挡面板图像自动分类方法。采集汽车换挡面板图像；二值化、膨胀、填充孔洞后再差分运算，分离目标区域；提取目标区域的11个形状特征，搭建MLP神经网络模型的结构并训练模型参数，获得训练后的MLP神经网络模型；对未知类型的汽车换挡面板图像提取11个形状特征，输入到MLP神经网络模型，输出汽车换挡面板的类型。本发明能够实现针对图像中不同类型的汽车换挡面板进行分类，提高了汽车换挡面板的分类速率，具有很好的分类鲁棒性和准确性。

Description

一种汽车换挡面板图像自动分类方法

技术领域

本发明涉及一种不同车型汽车换挡面板的自动分类方法，尤其是涉及了一种机器视觉的不同车型汽车换挡面板的自动分类方法。

背景技术

截至2018年9月，我国机动车保有量已达3.22亿辆，按国际上6％-7％的汽车报废比例来算，预计2020年我国将有2000万辆机动车报废。2019年6月，新版《报废汽机动车回收管理办法》正式实施，该办法允许报废汽车中的零部件再次回收利用。汽车换挡面板作为报废汽车可回收的零部件之一，不仅起着支撑换挡杆和标记挡位的作用，而且影响着汽车的装饰效果和消费者实际体验。但从报废汽车拆解企业的实际情况来看，拆解出换挡面板不仅数量多，而且类型多样，传统方法是通过人工或机器辅助来完成对汽车换挡面板的分类，在批量分类的模式下，人工分类方法实时性差、效率低，并且受人工经验和主观因素的影响大，因此，对于报废汽车拆解企业，为提高汽车换挡面板的回收效率，降低回收成本，提出一种不同类型汽车换挡面板的自动分类方法具有必要性。

近年来，机器视觉技术不仅在工业检测、包装印刷、航空航天、生物科技、智能交通等领域得到了广泛的应用，也已成功应用在汽车零部件的自动分类与缺陷检测。

发明内容

在国内外对机器视觉的应用研究上，尚无对汽车换挡面板自动分类方法的报道，针对背景技术中存在的问题，为解决报废汽车换挡面板分类效率低且分类成本高的问题，本发明的目的在于提供了一种不同类型汽车换挡面板的自动分类方法，实现对汽车换挡面板的自动分类。该方法能够自动识别不同类型的汽车换挡面板，大大提高了识别的效率。

本发明采用的技术方案包括以下步骤：

1)采集不同车型的灰度图像的汽车换挡面板图像，以汽车换挡面板作为图像中的目标，图像中包含汽车换挡面板的全部目标区域；

汽车换挡面板图像是由相机从接近俯视角度拍摄获得。

2)首先对汽车换挡面板图像进行二值化处理，再对二值化处理后的图像进行形态学膨胀操作并填充孔洞，将目标区域内孔洞填充后的图像与原始汽车换挡面板图像进行差分运算，分离汽车换挡面板图像的背景和目标，提取出目标区域，目标区域为汽车换挡面板；

3)提取目标区域边界到质心的平均距离Dist、平均距离标准差Sigma以及目标区域的外接圆半径Out_r、矩形度Re、主轴I_a和副轴I_b长度、目标区域的三个二阶中心矩I₁,I₂,I₃和一个三阶中心矩I₄、结构因子StrFa的共11个形状特征；

4)选择已划分类型的汽车换挡面板图像作为样本，将样本的特征进行归一化处理后作为MLP神经网络模型的数据集，搭建MLP神经网络模型的结构并训练模型参数，获得训练后的MLP神经网络模型；

5)对未知类型的汽车换挡面板图像重复上述步骤进行处理并提取11个形状特征，将提取出来的特征作为分类模型的输入数据，输入到训练后的MLP神经网络模型，输出汽车换挡面板的类型，完成汽车换挡面板的自动分类。

所述步骤(2)具体为：

2.1)使用OTSU法对汽车换挡面板图像f进行二值化处理得到二值图像f_bw；

2.2)使用半径为10像素的圆形结构元素Se对二值图像f_bw进行一次形态学膨胀操作，得到膨胀后图像f_d：

f_d＝f_bwΘSe

2.3)对膨胀后图像f_d进行形状转换，填充目标区域中的空洞，得到填充后图像f_convex；

2.4)将填充后图像f_convex上目标区域的坐标位置对应到汽车换挡面板图像f上，作为汽车换挡面板图像f上的目标区域位置，差分运算提取出汽车换挡面板图像f中的目标区域p。

所述步骤(3)具体为：

3.1)采用以下公式处理获得目标区域p边界到质心的平均距离Dist：

其中，A表示目标区域p所包含的像素总数，p_(r,c)分别表示目标区域p质心位置的像素坐标和非质心位置的其他像素坐标；

质心是指目标区域p中所有像素坐标的平均值。

3.2)计算目标区域p边界到质心的平均距离标准差Sigma：

3.3)取目标区域的最小外接矩形，根据最小外接矩形计算目标区域p的最小外接圆半径Out_r及其矩形度Re：

其中，L、B分别表示目标区域的最小外接矩形的长和宽；

3.4)计算目标区域p的主轴I_a和副轴I_b长度，计算为：

其中，h表示目标区域二阶行相关矩和二阶列相关矩的均值，M_ij表示矩函数，i、j分别表示行和列的阶数，i+j>＝2，M₂₀、M₀₂、分别表示目标区域的二阶行相关矩、目标区域的二阶列相关矩、目标区域点的行坐标与列坐标的协方差，r₀,c₀分别表示目标区域的质心的行坐标和列坐标，r,c表示表示目标区域中像素的行坐标和列坐标；

3.5)计算目标区域p的三个二阶中心矩I₁，I₂，I₃和一个三阶中心矩I₄，计算为：

μ_ij＝M_ij·m₀₀ ³

其中，m₀₀为目标区域p上所有像素点的灰度值之和；

3.6)计算目标区域p的结构因子StrFa，计算为：

其中，R_a表示目标区域p对应等效椭圆的长轴半径。

所述步骤(4)具体为：

4.1)选择包含有不同类型的汽车换挡面板图像作为样本，构建数据集；

4.2)针对数据集中汽车换挡面板图像的每种特征统一进行归一化处理，将特征值Fea归一化到0～1之间的小数Fea*，计算为：

其中，Fea_max表示同种特征里的最大值，Fea_min表示同种特征里的最小值；

4.3)创建MLP神经网络模型，包含输入层、隐藏层和输出层，输入层层数设置为1，输入层神经元节点数M设置为11，隐藏层层数H设置为15，隐藏层神经元节点数P设置为10；输出层层数设置为1，输出层神经元节点数N设置为4；其中输入层神经元节点数、输出层神经元节点数和隐藏层神经元节点数均满足以下条件：

其中，a为调节系数，取值为0～10之间的实数；

4.4)将数据集中被归一化的特征作为训练MLP神经网络模型的输入数据，将样本的类型量化为所属类型的概率，将样本所属类型的概率作为训练MLP神经网络模型的输出数据，获得训练后的MLP神经网络模型。假设四种类型分别为A,B,C,D,若样本属于一个类型A，则对于A类型的概率为1，B,C,D类型的概率则为0，将数据[1,0,0,0]训练MLP神经网络模型的输出数据。

所述步骤(5)具体为：

5.1)采集未知类型的汽车换挡面板图像，按照步骤(2)～(3)对图像进行提取特征处理并归一化提取的特征；

5.2)将未知类型汽车换挡面板图像归一化后的特征作为输入数据输入到MLP神经网络模型进行预测输出，将输出数据中概率值最大对应的类型作为检测类型，完成图像中汽车换挡面板的自动分类。

本发明方法首先使用Blob分析对图像进行预处理，分割出图像中的换挡面板目标对象，接着提取被分割图像的11个形状特征作为特征向量，利用特征向量训练多层感知器(Multi-layer Perceptron，MLP),最后使用完成训练的MLP模型对不同类型的汽车换挡面板进行分类预测。

本发明的有益效果是：

本发明能够实现针对图像中不同类型的汽车换挡面板进行分类，提高了汽车换挡面板的分类速率，具有很好的分类鲁棒性和准确性。

附图说明

图1：本发明方法流程图。

图2：实施例采集的四种类型的汽车换挡面板图像，其中(a)13款朗逸，(b)是15款朗逸，(c)是迈腾，(d)是速腾。

图3：实施例图2各图进行二值化处理和形态学膨胀操作后的形状转换效果图。

图4：实施例将图3中的各图像与图2各图所对应的原图像差分运算后的效果图。

具体实施方式

以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

本发明实施例及其实施过程如下：

1)采集不同车型的灰度图像的汽车换挡面板图像，以汽车换挡面板作为图像中的目标，图像中包含汽车换挡面板的全部目标区域；

搭建机器视觉硬件设备，工业相机定标，工业相机在检测平台中的固定高度下的分辨率。使用德国Basler生产的acA2500-14gm型号工业相机配合日本Computar公司生产的型号为M0824-MPW2的光学镜头采集换挡面板的灰度图像，所采集的图像背景为白色，图像尺寸为2592*1944，所采集的汽车换挡面板图像共有238幅，包含四种类型。图2为典型的四种类型的汽车换挡面板图像。

2)首先对汽车换挡面板图像进行二值化处理，再对二值化处理后的图像进行形态学膨胀操作并填充孔洞，将目标区域内孔洞填充后的图像与原始汽车换挡面板图像进行差分运算，分离汽车换挡面板图像的背景和目标，提取出目标区域，目标区域为汽车换挡面板；

2.1)使用OTSU法对汽车换挡面板图像f进行二值化处理得到二值图像f_bw；

2.2)使用半径为10像素的圆形结构元素Se对二值图像f_bw进行一次形态学膨胀操作，得到膨胀后图像f_d。

2.3)对膨胀后图像f_d进行形状转换，填充目标区域中的空洞，得到填充后图像f_convex；图3给出了汽车换挡面板图像二值化处理和形态学膨胀操作后的形状转换效果图。

2.4)将填充后图像f_convex上目标区域的坐标位置对应到汽车换挡面板图像f上，作为汽车换挡面板图像f上的目标区域位置，差分运算提取出汽车换挡面板图像f中的目标区域p。图4给出了将图3中的图像与所对应的原图像差分运算后的效果图。

3)提取目标区域边界到质心的平均距离Dist、平均距离标准差Sigma以及目标区域的外接圆半径Out_r、矩形度Re、主轴I_a和副轴I_b长度、目标区域的三个二阶中心矩I₁,I₂,I₃和一个三阶中心矩I₄、结构因子StrFa的共11个形状特征；

3.1)采用以下公式处理获得目标区域p边界到质心的平均距离Dist。

3.2)计算目标区域p边界到质心的平均距离标准差Sigma。

3.3)取目标区域的最小外接矩形，根据最小外接矩形计算目标区域p的最小外接圆半径Out_r及其矩形度Re。

3.4)计算目标区域p的主轴I_a和副轴I_b长度。

3.5)计算目标区域p的三个二阶中心矩I₁，I₂，I₃和一个三阶中心矩I₄。

3.6)计算目标区域p的结构因子StrFa。

四种类型的汽车换挡面板的11种特征对比如下表：

表1不同类型的汽车换档面板特征对比

4)选择已划分类型的汽车换挡面板图像作为样本，将样本的特征进行归一化处理后作为MLP神经网络模型的数据集，搭建MLP神经网络模型的结构并训练模型参数，获得训练后的MLP神经网络模型；

4.1)选择238份共四种类型的汽车换挡面板图像作为样本，其中从每种类型的样本中随机选取40份共160份样本，按照上述步骤对160份样本进行处理并提取11个形状特征作为训练集，对剩余78份样本按照上述步骤进行处理并提取11个形状特征作为作为测试集，从而完成数据集的创建。

4.2)针对数据集中汽车换挡面板图像的每种特征统一进行归一化处理，将特征值Fea归一化到0～1之间的小数Fea*。

4.3)创建MLP神经网络模型，包含输入层、隐藏层和输出层，输入层层数设置为1，输入层神经元节点数M设置为11，隐藏层层数H设置为15，隐藏层神经元节点数P设置为10；输出层层数设置为1，输出层神经元节点数N设置为4；其中输入层神经元节点数、输出层神经元节点数和隐藏层神经元节点数均满足以下条件：

其中，a为调节系数，取值为0～10之间的实数；

4.4)设置训练MLP神经网络模型的最大迭代次数为200次，训练的平均误差阈值为10^-5；将数据集中被归一化的特征作为训练MLP神经网络模型的输入数据，将样本的类型量化为所属类型的概率，将样本所属类型的概率作为训练MLP神经网络模型的输出数据，获得训练后的MLP神经网络模型。假设四种类型分别为A,B,C,D,若样本属于一个类型A，则对于A类型的概率为1，B,C,D类型的概率则为0，将数据[1,0,0,0]训练MLP神经网络模型的输出数据。

5)对未知类型的汽车换挡面板图像重复上述步骤进行处理并提取11个形状特征，将提取出来的特征作为分类模型的输入数据，输入到训练后的MLP神经网络模型，输出汽车换挡面板的类型，完成汽车换挡面板的自动分类。

5.1)采集未知类型的汽车换挡面板图像，按照步骤(2)～(3)对图像进行提取特征处理并归一化提取的特征；

5.2)将未知类型汽车换挡面板图像归一化后的特征作为输入数据输入到MLP神经网络模型进行预测输出，将输出数据中概率值最大对应的类型作为检测类型，完成图像中汽车换挡面板的自动分类。

将预测结果与样本的真实结果进行对比，结果如表2所示：

表2不同类型汽车换档面板的分类结果

类型	测试数量	正确个数	准确率/％	平均分类时间/ms
					13款朗逸	20	19	95％	<100ms
15款朗逸	31	31	100％	<100ms
					迈腾	11	11	100％	<100ms
速腾	16	16	100％	<100ms

实验结果显示，预测的综合准确率达到99％。

Claims (4)

1.一种汽车换挡面板图像自动分类方法，其特征在于包括以下步骤：

1)采集不同车型的灰度图像的汽车换挡面板图像，以汽车换挡面板作为图像中的目标，图像中包含汽车换挡面板的全部目标区域；

2)首先对汽车换挡面板图像进行二值化处理，再对二值化处理后的图像进行形态学膨胀操作并填充孔洞，将目标区域内孔洞填充后的图像与原始汽车换挡面板图像进行差分运算，分离汽车换挡面板图像的背景和目标，提取出目标区域；

3)提取目标区域边界到质心的平均距离Dist、平均距离标准差Sigma以及目标区域的外接圆半径Out_r、矩形度Re、主轴I_a和副轴I_b长度、目标区域的三个二阶中心矩I₁，I₂，I₃和一个三阶中心矩I₄、结构因子StrFa的共11个形状特征；

所述步骤3)具体为：

3.1)采用以下公式处理获得目标区域p边界到质心的平均距离Dist：

其中，A表示目标区域p所包含的像素总数，p_(r,c)分别表示目标区域p质心位置的像素坐标和非质心位置的其他像素坐标；

3.2)计算目标区域p边界到质心的平均距离标准差Sigma：

3.3)取目标区域的最小外接矩形，根据最小外接矩形计算目标区域p的最小外接圆半径Out_r及其矩形度Re：

其中，L、B分别表示目标区域的最小外接矩形的长和宽；

3.4)计算目标区域p的主轴I_a和副轴I_b长度，计算为：

其中，h表示目标区域二阶行相关矩和二阶列相关矩的均值，M_ij表示矩函数，i、j分别表示行和列的阶数，i+j＞＝2，M₂₀、M₀₂、分别表示目标区域的二阶行相关矩、目标区域的二阶列相关矩、目标区域点的行坐标与列坐标的协方差，r₀,c₀分别表示目标区域的质心的行坐标和列坐标，r,c表示表示目标区域中像素的行坐标和列坐标；

3.5)计算目标区域p的三个二阶中心矩I₁，I₂，I₃和一个三阶中心矩I₄，计算为：

μ_ij＝M_ij·m₀₀ ³

其中，m₀₀为目标区域p上所有像素点的灰度值之和；

3.6)计算目标区域p的结构因子StrFa，计算为：

其中，R_a表示目标区域p对应等效椭圆的长轴半径；

4)选择已划分类型的汽车换挡面板图像作为样本，将样本的特征进行归一化处理后作为MLP神经网络模型的数据集，搭建MLP神经网络模型的结构并训练模型参数，获得训练后的MLP神经网络模型；

5)对未知类型的汽车换挡面板图像重复上述步骤进行处理并提取11个形状特征，将提取出来的特征作为分类模型的输入数据，输入到训练后的MLP神经网络模型，输出汽车换挡面板的类型，完成汽车换挡面板的自动分类。

2.根据权利要求1所述一种汽车换挡面板图像自动分类方法，其特征在于：所述步骤2)具体为：

2.1)使用OTSU法对汽车换挡面板图像f进行二值化处理得到二值图像f_bw；

2.2)使用圆形结构元素Se对二值图像f_bw进行一次形态学膨胀操作，得到膨胀后图像f_d：

f_d＝f_bwΘSe

2.3)对膨胀后图像f_d进行形状转换，填充目标区域中的空洞，得到填充后图像f_convex；

2.4)将填充后图像f_convex上目标区域的坐标位置对应到汽车换挡面板图像f上，作为汽车换挡面板图像f上的目标区域位置，差分运算提取出汽车换挡面板图像f中的目标区域p。

3.根据权利要求1所述一种汽车换挡面板图像自动分类方法，其特征在于：所述步骤4)具体为：

4.1)选择包含有不同类型的汽车换挡面板图像作为样本，构建数据集；

4.2)针对数据集中汽车换挡面板图像的每种特征统一进行归一化处理，将特征值Fea归一化到0～1之间的小数Fea*，计算为：

其中，Fea_max表示同种特征里的最大值，Fea_min表示同种特征里的最小值；

4.3)创建MLP神经网络模型，包含输入层、隐藏层和输出层，输入层层数设置为1，输入层神经元节点数M设置为11，隐藏层层数H设置为15，隐藏层神经元节点数P设置为10；输出层层数设置为1，输出层神经元节点数N设置为4；其中输入层神经元节点数、输出层神经元节点数和隐藏层神经元节点数均满足以下条件：

其中，a为调节系数；

4.4)将数据集中被归一化的特征作为训练MLP神经网络模型的输入数据，将样本所属类型的概率作为训练MLP神经网络模型的输出数据，获得训练后的MLP神经网络模型。

4.根据权利要求1所述一种汽车换挡面板图像自动分类方法，其特征在于：所述步骤5)具体为：

5.1)采集未知类型的汽车换挡面板图像，按照步骤(2)～(3)对图像进行提取特征处理并归一化提取的特征；

5.2)将未知类型汽车换挡面板图像归一化后的特征作为输入数据输入到MLP神经网络模型进行预测输出，将输出数据中概率值最大对应的类型作为检测类型，完成图像中汽车换挡面板的自动分类。