CN106023220A - 一种基于深度学习的车辆外观部件图像分割方法 - Google Patents

Abstract

本发明是关于一种基于深度学习的车辆外观部件图像分割方法，包括：根据图像中的分割目标对原始图像进行手工分割标定，获得分割标签；将所述原始图像和分割标签输入到深度学习神经网络中,结合回归模型对所述深度学习神经网络进行训练，获得深度学习网络模型，其中，所述深度学习神经网络包括依次连接的编码层、解码层和卷积层；将待分割图像输入到所述深度学习网络模型中进行分割，获得分割图像。所述神经网络模型包括依次连接的编码层、解码层和卷积层，相对其它的神经网络结构，删除了全连接层，更加适用于车辆外观部件、这种大面积且平整的图像分割。同时，本实施例提供的该方法，不需要先验条件进行初始化，准确率高且不受先验条件的限制。

Description

一种基于深度学习的车辆外观部件图像分割方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的车辆外观部件图像分割方法。

背景技术

近年来，随着我国经济的不断发展，机动车数量也在迅猛增长，同时，关系车辆安全的汽车运行安全检测也越来越受到人们的重视。其中，车辆的外观状态，如漆面锈蚀和剥落、钣金凹陷和裂痕等，是车辆安全行驶中的重要因素。由于不同的车辆外观部件通常有不同的功能及维修方式，因此，对车辆外观部件图像进行分割和识别，是车辆外观检测的一个重要步骤。具体的，车辆外观部件的分割和识别，是将车辆图像按照车辆外观部件分割成为多个区域并进行识别，由于部件分割是后续进行部件识别的基础，所以车辆外观图像分割越来越受到人们的重视。

现有技术中，常用的图像分割算法包括：基于颜色和亮度的方法、基于区域的分割方法、基于图论的方法和基于能量泛函的方法。基于颜色和亮度的方法是通过颜色或者亮度对图像的每个像素点进行分类，例如，K-Means算法将图像看作由RGB三维特征组成的点集，对图像中所有像素进行聚类从而达到分割图像的目的。基于区域的分割方法，包含区域生长法和分水岭方法等，是按照相似性准则将图像分割为多个区域。基于图论的方法将图像映射为带权无向图，移除特定的边，将图划分为若干子图从而实现分割；基于能量泛函的方法主要指活动轮廓模型以及其衍生方法。上述方法通常需要先验条件进行初始化，例如，K-Means算法在分类前要指定分割区域的数量，分水岭方法必须指定分割部件的关键点，活动轮廓模型需要设置初始的轮廓。

然而，在汽车外观部件图像分割的过程中，由于图像拍摄时的角度、距离以及车型差异等因素的影响，导致算法既不能够指定分割区域的数量，也不能够确定初始的关键点或轮廓，所以现有技术中的图像分割算法受到了很大的限制。

发明内容

为克服相关技术中存在的问题，本发明提供一种基于深度学习的车辆外观部件图像分割方法。

一种基于深度学习的车辆外观部件图像分割方法，包括：

根据图像中的分割目标对原始图像进行手工分割标定，获得分割标签；

将所述原始图像和分割标签输入到深度学习神经网络中,结合回归模型对所述深度学习神经网络进行训练，获得深度学习网络模型，其中，所述深度学习神经网络包括依次连接的编码层、解码层和卷积层；

将待分割图像输入到所述深度学习网络模型中进行分割，获得分割图像。

可选地，所述方法还包括：

利用PCA滤波对所述分割图像中进行修正，计算出所述初步分割图像中各像素点的分割标签，获得修正分割图像。

可选地，所述方法还包括：

通过形态学分割运算，去除所述分割图像中各分割区域的噪声点，获得去噪声分割图像；

通过高斯滤波和二值化处理，平滑所述去噪声分割图像中各分割区域的边缘轮廓，获得最终分割图像。

可选地，根据图像中的分割目标对原始图像进行手工分割标定，获得分割标签，包括：

根据车辆外观部件对车辆的原始图像进行手工分割，获得原始分割图像；

对所述原始分割图像中的各分割区域进行着色，获得着色后的分割图像，其中，不同分割区域的像素值对应不同的标签值；

根据不同颜色像素值对应的所述标签值，将所述着色后的分割图像转换为分割标签。

可选地，所述方法还包括：

将所述原始图像进行固定像素大小的n次裁剪，获得裁剪后的原始图像；

将所述裁剪后的原始图像中各像素点的像素值由变换为I'_xy＝I_xy+[p₁,p₂,p₃][α₁λ₁,α₂λ₂,α₃λ₃]^T，其中，p_i和λ_i分别为I_xy协方差矩阵的特征向量和特征值，α_i为满足均值为0、方差为0.1的高斯分布的随机数。

可选地，所述深度学习神经网络中的编码层包括五个子编码层、且相邻的子编码层之间设有池化层，所述深度学习神经网络中的解码层包括五个子解码层、且相邻的子解码层之间设有逆池化层，其中：

所述五个子编码层中的靠近所述图像输入层的第一子编码层和第二子编码层中均设有两个子卷积层、两个子BN(Batch Normalization，批归一化)层和两个子ReLU(Rectified Linear Units，修正线性单元)层；

所述五个子编码层中的靠近所述解码层的第三子编码层、第四子编码层和第五子编码层中均设有三个子卷积层、三个子BN层和三个子ReLU层；

所述五个子解码层中的靠近所述编码层的第三子解码层、第四子解码层和第五子解码层中均设有三个子逆卷积层、三个子BN层和三个子ReLU层；

所述五个子解码层中的靠近所述卷积层的第一子解码层和第二子解码层中均设有两个子逆卷积层、两个子BN层和两个子ReLU层。

可选地，将所述原始图像和分割标签输入到深度学习神经网络中,结合回归模型对所述深度学习神经网络进行训练，包括：

利用深度学习神经网络中的编码层对所述原始图像进行卷积和池化处理，获得特征图像；

利用所述深度学习神经网络中的解码层对所述特征图像进行逆卷积和逆池化处理，获得与所述原始图像大小相同的解码图像；

利用深度学习神经网络中的卷积层对所述解码图像进行卷积运算，得到P个滤波后的图像，其中，P等于所述原始图像中的车辆部件类别数量；

利用回归模型的假设函数，计算所述P个滤波后的图像中各像素点类别；

利用回归模型的损失函数计算所述各像素点类别与所述分割标签之间的误差；

判断所述误差是否大于预设值；

如果所述误差大于预设值，则对所述损失函数反向求导，分别调节所述深度学习神经网络中的解码层、编码层和卷积层中的权值。

可选地，利用深度学习神经网络中的编码层对所述原始图像进行卷积和池化处理，获得特征图像，包括：

通过N个卷积核对所述原始图像进行卷积运算，获得N组初始特征图像；

对所述初始特征图像进行归一化处理，其中，归一化公式为μ为特征的均值，σ为特征的方差，ε为常量，一般为10^-5；

将归一化后的初始特征图像中进行激活处理，其中，激活公式为f(x)＝max(0，x)；

通过池化层对激活后的初始特征图像进行下采样处理，获得特性图像。

可选地，利用PCA滤波对所述分割图像中进行修正，计算出所述分割图像中各像素点的分割标签，获得修正分割图像，包括：

取KxK大小的滤波窗口，重新排列滤波窗口内所述分割图像的数据得到NxK²的二维矩阵，其中，N为滤波窗口内车辆部件的类别数量，K大于等于3、且小于等于13；

对所述二维矩阵进行特征值分解，将最大特征值对应的Nx1的特征向量作为该窗口中心像素的分割标签计算结果；

根据所述分割图像中各像素点的分割标签计算结果，获得修正分割图像。

可选地，通过形态学分割运算，去除所述分割图像中各分割区域的噪声点，获得去噪声分割图像，包括：

依次取出所述分割图像中各分割区域识别结果；

用K₁xK₁大小的核依次对各分割区域中的联通区域进行腐蚀运算和膨胀运算；

计算经过膨胀运算后的各联通区域的面积，按面积大小排序，筛选出前N个联通区域作为去噪声分割图像。

由以上技术方案可见，本发明实施例提供的一种基于深度学习的车辆外观部件图像分割方法，基于深度学习理论，通过大量的车辆外观部件的原始图像进行训练和学习，形成深度学习神经网络模型，利用所述神经网络模型便可实现对待分割图像中的每个像素进行分类，从而实现待分割图像中的部件分割，在分割的同时，也完成了对该区域的识别。其中，本发明实施例提供神经网络模型包括依次连接的编码层、解码层和卷积层，相对于其它的神经网络结构，删除了全连接层，所以更加适用于车辆外观部件这种大面积平整的图像分割。进一步的，本发明实施例提供的基于深度学习理论的分割方法，通过算法模拟人脑处理信息的过程，构建多层神经网络对图像进行解释和抽象，不需要先验条件进行初始化，且其准确率高、不受先验条件的限制，进而提高了对相同材质、不同部件的图像分割的鲁棒性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于深度学习的车辆外观部件图像分割方法的流程示意图；

图2为本发明实施例提供的一种深度学习神经网络的结构示意图；

图3为本发明实施例提供的另一种基于深度学习的车辆外观部件图像分割方法的流程示意图；

图4为利用本发明实施例提供的分割方法进行2000次迭代后的测试集准确率图；

图5为利用本发明实施例提供的分割方法进行2000次迭代后的训练集误差图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图像分割，是指将图像分成若干个特定的、不相交的、具有独特性质的区域。图像是一系列点的集合，分割则是将点集划分为多个子集，既：

I＝{x₁，x₂，...,x_n}＝{I₁，I₂，...,I_m} (1)

车辆外观部件的图像分割，则是将车辆外观图像中的像素点按照各外观部件划分为不同的集合。假设原图像为I_img，分割结果为I_seg，分割过程则需要找到一种映射关系F满足：

I_seg＝F(I_img) (2)

本发明实施例，利用深度学习网络通过卷积、池化和激活等运算对图像特征进行提取和抽象，得到的是对图像抽象后的特征向量y＝f(I_img)，其中，f是对图像进行编码的过程；进一步的，为了使深度学习网络能够得到分割结果I_seg，则需要找到映射g满足I_seg＝g(y)，其中，g是图像特征进行解码的过程。

下面将结合附图，对本实施例进行进一步的详细介绍，图1是根据一示例性实施例示出的一种基于深度学习的车辆外观部件图像分割方法的流程示意图，包括如下步骤：

S110：根据图像中的分割目标对原始图像进行手工分割标定，获得分割标签。

具体的，可以采用如下方式进行分割标定：

首先，根据车辆外观部件对车辆的原始图像进行手工分割，获得原始分割图像。

然后，对所述原始分割图像中的各分割区域进行着色，获得着色后的分割图像，其中，不同分割区域的像素值对应不同的标签值。

例如，可以建立如表一所示的各分割区域对应的颜色RGB值的对应关系,当然，本领域技术人员应该知道，并不限于本实施例提供的对应的关系。

表一：

最后，根据不同颜色像素值对应的所述标签值，将所述着色后的分割图像转换为分割标签。

经过上述步骤，完成分割标定之后，原始图像和分割标签一一对应，同时，为了保证输入到神经网络中的图像一致，还要将原始图像和标签缩放至统一大小。

为了保证用于训练神经网络模型的样本的多样性，本发明实施例还将缩放至统一大小的原始图像进行固定像素大小的n次裁剪，获得裁剪后的原始图像，然后，通过算法对剪裁后的原始图像进行变换。

例如，将原始图像缩放至300x300后，重复对原始图像进行224x224大小的裁剪10次，并且每次裁剪的位置坐标随机生成；然后，将所述裁剪后的原始图像中各像素点的像素值由变换为I'_xy＝I_xy+[p₁,p₂,p₃][α₁λ₁,α₂λ₂,α₃λ₃]^T。

其中，p_i和λ_i分别为I_xy协方差矩阵的特征向量和特征值，α_i为满足均值为0、方差为0.1的高斯分布的随机数。本实施例中，将经过PCA变换的图像数据集输入到深度学习神将网络中后，经验证可以在深度学习中减少1％的错误率。

进一步的，还可以将在本步骤中获得的样本数据随机分两部分训练集和验证集，其中，训练集中样本数量用于深度学习神经网络进行训练，验证集中样本数量用于验证训练得到深度学习神经网络模型是否合适。

S120：将所述原始图像和分割标签输入到深度学习神经网络中,结合回归模型对所述深度学习神经网络进行训练，获得深度学习网络模型。

其中，所述回归模型包括假设函数和损失函数，假设函数用于计算分类结果，损失函数用于计算损失、具体可以通过梯度下降等方法可以将损失回传至底层的网络层。

如图2，为本实施例提供的一种深度学习神经网络结构示意图，所述深度学习神经网络包括依次连接的编码层(Encode Layer)、解码层(Decode Layer)和卷积层(Conv)。进一步的，编码层包括五个子编码层、且相邻的子编码层之间设有池化层(Pool)，解码层包括五个子解码层、且相邻的子解码层之间设有逆池化层(Unpool)。

所述五个子编码层中的靠近所述图像输入层的第一子编码层和第二子编码层中均设有两个子卷积层、两个子BN层和两个子ReLU层；所述五个子编码层中的靠近所述解码层的第三子编码层、第四子编码层和第五子编码层中均设有三个子卷积层、三个子BN层和三个子ReLU层；所述五个子解码层中的靠近所述编码层的第三子解码层、第四子解码层和第五子解码层中均设有三个子逆卷积层、三个子BN层和三个子ReLU层；所述五个子解码层中的靠近所述卷积层的第一子解码层和第二子解码层中均设有两个子逆卷积层、两个子BN层和两个子ReLU层。

本实施例提供的上述神经网络结构，编码层对图像处理完后，直接将数据传输给解码层进行解码，相对于其它的神经网络结构，删除了全连接层，所以更加适用于车辆外观部件、这种大面积平整的图像分割，进而可以有效解决由于车辆各外观部件的部分局部特征相似度高，导致的分割错误的问题。当然，本领域技术人员应该知道，所述编码层、和解码层中的具体数据处理层的类型及个数并不限于本实施例提供的形式。

确定神经网络的结构之后，需要对编码层中的子卷积层、子逆卷积层和子BN层进行参数初始化，本实施例中使用了满足均值为0、方差为0.01的高斯分布的随机数对子卷积层和子逆卷积层的参数进行初始化，同时，将BN层的scale参数设置为1、shitf参数设置为0。

完成神经网络的初始化之后，就需要用步骤S110中获得的原始图像和分割标签数据对神经网络进行训练，来获取映射关系I_seg＝F(I_img)的最优参数，具体包括如下步骤：

S1201：利用深度学习神经网络中的编码层对所述原始图像进行卷积和池化处理，获得特征图像。具体的：

1)通过子卷积层对图像进行局部特征提取，通过N个卷积核对图像进行卷积运算，可以得到N组特征图像，这N组特征图像就是下一层BN层的输入。

其中，在不同的编码层中的N设计为不同的值，且随着层数的增加，N值也会增加，例如，在第一层编码层中可以取值N>＝32且N<＝64，第二层编码层中N可以取值N>＝64且N<＝128，然后，按照上述规律依次翻倍，第五层编码层中的N的取值范围N>＝1024且N<＝4096。

2)通过子BN层，对所述初始特征图像进行归一化处理，使特征的均值为0、方差为1。

其中，归一化公式可以采用

公式(3)中，μ为特征的均值，σ为特征的方差，ε为常量，一般为10^-5。

本实施例在卷积层之后设置BN层，可以防止梯度弥散，同时加快网络的收敛速度。

3)通过子ReLU层，将归一化后的初始特征图像中进行激活处理。

其中，ReLU层为模拟了脑神经元接受信号的激活模型，模拟了生物神经元的兴奋状态，利用校正激活函数f(x)＝max(0，x)，将初始特征图像中小于0的部分置零，使得网络只对部分特征信号进行响应，这样可以提高网络学习的精度，更好更快的提取稀疏特征。

根据网络中不同的编码层，重复步骤1)至步骤3)A次(A>＝2and A<＝6)，提取图像特征。

4)通过池化层对激活后的初始特征图像进行下采样处理，获得特性图像。

由于特征在图像在一定区域内具有不变性，因此通过池化层对特征进行聚合，不但减少了特征向量的维度，也使得特征不容易过拟合。

具体的，可以通过KxK的窗口在图像中滑动取值，其中，K的取值设为K>＝2且K<＝7，每次取出窗口范围内最大的值作为该网络层的输出结果，窗口每次移动M个像素，其中，M的取值设为M>＝2且M<＝7，同时，记录每次取值的位置作为该子池化层的标签。这样，通过下采样之后，获得的特征图像大小会变成输入的初始特征图像大小的1/K。

重复步骤1)至步骤4)，这样在不断提取图像特征的同时，使得特征逐渐的抽象，至第五编码层后，便进入图像的解码过程，即步骤S1202。

S1202：利用所述深度学习神经网络中的解码层对所述特征图像进行逆卷积和逆池化处理，获得与所述原始图像大小相同的解码图像。

首先,利用子逆卷积层中的M个卷积核进行逆卷积运算，获得M个特征图像，其中，子逆卷积层的卷积核数量M与子卷积层中的卷积核数量N对应相同，例如，第五子逆卷积层与第五子卷积层对应，卷积核数量相同；然后，通过编码层中的子BN层和子ReLU层对特征图像进行归一化和激活处理，具体可以参考步骤S1201中的步骤2)和3)，在此不再赘述。需要说明的是，本实施例中，利用M个卷积核进行逆卷积运算，本质上也是一个卷积运算，只是逆卷积核矩阵与卷积核矩阵互逆。

然后，根据网络不同解码层的深度，重复上述步骤B次(B>＝2and B<＝6)，解码特征图像。

最后，利用子逆池化层，进行上采样运算，其中，所述子逆池化层与子池化层的运算互逆。

经过步骤S1201和S1202之后，便可以得到与原始图像大小相同的L个图像，其中，L>＝32且L<＝64。

S1203：利用深度学习神经网络中的卷积层对所述解码图像进行卷积运算，得到P个滤波后的图像，其中，P等于所述原始图像中的车辆部件类别数量。

S1204：利用回归模型的假设函数，计算所述P个滤波后的图像中各像素点类别。

具体的，本实施例采用softmax回归模型，可以实现多分类问题，其中，softmax回归模型的假设函数如下：

$h_{\mathrm{\&theta;}}\left(x^{\left(i\right)}\right)=\left[\begin{array}{c}p(y^{\left(i\right)}=1|x^{\left(i\right)};\mathrm{\&theta;})\\ p(y^{\left(i\right)}=2|x^{\left(i\right)};\mathrm{\&theta;})\\ .\\ .\\ .\\ p(y^{\left(i\right)}=k|x^{\left(i\right)};\mathrm{\&theta;})\end{array}\right]=\frac{1}{{\&Sigma;}_{j-1}^k{e}^{{\mathrm{\&theta;}}_j^{T}x\left(i\right)}}\left[\begin{array}{c}{e}^{{\mathrm{\&theta;}}_1^T{x}^{\left(i\right)}}\\ e^{{\mathrm{\&theta;}}_2^T{x}^{\left(i\right)}}\\ .\\ .\\ .\\ e^{{\mathrm{\&theta;}}_k^T{x}^{\left(i\right)}}\end{array}\right]---\left(4\right)$

公式(4)中，h_θ(x⁽ⁱ⁾)为假设函数，x⁽ⁱ⁾为图像特征，k为类别数，θ为权重参数，为第k个特征的权重参数的转置。

当然，还可以采用其它的回归模型，如逻辑回归模型等。

S1205：利用回归模型的损失函数计算所述各像素点类别与所述分割标签之间的误差。

S1206：判断所述误差是否大于预设值。

当所述误差大于预设值时，则执行步骤S1207；相反，则结束步骤。

S1207：对所述损失函数反向求导，并分别调节所述深度学习神经网络中的解码层、编码层和卷积层中的权值。

判断将检测出实际输出结果与分割标签是否一致，即求实际输出与期望输出的误差，又称为损失函数。通过对损失函数反向求导，通过调节各层的参数，使得损失函数最小，即得到最佳的学习模型，其中，softmax回归模型的损失函数如下：

$J\left(\mathrm{\&theta;}\right)=-\frac{1}{m}\&lsqb;\underset{i=1}{\overset{m}{\&Sigma;}}\underset{j=1}{\overset{k}{\&Sigma;}}l\{y^{\left(i\right)}=j\}\lg \frac{e^{{\mathrm{\&theta;}}_k^{T}x\left(i\right)}}{{\&Sigma;}_{j-1}^k{e}^{{\mathrm{\&theta;}}_j^{T}x\left(i\right)}}\&rsqb;+\frac{\mathrm{\&lambda;}}{2}\underset{i=1}{\overset{k}{\&Sigma;}}\underset{j=0}{\overset{n}{\&Sigma;}}{\mathrm{\&theta;}}_{ij}^2---\left(5\right)$

公式(5)中，m为训练的样本数目，k为类别个数，λ为常量，一般为0.01-0.02。

将所述损失函数根据随机梯度下降原则和链式求导法则，由后向前逐层求导，然后更新权重。

如，

其中，y_l为第l层的输出，w为权重。

根据求导结果，应用平均梯度法来计算权重更其中，W(t+1)为更新后的权重，W(t)为更新前的权重，λ为常量，一般为0.01～0.02。

S130：将待分割图像输入到所述深度学习网络模型中进行分割，获得分割图像。

完成深度学习网络模型的训练之后，就可以利用该模型对待分割图像进行识别和分割，获得分割图像。

由于车辆部件的钣金区别特征少，相似度高，例如车辆前门钣金的局部图像与引擎盖钣金的局部图像具有很高的相似度，不易区分，所以，为对深度学习网络模型中最后一层卷积层的输出结果进行进一步修正，本实施例在卷积层之后添加了一层修正层。由于，在结果调整的过程中，需要考虑像素周围的分割结果，而PCA(主成分分析)能够计算像素区域内的主要成分(即最主要的分割结果)，就能通过PCA滤波对整幅图像的分割结果进行修正。所以本实施例还提供了如下修正步骤：

S210：利用PCA滤波对所述分割图像中进行修正，计算出所述分割图像中各像素点的分割标签，获得修正分割图像。

由于图像中每个像素与周围像素存在一定的关联，即当周围像素都属于某一个类别时，那么该像素就一定属于该类别，因此通过PCA滤波对滤波窗口中的数据进行特征提取，并将特征值最大的主成分作为该滤波窗口中心像素的计算结果。具体的包括如下步骤：

S2101：取KxK大小的滤波窗口，重新排列滤波窗口内所述分割图像的数据得到NxK²的二维矩阵，其中，所述初步分割图像为WxHxN的矩阵，W和H为分割图像的宽和高，N为滤波窗口内车辆部件的类别数量。

由于，如果滤波器太小，不能够修正比滤波器大的连通区域的错误分割结果，相反，如果滤波器太大，则会对正确结果产生错误的修正，所以所述KxK大小的滤波窗口中的K>＝3且K<＝13。

S2102：对所述二维矩阵进行特征值分解，将最大特征值对应的Nx1的特征向量作为该窗口中心像素的分割标签计算结果。

S2103：根据所述分割图像中各像素点的分割标签计算结果，获得修正分割图像。

每次将滤波窗口移动一个像素，重复的进行PCA滤波计算得到每个像素的计算结果。

通过PCA滤波之后得到每个像素对应多个区域的概率值。最大概率对应的区域标签既是该像素的分割标签，即：

公式(6)中，表示分割图像中坐标(x,y)处的像素值，表示(x,y)处的像素被识别为第i个区域的概率值。

本实施例通过PCA滤波对分割结果进行调整，可以有效解决车辆部件中(如钣金)特征少、相似度高，分割模型对不同部件进行分割时，容易对部件中间的局部平滑区域识别错误的问题。

由于，通过网络模型计算得到的分割结果存在一定的误差和噪声，本实施例还提供了对分割后的区域进行优化处理的方法，如图3所示，具体包括如下步骤：

S310：通过形态学分割运算，去除所述修正分割图像中各分割区域的噪声点，获得去噪声分割图像。具体的包括如下步骤：

S3101：依次取出所述分割图像中各分割区域识别结果。

S3102：用K₁xK₁大小的核依次对各分割区域中的联通区域进行腐蚀运算和膨胀运算，其中，K₁>＝3且K₁<＝11。

S3103：计算经过膨胀运算后的各联通区域的面积，按面积大小排序，筛选出前N个联通区域作为去噪声分割图像。

例如，可以筛选前N个联通区域，使其面积之和占该类别中所有连通区域面积之和的90％。

S320：通过高斯滤波和二值化处理，平滑所述去噪声分割图像中各分割区域的边缘轮廓，获得最终分割图像。

具体的，可以生成一个K₂xK₂大小的高斯核，通过高斯核分别对每个类别的识别结果进行滤波，然后选取一个阈值对滤波之后的图像进行二值化，其中，K₂>＝3且K₂<＝99，阈值取值范围大约为90～165之间，这样就可以得到一个轮廓平滑的联通区域。当然，步骤S310和S320中的方法，还可以直接对步骤S130中获得的分割图像进行修正。

利用本实施例提供的网络模型，对车辆外观部件进行分割测试，通过图4和图5中的车辆外观分割网络进行2000次迭代的测试集准确率以及训练集误差率，可以证明本实施例提供的分割方法具有较高的识别率。

需要说明的是，本实施例提供的图像分割方法，不仅可用于车辆外观部件的分割，还可以根据需要应用于其它物品、场景等图像的分割，凡是应用本发明提到的分割方法，均属于本发明的保护范围。

本领域技术人员在考虑说明书及实践这里发明的公开后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于深度学习的车辆外观部件图像分割方法，其特征在于，包括：

根据图像中的分割目标对原始图像进行手工分割标定，获得分割标签；

将所述原始图像和分割标签输入到深度学习神经网络中，结合回归模型对所述深度学习神经网络进行训练，获得深度学习网络模型，其中，所述深度学习神经网络包括依次连接的编码层、解码层和卷积层；

将待分割图像输入到所述深度学习网络模型中进行分割，获得分割图像。

2.根据权利要求1所述的车辆外观部件图像分割方法，其特征在于，所述方法还包括：

利用PCA滤波对所述分割图像中进行修正，计算出所述分割图像中各像素点的分割标签，获得修正分割图像。

3.根据权利要求1所述的车辆外观部件图像分割方法，其特征在于，所述方法还包括：

通过形态学分割运算，去除所述分割图像中各分割区域的噪声点，获得去噪声分割图像；

通过高斯滤波和二值化处理，平滑所述去噪声分割图像中各分割区域的边缘轮廓，获得最终分割图像。

4.根据权利要求1所述的车辆外观部件图像分割方法，其特征在于，根据图像中的分割目标对原始图像进行手工分割标定，获得分割标签，包括：

根据车辆外观部件对车辆的原始图像进行手工分割，获得原始分割图像；

对所述原始分割图像中的各分割区域进行着色，获得着色后的分割图像，其中，不同分割区域的像素值对应不同的标签值；

根据不同颜色像素值对应的所述标签值，将所述着色后的分割图像转换为分割标签。

5.根据权利要求1所述的车辆外观部件图像分割方法，其特征在于，所述方法还包括：

将所述原始图像进行固定像素大小的n次裁剪，获得裁剪后的原始图像；

将所述裁剪后的原始图像中各像素点的像素值由变换为I'_xy＝I_xy+[p₁,p₂,p₃][α₁λ₁,α₂λ₂,α₃λ₃]^T，其中，p_i和λ_i分别为I_xy协方差矩阵的特征向量和特征值，α_i为满足均值为0、方差为0.1的高斯分布的随机数。

6.根据权利要求1所述的车辆外观部件图像分割方法，其特征在于，所述深度学习神经网络中的编码层包括五个子编码层、且相邻的子编码层之间设有池化层，所述深度学习神经网络中的解码层包括五个子解码层、且相邻的子解码层之间设有逆池化层，其中：

所述五个子编码层中的靠近所述图像输入层的第一子编码层和第二子编码层中均设有两个子卷积层、两个子BN层和两个子ReLU层；

所述五个子编码层中的靠近所述解码层的第三子编码层、第四子编码层和第五子编码层中均设有三个子卷积层、三个子BN层和三个子ReLU层；

所述五个子解码层中的靠近所述编码层的第三子解码层、第四子解码层和第五子解码层中均设有三个子逆卷积层、三个子BN层和三个子ReLU层；

所述五个子解码层中的靠近所述卷积层的第一子解码层和第二子解码层中均设有两个子逆卷积层、两个子BN层和两个子ReLU层。

7.根据权利要求1所述的车辆外观部件图像分割方法，其特征在于，将所述原始图像和分割标签输入到深度学习神经网络中,结合回归模型对所述深度学习神经网络进行训练，包括：

利用深度学习神经网络中的编码层对所述原始图像进行卷积和池化处理，获得特征图像；

利用所述深度学习神经网络中的解码层对所述特征图像进行逆卷积和逆池化处理，获得与所述原始图像大小相同的解码图像；

利用深度学习神经网络中的卷积层对所述解码图像进行卷积运算，得到P个滤波后的图像，其中，P等于所述原始图像中的车辆部件类别数量；

利用回归模型的假设函数，计算所述P个滤波后的图像中各像素点类别；

利用回归模型的损失函数计算所述各像素点类别与所述分割标签之间的误差；

判断所述误差是否大于预设值；

如果所述误差大于预设值，则对所述损失函数反向求导，分别调节所述深度学习神经网络中的解码层、编码层和卷积层中的权值。

8.根据权利要求7所述的车辆外观部件图像分割方法，其特征在于，利用深度学习神经网络中的编码层对所述原始图像进行卷积和池化处理，获得特征图像，包括：

通过N个卷积核对所述原始图像进行卷积运算，获得N组初始特征图像；

对所述初始特征图像进行归一化处理，其中，归一化公式为μ为特征的均值，σ为特征的方差，ε为常量；

将归一化后的初始特征图像中进行激活处理，其中，激活公式为f(x)＝max(0，x)；

通过池化层对激活后的初始特征图像进行下采样处理，获得特性图像。

9.根据权利要求2所述的车辆外观部件图像分割方法，其特征在于，利用PCA滤波对所述分割图像中进行修正，计算出所述分割图像中各像素点的分割标签，获得修正分割图像，包括：

取KxK大小的滤波窗口，重新排列滤波窗口内所述分割图像的数据得到NxK²的二维矩阵，其中，N为滤波窗口内车辆部件的类别数量，K大于等于3、且小于等于13；

对所述二维矩阵进行特征值分解，将最大特征值对应的Nx1的特征向量作为该窗口中心像素的分割标签计算结果；

根据所述分割图像中各像素点的分割标签计算结果，获得修正分割图像。

10.根据权利要求3所述的车辆外观部件图像分割方法，其特征在于，通过形态学分割运算，去除所述分割图像中各分割区域的噪声点，获得去噪声分割图像，包括：

依次取出所述分割图像中各分割区域识别结果；

用K₁xK₁大小的核依次对各分割区域中的联通区域进行腐蚀运算和膨胀运算；

计算经过膨胀运算后的各联通区域的面积，按面积大小排序，筛选出前N个联通区域作为去噪声分割图像。