CN105809699A - 一种基于图分割的车窗提取方法及系统 - Google Patents

Abstract

本发明公开了一种基于图分割的车窗提取方法及系统,方法包括：对获取的车辆图像进行归一化，得到归一化图像；对归一化图像进行基于无向图的图像分割处理；根据各区域质心与质心参考点间的距离对分割后的图像上半部中的各区域进行排序，然后根据排序的结果依次将各区域依次加入到缓存图像中，再采用Freeman链码的一阶差分来实时计算缓存图像的区域边界流畅度，并根据缓存图像的区域边界流畅度提取出候选车窗区域；根据设定的车窗区域判断依据从候选车窗区域中筛选出最终的车窗区域。本发明采用了基于无向图的图像分割方法，抗干扰能力好且鲁棒性强；同时，保证了车窗区域的提取效果和准确性。本发明可广泛应用于图像处理领域。

Description

一种基于图分割的车窗提取方法及系统

技术领域

本发明涉及图像处理领域，尤其是一种基于图分割的车窗提取方法及系统。

背景技术

近些年来，智能交通系统取得了快速的发展和广泛的应用，交通安全是其中一项重要的组成部分。安全驾驶是交通安全的关键一环，因此对驾驶员的安全监控显得尤为重要。对驾驶员的安全监控包括监控驾驶员是否系安全带，行驶中打电话以及疲劳驾驶等问题。此外，年检标志及环保标志的检测，也是交通车辆管理的重要内容。而车窗区域的准确提取是解决以上问题的前提，也是交通图像处理与模式识别领域的一个重要内容。

现有的车窗提取方法主要包括两类：一、基于边缘的车窗提取方法，该方法先对灰度车辆图像进行边缘检测，然后根据投影找出长水平直线的位置，再依据阈值确定车窗的上下边界，最后通过滤波或者Hough变换的方法找出45度和135度的直线作为车窗的左右边界；二、基于颜色的车窗提取方法，该方法利用在HSV颜色空间车窗区域的像素间比车身区域的像素间具有更大的色度差值以及车身区域与车窗区域的亮度差值，来提取符合条件的区域作为车窗。

然而，基于边缘的车窗提取方法抗干扰能力较差，在光线较差或者车的颜色较深时，会因检测出的边缘往往较少而导致该方法失效；另外，当图像中车辆的偏离角度较大时或者不同车型的车窗形状不同时，也会因难以在产生的边缘中找出特定角度的直线而使该方法的效果失效。而基于颜色的车窗提取方法，在光线较强的环境、当车身污损、车身喷涂多种颜色时，车身颜色的色度差异也会较大，导致该方法的提取效果不够好。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种抗干扰能力好、鲁棒性强和效果好的，基于图分割的车窗提取方法。

本发明的另一目的在于：提供一种抗干扰能力好、鲁棒性强和效果好的，基于图分割的车窗提取系统。

本发明所采取的技术方案是：

一种基于图分割的车窗提取方法，包括以下步骤：

S1、对获取的车辆图像进行归一化，得到归一化图像；

S2、根据设定的高斯滤波参数、预分割参数以及区域面积阈值对归一化图像进行基于无向图的图像分割处理，得到分割后的图像；

S3、根据各区域质心与质心参考点间的距离对分割后的图像上半部中的各区域进行排序，然后根据排序的结果依次将各区域依次加入到缓存图像中，再采用Freeman链码的一阶差分来实时计算缓存图像的区域边界流畅度，并根据缓存图像的区域边界流畅度提取出候选车窗区域；

S4、根据设定的车窗区域判断依据从候选车窗区域中筛选出最终的车窗区域。

进一步，所述步骤S2包括：

S21、根据设定的高斯滤波参数sigma对归一化图像进行高斯滤波，得到高斯滤波图像；

S22、根据设定的预分割参数K和区域面积阈值minRegion对高斯滤波图像依次进行预分割以及小区域合并，得到分割后的图像。

进一步，所述步骤S22包括：

S221、获得高斯滤波图像由顶点集和边集组成的无向图G＝(V，E)，并计算无向图G顶点之间的不相似度，所述无向图G顶点之间的不相似度计算公式为：

$W(v_i,v_j)=\sqrt{{(r_i-r_j)}^2+{(g_i-g_j)}^2+{(b_i-b_j)}^2},$

其中，V为顶点集，E为边集，顶点v∈V，边e∈E，(v_i,v_j)为连接第i个顶点与第j个顶点的边，W(v_i,v_j)为第i个顶点与第j个顶点之间的不相似度，r_i,g_i,b_i分别为第i个顶点的红色分量值，绿色分量值，蓝色分量值，r_j,g_j,b_j分别为第j个顶点的红色分量值，绿色分量值，蓝色分量值；

S222、采用克鲁斯卡尔算法得到无向图G的最小生成树MST；

S223、根据最小生成树MST计算区域的类内差异，并根据顶点之间的不相似度计算区域间的类间差异，所述区域的类内差异以及区域间的类间差异的计算公式为：

$\left\{\begin{array}{c}Int\left(C\right)=\underset{e\∈MST(C,E)}{max}w\left(e\right)\\ Dif(C_1,C_2)=\underset{v_i\∈C_1,v_j\∈C_2,(v_i,v_j)\∈E}{min}w\left(\right(v_i,v_j\left)\right)\end{array}\right.,$

其中，Int(C)为区域C的类内差异，Dif(C₁,C₂)为区域C₁和区域C₂的类间差异，区域C₁和区域C₂为无向图G中的任一对邻接区域；

S224、判断区域C₁和区域C₂这两个区域是否满足设定的区域合并判断条件，若是，则将这两个区域合并，反之，则不将这两个区域合并，得到预分割图像，所述设定的区域合并判断条件为：

$\left\{\begin{array}{c}Dif(C_1,C_2)<min\left(Int\right(C_1)+R(C_1),Int(C_2)+R(C_2\left)\right)\\ R\left(C_1\right)=\frac{K}{S_1}\\ R\left(C_2\right)=\frac{K}{S_2}\end{array}\right.,$

其中，R(C₁)和R(C₂)分别为区域C₁和区域C₂的类内差异补偿函数，S₁和S₂分别为区域C₁和区域C₂的面积；

S225、判断预分割后图像中小区域的面积是否小于设定的区域面积阈值minRegion，若是，则将该区域和与该区域类间差异最小的区域进行合并，反之，则将该区域保留，最终得到分割后的图像；

S226、采用正整数对分割后的图像中的各小区域进行标记。

进一步，所述步骤S3包括：

S31、对分割后的图像上半部中的各区域，根据各区域质心离质心参考点的距离从小到大排序；

S32、根据排序的结果将图像上半部中的各区域依次加入到缓存图像中，并采用Freeman链码的一阶差分来实时计算缓存图像的区域边界流畅度；

S33、对区域边界流畅度取最大值时对应的缓存图像进行形态学开运算，得到候选车窗区域。

进一步，所述步骤S31包括：

S311、将质心位于分割后的图像上半部中的各区域的标记集合记为region，并以分割后的图像中的[width/2,height*3/8]点作为车窗的质心参考点P，分别计算集合region里的各区域的质心与P点的欧式距离，其中，width为分割后的图像的宽度，height为分割后的图像的高度；

S312、根据计算的欧式距离将集合region里的各区域按照从小到大的顺序进行排序。

进一步，所述步骤S32具体为：

记缓存图像W为[height,width]的空图像，根据排序的结果将集合region里面积小于9500的各区域依次加入到缓存图像W中，并采用Freeman链码的一阶差分来实时计算缓存图像W的区域边界流畅度tb，所述缓存图像W的区域边界流畅度tb的计算公式为：

$\{\begin{array}{c}Dcode\left(m\right)=Ccode(m+3)-Ccode\left(m\right)\\ tb=\frac{length(Dcode==0)}{length\left(Dcode\right)}\end{array},$

其中，Ccode(m)和Ccode(m+3)分别为缓存图像W的第m个和第m+3个区域边界的8方向Freeman链码，Dcode(m)为Ccode(m)的一阶差分，length(Dcode＝＝0)为一阶差分Dcode(m)等于0的元素个数，length(Dcode)为一阶差分Dcode(m)的元素总个数。

进一步，所述步骤S4包括：

S41、求取候选车窗区域外接矩形的面积S、外接矩形的高度H、外接矩形的宽度Width以及候选车窗区域的面积area，并根据求取的面积S、高度H、宽度Width以及面积area计算矩形度extent以及高宽比t，所述矩形度extent以及高宽比t的计算公式为：

S42、判断当前候选车窗区域是否满足设定的车窗区域判断依据，若是，则以当前候选车窗区域作为最终的车窗区域，反之，则改变设定的预分割参数然后返回步骤S2，所述设定的车窗区域判断依据为：9500＞area＞5000，extent>0.85，t<0.55。

本发明所采取的技术方案是：

一种基于图分割的车窗提取系统，包括：

归一化模块，用于对获取的车辆图像进行归一化，得到归一化图像；

图像分割处理模块，用于根据设定的高斯滤波参数、预分割参数以及区域面积阈值对归一化图像进行基于无向图的图像分割处理，得到分割后的图像；

候选车窗区域提取模块，用于根据各区域质心与质心参考点间的距离对分割后的图像上半部中的各区域进行排序，然后根据排序的结果依次将各区域依次加入到缓存图像中，再采用Freeman链码的一阶差分来实时计算缓存图像的区域边界流畅度，并根据缓存图像的区域边界流畅度提取出候选车窗区域；

筛选模块，用于根据设定的车窗区域判断依据从候选车窗区域中筛选出最终的车窗区域；

所述归一化模块的输出端依次通过图像分割处理模块和候选车窗区域提取模块进而与筛选模块的输入端连接。

进一步，所述图像分割处理模块包括：

高斯滤波单元，用于根据设定的高斯滤波参数sigma对归一化图像进行高斯滤波，得到高斯滤波图像；

预分割与合并单元，用于根据设定的预分割参数K和区域面积阈值minRegion对高斯滤波图像依次进行预分割以及小区域合并，得到分割后的图像；

所述归一化模块的输出端通过高斯滤波单元以及预分割与合并单元进而与候选车窗区域提取模块的输入端连接。

进一步，所述预分割与合并单元包括：

不相似度计算子单元，用于获得高斯滤波图像由顶点集和边集组成的无向图G＝(V，E)，并计算无向图G顶点之间的不相似度，所述无向图G顶点之间的不相似度计算公式为：

$W(v_i,v_j)=\sqrt{{(r_i-r_j)}^2+{(g_i-g_j)}^2+{(b_i-b_j)}^2},$

其中，V为顶点集，E为边集，顶点v∈V，边e∈E，(v_i,v_j)为连接第i个顶点与第j个顶点的边，W(v_i,v_j)为第i个顶点与第j个顶点之间的不相似度，r_i,g_i,b_i分别为第i个顶点的红色分量值，绿色分量值，蓝色分量值，r_j,g_j,b_j分别为第j个顶点的红色分量值，绿色分量值，蓝色分量值；

最小生成树获取子单元，用于采用克鲁斯卡尔算法得到无向图G的最小生成树MST；

差异计算子单元，根据最小生成树MST计算区域的类内差异，并根据顶点之间的不相似度计算区域间的类间差异，所述区域的类内差异以及区域间的类间差异的计算公式为：

$\left\{\begin{array}{c}Int\left(C\right)=\underset{e\&Element;MST(C,E)}{max}w\left(e\right)\\ Dif(C_1,C_2)=\underset{v_i\&Element;C_1,v_j\&Element;C_2,(v_i,v_j)\&Element;E}{min}w\left(\right(v_i,v_j\left)\right)\end{array}\right.,$

其中，Int(C)为区域C的类内差异，Dif(C₁,C₂)为区域C₁和区域C₂的类间差异，区域C₁和区域C₂为无向图G中的任一对邻接区域；

预分割子单元，用于判断区域C₁和区域C₂这两个区域是否满足设定的区域合并判断条件，若是，则将这两个区域合并，反之，则不将这两个区域合并，得到预分割图像，所述设定的区域合并判断条件为：

$\left\{\begin{array}{c}Dif(C_1,C_2)<min\left(Int\right(C_1)+R(C_1),Int(C_2)+R(C_2\left)\right)\\ R\left(C_1\right)=\frac{K}{S_1}\\ R\left(C_2\right)=\frac{K}{S_2}\end{array}\right.,$

其中，R(C₁)和R(C₂)分别为区域C₁和区域C₂的类内差异补偿函数，S₁和S₂分别为区域C₁和区域C₂的面积；

合并子单元，用于判断预分割后图像中小区域的面积是否小于设定的区域面积阈值minRegion，若是，则将该区域和与该区域类间差异最小的区域进行合并，反之，则将该区域保留，最终得到分割后的图像；

标记子单元，用于采用正整数对分割后的图像中的各小区域进行标记；

所述高斯滤波单元的输出端依次通过不相似度计算子单元、最小生成树获取子单元、差异计算子单元、预分割子单元、合并子单元以及标记子单元进而与候选车窗区域提取模块的输入端连接。

本发明的方法的有益效果是：先对归一化后的车辆图像进行基于无向图的图像分割处理，再根据质心距离排序的结果计算区域边界流畅度并提取出候选车窗区域，最后根据车窗区域判断依据从候选车窗区域中筛选出车窗区域，采用了基于无向图的图像分割方法，与边缘特征以及颜色特征无关，分割的结果不受光线强弱、车身颜色的多样、车身颜色的深浅以及车窗形状的多样等因素的影响，抗干扰能力好且鲁棒性强；同时，将分割的结果与质心距离排序的结果、区域边界流畅度以及车窗区域判断依据相结合，保证了车窗区域的提取效果和准确性。

本发明的系统的有益效果是：先通过图像分割处理模块对归一化后的车辆图像进行基于无向图的图像分割处理，再在候选车窗区域提取模块中根据质心距离排序的结果计算区域边界流畅度并提取出候选车窗区域，最后在筛选模块中根据车窗区域判断依据从候选车窗区域中筛选出车窗区域，采用了基于无向图的图像分割方法，与边缘特征以及颜色特征无关，分割的结果不受光线强弱、车身颜色的多样、车身颜色的深浅以及车窗形状的多样等因素的影响，抗干扰能力好且鲁棒性强；同时，将分割的结果与质心距离排序的结果、区域边界流畅度以及车窗区域判断依据相结合，保证了车窗区域的提取效果和准确性。

附图说明

图1为本发明一种基于图分割的车窗提取方法的整体流程图；

图2为本发明一种基于图分割的车窗提取系统的整体结构框图；

图3为本发明预分割与合并单元的结构框图；

图4为本发明实施例一的总体流程图；

图5为获取的一种车辆图像示意图；

图6为采用本发明的方法对图5的图像进行提取后得到的车窗区域示意图；

图7为获取的另一种车辆图像示意图；

图8为采用本发明的方法对图7的图像进行提取后得到的车窗区域示意图。

具体实施方式

参照图1，一种基于图分割的车窗提取方法，包括以下步骤：

S1、对获取的车辆图像进行归一化，得到归一化图像；

S2、根据设定的高斯滤波参数、预分割参数以及区域面积阈值对归一化图像进行基于无向图的图像分割处理，得到分割后的图像；

S3、根据各区域质心与质心参考点间的距离对分割后的图像上半部中的各区域进行排序，然后根据排序的结果依次将各区域依次加入到缓存图像中，再采用Freeman链码的一阶差分来实时计算缓存图像的区域边界流畅度，并根据缓存图像的区域边界流畅度提取出候选车窗区域；

S4、根据设定的车窗区域判断依据从候选车窗区域中筛选出最终的车窗区域。

进一步作为优选的实施方式，所述步骤S2包括：

S21、根据设定的高斯滤波参数sigma对归一化图像进行高斯滤波，得到高斯滤波图像；

S22、根据设定的预分割参数K和区域面积阈值minRegion对高斯滤波图像依次进行预分割以及小区域合并，得到分割后的图像。

进一步作为优选的实施方式，所述步骤S22包括：

S221、获得高斯滤波图像由顶点集和边集组成的无向图G＝(V，E)，并计算无向图G顶点之间的不相似度，所述无向图G顶点之间的不相似度计算公式为：

$W(v_i,v_j)=\sqrt{{(r_i-r_j)}^2+{(g_i-g_j)}^2+{(b_i-b_j)}^2},$

其中，V为顶点集，E为边集，顶点v∈V，边e∈E，(v_i,v_j)为连接第i个顶点与第j个顶点的边，W(v_i,v_j)为第i个顶点与第j个顶点之间的不相似度，r_i,g_i,b_i分别为第i个顶点的红色分量值，绿色分量值，蓝色分量值，r_j,g_j,b_j分别为第j个顶点的红色分量值，绿色分量值，蓝色分量值；

S222、采用克鲁斯卡尔算法得到无向图G的最小生成树MST；

S223、根据最小生成树MST计算区域的类内差异，并根据顶点之间的不相似度计算区域间的类间差异，所述区域的类内差异以及区域间的类间差异的计算公式为：

$\left\{\begin{array}{c}Int\left(C\right)=\underset{e\&Element;MST(C,E)}{max}w\left(e\right)\\ Dif(C_1,C_2)=\underset{v_i\&Element;C_1,v_j\&Element;C_2,(v_i,v_j)\&Element;E}{min}w\left(\right(v_i,v_j\left)\right)\end{array}\right.,$

其中，Int(C)为区域C的类内差异，Dif(C₁,C₂)为区域C₁和区域C₂的类间差异，区域C₁和区域C₂为无向图G中的任一对邻接区域；

S224、判断区域C₁和区域C₂这两个区域是否满足设定的区域合并判断条件，若是，则将这两个区域合并，反之，则不将这两个区域合并，得到预分割图像，所述设定的区域合并判断条件为：

$\left\{\begin{array}{c}Dif(C_1,C_2)<min\left(Int\right(C_1)+R(C_1),Int(C_2)+R(C_2\left)\right)\\ R\left(C_1\right)=\frac{K}{S_1}\\ R\left(C_2\right)=\frac{K}{S_2}\end{array}\right.,$

其中，R(C₁)和R(C₂)分别为区域C₁和区域C₂的类内差异补偿函数，S₁和S₂分别为区域C₁和区域C₂的面积；

S225、判断预分割后图像中小区域的面积是否小于设定的区域面积阈值minRegion，若是，则将该区域和与该区域类间差异最小的区域进行合并，反之，则将该区域保留，最终得到分割后的图像；

S226、采用正整数对分割后的图像中的各小区域进行标记。

进一步作为优选的实施方式，所述步骤S3包括：

S31、对分割后的图像上半部中的各区域，根据各区域质心离质心参考点的距离从小到大排序；

S32、根据排序的结果将图像上半部中的各区域依次加入到缓存图像中，并采用Freeman链码的一阶差分来实时计算缓存图像的区域边界流畅度；

S33、对区域边界流畅度取最大值时对应的缓存图像进行形态学开运算，得到候选车窗区域。

进一步作为优选的实施方式，所述步骤S31包括：

S311、将质心位于分割后的图像上半部中的各区域的标记集合记为region，并以分割后的图像中的[width/2,height*3/8]点作为车窗的质心参考点P，分别计算集合region里的各区域的质心与P点的欧式距离，其中，width为分割后的图像的宽度，height为分割后的图像的高度；

S312、根据计算的欧式距离将集合region里的各区域按照从小到大的顺序进行排序。

进一步作为优选的实施方式，所述步骤S32具体为：

记缓存图像W为[height,width]的空图像，根据排序的结果将集合region里面积小于9500的各区域依次加入到缓存图像W中，并采用Freeman链码的一阶差分来实时计算缓存图像W的区域边界流畅度tb，所述缓存图像W的区域边界流畅度tb的计算公式为：

$\{\begin{array}{c}Dcode\left(m\right)=Ccode(m+3)-Ccode\left(m\right)\\ tb=\frac{length(Dcode==0)}{length\left(Dcode\right)}\end{array},$

其中，Ccode(m)和Ccode(m+3)分别为缓存图像W的第m个和第m+3个区域边界的8方向Freeman链码，Dcode(m)为Ccode(m)的一阶差分，length(Dcode＝＝0)为一阶差分Dcode(m)等于0的元素个数，length(Dcode)为一阶差分Dcode(m)的元素总个数。

进一步作为优选的实施方式，所述步骤S4包括：

S41、求取候选车窗区域外接矩形的面积S、外接矩形的高度H、外接矩形的宽度Width以及候选车窗区域的面积area，并根据求取的面积S、高度H、宽度Width以及面积area计算矩形度extent以及高宽比t，所述矩形度extent以及高宽比t的计算公式为：

S42、判断当前候选车窗区域是否满足设定的车窗区域判断依据，若是，则以当前候选车窗区域作为最终的车窗区域，反之，则改变设定的预分割参数然后返回步骤S2，所述设定的车窗区域判断依据为：9500＞area＞5000，extent>0.85，t<0.55。

参照图2，一种基于图分割的车窗提取系统，包括：

归一化模块，用于对获取的车辆图像进行归一化，得到归一化图像；

图像分割处理模块，用于根据设定的高斯滤波参数、预分割参数以及区域面积阈值对归一化图像进行基于无向图的图像分割处理，得到分割后的图像；

候选车窗区域提取模块，用于根据各区域质心与质心参考点间的距离对分割后的图像上半部中的各区域进行排序，然后根据排序的结果依次将各区域依次加入到缓存图像中，再采用Freeman链码的一阶差分来实时计算缓存图像的区域边界流畅度，并根据缓存图像的区域边界流畅度提取出候选车窗区域；

筛选模块，用于根据设定的车窗区域判断依据从候选车窗区域中筛选出最终的车窗区域；

所述归一化模块的输出端依次通过图像分割处理模块和候选车窗区域提取模块进而与筛选模块的输入端连接。

参照图2，进一步作为优选的实施方式，所述图像分割处理模块包括：

高斯滤波单元，用于根据设定的高斯滤波参数sigma对归一化图像进行高斯滤波，得到高斯滤波图像；

预分割与合并单元，用于根据设定的预分割参数K和区域面积阈值minRegion对高斯滤波图像依次进行预分割以及小区域合并，得到分割后的图像；

所述归一化模块的输出端通过高斯滤波单元以及预分割与合并单元进而与候选车窗区域提取模块的输入端连接。

参照图3，进一步作为优选的实施方式，所述预分割与合并单元包括：

不相似度计算子单元，用于获得高斯滤波图像由顶点集和边集组成的无向图G＝(V，E)，并计算无向图G顶点之间的不相似度，所述无向图G顶点之间的不相似度计算公式为：

$W(v_i,v_j)=\sqrt{{(r_i-r_j)}^2+{(g_i-g_j)}^2+{(b_i-b_j)}^2},$

其中，V为顶点集，E为边集，顶点v∈V，边e∈E，(v_i,v_j)为连接第i个顶点与第j个顶点的边，W(v_i,v_j)为第i个顶点与第j个顶点之间的不相似度，r_i,g_i,b_i分别为第i个顶点的红色分量值，绿色分量值，蓝色分量值，r_j,g_j,b_j分别为第j个顶点的红色分量值，绿色分量值，蓝色分量值；

最小生成树获取子单元，用于采用克鲁斯卡尔算法得到无向图G的最小生成树MST；

差异计算子单元，根据最小生成树MST计算区域的类内差异，并根据顶点之间的不相似度计算区域间的类间差异，所述区域的类内差异以及区域间的类间差异的计算公式为：

$\left\{\begin{array}{c}Int\left(C\right)=\underset{e\&Element;MST(C,E)}{max}w\left(e\right)\\ Dif(C_1,C_2)=\underset{v_i\&Element;C_1,v_j\&Element;C_2,(v_i,v_j)\&Element;E}{min}w\left(\right(v_i,v_j\left)\right)\end{array}\right.,$

其中，Int(C)为区域C的类内差异，Dif(C₁,C₂)为区域C₁和区域C₂的类间差异，区域C₁和区域C₂为无向图G中的任一对邻接区域；

预分割子单元，用于判断区域C₁和区域C₂这两个区域是否满足设定的区域合并判断条件，若是，则将这两个区域合并，反之，则不将这两个区域合并，得到预分割图像，所述设定的区域合并判断条件为：

$\left\{\begin{array}{c}Dif(C_1,C_2)<min\left(Int\right(C_1)+R(C_1),Int(C_2)+R(C_2\left)\right)\\ R\left(C_1\right)=\frac{K}{S_1}\\ R\left(C_2\right)=\frac{K}{S_2}\end{array}\right.,$

其中，R(C₁)和R(C₂)分别为区域C₁和区域C₂的类内差异补偿函数，S₁和S₂分别为区域C₁和区域C₂的面积；

合并子单元，用于判断预分割后图像中小区域的面积是否小于设定的区域面积阈值minRegion，若是，则将该区域和与该区域类间差异最小的区域进行合并，反之，则将该区域保留，最终得到分割后的图像；

标记子单元，用于采用正整数对分割后的图像中的各小区域进行标记；

所述高斯滤波单元的输出端依次通过不相似度计算子单元、最小生成树获取子单元、差异计算子单元、预分割子单元、合并子单元以及标记子单元进而与候选车窗区域提取模块的输入端连接。

下面结合说明书附图和具体实施例对本发明作进一步详细说明。

实施例一

针对现有的车窗提前方法易受光线强弱、车身颜色的多样、车身颜色的深浅以及车窗形状的多样等因素的影响问题，本发明提供了一种全新的，基于图分割的对彩色车辆图像进行车窗提取的方法，能够提取出精确的车窗区域。如图4所示，本发明的车窗提取方法的主要过程包括：

(1)图像大小归一化。

将获取的彩色车辆图像归一化为220×200大小的归一化图像。

(2)图像分割。

本实施例基于无向图的图像分割方法包括高斯滤波、预分割以及小区域合并这三个步骤，分别对应sigma、K、minRegion这3个参数。其中，sigma为高斯滤波参数；minRegion是区域面积阈值，若预分割后区域的面积小于minRegion，则将该区域和与其不相似度最小的区域进行合并；K是尺度参数，可控制分割区域的大小。

本发明基于无向图的图像分割方法的原理为：

将高斯滤波图像视为顶点集(vertices)和边集(edges)组成的无向图，表示为G＝(V，E)，然后计算无向图G顶点之间的不相似度。

连接一对顶点的边(v_i,v_j)∈E，(v_i,v_j)具有的权重为W(v_i,v_j)，W(v_i,v_j)在算法中表现为顶点之间的不相似度，定义如下式所示：

$W(v_i,v_j)=\sqrt{{(r_i-r_j)}^2+{(g_i-g_j)}^2+{(b_i-b_j)}^2}---\left(1\right)$

其中，顶点v∈V，在本实施例中，顶点即为单个的像素点，r_i,g_i,b_i代表着第i个顶点的R，G，B分量值。

再接着，利用Kruskal(即克鲁斯卡尔)算法，求得无向图G的最小生成树MST，然后对图的相似区域进行融合，得到预分割后图像。

定义一个区域的类内差异Int(C)为：

$Int\left(C\right)=\underset{e\&Element;MST(C,E)}{max}w\left(e\right)---\left(2\right)$

Int(C)被定义为最小生成树MST中该区域不相似度最大的一条边，可以近似理解为一个区域内部最大的差异值。

定义两个区域间的类间差异为Dif(C₁,C₂)为：

$Dif(C_1,C_2)=\underset{v_i\&Element;C_1,v_j\&Element;,(v_i,v_j)\&Element;E}{\min }w\left(\right(v_i,v_j\left)\right)---\left(3\right)$

若两个区域满足区域合并条件Dif(C₁,C₂)＜min(Int(C₁),Int(C₂))，则将这两个区域合并。

因为在区域面积很小的情况下Int(C)不能很好地估计区域数据的局部特征，容易导致过分割，所以增加一个与面积相关的补偿函数R(C)。因此，本实施例的区域合并判断条件将变为：Dif(C₁,C₂)＜min(Int(C₁)+R(C₁),Int(C₂)+R(C₂))。其中，R(C)＝K/S，S为区域的面积，随着区域的逐渐扩大，类内差异补偿函数R(C)这一项的作用就越来越小，最后几乎可以忽略不计。故本实施例通过改变K的值就可以控制所形成的区域的大小，K越大，分割后的区域也就越大。

再接着，判断预分割后图像中小区域的面积是否小于设定的区域面积阈值minRegion，若是，则将该区域和与该区域类间差异最小的区域进行合并，反之，则将该区域保留，最终得到分割后的图像。

本发明的参数为：sigma＝0.2，minRegion＝500，K＝[1.8k,1.5k,1.3k,k,0.7k,0.5k,0.2k]，其中，k＝400，不同的参数K会产生不同的预分割图像以及分割后的图像。

最后，对图像分割后的图像中的小区域用正整数进行标记。

(3)提取候选车窗区域。

取候选车窗区域的过程可进一步细分为：

3.1)在分割后的图像中，取质心位于图像上半部分的各个小区域的标记集合，记为region，并以图像的[width/2,height*3/8]点作为车窗从左到右，从上到下的质心参考点P，计算集合region里的小区域的质心与P点的欧式距离，并按计算的距离从小到大将region里的小区域进行排序。

3.2)记W为[height,width]的空图像，将region里的小区域按排序后的结果依次加入到W中(即将W中该区域对应坐标的像素值置为1)，并计算此时的区域边界流畅度tb。

在将region里的小区域依次加入到W时要注意W的面积需小于9500，若加入某区域后W的面积大于9500，则需要在剔除此区域之后，继续加入后面的区域。

根据先验知识，区域越是逼近车窗的实际区域，其边界越趋向直线或规则曲线。

Freeman链码是图像处理领域广泛应用的边界表示方法，本发明先求取区域边界的8方向链码Ccode及其一阶差分Dcode，然后根据链码Ccode及其一阶差分Dcode计算边界流畅度tb，一阶差分Dcode以及tb的计算公式为：

$\left\{\begin{array}{c}Dcode\left(m\right)=Ccode(m+3)-Ccode\left(m\right)\\ tb=\frac{length(Dcode==0)}{length\left(Dcode\right)}\end{array}\right.$

其中，length函数采用matlab自带的长度求取函数，求取数组行数和列数这两个数中的较大值。

3.3)将tb最大值时的W记为window(因为W有面积上限，所以不会是整个上半部图像)，然后对window进行形态学开运算，得到候选车窗区域。形态学开运算所用的模se可采用matlab中的strel函数来构建。例如，strel＝strel(‘suare’,10)，即创建10×10大小的矩形，该函数可以去除一些延伸的触角，有利于后续的判断。

(4)车窗区域的判断。

车窗区域的判断过程可进一步细分为：

4.1)求得形态学运算后的window的外接矩形boundingBox的面积S、外接矩形的高度H、外接矩形的宽度Width，具体计算公式为：

4.2)判断当前候选车窗区域window是否符合设定的判断依据：9500＞area＞5000，extent>0.85，t<0.55，若是，则以当前候选车窗区域作为最终的车窗区域，反之，则改变设定的预分割参数然后返回步骤(2)。

采用本发明的车窗提取算法分别对图5和图7这两种原始车辆图像进行提取后的结果分别如图6和图8所示(图中，红色区域为最终的车窗区域)。从图5-8可以看出，本发明的车窗提取算法在不同光照条件以及车身颜色多样的情况下依然能够得到精确的车窗提取结果，鲁棒性较强。

本发明运用了基于无向图的图像分割方法对彩色车辆图像进行预分割，保证了本发明在不同光照条件以及车身颜色多样的情况下依然能够得到正确的分割结果，也保证了提取的车窗区域的准确性和鲁棒性。此外，本发明将预分割得到的小区域进行合并和判断，及时终止区域合并的进程，避免过分割，使得提取的车窗区域保持了车窗实际的形状和大小，排除了车窗以外的图像，对于后续的应用(如安全带检测的应用以及车型识别的应用等)有着极大的帮助。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于图分割的车窗提取方法，其特征在于：包括以下步骤：

S1、对获取的车辆图像进行归一化，得到归一化图像；

S2、根据设定的高斯滤波参数、预分割参数以及区域面积阈值对归一化图像进行基于无向图的图像分割处理，得到分割后的图像；

S3、根据各区域质心与质心参考点间的距离对分割后的图像上半部中的各区域进行排序，然后根据排序的结果依次将各区域依次加入到缓存图像中，再采用Freeman链码的一阶差分来实时计算缓存图像的区域边界流畅度，并根据缓存图像的区域边界流畅度提取出候选车窗区域；

S4、根据设定的车窗区域判断依据从候选车窗区域中筛选出最终的车窗区域。

2.根据权利要求1所述的一种基于图分割的车窗提取方法，其特征在于：所述步骤S2包括：

S21、根据设定的高斯滤波参数sigma对归一化图像进行高斯滤波，得到高斯滤波图像；

S22、根据设定的预分割参数K和区域面积阈值minRegion对高斯滤波图像依次进行预分割以及小区域合并，得到分割后的图像。

3.根据权利要求2所述的一种基于图分割的车窗提取方法，其特征在于：所述步骤S22包括：

S221、获得高斯滤波图像由顶点集和边集组成的无向图G＝(V，E)，并计算无向图G顶点之间的不相似度，所述无向图G顶点之间的不相似度计算公式为：

$W(v_i,v_j)=\sqrt{{(r_i-r_j)}^2+{(g_i-g_j)}^2+{(b_i-b_j)}^2},$

其中，V为顶点集，E为边集，顶点v∈V，边e∈E，(v_i,v_j)为连接第i个顶点与第j个顶点的边，W(v_i,v_j)为第i个顶点与第j个顶点之间的不相似度，r_i,g_i,b_i分别为第i个顶点的红色分量值，绿色分量值，蓝色分量值，r_j,g_j,b_j分别为第j个顶点的红色分量值，绿色分量值，蓝色分量值；

S222、采用克鲁斯卡尔算法得到无向图G的最小生成树MST；

S223、根据最小生成树MST计算区域的类内差异，并根据顶点之间的不相似度计算区域间的类间差异，所述区域的类内差异以及区域间的类间差异的计算公式为：

$\left\{\begin{array}{c}Int\left(C\right)=\underset{e\&Element;MST(C,E)}{\max }w\left(e\right)\\ Dif(C_1,C_2)=\underset{v_i\&Element;C_1,v_j\&Element;C_2,(v_i,v_j)\&Element;E}{\min }w\left(\right(v_i,v_j\left)\right)\end{array}\right.,$

其中，Int(C)为区域C的类内差异，Dif(C₁,C₂)为区域C₁和区域C₂的类间差异，区域C₁和区域C₂为无向图G中的任一对邻接区域；

S224、判断区域C₁和区域C₂这两个区域是否满足设定的区域合并判断条件，若是，则将这两个区域合并，反之，则不将这两个区域合并，得到预分割图像，所述设定的区域合并判断条件为：

$\left\{\begin{array}{c}Dif(C_1,C_2)<min\left(Int\right(C_1)+R\left(C_1\right),Int\left(C_2\right)+R\left(C_2\right))\\ R\left(C_1\right)=\frac{K}{S_1}\\ R\left(C_2\right)=\frac{K}{S_2}\end{array}\right.,$

其中，R(C₁)和R(C₂)分别为区域C₁和区域C₂的类内差异补偿函数，S₁和S₂分别为区域C₁和区域C₂的面积；

S225、判断预分割后图像中小区域的面积是否小于设定的区域面积阈值minRegion，若是，则将该区域和与该区域类间差异最小的区域进行合并，反之，则将该区域保留，最终得到分割后的图像；

S226、采用正整数对分割后的图像中的各小区域进行标记。

4.根据权利要求3所述的一种基于图分割的车窗提取方法，其特征在于：所述步骤S3包括：

S31、对分割后的图像上半部中的各区域，根据各区域质心离质心参考点的距离从小到大排序；

S32、根据排序的结果将图像上半部中的各区域依次加入到缓存图像中，并采用Freeman链码的一阶差分来实时计算缓存图像的区域边界流畅度；

S33、对区域边界流畅度取最大值时对应的缓存图像进行形态学开运算，得到候选车窗区域。

5.根据权利要求4所述的一种基于图分割的车窗提取方法，其特征在于：所述步骤S31包括：

S311、将质心位于分割后的图像上半部中的各区域的标记集合记为region，并以分割后的图像中的[width/2,height*3/8]点作为车窗的质心参考点P，分别计算集合region里的各区域的质心与P点的欧式距离，其中，width为分割后的图像的宽度，height为分割后的图像的高度；

S312、根据计算的欧式距离将集合region里的各区域按照从小到大的顺序进行排序。

6.根据权利要求5所述的一种基于图分割的车窗提取方法，其特征在于：所述步骤S32具体为：

记缓存图像W为[height,width]的空图像，根据排序的结果将集合region里面积小于9500的各区域依次加入到缓存图像W中，并采用Freeman链码的一阶差分来实时计算缓存图像W的区域边界流畅度tb，所述缓存图像W的区域边界流畅度tb的计算公式为：

$\left\{\begin{array}{c}Dcode\left(m\right)=Ccode(m+3)-Ccode\left(m\right)\\ tb=\frac{length(Dcode==0)}{length\left(Dcode\right)}\end{array}\right.,$

其中，Ccode(m)和Ccode(m+3)分别为缓存图像W的第m个和第m+3个区域边界的8方向Freeman链码，Dcode(m)为Ccode(m)的一阶差分，length(Dcode＝＝0)为一阶差分Dcode(m)等于0的元素个数，length(Dcode)为一阶差分Dcode(m)的元素总个数。

7.根据权利要求1-6任一项所述的一种基于图分割的车窗提取方法，其特征在于：所述步骤S4包括：

S41、求取候选车窗区域外接矩形的面积S、外接矩形的高度H、外接矩形的宽度Width以及候选车窗区域的面积area，并根据求取的面积S、高度H、宽度Width以及面积area计算矩形度extent以及高宽比t，所述矩形度extent以及高宽比t的计算公式为：

S42、判断当前候选车窗区域是否满足设定的车窗区域判断依据，若是，则以当前候选车窗区域作为最终的车窗区域，反之，则改变设定的预分割参数然后返回步骤S2，所述设定的车窗区域判断依据为：9500＞area＞5000，extent>0.85，t<0.55。

8.一种基于图分割的车窗提取系统，其特征在于：包括：

归一化模块，用于对获取的车辆图像进行归一化，得到归一化图像；

图像分割处理模块，用于根据设定的高斯滤波参数、预分割参数以及区域面积阈值对归一化图像进行基于无向图的图像分割处理，得到分割后的图像；

候选车窗区域提取模块，用于根据各区域质心与质心参考点间的距离对分割后的图像上半部中的各区域进行排序，然后根据排序的结果依次将各区域依次加入到缓存图像中，再采用Freeman链码的一阶差分来实时计算缓存图像的区域边界流畅度，并根据缓存图像的区域边界流畅度提取出候选车窗区域；

筛选模块，用于根据设定的车窗区域判断依据从候选车窗区域中筛选出最终的车窗区域；

所述归一化模块的输出端依次通过图像分割处理模块和候选车窗区域提取模块进而与筛选模块的输入端连接。

9.根据权利要求8所述的一种基于图分割的车窗提取系统，其特征在于：所述图像分割处理模块包括：

高斯滤波单元，用于根据设定的高斯滤波参数sigma对归一化图像进行高斯滤波，得到高斯滤波图像；

预分割与合并单元，用于根据设定的预分割参数K和区域面积阈值minRegion对高斯滤波图像依次进行预分割以及小区域合并，得到分割后的图像；

所述归一化模块的输出端通过高斯滤波单元以及预分割与合并单元进而与候选车窗区域提取模块的输入端连接。

10.根据权利要求9所述的一种基于图分割的车窗提取系统，其特征在于：所述预分割与合并单元包括：

不相似度计算子单元，用于获得高斯滤波图像由顶点集和边集组成的无向图G＝(V，E)，并计算无向图G顶点之间的不相似度，所述无向图G顶点之间的不相似度计算公式为：

$W(v_i,v_j)=\sqrt{{(r_i-r_j)}^2+{(g_i-g_j)}^2+{(b_i-b_j)}^2},$

其中，V为顶点集，E为边集，顶点v∈V，边e∈E，(v_i,v_j)为连接第i个顶点与第j个顶点的边，W(v_i,v_j)为第i个顶点与第j个顶点之间的不相似度，r_i,g_i,b_i分别为第i个顶点的红色分量值，绿色分量值，蓝色分量值，r_j,g_j,b_j分别为第j个顶点的红色分量值，绿色分量值，蓝色分量值；

最小生成树获取子单元，用于采用克鲁斯卡尔算法得到无向图G的最小生成树MST；

差异计算子单元，根据最小生成树MST计算区域的类内差异，并根据顶点之间的不相似度计算区域间的类间差异，所述区域的类内差异以及区域间的类间差异的计算公式为：

$\left\{\begin{array}{c}Int\left(C\right)=\underset{e\&Element;MST(C,E)}{\max }w\left(e\right)\\ Dif(C_1,C_2)=\underset{v_i\&Element;C_1,v_j\&Element;C_2,(v_i,v_j)\&Element;E}{\min }w\left(\right(v_i,v_j\left)\right)\end{array}\right.,$

其中，Int(C)为区域C的类内差异，Dif(C₁,C₂)为区域C₁和区域C₂的类间差异，区域C₁和区域C₂分别为无向图G中的任一对邻接区域；

预分割子单元，用于判断区域C₁和区域C₂这两个区域是否满足设定的区域合并判断条件，若是，则将这两个区域合并，反之，则不将这两个区域合并，得到预分割图像，所述设定的区域合并判断条件为：

$\left\{\begin{array}{c}Dif(C_1,C_2)<\min \left(Int\right(C_1)+R\left(C_1\right),Int\left(C_2\right)+R\left(C_2\right))\\ R\left(C_1\right)=\frac{K}{S_1}\\ R\left(C_2\right)=\frac{K}{S_2}\end{array}\right.,$

其中，R(C₁)和R(C₂)分别为区域C₁和区域C₂的类内差异补偿函数，S₁和S₂分别为区域C₁和区域C₂的面积；

合并子单元，用于判断预分割后图像中小区域的面积是否小于设定的区域面积阈值minRegion，若是，则将该区域和与该区域类间差异最小的区域进行合并，反之，则将该区域保留，最终得到分割后的图像；

标记子单元，用于采用正整数对分割后的图像中的各小区域进行标记；

所述高斯滤波单元的输出端依次通过不相似度计算子单元、最小生成树获取子单元、差异计算子单元、预分割子单元、合并子单元以及标记子单元进而与候选车窗区域提取模块的输入端连接。