CN105373783A - 基于混合多尺度可变形部件模型的未系安全带检测方法 - Google Patents

Abstract

本发明公开一种基于混合多尺度可变形部件模型的未系安全带检测方法，包括可变形部件模型训练过程和使用可变形部件模型进行安全带检测的过程，所述使用可变形部件模型进行安全带检测的过程包括：通过图像获取装置获取图片；使用可变形部件模型进行车窗检测；在检测到的车窗区域进行人体上半身检测；在检测到的人体上半身区域进行安全带检测。

Description

基于混合多尺度可变形部件模型的未系安全带检测方法

技术领域

本发明涉及物体检测技术领域，具体涉及一种基于混合多尺度可变形部件模型的未系安全带检测方法。

背景技术

计算机视觉技术是一种研究如何使用计算机及其相关设备模拟生物视觉的技术。通过摄像机等成像设备采集图片或视频并进行处理，获得相应场景的三维信息，再交由计算机代替大脑完成处理和理解。该技术涉及多个学科，包括图像处理、模式识别、图像分析和图像理解等。目前，计算机视觉技术已广泛应用于各个领域，如医疗图像处理、视频监控、电子卡口、虚拟现实、智能交通等。

安全带作为乘员约束系统中最有效的保护措施，可有效提高车辆碰撞事故中乘员的安全性。发达国家汽车工业起步较早，交通法规深入人心，安全带佩戴率较高，而发展中国家的安全带佩戴率普遍偏低。为提高我国公民系安全带的安全意识，挽救更多交通事故中的生命，在车辆行驶中对前排乘客和司机进行未系安全带检测显得尤为重要和具有实际价值。

目前，未系安全带检测主要依赖交警人工判断，但人工筛选效率低下，人力成本较高，无法满足国内车辆日益增长的现状。利用计算机视觉技术进行未系安全带自动检测，能有效提高未系安全带检测效率，降低人工劳动成本，为出行安全提供有效支撑。现有的主流未系安全带自动检测方法主要是利用模式识别方法并结合概率Hough直线检测算法对安全带的两边进行直线检测。具体方案如下：

1.定位车牌区域

利用Adaboost算法定位车牌区域，从而初步估计车窗大致区域。

2.定位车窗区域

在所粗略估计的车窗区域内，利用图像处理方法(如颜色空间、边缘检测)或模式识别方法(如Adaboost算法、特征训练SVM分类器等)精确定位车窗区域。

3.人脸检测

在精确定位的车窗区域内，利用Haar特征&Adaboost算法定位人脸区域。

4.定位安全带区域

根据人脸检测区域或车窗右上方左右角点区域，按照一定长宽比例定位安全带感兴趣区域。

5.安全带检测

在安全带感兴趣区域内，利用Canny边缘检测和概率Hough变换的直线检测算法对安全带两边进行直线检测，根据所检测到的两直线夹角、彼此之间的距离以及直线长度来判断该区域是否存在安全带。

上述方案存在以下缺点：在车牌区域定位的基础上进行车窗区域定位时，车窗的正确检出率很大程度上依赖车牌的精确定位，但车牌定位效果受车牌倾斜角和矩形大小影响较大，且车牌区域面积相对全图而言很小，消耗的检测时间很大。虽然也有部分研究者利用车窗上方左右角点检测的方法进行安全带区域定位，但由于光照影响，车窗上方会出现左右角点模糊，且在无法确定车窗中是否存在乘坐人的情况下检测安全带，会存在很多误检。另外，受车窗上沿区域、车窗挡风玻璃和光照等影响，有时人脸图像经常被部分或完全遮挡，使人脸图像中存在残缺、侧脸、模糊等低质量的情况，而且，人脸检测算法的成熟度也不够，利用人脸检测的方法为基础进行安全带检测会导致漏检。利用安全带两边直线几何特征进行安全带检测，由于两直线夹角和彼此之间距离各不一样，直线长度无法统一，存在大量其他区域直线被误检为安全带的情况。同时，直线检测算法受光照、几何形变影响较大，算法流程参数太多，不同样本需要不同参数才能检测出，鲁棒性不强。

发明内容

本发明的目的是解决现有技术的缺陷，提供一种基于混合多尺度可变形部件模型的未系安全带检测方法，采用的技术方案如下：

一种基于混合多尺度可变形部件模型的未系安全带检测方法，包括可变形部件模型训练过程和使用可变形部件模型进行安全带检测的过程，所述使用可变形部件模型进行安全带检测的过程包括：

S11.通过图像获取装置获取图片；

S12.使用可变形部件模型进行车窗检测；

S13.在检测到的车窗区域进行人体上半身检测；

S14.在检测到的人体上半身区域进行安全带检测。

本发明针对利用车牌检测定位车窗区域的不足，提出直接进行车窗区域定位。针对车窗上方左右角点检测或人脸检测方法定位安全带区域的不足，提出对车窗中人体上半身区域进行检测，针对直线检测算法受安全带两边图像质量和算法参数影响较大，提出利用混合多尺度可变形部件模型的模式识别方法进行安全带检测，该算法流程参数少，对光照、几何形变具有鲁棒性，能够对安全带目标进行精确检测。

作为优选，所述可变形部件模型训练过程包括：

S21.初始化根滤波器：首先根据训练图片的标记确定根滤波器的规模，然后使用支持向量机来训练根滤波器F0；

S22.更新根滤波器：对于训练集中的每一个样本使用步骤S1确定的根滤波器寻找响应最大并且和原有框标记有明显覆盖的位置，并以此位置更新训练图片的框标记，然后使用新的框标记的样本以及随机选取的负样本更新根滤波器F0；

S23.初始化部件滤波器:在确定的根滤波器的位置上，贪婪地选择得分最大的区域作为部件滤波器的位置；

S24.更新部件滤波器:使用不断更新的正负训练样本来训练、更新部件滤波器。

传统的基于提取梯度方向直方图特征的检测方法在目标外观发生形变、存在遮挡等条件下检测准确率很低，本发明的基于混合多尺度可变形部件模型检测方法，通过建立HOG特征金字塔表示目标的整体信息以及各部件的表观信息和空间关系，可以提取到比传统的方法更加丰富的信息，因此更加有利于复杂目标的检测和识别过程。基于混合多尺度可变形部件模型的目标检测系统使用未完全标注的样本进行判别训练，可以检测各种多变的目标。另外，本发明还提出了一种专门为弱监督分类器设计的基于间隔敏感的难例挖掘方法，即隐藏变量SVM。

在模型的训练过程中，引入了一种专门为弱监督分类器设计的基于间隔敏感的难例挖掘方法，即隐藏变量SVM。考虑一个分类器，对于任意一个样本x，在隐藏变量SVM中用如下公式进行评分：

$f_{\mathrm{\β}}\left(x\right)=\underset{z\∈Z\left(x\right)}{max}\mathrm{\β}\·\mathrm{\Φ}(x,z)$

其中，β是模型参数向量，z是隐藏变量。集合Z(x)定义了样本x所有可能的隐藏变量值，即各部件的位置。通过对此得分值进行阈值化，可以获得样本x的二分类类标。

类比经典SVM算法，本发明使用带标注的样本集D＝(<x₁,y₁>,...,<x_n,y_n>)，yi∈{-1,1}来训练参数β，最小化下面的目标函数：

$L_D\left(\mathrm{\&beta;}\right)=\frac{1}{2}\left|\right|\mathrm{\&beta;}|{|}^2+C\underset{i=1}{\overset{n}{\&Sigma;}}\max (0,1-y_i{f}_{\mathrm{\&beta;}}(x_i\left)\right).$

其中，max(0，1-y_if_β(x_i))表示标准损失函数，常数C控制正则项的相对权重。

设Z_p为指定训练集D中正样本的隐藏变量值，通过以下步骤来优化训练隐藏变量SVM：

(1)重新标注正样本：在指数空间内搜索正样本的隐藏变量值，选择每个正样本的最高得分的隐藏值：

$z_i={\mathrm{argmax}}_{z\&Element;Z\left(x_i\right)}\mathrm{\&beta;}\&CenterDot;\mathrm{\&Phi;}(x_i,z)$

(2)最优化β：搜索所有的模型和指数空间内负样本的隐藏变量，通过最优化隐藏变量SVM的目标函数来实现；

以上步骤(1)和(2)的执行，在算法达到收敛之后就会得到一个相对强壮的局部最优值。

另外，最优化β阶段采用随机下降的方法解决：

设 $z_i\left(\mathrm{\&beta;}\right)={\mathrm{argmax}}_{z\&Element;Z\left(x_i\right)}\mathrm{\&beta;}\&CenterDot;\mathrm{\&Phi;}(x_i,z),$ 即z_i(β)是使正样本x_i得分最高的隐藏变量值，有f_β(x_i)＝β·Φ(x_i，z_i(β))。计算隐藏变量SVM目标函数的梯度，如下：

$\&dtri;L_D\left(\mathrm{\&beta;}\right)=\mathrm{\&beta;}+C\underset{i=1}{\overset{n}{\&Sigma;}}h(\mathrm{\&beta;},x_i,y_i)$

$h(\mathrm{\&beta;},x_i,y_i)=\left\{\begin{array}{cc}0& if{y}_i{f}_{\mathrm{\&beta;}}\left(x_i\right)\&GreaterEqual;1\\ -y_i\mathrm{\&Phi;}(x_i,z_i(\mathrm{\&beta;}\left)\right)& otherwise\end{array}\right.$

在随机梯度下降算法中，用样本的子集来近似然后向梯度下降的方向走一步。用nh(β，x_i，y_i)来近似表示按如下步骤迭代更新β值：

1)设α_t是第t次迭代的学习率；

2)随机选取样本x_i；

3)设 $z_i={\mathrm{argmax}}_{z\&Element;Z\left(x_i\right)}\mathrm{\&beta;}\&CenterDot;\mathrm{\&Phi;}(x_i,z);$

4)如果y_if_β(x_i)＝y_i(β·Φ(x_i，z_i))≥1，则β∶＝β－α_tβ，否则，β：＝β-α_t(β-Cny_iΦ(x_i，z_i))。

作为优选，本发明使用高分辨率特征来定义部件滤波器。

用高分辨率特征来定义部件滤波器对获得高识别性能至关重要。通过这种方法部件滤波器可以捕捉到相对于根滤波器定位的更精确的特征。例如建立车辆正面的模型，根滤波器捕捉的是车辆正面边界这些粗糙边缘信息，但此时部件滤波器可以捕捉车后视镜、车前大灯、车牌等细节信息。

含有n个部件的目标模型可以定义为一个(n+2)元组：(F₀,P₁,...,P_n,b)，F₀是根滤波器，P_i是第i个部件的模型，b是偏移量。而每个部件模型用一个三元组定义：(F_i,v_i,d_i)，F_i是第i个部件的滤波器，v_i是一个二维向量，指定第i个滤波器的锚点位置(即未发生形变时的标准位置)相对于根的坐标，d_i是指定了一个二次函数的四维向量参数，此二次函数表示部件的每个可能位置相对于锚点位置的变形花费。如果d_i＝(0,0,1,1)，则第i个部件的变形花费就是它实际位置与锚点位置距离的平方。通常情况下，变形花费是位移的任意可拆分二次函数。引入偏移量是为了在将多个模型组成混合模型时，使多个模型的得分具有可比性。

每个目标都指定了模型中每个滤波器在特征金字塔中的位置：z＝(p₀,...,p_n)，其中p_i＝(x_i,y_i,l_i)表示第i个滤波器所在的层和位置坐标。需要注意的是这里每个部件所在层的特征分辨率都是根滤波器所在层的特征分辨率的两倍，即l_i层特征是l₀层的特征分辨率的两倍，并且l_i＝l₀–λ(i>0)。假设滤波器位置的响应得分等于每个滤波器在各自位置的得分减去此位置相对于根位置的变形花费，再加上偏差值：

$\begin{array}{c}score(p_0,...,p_n)=\\ \underset{i=0}{\overset{n}{\&Sigma;}}{F}_i^{\&prime;}\&CenterDot;\mathrm{\&phi;}(H,p_i)-\underset{i=0}{\overset{n}{\&Sigma;}}{d}_i\&CenterDot;{\mathrm{\&phi;}}_d({\mathrm{dx}}_i,{\mathrm{dy}}_i)+b\end{array}$

其中，

(dx_i，dy_i)＝(x_i，y_i)-(2(x₀，y₀|)+v_i)

给出了第i个部件相对于其锚点位置的位移,(x₀,y₀)是根滤波器在其所在层的坐标，为了统一到部件滤波器所在层需乘以2。v_i是部件i的锚点相对于根的坐标偏移，所以2(x₀,y₀)+v_i表示未发生形变时部件i的绝对坐标，

而

φ_d(dx，dy)＝(dx，dy，dx²，dy²)

表示变形特征。

设z的得分可以表示成点积的形式：β·ψ(H,z)，β是模型参数向量，ψ(H,z)是特征向量，那么通过以上的分析，β、ψ(H,z)可表示如下：

β＝(F′₀，...，F′_n，d₁，...，d_n，b)

ψ(H，z)＝(φ(H，p₀)，...φ(H，p_n)，

-φ_d(dx₁，dy₁)，...，-φ_d(dx_n，dy_n)，1)

这样便将模型和线性分类器联系起来了，最后使用隐藏变量SVM来学习模型参数

作为优选，所述使用可变形部件模型进行安全带检测的过程通过动态规划和距离转换法对图像中的待测目标进行准确检测定位，所述待测目标包括车窗、人体上半身和安全带。

作为优选，所述使用可变形部件模型进行安全带检测的过程根据各个部件的最佳位置在所有可能的根位置中找到总体得分最高的根位置。

在图像中检测目标时，根据各个部件的最佳位置在所有可能的根位置中找到总体得分最高的根位置，即：

$score\left(p_0\right)=\underset{p_1,...,p_n}{max}score(p_1,...,p_n).$

高得分的根位置定义了一次检测，产生高得分根位置的部件位置定义了一个完整的目标假设。

作为优选，所述根据各个部件的最佳位置在所有可能的根位置中找到总体得分最高的根位置的具体过程如下：

通过公式R_i，l(x，y)＝F′_i·φ(H，(x，y，l))计算存放部件i模型滤波器在特征金字塔第l层的响应值数组，其中，R_i，0是滤波器F_i和特征金字塔第l层的交叉相关，金字塔图像在计算部件滤波器下响应的尺度是在根滤波器下尺度的两倍；

计算滤波器响应后，对其进行转换来允许具有空间不确定性：

$D_{i,l}(x,y)=\underset{dx,dy}{max}\left(R_{i,l}\right(x+dx,y+dy)-d_i\&CenterDot;{\mathrm{\&phi;}}_d(dx,dy\left)\right)---\left(13\right)$

利用距离转换扩展附近位置的滤波器响应，考虑部件变形损失，提高检测精度，D_i,l(x,y)表示将第i个部件的锚点放在l层的位置(x,y)时它对根位置得分的最大贡献值；

利用对应层根滤波器响应的总和加上经过转换和抽样的部件滤波器计算每一层根位置的响应：

$\begin{array}{c}score(x_0,y_0,l_0)=\\ R_{0,l_0}(x_0,y_0)+\underset{i=1}{\overset{n}{\&Sigma;}}{D}_{i,l_0-\mathrm{\&lambda;}}\left(2\right(x_0,y_0)+v_i)+b.\end{array}$

其中，λ是为了获得某一层的两倍分辨率而需要在金字塔中向下走的层数。

在计算根位置的响应时，独立的选择每个部件的最佳位置，因此能够根据根位置找到各部件的最好位置，在计算D_i,l的过程中计算出部件的最优位置

$P_{i,l}(x,y)=\underset{dx,dy}{\mathrm{argmax}}\left(R_{i,l}\right(x+dx,y+dy)-d_i\&CenterDot;{\mathrm{\&phi;}}_d(dx,dy\left)\right).$

找到一个高分的根位置(x₀,y₀,l₀)后，可以在中查找对应的部件最佳位置,实现目标变形部件的定位。

与现有技术相比，本发明的有益效果：本发明针对利用车牌检测定位车窗区域的不足，提出直接进行车窗区域定位。针对车窗上方左右角点检测或人脸检测方法定位安全带区域的不足，提出对车窗中人体上半身区域进行检测，针对直线检测算法受安全带两边图像质量和算法参数影响较大，提出利用混合多尺度可变形部件模型的模式识别方法进行安全带检测，该算法流程参数少，对光照、几何形变具有鲁棒性，能够对安全带目标进行精确检测。

附图说明

图1是本发明的流程图；

图2是本发明实施例待检测车窗情形示意图；

图3是本发明实施例待检测车窗情形示意图；

图4是本发明实施例待检测车窗情形示意图；

图5是本发明实施例待检测安全带情形示意图；

图6是本发明实施例待检测安全带情形示意图；

图7是本发明实施例待检测安全带情形示意图；

图8是使用本发明实施例进行安全带检测的效果示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。

实施例：如图1所示，一种基于混合多尺度可变形部件模型的未系安全带检测方法，包括可变形部件模型训练过程和使用可变形部件模型进行安全带检测的过程，所述使用可变形部件模型进行安全带检测的过程包括：

S11.通过图像获取装置获取图片；

S12.使用可变形部件模型进行车窗检测；

S13.在检测到的车窗区域进行人体上半身检测；

S14.在检测到的人体上半身区域进行安全带检测。

所述可变形部件模型训练过程包括：

S21.初始化根滤波器：首先根据训练图片的标记确定根滤波器的规模，然后使用支持向量机来训练根滤波器F0；

S22.更新根滤波器：对于训练集中的每一个样本使用步骤S1确定的根滤波器寻找响应最大并且和原有框标记有明显覆盖的位置，并以此位置更新训练图片的框标记，然后使用新的框标记的样本以及随机选取的负样本更新根滤波器F0；

S23.初始化部件滤波器:在确定的根滤波器的位置上，贪婪地选择得分最大的区域作为部件滤波器的位置；

S24.更新部件滤波器:使用不断更新的正负训练样本来训练、更新部件滤波器。

传统的基于提取梯度方向直方图特征的检测方法在目标外观发生形变、存在遮挡等条件下检测准确率很低，本发明的基于混合多尺度可变形部件模型检测方法，通过建立HOG特征金字塔表示目标的整体信息以及各部件的表观信息和空间关系，可以提取到比传统的方法更加丰富的信息，因此更加有利于复杂目标的检测和识别过程。基于混合多尺度可变形部件模型的目标检测系统使用未完全标注的样本进行判别训练，可以检测各种多变的目标。另外，本发明还提出了一种专门为弱监督分类器设计的基于间隔敏感的难例挖掘方法，即隐藏变量SVM。

在模型的训练过程中，引入了一种专门为弱监督分类器设计的基于间隔敏感的难例挖掘方法，即隐藏变量SVM。考虑一个分类器，对于任意一个样本x，在隐藏变量SVM中用如下公式进行评分：

$f_{\mathrm{\&beta;}}\left(x\right)=\underset{z\&Element;Z\left(x\right)}{max}\mathrm{\&beta;}\&CenterDot;\mathrm{\&Phi;}(x,z)$

其中，β是模型参数向量，z是隐藏变量。集合Z(x)定义了样本x所有可能的隐藏变量值，即各部件的位置。通过对此得分值进行阈值化，可以获得样本x的二分类类标。

类比经典SVM算法，本发明使用带标注的样本集D＝(<x₁,y₁>,...,<x_n,y_n>)，yi∈{-1,1}来训练参数β，最小化下面的目标函数：

$L_D\left(\mathrm{\&beta;}\right)=\frac{1}{2}\left|\right|\mathrm{\&beta;}|{|}^2+C\underset{i=1}{\overset{n}{\&Sigma;}}\max (0,1-y_i{f}_{\mathrm{\&beta;}}(x_i\left)\right).$

其中，max(0，1-y_ifβ(x_i))表示标准损失函数，常数C控制正则项的相对权重。

设Z_p为指定训练集D中正样本的隐藏变量值，通过以下步骤来优化训练隐藏变量SVM：

(1)重新标注正样本：在指数空间内搜索正样本的隐藏变量值，选择每个正样本的最高得分的隐藏值：

$z_i={\mathrm{argmax}}_{z\&Element;Z\left(x_i\right)}\mathrm{\&beta;}\&CenterDot;\mathrm{\&Phi;}(x_i,z)$

(2)最优化β：搜索所有的模型和指数空间内负样本的隐藏变量，通过最优化隐藏变量SVM的目标函数来实现；

以上步骤(1)和(2)的执行，在算法达到收敛之后就会得到一个相对强壮的局部最优值。

另外，最优化β阶段采用随机下降的方法解决：

设 $z_i\left(\mathrm{\&beta;}\right)={\mathrm{argmax}}_{z\&Element;Z\left(x_i\right)}\mathrm{\&beta;}\&CenterDot;\mathrm{\&Phi;}(x_i,z),$ 即z_i(β)是使正样本x_i得分最高的隐藏变量值，有f_β(x_i)＝β·Φ(x_i，z_i(β))。计算隐藏变量SVM目标函数的梯度，如下：

$\&dtri;L_D\left(\mathrm{\&beta;}\right)=\mathrm{\&beta;}+C\underset{i=1}{\overset{n}{\&Sigma;}}h(\mathrm{\&beta;},x_i,y_i)$

$h(\mathrm{\&beta;},x_i,y_i)=\left\{\begin{array}{cc}0& if{y}_i{f}_{\mathrm{\&beta;}}\left(x_i\right)\&GreaterEqual;1\\ -y_i\mathrm{\&Phi;}(x_i,z_i(\mathrm{\&beta;}\left)\right)& otherwise\end{array}\right.$

在随机梯度下降算法中，用样本的子集来近似然后向梯度下降的方向走一步。用nh(β，x_i，y_i)来近似表示按如下步骤迭代更新β值：

1)设α_t是第t次迭代的学习率；

2)随机选取样本xi；

3)设 $z_i={\mathrm{argmax}}_{z\&Element;Z\left(x_i\right)}\mathrm{\&beta;}\&CenterDot;\mathrm{\&Phi;}(x_i,z);$

4)如果y_if_β(x_i)＝y_i(β·Φ(x_i，z_i))≥1，则β∶＝β－α_tβ，否则，β：＝β-α_t(β-Cny_iΦ(x_i，z_i))。

本发明使用高分辨率特征来定义部件滤波器。

用高分辨率特征来定义部件滤波器对获得高识别性能至关重要。通过这种方法部件滤波器可以捕捉到相对于根滤波器定位的更精确的特征。例如建立车辆正面的模型，根滤波器捕捉的是车辆正面边界这些粗糙边缘信息，但此时部件滤波器可以捕捉车后视镜、车前大灯、车牌等细节信息。

含有n个部件的目标模型可以定义为一个(n+2)元组：(F₀,P₁,...,P_n,b)，F₀是根滤波器，P_i是第i个部件的模型，b是偏移量。而每个部件模型用一个三元组定义：(F_i,v_i,d_i)，F_i是第i个部件的滤波器，v_i是一个二维向量，指定第i个滤波器的锚点位置(即未发生形变时的标准位置)相对于根的坐标，d_i是指定了一个二次函数的四维向量参数，此二次函数表示部件的每个可能位置相对于锚点位置的变形花费。如果d_i＝(0,0,1,1)，则第i个部件的变形花费就是它实际位置与锚点位置距离的平方。通常情况下，变形花费是位移的任意可拆分二次函数。引入偏移量是为了在将多个模型组成混合模型时，使多个模型的得分具有可比性。

每个目标都指定了模型中每个滤波器在特征金字塔中的位置：z＝(p₀,...,p_n)，其中p_i＝(x_i,y_i,l_i)表示第i个滤波器所在的层和位置坐标。需要注意的是这里每个部件所在层的特征分辨率都是根滤波器所在层的特征分辨率的两倍，即l_i层特征是l₀层的特征分辨率的两倍，并且l_i＝l₀–λ(i>0)。假设滤波器位置的响应得分等于每个滤波器在各自位置的得分减去此位置相对于根位置的变形花费，再加上偏差值：

$\begin{array}{c}score(p_0,...,p_n)=\\ \underset{i=0}{\overset{n}{\&Sigma;}}{F}_i^{\&prime;}\&CenterDot;\mathrm{\&phi;}(H,p_i)-\underset{i=0}{\overset{n}{\&Sigma;}}{d}_i\&CenterDot;{\mathrm{\&phi;}}_d({\mathrm{dx}}_i,{\mathrm{dy}}_i)+b\end{array}$

其中，

(dx_i，dy_i)＝(x_i，y_i)-(2(x₀，y₀|)+v_i)

给出了第i个部件相对于其锚点位置的位移,(x₀,y₀)是根滤波器在其所在层的坐标，为了统一到部件滤波器所在层需乘以2。v_i是部件i的锚点相对于根的坐标偏移，所以2(x₀,y₀)+v_i表示未发生形变时部件i的绝对坐标，

而

φ_d(dx，dy)＝(dx，dy，dx²，dy²)

表示变形特征。

设z的得分可以表示成点积的形式：β·ψ(H,z)，β是模型参数向量，ψ(H,z)是特征向量，那么通过以上的分析，β、ψ(H,z)可表示如下：

β＝(F′₀，...，F′_n，d₁，...，d_n，b)

ψ(H，z)＝(φ(H，p₀)，...φ(H，p_n)，

-φ_d(dx₁，dy₁)，...，-φ_d(dx_n，dy_n)，1)

这样便将模型和线性分类器联系起来了，最后使用隐藏变量SVM来学习模型参数

所述使用可变形部件模型进行安全带检测的过程通过动态规划和距离转换法对图像中的待测目标进行准确检测定位，所述待测目标包括车窗、人体上半身和安全带。

所述使用可变形部件模型进行安全带检测的过程根据各个部件的最佳位置在所有可能的根位置中找到总体得分最高的根位置。

在图像中检测目标时，根据各个部件的最佳位置在所有可能的根位置中找到总体得分最高的根位置，即：

$score\left(p_0\right)=\underset{p_1,...,p_n}{max}score(p_0,...,p_n).$

高得分的根位置定义了一次检测，产生高得分根位置的部件位置定义了一个完整的目标假设。

所述根据各个部件的最佳位置在所有可能的根位置中找到总体得分最高的根位置的具体过程如下：

通过公式R_i，l(x，y)＝F′_i·φ(H，(x，y，l))计算存放部件i模型滤波器在特征金字塔第l层的响应值数组，其中，R_i，0是滤波器F_i和特征金字塔第l层的交叉相关，金字塔图像在计算部件滤波器下响应的尺度是在根滤波器下尺度的两倍；

计算滤波器响应后，对其进行转换来允许具有空间不确定性：

$D_{i,l}(x,y)=\underset{dx,dy}{max}\left(R_{i,l}\right(x+dx,y+dy)-d_i\&CenterDot;{\mathrm{\&phi;}}_d(dx,dy\left)\right)---\left(13\right)$

利用距离转换扩展附近位置的滤波器响应，考虑部件变形损失，提高检测精度，D_i,l(x,y)表示将第i个部件的锚点放在l层的位置(x,y)时它对根位置得分的最大贡献值；

利用对应层根滤波器响应的总和加上经过转换和抽样的部件滤波器计算每一层根位置的响应：

$\begin{array}{c}score(x_0,y_0,l_0)=\\ R_{0,l_0}(x_0,y_0)+\underset{i=1}{\overset{n}{\&Sigma;}}{D}_{i,l_0-\mathrm{\&lambda;}}\left(2\right(x_0,y_0)+v_i)+b.\end{array}$

其中，λ是为了获得某一层的两倍分辨率而需要在金字塔中向下走的层数。

在计算根位置的响应时，独立的选择每个部件的最佳位置，因此能够根据根位置找到各部件的最好位置，在计算D_i,l的过程中计算出部件的最优位置

$P_{i,l}(x,y)=\underset{dx,dy}{\mathrm{argmax}}\left(R_{i,l}\right(x+dx,y+dy)-d_i\&CenterDot;{\mathrm{\&phi;}}_d(dx,dy\left)\right).$

找到一个高分的根位置(x₀,y₀,l₀)后，可以在中查找对应的部件最佳位置,实现目标变形部件的定位。

本实施例针对图像中车窗区域可能存在如图2、图3和图4所示三种情形，即左半边车窗、全部车窗和右半边车窗的情形，设计训练三种模型，从而对三种情形下的车窗区域进行精确检测。

在上步车窗定位区域的基础上，根据车窗不同情况,利用比例因子ratioL和ratioR对主驾驶室和前排乘坐人的人体上半身区域进行粗步定位，并进一步利用混合多尺度可变形部件模型对人体上半身进行高精度的目标检测。

获得人脸上半身区域后，就可在该感兴趣区域进行安全带检测。在人体上半身区域中，主驾驶室区域和前排乘坐人区域的安全带佩戴情况不同，且主驾驶室区域受方向盘遮挡影响，安全带会被分割成上下两部分，针对图5、图6及图7的3种安全带情形，本实施例分别训练三种模型，从而对三种情形下的车窗区域进行精确检测。

如图8所示，相对于传统技术，本发明的检测方法在系安全带检测中具有更高的检测性能，在未系安全带检测中误检率更低。

Claims (5)

1.一种基于混合多尺度可变形部件模型的未系安全带检测方法，包括可变形部件模型训练过程和使用可变形部件模型进行安全带检测的过程，其特征在于，所述使用可变形部件模型进行安全带检测的过程包括：

S11.通过图像获取装置获取图片；

S12.使用可变形部件模型进行车窗检测；

S13.在检测到的车窗区域进行人体上半身检测；

S14.在检测到的人体上半身区域进行安全带检测。

2.根据权利要求1所述的一种基于混合多尺度可变形部件模型的未系安全带检测方法，其特征在于，所述可变形部件模型训练过程包括：

S21.初始化根滤波器：首先根据训练图片的标记确定根滤波器的规模，然后使用支持向量机来训练根滤波器F0；

S22.更新根滤波器：对于训练集中的每一个样本使用步骤S1确定的根滤波器寻找响应最大并且和原有框标记有明显覆盖的位置，并以此位置更新训练图片的框标记，然后使用新的框标记的样本以及随机选取的负样本更新根滤波器F0；

S23.初始化部件滤波器:在确定的根滤波器的位置上，贪婪地选择得分最大的区域作为部件滤波器的位置；

S24.更新部件滤波器:使用不断更新的正负训练样本来训练、更新部件滤波器。

3.根据权利要求2所述的一种基于混合多尺度可变形部件模型的未系安全带检测方法，其特征在于，使用高分辨率特征定义部件滤波器。

4.根据权利要求2所述的一种基于混合多尺度可变形部件模型的未系安全带检测方法，其特征在于，所述使用可变形部件模型进行安全带检测的过程通过动态规划和距离转换法对图像中的待测目标进行准确检测定位，所述待测目标包括车窗、人体上半身和安全带。

5.根据权利要求2所述的一种基于混合多尺度可变形部件模型的未系安全带检测方法，其特征在于，所述使用可变形部件模型进行安全带检测的过程根据各个部件的最佳位置在所有可能的根位置中找到总体得分最高的根位置。