CN104657752A - 一种基于深度学习的安全带佩戴识别方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的安全带佩戴识别方法，包括如下步骤：1)前排乘客区域定位及图像预处理。利用RGB色彩空间下车牌图像中白色像素在蓝色像素点内所占比例来确定车牌位置；根据车牌位置，结合hough直线检测，确定车窗区域W(x,y,w,h)；在车窗区域中，采用haar特征空间来检测人脸，如果能检测到人脸，则根据人脸区域，确定前排乘客区域C，如果未能检测到人脸，则对车窗区域范围作进一步缩小，并将车窗区域分为主驾驶区域和副驾驶区域，作为前排乘客区域C。对前排乘客区域进行图像预处理，获得处理后的前排乘客区域图像C'；2)感兴趣区域获取；3)模型数据集建立；4)深度学习算法模型建立；5)安全带佩戴识别。本发明抗干扰能力较强，检测方式新颖。

Description

一种基于深度学习的安全带佩戴识别方法

技术领域

本发明涉及智能交通领域，尤其涉及一种基于深度学习的安全带佩戴识别方法。

背景技术

随着现代交通车辆的大幅度增加，道路事故警情量也不断上升，安全带作为驾驶员最有效的保护措施，当汽车发生碰撞或遇到意外情况紧急刹车时，安全带可以通过约束作用将乘员束缚在座椅上，防止或者减轻乘员受到二次碰撞甚至被甩出车外的伤害。

正确佩戴安全带可以有效地提高碰撞事故中乘员的安全性，降低事故中的伤亡率，因此对安全带佩戴提示系统及识别方法的研究具有非常重要的意义。目前，国内对安全带佩戴识别的方法研究也投入了很大精力，例如，专利CN201410174018.3《一种基于Adaboost的安全带检测方法》中提出，通过Adaboost算法进行安全带区域的粗定位，找到对应的车窗、驾驶员区域和安全带区域的候选区，然后基于高斯混合模型进行后处理，从而得到安全带佩戴的识别结果；文献《基于模糊增强的安全带佩戴识别方法》中提出，通过对图像进行模糊增强，增强边缘点两侧像素灰度的对比度，然后利用直线检测方法对图像进行检测，达到安全带佩戴识别的目的；文献《基于GA-BP的安全带佩戴识别方法》中提出，基于BP神经网络建立安全带佩戴识别模型，同时引入遗传算法对其权值和阈值进行优化，最终实现安全带佩戴图像识别。

深度学习是机器学习研究中的一个新领域，在图像识别、语音识别以及自然语言处理方面均有很广泛的应用。深度学习的实质，是通过构建具有多隐层的神经网络模型和训练数据，来学习出有用的特征，非常注重特征学习的重要性。在进行图像识别时，对图像信息的处理是分层的，逐层抽象地表现出图像的特征信息。本发明基于深度机器学习思想提出一种不同于已有方法的安全带佩戴识别方法。

发明内容

本发明为克服上述的不足之处，目的在于提供一种基于深度学习的安全带佩戴识别方法，基于道路监控采集来的驾驶员图像数据，利用深度学习算法模型逐层训练，建立安全带佩戴识别模型，该识别方法抗干扰能力较强，检测方式新颖。

本发明是通过以下技术方案达到上述目的：一种基于深度学习的安全带佩戴识别方法，包括如下步骤：(1)利用RGB色彩空间下车牌图像中像素点比例关系确定车牌位置；

(2)根据车牌位置，结合hough直线检测确定车窗区域；

(3)利用haar特征空间检测车窗区域内人脸，若有检测到人脸，则根据人脸区域确定前排乘客区域C；若没有检测到，则将车窗区域缩小并将车窗区域分为主、副驾驶区域，作为前排乘客区域C；

(4)对前排乘客区域C进行图像预处理获得前排乘客区域图像C'；

(5)在前排乘客区域图像C'中选取驾驶员颈部以下区域图像作为感兴趣区域样本集；

(6)利用感兴趣区域样本集建立模型数据集；

(7)通过模型数据集建立并优化深度学习算法模型；

(8)利用深度学习算法模型对感兴趣区域样本集进行安全带的佩戴识别。

作为优选，所述步骤(1)确定车牌位置的步骤如下：

1)读取一幅m×n像素的图像I，设定并初始化参数，参数包括图像Y轴方向上的“预选车牌区域”的蓝色像素点数阈值Y_thresh，白色像素所占比ratio_w＝0，“近似车牌”区域长宽比ratio_l＝0；

2)对图像在Y轴方向上的蓝色像素点进行扫描和统计，得到m×1的像素矩阵U；

3)计算矩阵U中的最大值U_i,1及最大值U_i,1所在行i(0＜i＜m,i∈N)，其中U_i,1表示矩阵U中第1行第i列的值；如果U_i,1小于设定值，则判定为图像I内没有牌照并跳回执行步骤1)；否则将i值赋给PY₂；

4)将PY₂作为“预选车牌区域”的下边界并搜索确定“预选车牌区域”的上边界PY₁；

5)利用公式计算图像X轴方向上的“预选车牌区域”的蓝色像素点数阈值X_thresh，q为可任意设置的正整数，q值越大，则抗干扰能力越强，但会造成精确度降低；

6)在上边界PY₁和下边界PY₂所在的区域内搜索并统计图像在X轴方向上的蓝色像素点数，得到1×n的像素矩阵V∈N^*1×n；

7)通过矩阵V∈N^*1×n确定“预选车牌区域”的左边界PX₁和右边界PX₂；

8)计算“预选车牌区域”区域内的白色像素点占比和区域长宽比；

9)判断并得到车牌位置。

作为优选，所述步骤4)搜索确定“预选车牌区域”的的上边界PY₁的方法为从矩阵U中的第i行开始依次读取i-j行(1≤j＜i,j∈N)的值U_(i-j),1，并比较U_(i-j),1与Y_thresh的大小；当U_(i-j),1＞Y_thresh时，将i-j的值赋给PY₁，作为“预选车牌区域”的上边界。

作为优选，所述步骤7)确定“预选车牌区域”的左边界PX₁和右边界PX₂的方法如下：

A)从矩阵的第一列开始依次比较V_1,k(1≤k≤n,k∈N^*)与X_thresh的大小，当V_1,k＞X_thresh时，将k值赋给PX₁，作为“预选车牌区域”的左边界；

B)从矩阵的最后一列n开始依次比较V_1,n-l(PX₁＜l＜n,l∈N^*)与X_thresh的大小，当V_1,n-l＞X_thresh时，将l值赋给PX₂，作为“预选车牌区域”的右边界。

作为优选，所述步骤8)计算“预选车牌区域”区域内的白色像素点占比和区域长宽比的方法为在上下边界PY₁、PY₂，左右边界PX₁、PX₂合围的区域内统计白色像素点个数a，计算白色像素所占比 $\mathrm{ratio}\_w=\frac{a}{({\mathrm{PY}}_2-{\mathrm{PY}}_1+1)\×{\mathrm{PX}}_2-{\mathrm{PX}}_1+1)},$ 以及长宽比 $\mathrm{ratio}\_l=\frac{({\mathrm{PY}}_2-{\mathrm{PY}}_1+1)}{({\mathrm{PY}}_2-{\mathrm{PX}}_1+1)}.$

作为优选，所述步骤9)判断并得到车牌位置的方法为如果r₁≤ratio_w≤r₂，并且r₃≤ratio_l≤r₄，则判断并得到为车牌位置；否则将上下边界PY₁、PY₂，左右边界PX₁、PX₂合围区域矩阵的元素全部置为0，并重新执行步骤3)。

作为优选，所述步骤(4)对前排乘客区域C进行图像预处理获得前排乘客区域图像C'的步骤如下：

I)对前排乘客区域图像C进行直方图均衡化，得到处理后的图像C^h；

II)对图像C^h进行gaussian滤波，获得滤波后的图像C^hg；

III)将canny算子作用于图像C^hg，获得处理后的图像C^hgc；

IV)利用迭代法对图像C^hgc进行阈值分割，并对对象进行填充，获得前排乘客区域图像C'。

作为优选，所述步骤6)利用感兴趣区域样本集建立模型数据集的方法为将感兴趣样本集分为训练集、验证集与测试集，由训练集、验证集与测试集共同组成模型数据集；其中，训练集包括训练图片集和训练标签集；验证集包括验证图片集和验证标签集；测试集包括包括测试图片集和测试标签集。

作为优选，所述步骤(7)深度学习算法模型包括RBM(限制玻尔兹曼机)模型与DBN(深度信赖网络)模型。

作为优选，学习RBM(限制玻尔兹曼机)模型的步骤如下：

a)随机初始化模型参数θ＝{W,b,a}；其中W为可视层节点与隐藏层节点之间的权重，b为可视层节点偏置值，a为隐藏层节点偏置值；

b)按下述公式求出RBM模型的能量函数E(v,h；θ)；

$\begin{array}{c}E(v,h;\mathrm{\θ})=-v^T\mathrm{Wh}-b^{T}v-a^{T}h\\ =\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}{v}_i{h}_j-\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{b}_i{v}_i-\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{a}_j{h}_j\end{array}$

其中，m、n分别为可视层和隐藏层节点的个数；

c)根据能量函数求得可视层与隐藏层的联合概率分布

$P(v,h;\mathrm{\θ})=\frac{1}{Z\left(\mathrm{\θ}\right)}\exp (-E(v,h;\mathrm{\θ})),$

$Z\left(\mathrm{\θ}\right)=\underset{v}{\mathrm{\Σ}}\underset{h}{\mathrm{\Σ}}\exp (-E(v,h;\mathrm{\θ}))$

其中，Z(θ)是—个归一化常数；

d)按下述公式求出RBM模型分配给可视层v的概率P(v；θ)；

$P(v;\mathrm{\θ})=\frac{1}{Z\left(\mathrm{\θ}\right)}\underset{h}{\mathrm{\Σ}}\exp (-E(v,h;\mathrm{\θ}))$

e)按下述公式求得佩戴安全带状态下的概率P(v_i＝1|h)与P(h_j＝1|v)；

$P(h_j=1|v)=g(\underset{i}{\mathrm{\Σ}}{W}_{\mathrm{ij}}{v}_i+a_j),$

$P(v_i=1|h)=g(\underset{j}{\mathrm{\Σ}}{W}_{\mathrm{ij}}{h}_j+b_i)$

其中，g(x)为sigmoid函数，是一个逻辑函数；

f)对RBM模型进行吉布斯采样及RBM模型训练参数的迭代更新。

作为优选，所述的DBN(深度信赖网络)模型为若干个RBM(限制玻尔兹曼机)模型通过自底向上组合得到；对DBN(深度信赖网络)模型的学习训练包括预训练和微调两个阶段。

作为优选，所述步骤(8)进行安全带佩戴识别的方法为将测试集的像素值序列输入到深度学习算法模型中进行训练，得到测试图片的识别结果。

本发明的有益效果在于：(1)抗干扰能力较强，本发明采用深度学习来进行安全带检测，能够从少数样本集学习数据集特征本质的能力，使得在图像识别过程中更接近人的大脑视觉机理，识别结果更接近人的视觉判断；(2)识别图像时注重逐层特征学习，本发明采用的方法在进行安全带图像识别时，突出了特征学习的重要性，对于图像信息的处理是分层的，从低层的图像中学习边缘特征再到更高层的形状，从低层到高层的特征表示越来越抽象，层数越多，越能表现出特征；(3)采用深度学习算法模型来进行安全带检测，检测方式新颖。

附图说明

图1是本发明发明流程图；

图2是本发明实施例的待输入检测图像；

图3是本发明前排乘客区域的定位流程示意图；

图4是本发明实施例车牌定位结果示意图；

图5是本发明实施例车窗定位结果示意图；

图6是本发明实施例前排乘客区域图像；

图7是本发明实施例感兴趣区域读取后要进行识别的样本图；

图8是本发明实施例训练集示意图；

图9是本发明实施例验证集示意图；

图10是本发明实施例测试集示意图；

图11是本发明RBM模型结构示意图；

图12是本发明RBM训练模型流程图；

图13是本发明RBM模型吉布斯采样流程示意图；

图14是本发明DBN模型结构示意图；

图15是本发明DBN模型的训练流程图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例：如图1所示，一种基于深度学习的安全带佩戴识别方法，其具体实施过程如下：

步骤1：前排乘客区域定位及图像预处理。利用RGB色彩空间下车牌图像中白色像素在蓝色像素点内所占比例来确定车牌位置；根据车牌位置，结合hough直线检测，确定车窗区域W(x,y,w,h)；在车窗区域中，采用haar特征空间来检测人脸，如果能检测到人脸，则根据人脸区域，确定前排乘客区域C，如果未能检测到人脸，则对车窗区域范围作进一步缩小，并将车窗区域分为主驾驶区域和副驾驶区域，作为前排乘客区域C。对前排乘客区域进行图像预处理，获得处理后的前排乘客区域图像C'，以作为下一步骤使用。

所述步骤1包括以下步骤：

(1)前排乘客区域获取。本发明主要针对蓝底白字的小型车辆进行安全带检测，如图2所示。所采用的前排乘客区域获取技术的主要步骤如图3所示：

(1.1)车牌定位，利用RGB色彩空间下车牌图像中白色像素点在蓝色像素点内所占比例来确定车牌位置，如图4所示；车牌定位详细步骤如下所示：

(1.1.1)读取一幅m×n像素的图像I，设定并初始化参数。参数包括：图像Y轴方向上的“预选车牌区域”的蓝色像素点数阈值Y_thresh，白色像素所占比ratio_w＝0，“近似车牌”区域长宽比ratio_l＝0。在本实施例中，图像I的像素为1300×1600，阈值Y_thresh＝0.6

(1.1.2)对图像在Y轴方向上的蓝色像素点进行扫描和统计，得到m×1的矩阵U。

(1.1.3)计算矩阵U中最大值U_i,1及其所在行i(0＜i＜m,i∈N)，其中U_i,1表示矩阵U中第1行第i列的值。如果U_i,1小于某个设定值，则判定为没有牌照，结束步骤(1.1)，否则将i值赋给PY₂。

(1.1.4)将PY₂作为“预选车牌区域”的下边界，然后搜索“预选车牌区域”的上边界。从矩阵U中的第i行开始依次读取i-j行(1≤j＜i,j∈N)的值U_(i-j),1，并比较U_(i-j),1与Y_thresh大小。当U_(i-j),1＞Y_thresh时，将该i-j的值赋给PY₁，作为“预选车牌区域”的上边界。

(1.1.5)利用公式计算图像X轴方向上的“预选车牌区域”的蓝色像素点数阈值X_thresh。q为可任意设置的整数，q值越大，则抗干扰能力越强，但会造成精确度降低。

(1.1.6)在上边界PY₁和下边界PY₂所在的区域内，搜索并统计图像在X轴方向上的蓝色像素点数，得到1×n的矩阵V∈N^*1×n。

(1.1.7)确定“预选车牌区域”的左边界PX₁。从矩阵的第1列开始依次比较V_1,k(1≤k≤n,k∈N^*)与X_thresh大小，当V_1,k＞X_thresh时，将该k值赋给PX₁，作为“预选车牌区域”的左边界。

(1.1.8)确定“预选车牌区域”的右边界PX₂。从矩阵的最后一列n开始依次比较V_1,n-l(PX₁＜l＜n,l∈N^*)与X_thresh大小，当V_1,n-l＞X_thresh时，将该l值赋给PX₂，作为“预选车牌区域”的右边界。

(1.1.9)计算“预选车牌区域”区域内的白色像素点占比和区域长宽比。在上下边界PY₁、PY₂，左右边界PX₁、PX₂合围的区域内统计白色像素点个数a，计算白色像素所占比 $\mathrm{ratio}\_w=\frac{a}{({\mathrm{PY}}_2-{\mathrm{PY}}_1+1)\×{\mathrm{PX}}_2-{\mathrm{PX}}_1+1)},$ 以及长宽比 $\mathrm{ratio}\_l=\frac{({\mathrm{PY}}_2-{\mathrm{PY}}_1+1)}{({\mathrm{PY}}_2-{\mathrm{PX}}_1+1)}.$

(1.1.10)判断是否为车牌。如果r₁≤ratio_w≤r₂，并且r₃≤ratio_l≤r₄，则判断为车牌，否则将上下边界PY₁、PY₂，左右边界PX₁、PX₂合围区域矩阵的元素全部置为0，并重新从步骤(1.1.3)开始，直至判定为车牌为止。在本实施例中，r₁＝0.12，r₂＝0.5，r₃＝0.6,r₄＝0.6。

(1.2)车窗定位。利用hough直线检测获得车窗上下边界和左右边界，以及车牌与上下左右边界之间的距离关系来确定车窗位置；如图5所示。所述步骤(1.2)包含的主要步骤如下：

(1.2.1)初步定位车窗。通过统计得到图像中小型车辆车窗上、下、左、右边界与车牌上、下、左、右之间的距离，根据这个距离，得到车窗粗略位置矩形框W₀(x₀,y₀,w₀,h₀)，其中x₀表示车窗粗略位置矩形框W₀左上角顶点位置的横坐标，y₀表示车窗粗略位置矩形框W₀左上角顶点位置的纵坐标，w₀表示车窗粗略位置矩形框W₀的宽，h₀表示车窗粗略位置矩形框W₀的高。

(1.2.2)hough直线检测。将原始图像I转换为灰度图像G，对灰度图像G进行直方图均衡化，得到处理后的图像G_histeq，对图像G_histeq进行gaussian滤波，得到滤波后的图像G_histeq-g。将算子作用于图像G_histeq-g，得到处理后的图像G_canny，将hough概率变换作用于图像G_canny检测直线段。

(1.2.3)精确定位车窗。步骤(1.2.1)中W₀(x₀,y₀,w₀,h₀)区域内，计算由(1.2.2)步骤获得的直线段与车牌位置的距离、直线段之间相互距离、直线段的斜率，最终确定车窗位置W(x,y,w,h),其中x表示最终车窗位置矩形框W左上角顶点位置的横坐标，y表示最终车窗位置矩形框W左上角顶点位置的纵坐标，w表示最终车窗位置矩形框W的宽，h表示最终车窗位置矩形框W的高。

(1.3)前排乘客区域获取。利用haar特征空间检测车窗区域内人脸，如果检测到人脸，根据人脸区域进一步确定前排乘客区域；如果未能检测到人脸，则将定位的车窗分为左右部分，并进行一定量的区域缩减，获得主驾驶区域和副驾驶区域，作为前排乘客区域，如图6所示。所述步骤(1.3)包含的主要步骤如下：

(1.3.1)在步骤(1.2)所定位的车窗区域内，利用Haar分类器来检测人脸，得到人脸矩形框L(x₁,y₁,w₁,h₁)，其中x₁表示人脸矩形框L左上角顶点位置的横坐标，y₁表示人脸矩形框L左上角顶点位置的纵坐标，w₁表示人脸矩形框L的宽，h₁表示人脸矩形框L的高。如果检测到人脸L(x₁,y₁,w₁,h₁)，则由下列公式依次计算：

$x_{\mathrm{ROI}}=\left\{\begin{array}{cc}{x}_1-0.5w_1& ,x_1-0.5w_1>0\\ x& ,x_1-0.5w_1\≤0\end{array}\right.$

y_ROI＝y₁

$w_{\mathrm{ROI}}=\left\{\begin{array}{cc}2w_1& ,x_{\mathrm{ROI}}+2w_1<x+w\\ x-x_{\mathrm{ROI}}& ,x_{\mathrm{ROI}}+2w_1\&GreaterEqual;x+w\end{array}\right.$

$h_{\mathrm{ROI}}=\left\{\begin{array}{cc}2.5h_1& ,y_{\mathrm{ROI}}+2.5h_1<y+h\\ y-y_{\mathrm{ROI}}& ,y_{\mathrm{ROI}}+2.5h_1\&GreaterEqual;y+h\end{array}\right.$

可获得ROI区域I_ROI(x_ROI,y_ROI,w_ROI,h_ROI)，作为前排乘客区域图像C。

如果未能检测到人脸，则根据车窗位置W(x,y,w,h)，由下列公式依次计算：

x_ROI1＝x+0.6w

y_ROI1＝y+0.12w

w_ROI1＝(x+w)-x_ROI1

$h_{\mathrm{ROI}1}=\left\{\begin{array}{cc}0.8h& ,y_{\mathrm{ROI}1}+0.8h<y+h\\ y-y_{\mathrm{ROI}1}& ,y_{\mathrm{ROI}1}+0.8h\&GreaterEqual;y+h\end{array}\right.$

获得主驾驶ROI区域I_ROI1＝(x_ROI1,y_ROI1,w_ROI1,h_ROI1)，由下列公式依次计算：

x_ROI2＝x

y_ROI2＝y+0.12w

w_ROI1＝0.3w

$h_{\mathrm{ROI}2}=\left\{\begin{array}{cc}0.8h& ,y_{\mathrm{ROI}2}+0.8h<y+h\\ y-y_{\mathrm{ROI}2}& ,y_{\mathrm{ROI}2}+0.8h\&GreaterEqual;y+h\end{array}\right.$

获得副驾驶ROI区域I_ROI2＝(x_ROI2,y_ROI2,w_ROI2,h_ROI2)。将和I_ROI2作为前排乘客区域图像C。

(2)前排乘客区域图像预处理。对前排乘客区域图像C进行直方图均衡化，得到处理后的图像C^h；对图像C^h进行gaussian滤波，获得滤波后的图像C^hg；将算子作用于图像C^hg，获得处理后的图像C^hgc；利用迭代法对图像C^hgc进行阈值分割，并对小面积对象进行填充，获得最终处理的前排乘客区域图像C'。

步骤2：感兴趣区域获取。对步骤1获得处理后的前排乘客区域C'进行进一步选取，选取驾驶员颈部以下区域图像作为感兴趣区域样本；

对识别结果有重要影响的是驾驶员颈部以下区域，而这一区域基本是在整幅图片相对固定的位置。因此，为了减少图片中其它无用信息的干扰，进一步提高识别结果的准确性，并且为了节省运算时间，本发明对最终处理的前排乘客区域图像C'作进一步选取，只读取驾驶员颈部以下区域图像作为样本进行安全带佩戴检测识别。

感兴趣区域读取后要进行识别的样本图如附图7所示，其中图中A为未佩戴安全带样本，B为佩戴安全带样本。

步骤3：模型数据集建立。将感兴趣区域样本集分为训练集，验证集，测试集，以作为下一步骤使用。

本发明所建立模型的输入为读取的二值化后图像的像素值序列，设定整个模型图像集合为D，模型数据集分下述3个部分建立：

训练集包括训练图片集和训练标签集，其中训练集用来估计模型。

验证集包括验证图片集和验证标签集，其中验证集用来确定网络结构或者控制模型复杂程度的参数。

测试集包括测试图片集和测试标签集，而测试集则用来检验最终选择最优的模型的性能如何。

本实施例中采用40张图片作为训练集，40张图片作为验证集，25张图片作为测试集，模型的最终目标是从输入的图像集中识别是否佩戴安全带，设定佩戴标签为1，未佩戴标签为0。所建立的数据集为读取的图片的像素值序列，其中建立的3项数据集分别(其中array数组里面是读取的像素值序列，dtype表示数据类型)如图8、图9和图10所示。

步骤4：深度学习算法模型建立。利用训练集建立深度学习算法模型，并用验证集优化深度学习算法模型的网络结构和参数。包括以下步骤：

(4.1)学习RBM模型

RBM模型是一种典型的基于能量的神经网络模型，结构如图11所示：

假定v_i(i＝1,2…,m)表示可视层节点，而h_j(j＝1,2…,n)表示隐藏层节点，这里m和n分别表示可视层与隐藏层节点的个数，θ＝{W,b,a}为RBM模型的参数，W_ij表示可见层节点v_i与隐藏层节点h_j之间的连接权值，b_i和a_j分别表示v_i和h_j的偏置值。

本实施例所建立的整个DBN模型将设1个输入层，3个隐藏层，1个输出分类层，首先将读取的每幅图片的像素值序列作为输入的可视层节点，所以输入层节点数为m＝3000，3个隐藏层的节点数均设为n＝3500，最后的分类层采用逻辑回归分类器产生最后的模型输出，而输出结果针对是否佩戴安全带，因此输出层有两个节点，整个DBN模型各层节点数即为3000-3500-3500-3500-2。下述中，v_i(i＝1,2…,3000)表示可视层节点，而h_j(j＝1,2…,3500)表示隐藏层节点，θ＝{W,b,a}为RBM模型的参数，W_ij表示可见层节点v_i与隐藏层节点h_j之间的连接权值，b_i和a_j分别表示v_i和h_j的偏置值，按如下步骤训练RBM模型，如图12所示：

(4.1.1)随机初始化模型参数θ＝{W,b,a}

在本实施例中，设定可视层节点数为3000，隐藏层节点数3500.则可视层与隐藏层之间的权重W在区间内选取初始值，而两个偏置项的初始值随机选取。

(4.1.2)本实施例中，设定3个隐藏层，则每层RBM模型的能量函数E(v,h；θ)如下计算，其中v_i(i＝1,2…,3000)，h_j(j＝1,2…,3500)分别表示可视层与隐藏层节点，b_i(i＝1,2…,3000)，a_j(j＝1,2…,3500)分别表示可视层与隐藏层的偏置值。

$\begin{array}{c}E(v,h;\mathrm{\&theta;})=-v^T\mathrm{Wh}-b^{T}v-a^{T}h\\ =\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{W}_{\mathrm{ij}}{v}_i{h}_j-\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{b}_i{v}_i-\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{a}_j{h}_j\end{array}$

(4.1.3)然后由上述求得的能量函数，求出可视层与隐藏层的联合概率分布P(v,h；θ)

由于RBM的状态符合玻尔兹曼分布形式，即可视层节点和隐藏层节点的联合概率分布可由下述公式求得

$P(v,h;\mathrm{\&theta;})=\frac{1}{Z\left(\mathrm{\&theta;}\right)}\exp (-E(v,h;\mathrm{\&theta;})),$

$Z\left(\mathrm{\&theta;}\right)=\underset{v}{\mathrm{\&Sigma;}}\underset{h}{\mathrm{\&Sigma;}}\exp (-E(v,h;\mathrm{\&theta;}))$

其中，Z(θ)是—个分布和，或者叫做归一化常数。

(4.1.4)然后求得RBM模型分配给可视层v的概率P(v；θ)

$P(v;\mathrm{\&theta;})=\frac{1}{Z\left(\mathrm{\&theta;}\right)}\underset{h}{\mathrm{\&Sigma;}}\exp (-E(v,h;\mathrm{\&theta;}))$

(4.1.5)最后求得本实施例中3个RBM模型的可视层节点或隐藏层节点被激活时，即状态为1时的概率，即P(v_i＝1|h)与P(h_j＝1|v)

$P(h_j=1|v)=g(\underset{i}{\mathrm{\&Sigma;}}{W}_{\mathrm{ij}}{v}_i+a_j),$

$P(v_i=1|h)=g(\underset{j}{\mathrm{\&Sigma;}}{W}_{\mathrm{ij}}{h}_j+b_i)$

其中，g(x)为sigmoid函数，是一个逻辑函数。

(4.1.6)RBM模型吉布斯采样(训练参数θ)

RBM模型为二部图并且可视层v与隐藏层h之间满足玻尔兹曼分布，因此，当输入v的时候，通过P(h|v)可以得到隐藏层h，而得到隐藏层h之后，通过P(v|h)又能重构可视层，目标是要通过调整参数θ，使得从隐藏层重构后的可视层v₁与原来的可视层v尽可能一样，这样得到的隐藏层就是可视层的另外一种表达，然后计算可视层的重构误差ε，若ε较大，则要继续通过P(h₁|v₁)求得新的隐藏层h₁，然后继续重构可视层，如此反复执行，直至重构误差ε达到合理的范围，或者重构步数到达要求，如此吉布斯采样过程结束，即RBM模型参数θ的训练完成；RBM模型吉布斯采样过程如图13所示。在本实施例中，设定吉布斯采样步数为15步。

(4.1.7)RBM模型训练参数的迭代更新(极大似然学习法)

RBM模型采用上述迭代的方式进行训练，训练的目标在于学习出参数θ＝(W,b,a)的值，以拟合给定的训练数据。参数θ可以通过最大化目标函数logP(v；θ)得到，根据极大似然准则得出，参数θ＝(W,b,a)可如下更新：

$\frac{\&PartialD;\log P(v;\mathrm{\&theta;})}{\&PartialD;W}=\mathrm{\&alpha;}\left(E_{\mathrm{data}}\right[{\mathrm{vh}}^T]-E_{\mathrm{mode}l}[{\mathrm{vh}}^T\left]\right),$

$\frac{\&PartialD;\log P(v;\mathrm{\&theta;})}{\&PartialD;a}=\mathrm{\&alpha;}\left(E_{\mathrm{data}}\right[h]-E_{\mathrm{mode}l}[h\left]\right),$

$\frac{\&PartialD;\log P(v;\mathrm{\&theta;})}{\&PartialD;b}=\mathrm{\&alpha;}\left(E_{\mathrm{data}}\right[v]-E_{\mathrm{mode}l}[v\left]\right)$

其中，α为预训练的学习效率；在本实施例中，设定三个参数的学习效率均为α＝0.01，然后按照梯度下降法更新参数。

(4.2)学习DBN模型

通过自底向上组合多个RBM模型可以构建一个DBN结构，也即DBN的相邻两层可以看作一个单独的限制玻尔兹曼机，因此学习一个DBN相当于学习多个RBM，DBN模型结构如附图14所示：

DBN模型的训练包含预训练和微调两个步骤。

(4.2.1)预训练阶段(无监督特征学习)DBN采用无监督逐层训练的方式对各层中的RBM进行训练，学习到此层的RBM模型参数，其中包括可视层与隐藏层之间的连接权值以及隐藏层的节点值。作为最底层RBM的输入一般来自于原始训练数据集，本实施例中为输入的40张训练图片的像素值序列，即为读取的3000个像素节点，首先按上述步骤进行最底层RBM模型(3000-3500)的训练，得到训练参数以及隐藏层的节点值，并且将低一层RBM的隐藏层输出作为更高一层RBM的可视层输入，如此按上述步骤学习每一层RBM。在实施例中，将训练集40张图片按批训练，每批训练5张图片，共训练8批，并且设定每个RBM模型分别进行500次预训练。

(4.2.2)微调阶段(有监督微调网络)这一阶段采用有监督学习方式对最后一层的分类器进行训练，并将实际输出与预期输出的误差逐层向后传播，利用BP梯度下降法法进行逐层微调，对整个DBN网络的权值参数进行优化。本实施例中，微调过程的学习效率设为β＝0.1，并且每次微调进行200次。

其中，DBN模型的训练过程如图15所示。

步骤5：安全带佩戴识别。利用步骤4中建立的深度学习算法模型，对测试集中的感兴趣区域样本进行安全带佩戴识别和验证。

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (11)

1.一种基于深度学习的安全带佩戴识别方法，其特征在于，包括如下步骤：(1)利用RGB色彩空间下车牌图像中像素点比例关系确定车牌位置；

(2)根据车牌位置，结合hough直线检测确定车窗区域；

(3)利用haar特征空间检测车窗区域内是否有人脸，若有，则根据人脸区域确定前排乘客区域C；若没有，则将车窗区域缩小并将车窗区域分为主、副驾驶区域，作为前排乘客区域C；

(4)对前排乘客区域C进行图像预处理获得前排乘客区域图像C'；

(5)在前排乘客区域图像C'中选取驾驶员颈部以下区域图像作为感兴趣区域样本集；

(6)利用感兴趣区域样本集建立模型数据集；

(7)通过模型数据集建立并优化深度学习算法模型；

(8)利用深度学习算法模型对感兴趣区域样本集进行安全带的佩戴识别。

2.根据权利要求1所述的一种基于深度学习的安全带佩戴识别方法，其特征在于，所述步骤(1)确定车牌位置的步骤如下：

1)读取一幅m×n像素的图像I，设定并初始化参数，参数包括图像Y轴方向上的“预选车牌区域”的蓝色像素点数阈值Y_thresh，白色像素所占比ratio_w＝0，“近似车牌”区域长宽比ratio_l＝0；

2)对图像在Y轴方向上的蓝色像素点进行扫描和统计，得到m×1的像素矩阵U；

3)计算矩阵U中的最大值U_i,1及最大值U_i,1所在行i(0＜i＜m,i∈N)，其中U_i,1表示矩阵U中第1行第i列的值；如果U_i,1小于设定值，则判定为图像I内没有牌照并跳回执行步骤1)；否则将i值赋给PY₂；

4)将PY₂作为“预选车牌区域”的下边界并搜索确定“预选车牌区域”的上边界PY₁；

5)利用公式计算图像X轴方向上的“预选车牌区域”的蓝色像素点数阈值X_thresh，q为可任意设置的正整数，q值越大，则抗干扰能力越强，但会造成精确度降低；

6)在上边界PY₁和下边界PY₂所在的区域内搜索并统计图像在X轴方向上的蓝色像素点数，得到1×n的像素矩阵V∈N^*1×n；

7)通过矩阵V∈N^*1×n确定“预选车牌区域”的左边界PX₁和右边界PX₂；

8)计算“预选车牌区域”区域内的白色像素点占比和区域长宽比；

9)判断并得到车牌位置。

3.根据权利要求2所述的一种基于深度学习的安全带佩戴识别方法，其特征在于，所述步骤4)搜索确定“预选车牌区域”的的上边界PY₁的方法为从矩阵U中的第i行开始依次读取i-j行(1≤j＜i,j∈N)的值U_(i-j),1，并比较U_(i-j),1与Y_thresh的大小；当U_(i-j),1＞Y_thresh时，将i-j的值赋给PY₁，作为“预选车牌区域”的上边界。

4.根据权利要求2所述的一种基于深度学习的安全带佩戴识别方法，其特征在于，所述步骤7)确定“预选车牌区域”的左边界PX₁和右边界PX₂的方法如下：

A)从矩阵的第一列开始依次比较V_1,k(1≤k≤n,k∈N^*)与X_thresh的大小，当V_1,k＞X_thresh时，将k值赋给PX₁，作为“预选车牌区域”的左边界；B)从矩阵的最后一列n开始依次比较V_1,n-l(PX₁＜l＜n,l∈N^*)与X_thresh的大小，当V_1,n-l＞X_thresh时，将l值赋给PX₂，作为“预选车牌区域”的右边界。

5.根据权利要求2所述的一种基于深度学习的安全带佩戴识别方法，其特征在于，所述步骤8)计算“预选车牌区域”区域内的白色像素点占比和区域长宽比的方法为在上下边界PY₁、PY₂，左右边界PX₁、PX₂合围的区域内统计白色像素点个数a，计算白色像素所占比 $\mathrm{ratio}\_w=\frac{a}{({\mathrm{PY}}_2-{\mathrm{PY}}_1+1)\&times;{\mathrm{PX}}_2-{\mathrm{PX}}_1+1},$ 以及长宽比 $\mathrm{ratio}\_l=\frac{({\mathrm{PY}}_2-{\mathrm{PY}}_1+1)}{({\mathrm{PX}}_2-{\mathrm{PX}}_1+1)}.$

6.根据权利要求2所述的一种基于深度学习的安全带佩戴识别方法，其特征在于，所述步骤9)判断并得到车牌位置的方法为如果r₁≤ratio_w≤r₂，并且r₃≤ratio_l≤r₄，则判断并得到为车牌位置；否则将上下边界PY₁、PY₂，左右边界PX₁、PX₂合围区域矩阵的元素全部置为0，并重新执行步骤3)。

7.根据权利要求1所述的一种基于深度学习的安全带佩戴识别方法，其特征在于，所述步骤(4)对前排乘客区域C进行图像预处理获得前排乘客区域图像C'的步骤如下：

I)对前排乘客区域图像C进行直方图均衡化，得到处理后的图像C^h；

II)对图像C^h进行gaussian滤波，获得滤波后的图像C^hg；

III)将canny算子作用于图像C^hg，获得处理后的图像C^hgc；

IV)利用迭代法对图像C^hgc进行阈值分割，并对对象进行填充，获得前排乘客区域图像C'。

8.根据权利要求1所述的一种基于深度学习的安全带佩戴识别方法，其特征在于，所述步骤6)利用感兴趣区域样本集建立模型数据集的方法为将感兴趣样本集分为训练集、验证集与测试集，由训练集、验证集与测试集共同组成模型数据集；其中，训练集包括训练图片集和训练标签集；验证集包括验证图片集和验证标签集；测试集包括包括测试图片集和测试标签集。

9.根据权利要求1所述的一种基于深度学习的安全带佩戴识别方法，其特征在于，所述步骤(7)深度学习算法模型包括RBM(限制玻尔兹曼机)模型与DBN(深度信赖网络)模型。

10.根据权利要求1或9所述的一种基于深度学习的安全带佩戴识别方法，其特征在于，学习RBM(限制玻尔兹曼机)模型的步骤如下：

a)随机初始化模型参数θ＝{W,b,a}；其中W为可视层节点与隐藏层节点之间的权重，b为可视层节点偏置值，a为隐藏层节点偏置值；

b)按下述公式求出RBM模型的能量函数E(v,h；θ)；

$\begin{array}{c}E(v,h;\mathrm{\&theta;})=-v^T\mathrm{Wh}-b^{T}v-a^{T}h\\ =\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{W}_{\mathrm{ij}}{v}_i{h}_j-\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{b}_i{v}_i-\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{a}_j{h}_j\end{array}$

其中，m、n分别为可视层和隐藏层节点的个数；

c)根据能量函数)求得可视层与隐藏层的联合概率分布

$P(v,h;\mathrm{\&theta;})=\frac{1}{Z\left(\mathrm{\&theta;}\right)}\exp (-E(v,h;\mathrm{\&theta;})),$

$Z\left(\mathrm{\&theta;}\right)=\underset{v}{\mathrm{\&Sigma;}}\underset{h}{\mathrm{\&Sigma;}}\exp (-E(v,h;\mathrm{\&theta;}))$

其中，Z(θ)是—个归一化常数；

d)按下述公式求出RBM模型分配给可视层v的概率P(v；θ)；

$P(v;\mathrm{\&theta;})=\frac{1}{Z\left(\mathrm{\&theta;}\right)}\underset{h}{\mathrm{\&Sigma;}}\exp (-E(v,h;\mathrm{\&theta;}))$

e)按下述公式求得佩戴安全带状态下的概率P(v_i＝1|h)与P(h_j＝1|v)；

$P(h_j=1|v)=g(\underset{i}{\mathrm{\&Sigma;}}{W}_{\mathrm{ij}}{v}_i+a_j),$

$P(v_j=1|h)=g(\underset{j}{\mathrm{\&Sigma;}}{W}_{\mathrm{ij}}{h}_i+b_j)$

其中，g(x)为sigmoid函数，是一个逻辑函数；

f)对RBM模型进行吉布斯采样及RBM模型训练参数的迭代更新。

11.根据权利要求1或9所述的一种基于深度学习的安全带佩戴识别方法，其特征在于，所述的DBN(深度信赖网络)模型为若干个RBM(限制玻尔兹曼机)模型通过自底向上组合得到；对DBN(深度信赖网络)模型的学习训练包括预训练和微调两个阶段。