CN105913022A - 一种基于视频分析的手持式打电话状态判别方法及系统 - Google Patents

Abstract

本发明公开了一种基于视频分析的手持式打电话状态判别方法及系统，可用于监控判别驾驶员手持式打电话状态，本发明的手持式打电话状态判别方法及系统是在数字摄像机作为传感器以及数字信号处理芯片的支持下实现的，通过视频采集数字视频，将采集的数字视频转换成多帧连续数字图像，将多角度人脸检测、基于人脸结构的左右脸分割方法、支持向量机分类器分类半边脸部分图像、基于连续多帧图像的分析、统计、综合等多种手段融合并用，最后得到被监控目标对象的可靠打电话状态，极大的提高了手持式打电话状态判别的准确性和效率，降低了误警率，鲁棒性高，具有极高的实用性。

Description

一种基于视频分析的手持式打电话状态判别方法及系统

技术领域

本发明涉及视频检测方法，尤其是一种对违规打电话驾驶机动车辆进行检测的基于视频分析的手持式打电话状态判别方法及系统。

背景技术

当前，交通事故已成为危害人类生命财产安全的主要公害之一，是世界各国面临的一个严重社会问题。交通事故中相当一部分是由于驾驶员违规驾驶而引发的，比如酒后驾驶、疲劳驾驶、打电话驾驶等等，其中，使用手持式移动通信设备打电话而引发的交通事故呈上升势头。为了减少驾驶员由于手机通话导致交通事故发生、辅助交警等有关部门更为有效的对驾驶员这一行为进行管理和执法，使用摄像头实时拍摄视频并应用计算机视觉分析技术实时检测手持式打电话状态，可有效解决打电话驾驶的预警和监控问题等。基于视频图像分析检测手持式打电话的方法是一种新兴技术，该技术采用数字摄像机作为传感器连续拍摄监控区域形成现场数字视频并传输给主控处理器。运行在主控处理器中的智能视频图像分析算法将对输入的数字视频图像进行处理、分析、识别和统计跟踪，最终检测出可能存在手持式打电话状态，作为安全驾驶早期预警或执法监控。

目前基于图像分析的手持式打电话状态检测方法有：基于手部识别的打电话检测算法、基于手持式电话设备检测的打电话检测算法等。这些方法的一个共同点就是需要检测某个特定的目标，比如手部、移动电话等，由于实际使用中，摄像机安装的角度、驾驶员打电话的姿势、光照角度、车辆抖动等等不确定因素的影响，特定目标的检测率偏低，误检率偏大，都存在鲁棒性不足的问题，可靠性偏低。

发明内容

为了解决上述技术问题，本发明的目的是提供一种鲁棒性更好、可靠性更高的基于视频分析的手持式打电话状态判别方法及系统。

一种基于视频分析的手持式打电话状态判别方法，本方法是在数字摄像机作为传感器以及数字信号处理芯片的支持下实现的，该方法包括以下步骤：

S1：所述数字摄像机连续拍摄指定区域采集数字视频，将采集数字视频转换成多帧连续的数字图像；

S2：通过多角度人脸检测算法在所述数字图像中检测出主要人脸区域；

S3：在检测出来的主要人脸区域基础上，运用人脸左右对称结构分割法提取所述数字图像人脸区域的第一半边脸部分图像和第二半边脸部分图像，并将所述的第二半边脸部分图像通过数字图像处理镜像为第一半边脸部分图像，将提取的第一半边脸部分图像缩放到适合尺寸，所述的第一半边脸部分图像或者第二半边脸部分图像可以包含头部、手持式设备和手部图像区域，所述第一半边脸部分图像可以是左半边脸部分图像或者右半边脸部分图像，如果第一半边脸部分图像是左半边脸部分图像，则第二半边脸部分图像是右半边脸图像，如果第一半边脸部分图像是右半边脸部分图像，则第二半边脸部分图像是左半边脸部分图像；

S4：将缩放到适合尺寸的第一半边脸部分图像，应用支持向量机分类器进行分类预测，得到是包含打电话状态的正类结果，或是不包含打电话状态的负类结果；

S5：综合支持向量机分类器得到的第一半边脸部分图像和第二半边脸部分图像分类结果，得到所述数字图像中主要人脸单帧打电话状态；

S6：重复步骤S2到步骤S5，连续检测、分析多帧图像中主要人脸打电话状态；

S7：综合步骤S6的统计分析结果，最终得到被监视目标对象的高置信度的打电话状态。

优选的，所述的数字摄像机采用CCD或者CMOS等模数转换芯片。

优选的，所述数字摄像机架设的位置要确保主要人脸宽度不小于100个像素。

优选的，步骤S2中是利用基于预先训练好的多角度人脸检测算法检测出主要人脸区域。

优选的，步骤S4中所述支持向量机分类器是利用打电话第一半边脸部分图像样本集和非打电话第一半边脸部分图像样本集预先训练好的，第一半边脸部分图像可以是左半边脸部分图像或者右半边脸部分图像，如果第一半边脸部分图像是左半边脸部分图像，则第二半边脸部分图像是右半边脸图像，如果第一半边脸部分图像是右半边脸部分图像，则第二半边脸部分图像是左半边脸部分图像。

优选的，步骤S7中所述主要监视目标对象打电话状态是经过连续多帧图像综合分析的结果。

一种基于视频分析的手持式打电话判别系统，其用于实施一种基于视频分析的手持式打电话判别方法，其包括视频采集模块：利用数字摄像机连续拍摄指定区域采集数字视频，将采集数字视频转换成多帧连续的数字图像；人脸检测模块：通过多角度人脸检测算法在所述数字图像中检测出主要人脸区域，在检测出来的主要人脸区域基础上，运用人脸左右对称结构分割法提取所述数字图像人脸区域的第一半边脸部分图像和第二半边脸部分图像，并将第二半边脸部分图像通过数字图像处理镜像为第一半边脸部分图像，将提取的第一半边脸部分图像缩放到适合尺寸，所述的第一半边脸部分图像或者第二半边脸部分图像可以包含头部、手持式设备和手部图像区域；如果第一半边脸部分图像是左半边脸部分图像，则第二半边脸部分图像是右半边脸图像，如果第一半边脸部分图像是右半边脸部分图像，则第二半边脸部分图像是左半边脸部分图像；分类模块：将缩放到适合尺寸的第一半边脸部分图像，应用支持向量机分类器进行分类预测，得到是包含打电话状态的正类结果，或是不包含打电话状态的负类结果；综合分析模块：综合支持向量机分类器得到的第一半边脸部分图像和第二半边脸部分图像分类结果，得到所述数字图像中主要人脸单帧打电话状态；连续检测、分析、综合多帧图像中主要人脸打电话状态；最终得到被监视目标对象的打电话状态

优选的，所述数字摄像机采用模数转换芯片包括CCD或者CMOS。

优选的，所述人脸检测模块是利用基于预先训练好的多角度人脸检测算法检测出主要人脸区域。

优选的，所述支持向量机分类器是利用打电话第一半边脸部分图像样本集和非打电话第一半边脸部分图像样本集预先训练好的，如果第一半边脸部分图像是左半边脸部分图像，则第二半边脸部分图像是右半边脸图像，如果第一半边脸部分图像是右半边脸部分图像，则第二半边脸部分图像是左半边脸部分图像。

本发明的基于视频分析的手持式打电话状态判别方法及系统通过将多角度人脸检测、人脸左右对称结构分割法、支持向量机分类器分类包含打电话时手部和手持式设备的半边脸部分图像、对多帧图像进行检测、分析、综合判断手持式打电话状态，极大的提高手持式打电话状态判别的准确性和效率，降低了误警率，鲁棒性高，具有极高的实用性。

附图说明

下面结合附图对本发明的具体实施方式作进一步说明：

图1是本发明的算法原理框图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图1是本发明的算法原理框图。

步骤1是采用数字摄像机作为传感器连续采集定点区域图像形成数字视频流作为信号源，数字摄像机采用CCD或者CMOS等模数转换芯片；摄像机的架设位置应以使所监控区域场景视频中主要人脸宽度不小于100个像素为宜。

由于手持式打电话行为其中的手持式设备是靠近人头部的耳朵和嘴巴，因此，可以通过定位人头部位置来相对的定位手部和设备的位置。由于摄像机安装角度是固定的，而驾驶人员打电话的姿态是不确定的，所以摄像机拍摄到的人脸角度是多样化的，可能是正脸、侧脸，甚至是平面旋转的，因此在数字摄像机获取到场景视频流后，首要解决的问题是要检测出多角度的主要人脸。本发明使用Adaboost分类器分别训练各个角度下的人脸分类器，最后组合成一个多角度人脸检测器。

本发明所述多角度人脸检测算法应用基于HAAR扩展集和局部二元模式(LBP)训练的Adaboost级联分类器来筛选检测特定角度的人脸区域。

Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。Adaboost训练过程如下：

1.先通过对N个训练样本的学习得到第一个弱分类器；

2.将分错的样本和其他的新数据一起构成一个新的N个的训练样本，通过对这个样本的学习得到第二个弱分类器；

3.将1和2都分错的样本加上其他的新样本构成另一个新的N个训练样本，通过对这个样本的学习得到第三个弱分类器；

4.最终经过提升得到强分类器。

步骤3经过步骤2之后，已经检测到主要的人脸区域。由于手持式打电话因人习惯和和当时场景不同而异，可能是左手左脸、左手右脸、右手右脸、右手左脸，甚至是将手机夹在头部和肩部之间，将手持式设备位于脸部左边称为“左边位”，将手持式设备位于脸部右边称为“右边位”。由于人体的对称性，以及打电话时手持式设备仅能位于人脸的一边，所以，理论上，可以将“右边位”镜像为“左边位”或者将“左边位”镜像为“右边位”进行分析，只分析半边脸部分图像，降低分析复杂度，减少了计算量。

下面选取分析左边脸部分图像为例进一步说明：本发明所述人脸左右对称结构分割法将步骤2获取到的主要人脸区域，基于人脸左右对称性原理，将人脸区域分割为左边脸部分区域和右边脸部分区域并对其进行抠取区域图像，左边脸部分区域向左边扩展足够宽度以便包含可能的打电话时手部和设备信息，右边脸部分区域向右边扩展足够宽度以便包含可能的打电话时手部和设备信息。将抠取出来的右边脸部分图像经过数字图像处理镜像为第二左边脸部分图像。将经抠取(和镜像)得到的两个左边脸部分图像缩放到适当大小，将作为手持式打电话SVM分类器的预测样本图。

步骤4经过步骤3之后，已经获取到主要人脸的两个待预测样本，本步骤将使用预先训练好的手持式打电话支持向量机(SVM)分类器对预测样本进行分类，如果两个预测样本中有一个被分类为打电话状态，则可以判定目标(即驾驶员)为打电话状态。

本发明所述算法采用的手持式打电话SVM分类器，没有将手部、头部和手持式设备分开分析，而是将手部、头部和手持式设备看成一个整体，着重分析三者构成的整体结构。由于手部、头部、设备、姿势、角度等等因素综合影响，因此样本呈多样性分布的，需要采集大量具有多样性差异的样本作为SVM分类器的学习样本训练SVM分类器。SVM分类器训练步骤：

1.采集学习样本，学习样本分为：正样本和负样本。样本素材一部分来自网络搜集整理，一部分来自组织自愿人员拍摄。组织一批自愿人员模拟驾驶员使用手持式设备打电话，然后使用摄像机进行拍摄视频，拍摄过程中变换各种打电话姿势和各种外形的手持式设备。后期制作样本时，从采集的视频中抠取符合要求的左边脸部分图像和右边脸部分图像，并将右边脸部分图像镜像为左边脸部分图像，最后缩放到标准大小。将具有打电话情景的样本分为正样本(类别标示为1)，其它样本分为负样本(类别标示为0)。

2.使用支持向量机SVM对提供的带有标签的学习样本进行学习，最终训练得到一个能够有效区别打电话与非打电话两种状态的SVM分类器模型。

3.训练好的SVM分类器模型就能用于对指定图像进行分类了，输出正类(值为1)则表明为打电话状态图像，输出负类(值为0)则表明为非打电话状态图像。

本发明使用支持向量机机器学习算法模型。支持向量机用于分类问题称为支持向量分类机SVCM，实现算法称为支持向量分类SVC算法。

支持向量分类SVC算法实现分类估计函数时，有3个特点：(1)利用高维空间中定义的线性函数来进行分类；(2)利用全局线性最小化来实现分类估计；(3)采用的风险函数由经验误差和一个由结构风险最小化原则导出的正则化部分组成。

给定一个n组关系未知样本的数据集H＝{(x_i,y_i)}，i＝1,…n，其中x_i是输入向量，y_i是期望值，n是数据点的总数。SVM可以利用一个非线性映射,将数据x映射到高维特征空间H,并在这个空间中进行线性逼近。由统计学习理论可知,该函数具有以下形式：

分类估计问题定义为对一个损失函数进行奉献最小化的问题，最优的分类函数是通过在一定的约束条件下最小化规则化风险泛函：

$\frac{1}{2}\left|\right|\mathrm{\ω}|{|}^2+C_l^1\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{L}_{\mathrm{\ϵ}}(y_i,f(x_i\left)\right)---\left(2\right)$

其中使得函数更为平坦，称为规则化项；第二项为经验风险泛函，可由不同的损失函数确定，常数C>0，惩罚函数，控制对超出误差的样本的惩罚程度。本文采用的ε-不敏感损失函数，

L_ε(y_i,f(x_i))＝max(|y_i-f(x_i)|-ε，0)

对于L_ε(y_i,f(x_i))，若估计输出f(x_i)与期望输出y_i的偏差的绝对值小于ε时，它等于0；否则，它等于输出f(x_i)与期望输出y_i的偏差的绝对值减去ε，通过引入非负的松弛变量ξ_i，ξ_i ^*，则上面的等式可转换为：

$min\frac{1}{2}\left|\right|\mathrm{\ω}|{|}^2+C_l^1\underset{i=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\ξ}}_i+{{\mathrm{\ξ}}_i}^{*})$

s.t.

${{\mathrm{\ξ}}_i}^{*}\≥0$

引入拉格朗日函数，我们最终可以得到：

$\mathrm{\ω}-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}(a_i-a_i^{*})x_i=0$

(g为常量)

$f\left(x\right)=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}(a_i-a_i^{*})K(x_i,x)+b$

由此可得，引入核函数K(x_i,x_j),K(x_i,x_j)是向量x_i,x_j在特征空间(x_i)和(x_j)上的内积，即K(x_i,x_j)＝(x_i)·(x_j)。上面式子可以变为：通过核函数所有的运算都可以直接在输入空间上计算，核函数的选择对支持向量机非常重要。

步骤5经过步骤4之后，已经可以判断当前帧主要目标是否使用手持式设备进行打电话，由于各种因素的综合影响，用于训练SVM分类器而采集整理的学习样本并不能完全覆盖任何可能情况，因此，基于单帧分析结果判定目标打电话状态，理论上存在一定概率的漏判和误判。为了提高最终判别结果的高准确性，本发明采用了连续多帧的综合统计分析来确定最终结果，从而提高了最终判别结果的可信度，提升了算法的准确性和鲁棒性。步骤6的基于连续多帧综合统计分析方法如下：

1.将每一帧的分析判别结果加入到结果队列中；

2.如果结果队列帧数小于F(F的合法范围为F>＝1的常数，可根据实际需求进行调整)，则不予分析；

3.如果结果队列帧数大于F，则统计最近的F帧结果(假设事先设定F＝6，如果结果队列帧数为10，则剔除前面4个帧数，取最后的6个帧数即最近的F帧结果进行统计)。

经过步骤6之后，步骤7综合步骤6统计结果判断检测目标的打电话状态，如果最近F帧中，发生手持式打电话的帧数比例超过80％，则认定分析目标(驾驶员)为打电话状态，否则认定分析目标(驾驶员)为非打电话状态

到此，一个手持式打电话状态判别器已经实现。在融合了多角度人脸检测、基于人脸结构的左右脸分割方法、支持向量机(SVM)分类器分类半边脸部分图像、基于连续多帧图像的统计分析等多种手段融合并用，极大的提高了手持式打电话状态判别的准确性和效率，降低了误警率，极大地提升了鲁棒性。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于视频分析的手持式打电话状态判别方法，本方法是在数字摄像机作为传感器以及数字信号处理芯片的支持下实现的，其特征在于，该方法包括以下步骤：

S1：所述数字摄像机连续拍摄指定区域采集数字视频，将采集数字视频转换成多帧连续的数字图像；

S2：通过多角度人脸检测算法在所述数字图像中检测出主要人脸区域；

S3：在检测出来的主要人脸区域基础上，运用人脸左右对称结构分割法提取所述数字图像人脸区域的第一半边脸部分图像和第二半边脸部分图像，并将所述的第二半边脸部分图像通过数字图像处理镜像为第一半边脸部分图像，将提取的第一半边脸部分图像缩放到适合尺寸，所述的第一半边脸部分图像或者第二半边脸部分图像可以包含头部、手持式设备和手部图像区域；

S4：将缩放到适合尺寸的第一半边脸部分图像，应用支持向量机分类器进行分类预测，得到是包含打电话状态的正类结果，或是不包含打电话状态的负类结果；

S5：综合支持向量机分类器得到的第一半边脸部分图像和第二半边脸部分图像分类结果，得到所述数字图像中主要人脸单帧打电话状态；

S6：重复步骤S2到步骤S5，连续检测、分析多帧图像中主要人脸打电话状态；

S7：综合步骤S6的统计分析结果，最终得到被监视目标对象的打电话状态。

2.根据权利要求1所述的基于视频分析的手持式打电话状态判别方法，其特征在于，所述数字摄像机采用CCD模数转换芯片或者CMOS模数转换芯片。

3.根据权利要求1所述的基于视频分析的手持式打电话状态判别方法，其特征在于：步骤S2中是利用基于预先训练好的多角度人脸检测算法检测出主要人脸区域。

4.根据权利要求1所述的基于视频分析的手持式打电话状态判别方法，其特征在于：步骤S4中所述支持向量机分类器是利用打电话第一半边脸部分图像样本集和非打电话第一半边脸部分图像样本集预先训练好的。

5.根据权利要求1所述的基于视频分析的手持式打电话状态判别方法，其特征在于：步骤S4中所述支持向量机分类器是通过分析头部、手部、手持式设备构成的一体结构进行分类预测。

6.根据权利要求1所述的基于视频分析的手持式打电话状态判别方法，其特征在于：步骤S4所述分类预测方法是利用人脸对称结构实现基于半边脸图像的打电话状态分析，并通过将第二半边脸部分图像镜像为第一半边脸部分图像而实现基于第一半边脸部分图像的打电话状态分析。

7.根据权利要求1所述的基于视频分析的手持式打电话状态判别方法，其特征在于：所述步骤S6包括以下子步骤：

S61：将每一帧的分析判别结果加入到结果队列中；

S62：事先设置好队列帧数F，F可以是大于或等于1的常数，如果结果队列帧数小于F，则不予分析；

S63：如果结果队列帧数大于F，则统计最近的F帧结果。

8.根据权利要求7所述的基于视频分析的手持式打电话状态判别方法，其特征在于：所述步骤S7综合步骤S6的分析统计结果，如果最近F帧中，发生手持式打电话的帧数比例超过80%，则认定分析目标为打电话状态，否则认定分析目标为非打电话状态。

9.一种基于视频分析的手持式打电话状态判别系统，其特征在于，其用于实施如权利要求1至8任一项所述的基于视频分析的手持式打电话状态判别方法，系统包括：

视频采集模块：用于连续拍摄指定区域采集数字视频，并将采集数字视频转换成多帧连续的数字图像；

人脸检测模块：通过多角度人脸检测算法在所述数字图像中检测出主要人脸区域，在检测出来的主要人脸区域基础上，运用人脸左右对称结构分割法提取所述数字图像人脸区域的第一半边脸部分图像和第二半边脸部分图像，并将第二半边脸部分图像通过数字图像处理镜像为第一半边脸部分图像，将提取的第一半边脸部分图像缩放到适合尺寸，所述的第一半边脸部分图像或者第二半边脸部分图像可以包含头部、手持式设备和手部图像区域；

分类模块：将缩放到适合尺寸的第一半边脸部分图像，应用支持向量机分类器进行分类预测，得到是包含打电话状态的正类结果，或是不包含打电话状态的负类结果；

综合分析模块：综合支持向量机分类器得到的第一半边脸部分图像和第二半边脸部分图像分类结果，得到所述数字图像中主要人脸单帧打电话状态；连续检测、分析、综合多帧图像中主要人脸打电话状态；最终得到被监视目标对象的打电话状态。

10.根据权利要求9所述的一种基于视频分析的手持式判别系统，其特征在于，所述数字摄像机采用包括CCD模数转换芯片或者CMOS模数转换芯片；所述人脸检测模块是利用基于预先训练好的多角度人脸检测算法检测出主要人脸区域；所述支持向量机分类器是利用打电话第一半边脸部分图像样本集和非打电话第一半边脸部分图像样本集预先训练好的。