CN109800640A - 一种基于二维曲面拟合的吸烟检测方法 - Google Patents

Abstract

本发明公开了一种基于二维曲面拟合的吸烟检测方法，该方法包括以下步骤：获取68个关键点从中选取7个特定关键点，基于特定关键点画出五官框，确定吸烟感兴趣区域；在吸烟感兴趣区域进行图像灰度化处理，获取二值化图像，在此基础上进行连通区域提取，获取矩形区域，并在矩形区域上建立二维高斯函数；将连通区域的点和灰度值带入二维高斯函数中，用最小二乘法拟合，求得中心点和亮点的方差，根据所计算出的中心点和方差确定亮点的中心点和半径大小，进而根据阈值判断，实现对吸烟的检测。本发明实现了从视觉的角度对驾驶过程中司机的抽烟行为做出检测，并发出警告提示，满足实际应用中的多种需要。

Description

一种基于二维曲面拟合的吸烟检测方法

技术领域

本发明涉及视觉特征的行为检测领域，尤其涉及一种基于二维曲面拟合的吸烟检测方法。

背景技术

近年来，随着经济的发展，全球人均车辆保有量逐年提高，而交通事故的发生率也有所提高，交通事故成了社会共同的关注。在诸多交通事故发生的原因中，除超载，超速和酒驾外，司机处于疲劳驾驶，吸烟和玩手机等分心行为也是十分常见的安全隐患。但是如果能够预先检测出驾驶人在驾驶过程中的异常行为并且预先给出相应的警告的话，那么就能够让驾驶者察觉到有可能发生的危险，从而降低驾驶的危险，从而减少交通事故的发生。

大部分吸烟检测的方法是基于烟雾传感器来实现的，但是这种依赖于烟雾传感器的吸烟检测的成本是不低的，而基于视觉的吸烟检测的方法所注意的检测特征是吸烟者在吸烟的过程中产生的烟雾。

其中，基于混合高斯模型和帧差法的吸烟检测算法^[1]所提出的方法就是利用帧差法和混合高斯模型来获得视频中运动的烟雾，然后将烟雾区域提取出来，进行吸烟的判别。这种方法对于烟雾特征较为明显的图像比较有效，但考虑到驾驶人吸烟的图像的烟雾成像往往会受到光照的影响，使得烟雾并不明显，这种方法存在诸多干扰。

目前国内外对于基于视觉特征的吸烟检测方法在当前公布的众多论文、专利中均很少，而且常常不能满足系统实时性的要求。

发明内容

本发明提供了一种基于二维曲面拟合的吸烟检测方法，本发明实现了从视觉的角度对驾驶过程中司机的抽烟行为做出检测，并发出警告提示，满足实际应用中的多种需要，详见下文描述：

一种基于二维曲面拟合的吸烟检测方法，所述方法包括以下步骤：

获取68个关键点从中选取7个特定关键点，基于特定关键点画出五官框，确定吸烟感兴趣区域；

在吸烟感兴趣区域进行图像灰度化处理，获取二值化图像，在此基础上进行连通区域提取，获取矩形区域，并在矩形区域上建立二维高斯函数；

将连通区域的点和灰度值带入二维高斯函数中，用最小二乘法拟合，求得中心点和亮点的方差，根据所计算出的中心点和方差确定亮点的中心点和半径大小，进而根据阈值判断，实现对吸烟的检测。

进一步地，所述获取68个关键点具体为：

通过结合HAAR特征和adaboost分类的Viola Jones检测器确认驾驶人在图像上的位置，基于集成回归树确定人脸的68个关键点。

其中，所述7个特定关键点具体为：

左眼的左眼角和右眼角位置、右眼的左眼角和右眼角位置、鼻子的位置点、以及嘴巴的左右嘴角的位置。

具体实现时，所述吸烟感兴趣区域具体为：

将嘴巴框的下边与眼睛框的下边之间的垂直距离作为感兴趣区域的垂直距离，将人脸框的左边和右边位置的水平距离作为感兴趣区域的水平距离。

进一步地，所述二维高斯函数具体为：

其中，G表示高斯分布的幅度值，(x₀,y₀)表示高斯分布的中点，σ_x为水平方向的方差，σ_y为垂直方向的方差。

本发明提供的技术方案的有益效果是：

1、本发明使用视觉来检测驾驶人吸烟状态，不需要传统的烟雾传感器来检测烟雾从而判断驾驶人的吸烟行为，仅需在摄像头拍摄到的图像上进行检测；

2、本发明降低了产品成本，且具有一定的高效性，可用于车载辅助驾驶系统中；

3、本方法可行简单，并且在光照强烈的场合不会引起误判为吸烟的情况，降低了吸烟检测的误报率；

4、在适用场景方面，本方法实现了能够在光照多变的环境下(包括白天、夜晚、顺光、逆光等)工作，同时在驾驶员佩戴眼镜、墨镜等情况下正常工作。

附图说明

图1为一种基于二维曲面拟合的吸烟检测方法的流程图；

图2为人脸左眼睛框、右眼睛框和嘴巴框的示意图，以及确定的吸烟感兴趣区域的示意图；

图3为人脸检测效果及人脸关键点检测效果示意图；

图4为吸烟感兴趣区域的二值化图像的示意图；

图5为吸烟检测的效果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

由于考虑到吸烟者处于吸烟状态时在图像上呈现的最显著的特征就是烟头所形成的亮点，但是考虑到光照剧烈的情况下，图像很有可能因为剧烈光照而产生明亮的一块，也就是光照的影响会干扰基于亮点特征的吸烟检测方法，但是吸烟呈现出的亮斑在边缘变化剧烈，而光照形成的亮块变化比较平稳。

实施例1

本发明实施例提供了一种基于二维曲面拟合的吸烟检测的方法，参见图1，该方法包含以下步骤：

101：获取68个关键点从中选取7个特定关键点，基于特定关键点画出五官框，确定吸烟感兴趣区域；

102：在吸烟感兴趣区域进行图像灰度化处理，获取二值化图像，在此基础上进行连通区域提取，获取矩形区域，并在矩形区域上建立二维高斯函数；

103：将连通区域的点和灰度值带入二维高斯函数中，用最小二乘法拟合，求得中心点和亮点的方差，根据所计算出的中心点和方差确定亮点的中心点和半径大小，进而根据阈值判断，实现对吸烟的检测。

其中，步骤101中的获取68个关键点具体为：

通过结合HAAR特征和adaboost分类的Viola Jones检测器确认驾驶人在图像上的位置，基于集成回归树确定人脸的68个关键点。

进一步地，步骤101中的获取7个特定关键点具体为：

左眼的左眼角和右眼角位置、右眼的左眼角和右眼角位置、鼻子的位置点、以及嘴巴的左右嘴角的位置。

其中，步骤101中的所述吸烟感兴趣区域具体为：

将嘴巴框的下边与眼睛框的下边之间的垂直距离作为感兴趣区域的垂直距离，将人脸框的左边和右边位置的水平距离作为感兴趣区域的水平距离。

综上所述，本发明实施例提供了一种基于二维曲面拟合的吸烟检测的方法，本方法在定位出人脸上的吸烟感兴趣区域的基础上，使用二维曲面拟合的方法来确定亮部区域变化的剧烈情况，从而检测出驾驶人的吸烟行为。

在实际应用时，使用车内摄像头获取驾驶人的图像，使用本方法检测出驾驶人的吸烟行为，并提前提醒驾驶人请勿吸烟、集中驾驶等操作，实现对驾驶行为的实时监测和预警，本方法简单，提高了检测的实时性。

实施例2

下面结合具体的计算公式、实例、以及图2-图5对实施例1中的方案进行进一步地介绍，详见下文描述：

201：通过车内红外摄像头采集图像；

将车内红外摄像头(本发明实施例对红外摄像头的型号不做限制)安装在车内与操作台上方的位置，并且保证采集到的图像能够使得驾驶人出现在图像中间位置。

其中，摄像头可向上倾斜(具体倾斜角度可根据摄像头分辨率和驾驶操作台高度决定，能够保证拍摄到的完整的正常正脸即可)。

202：对摄像头所采集到的图像进行人脸检测，使用结合HAAR(哈尔)特征和adaboost分类的Viola Jones检测器^[1]在图像中确认驾驶人在图像上的位置，然后再使用基于集成回归树的方法^[2]确定人脸的关键点；

具体实现时，本发明实施例在检测到的人脸图像中进行人脸五官定位，在68个关键点上选出特定的七个点，分别是左眼的左眼角和右眼角位置、右眼的左眼角和右眼角位置、鼻子的位置点、以及嘴巴的左右嘴角的位置，可以参考图2。

203：基于七个人脸的关键点，画出人脸的五官框；

其中，左眼睛框的确定是依靠左眼睛的左边角点(x1,y1)和右边角点(x2,y2)，则两角点的水平距离为(y2-y1)，两角点可以确定一个中间点为将两点的水平距离作为左眼睛框的边长，把中间点作为左眼睛框的中心点，由此确定了左眼睛正方形框的位置和大小。

同样，可以用嘴巴的左边嘴角点(x3,y3)和右边的嘴角点(x4,y4)来确定嘴巴框的边长为(y4-y3)和中心点确定了左眼睛框和右眼睛框以及嘴巴框之后，再用这些五官框来确定吸烟感兴趣区域。

参见图3，将嘴巴框的下边与眼睛框的下边之间的垂直距离作为吸烟感兴趣区域的垂直距离，将人脸框的左边和右边位置的水平距离作为吸烟感兴趣区域的水平距离，因此确定了吸烟的感兴趣区域。

204：在吸烟感兴趣区域进行图像灰度化处理，获取二值化图像，进而进行图像膨胀操作获取完整的连通区域；

其中，本发明实施例在确定了吸烟感兴趣区域后，考虑到吸烟行为会使得吸烟感兴趣区域出现点燃的烟头，在图像上显示为一个亮点。在吸烟感兴趣区域进行图像灰度化处理，因为烟头在图像上比较亮，体现在灰度值上就是灰度值很大，十分接近255。

然后根据经验值确定一个灰度阈值(可以选择介于250到255之间的数)。将灰度值小于灰度阈值的灰度值置为0，而将其余的灰度值置为1，由此得到了吸烟区域的二值化图像，可参考图4。

然后在二值化的图像上进行图像膨胀操作，为的就是填充内部区域，得到完整的连通区域。取得膨胀内核的像素大小可以依据于吸烟感兴趣区域的大小而定(比如选取8*8到15*15之间)。

205：在二值化图像上进行连通区域提取，获取矩形区域，然后在矩形区域上建立二维高斯函数二维曲面模型；

其中，公式1表示的是二维高斯函数，公式1中f(x,y)为位于(x,y)的像素点的像素值，需要确定参数为{G，x₀，y₀，σ_x，σ_y}。G表示高斯分布的幅度值，(x₀,y₀)表示高斯分布的中点，σ_x为水平方向的方差，σ_y为垂直方向的方差。

206：将连通区域的点(x,y)和灰度值f(x,y)带入二维高斯函数中，用最小二乘法进行拟合，最后可以求得中心点(x₀,y₀)和亮点的方差σ_x和σ_y，然后根据所计算出来的中心点和方差来确定亮点的中心点和半径大小。

其中，方差值越大代表亮点半径越大，也就是表示亮块变化区域平缓，而方差越小代表亮点半径越小也就是亮部变化剧烈。

然后根据亮点的半径大小来确定是烟头的亮点还是由于光照所产生的明亮部分，通常亮斑的半径越大说明亮斑的明暗变化比较平缓，是由光照照明产生；而亮斑的半径越小说明亮斑的明暗变化比较剧烈，是由一个小的发光源造成，所以可以判断为是烟头造成的。

本发明实施例取一个经验阈值(可以选择15到25之间的一个阈值)，即只有半径小于阈值的亮点才被判断为吸烟状态，吸烟检测的效果可参考图5。

综上所述，本发明实施例提供了一种基于二维曲面拟合的吸烟检测方法，本方法可行简单，并且在光照强烈的场合不会引起误判为吸烟的情况，降低了吸烟检测的误报率。

实施例3

下面结合图5对实施例1和2中的方案进行可行性验证，详见下文描述：

采用人脸检测和人脸关键点检测技术定位好人脸五官的位置，然后再根据人脸五官的位置确定吸烟区域，在吸烟的区域内进行二维高斯曲面拟合，如果拟合出来的曲面不符合亮点特征，则检测出驾驶人未抽烟，如图5中(a)所示，如果拟合出来的高斯曲面符合亮点的特征，则判断为驾驶人正在抽烟，如图5中(b)所示，此时给予请勿吸烟的语音警示，图5为吸烟检测的最终效果图。

综上所述，本发明实施例使用摄像头拍摄驾驶人，然后根据二维曲面拟合的吸烟检测对驾驶人的吸烟行为进行判断，如果判断为吸烟则要发出请勿吸烟的警告声以提醒驾驶人，达到预警效果。本方法的吸烟检测方法简单可行，能够有效地实现驾驶过程中的吸烟检测。

参考文献

[1]Viola P,Jones M.Robust Real-time Face Detection[J].InternationalJournal of Computer Vision,2004,57(2):137-154.

[2]Kazemi V,Sullivan J.One Millisecond Face Alignment with anEnsemble of Regression Trees[C]//Computer Vision and PatternRecognition.IEEE,2014:1867-1874.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于二维曲面拟合的吸烟检测方法，其特征在于，所述方法包括以下步骤：

获取68个关键点从中选取7个特定关键点，基于特定关键点画出五官框，确定吸烟感兴趣区域；

在吸烟感兴趣区域进行图像灰度化处理，获取二值化图像，在此基础上进行连通区域提取，获取矩形区域，并在矩形区域上建立二维高斯函数；

将连通区域的点和灰度值带入二维高斯函数中，用最小二乘法拟合，求得中心点和亮点的方差，根据所计算出的中心点和方差确定亮点的中心点和半径大小，进而根据阈值判断，实现对吸烟的检测。

2.根据权利要求1所述的一种基于二维曲面拟合的吸烟检测方法，其特征在于，所述获取68个关键点具体为：

通过结合HAAR特征和adaboost分类的Viola Jones检测器确认驾驶人在图像上的位置，基于集成回归树确定人脸的68个关键点。

3.根据权利要求1所述的一种基于二维曲面拟合的吸烟检测方法，其特征在于，所述7个特定关键点具体为：

左眼的左眼角和右眼角位置、右眼的左眼角和右眼角位置、鼻子的位置点、以及嘴巴的左右嘴角的位置。

4.根据权利要求1所述的一种基于二维曲面拟合的吸烟检测方法，其特征在于，所述吸烟感兴趣区域具体为：

将嘴巴框的下边与眼睛框的下边之间的垂直距离作为感兴趣区域的垂直距离，将人脸框的左边和右边位置的水平距离作为感兴趣区域的水平距离。

5.根据权利要求1所述的一种基于二维曲面拟合的吸烟检测方法，其特征在于，所述二维高斯函数具体为：

其中，G表示高斯分布的幅度值，(x₀,y₀)表示高斯分布的中点，σ_x为水平方向的方差，σ_y为垂直方向的方差。