CN110738186A - 一种基于计算机视觉技术的驾驶员抽烟检测方法及系统 - Google Patents
一种基于计算机视觉技术的驾驶员抽烟检测方法及系统 Download PDFInfo
- Publication number
- CN110738186A CN110738186A CN201911014203.5A CN201911014203A CN110738186A CN 110738186 A CN110738186 A CN 110738186A CN 201911014203 A CN201911014203 A CN 201911014203A CN 110738186 A CN110738186 A CN 110738186A
- Authority
- CN
- China
- Prior art keywords
- smoking
- face
- detection
- model
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000391 smoking effect Effects 0.000 title claims abstract description 154
- 238000001514 detection method Methods 0.000 title claims abstract description 132
- 238000005516 engineering process Methods 0.000 title claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 29
- 230000006399 behavior Effects 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 72
- 238000012549 training Methods 0.000 claims description 41
- 239000013598 vector Substances 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 32
- 230000036544 posture Effects 0.000 claims description 30
- 239000000779 smoke Substances 0.000 claims description 29
- 238000013526 transfer learning Methods 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 15
- 239000013589 supplement Substances 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 7
- 235000019504 cigarettes Nutrition 0.000 claims description 6
- 210000000887 face Anatomy 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 230000036961 partial effect Effects 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims description 2
- 238000004148 unit process Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 239000000047 product Substances 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000017525 heat dissipation Effects 0.000 description 2
- 238000009413 insulation Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Abstract
本发明公开了一种基于计算机视觉技术的驾驶员抽烟检测方法及系统，通过从摄像头获取外部图像信息，实时进行人脸检测；当检测到人脸时，通过比较所有检测到的人脸区域大小，来选取最大人脸作为后续分析的人脸；对所得到的最大人脸区域进行区块划分，获取人脸嘴部区块；调用运行多个抽烟检测模块，对嘴部区块进行检测；若有任一抽烟检测模块检测到抽烟行为，则保存对应抽烟位置，并停止运行其他抽烟检测模块。本发明中抽烟检测算法速度更快，对硬件要求更低，算法可扩展性更强，误报率更低，同时准确率，鲁棒性等也不会下降，整个设备体积更小，硬件成本低廉可控，易于作为消费电子产品进行广泛推广。
Description
技术领域
本发明涉及车辆安全系统的危险驾驶检测技术领域，具体涉及一种基于计算机视觉技术的驾驶员抽烟检测方法及系统。
背景技术
目前，私家轿车越来越多，而且交通越来越发达，人们驾车出行的频率相比以前大大增加。虽然驾车次数增加，但是人们的安全防范意识却没有相应的增强。在这种情况下如何保障驾车安全是一个很重要的问题。在所有驾驶事故中，开车抽烟是其中最大的一个事故诱发原因，但是目前针对开车抽烟却没有很好的预防措施。
随着国内政府出台主动安全驾驶规范，以及主动安全市场的爆发，市场上出现了一些防止疲劳驾驶的设备，能检测驾驶员是否在驾驶过程中抽烟，但是这些设备都是基于神经处理器(NPU)或者图像处理器(GPU)硬件，然后在此硬件上面运行基于深度学习的抽烟检测算法来实现的。尽管基于深度学习的算法性能普遍较高，但由于深度学习算法对硬件性能要求很高，因此这种设备普遍价格较高，主要用于专业的车队管理，对于民用市场的普通汽车驾驶员，由于硬件笨重复杂，价格昂贵，因此设备可适用性不强。
发明内容
本发明克服了现有技术的不足，提供一种基于计算机视觉技术的驾驶员抽烟检测方法及系统，以快速检测驾驶员是否在开车过程中抽烟而加以防范，具体方案如下：
本发明的目的在于提供一种基于计算机视觉技术的驾驶员抽烟检测方法及系统，以至少解决现有技术中检测算法较慢、对硬件要求较高、设备适用性不强等问题。
为了实现上述目的，本发明提供如下技术方案：
一种基于计算机视觉技术的驾驶员抽烟检测方法，包括以下步骤：
通过摄像头获取外部图像信息，实时进行人脸检测；
当检测到人脸时，通过比较所有检测到的人脸区域大小，选取最大人脸区域对应的图像作为后续分析的人脸图像；
对所得到的最大人脸区域对应的人脸图像进行区块划分，获取人脸嘴部区块；
调用运行抽烟检测模块，对所述嘴部区块进行检测；
所述抽烟检测模块包括多个抽烟检测子模块，若有任一所述抽烟检测子模块检测到抽烟行为，则保存对应抽烟位置，并停止运行其他抽烟检测子模块；
其中，多个所述抽烟检测子模块中检测抽烟行为的算法通过如下的建模训练步骤而建立：
特征提取阶段：用局部二进制特征LBP抽取通用数据库和红外图像数据库中图像的抽烟区域和非抽烟区域的图像特征；
正负样本构建阶段：将通用数据库和红外图像数据库中的图像进行分类得到抽烟区域图像和非抽烟区域图像，并且根据手拿烟的不同姿势，分别对应地将区域图像缩放到不同大小；
原始训练阶段：对通用数据库中的图像采用传统的Float Boosting算法进行强分类器的构建，分类器所用的特征是LBP，得到通用FloatBoosting模型；
转移学习阶段：对红外图像数据库中的图像采用所述通用FloatBoosting模型进行强分类器的构建，并且同时兼顾通用数据库上面所得到的模型，优化特定的训练目标方程，使得所得到的模型既具有通用模型的特点又具有红外图像数据的特点；
检测阶段：利用转移学习阶段得到的红外强化Float Boosting模型，在红外图像上面用基于级联模型结构对抽烟区域进行检测，并且对得到的多个潜在的抽烟区域进行平均，取多个抽烟区域的平均位置作为所述嘴部区块；
抽烟区域分类阶段：利用边缘检测算法来检测所述嘴部区块内存在的所有的物体边缘信息，如果物体边缘信息跟预先存储的实际抽烟的边缘信息吻合，则判定检测到的区域包含抽烟行为，不吻合则判定为非抽烟行为。
基于上述，检测人脸的算法步骤包括：
特征提取阶段：用局部二进制模式LBP和局部梯度模式LGP抽取通用数据库和红外图像数据库中图像的人脸和非人脸的图像特征；
正负样本构建阶段：将通用数据库和红外图像数据库中的图像进行分类得到人脸图像和非人脸图像，将所述人脸图像和非人脸图像均缩放到40×40像素，并且根据人脸的不同姿态将每个人脸划分为不同的子集；
原始训练阶段：对通用数据库中的图像采用传统的Vector Boosting算法进行级联分类器的构建，分类器所用的特征是LBP特征和LGP特征的结合，得到通用VectorBoosting模型；
转移学习阶段：对红外图像数据库中的图像采用通用Vector Boosting模型进行级联分类器的构建，并且同时兼顾通用数据库上面所得到的模型，优化特定的训练目标方程，使得所得到的模型既具有通用模型的特点又具有红外图像数据的特点；
检测阶段：利用转移学习阶段得到的红外强化Vector Boosting模型，在红外图像上面用基于矢量树模型结构对人脸区域进行检测。
基于上述，在所述检测抽烟行为的算法步骤中，在原始训练阶段所用的FloatBoosting目标方程为：
hm＝argminLoss(HM-1(x)+h(x))
其中x是输入特征向量，h(x)是弱分类器，HM代表由M个弱分类器组合而来的强分类器，hm代表第m个弱分类器；yi代表第i个实例的标签，Loss代表针对某个分类器的损失函数，exp代表指数函数；
在转移学习阶段所用的优化方程是：
其中，KL代表通用模型和红外强化模型之间的KL距离，λ是一个权重，用以平衡两种损失。
基于上述，所述边缘检测算法为基于sobel算子的边缘检测算法。
基于上述，还包括：结果分析判定步骤，若在一定时间段内检测到抽烟的帧数占总分析帧数的比例值为预设阈值以上，则判定驾驶员在抽烟。
基于上述，在所述检测人脸的算法步骤中，采用基于局部二进制模式LBP特征的具体计算方法为：
其中，(xc,yc)是像素中心点位置，(ip-ic)是中心点ic与邻居点ip之间的像素值差，p是每个像素点周围的像素点个数；采用基于局部梯度模式LGP特征的具体计算方法为：
其中，(xc,yc)是像素中心点位置，中心点ic与邻居点in之间的卷积值差为gn＝|in-ic|，卷积值差的平均值为
p是每个像素点周围的像素点个数。
基于上述，在所述检测人脸的算法步骤中包括：
在原始训练阶段，使用原始的Vector Boosting训练模型，每次从高维的LGP和LBP特征值中选择一部分特征值，并且给每个弱分类器以一定的权重，结合当前的分类器的结果，重新对每个图像进行权值分配，分类错误的给以更大的权值，分类正确的给以较小的权值，选取弱分类器的公式为：
其中，ft(x)是选取得到的弱分类器，exp是指数函数，f(xi)是弱分类器，vi是当前的分类标记，
是样本i在第t次迭代的权重；
在转移学习阶段，输入是通用Vector Boosting模型，输出是红外加强VectorBoosting模型，并且使用KL距离来衡量通用模型和红外加强模型的差别，具体的优化公式如下：
其中，λ设置不同的值，最后确定一个测试错误率到达最低的λ；
是通用Vector Boosting模型，p和q是两个概率分布，pi和qi分别是两个概率分布中第i个实例的概率；
在检测阶段，最后的强分类器FT(x)是T个选取得到的弱分类器的组合
本发明还提供了一种基于计算机视觉技术的驾驶员抽烟检测系统，包括：
处理器，所述处理器包括主控单元、运算单元、内存单元和系统总线，所述主控单元对系统运行过程中的逻辑判断进行处理，同时还用于控制硬件模块的连接和开启；
所述运算单元用于按照所述主控单元的命令读取所述内存单元中的数据加以处理，并将处理结果输出至所述主控单元；
所述内存单元为所述运算单元和所述主控单元提供内存支持；
摄像模块，所述摄像模块与所述处理器连接，用于获取汽车驾驶座席的图像信息并经由所述系统总线发送至所述内存单元；
存储模块，所述存储模块用于存储算法模型文件、参数以及用户配置文件，所述存储模块与所述处理器连接，所述处理器能够调用并且修改所述存储模块中存储的数据；
烟雾检测模块，所述烟雾检测模块与所述处理器连接，所述烟雾检测模块用于检测环境中是否出现烟雾并将检测结果发送给所述处理器；
其中，所述存储模块中还包括：
人脸检测模块，以实时检测驾驶员的人脸区域，通过比较所有检测到的人脸区域大小，选取最大人脸作为后续分析的人脸，并对所得到的最大人脸区域进行区块划分，获取人脸嘴部区块；
抽烟检测模块，所述抽烟检测模块包括多个抽烟检测子模块，分别对所述嘴部区块进行检测以发现抽烟行为，若有任一所述抽烟检测子模块检测到抽烟行为，则保存对应抽烟位置，并停止运行其他抽烟检测子模块；
结果分析判定模块，若在一定时间段内检测到抽烟的帧数占总分析帧数的比例值为预设阈值以上，则判定驾驶员在抽烟。
基于上述，所述摄像模块采用红外摄像头，并且添加了红外补光灯和红外滤光片，所述红外补光灯为肉眼不可见的窄谱红外补光灯；所述红外滤光片位于所述红外补光灯和所述红外摄像头前方。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述的驾驶员抽烟检测方法。
与最接近的现有技术相比，本发明提供的技术方案具有如下优异效果：
本发明能够提供一种基于计算机视觉技术的驾驶员抽烟检测方法及系统，其核心在于硬件设备包含DSP芯片和运行在硬件系统上面的快速抽烟检测算法。硬件设备首先通过红外摄像头来获取红外图像，后通过数字信号处理器运行实时的抽烟检测算法，包括利用人脸检测技术检测出驾驶员脸部的活动范围，然后在脸框范围附近运行抽烟检测算法，来识别出驾驶员的抽烟行为。
相比于其它类似产品，本发明的抽烟检测算法速度更快，对硬件要求更低，算法可扩展性更强，误报率更低，同时准确率、鲁棒性等也不会下降。整个设备体积更小，外观更加美观和具有科技感，而且硬件成本低廉可控，易于作为消费电子产品进行广泛推广。当驾驶员开车过程中抽烟，本发明的系统会采取适当的措施，如以声音报警，震动方式来提示驾驶员手不要脱离方向盘，以达到规范驾驶员的行为。
附图说明
图1是本发明实施例中硬件连接示意图；
图2是本发明实施例中抽烟检测算法模块工作流程图；
图3是本发明实施例中抽烟检测综合分析模块工作流程图；
图4是本发明实施例中整个系统工作流程图；
图5是本发明实施例中LGP特征提取图；
图6是本发明实施例中LBP特征提取图；
图7是本发明实施例中抽烟区块划分图；
图8是本发明实施例中不同抽烟姿势示意图；
图9是本发明实施例中Vector Boost训练过程示意图；
图10是本发明实施例中级联分类器示意图；
图11是本发明实施例中PCB条形孔隔热设计示意图。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不能理解为对本发明的限制。本发明中使用的术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接；可以是直接相连，也可以通过中间部件间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明中的大部分计算机视觉算法都需要训练，不同的训练数据和实现细节都可能会影响最后的效果，为了达到比较好的效果，本发明中部分需要训练的模块使用的训练数据和实现细节具体如下：
人脸检测：训练的时候，为了降低错误报警率，本发明利用互联网上大量的人脸图像来训练本发明的模型，训练数据非常庞大，并且里面包含了大量的负样本(非人脸图像)，整个训练样本包含不同种族，肤色，年龄，性别和不同姿态的人脸图像。
抽烟检测：训练的时候，我们收集了大约30000张包含抽烟的图片，其中大约10000张是针对手指跟地面水平的情况，大约10000张是针对手指跟地面成45度的情况，大约10000张是针对手指跟地面垂直的情况。除了手指地面的角度之外，还有烟的摆放姿势也是影响算法准确率的一个重要因素，为了避免训练过多的分类器，需要尽量降低烟的摆放姿势对算法的影响，因此在标注的时候，只标注手、嘴巴和烟头重叠的部分，这样即使烟的整个摆放姿势差异较大，但是由于烟头较短，其对算法的影响有限。
在得到了正确的标注后，首先在不同图片上面进行训练得到不同的抽烟姿势检测模型，之后再收集部分包含抽烟姿势的红外图像来对模型进行修正，使得到的模型更加符合红外图像。在抽烟区域分类阶段，本发明是基于sobel算子的边缘检测算法来区分所在区域是否真正包含烟支信息，优选的，也可以选取任意其它的边缘检测算法，或者利用任何其它类似的图片分类技术来判断所在区域是否真正包含烟支信息。
在训练完成后，所有模块都可以只保留测试程序和训练所得的模型。
如图1所示，本发明优选实施例的汽车驾驶员抽烟状态检测系统，包括智能硬件。智能硬件包括：红外摄像头，用于获取红外图像信息，尤其是人脸图像信息；存储单元，用于存储算法模型文件，参数以及用户配置文件；内存单元，用于为算法运行提供必要的内存支持；扬声器，用于向用户提示报警信息；处理单元，包括主控单元和运算单元：主控单元主要是对上述分析流程中的各种逻辑判断进行处理，同时还用于接收控制装置的开启，负责将各种不同的硬件模块连接起来，同时控制扬声器发出报警和提示声音；运算单元，主要用于对本发明所属的各种计算机视觉算法进行运算，计算机视觉算法所需要的运算量大，如果只依靠主控芯片，那么运算速度会非常慢。
本系统中的摄像头(摄像模块)优选是红外摄像头，并且添加了红外补光灯和滤光片。其中红外补光灯和滤光片是可选的，如果只需要本设备在足够可见光的环境运行即可，那么摄像头选择普通摄像头即可。如果需要本设备在光线暗的环境下也能工作，那么则需要增加红外补光灯和需要选取红外摄像头，为了消除强光和逆光等各种光噪声，则需要添加滤光片。
摄像头通过数据总线与主控单元连接，因此摄像头所获取到的图片信息经过数据总线传送到内存单元中，然后计算机视觉算法从内存单元中获取图像信息，在DSP运算单元中进行运算，计算出各种信息，并且将所得到的信息反馈给主控单元，由主控单元去控制扬声器模块或者蓝牙模块，以做出相应的反应。运算单元与主控单元也是通过内存数据总线连接起来。
整个系统的基本原理就是依据计算机视觉技术，主要是计算机视觉技术来对驾驶员状态进行实时的分析，最后综合得出驾驶员是否处于抽烟状态。根据实验所得到的阀值，将分析得到的检测状态与阀值进行比较，如果超出一定的阀值，设备则会触发相应的报警系统进行报警，以规范驾驶员的行为；本系统中还可以设置烟雾检测模块，烟雾检测模块与处理器连接，用于检测环境中是否出现烟雾并将检测结果发送给处理器，当处理器接收到烟雾检测模块检测到的烟雾信号并且依据计算机视觉技术也判断驾驶员出现抽烟时，处理器确定驾驶员正在抽烟，从而发出报警信号。
在本发明的优选实施例中，具体采用的软硬件系统如下：
硬件系统
系统硬件设备是以ADI Blackfin53x为DSP处理器，最高主频是600MHZ，有最大4GB寻址空间，最大80KB SRAM的L1指令存储器和2个32KB SRAM的L1数据存储器；集成丰富的外围设备和接口。Blackfin53x与DSP相连接的有16MB Flash存储模块(可升级到32MB或64MB)，32MB片外内存SDRAM(可升级到64MB)。存储模块用于存储系统所需的音频文件和配置文件，SDRAM与SRAM提供整个系统运行时候所需要的内存。
其它外设模块有红外摄像头，红外补光灯，蓝牙发送接收模块，扬声器。在光学结构上，本实施例实现了与其他类似产品显著不同的创新型设计：采用人眼不可见的窄谱红外补光灯；红外滤光片位于红外补光灯和红外摄像头前方，消除了外界环境中非红外光的光学干扰和噪声，摄像头只能利用系统自身的红外补光灯采集图像，这样在任何环境下(无论白天还是黑夜、顺光还是逆光、有无对向驶来汽车车灯的干扰，或者其他光学干扰)都能采集到稳定和清晰的图像。图1是硬件连接示意图。
在热学设计上，本发明实现了与其他同类产品显著不同的创新型设计：用四个长条形的孔3将PCB(印刷电路板)的摄像头传感器芯片区域2与PCB的其他区域1隔离开来，避免PCB其他区域1上的的电子元件发出的大量的热扩散到摄像头传感器区域2而影响成像质量。图11是PCB条形孔隔热设计示意图。另外，对于红外补光灯所在PCB采用大面积对油墨层开窗以裸露铜层以快速将PCB的热量散发到空气中。在产品设计上实现了内部集成微型电子风扇，把产品内部的热快速吹散到产品外部以实现产品良好的散热设计。
驾驶员抽烟检测分析系统
驾驶员抽烟监测系统包括两块：一是对应的各种抽烟算法，用来分析每帧图像，得到原始的检测信息，比如人脸区域，抽烟检测的结果；二是综合结果分析判定模块，其主要目的是根据各种原始分析数据来综合判断驾驶员当前真正在抽烟与否，由于原始的抽烟检测模块不可避免的存在错误检测，综合结果分析判定可以综合多帧信息，进一步提高检测准确率和降低误报率。具体来说，利用计算机视觉算法，系统可以分析摄像头所获得的红外图像并获得一些原始信息，主要包括人脸的位置(可能包括多个人脸区域)，人脸轮廓上关键点的位置，各个抽烟检测子模块的结果。利用这些原始分析信息，综合结果分析模块加以统计分析，判断出驾驶员当前是否处于抽烟状态。最后根据综合分析结果，再调用相应的硬件模块来进行提醒。
具体来说，系统所包含的计算机视觉算法有：人脸检测算法，抽烟检测算法。
人脸检测算法：使用如下技术方案：利用向量提升算法(Vector Boosting)加转移学习(transfer learning)作为分类器框架来训练整个算法，用局部二进制模式(LBP)和局部梯度模式(LGP)来抽取图像的特征。同时，不同于原始的vector boosting算法，在通用的数据库上面得到通用的人脸检测模型后，再收集一部分红外训练图像，通过转移学习(transfer learning)技术将通用的人脸检测模型转移到基于红外的训练图像上面，使得所得到的人脸检测模型相比于通用的人脸检测模型，性能更好，更具有针对性。
人脸检测算法的具体建模步骤(即人脸检测模型的具体构建)如下：
1)特征提取阶段：针对红外数据库和通用数据库中的图像，使用局部二进制模式(LBP)和局部梯度模式(LGP)来抽取所有人脸和非人脸的图像的特征，具体LBP和LGP特征提取方式见图5和图6，最左边方框中数字是代表原始图像灰度值，中间方框中数字代表是每个像素值跟最中间的像素值比。
2)正负样本构建阶段：将通用数据库和红外图像数据库中的图像进行分类，分成人脸图像和非人脸图像，将人脸图像和非人脸图像均缩放到40×40像素，并且根据人脸的不同姿态(按照人脸左右上下等角度)将每个人脸划分为不同的子集。
3)原始训练阶段：使用经过1)和2)处理后的通用数据库中的图像，采用传统的Vector Boosting算法进行级联分类器的构建，分类器所用的特征是LBP特征和LGP特征的结合，即两种特征点相加，长度就是m+n；在原始训练阶段得到了基于通用数据库的通用Vector Boosting模型。
4)转移学习阶段：在红外数据库上面采用Vector Boosting算法进行级联分类器的构建，并且同时兼顾通用数据库上面所得到的模型，即直接在上述通用Vector Boosting模型上继续训练红外数据库的图像，这样学习到的模型能兼容到通用数据库和红外数据库，特征还是之前的LGP和LBP结合，去优化特定的训练目标方程，使得所得到的红外强化Vector Boosting模型既具有通用模型的特点又具有红外图像数据的特点，克服了红外图像数据量不足问题。
5)检测阶段：利用转移学习阶段得到的红外强化Vector Boosting模型，在红外图像上面用基于矢量树模型结构对人脸区域进行检测。
6)采用基于LGP/LBP特征的具体计算方法为：
其中，(xc,yc)是像素中心点位置，中心点ic与邻居点in之间的灰度值差(LBP)/卷积值差(LGP)为gn＝|in-ic|，卷积值差的平均值为
p是每个像素点周围的像素点个数，p＝8；n是个下标index，从0到8；c代表中心点；r是代表这种计算模式。
LBP计算公式：
其中，(xc,yc)是像素中心点位置，(ip-ic)是中心点ic与邻居点ip之间的像素值差，p是每个像素点周围的像素点个数，本实施例中p＝8。
不同于其它算法，本实施例中LBP与LGP特征有互相补充的地方，组合在一起可以提高整个算法的稳定性，作为LBP特征和LGP特征组合在一起的方式，可以是两个向量特征直接连接在一起，比如一个特征向量长度是m，比如一个特征向量长度是n，连接在一起就是m+n，而且在相同的错误检测率情况下，正确检测率会大大提升，并且整个特征提取计算时间仍然较低。
在正负样本构建阶段，对于许多非人脸区域，本实施例构建了更多的非人脸图片，使得整个图片样本中的正负样本比例不平衡，通过接受大量的负样本，可以降低人脸检测整个模型的错误报警率。
在原始训练阶段，直接使用原始的Vector Boosting训练模型，每次去从高维(特征向量维度)的LGP和LBP特征值中去选择一部分特征值，并且给每个弱分类器以一定的权重，结合当前的分类器的结果，去重新对每个图像进行权值分配，分类错误的给以更大的权值，分类正确的给以较小的权值，具体训练过程见图9。在选取弱分类器时候的公式为：
其中，ft(x)是选取得到的弱分类器，exp是指数函数，f(xi)是弱分类器，vi是当前的分类标记，是样本i在第t次迭代的权重，这里m是总训练迭代次数。
在转移学习阶段，输入是已经在通用数据库上面训练好的模型，输出是将通用数据库上面的模型转移到红外图像上面的模型。为了衡量模型之间的差距并且尽可能的将通用数据库上面的模型参数转移到红外图像上面，这里使用了KL距离来衡量模型的差别。具体的优化公式如下：
其中，λ设置不同的值，最后确定一个测试错误率到达最低的λ，本实施例中λ在0～1之间取值；
是在通用数据库上面训练所得到的模型，p和q是两个概率分布，pi和qi是两个分布中第i个实例的概率。
在测试阶段(检测阶段)，最后的强分类器FT(x)是训练出来的T个弱分类的组合：
这里的强分类器即为检测时使用的红外强化Vector Boosting模型；由于转移学习的模型与非转移学习的模型一样，只是参数不一样，因此采用传统的瀑布树级联分类器来进行人脸检测，对每帧图像进行金字塔缩放，在不同的缩放尺度上面进行人脸检测，然后将检测的结果进行缩放回原始图像大小即可。在不同的图像缩放时候，为了加快运算速度，我们可以同时对不同尺度的图像进行缩放，并行计算特征值，计算积分图像进行检测，具体的检测过程见图10。
由于使用Vector Boosting算法，因此鲁棒性比较强，能处理不同姿态的人脸，使得人脸检测范围比较大。相比如直接在红外图像上面训练得到的模型，本实施例利用的互联网上存在的大量姿态各异的人脸图像来增强模型的鲁棒性，同时相比如仅使用互联网图片训练得到的通用人脸检测模型，本实施例算法还加入了红外图像信息，使得最后的模型更加具有针对性，在红外图像上面比通用模型具有更好的效果。更进一步，与一般Haar特征提取方法不同，由于使用了局部二进制特征提取算法(LBP)和局部梯度模式(LGP)的特征提取的组合，使得算法对图像的光照变化非常不敏感，检测效果更高。在得到整个算法的模型参数后，给定一副新图像，首先抽取图像的LBP特征和局部梯度模式(LGP)，然后对该图像上所有的位置进行滑动，对每一个滑动的窗口(40×40)利用瀑布级联模型进行评价来判断该窗口是否是人脸区域。
抽烟检测算法模型的构建：抽烟检测算法跟人脸识别算法基本一样，不过这里利用Float Boosting来作为分类器模型，除了分类器模型，特征提取以及子分类器设计不一样，整个训练过程和检测步骤基本同人脸检测一样。
算法具体步骤如下：
1)特征提取阶段：用局部二进制特征(LBP)来抽取所有抽烟区域和非抽烟区域的图像特征(包括红外数据库和通用数据库)；
2)正负样本构建阶段：将通用数据库和红外图像数据库中的图像进行分类，包含抽烟区域图像和非抽烟区域图像。由于人们抽烟时候拿烟的姿势有多种多样，而boosting的算法由于其天然的缺陷，本实施例发现一个boosting模型很难包含所有的不同的抽烟姿势，因此这里根据不同的抽烟姿势，分别训练不同的分类器。具体来说，根据手拿烟的姿势，本实施例一共包含了三种不同的抽烟姿势(即前面所说的三种姿势)，对应的，分别将区域图像缩放到不同的大小(22×15，22×15，15×22)；
3)原始训练阶段：在通用数据库上面采用传统的Float Boosting算法进行强分类器的构建，分类器所用的特征是LBP，最后得到基于通用数据库的通用Float Boosting模型；
4)转移学习阶段：在红外数据库上面采用上述通用Float Boosting模型进行强分类器的构建，并且同时兼顾通用数据库上面所得到的模型，去优化特定的训练目标方程，使得所得到的红外强化Float Boosting模型既具有通用模型的特点又具有红外图像数据的特点，克服了红外图像数据量不足问题；
5)检测阶段：利用转移学习阶段得到的红外强化Float Boosting模型，在红外图像上面用基于级联模型结构对抽烟区域进行检测。最后，对得到的多个潜在的抽烟区域来进行平均，并取多个区域的平均位置作为最终的抽烟位置，确定出最终的抽烟区域(即嘴部区块)。
6)抽烟区域分类阶段：由于抽烟姿势差异较大，很难学到一个比较统一的模式，因此训练出来的算法模块存在一定的误检率，尤其是对手放在嘴巴上面(但是不抽烟)这种情况存在一定的误检，为了降低误检率，这里还添加了一个基于sobel算子的边缘检测算法以检测最终的抽烟区域内存在的所有的物体边缘信息，如果物体边缘信息跟实际抽烟的边缘信息(实际抽烟的边缘信息预先存储)吻合，则说明检测到的区域是包含真正抽烟的情况，否则，检测到区域是包含手放在嘴巴上面，但是不抽烟这种情况。
原始训练阶段所用的Float Boosting目标方程为：
hm＝argminLoss(HM-1(x)+h(x)) (10)
其中x是输入特征向量，h(x)是弱分类器，HM代表由M个弱分类器组合而来的强分类器，hm代表第m个弱分类器。yi代表第i个实例的标签，Loss代表针对某个分类器的损失函数，exp代表指数函数。
转移学习阶段所用的优化方程是：
其中，KL代表通用模型和在红外上面的模型之间的KL距离，λ是一个权重，用以平衡两种损失，这里的平衡两种损失是指公式中两个括号算出的数值的加权求和。
在得到针对红外图像的算法模型参数后，给定任意一副新人脸区域(假设人脸区域已经检测到)，算法会在该人脸图像下边的区域进行金字塔缩放，再在对每一个缩放区域内所有的位置进行滑动，滑动窗口大小为22×15，22×15，15×22(三种不同的抽烟姿势，见图8)，再对每一个滑动的窗口进行评价来判断该窗口是否包含抽烟姿态。
跟深度学习算法相比，Boosting算法运行速度更快，但是其对被检测物体的外观差异，旋转角度更加敏感，为了克服Boosting算法检测覆盖面小的问题，这里一共设计了三种不同的检测器，分别是针对三种不同的抽烟姿势，它们分别是：手水平拿着烟(手指的姿势是与地面水平的)；手斜着拿着烟(手指的姿势是与地面成45度左右)；手垂直拿着烟(手指的姿势是与地面垂直的)，具体三种不同的姿势见图8。为了能检测不同的抽烟姿势，抽烟检测模块里面同时包含这三种子检测模块。每个检测模块耗时小，而且三个检测模块之间互不影响，因为在实际运行过程中并行运行三个检测模块，针对每一个特定的区域，三个模块中只要有一个模块检测到抽烟姿势，就可以提前退出检测。
由于以上各个模块都需要运行在嵌入式平台上面，因此在运行代码实现程序的时候，都采用了定点实现，以避免浮点运算，这样会大大加强整个系统的运行速度。为了进一步在嵌入式平台上面缩短处理时间，实际实现的时候为了避免对整个图片做检测和降低误报率，本实施例先检测人脸区域，然后在人脸区域下边运行三种分类器，如图8和图10所示，用图10中的级联分类器对图8中的三种姿势分别进行训练，得到针对三种不同抽烟姿势的三种分类器。在得到所有的可能包含抽烟的区域后，再对所有区域做平均计算来获得抽烟区域的位置。同一般基于自适应提升算法(Adaboost)，Haar变化等检测方法不同，本实施例采取Floating Boost作为分类器，LBP作为特征提取方法，实际上机测试结果表明，LBP比DCT，Haar变化更加稳定，可鉴别性更强。相比深度学习方法，在驾车这种比较局限的环境下，本实施例的算法检测性能相同，检测覆盖面类似，运行时间更短。同时，由于只在人脸下面的区域运行抽烟检测算法，并且在检测到抽烟区域后还有一个针对抽烟区域分类的算法，因此整个系统的误报率会大大降低，处理时间大大缩短。
给定一帧图像，上述分析模块工作流程如下：
(1)通过摄像头来获取外部图像信息；
(2)通过实时人脸检测模块来检测人脸；
(3)如果检测到人脸，通过比较所有检测到的人脸区域大小，来选取最大人脸作为后续分析的人脸；
(4)对得到的最大人脸区域进行区块划分，获取人脸下边区块(嘴巴区域)；
(5)在嘴巴区域内运行三种抽烟检测子模块；
(6)如果有一种模型检测到抽烟，则保存位置，停止运行其它两种检测模型。
所述工作流程见图2。
综合结果分析判定模块：本设备能根据各个分析模块所提供的初始分析结果来进行总结和加工处理，然后根据综合分析出来的结果，判断驾驶员是否真正抽烟，然后给驾驶员对应的提示。由于抽烟姿势各种各样，尽管抽烟算法本身包含了降低误报率的模块，相对其它检测算法，抽烟检测算法误报率还是整体较高，而综合分析判定模块则能帮助有效的降低误报率。对于抽烟检测功能，本设备每秒能处理至少20帧图像，每分析60帧图像后，将做一次综合分析与判断，综合判断的主要标准是根据在一定时间段内检测到抽烟的帧数占总分析帧数的比例，最后将这个比例跟事先实现预定好的阈值来进行比较。
系统运行流程：
整个系统包含硬件设备，计算机视觉算法，整个系统的运行流程如下：
(1)系统加电自检，如硬件无故障，则进入步骤(2)；
(2)调用人脸检测模块，检测当前驾驶员是否处于可检测范围内，如检测不到人脸，则提示驾驶员调整设备位置，直到设备可以检测到人脸为之为止；
(3)检测到人脸，扬声器开始播发系统开始工作的提示；
(4)不断从摄像头获取图像信息，并且进行人脸检测，抽烟检测，直到分析的帧数已经超过一定数目；
(5)运行综合结果分析判定模块，如果检测到驾驶员抽烟，则调用对应的语音来提示驾驶员；
(6)如果收到用户关机信号，则释放内存，退出循环。
所述工作流程见图4。
以下，基于图2～图4进一步进行详细说明。
图2是抽烟检测算法模块工作流程图，图3是抽烟检测综合结果分析流程图。
图2的抽烟检测算法模块工作流程如下：
(1)通过摄像头来获取外部图像信息；
(2)通过实时人脸检测模块来检测人脸，在本系统中采用向量提升算法(VectorBoost)加转移学习(transfer learning)作为分类器框架来训练整个算法，用布局二进制编码(LBP)和局部梯度模式(LGP)来抽取图像的特征，滑动窗口大小是40×40，图像金字塔层数为5，为了加快处理速度，可以同时并行运行不同姿态的人脸检测分类器；具体LBP和LGP特征提取方式见图5和6；
(3)如果检测到人脸，通过比较所有检测到的人脸区域大小，来选取最大人脸作为后续分析的人脸，优选的，也可以根据实际情况，只分析在图像固定范围内的人脸区域；
(4)对得到的最大人脸区域进行区块分割，并且调用抽烟检测模块来检测抽烟姿势。本系统中采用Float Boost来作为分类器模型，LBP作为特征提取方法，根据不同的抽烟姿势分类器，滑动窗口大小设置为22×15，22×15，15×22；图像金字塔层数为2，最大弱分类器个数为100，为了加快处理速度，可以同时并行运行不同姿态的人脸检测分类器，为了降低错误检测率和缩短运行时间，只在人脸下面的区域来运行三种抽烟检测分类器；在得到抽烟区域后，调用抽烟区域分类模块，来判断所在区域是否真正包含烟支信息，如果包含，则所在区域是真正的抽烟区域，否则就不是抽烟区域。
(5)如果检测到抽烟，则保存抽烟姿势检测结果，同时为了适应不同环境下面不同的检测精度要求，系统还能提供接口给用户以修改阀值；
图3的抽烟检测综合结果分析模块工作流程如下：
(1)初始化各种数据结构，初始化用于保存信息的数组；
(2)从外部摄像头获取当前图像信息；
(3)调用分析模块来分析当前图像，获取分析结果；
(4)如果分析的帧数已经到达一定帧数，则进入步骤(5)；否则进入步骤(2)，继续分析当前图像，本系统中帧数为60；
(5)统计当前帧的分析的结果，来判断抽烟姿势持续时间，本系统根据统计的抽烟频率来进行线性统计，优选的，可以采取其它方法来统计，比如非线性统计拟合方法，加权平均方法等等；
(6)将当前所保存的数据重新置为空，进入到步骤(2)，开始下一轮分析。
图4是整个系统工作流程图，具体工作流程如下：
(1)系统加电自检，如硬件无故障，则进入步骤(2)，本系统中，采用微型USB(MicroUSB)供电，优选的，也可以采用其它规格的USB接口供电；
(2)调用人脸检测模块，检测当前驾驶员是否处于可检测范围内，如检测不到人脸，则提示驾驶员调整设备位置，直到设备可以检测到人脸为止，优选的，也可以选用其它人脸算法来检测人脸，确定人脸可以被设备检测到；
(3)检测到人脸，扬声器开始播发系统开始工作的提示；
(4)不断从摄像头获取图像信息，并且进行人脸检测；
(5)不断从摄像头获取图像信息，调用抽烟检测算法模块对图像进行分析，调用综合结果分析模块来综合分析驾驶员的抽烟状态；
(6)如果收到用户关机信号，则释放内存，关闭蓝牙，退出循环。
综上所述，本发明是能够自动分析驾驶员抽烟的智能硬件设备，首先通过红外摄像头来获取红外图像，后通过数字信号处理器运行实时的抽烟检测算法，包括利用人脸检测技术检测出驾驶员脸的活动范围，然后在脸框范围附近运行抽烟检测算法，来识别出驾驶员的抽烟行为。相比于其它类似产品，抽烟检测算法速度更快，对硬件要求更低，算法可扩展性更强，误报率更低，同时准确率，鲁棒性等也不会下降。整个设备体积更小，硬件成本低廉可控，易于作为消费电子产品进行广泛推广。
本领域技术人员在考虑说明书及实践这里记载的发明后，将容易想到本技术的其它实施方案。本申请旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本项发明的技术性范围并不局限于说明书上的内容，必须要根据本申请的保护范围来确定技术性范围。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的代表保护范围的内容来限制。
Claims (10)
1.一种基于计算机视觉技术的驾驶员抽烟检测方法，其特征在于，包括以下步骤：
通过摄像头获取外部图像信息，实时进行人脸检测；
当检测到人脸时，通过比较所有检测到的人脸区域大小，选取最大人脸区域对应的图像作为后续分析的人脸图像；
对所得到的最大人脸区域对应的人脸图像进行区块划分，获取人脸嘴部区块；
调用运行抽烟检测模块，对所述嘴部区块进行检测；
所述抽烟检测模块包括多个抽烟检测子模块，若有任一所述抽烟检测子模块检测到抽烟行为，则保存对应抽烟位置，并停止运行其他抽烟检测子模块；
其中，多个所述抽烟检测子模块中检测抽烟行为的算法通过如下的建模训练步骤而建立：
特征提取阶段：用局部二进制特征LBP抽取通用数据库和红外图像数据库中图像的抽烟区域和非抽烟区域的图像特征；
正负样本构建阶段：将通用数据库和红外图像数据库中的图像进行分类得到抽烟区域图像和非抽烟区域图像，并且根据手拿烟的不同姿势，分别对应地将区域图像缩放到不同大小；
原始训练阶段：对通用数据库中的图像采用传统的Float Boosting算法进行强分类器的构建，分类器所用的特征是LBP，得到通用Float Boosting模型；
转移学习阶段：对红外图像数据库中的图像采用所述通用Float Boosting模型进行强分类器的构建，并且同时兼顾通用数据库上面所得到的模型，优化特定的训练目标方程，使得所得到的模型既具有通用模型的特点又具有红外图像数据的特点；
检测阶段：利用转移学习阶段得到的红外强化Float Boosting模型，在红外图像上面用基于级联模型结构对抽烟区域进行检测，并且对得到的多个潜在的抽烟区域进行平均，取多个抽烟区域的平均位置作为所述嘴部区块；
抽烟区域分类阶段：利用边缘检测算法来检测所述嘴部区块内存在的所有的物体边缘信息，如果物体边缘信息跟预先存储的实际抽烟的边缘信息吻合，则判定检测到的区域包含抽烟行为，不吻合则判定为非抽烟行为。
2.根据权利要求1所述的基于计算机视觉技术的驾驶员抽烟检测方法，其特征在于，检测人脸的算法步骤包括：
特征提取阶段：用局部二进制模式LBP和局部梯度模式LGP抽取通用数据库和红外图像数据库中图像的人脸和非人脸的图像特征；
正负样本构建阶段：将通用数据库和红外图像数据库中的图像进行分类得到人脸图像和非人脸图像，将所述人脸图像和非人脸图像均缩放到40×40像素，并且根据人脸的不同姿态将每个人脸划分为不同的子集；
原始训练阶段：对通用数据库中的图像采用传统的Vector Boosting算法进行级联分类器的构建，分类器所用的特征是LBP特征和LGP特征的结合，得到通用Vector Boosting模型；
转移学习阶段：对红外图像数据库中的图像采用通用Vector Boosting模型进行级联分类器的构建，并且同时兼顾通用数据库上面所得到的模型，优化特定的训练目标方程，使得所得到的模型既具有通用模型的特点又具有红外图像数据的特点；
检测阶段：利用转移学习阶段得到的红外强化Vector Boosting模型，在红外图像上面用基于矢量树模型结构对人脸区域进行检测。
3.根据权利要求1所述的基于计算机视觉技术的驾驶员抽烟检测方法，其特征在于，在所述检测抽烟行为的算法步骤中，在原始训练阶段所用的Float Boosting目标方程为：
hm＝argminLoss(HM-1(x)+h(x))
其中x是输入特征向量，h(x)是弱分类器，HM代表由M个弱分类器组合而来的强分类器，hm代表第m个弱分类器；yi代表第i个实例的标签，Loss代表针对某个分类器的损失函数，exp代表指数函数；
在转移学习阶段所用的优化方程是：
其中，KL代表通用模型和红外强化模型之间的KL距离，λ是一个权重，用以平衡两种损失。
4.根据权利要求1所述的基于计算机视觉技术的驾驶员抽烟检测方法，其特征在于，
所述边缘检测算法为基于sobel算子的边缘检测算法。
5.根据权利要求1所述的基于计算机视觉技术的驾驶员抽烟检测方法，其特征在于，还包括：
结果分析判定步骤，若在一定时间段内检测到抽烟的帧数占总分析帧数的比例值为预设阈值以上，则判定驾驶员在抽烟。
6.根据权利要求2所述的基于计算机视觉技术的驾驶员抽烟检测方法，其特征在于，在所述检测人脸的算法步骤中，采用基于局部二进制模式LBP特征的具体计算方法为：
其中，(xc,yc)是像素中心点位置，(ip-ic)是中心点ic与邻居点ip之间的像素值差，p是每个像素点周围的像素点个数；采用基于局部梯度模式LGP特征的具体计算方法为：
其中，(xc,yc)是像素中心点位置，中心点ic与邻居点in之间的卷积值差为gn＝|in-ic|，卷积值差的平均值为p是每个像素点周围的像素点个数。
7.根据权利要求2所述的基于计算机视觉技术的驾驶员抽烟检测方法，其特征在于，在所述检测人脸的算法步骤中包括：
在原始训练阶段，使用原始的Vector Boosting训练模型，每次从高维的LGP和LBP特征值中选择一部分特征值，并且给每个弱分类器以一定的权重，结合当前的分类器的结果，重新对每个图像进行权值分配，分类错误的给以更大的权值，分类正确的给以较小的权值，选取弱分类器的公式为：
其中，ft(x)是选取得到的弱分类器，exp是指数函数，f(xi)是弱分类器，vi是当前的分类标记，
是样本i在第t次迭代的权重；
在转移学习阶段，输入是通用Vector Boosting模型，输出是红外加强VectorBoosting模型，并且使用KL距离来衡量通用模型和红外加强模型的差别，具体的优化公式如下：
其中，λ设置不同的值，最后确定一个测试错误率到达最低的λ；
是通用VectorBoosting模型，p和q是两个概率分布，pi和qi分别是两个概率分布中第i个实例的概率；
在检测阶段，最后的强分类器FT(x)是T个选取得到的弱分类器的组合
8.一种基于计算机视觉技术的驾驶员抽烟检测系统，其特征在于，包括：
处理器，所述处理器包括主控单元、运算单元、内存单元和系统总线，所述主控单元对系统运行过程中的逻辑判断进行处理，同时还用于控制硬件模块的连接和开启；
所述运算单元用于按照所述主控单元的命令读取所述内存单元中的数据加以处理，并将处理结果输出至所述主控单元；
所述内存单元为所述运算单元和所述主控单元提供内存支持；
摄像模块，所述摄像模块与所述处理器连接，用于获取汽车驾驶座席的图像信息并经由所述系统总线发送至所述内存单元；
存储模块，所述存储模块用于存储算法模型文件、参数以及用户配置文件，所述存储模块与所述处理器连接，所述处理器能够调用并且修改所述存储模块中存储的数据；
烟雾检测模块，所述烟雾检测模块与所述处理器连接，所述烟雾检测模块用于检测环境中是否出现烟雾并将检测结果发送给所述处理器；
其中，所述存储模块中还包括：
人脸检测模块，以实时检测驾驶员的人脸区域，通过比较所有检测到的人脸区域大小，选取最大人脸作为后续分析的人脸，并对所得到的最大人脸区域进行区块划分，获取人脸嘴部区块；
抽烟检测模块，所述抽烟检测模块包括多个抽烟检测子模块，分别对所述嘴部区块进行检测以发现抽烟行为，若有任一所述抽烟检测子模块检测到抽烟行为，则保存对应抽烟位置，并停止运行其他抽烟检测子模块；
结果分析判定模块，若在一定时间段内检测到抽烟的帧数占总分析帧数的比例值为预设阈值以上，则判定驾驶员在抽烟。
9.根据权利要求8所述的基于计算机视觉技术的驾驶员抽烟检测系统，其特征在于，
所述摄像模块采用红外摄像头，并且添加了红外补光灯和红外滤光片，所述红外补光灯为肉眼不可见的窄谱红外补光灯；所述红外滤光片位于所述红外补光灯和所述红外摄像头前方。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1～7中任一项所述的驾驶员抽烟检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911014203.5A CN110738186A (zh) | 2019-10-23 | 2019-10-23 | 一种基于计算机视觉技术的驾驶员抽烟检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911014203.5A CN110738186A (zh) | 2019-10-23 | 2019-10-23 | 一种基于计算机视觉技术的驾驶员抽烟检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110738186A true CN110738186A (zh) | 2020-01-31 |
Family
ID=69271041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911014203.5A Pending CN110738186A (zh) | 2019-10-23 | 2019-10-23 | 一种基于计算机视觉技术的驾驶员抽烟检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110738186A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111428600A (zh) * | 2020-03-17 | 2020-07-17 | 北京都是科技有限公司 | 吸烟检测方法、系统、装置及热红外图像处理器 |
| CN113052026A (zh) * | 2021-03-12 | 2021-06-29 | 北京经纬恒润科技股份有限公司 | 座舱内抽烟行为定位方法及装置 |
| CN113191244A (zh) * | 2021-04-25 | 2021-07-30 | 上海夏数网络科技有限公司 | 一种驾驶员不规范行为检测方法 |
| CN113392706A (zh) * | 2021-05-13 | 2021-09-14 | 上海湃道智能科技有限公司 | 抽烟及使用手机行为检测装置及方法 |
| CN113591615A (zh) * | 2021-07-14 | 2021-11-02 | 广州敏视数码科技有限公司 | 一种基于多模型的驾驶员抽烟检测方法 |
| CN113609963A (zh) * | 2021-08-03 | 2021-11-05 | 北京睿芯高通量科技有限公司 | 一种实时多人体角度的抽烟行为检测方法 |
| CN114943934A (zh) * | 2022-06-14 | 2022-08-26 | 中国石油大学(华东) | 一种化工园区吸烟检测设备及检测方法 |
| CN116935496A (zh) * | 2023-09-18 | 2023-10-24 | 深圳市希格莱特科技有限公司 | 一种电子烟烟雾视觉检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104268584A (zh) * | 2014-09-16 | 2015-01-07 | 南京邮电大学 | 一种基于分层过滤的人脸检测方法 |
| CN104598934A (zh) * | 2014-12-17 | 2015-05-06 | 安徽清新互联信息科技有限公司 | 一种驾驶员吸烟行为监控方法 |
| CN105354986A (zh) * | 2015-11-12 | 2016-02-24 | 熊强 | 汽车司机驾驶状态监测系统及方法 |
-
2019
- 2019-10-23 CN CN201911014203.5A patent/CN110738186A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104268584A (zh) * | 2014-09-16 | 2015-01-07 | 南京邮电大学 | 一种基于分层过滤的人脸检测方法 |
| CN104598934A (zh) * | 2014-12-17 | 2015-05-06 | 安徽清新互联信息科技有限公司 | 一种驾驶员吸烟行为监控方法 |
| CN105354986A (zh) * | 2015-11-12 | 2016-02-24 | 熊强 | 汽车司机驾驶状态监测系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王文峰等著: "MATLAB计算机视觉与机器认知", vol. 1, 北京航空航天大学出版社, pages: 132 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111428600A (zh) * | 2020-03-17 | 2020-07-17 | 北京都是科技有限公司 | 吸烟检测方法、系统、装置及热红外图像处理器 |
| CN113052026A (zh) * | 2021-03-12 | 2021-06-29 | 北京经纬恒润科技股份有限公司 | 座舱内抽烟行为定位方法及装置 |
| CN113052026B (zh) * | 2021-03-12 | 2023-07-18 | 北京经纬恒润科技股份有限公司 | 座舱内抽烟行为定位方法及装置 |
| CN113191244A (zh) * | 2021-04-25 | 2021-07-30 | 上海夏数网络科技有限公司 | 一种驾驶员不规范行为检测方法 |
| CN113392706A (zh) * | 2021-05-13 | 2021-09-14 | 上海湃道智能科技有限公司 | 抽烟及使用手机行为检测装置及方法 |
| CN113591615A (zh) * | 2021-07-14 | 2021-11-02 | 广州敏视数码科技有限公司 | 一种基于多模型的驾驶员抽烟检测方法 |
| CN113609963A (zh) * | 2021-08-03 | 2021-11-05 | 北京睿芯高通量科技有限公司 | 一种实时多人体角度的抽烟行为检测方法 |
| CN114943934A (zh) * | 2022-06-14 | 2022-08-26 | 中国石油大学(华东) | 一种化工园区吸烟检测设备及检测方法 |
| CN116935496A (zh) * | 2023-09-18 | 2023-10-24 | 深圳市希格莱特科技有限公司 | 一种电子烟烟雾视觉检测方法 |
| CN116935496B (zh) * | 2023-09-18 | 2023-11-17 | 深圳市希格莱特科技有限公司 | 一种电子烟烟雾视觉检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110738186A (zh) | 一种基于计算机视觉技术的驾驶员抽烟检测方法及系统 | |
| CN111126258B (zh) | 图像识别方法及相关装置 | |
| CN105354986B (zh) | 汽车司机驾驶状态监测系统及方法 | |
| Singh et al. | Image classification: a survey | |
| US20210012127A1 (en) | Action recognition method and apparatus, driving action analysis method and apparatus, and storage medium | |
| EP1452399A2 (en) | System and method for selecting classifier attribute types | |
| CN109460704B (zh) | 一种基于深度学习的疲劳检测方法、系统和计算机设备 | |
| JP2022530605A (ja) | 子供状態検出方法及び装置、電子機器、記憶媒体 | |
| CN107346629A (zh) | 一种智能盲人阅读方法及智能盲人阅读器系统 | |
| CN111582095B (zh) | 一种轻量级行人异常行为快速检测方法 | |
| CN111178183A (zh) | 人脸检测方法及相关装置 | |
| CN110633701A (zh) | 一种基于计算机视觉技术的驾驶员打电话检测方法及系统 | |
| CN110929593A (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN205230272U (zh) | 汽车司机驾驶状态监测系统 | |
| CN100561501C (zh) | 一种图像检测方法及装置 | |
| Abtahi et al. | A yawning measurement method using embedded smart cameras | |
| CN110363093A (zh) | 一种司机动作识别方法及装置 | |
| CN111582092A (zh) | 一种基于人体骨架的行人异常行为检测方法 | |
| CN112487844A (zh) | 手势识别方法、电子设备、计算机可读存储介质和芯片 | |
| CN110516622A (zh) | 一种车内人员的性别、年龄和情绪智能识别方法及系统 | |
| CN114266889A (zh) | 图像识别方法及其装置、可读介质和电子设备 | |
| CN114782979A (zh) | 一种行人重识别模型的训练方法、装置、存储介质及终端 | |
| CN210983433U (zh) | 一种基于计算机视觉技术的驾驶员抽烟检测系统 | |
| CN111539420B (zh) | 基于注意力感知特征的全景图像显著性预测方法及系统 | |
| Guo et al. | Design of a smart art classroom system based on Internet of Things |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |