CN110070078B - 一种基于传感器与机器视觉的酒驾检测方法及系统 - Google Patents

一种基于传感器与机器视觉的酒驾检测方法及系统 Download PDF

Info

Publication number
CN110070078B
CN110070078B CN201910447744.0A CN201910447744A CN110070078B CN 110070078 B CN110070078 B CN 110070078B CN 201910447744 A CN201910447744 A CN 201910447744A CN 110070078 B CN110070078 B CN 110070078B
Authority
CN
China
Prior art keywords
drunk driving
image
driver
sensor
net
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910447744.0A
Other languages
English (en)
Other versions
CN110070078A (zh
Inventor
项新建
施盛华
朱韬讯
王辉明
王文丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lover Health Science and Technology Development Co Ltd
Original Assignee
Zhejiang Lover Health Science and Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lover Health Science and Technology Development Co Ltd filed Critical Zhejiang Lover Health Science and Technology Development Co Ltd
Priority to CN201910447744.0A priority Critical patent/CN110070078B/zh
Publication of CN110070078A publication Critical patent/CN110070078A/zh
Application granted granted Critical
Publication of CN110070078B publication Critical patent/CN110070078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055Simultaneously evaluating both cardiovascular condition and temperature
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Pulmonology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于酒驾检测技术领域,具体涉及一种基于传感器与机器视觉的酒驾检测方法,包括:采集训练样本:利用设置于车辆内的酒精浓度传感器、心率传感器、体温传感器和摄像头分别获取车内的酒精浓度、驾驶员的心率、体温和面部图像;获取图像的酒驾识别结果:分别利用MTCNN网络和VGG16网络对面部图像进行人脸定位和酒驾识别;建立BP神经网络模型:将训练样本中的车内的酒精浓度、驾驶员的心率、体温及图像的酒驾识别结果进行BP神经网络训练;酒驾识别:将实时采集的车内的酒精浓度、驾驶员的心率、体温和面部图像输入至BP神经网络模型以判断驾驶员是否处于酒驾状态。本发明能够有效提高酒驾的识别率。

Description

一种基于传感器与机器视觉的酒驾检测方法及系统
技术领域
本发明属于酒驾检测技术领域,具体涉及一种基于传感器与机器视觉的酒驾检测方法及系统。
背景技术
随着现代社会与科学的不断发展,交通工具也在不断进步。在日常出行中,汽车俨然已经成为人们主要的交通工具;尽管交通工具的进步给人们的生活和工作带来了许多方便,但频频发生的交通事故,对人们的生命财产安全造成了极大的威胁。据世界卫生组织调查显示,大约50~60%的交通事故与酒后驾驶有关,所以酒驾识别来防止酒后驾驶具有重大的意义。
目前对酒驾行为的监测方式主要为人工监测,交警通过便携式酒精检测仪检测驾驶员是否酒驾,但是这种方式既耗费大量人力物力而且效率也不高,所以寻找一种有效准确自动化的酒驾识别方法成为当前的研究的热点和重点。
现有已有不少关于酒驾识别的相关专利文献,但是传统的防酒后驾车的专利技术都是单一靠检测汽车内酒精的浓度来检测司机是否饮酒,由于司机可以用塑料袋或胶布等方法人为故意封住酒精传感器的探头,从而使得车内酒精浓度检测器检测不到车内空气中酒精的浓度,并且现有的专利技术往往只使用一个酒精气敏传感器,分布于司机可见的某个表面,司机可以人为故意和轻易封住酒精传感器的探头;而且在所有的现有技术中都存在另一个问题,就是酒精检测的准确性,比方说不是司机本人喝酒而是乘客喝酒造成车内酒精浓度升高时,检测系统就可能出现误判,以达到启动汽车的目的,而且也存在司机涂抹了花露水和香精油等含酒精成分的物质引起酒精传感器的误报。综上,单一酒精浓度来评判是否酒驾并不充足。
申请号为201010112833.9的专利文献公开了防酒后驾车和安全健康行车方法,结合车内司机的心率变化、司机的体温变化、车内酒精浓度检测和第三方远程视频监督和控制多方面判断司机是否饮酒和防范司机酒后开车,但是其中关于体温变化、酒精浓度异常和心率变化都是设定阈值区间,通过获取的参数与区间进行对比识别,阈值区间是有人为多次重复试验和主观经验判断。第三方远程视频实则也是人为监督,也是主观上的判断,使得最终结果存在主观上的误差,降低了识别的准确度。
申请号为201410804948.2的专利文献公开了一种基于多传感器与视频识别技术的酒驾检测系统与方法,利用了多方位酒精传感器采集酒精浓度为初次判断是否醉酒,后续行驶过程中将视频识别与酒精浓度结合来判断是否存在饮酒行为。但是该方法主要依赖于酒精浓度检测的精度,视频识别只是检测司机是否存在替代的现象而不是进行图像识别来判断图像中的司机是否有酒驾行为,当酒精传感器被人为阻塞,醉酒驾驶员在行驶过程中不存在饮酒行为则无法被识别出来,而且该专利文献并未给出视频识别所采用的方法。
申请号为201611267904.6公开了一种基于深度学习的危险驾驶行为实时监测方法,通过前车图像采集,建立危险驾驶行为数据集,利用深度学习训练得到危险驾驶行为识别模型,虽然专利中危险驾驶行为并不包含酒驾,但是驾驶员酒后驾驶的面部特征与正常状态也存在差异,例如面部变红,眼睛由于意识模糊较相对平常变小,嘴巴出现微张等现象。差异的存在可以通过深度学习挖掘酒驾行为中特有的图像特征,以此作为对酒驾识别的依据。
据调查研究表明,人饮酒以后,由于酒中的化学物质在体内经过代谢之后会刺激神经,而心脏又是受交感支配的;当交感过度兴奋,心跳会加快。酒精能使血液流动加快,血管扩张,而且对心脏有很大的兴奋作用,使心跳加速。据调查,喝酒后的心率(脉搏)比正常不喝酒时增加超过20次/分钟。喝酒越多,心脏会跳得越快,体温也会比正常稍高。所以,有必要对驾驶员的心率与体温作为判断是否酒驾的依据之一。
发明内容
基于现有技术中存在的上述不足,本发明提供一种基于传感器与机器视觉的酒驾检测方法及系统。
为了达到上述发明目的,本发明采用以下技术方案:
一种基于传感器与机器视觉的酒驾检测方法,包括以下步骤:
S1、采集训练样本:利用设置于车辆内的酒精浓度传感器、心率传感器、体温传感器和摄像头分别获取车内的酒精浓度、驾驶员的心率、体温和面部图像;
S2、获取图像的酒驾识别结果:分别利用MTCNN网络和VGG16网络对面部图像进行人脸定位和酒驾识别;
S3、建立BP神经网络模型:将训练样本中的车内的酒精浓度、驾驶员的心率、体温及图像的酒驾识别结果进行BP神经网络训练;
S4、酒驾识别:将实时采集的车内的酒精浓度、驾驶员的心率、体温和面部图像输入至BP神经网络模型以判断驾驶员是否处于酒驾状态。
作为优选方案,所述MTCNN网络对面部图像进行人脸定位包括:MTCNN网络由P-Net、R-Net和0-Net级联而成,面部图像经过尺度放缩生成图像金字塔,然后输入P-Net,P-Net输入固定为12*12,由2个卷积层和1个代替全连接层的卷积层组成,P-Net在图像金字塔上生成12*12的人脸候选框,接着利用NMS筛选候选框后输出给R-Net;R-Net输入固定为24-24,拥有3个卷积层和1个代替全连接层的卷积层,其进一步排除负样本并利用第二次NMS筛选人脸候选框后输出给0-Net;0-Net输入固定为48*48,拥有4个卷积层和1个代替全连接层的卷积层,最终0-Net输出的人脸区域图像。
作为优选方案,所述VGG16网络包括二个全连接层,第一个全连接层节点为4096个,第二个全连接层节点为2个;在VGG16网络的顶层的4个卷积层增加卷积核的数量,由512个卷积核增加到700个卷积核,并用2个标签的SoftMax分类层;利用所述人脸区域图像训练VGG16网络,得到VGG16网络模型;所述VGG16网络模型用于识别面部图像对应的驾驶员是否处于酒驾,以获得图像的酒驾识别结果。
作为优选方案,所述VGG16网络模型中损失函数使用分类交叉熵函数:
Figure BDA0002074165790000041
Figure BDA0002074165790000042
其中,W和b分别为模型的权值和偏置项参数向量,WT为W的转置矩阵;m为训练样本数量,yi是第i个样本的真实标签,xi为第i个样本的样本输入。
作为优选方案,所述人脸区域图像在VGG16网络进行训练之前还需要进行预处理,所述预处理包括:进行3*3模版大小的高斯滤波,然后对图像实施缩放和裁剪操作,使输入图像标准化为一致分辨率大小224*224*3。
作为优选方案,所述VGG16网络的训练采用Caffe深度学习框架。
作为优选方案,所述步骤S3具体包括:
将训练样本中的车内的酒精浓度、驾驶员的心率、体温及图像的酒驾识别结果通过归一化处理将数据转化为无量纲数据;
采用线性函数变换对数据进行归一化处理,计算公式如下:
Figure BDA0002074165790000043
其中,x为归一化前的特征值,y为归一化处理后的特征值,Max为样本向量中的最大值,Min为样本向量中的最小值;
归一化后的数据输入至BP神经网络中,通过循环迭代,得到BP神经网络模型。
作为优选方案,所述步骤S4还包括:当判断结果为驾驶员处于酒驾状态,则控制车辆执行闭锁操作。
本发明还提供一种基于传感器与机器视觉的酒驾检测系统,应用如上任一方案所述的酒驾检测方法,所述酒驾检测系统包括通信连接的酒驾检测终端和酒驾识别云端,所述酒驾检测终端用于采集训练样本以及实时采集的车内的酒精浓度、驾驶员的心率、体温和面部图像;所述酒驾识别云端用于获取图像的酒驾识别结果、建立BP神经网络模型以及酒驾识别。
作为优选方案,所述酒驾检测系统包括设置于车辆内的酒精浓度传感器、心率传感器、体温传感器和摄像头,还包括通信模块和微控制器,所述微控制器与酒精浓度传感器、心率传感器、体温传感器、摄像头和通信模块通信连接,所述通信模块用于与酒驾识别云端通信连接;所述酒驾识别云端为远程云服务器,包括依次连接的酒驾图像识别模块、BP神经网络模型模块和识别模块。
本发明与现有技术相比,有益效果是:
本发明的基于传感器与机器视觉的酒驾检测方法,结合酒后人的生理变化,传感器采取多种人的生理指标数据,融合所采集的传感器数据与深度学习图像识别模型搭建嵌套网络酒驾识别方法,能够有效提高酒驾的识别率,并有具有良好的实时性和迁移性,具有广阔的前景。
本发明的基于传感器与机器视觉的酒驾检测系统,构架简单。
附图说明
图1是本发明实施例的基于传感器与机器视觉的酒驾检测方法的流程图;
图2是本发明实施例的基于传感器与机器视觉的酒驾检测系统的流程图;
图3是本发明实施例的基于传感器与机器视觉的酒驾检测方法中的MTCNN的框图;
图4是本发明实施例的基于传感器与机器视觉的酒驾检测方法中的改进后的VGG16结构图。
具体实施方式
为了更清楚地说明本发明实施例,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
本发明针对酒驾采用单一酒精浓度监测存在的不准确性,提出采用酒精浓度、驾驶员心率、驾驶员体温、驾驶员面部图像等多因素综合评价驾驶员的酒驾状态,提高酒驾识别的准确性与可靠性,构建更为安全文明地行车环境。
为提高酒驾识别的准确率,本发明提出一种基于多传感器与机器视觉的酒驾检测方法及系统。
如图1所示,本发明的基于多传感器与机器视觉的酒驾检测方法,具体包括以下步骤:
首先,构建酒驾检测系统,如图2所示,酒驾检测系统包括:酒驾检测终端与酒驾识别云端。
酒驾检测终端:具备体温传感器模块(采集驾驶员体温),酒精传感器模块(采集车内酒精浓度),心率传感器模块(采集驾驶员心率),高清摄像头模块(拍摄驾驶员面部图像),4G通信模块(4G远程传输,负责将数据发送给云端),控制模块(负责闭锁当前车辆),微控制器模块(负责处理终端各种数据,控制检测终端)。即酒驾检测终端包括设置于车辆内的酒精浓度传感器、心率传感器、体温传感器和摄像头,还包括通信模块和微控制器,所述微控制器与酒精浓度传感器、心率传感器、体温传感器、摄像头和通信模块通信连接,所述通信模块用于与酒驾识别云端通信连接;具体地,酒精浓度传感器设置在驾驶员侧车门上,座椅上装载心率传感器和非接触式体温传感器。
酒驾识别云端:为远程云服务器,具有酒驾图像识别对应的模块(通过MTCNN与VGG16识别驾驶员面部特征,并判断出是否为酒驾),多传感器与图像综合识别的模块((利用BP神经网络从多元素综合识别是否处于酒驾状态);即酒驾识别云端为远程云服务器,包括依次连接的酒驾图像识别模块、BP神经网络模型模块和识别模块。
本发明通过酒精传感器、心率监测传感器、体温传感器与高清摄像头采集车内酒精浓度、驾驶员心率、驾驶员体温以及驾驶员面部图像,然后利用深度学习酒驾图像识别模型判断当前驾驶员面部图像是否处于酒驾状态(仅从面部图像进行判别),接着将酒精浓度、驾驶员心率、驾驶员体温以及深度学习酒驾图像识别模型的结果输入BP神经网络中,最终通过BP神经网络从多元素融合判断驾驶员是否处于酒驾状态,根据识别的结果决定是否闭锁汽车。
本发明识别模型采用3种神经网络相结合实现对酒驾的准确识别。3种神经网络架构分别是:
①具有人脸定位检测的MTCNN网络,通过该网络能快速准确定位到图像中的人脸位置,减少图像中非人脸的无关数据,提高识别效率。
②一种具有图像特征提取和分类识别功能的改进的VGG16网络,通过该网络能识别出图像中驾驶员是否有酒驾行为(仅从图像角度判断)。
③具有分类功能的BP神经网络,通过该网络综合车内酒精浓度、驾驶员心率、驾驶员体温、改进的VGG16网络识别的酒驾结果等多源数据,判断驾驶员是否存在酒驾行为。
步骤一:搭建车内酒驾检测系统,酒精浓度传感器驾驶员侧车门上获取车内酒精浓度,座椅上装载心率检测器和非接触式体温监测器实时获取驾驶员心率和体温,搭载高清摄像头拍摄驾驶员图像,微控制器将采集到的信息通过4G模块发送给酒驾识别云端。
步骤二:酒驾识别云端中模型识别训练,包含MTCNN、改进的VGG16和BP神经网络的构建和训练。其步骤如下:
(1)本发明识别方法是通过训练学习来进行酒驾识别,需要大量的样本作为训练数据。利用酒驾检测系统采集大量样本,并根据驾驶员是否醉酒分为有醉酒和无醉酒两类,将其中的12.5%作为测试样本,87.5%作为训练样本。
利用酒驾检测终端进行样本采集。由于每个人的酒后驾驶特征都不尽相同,为提高普适率,本发明需挑选200人(其中男女各占半,年龄范围23-54岁,身高范围155~185,驾龄范围3~10年)作为样本对象。
由于存在涂抹花露水、香精油等含花露水的情况均会引起酒精传感器的反应,所以需要针对以下几种情况采集样本:按输出结果可分为酒驾(对网络训练结果期望输出1)和无酒驾(对网络训练结果期望输出0)两类。(血液中的酒精含量大于或者等于20mg/100mL)视为酒驾。
酒驾(1)可分为以下几类:
1:当车内司机处于酒驾状态,司机并未涂抹花露水或香精油等含酒精的物质。
2:当车内只有司机处于酒驾状态,司机涂抹花露水或香精油等含酒精的物质
无酒驾(0)可分为以下几类:
1:当车内司机处于无酒驾状态,司机并未涂抹花露水或香精油等含酒精的物质。
2:当车内司处于无酒驾状态,司机涂抹花露水或香精油等含酒精的物质。
每次试验均采取司机的心率、体温、图像,并通过人工的方式标注司机的酒驾情况。为避免偶然误差,每人作为司机在每种情况情况下均试验5次,总计200*5*4次试验,总计获得4000组数据(包含心率、体温以及图像),本发明选取500组数据作为测试数据,3500组数据作为训练集。
(2)酒驾识别有用的信息更多集中在驾驶员面部,所以需要先对图像中人脸部位进行定位,本发明采用MTCNN网络来实现对驾驶员面部的定位。MTCNN由三个小网络级联而成,分别为P-Net、R-Net、0-Net。其中P-Net可以得到图像中的人脸候选框,R-Net将经过P-net确定的包含候选窗体和边界回归向量。同时,候选窗体根据边界框进行校准,然后,利用NMS方法去除重叠窗体。0-Net:网络结构与R-net更深,功能与R-net一样。通过MTCNN得到图像中的人脸所在的区域,并截取出单个人脸的图像。
MTCNN定位人脸步骤:首先对MTCNN网络模型训练,训练数据集为开源的香港中文大学提供的WIDER FACE数据,训练框架为Caffe深度学习框架,其次输入的驾驶员图像经过尺度放缩生成图像金字塔,然后输入P-Net,P-Net输入固定为12*12,由2个卷积层和1个代替全连接层的卷积层组成,P-Ne在图像金字塔上生成12*12的人脸候选框,接着利用NMS筛选候选框后输出给R-Net。R-Ne输入固定为24-24,拥有3个卷积层和1个代替全连接层的卷积层,其进一步排除负样本并利用第二次NMS筛选人脸候选框后输出给0-Net。0-Net输入固定为48*48,拥有4个卷积层和1个代替全连接层的卷积层,最终0-Net输出的人脸候选框,MTCNN具体框架见图3。
其中,交叉熵损失函数:
Li det=-(yi detlog(pi)+(1-yi det)(1-log(pi)))
yi det∈{0,1}
式中:pi是指样本检测为人脸的概率,yi det是指真实标签值,人脸样本时yi det=1,非人脸样本时为0。
人脸边框回归候选窗口:
Figure BDA0002074165790000091
式中:
Figure BDA0002074165790000092
为通过网络预测得到的候选窗口表示,ybox为实际的背景候选窗口表示,该候选窗口是一个包含左上点坐标值以及矩阵长、宽等4个元素的四元组。
(3)训练样本中的图像通过上述步骤中MTCNN网络得到人脸区域图像,利用这些人脸区域图像训练改进的VGG16网络模型。普通的VGG16含了16个权重层分别为13个卷积层和3个全连接层。但由于VGG16的模型参数过多,对于酒驾人脸识别的速度较慢,因为对VGG16网络进行改进。VGG16的目的是为了识别图像中的驾驶员是否酒驾,只需要分为酒驾和无酒驾2类。因此提出用2个全连接层替换原有的3个全连接层,第一个全连接层节点为4096个,第二个全连接层节点为2个,同时为了增强人脸特征,在VGG网络顶层的4个卷积层增加卷积核的数量,由512个卷积核增加到700个卷积核以此提高识别效率和精度,并用2个标签的SoftMax分类层。训练后的VGG16网络模型能识别图像中驾驶员是否处于酒驾。
具体地,构建改进的VGG16网络:VGG16的目的是为了识别,图像中的驾驶员是否酒驾,只需要分为酒驾和无酒驾2类。因此提出用2个全连接层替换原有的3个全连接层,第一个全连接层节点为4096个,第二个全连接层节点为2个,同时为了增强人脸特征,在VGG网络顶层的4个卷积层增加卷积核的数量,由512个卷积核增加到700个卷积核以此提高识别效率和精度,并用2个标签的SoftMax分类层。改进后的VGG16具体结构如图4所示。
改进的VGG16网络模型中的损失函数使用分类交叉熵函数:
Figure BDA0002074165790000101
Figure BDA0002074165790000102
其中,W和b分别为模型的权值和偏置项参数向量,WT为W的转置矩阵;m为训练样本数量,yi是第i个样本的真实标签,xi为第i个样本的样本输入。
利用随机法初始化模型参数,权值更新采用加动量的批量梯度下降法,设定动量参数为0.9,权值衰减参数为5*10-4,学习速率设为0.01以及训练时间为20000次迭代,通过公式所示的损失函数迭代来训练改进的VGG16网络模型参数。
VGG16网络模型训练:MTCNN截取出训练样本中单个人脸的图像需要先进行预处理,进行3*3模版大小的高斯滤波,然后对图像实施缩放和裁剪操作,使输入图像标准化为一致分辨率大小224*224*3,然后对上述改进的VGG16进行训练,训练使用Caffe深度学习框架。
酒驾图像识别:通过训练后的VGG16网络模型可以完成对图像的酒驾识别工作。
(4)训练BP神经网络,BP神经网络是由误差的反向传播和信息的正向传播两个过程组成,是误差逆传播算法训练的多层前馈网络,包含输入层、隐含层、输出层,本发明选择3层神经网络。利用训练样本中的酒精浓度、驾驶员心率、驾驶员体温和步骤四中的图像酒驾识别结果来训练BP神经网络模型。训练后的BP神经网络模型能综合判断驾驶员是否酒驾。即通过BP神经网络依据酒精浓度、驾驶员心率、驾驶员体温以及图像的酒驾识别结果综合评判酒驾。BP神经网络识别步骤依次为构建BP神经网络-BP神经网络训练-BP神经网络综合识别。
构建BP神经网络模型:本发明选择3层神经网络,网络结构为4-5-1,其中输入层为驾驶员心率、驾驶员体温、酒精浓度以及图像酒驾识别结果,隐含层为5个神经元,输出层1个神经元,输出1为酒驾,0为无酒驾。利用随机法初始化网络模型中参数,同时设定给定计算精度0.01和最大学习次数10000,误差函数为e:
Figure BDA0002074165790000111
式中:dk为期望结果,ok为BP神经网络实际输出结果。
BP神经网络训练:训练样本中的一组数据(驾驶员心率、驾驶员体温、酒精浓度以及利用VGG16得到的图像酒驾识别结果)通过归一化处理将数据转化为无量纲数据。
本发明采用线性函数变换对数据进行归一化处理,计算公式如下所示:
Figure BDA0002074165790000112
式中:x为归一化前的特征值,y为归一化处理后的特征值,Max为样本向量中的最大值,Min则为最小值。
归一化后的数据输入到BP神经网络的输入层中,通过循环迭代的方式获得最终网络模型。
BP神经网络综合识别:通过训练后的BP网络模型可以完成多源因素的酒驾识别工作。
步骤三:利用酒驾识别云端对酒驾检测终端采集的数据进行综合评判,判断驾驶员是否处于酒驾状态,当判断是酒驾状态时,酒驾识别云端发送报警信息给检测终端,检测终端通过控制模块进行闭锁操作。
以上所述仅是对本发明的优选实施例及原理进行了详细说明,对本领域的普通技术人员而言,依据本发明提供的思想,在具体实施方式上会有改变之处,而这些改变也应视为本发明的保护范围。

Claims (4)

1.一种基于传感器与机器视觉的酒驾检测方法,其特征在于,包括以下步骤:
S1、采集训练样本:利用设置于车辆内的酒精浓度传感器、心率传感器、体温传感器和摄像头分别获取车内的酒精浓度、驾驶员的心率、体温和面部图像;
S2、获取图像的酒驾识别结果:分别利用MTCNN网络和VGG16网络对面部图像进行人脸定位和酒驾识别;
S3、建立BP神经网络模型:将训练样本中的车内的酒精浓度、驾驶员的心率、体温及图像的酒驾识别结果进行BP神经网络训练;
S4、酒驾识别:将实时采集的车内的酒精浓度、驾驶员的心率、体温和面部图像输入至BP神经网络模型以判断驾驶员是否处于酒驾状态;
所述MTCNN网络对面部图像进行人脸定位包括:MTCNN网络由P-Net、R-Net和0-Net级联而成,面部图像经过尺度放缩生成图像金字塔,然后输入P-Net,P-Net输入固定为12*12,由2个卷积层和1个代替全连接层的卷积层组成,P-Net在图像金字塔上生成12*12的人脸候选框,接着利用NMS筛选候选框后输出给R-Net;R-Net输入固定为24-24,拥有3个卷积层和1个代替全连接层的卷积层,其进一步排除负样本并利用第二次NMS筛选人脸候选框后输出给0-Net;0-Net输入固定为48*48,拥有4个卷积层和1个代替全连接层的卷积层,最终0-Net输出的人脸区域图像;
所述VGG16网络包括二个全连接层,第一个全连接层节点为4096个,第二个全连接层节点为2个;在VGG16网络的顶层的4个卷积层增加卷积核的数量,由512个卷积核增加到700个卷积核,并用2个标签的SoftMax分类层;利用所述人脸区域图像训练VGG16网络,得到VGG16网络模型;所述VGG16网络模型用于识别面部图像对应的驾驶员是否处于酒驾,以获得图像的酒驾识别结果;
所述VGG16网络模型中损失函数使用分类交叉熵函数:
Figure FDA0003125642620000021
Figure FDA0003125642620000022
其中,W和b分别为模型的权值和偏置项参数向量,WT为W的转置矩阵;m为训练样本数量,yi是第i个样本的真实标签,xi为第i个样本的样本输入;
所述人脸区域图像在VGG16网络进行训练之前还需要进行预处理,所述预处理包括:进行3*3模版大小的高斯滤波,然后对图像实施缩放和裁剪操作,使输入图像标准化为一致分辨率大小224*224*3;
所述VGG16网络的训练采用Caffe深度学习框架;
所述步骤S3具体包括:
将训练样本中的车内的酒精浓度、驾驶员的心率、体温及图像的酒驾识别结果通过归一化处理将数据转化为无量纲数据;
采用线性函数变换对数据进行归一化处理,计算公式如下:
Figure FDA0003125642620000023
其中,x为归一化前的特征值,y为归一化处理后的特征值,Max为样本向量中的最大值,Min为样本向量中的最小值;
归一化后的数据输入至BP神经网络中,通过循环迭代,得到BP神经网络模型。
2.根据权利要求1所述的一种基于传感器与机器视觉的酒驾检测方法,其特征在于,所述步骤S4还包括:当判断结果为驾驶员处于酒驾状态,则控制车辆执行闭锁操作。
3.一种基于传感器与机器视觉的酒驾检测系统,应用如权利要求1-2任一项所述的酒驾检测方法,其特征在于,所述酒驾检测系统包括通信连接的酒驾检测终端和酒驾识别云端,所述酒驾检测终端用于采集训练样本以及实时采集的车内的酒精浓度、驾驶员的心率、体温和面部图像;所述酒驾识别云端用于获取图像的酒驾识别结果、建立BP神经网络模型以及酒驾识别。
4.根据权利要求3所述的酒驾检测系统,其特征在于,所述酒驾检测系统包括设置于车辆内的酒精浓度传感器、心率传感器、体温传感器和摄像头,还包括通信模块和微控制器,所述微控制器与酒精浓度传感器、心率传感器、体温传感器、摄像头和通信模块通信连接,所述通信模块用于与酒驾识别云端通信连接;所述酒驾识别云端为远程云服务器,包括依次连接的酒驾图像识别模块、BP神经网络模型模块和识别模块。
CN201910447744.0A 2019-05-27 2019-05-27 一种基于传感器与机器视觉的酒驾检测方法及系统 Active CN110070078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910447744.0A CN110070078B (zh) 2019-05-27 2019-05-27 一种基于传感器与机器视觉的酒驾检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910447744.0A CN110070078B (zh) 2019-05-27 2019-05-27 一种基于传感器与机器视觉的酒驾检测方法及系统

Publications (2)

Publication Number Publication Date
CN110070078A CN110070078A (zh) 2019-07-30
CN110070078B true CN110070078B (zh) 2021-10-15

Family

ID=67371590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910447744.0A Active CN110070078B (zh) 2019-05-27 2019-05-27 一种基于传感器与机器视觉的酒驾检测方法及系统

Country Status (1)

Country Link
CN (1) CN110070078B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110702622A (zh) * 2019-10-12 2020-01-17 北京软通智慧城市科技有限公司 酒驾车辆的识别方法、装置、设备、存储介质和系统
CN112124073B (zh) * 2020-09-23 2022-05-20 上海商汤临港智能科技有限公司 基于酒精检测的智能驾驶控制方法及装置
CN112243216A (zh) * 2020-10-13 2021-01-19 安徽富煌科技股份有限公司 一种基于ZigBee通信的车载集中控制系统
CN112418000B (zh) * 2020-11-05 2024-02-27 武汉理工大学 基于单目摄像头的不良驾驶行为检测方法及系统
CN112277956B (zh) * 2020-11-06 2022-01-18 北京中科心研科技有限公司 一种用方向盘检测酒驾行为的方法和装置
CN112401857A (zh) * 2020-11-23 2021-02-26 杭州艺兴科技有限公司 一种驾驶员酒驾检测方法
CN113176304A (zh) * 2021-04-14 2021-07-27 中山大学 一种基于神经网络气体识别的酒驾预警装置及其方法
CN113370786B (zh) * 2021-06-10 2023-04-28 桂林电子科技大学 基于多源信息融合的单位用车车载酒驾综合检测系统
CN114813615A (zh) * 2022-06-23 2022-07-29 广东省计量科学研究院(华南国家计量测试中心) 一种基于红外光吸收特性的酒精浓度范围检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103692912A (zh) * 2013-12-13 2014-04-02 黄育斌 一种主动式防止酒驾装置以及检测方法
CN104742802A (zh) * 2014-12-19 2015-07-01 北京联合大学 一种基于多传感器与视频识别技术的酒驾检测系统与方法
CN104742743A (zh) * 2015-02-10 2015-07-01 柳州市金旭节能科技有限公司 一种基于gsm的酒驾监控装置及方法
CN108335457A (zh) * 2018-02-08 2018-07-27 吉林大学 一种基于驾驶人手环的驾驶安全监测方法
CN108764041A (zh) * 2018-04-25 2018-11-06 电子科技大学 用于下部遮挡人脸图像的人脸识别方法
CN109086739A (zh) * 2018-08-23 2018-12-25 成都睿码科技有限责任公司 一种无人脸数据训练的人脸识别方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103692912A (zh) * 2013-12-13 2014-04-02 黄育斌 一种主动式防止酒驾装置以及检测方法
CN104742802A (zh) * 2014-12-19 2015-07-01 北京联合大学 一种基于多传感器与视频识别技术的酒驾检测系统与方法
CN104742743A (zh) * 2015-02-10 2015-07-01 柳州市金旭节能科技有限公司 一种基于gsm的酒驾监控装置及方法
CN108335457A (zh) * 2018-02-08 2018-07-27 吉林大学 一种基于驾驶人手环的驾驶安全监测方法
CN108764041A (zh) * 2018-04-25 2018-11-06 电子科技大学 用于下部遮挡人脸图像的人脸识别方法
CN109086739A (zh) * 2018-08-23 2018-12-25 成都睿码科技有限责任公司 一种无人脸数据训练的人脸识别方法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Multi-Task CNN Framework for Driver Face Monitoring;Luigi Celona et al;《2018 IEEE 8th International Conference on Consumer Electronics - Berlin (ICCE-Berlin)》;20180905;第1-4页 *
Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks;Kaipeng Zhang et al;《IEEE Signal Processing Letters》;20161031;第23卷(第10期);第1499-1503页 *
Real-Time Driver Drowsiness Detection for Embedded System Using Model Compression of Deep Neural Networks;Bhargava Reddy et al;《2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)》;20170726;正文第3节 *
基于人脸识别的身份验证系统的设计与实现;曹天挺;《中国优秀硕士学位论文全文数据库信息科技辑》;20181115;正文第3.4.2节、第4.2.2节以及第4.2.5节 *

Also Published As

Publication number Publication date
CN110070078A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN110070078B (zh) 一种基于传感器与机器视觉的酒驾检测方法及系统
CN111444821B (zh) 一种城市道路标志自动识别方法
CN109522793B (zh) 基于机器视觉的多人异常行为检测与识别方法
CN109034044B (zh) 一种基于融合卷积神经网络的行人再识别方法
CN105303193B (zh) 一种基于单帧图像处理的人数统计系统
CN104657752B (zh) 一种基于深度学习的安全带佩戴识别方法
US20200214614A1 (en) Image processing method and corresponding system
CN103824420B (zh) 基于心率变异性非接触式测量的疲劳驾驶识别系统
CN108178037A (zh) 一种基于卷积神经网络的电梯故障识别方法
CN106611169A (zh) 一种基于深度学习的危险驾驶行为实时检测方法
CN110717389B (zh) 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法
CN107992836A (zh) 一种矿工不安全行为的识别方法及系统
CN114283469B (zh) 一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统
CN103971106B (zh) 多视角人脸图像性别识别方法及装置
CN110811649A (zh) 一种基于生物电及行为特征融合的疲劳驾驶检测方法
CN103488974A (zh) 基于模拟生物视觉神经网络的人脸表情识别方法及系统
CN112734734A (zh) 一种基于改进残差网络的铁路隧道裂缝检测方法
CN113139594B (zh) 一种机载图像无人机目标自适应检测方法
CN109029993A (zh) 结合遗传算法优化参数和机器视觉的轴承故障检测算法
CN116343284A (zh) 基于注意力机制的多特征户外环境情绪识别方法
CN109567832A (zh) 一种基于智能手环的检测愤怒驾驶状态的方法及系统
CN117725528A (zh) 一种基于深度特征融合的工业场景下人员动作识别方法
Utomo et al. Driver fatigue prediction using different sensor data with deep learning
CN111723869A (zh) 一种面向特殊人员的行为风险智能预警方法及系统
CN114283367B (zh) 用于园区火灾预警的人工智能明火探测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant