CN108609019A - 一种基于人工智能平台的电动车自动驾驶方法 - Google Patents
一种基于人工智能平台的电动车自动驾驶方法 Download PDFInfo
- Publication number
- CN108609019A CN108609019A CN201810436030.5A CN201810436030A CN108609019A CN 108609019 A CN108609019 A CN 108609019A CN 201810436030 A CN201810436030 A CN 201810436030A CN 108609019 A CN108609019 A CN 108609019A
- Authority
- CN
- China
- Prior art keywords
- driver
- face
- vehicle
- model
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 230000001815 facial effect Effects 0.000 claims abstract description 21
- 230000008921 facial expression Effects 0.000 claims abstract description 16
- 230000003068 static effect Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 8
- 230000009471 action Effects 0.000 description 6
- 210000000744 eyelid Anatomy 0.000 description 5
- 210000000887 face Anatomy 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004399 eye closure Effects 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 230000003828 downregulation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000003345 natural gas Substances 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0028—Mathematical models, e.g. for simulation
- B60W2050/0029—Mathematical model of the driver
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于人工智能平台的电动车自动驾驶方法,包括以下步骤:S100,检测驾驶员是否进入车内;S200,当判定驾驶员进入车内后,对驾驶员进行人脸检测,判断其与预存储的驾驶员面部特征是否匹配;S300,匹配成功后,根据获取到的起点与终点位置,进行路径规划,进入自动驾驶模式;S400,定时抓取驾驶员面部表情特征,根据面部表情判断驾驶员是否疲劳。本发明提高了自动驾驶的安全性。
Description
技术领域
总的而言本发明涉及图像处理,特别涉及一种基于人工智能平台的电动车自动驾驶方法。
背景技术
目前石油以及天然气等传统车用能源在燃烧过程中会给大气带来严重的污染,为了大幅降低车辆给环境带来的污染,依靠电能行驶的电动车辆顺应而生。近年来,自动驾驶受到了越来越多的关注,被认为是缓解交通拥堵,减少交通事故和环境污染的重要技术。当前,电动车自动驾驶技术已有了长足发展,但依然存在诸多技术问题有待克服。目前自动驾驶电动车一般具有各种传感器用于检测车外道路环境,但关键时刻依然需要驾驶员介入,这些关键时刻一般包括例如电池电量低、驱动系统故障、交叉路口、无法完成道路识别等等。而目前自动驾驶系统并不对驾驶员的当前状况等方面进行检测,例如驾驶员疲劳时,其不能及时对危险情况进行人工干预,自动驾驶系统会对车内乘员构成严重威胁。随着计算机技术的发展,通过人脸进行年龄识别、身份识别已越来越成熟,人脸识别技术与无人驾驶技术的融合对于解决上述问题提供了一种新的途径。
发明内容
针对现有技术的缺陷,本发明提供了一种基于人工智能平台的电动车自动驾驶方法。
一种基于人工智能平台的电动车自动驾驶方法,包括以下步骤:S100,检测驾驶员是否进入车内;S200,当判定驾驶员进入车内后,对驾驶员进行人脸检测,判断其与预存储的驾驶员面部特征是否匹配;S300,匹配成功后,根据获取到的起点与终点位置,进行路径规划,进入自动驾驶模式;S400,定时抓取驾驶员面部表情特征,根据面部表情判断驾驶员是否疲劳。
可选的,在采集到人脸图像数据后,通过服务器发送到人工智能云平台,云平台内置的深度学习引擎训练数据,获得在车内识别人脸及判断疲劳状态的算法模型,利用该优化的算法模型进行人脸检测、面部特征识别,以及根据面部表情判断驾驶员是否疲劳。
可选的,所述步骤S100包括:存储单元中预存储压力阈值,当座位下的压力传感器检测到压力值大于设定的压力阈值后,通过ECU唤醒车内摄像头,通过车内摄像头进行驾驶员的人脸识别。所述步骤S200包括人脸检测与面部特征识别两个部分,通过多级模型进行人脸检测,除输入级模型以外的每一级模型以其前一级模型的输出为输入,采用卷积神经网络来实现上述每一级的模型,由前级模型对人脸的旋转角度进行粗略的分类,由后级的模型依据更加精细的角度进行分类。所述步骤S200包括:利用静态匹配与动态匹配相融合的方法进行面部特征识别。所述步骤S400包括:S410,提取人脸图像中人脸关键点,对人脸图像进行对齐;S420,矫正倾斜头像:S430,判断左、右眼及嘴部状态; S440,检测驾驶员是否处于疲劳状态。
本发明的有益效果是:将人脸识别技术应用到电动车自动驾驶中,大大提高了驾驶员识别的精度,确保了驾驶员为适格的驾驶员,根据面部表情进行疲劳检测,防止疲劳驾驶,使得在自动驾驶模式中驾驶员可以对紧急情况及时做出干预,提高了自动驾驶的安全性。
附图说明
图1为本发明电动车系统的结构示意图;
图2为本发明自动驾驶方法的流程图;
图3为本发明人脸识别的流程图;
图4为本发明疲劳检测的流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明的具体实施方式做详细的说明,使本发明的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按比例绘制附图,重点在于示出本发明的主旨。
参阅图1,首先对本发明的电动车系统做简要介绍。图1示意性的画出了无人驾驶电动车的主要组成部分,包括动力电池组、ECU(电子控制单元)、车外检测单元、车内检测单元、以及驱动单元等等。其中动力电池组为电动车的动力来源,用于为系统提供电力;ECU为车辆的核心控制部分,通过其完成车内人员识别、车外道路识别、各种逻辑控制、控制驱动单元驱动电机运行等等;路径规划单元用于根据输入的起点和终点进行路径规划,找到最优路径;车外检测单元指的是布置于驾驶室之外的各种检测元件,这些元件可以包括例如测量电池组电压的电压传感器,测量电池组温度的温度传感器,测量车速的速度传感器,获取道路图像的车外摄像头等等;车内检测单元指的是布置于驾驶室之内的各种检测元件,这些元件可以包括例如用于对车内人员进行人脸识别的摄像头,温度传感器,布置于座椅之下的压力传感器等等;驱动单元通常采用逆变器,其根据ECU的指令,以PWM(脉宽调制)的方式将动力电池组输出的直流电转换为频率与幅值变化的交流电提供给电机,驱动电动车辆运行。
ECU(电子控制单元)还连接有无线接口,通过服务器连接人工智能云平台。车内检测单元在采集到人脸图像数据后,ECU通过服务器发送到人工智能云平台,云平台内置的深度学习引擎训练数据,获得在车内识别人脸及判断疲劳状态的算法模型,人工智能云平台并将优化后的算法模型发送到ECU,利用该优化的算法模型进行人脸检测、面部特征识别,以及根据面部表情判断驾驶员是否疲劳。
本发明中的自动驾驶方法,大致包含如下几个步骤:S100,检测驾驶员是否进入车内;S200,当判定驾驶员进入车内后,对驾驶员进行人脸检测,判断其与预存储的驾驶员面部特征是否匹配;S300,匹配成功后,根据获取到的起点与终点位置,进行路径规划,进入自动驾驶模式;S400,定时抓取驾驶员面部表情特征,根据面部表情判断驾驶员是否疲劳。下面分别对各个步骤进行详细介绍。
对于步骤S100而言,驾驶员的检测可以由车内摄像头完成,即车内摄像头持续对驾驶位进行拍摄,当检测到人员后,进行人脸识别。然而,对于电动车而言,动力电池组的电量是宝贵的,应该减少任何不必要的电能消耗,持续的图像采集会耗费相当一部分电力。为此,本发明通过驾驶位下的压力传感器进行驾驶员是否存在的检测,具体而言,存储单元中预存储压力阈值,当座位下的压力传感器检测到压力值大于设定的压力阈值后,通过ECU唤醒车内摄像头,通过车内摄像头进行驾驶员的人脸识别,这一方案中,ECU仅需要向压力传感器提供微弱的工作电力即可,车内摄像头不必持续工作,从而节省了电力消耗。
车内摄像头唤醒后,首先要确认驾驶位存在适格的驾驶员,此处适格的驾驶员指的是驾驶员的身份、年龄等符合预设的驾驶员要求,例如,对于身份而言,可以将预先采集到的适格驾驶员的面部图像存储于存储单元中,当车内摄像头采集到的驾驶员面部图像与预存储的图像相符合时,则判定该驾驶员为适格的驾驶员。对于年龄而言,可以在存储单元中预存储适格驾驶员的年龄阈值,这一阈值例如可以是:18岁<适格驾驶员<60岁,即要求驾驶员的年龄介于18 岁至60岁之间,车内摄像头获取到驾驶员的面部图像后,进行年龄识别,通过识别的年龄,判断当前驾驶员的年龄是否位于阈值内,当位于阈值内时,则判定驾驶员的年龄是适格的。
步骤S200中进行驾驶员身份识别,这一过程包括人脸检测与面部特征识别两个部分,下面对这两个部分分别进行详细介绍。人脸检测指的是判断由车内摄像头所采集到的图像中人脸是否存在人脸/人脸所在区域,以便后续在面部特征识别中对该区域进行进一步的处理。人脸检测的结果直接影响了面部特征识别的准确性。然而当驾驶员进入驾驶位后,其头部一般不会保持不动,驾驶员通常会进行例如打开收音机、取放眼镜、与后排乘客交谈等动作,在这一过程中,驾驶员的面部通常会上/下/左/右转动,这样摄像头所捕捉到的人脸通常不是正面像,捕捉到的人脸图像与水平方向存在夹角,例如存在侧脸、头顶朝下等情况,这要求在对驾驶员进行人脸检测时消除上述影响。对此,本发明通过多级模型来进行人脸检测,通过多级模型进行多次旋转/校准,使得经过上述调整之后再由下一级模型对校准后窗口进行进一步的人脸识别,由此逐渐地缩小人脸的最大旋转角度,有利于模型做出更准确的人脸与非人脸筛选。
具体而言,人脸检测运用多级模型,多级模型至少包括两级模型,除输入级模型以外的每一级模型以其前一级模型的输出为输入,采用卷积神经网络来实现上述每一级的模型,这是由于卷积神经网络在实施人脸检测以及分类时可以获得非常好的效果。由此,由前级的模型依据可能存在的人脸的旋转角度进行粗略的分类,由后级的模型依据更加精细的角度进行分类,具体检测流程包括以下步骤。
S210:输入级模型对待检测图像进行人脸检测,对筛选出的可能包含人脸的窗口根据人脸的角度进行分类,根据分类对窗口进行第一次校准。例如对于大多数情况下,驾驶员进入驾驶位置后,其头部运动为左、右运动,车内摄像头所抓拍到的人脸角度基本为向左、向右,这样可以通过输入级粗略地将人脸的旋转角度划分2类。通过这样的方式,可以将检测到的可能包含人脸的窗口全部划分到同一个分类中,即使得各个窗口中的可能的人脸与参考方向之间的夹角均在(-90°,90°]的范围内,并且该同一个分类更加接近于人脸检测的算法的参考方向,有利于在随后的步骤中通过继续执行人脸检测来获得准确的识别结果。
S220:中间级模型对由输入级模型输出的窗口进行人脸检测,针对进一步筛选出的可能包含人脸的窗口根据人脸的旋转角度进一步进行分类划分,并根据所划分的类别对该可能包含人脸的窗口的角度范围进行进一步的校准。中间级仅对在步骤S100中实施过校准的窗口进行人脸检测,以提高计算效率。例如,人脸检测算法的参考方向为竖直向上,将旋转角度在[-90°,-45°)的范围内的窗口划分到“朝左”的分类、将旋转角度在[45°,90°]的范围内的窗口划分到“朝右”的分类、将旋转角度在[-45°,45°]的范围内的窗口划分到“暂时无需校准”的分类。这里,可以将划分为“朝左”的窗口顺时针旋转90°,将划分为“朝右”的窗口逆时针旋转90°,从而将全部窗口中可能的人脸的旋转角度校准到[-45°,45°]的范围内。
S230:通过输出级输出人脸检测的结果至面部特征识别模块。对于输出级而言,也可以执行与S210或S220相似的操作,以将各个窗口中人脸的旋转角度校准到更小的范围内。
S240:利用主成分分析法、独立成分分析法和线性判别方法相结合,从S230 输出的结果中获取人脸的轮廓特征,利用梯度图像算法处理前述的人脸的轮廓特征,从而得到高维特征数据,利用二值法对人脸的轮廓特征进行处理,变换得到低维特征数据。
S250:将高维特征数据与低维特征数据与预存储的图像数据进行相似度度量,即特征匹配,得到静态特征匹配结果。
S260:动态匹配,对通过车内摄像头获取的视频流,提取视频流中的动态特征,确定目标区域,从目标区域中选取所需要的脸部窗口,建立局部窗口,将局部窗口的图像进行二值化,提取动态的轮廓特征,采用滑动窗算法将所得到的轮廓特征信息变换为动作序列,从而构建表情动作序列,将前述的表情动作序列生成用于匹配的动作向量信息。
S270:将静态特征匹配得到的结果与动态匹配得到的动作向量进行结果集融合,利用动态结果集对静态结果集进行校验,将错误结果进行剔除,得出最终识别结果并给出识别的置信度,完成识别操作。基于动静特征融合的人脸识别方法,是一种结合空间和时间提出的新的人脸识别方法,在空间维度上,将所得图像用人脸轮廓进行表达,在时间维度上,把人的表情抽象成向量信息,对这两组信息进行匹配与计算,可以大大提高人脸识别的准确率。
S300:匹配成功后,根据获取到的起点与终点位置,进行路径规划。在该步骤中,驾驶员通过例如语音等方式,将起点与终点位置输入路径规划单元,对于起点而言,可以通过车载GPS获得当前车辆位置坐标作为起点位置坐标。路径规划包括全局路径规划与局部路径规划,现有技术中已存在多种规划方法,本发明对此不再赘述。
虽然在自动驾驶模式中,一般情况下无需人工干预,但在紧急情况下依然需要驾驶员的人工介入,当驾驶员疲劳时,将会导致驾驶员不能及时的进行人工干预,极易造成安全事故。
为此,本发明在步骤S400中,通过车内摄像头定时抓取驾驶员面部表情特征,根据面部表情判断驾驶员是否疲劳。
具体而言,S410:提取单位时间t内驾驶员驾驶时包含整个面部表情的视频流;获取每一帧中人脸图像的人脸关键点,利用回归方法实现当前人脸图像中的人脸对齐,设第k个人脸关键点在正常人脸形状上的坐标为在当前人脸图像中的坐标为k=1,2,…,N;通过回归的方法,将回归到上实现人脸对齐;
其中,表示第k个人脸关键点在正常人脸形状上所对应的SIFT 特征,h()表示非线性特征提取函数,表示第k个人脸关键点在正常人脸形状上的坐标位置;Δxk表示第k个人脸关键点在正常人脸形状上和当前人脸图像上的坐标差值;||||2表示求二范数;在对齐后的当前人脸图像中提取人脸关键点:
其中,φk-1=h(d(xk-1))是上一组人脸关键点提取出的SIFT特征,H、Jh 分别是xk-1的海森矩阵和雅可比矩阵。SDM方法使用梯度下降向量Rk和重缩放因子bk更新xk,使xk成功收敛为得到第k个人脸关键点坐标;xk=xk-1+Rk-1 φk-1+bk-1
同理,按照上述方法依次提取出当前帧中剩余N-1人脸关键点坐标;将32 个人脸关键点用向量表示为N=(n1,n2,…,n32),对提取的N=32个人脸关键点进行标注,其中,将n1~n6个人脸关键点标注为左眼关键点,将n7~n12个人脸关键点标注为右眼关键点,将n13~n32个人脸关键点标注为嘴部关键点。
S420:根据标准三维模型与二维投影之间的关系,将倾斜的头像进行矫正:
其中,(α,β,γ)表示标准三维模型中人脸姿态的三个旋转角度,qk表示当前人脸图像中第k个人脸关键点的位置向量,pk表示标准三维模型中第k个人脸关键点的位置向量,R代表旋转矩阵,τ为空间偏移向量,c为伸缩因子;
其中,旋转矩阵R三个矩阵相乘得到:
S430:根据左右眼关键点的坐标位置,分别计算出左、右眼两个眼角关键点间的距离d1、d2,以及左、右眼四个眼睑关键点间的距离,其中,左眼中上下对称的两组眼睑关键点间的距离为d3、d4,右眼中上下对称的两组眼睑关键点间的距离为d5、d6;判断左眼是否闭合:用左眼中眼角关键点间距离d1除以眼睑关键点间距离d3、d4之和,得到比值Δd1,再将Δd1与左眼闭合阈值T1 =3.3比较,如果Δd1>T1,则表明左眼闭合,反正则表示左眼未闭合;判断右眼是否闭合:用右眼中眼角关键点间距离d2除以眼睑关键点间距离d5、d6之和,得到比值Δd2,再将Δd2与右眼闭合阈值T2=3.4比较,如果Δd1>T2,则表明右眼闭合,反正则表示右眼未闭合。
在嘴部关键点中,选取上、下嘴唇正中间各一个关键点,并计算这两个关键点间距离d;再将距离d与嘴部开合度阈值ζ=40比较,如果d>ζ,表示嘴部张开程度大于正常情况,反正则表示嘴部闭合或正常张嘴。
S440:利用PECLOS方法来检测是否处于疲劳状态,在单位时间t内,以每一分钟为单位,利用PECLOS方法统计一分钟内驾驶员左右眼睛闭合次数,以及眼睛闭合时所占的时间比例,如果每分钟内左右眼睛闭合次数在10次以内,且眼睛闭合时所占的时间比例在4s以内,则判定该驾驶员在本分钟为正常眨眼,否则判定该驾驶员在本分钟内为疲劳驾驶;如果单位时间t内疲劳驾驶的分钟数大于阈值σ,则判定该驾驶员在该时间段t内为疲劳状态;利用PECLOS方法统计一分钟内驾驶员嘴部张开程度大于正常情况的次数,以及嘴部张开程度大于正常情况时所占的时间比例,如果嘴部张开程度大于正常情况的次数在2次以内,且嘴部张开程度大于正常情况时所占的时间比例在2s以内,则判定该驾驶员在本分钟为正常张嘴,否则判定该驾驶员在本分钟内为疲劳驾驶;如果单位时间t内疲劳驾驶的分钟数大于阈值ρ,则判定该驾驶员在该时间段t内为疲劳状态。
本发明先提取单位时间内驾驶员驾驶时包含整个面部表情的视频流,再对视频流中的每一帧图像进行处理,通过每一帧图像中人脸关键点来判断每一帧图像中是否存在眼睛闭合或嘴部张开过大等情况,最后利用利用PECLOS方法来检测单位时间内视频流中出现眼睛闭合或嘴部张开过大的次数,从而判断驾驶员是否出现疲劳驾驶,具有非常好的扩展性和灵活性。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于本申请的方法实施例而言,由于其与装置实施例基本相似,所以描述的比较简单,相关之处参见装置实施例的部分说明即可。
在以上的描述中阐述了很多具体细节以便于充分理解本发明。但是以上描述仅是本发明的较佳实施例而已,本发明能够以很多不同于在此描述的其它方式来实施,因此本发明不受上面公开的具体实施的限制。同时任何熟悉本领域技术人员在不脱离本发明技术方案范围情况下,都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均仍属于本发明技术方案保护的范围内。
Claims (6)
1.一种基于人工智能平台的电动车自动驾驶方法,其特征在于,包括以下步骤:
S100,检测驾驶员是否进入车内;
S200,当判定驾驶员进入车内后,对驾驶员进行人脸检测,判断其与预存储的驾驶员面部特征是否匹配;
S300,匹配成功后,根据获取到的起点与终点位置,进行路径规划,进入自动驾驶模式;
S400,定时抓取驾驶员面部表情特征,根据面部表情判断驾驶员是否疲劳。
2.根据权利要求1所述的方法,其特征在于,所述步骤S100包括:存储单元中预存储压力阈值,当座位下的压力传感器检测到压力值大于设定的压力阈值后,通过ECU唤醒车内摄像头,通过车内摄像头进行驾驶员的人脸识别。
3.根据权利要求1所述的方法,其特征在于,所述步骤S200包括人脸检测与面部特征识别两个部分,通过多级模型进行人脸检测,除输入级模型以外的每一级模型以其前一级模型的输出为输入,采用卷积神经网络来实现上述每一级的模型,由前级模型对人脸的旋转角度进行粗略的分类,由后级的模型依据更加精细的角度进行分类。
4.根据权利要求1所述的方法,其特征在于,所述步骤S200包括:利用静态匹配与动态匹配相融合的方法进行面部特征识别。
5.根据权利要求1所述的方法,其特征在于,所述步骤S400包括:S410,提取人脸图像中人脸关键点,对人脸图像进行对齐;S420,矫正倾斜头像:S430,判断左、右眼及嘴部状态;S440,检测驾驶员是否处于疲劳状态。
6.根据权利要求1或3或5所述的方法,其特征在于,在采集到人脸图像数据后,通过服务器发送到人工智能云平台,云平台内置的深度学习引擎训练数据,获得在车内识别人脸及判断疲劳状态的算法模型,利用该优化的算法模型进行人脸检测、面部特征识别,以及根据面部表情判断驾驶员是否疲劳。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810436030.5A CN108609019B (zh) | 2018-05-09 | 2018-05-09 | 一种基于人工智能平台的电动车自动驾驶方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810436030.5A CN108609019B (zh) | 2018-05-09 | 2018-05-09 | 一种基于人工智能平台的电动车自动驾驶方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108609019A true CN108609019A (zh) | 2018-10-02 |
CN108609019B CN108609019B (zh) | 2020-07-10 |
Family
ID=63662456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810436030.5A Expired - Fee Related CN108609019B (zh) | 2018-05-09 | 2018-05-09 | 一种基于人工智能平台的电动车自动驾驶方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108609019B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109353347A (zh) * | 2018-12-04 | 2019-02-19 | 爱驰汽车有限公司 | 车辆及其驾驶接管提醒方法、系统、电子设备和存储介质 |
CN109406167A (zh) * | 2018-10-30 | 2019-03-01 | 百度在线网络技术(北京)有限公司 | 用于评估车辆的方法、装置、设备和计算机可读存储介质 |
CN109948509A (zh) * | 2019-03-11 | 2019-06-28 | 成都旷视金智科技有限公司 | 对象状态监测方法、装置及电子设备 |
CN110020632A (zh) * | 2019-04-12 | 2019-07-16 | 李守斌 | 一种基于深度学习的人脸识别用于检测疲劳驾驶的方法 |
CN110455303A (zh) * | 2019-08-05 | 2019-11-15 | 深圳市大拿科技有限公司 | Ar导航方法、装置及适用于车辆的ar导航终端 |
CN110909610A (zh) * | 2019-10-26 | 2020-03-24 | 湖北讯獒信息工程有限公司 | 基于人工智能的年龄精准识别方法 |
CN111204317A (zh) * | 2018-11-22 | 2020-05-29 | 广州汽车集团股份有限公司 | Epb自动释放控制方法及装置、控制器和计算机存储介质 |
CN111361566A (zh) * | 2018-12-06 | 2020-07-03 | 驭势(上海)汽车科技有限公司 | 一种自动驾驶车辆的接管提醒方法、车载设备及存储介质 |
CN111931748A (zh) * | 2020-10-12 | 2020-11-13 | 天能电池集团股份有限公司 | 一种适用于蓄电池生产车间的工人疲劳度检测方法 |
CN112802356A (zh) * | 2020-12-30 | 2021-05-14 | 深圳市微网力合信息技术有限公司 | 一种基于物联网的车辆自动驾驶方法及终端 |
CN112907897A (zh) * | 2021-02-26 | 2021-06-04 | 浙江南盾科技发展有限公司 | 一种车载防疲劳驾驶提醒设备 |
CN113222082A (zh) * | 2021-04-16 | 2021-08-06 | 广州中大中鸣科技有限公司 | 智能垃圾站管控方法、系统、装置及存储介质 |
CN113254909A (zh) * | 2021-06-04 | 2021-08-13 | 宁波均联智行科技股份有限公司 | 一种车载用户账号登录方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105096528A (zh) * | 2015-08-05 | 2015-11-25 | 广州云从信息科技有限公司 | 一种疲劳驾驶检测方法及系统 |
CN105354987A (zh) * | 2015-11-26 | 2016-02-24 | 南京工程学院 | 车载型疲劳驾驶检测与身份认证装置及其检测方法 |
CN107244306A (zh) * | 2017-07-27 | 2017-10-13 | 深圳小爱智能科技有限公司 | 一种启动汽车的装置 |
CN107341468A (zh) * | 2017-06-30 | 2017-11-10 | 北京七鑫易维信息技术有限公司 | 驾驶员状态识别方法、装置、存储介质及处理器 |
CN107826117A (zh) * | 2017-11-22 | 2018-03-23 | 天津智能网联汽车产业研究院 | 一种自动驾驶系统及控制方法 |
-
2018
- 2018-05-09 CN CN201810436030.5A patent/CN108609019B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105096528A (zh) * | 2015-08-05 | 2015-11-25 | 广州云从信息科技有限公司 | 一种疲劳驾驶检测方法及系统 |
CN105354987A (zh) * | 2015-11-26 | 2016-02-24 | 南京工程学院 | 车载型疲劳驾驶检测与身份认证装置及其检测方法 |
CN107341468A (zh) * | 2017-06-30 | 2017-11-10 | 北京七鑫易维信息技术有限公司 | 驾驶员状态识别方法、装置、存储介质及处理器 |
CN107244306A (zh) * | 2017-07-27 | 2017-10-13 | 深圳小爱智能科技有限公司 | 一种启动汽车的装置 |
CN107826117A (zh) * | 2017-11-22 | 2018-03-23 | 天津智能网联汽车产业研究院 | 一种自动驾驶系统及控制方法 |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11302124B2 (en) | 2018-10-30 | 2022-04-12 | Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. | Method and apparatus for evaluating vehicle, device and computer readable storage medium |
CN109406167A (zh) * | 2018-10-30 | 2019-03-01 | 百度在线网络技术(北京)有限公司 | 用于评估车辆的方法、装置、设备和计算机可读存储介质 |
CN109406167B (zh) * | 2018-10-30 | 2022-05-20 | 阿波罗智联(北京)科技有限公司 | 用于评估车辆的方法、装置、设备和计算机可读存储介质 |
CN111204317A (zh) * | 2018-11-22 | 2020-05-29 | 广州汽车集团股份有限公司 | Epb自动释放控制方法及装置、控制器和计算机存储介质 |
CN109353347A (zh) * | 2018-12-04 | 2019-02-19 | 爱驰汽车有限公司 | 车辆及其驾驶接管提醒方法、系统、电子设备和存储介质 |
CN111361566A (zh) * | 2018-12-06 | 2020-07-03 | 驭势(上海)汽车科技有限公司 | 一种自动驾驶车辆的接管提醒方法、车载设备及存储介质 |
CN111361566B (zh) * | 2018-12-06 | 2022-04-29 | 驭势(上海)汽车科技有限公司 | 一种自动驾驶车辆的接管提醒方法、车载设备及存储介质 |
CN109948509A (zh) * | 2019-03-11 | 2019-06-28 | 成都旷视金智科技有限公司 | 对象状态监测方法、装置及电子设备 |
CN110020632A (zh) * | 2019-04-12 | 2019-07-16 | 李守斌 | 一种基于深度学习的人脸识别用于检测疲劳驾驶的方法 |
CN110455303A (zh) * | 2019-08-05 | 2019-11-15 | 深圳市大拿科技有限公司 | Ar导航方法、装置及适用于车辆的ar导航终端 |
CN110909610A (zh) * | 2019-10-26 | 2020-03-24 | 湖北讯獒信息工程有限公司 | 基于人工智能的年龄精准识别方法 |
CN111931748B (zh) * | 2020-10-12 | 2021-01-26 | 天能电池集团股份有限公司 | 一种适用于蓄电池生产车间的工人疲劳度检测方法 |
CN111931748A (zh) * | 2020-10-12 | 2020-11-13 | 天能电池集团股份有限公司 | 一种适用于蓄电池生产车间的工人疲劳度检测方法 |
CN112802356B (zh) * | 2020-12-30 | 2022-01-04 | 深圳市微网力合信息技术有限公司 | 一种基于物联网的车辆自动驾驶方法及终端 |
CN112802356A (zh) * | 2020-12-30 | 2021-05-14 | 深圳市微网力合信息技术有限公司 | 一种基于物联网的车辆自动驾驶方法及终端 |
WO2022142997A1 (zh) * | 2020-12-30 | 2022-07-07 | 微网优联科技(成都)有限公司 | 基于物联网的车辆自动驾驶方法及终端 |
CN112907897A (zh) * | 2021-02-26 | 2021-06-04 | 浙江南盾科技发展有限公司 | 一种车载防疲劳驾驶提醒设备 |
CN113222082A (zh) * | 2021-04-16 | 2021-08-06 | 广州中大中鸣科技有限公司 | 智能垃圾站管控方法、系统、装置及存储介质 |
CN113222082B (zh) * | 2021-04-16 | 2024-02-09 | 广州中大中鸣科技有限公司 | 智能垃圾站管控方法、系统、装置及存储介质 |
CN113254909A (zh) * | 2021-06-04 | 2021-08-13 | 宁波均联智行科技股份有限公司 | 一种车载用户账号登录方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108609019B (zh) | 2020-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108609019B (zh) | 一种基于人工智能平台的电动车自动驾驶方法 | |
CN111582059B (zh) | 一种基于变分自编码器的人脸表情识别方法 | |
CN108995654B (zh) | 一种驾驶员状态识别方法及系统 | |
Abtahi et al. | Driver drowsiness monitoring based on yawning detection | |
US8965762B2 (en) | Bimodal emotion recognition method and system utilizing a support vector machine | |
CN101950355B (zh) | 基于数字视频的驾驶员疲劳状态检测方法 | |
CN108460345A (zh) | 一种基于人脸关键点定位的面部疲劳检测方法 | |
CN109345770A (zh) | 一种孩童遗留车内报警系统及孩童遗留车内报警方法 | |
CN112183220B (zh) | 一种驾驶员疲劳检测方法及其系统、计算机存储介质 | |
CN109740477A (zh) | 驾驶员疲劳检测系统及其疲劳检测方法 | |
CN208969813U (zh) | 一种孩童遗留车内报警系统 | |
CN110103816A (zh) | 一种驾驶状态检测方法 | |
CN113361452B (zh) | 一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统 | |
CN115937830A (zh) | 一种面向特种车辆的驾驶员疲劳检测方法 | |
CN112052829B (zh) | 一种基于深度学习的飞行员行为监控方法 | |
Andriyanov et al. | Eye recognition system to prevent accidents on the road | |
Yuan et al. | A novel driving behavior learning and visualization method with natural gaze prediction | |
CN116453094A (zh) | 基于多尺度特征融合卷积神经网络的驾驶员疲劳检测方法 | |
CN115937828A (zh) | 一种疲劳驾驶检测方法、装置及车辆 | |
Tripathi et al. | Auto-g: Gesture recognition in the crowd for autonomous vehicl | |
CN104102896B (zh) | 一种基于图割模型的人眼状态识别方法 | |
CN114419728A (zh) | 一种充电焦虑行为预测系统及预测方法 | |
Wang et al. | Driver Fatigue Detection Using Improved Deep Learning and Personalized Framework | |
Huang et al. | Driver fatigue expression recognition research based on convolutional neural network | |
CN112990002B (zh) | 下坡路上交通信号灯识别方法、系统及计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CB03 | Change of inventor or designer information |
Inventor after: Chen Linrong Inventor after: Zhandejun Inventor after: You Xiaozhong Inventor after: Zhu Gongting Inventor before: Chen Linrong Inventor before: Zhandejun Inventor before: You Xiaozhong |
|
CB03 | Change of inventor or designer information | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200710 |
|
CF01 | Termination of patent right due to non-payment of annual fee |