CN110796838B - 一种驾驶员面部表情的自动定位和识别系统 - Google Patents

一种驾驶员面部表情的自动定位和识别系统 Download PDF

Info

Publication number
CN110796838B
CN110796838B CN201911220457.2A CN201911220457A CN110796838B CN 110796838 B CN110796838 B CN 110796838B CN 201911220457 A CN201911220457 A CN 201911220457A CN 110796838 B CN110796838 B CN 110796838B
Authority
CN
China
Prior art keywords
driver
module
expression
facial expression
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911220457.2A
Other languages
English (en)
Other versions
CN110796838A (zh
Inventor
郑宏宇
蒋权
沐潼
曹非凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201911220457.2A priority Critical patent/CN110796838B/zh
Publication of CN110796838A publication Critical patent/CN110796838A/zh
Application granted granted Critical
Publication of CN110796838B publication Critical patent/CN110796838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种驾驶员面部表情的自动定位和识别系统，包括驾驶员图像采集模块(1)、距离感知模块、自动对正模块(2)、驾驶员面部识别模块、警示模块；驾驶员图像采集模块跟据车型的不同和实验室驾驶模拟器的空间大小安装在合理位置处，实时采集驾驶员面部表情；距离感知模块确定摄像头与驾驶员面部中心的相对位置；自动对正模块调整驾驶员图像采集模块的位置，使驾驶员面部在图像中心区域；驾驶员面部识别模块能识别出驾驶员的7种表情状；警示模块根据驾驶员的表情不同对驾驶员做出相对的提醒与警示以保证驾驶员行程安全。

Description

一种驾驶员面部表情的自动定位和识别系统
技术领域
本发明属于机动车驾驶技术领域，涉及一种汽车驾驶员识别系统，具体来说是一种驾驶员面部表情的自动定位和识别系统。
背景技术
随着生活水平的提高，汽车逐渐成为人们生活中的重要工具，在带来巨大便利的同时，由于交通事故的发生也造成了惨痛的代价，这其中与驾驶员有关的交通事故更是占绝大多数。在现代社会中的快节奏影响，因驾驶员开车过程中情绪不稳引发的交通事故更是层出不穷。因此需要研究驾驶员的情绪状态，在发现驾驶员情绪波动时对驾驶员加以提醒和警示以降低交通事故发生的可能性。驾驶员无论是高兴还是愤怒、伤心都会影响交通安全，所以识别驾驶员的不同情绪状态在驾驶员驾驶车辆的过程中具有重要意义。
目前驾驶员的情绪状态没有被引起足够的重视，在我国交通现状和形势下研究驾驶员情绪对驾驶安全的影响有着良好的应用前景，而驾驶员本人在驾驶车辆的过程中往往忽视自己情绪的变化。因此，通过识别驾驶员的面部表情，提醒和警示驾驶员注意情绪波动对减少交通事故的发生具有较大意义。
发明内容
本发明提供一种驾驶员面部表情的自动定位和识别系统，来解决驾驶员在驾驶过程中因为情绪状态不佳导致交通事故的发生。
本发明解决上述问题所采用的技术方案是：
一种驾驶员面部表情的自动定位和识别系统，其特征在于，包括驾驶员图像采集模块(1)、距离感知模块、自动对正模块(2)、驾驶员面部识别模块、警示模块；
所述驾驶员图像采集模块(1)包括摄像头(11)、夹具(13)和移动平台(15)，用于在实验室和实车环境下的驾驶员面部图像采集，摄像头(11)固定在夹具(13)上，夹具(13)与移动平台(15)连接，可安装在车辆驾驶员和实验室操作台上；跟据车型的不同和实验室驾驶模拟器的空间大小确定驾驶员图像采集模块的安装位置，保证在不同环境下均可以正常工作；
由于车型的空间大小存在差异，并且实验室操作台的工作空间也不尽相同，驾驶员图像采集模块的安装位置需要根据实际情况综合考量。例如紧凑型的轿车的空间比大型城市越野车的空间要小很多，驾驶员图像采集模块在紧凑型轿车的安装位置和各个方向上的活动空间都要小上许多。驾驶员图像采集模块在不同的车型和实验室操作台上的安装位置都应对准驾驶员的面部，保证能够清晰明了的采集驾驶员的面部表情。
驾驶员图像采集模块的三个自由度的调整阈值包括两个部分：一个是各个自由度的基础行程、另一个是各个自由度由于安装位置和空间大小产生的偏差。
所述距离感知模块根据驾驶员图像采集模块采集的驾驶员面部表情，采用改进后的积分投影算法定位出驾驶员眼睛、鼻子、嘴巴和耳朵的位置，从而确定摄像头与驾驶员面部中心的距离与角度；
所述自动对正模块(2)包括Y轴水平移动机构(21)、Y轴旋转机构(22)、Z轴旋转机构(23)；Y轴水平移动机构(21)、Y轴旋转机构(22)、Z轴旋转机构(23)均由步进电机(2x1，x＝1,2,3)和减速机构构成；自动对正模块(2)根据距离感知模块计算出的驾驶员图像采集模块(1)与驾驶员面部中心的距离与角度，在三个自由度上控制步进电机(2x1)，改变驾驶员图像采集模块(1)的位置，使驾驶员的鼻子区域在摄像头中心区域，起到与驾驶员面部对正的效果，保证驾驶员图像采集模块可以准确的采集驾驶员面部信息；
为了保证驾驶员图像采集模块采集驾驶员的面部图像在图片的中央，自动对正模块调整驾驶员图像采集模块的安装位置。若驾驶员的面部中心没在图像的中心就需要一直调整驾驶员图像采集模块的位置，这样识别率低下；可通过保证驾驶员的鼻子在图像的中心区域来确保驾驶员面部对正的效果。
所述驾驶员面部识别模块用于处理驾驶员的面部图像，采用K近邻法(KNN)的算法将驾驶员的面部特征分类，识别出驾驶员的面部表情，并将驾驶员正常操控车辆时的表情定义为正常；驾驶员面部识别模块实时识别出驾驶员的面部表情，并根据驾驶员面部表情显露出表情的清晰程度不同，将驾驶员的面部表情分成轻度表情和明显表情；
所述警示模块在驾驶员面部识别模块识别出驾驶员面部的表情时，根据驾驶员的面部表情的类型和表情的清晰程度不同，分成不同的模式分别对驾驶员做出相应的提醒与警示，采用多种应对措施提醒驾驶员行车安全。
随着驾驶员的面部表情的明显程度的加深，驾驶员驾驶车辆过程中的专心程度也降低。因此需要着重关注驾驶员的明显表情。
进一步地，所述驾驶员图像采集模块的摄像头(11)采用单目广角摄像头，在摄像头(11)与夹具(13)之间设有转向销轴(12)；转向销轴(12)与Y轴旋转机构通过与Y轴旋转锥齿轮(215)啮合，具体由Y轴旋转步进电机(211)通过Y轴减速齿轮(212、213、214)、Y轴旋转锥齿轮(215)调整Y轴转角；Z轴旋转机构与夹具(13)由Z轴旋转锥齿轮啮合齿轮(225)连接，具体由Z轴旋转步进电机(221)通过Z轴减速机构(222、223、224)、Z轴旋转锥齿轮(225)调整夹具的Z轴转角；夹具(13)由水平轴承(14)连接移动平台(15)；移动平台可直接放置在实验室驾驶模拟器实验台上，也可以在底部加装吸盘，由吸盘将驾驶员图像采集模块固定在实车的挡风玻璃上，并对准驾驶室；Y轴水平移动机构通过Y轴水平移动斜齿圆柱齿轮(235)与移动平台(15)连接，具体由Y轴水平移动步进电机(231)通过Y轴水平移动减速机构(232、233、234)、Y轴水平移动斜齿圆柱齿轮(235)调整移动平台的Y轴水平位置。
进一步地，所述驾驶员图像采集模块具有三个自由度，其中摄像头具有Y轴一个方向的旋转自由度，夹具在移动平台上具有Y轴方向横向平移和Z轴方向的旋转自由度；自动对正模块的三个步进电机和减速机构分别对应控制驾驶员图像采集模块的一个自由度，并且每个方向的自由度可以单独调整，相互独立；
三个自由度的调整阈值可根据实验室驾驶实验台空间大小和不同车辆的空间大小来确定，并且安装的位置也会导致三个自由度行程加大，故三个自由度的调整阈值的计算方法如下：
T＝b+D
其中：T为各个自由度的调整阈值，b为各个自由度的基础行程，D为各个自由度的修正偏差；
Y轴的旋转自由度的基础行程为80°，Z轴的旋转自由度行程上限为0°，Y轴水平移动自由度行程上限为100mm；
D＝λ×δ+d×μ
δ为驾驶员图像采集模块中心与理论安装中心位置的距离，λ为安装位置偏差系数；d车辆的宽度或实验室驾驶员平台宽度，μ为空间大小系数，空间越大μ越大。
进一步地，所述自动对正模块(2)的减速机构包括太阳轮(2x2，x＝1，2，3)、四个行星齿轮(2x3)、行星架(2x4)，太阳轮(2x2)通过花键与步进电机(2x1)连接，行星架(2x4)连接四个行星齿轮(2x3)，行星架通过花键连接锥齿轮或者斜齿轮(2x5)；
动力从太阳轮(2x2)输入，通过四个行星齿轮(2x3)传递给行星架(2x4)，再传递给锥齿轮或者斜齿轮(2x5)输出。
进一步地，所述距离感知模块识别驾驶员面部图像，通过驾驶员面部的几何特征来定位角度与位置，具体是依靠驾驶员的眼睛与嘴巴形成的倒三角特征计算确定驾驶员眼睛与鼻子的位置；然后通过空间坐标的变换确定驾驶员与摄像头的角度和位置信息；
经过自动对正模块三个自由度的调整使摄像头正对着驾驶员的鼻子以保证驾驶员面部在图像正中央范围内；距离感知模块确定驾驶员鼻子在摄像头拍摄图像中的位置坐标，记录3次的坐标位置(x1,y1)(x2,y2)(x3,y3)，根据三点坐标计算过这三点的圆方程为：
x2+y2+Dx+Ey+F＝0
根据经过的三点坐标确定圆方程的系数D、E、F；自动对正模块只需要保证驾驶员的鼻子在圆方程的范围内即对正完成；若所取三点位置过近，该圆方程的半径小于50mm，则以半径为50mm的同心圆为实际判定范围；
当驾驶员的面部中心在判定范围内，自动对正模块不需要调整驾驶员图像采集模块的位置；当驾驶员的面部中心超出判定范围内，自动对正模块从三个自由度上调整驾驶员图像采集模块的位置至判定范围中心。
进一步地，所述距离感知模块通过处理驾驶员的面部图像的灰度值，使驾驶员眼睛、鼻子和嘴巴的特征区域的灰度值相近，以面积微元为最小单位，在二维平面内采用积分与微分投影结合的算法计算出同一灰度值区域的中心位置二维坐标(x,y)来定位驾驶员面部表情中特征区域：眼睛、鼻子、嘴巴和耳朵的中心位置，公式如下：
Figure BDA0002300689840000041
Δσ＝f(x+Δx,y+Δy)-f(x,y)
式中，
Figure BDA0002300689840000042
为计算图像区域灰度函数的积分投影值，/>
Figure BDA0002300689840000043
为计算图像区域的微分投影法的累加值，k为权值系数，调整k的取值可以调整两种计算算法的权重，使算法更精确；权值系数k通过在人脸图像库中随机抽取1000个人的面部图像，对它们进行基于C均值的模糊聚类分类，不断优化出最优的权值系数k；当驾驶员为同一个人时，记录驾驶员的面部图像并对个人图像进行分类，针对他的数据来调整权重系数k，使算法对个人的识别准确率更高；/>
根据计算出的驾驶员眼睛、鼻子、嘴巴和耳朵的中心位置，确定出驾驶员面部中心与驾驶员面部识别模块之间的距离。
进一步地，所述驾驶员面部识别模块识别驾驶员面部表情的步骤如下：
a、当距离感知模块工作时，直接获取距离感知模块计算的特征区域的中心位置；针对区域位置进行特征提取；
b、当距离感知模块未工作时，对驾驶员面部图像中的眼睛、鼻子、嘴巴和耳朵四个区域进行特征提取：采用旋转不变相位量化和改进的局部二值模式的算法；
c、采用K近邻法(KNN)的算法将提取出的面部特征区域的结果进行分类，取K＝7，优化算法对特征区域分类的准确性；
d、根据特征区域分类结果确定驾驶员面部表情的类型和面部表情的明显程度；
所述驾驶员的表情，包括正常、大笑、接电话、沮丧、愤怒、伤心、疲劳7种表情；
当驾驶原的表情不是正常时，同时确定驾驶员面部表情的明显程度；所述驾驶员面部表情的明显程度包括轻度表情和明显表情。
随着驾驶员的面部表情的明显程度的加深，驾驶员驾驶车辆过程中的专心程度也降低。因此需要着重关注驾驶员的明显表情。
由于驾驶员在大笑过程中可能出现分心的现象，为了保证驾驶过程中的行车安全当驾驶员处于大笑状态时也需要提高刷新率。
进一步地，所述驾驶员面部识别模块实时识别驾驶员的面部表情，根据之前识别的驾驶员面部表情的结果确定面部识别刷新率，随着驾驶员的表情明显程度加快面部识别速率；
所述驾驶员面部识别模块的实时刷新率为：
当驾驶员的面部表情为正常时面部识别模块每5秒识别一次；
当驾驶员的面部表情为非正常时面部识别模块提高面部识别刷新率：面部表情为轻度表情时，面部识别模块每2秒识别一次；面部表情为明显表情时，面部识别模块每0.5秒识别一次。
进一步地，所述警示模块根据驾驶员的面部表情做出不同的提醒与警示，具体分类如下：
a、当驾驶员的面部表情为正常、大笑状态时：对驾驶员的行为不做任何提醒与警示；
b、当驾驶员在接电话状态时：语音提示驾驶员注意行车规范，并向驾驶员警示根据交通法接打电话扣2分，提醒驾驶员停止接打电话或者减速靠边停车后再接打电话；
c、当驾驶员的面部表情为沮丧、伤心状态：
若驾驶员的面部表情为轻度表情时，播放舒缓的音乐；
若驾驶员的面部表情为明显表情时，自动打开导航，实时搜索附近的医院和警察局和显示周边实时路况信息，并可以一键导航目的地；
d、当驾驶员的面部表情为愤怒状态：
若驾驶员的面部表情为轻度表情时，自动打开空调制冷缓解驾驶员冲动的情绪；
若驾驶员的面部表情为明显表情时，警示驾驶员安全行驶、勿开斗气车，当驾驶员处于愤怒状态达到一定时间后减速停车；
e、当驾驶员的面部表情为疲劳状态：
若驾驶员的面部表情为轻度表情时，打开车内灯光，自动鸣笛5秒给驾驶员提神；
若驾驶员的面部表情为明显表情时，打开双闪以警示其他驾驶员注意，自动搜索距离最近的服务区或停车地点。
进一步地，所述驾驶员面部表情的自动定位和识别系统工作步骤为：
首先驾驶员图像采集模块实时采集驾驶员的面部图像；
然后距离感知模块定时工作，在一个周期内计算分析驾驶员面部中心与摄像头之间的角度和位置关系，确定驾驶员图像采集模块的工作范围；
接着自动对正模块根据计算出的角度和位置关系从三个自由度上调整驾驶员图像采集模块与驾驶员的相对位置，保证驾驶员面部中心在驾驶员图像采集模块的工作范围内；
接着关闭距离感知模块和自动对正模块直至下个工作周期，而驾驶员面部识别模块实时工作，根据驾驶员图像采集模块采集的信息计算分析驾驶员的面部表情并将驾驶员的面部表情分为轻度表情和明显表情；
最后警示模块根据驾驶员的面部表情的类型和表情的清晰程度不同，分成不同的模式分别对驾驶员做出相应的提醒与警示。
附图说明
图1为本发明的结构示意图；
图中标记为：1-驾驶员图像采集模块、11-摄像头、12-转向销轴、13-夹具、14-水平轴承、15-移动平台、21-Y轴水平移动机构、22-Y轴旋转机构、23-Z轴旋转机构、211-Y轴水平移动步进电机、212-Y轴水平移动减速机构。
图2为本发明的Y轴水平移动减速机构的示意图；
图中标记为：211-Y轴水平移动步进电机、212-Y轴水平移动太阳轮、213-Y轴水平移动行星轮、214-Y轴水平移动行星架、215-Y轴水平移动锥齿轮。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行跟细致的阐述。可以理解，此处的具体实施仅仅用以解释本发明，并不限定本发明。
如附图1、2所示，本发明是一种驾驶员面部表情的自动定位和识别系统，包括驾驶员图像采集模块(1)、距离感知模块、自动对正模块(2)、驾驶员面部识别模块、警示模块；
所述驾驶员图像采集模块(1)包括摄像头(11)、夹具(13)和移动平台(15)，用于在实验室和实车环境下的驾驶员面部图像采集，摄像头(11)固定在夹具(13)上，夹具(13)与移动平台(15)连接，可安装在车辆驾驶员和实验室操作台上；跟据车型的不同和实验室驾驶模拟器的空间大小确定驾驶员图像采集模块的安装位置，保证在不同环境下均可以正常工作；
由于车型的空间大小存在差异，并且实验室操作台的工作空间也不尽相同，驾驶员图像采集模块的安装位置需要根据实际情况综合考量。例如紧凑型的轿车的空间比大型城市越野车的空间要小很多，驾驶员图像采集模块在紧凑型轿车的安装位置和各个方向上的活动空间都要小上许多。驾驶员图像采集模块在不同的车型和实验室操作台上的安装位置都应对准驾驶员的面部，保证能够清晰明了的采集驾驶员的面部表情。
驾驶员图像采集模块的三个自由度的调整阈值包括两个部分：一个是各个自由度的基础行程、另一个是各个自由度由于安装位置和空间大小产生的偏差。
所述距离感知模块根据驾驶员图像采集模块采集的驾驶员面部表情，采用改进后的积分投影算法定位出驾驶员眼睛、鼻子、嘴巴和耳朵的位置，从而确定摄像头与驾驶员面部中心的距离与角度；
所述自动对正模块(2)包括Y轴水平移动机构(21)、Y轴旋转机构(22)、Z轴旋转机构(23)；Y轴水平移动机构(21)、Y轴旋转机构(22)、Z轴旋转机构(23)均由步进电机(2x1，x＝1,2,3)和减速机构构成；自动对正模块(2)根据距离感知模块计算出的驾驶员图像采集模块(1)与驾驶员面部中心的距离与角度，在三个自由度上控制步进电机(2x1)，改变驾驶员图像采集模块(1)的位置，使驾驶员的鼻子区域在摄像头中心区域，起到与驾驶员面部对正的效果，保证驾驶员图像采集模块可以准确的采集驾驶员面部信息；
为了保证驾驶员图像采集模块采集驾驶员的面部图像在图片的中央，自动对正模块调整驾驶员图像采集模块的安装位置。若驾驶员的面部中心没在图像的中心就需要一直调整驾驶员图像采集模块的位置，这样识别率低下；可通过保证驾驶员的鼻子在图像的中心区域来确保驾驶员面部对正的效果。
所述驾驶员面部识别模块用于处理驾驶员的面部图像，采用K近邻法(KNN)的算法将驾驶员的面部特征分类，识别出驾驶员的面部表情，并将驾驶员正常操控车辆时的表情定义为正常；驾驶员面部识别模块实时识别出驾驶员的面部表情，并根据驾驶员面部表情显露出表情的清晰程度不同，将驾驶员的面部表情分成轻度表情和明显表情；
随着驾驶员的面部表情的明显程度的加深，驾驶员驾驶车辆过程中的专心程度也降低。因此需要着重关注驾驶员的明显表情。
所述警示模块在驾驶员面部识别模块识别出驾驶员面部的表情时，根据驾驶员的面部表情的类型和表情的清晰程度不同，分成不同的模式分别对驾驶员做出相应的提醒与警示，采用多种应对措施提醒驾驶员行车安全。
所述驾驶员图像采集模块的摄像头(11)采用单目广角摄像头，在摄像头(11)与夹具(13)之间设有转向销轴(12)；转向销轴(12)与Y轴旋转机构通过与Y轴旋转锥齿轮(215)啮合，具体由Y轴旋转步进电机(211)通过Y轴减速齿轮(212、213、214)、Y轴旋转锥齿轮(215)调整Y轴转角；Z轴旋转机构与夹具(13)由Z轴旋转锥齿轮啮合齿轮(225)连接，具体由Z轴旋转步进电机(221)通过Z轴减速机构(222、223、224)、Z轴旋转锥齿轮(225)调整夹具的Z轴转角；夹具(13)由水平轴承(14)连接移动平台(15)；移动平台可直接放置在实验室驾驶模拟器实验台上，也可以在底部加装吸盘，由吸盘将驾驶员图像采集模块固定在实车的挡风玻璃上，并对准驾驶室；Y轴水平移动机构通过Y轴水平移动斜齿圆柱齿轮(235)与移动平台(15)连接，具体由Y轴水平移动步进电机(231)通过Y轴水平移动减速机构(232、233、234)、Y轴水平移动斜齿圆柱齿轮(235)调整移动平台的Y轴水平位置。
所述驾驶员图像采集模块具有三个自由度，其中摄像头具有Y轴一个方向的旋转自由度，夹具在移动平台上具有Y轴方向横向平移和Z轴方向的旋转自由度；自动对正模块的三个步进电机和减速机构分别对应控制驾驶员图像采集模块的一个自由度，并且每个方向的自由度可以单独调整，相互独立；
三个自由度的调整阈值可根据实验室驾驶实验台空间大小和不同车辆的空间大小来确定，并且安装的位置也会导致三个自由度行程加大，故三个自由度的调整阈值的计算方法如下：
T＝b+D
其中：T为各个自由度的调整阈值，b为各个自由度的基础行程，D为各个自由度的修正偏差；
Y轴的旋转自由度的基础行程为80°，Z轴的旋转自由度行程上限为0°，Y轴水平移动自由度行程上限为100mm；
D＝λ×δ+d×μ
δ为驾驶员图像采集模块中心与理论安装中心位置的距离，λ为安装位置偏差系数；d车辆的宽度或实验室驾驶员平台宽度，μ为空间大小系数，空间越大μ越大。
所述自动对正模块(2)的减速机构包括太阳轮(2x2，x＝1，2，3)、四个行星齿轮(2x3)、行星架(2x4)，太阳轮(2x2)通过花键与步进电机(2x1)连接，行星架(2x4)连接四个行星齿轮(2x3)，行星架通过花键连接锥齿轮或者斜齿轮(2x5)；
动力从太阳轮(2x2)输入，通过四个行星齿轮(2x3)传递给行星架(2x4)，再传递给锥齿轮或者斜齿轮(2x5)输出。
所述距离感知模块识别驾驶员面部图像，通过驾驶员面部的几何特征来定位角度与位置，具体是依靠驾驶员的眼睛与嘴巴形成的倒三角特征计算确定驾驶员眼睛与鼻子的位置；然后通过空间坐标的变换确定驾驶员与摄像头的角度和位置信息；
经过自动对正模块三个自由度的调整使摄像头正对着驾驶员的鼻子以保证驾驶员面部在图像正中央范围内；距离感知模块确定驾驶员鼻子在摄像头拍摄图像中的位置坐标，记录3次的坐标位置(x1,y1)(x2,y2)(x3,y3)，根据三点坐标计算过这三点的圆方程为：
x2+y2+Dx+Ey+F＝0
根据经过的三点坐标确定圆方程的系数D、E、F；自动对正模块只需要保证驾驶员的鼻子在圆方程的范围内即对正完成；若所取三点位置过近，该圆方程的半径小于50mm，则以半径为50mm的同心圆为实际判定范围；
当驾驶员的面部中心在判定范围内，自动对正模块不需要调整驾驶员图像采集模块的位置；当驾驶员的面部中心超出判定范围内，自动对正模块从三个自由度上调整驾驶员图像采集模块的位置至判定范围中心。
所述距离感知模块通过处理驾驶员的面部图像的灰度值，使驾驶员眼睛、鼻子和嘴巴的特征区域的灰度值相近，以面积微元为最小单位，在二维平面内采用积分与微分投影结合的算法计算出同一灰度值区域的中心位置二维坐标(x,y)来定位驾驶员面部表情中特征区域：眼睛、鼻子、嘴巴和耳朵的中心位置，公式如下：
Figure BDA0002300689840000081
Δσ＝f(x+Δx,y+Δy)-f(x,y)
式中，
Figure BDA0002300689840000082
为计算图像区域灰度函数的积分投影值，/>
Figure BDA0002300689840000083
为计算图像区域的微分投影法的累加值，k为权值系数，调整k的取值可以调整两种计算算法的权重，使算法更精确；权值系数k通过在人脸图像库中随机抽取1000个人的面部图像，对它们进行基于C均值的模糊聚类分类，不断优化出最优的权值系数k；当驾驶员为同一个人时，记录驾驶员的面部图像并对个人图像进行分类，针对他的数据来调整权重系数k，使算法对个人的识别准确率更高；
根据计算出的驾驶员眼睛、鼻子、嘴巴和耳朵的中心位置，确定出驾驶员面部中心与驾驶员面部识别模块之间的距离。
所述驾驶员面部识别模块识别驾驶员面部表情的步骤如下：
a、当距离感知模块工作时，直接获取距离感知模块计算的特征区域的中心位置；针对区域位置进行特征提取；
b、当距离感知模块未工作时，对驾驶员面部图像中的眼睛、鼻子、嘴巴和耳朵四个区域进行特征提取：采用旋转不变相位量化和改进的局部二值模式的算法；
c、采用K近邻法(KNN)的算法将提取出的面部特征区域的结果进行分类，取K＝7，优化算法对特征区域分类的准确性；
d、根据特征区域分类结果确定驾驶员面部表情的类型和面部表情的明显程度；
所述驾驶员的表情，包括正常、大笑、接电话、沮丧、愤怒、伤心、疲劳7种表情；
当驾驶原的表情不是正常时，同时确定驾驶员面部表情的明显程度；所述驾驶员面部表情的明显程度包括轻度表情和明显表情。
随着驾驶员的面部表情的明显程度的加深，驾驶员驾驶车辆过程中的专心程度也降低。因此需要着重关注驾驶员的明显表情。
由于驾驶员在大笑过程中可能出现分心的现象，为了保证驾驶过程中的行车安全当驾驶员处于大笑状态时也需要提高刷新率。
所述驾驶员面部识别模块实时识别驾驶员的面部表情，根据之前识别的驾驶员面部表情的结果确定面部识别刷新率，随着驾驶员的表情明显程度加快面部识别速率；
所述驾驶员面部识别模块的实时刷新率为：
当驾驶员的面部表情为正常时面部识别模块每5秒识别一次；
当驾驶员的面部表情为非正常时面部识别模块提高面部识别刷新率：面部表情为轻度表情时，面部识别模块每2秒识别一次；面部表情为明显表情时，面部识别模块每0.5秒识别一次。
所述警示模块根据驾驶员的面部表情做出不同的提醒与警示，具体分类如下：
a、当驾驶员的面部表情为正常、大笑状态时：对驾驶员的行为不做任何提醒与警示；
b、当驾驶员在接电话状态时：语音提示驾驶员注意行车规范，并向驾驶员警示根据交通法接打电话扣2分，提醒驾驶员停止接打电话或者减速靠边停车后再接打电话；
c、当驾驶员的面部表情为沮丧、伤心状态：
若驾驶员的面部表情为轻度表情时，播放舒缓的音乐；
若驾驶员的面部表情为明显表情时，自动打开导航，实时搜索附近的医院和警察局和显示周边实时路况信息，并可以一键导航目的地；
d、当驾驶员的面部表情为愤怒状态：
若驾驶员的面部表情为轻度表情时，自动打开空调制冷缓解驾驶员冲动的情绪；
若驾驶员的面部表情为明显表情时，警示驾驶员安全行驶、勿开斗气车，当驾驶员处于愤怒状态达到一定时间后减速停车；
e、当驾驶员的面部表情为疲劳状态：
若驾驶员的面部表情为轻度表情时，打开车内灯光，自动鸣笛5秒给驾驶员提神；
若驾驶员的面部表情为明显表情时，打开双闪以警示其他驾驶员注意，自动搜索距离最近的服务区或停车地点。
所述驾驶员面部表情的自动定位和识别系统工作步骤为：
首先驾驶员图像采集模块实时采集驾驶员的面部图像；
然后距离感知模块定时工作，在一个周期内计算分析驾驶员面部中心与摄像头之间的角度和位置关系，确定驾驶员图像采集模块的工作范围；
接着自动对正模块根据计算出的角度和位置关系从三个自由度上调整驾驶员图像采集模块与驾驶员的相对位置，保证驾驶员面部中心在驾驶员图像采集模块的工作范围内；
接着关闭距离感知模块和自动对正模块直至下个工作周期，而驾驶员面部识别模块实时工作，根据驾驶员图像采集模块采集的信息计算分析驾驶员的面部表情并将驾驶员的面部表情分为轻度表情和明显表情；
最后警示模块根据驾驶员的面部表情的类型和表情的清晰程度不同，分成不同的模式分别对驾驶员做出相应的提醒与警示。
本发明通过观测驾驶员面部表情来提醒和警示驾驶员防止交通事故的发生。通过自动对正驾驶员面部中心的方法来调整驾驶员图像采集模块的位置，保证驾驶员的面部在图像的中心区域。同时为了防止驾驶员摇头、移动导致无法采集驾驶员面部的情况，采用周期性采集驾驶员的面部表情。对于驾驶员的面部表情，本发明能够识别出七种不同的表情，并识别出驾驶员每种表情的明显程度。根据驾驶员的面部表情和表情的明显程度情况结合车联网的信息对驾驶员做出警示和提醒。本发明整体上有较强的创新性。

Claims (9)

1.一种驾驶员面部表情的自动定位和识别系统，其特征在于，包括驾驶员图像采集模块(1)、距离感知模块、自动对正模块(2)、驾驶员面部识别模块、警示模块；
所述驾驶员图像采集模块(1)包括摄像头(11)、夹具(13)和移动平台(15)，用于在实验室和实车环境下的驾驶员面部图像采集，摄像头(11)固定在夹具(13)上，夹具(13)与移动平台(15)连接，可安装在车辆驾驶员和实验室操作台上；跟据车型的不同和实验室驾驶模拟器的空间大小确定驾驶员图像采集模块的安装位置，保证在不同环境下均可以正常工作；
所述距离感知模块根据驾驶员图像采集模块采集的驾驶员面部表情，采用改进后的积分投影算法定位出驾驶员眼睛、鼻子、嘴巴和耳朵的位置，从而确定摄像头与驾驶员面部中心的距离与角度；改进后的积分投影算法为：
距离感知模块通过处理驾驶员的面部图像的灰度值，使驾驶员眼睛、鼻子和嘴巴的特征区域的灰度值相近，以面积微元为最小单位，在二维平面内采用积分与微分投影结合的算法计算出同一灰度值区域的中心位置二维坐标(x,y)来定位驾驶员面部表情中特征区域：眼睛、鼻子、嘴巴和耳朵的中心位置，公式如下：
Figure FDA0004192701740000011
Δσ＝f(x+Δx,y+Δy)-f(x,y)
式中，
Figure FDA0004192701740000012
为计算图像区域灰度函数的积分投影值，/>
Figure FDA0004192701740000013
为计算图像区域的微分投影法的累加值，k为权值系数，调整k的取值可以调整两种计算算法的权重，使算法更精确；权值系数k通过在人脸图像库中随机抽取1000个人的面部图像，对它们进行基于C均值的模糊聚类分类，不断优化出最优的权值系数k；当驾驶员为同一个人时，记录驾驶员的面部图像并对个人图像进行分类，针对他的数据来调整权重系数k，使算法对个人的识别准确率更高；
根据计算出的驾驶员眼睛、鼻子、嘴巴和耳朵的中心位置，确定出驾驶员面部中心与驾驶员面部识别模块之间的距离；
所述自动对正模块(2)包括Y轴水平移动机构(21)、Y轴旋转机构(22)、Z轴旋转机构(23)；Y轴水平移动机构(21)、Y轴旋转机构(22)、Z轴旋转机构(23)均由步进电机(2x1，x＝1,2,3)和减速机构构成；自动对正模块(2)根据距离感知模块计算出的驾驶员图像采集模块(1)与驾驶员面部中心的距离与角度，在三个自由度上控制步进电机(2x1)，改变驾驶员图像采集模块(1)的位置，使驾驶员的鼻子区域在摄像头中心区域，起到与驾驶员面部对正的效果，保证驾驶员图像采集模块可以准确的采集驾驶员面部信息；
所述驾驶员面部识别模块用于处理驾驶员的面部图像，采用K近邻法的算法将驾驶员的面部特征分类，识别出驾驶员的面部表情，并将驾驶员正常操控车辆时的表情定义为正常；驾驶员面部识别模块实时识别出驾驶员的面部表情，并根据驾驶员面部表情显露出表情的清晰程度不同，将驾驶员的面部表情分成轻度表情和明显表情；
所述警示模块在驾驶员面部识别模块识别出驾驶员面部的表情时，根据驾驶员的面部表情的类型和表情的清晰程度不同，分成不同的模式分别对驾驶员做出相应的提醒与警示，采用多种应对措施提醒驾驶员行车安全。
2.根据权利要求1所述的一种驾驶员面部表情的自动定位和识别系统，其特征在于，所述驾驶员图像采集模块的摄像头(11)采用单目广角摄像头，在摄像头(11)与夹具(13)之间设有转向销轴(12)；转向销轴(12)与Y轴旋转机构通过与Y轴旋转锥齿轮(215)啮合，具体由Y轴旋转步进电机(211)通过Y轴减速齿轮(212、213、214)、Y轴旋转锥齿轮(215)调整Y轴转角；Z轴旋转机构与夹具(13)由Z轴旋转锥齿轮啮合齿轮(225)连接，具体由Z轴旋转步进电机(221)通过Z轴减速机构(222、223、224)、Z轴旋转锥齿轮(225)调整夹具的Z轴转角；夹具(13)由水平轴承(14)连接移动平台(15)；移动平台可直接放置在实验室驾驶模拟器实验台上，也可以在底部加装吸盘，由吸盘将驾驶员图像采集模块固定在实车的挡风玻璃上，并对准驾驶室；Y轴水平移动机构通过Y轴水平移动斜齿圆柱齿轮(235)与移动平台(15)连接，具体由Y轴水平移动步进电机(231)通过Y轴水平移动减速机构(232、233、234)、Y轴水平移动斜齿圆柱齿轮(235)调整移动平台的Y轴水平位置。
3.根据权利要求1所述的一种驾驶员面部表情的自动定位和识别系统，其特征在于，所述驾驶员图像采集模块具有三个自由度，其中摄像头具有Y轴一个方向的旋转自由度，夹具在移动平台上具有Y轴方向横向平移和Z轴方向的旋转自由度；自动对正模块的三个步进电机和减速机构分别对应控制驾驶员图像采集模块的一个自由度，并且每个方向的自由度可以单独调整，相互独立；
三个自由度的调整阈值可根据实验室驾驶实验台空间大小和不同车辆的空间大小来确定，并且安装的位置也会导致三个自由度行程加大，故三个自由度的调整阈值的计算方法如下：
T＝b+D
其中：T为各个自由度的调整阈值，b为各个自由度的基础行程，D为各个自由度的修正偏差；
Y轴的旋转自由度的基础行程为80°，Z轴的旋转自由度行程上限为0°，Y轴水平移动自由度行程上限为100mm；
D＝λ×δ+d×μ
δ为驾驶员图像采集模块中心与理论安装中心位置的距离，λ为安装位置偏差系数；d车辆的宽度或实验室驾驶员平台宽度，μ为空间大小系数，空间越大μ越大。
4.根据权利要求1所述的一种驾驶员面部表情的自动定位和识别系统，其特征在于，所述自动对正模块(2)的减速机构包括太阳轮(2x2，x＝1，2，3)、四个行星齿轮(2x3)、行星架(2x4)，太阳轮(2x2)通过花键与步进电机(2x1)连接，行星架(2x4)连接四个行星齿轮(2x3)，行星架通过花键连接锥齿轮或者斜齿轮(2x5)；
动力从太阳轮(2x2)输入，通过四个行星齿轮(2x3)传递给行星架(2x4)，再传递给锥齿轮或者斜齿轮(2x5)输出。
5.根据权利要求1所述的一种驾驶员面部表情的自动定位和识别系统，其特征在于，所述距离感知模块识别驾驶员面部图像，通过驾驶员面部的几何特征来定位角度与位置，具体是依靠驾驶员的眼睛与嘴巴形成的倒三角特征计算确定驾驶员眼睛与鼻子的位置；然后通过空间坐标的变换确定驾驶员与摄像头的角度和位置信息；
经过自动对正模块三个自由度的调整使摄像头正对着驾驶员的鼻子以保证驾驶员面部在图像正中央范围内；距离感知模块确定驾驶员鼻子在摄像头拍摄图像中的位置坐标，记录3次的坐标位置(x1,y1)(x2,y2)(x3,y3)，根据三点坐标计算过这三点的圆方程为：
x2+y2+Dx+Ey+F＝0
根据经过的三点坐标确定圆方程的系数D、E、F；自动对正模块只需要保证驾驶员的鼻子在圆方程的范围内即对正完成；若所取三点位置过近，该圆方程的半径小于50mm，则以半径为50mm的同心圆为实际判定范围；
当驾驶员的面部中心在判定范围内，自动对正模块不需要调整驾驶员图像采集模块的位置；当驾驶员的面部中心超出判定范围内，自动对正模块从三个自由度上调整驾驶员图像采集模块的位置至判定范围中心。
6.根据权利要求1所述的一种驾驶员面部表情的自动定位和识别系统，其特征在于，所述驾驶员面部识别模块识别驾驶员面部表情的步骤如下：
a、当距离感知模块工作时，直接获取距离感知模块计算的特征区域的中心位置；针对区域位置进行特征提取；
b、当距离感知模块未工作时，对驾驶员面部图像中的眼睛、鼻子、嘴巴和耳朵四个区域进行特征提取：采用旋转不变相位量化和改进的局部二值模式的算法；
c、采用K近邻法的算法将提取出的面部特征区域的结果进行分类，取K＝7，优化算法对特征区域分类的准确性；
d、根据特征区域分类结果确定驾驶员面部表情的类型和面部表情的明显程度；
所述驾驶员的表情，包括正常、大笑、接电话、沮丧、愤怒、伤心、疲劳7种表情；
当驾驶原的表情不是正常时，同时确定驾驶员面部表情的明显程度；所述驾驶员面部表情的明显程度包括轻度表情和明显表情。
7.根据权利要求1所述的一种驾驶员面部表情的自动定位和识别系统，其特征在于，所述驾驶员面部识别模块实时识别驾驶员的面部表情，根据之前识别的驾驶员面部表情的结果确定面部识别刷新率，随着驾驶员的表情明显程度加快面部识别速率；
所述驾驶员面部识别模块的实时刷新率为：
当驾驶员的面部表情为正常时面部识别模块每5秒识别一次；
当驾驶员的面部表情为非正常时面部识别模块提高面部识别刷新率：面部表情为轻度表情时，面部识别模块每2秒识别一次；面部表情为明显表情时，面部识别模块每0.5秒识别一次。
8.根据权利要求1所述的一种驾驶员面部表情的自动定位和识别系统，其特征在于，所述警示模块根据驾驶员的面部表情做出不同的提醒与警示，具体分类如下：
a、当驾驶员的面部表情为正常、大笑状态时：对驾驶员的行为不做任何提醒与警示；
b、当驾驶员在接电话状态时：语音提示驾驶员注意行车规范，并向驾驶员警示根据交通法接打电话扣2分，提醒驾驶员停止接打电话或者减速靠边停车后再接打电话；
c、当驾驶员的面部表情为沮丧、伤心状态：
若驾驶员的面部表情为轻度表情时，播放舒缓的音乐；
若驾驶员的面部表情为明显表情时，自动打开导航，实时搜索附近的医院和警察局和显示周边实时路况信息，并可以一键导航目的地；
d、当驾驶员的面部表情为愤怒状态：
若驾驶员的面部表情为轻度表情时，自动打开空调制冷缓解驾驶员冲动的情绪；
若驾驶员的面部表情为明显表情时，警示驾驶员安全行驶、勿开斗气车，当驾驶员处于愤怒状态达到一定时间后减速停车；
e、当驾驶员的面部表情为疲劳状态：
若驾驶员的面部表情为轻度表情时，打开车内灯光，自动鸣笛5秒给驾驶员提神；
若驾驶员的面部表情为明显表情时，打开双闪以警示其他驾驶员注意，自动搜索距离最近的服务区或停车地点。
9.根据权利要求1所述的一种驾驶员面部表情的自动定位和识别系统，其特征在于，所述系统工作步骤为：
首先驾驶员图像采集模块实时采集驾驶员的面部图像；
然后距离感知模块定时工作，在一个周期内计算分析驾驶员面部中心与摄像头之间的角度和位置关系，确定驾驶员图像采集模块的工作范围；
接着自动对正模块根据计算出的角度和位置关系从三个自由度上调整驾驶员图像采集模块与驾驶员的相对位置，保证驾驶员面部中心在驾驶员图像采集模块的工作范围内；
接着关闭距离感知模块和自动对正模块直至下个工作周期，而驾驶员面部识别模块实时工作，根据驾驶员图像采集模块采集的信息计算分析驾驶员的面部表情并将驾驶员的面部表情分为轻度表情和明显表情；
最后警示模块根据驾驶员的面部表情的类型和表情的清晰程度不同，分成不同的模式分别对驾驶员做出相应的提醒与警示。
CN201911220457.2A 2019-12-03 2019-12-03 一种驾驶员面部表情的自动定位和识别系统 Active CN110796838B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911220457.2A CN110796838B (zh) 2019-12-03 2019-12-03 一种驾驶员面部表情的自动定位和识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911220457.2A CN110796838B (zh) 2019-12-03 2019-12-03 一种驾驶员面部表情的自动定位和识别系统

Publications (2)

Publication Number Publication Date
CN110796838A CN110796838A (zh) 2020-02-14
CN110796838B true CN110796838B (zh) 2023-06-09

Family

ID=69447221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911220457.2A Active CN110796838B (zh) 2019-12-03 2019-12-03 一种驾驶员面部表情的自动定位和识别系统

Country Status (1)

Country Link
CN (1) CN110796838B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111207690B (zh) * 2020-02-17 2021-03-12 天目爱视（北京）科技有限公司 一种可调整的虹膜3d信息采集测量设备
CN112330920A (zh) * 2020-11-03 2021-02-05 山东建筑大学 一种用于长途驾驶的控制、监测和反馈终端
CN113705373B (zh) * 2021-08-10 2023-12-26 江苏钮玮动力科技有限公司 一种可调节自适应强的驾驶员面部表情识别系统
CN116407118A (zh) * 2023-04-17 2023-07-11 深圳市儿童医院 一种术后状态监测装置及术后状态监测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714321A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于距离图像和强度图像的驾驶员人脸定位系统
CN105740767A (zh) * 2016-01-22 2016-07-06 江苏大学 一种基于脸部特征的驾驶员路怒症实时识别和预警方法
EP3366541A1 (en) * 2017-02-28 2018-08-29 Wipro Limited Methods and systems for warning driver of vehicle using mobile device

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3183161B2 (ja) * 1996-04-12 2001-07-03 三菱自動車工業株式会社 覚醒度推定装置
CN101587485B (zh) * 2009-06-15 2011-08-03 无锡骏聿科技有限公司 一种基于人脸识别技术的人脸信息自动登录方法
CN102968624A (zh) * 2012-12-12 2013-03-13 天津工业大学 一种人脸图像中的人眼定位方法
CN103997608A (zh) * 2014-06-12 2014-08-20 浪潮(山东)电子信息有限公司 一种监控摄像头自动校准人体面部的设备及方法
FR3028221B1 (fr) * 2014-11-12 2018-03-16 Psa Automobiles Sa. Interface homme/machine et procede de controle de fonctions d’un vehicule par detection de mouvement et/ou d’expression du conducteur
CN205230272U (zh) * 2015-11-12 2016-05-11 熊强 汽车司机驾驶状态监测系统
WO2018096688A1 (ja) * 2016-11-28 2018-05-31 本田技研工業株式会社 運転支援装置、運転支援システム、プログラム及び運転支援装置の制御方法
CN108021904A (zh) * 2017-12-20 2018-05-11 南京埃塔斯智能科技有限公司 具有自动调节功能的人脸识别设备
CN108170056A (zh) * 2017-12-28 2018-06-15 重庆电子工程职业学院 一种互动交流驾驶机器人及其控制方法
CN108053615B (zh) * 2018-01-10 2020-12-25 山东大学 基于微表情的驾驶员疲劳驾驶状态检测方法
CN108682074B (zh) * 2018-04-11 2022-02-15 华南理工大学 一种加油站信息提示方法及系统
CN208509045U (zh) * 2018-05-11 2019-02-15 美澳视界（厦门）智能科技有限公司 一种人脸识别监控摄像机
CN108664947A (zh) * 2018-05-21 2018-10-16 五邑大学 一种基于表情识别的疲劳驾驶预警方法
CN208867942U (zh) * 2018-09-06 2019-05-17 烟台市安特洛普网络科技有限公司 智能车载交互系统
CN109543577A (zh) * 2018-11-09 2019-03-29 上海物联网有限公司 一种基于面部表情特征的疲劳驾驶检测预警方法
CN209526789U (zh) * 2018-12-03 2019-10-22 西安朗通科技发展有限公司 基于人脸信息的图像采集装置
CN109934207A (zh) * 2019-04-15 2019-06-25 华东师范大学 基于面部表情疲劳驾驶检测算法的一种驾驶员面部的特征距离修正方法
CN209708183U (zh) * 2019-05-29 2019-11-29 广东广凌信息科技股份有限公司 一种课室人脸识别考勤系统
CN110334600A (zh) * 2019-06-03 2019-10-15 武汉工程大学 一种多特征融合驾驶员异常表情识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714321A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于距离图像和强度图像的驾驶员人脸定位系统
CN105740767A (zh) * 2016-01-22 2016-07-06 江苏大学 一种基于脸部特征的驾驶员路怒症实时识别和预警方法
EP3366541A1 (en) * 2017-02-28 2018-08-29 Wipro Limited Methods and systems for warning driver of vehicle using mobile device

Also Published As

Publication number Publication date
CN110796838A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
CN110796838B (zh) 一种驾驶员面部表情的自动定位和识别系统
US11151876B2 (en) Apparatus and method of safety support for vehicle
Doshi et al. On the roles of eye gaze and head dynamics in predicting driver's intent to change lanes
US11814054B2 (en) Exhaustive driving analytical systems and modelers
US7403124B2 (en) Driving support equipment for vehicles
US11685390B2 (en) Assistance method and assistance system and assistance device using assistance method that execute processing relating to a behavior model
CN111231971B (zh) 基于大数据的汽车安全性能分析评价方法及系统
CN110826369A (zh) 一种驾驶员驾驶时注意力检测方法和系统
CN114072865A (zh) 信息处理装置、移动装置、方法和程序
CN113635897B (zh) 一种基于风险场的安全驾驶预警方法
CN115027484A (zh) 一种面向高度自动驾驶的人机融合感知方法
CN111415524A (zh) 一种针对疲劳驾驶的智能处理方法及系统
CN114872713A (zh) 一种驾驶员异常驾驶状态监测装置和方法
CN100578148C (zh) 一种防车侧碰撞警示装置的检测方法
KR101850794B1 (ko) 주차 지원 장치 및 방법
US11267397B2 (en) Autonomous driving vehicle information presentation apparatus
CN106652353A (zh) 一种交通工具控制方法和装置
CN113920734B (zh) 一种基于logistics模型的变道预警方法
CN114104004A (zh) 驾驶员接管车辆纵向控制方法、装置、汽车及计算机可读存储介质
KR20170030768A (ko) 차량 및 그 제어방법
CN116946089B (zh) 一种智能刹车辅助系统
US20240157896A1 (en) Vehicle system and method for adjusting interior control settings based on driver emotion and environmental context
KR102443980B1 (ko) 차량 제어 방법
US20220306106A1 (en) Vehicle control device, vehicle control method, and storage medium
CN117041872A (zh) 虚拟警示区的控制方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant