CN110490139A - 基于人脸识别的夜间疲劳驾驶判断方法 - Google Patents

基于人脸识别的夜间疲劳驾驶判断方法 Download PDF

Info

Publication number
CN110490139A
CN110490139A CN201910773659.3A CN201910773659A CN110490139A CN 110490139 A CN110490139 A CN 110490139A CN 201910773659 A CN201910773659 A CN 201910773659A CN 110490139 A CN110490139 A CN 110490139A
Authority
CN
China
Prior art keywords
face
driver
recognition
fatigue driving
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910773659.3A
Other languages
English (en)
Inventor
朱宁
胡江萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Henghua Television Information Technology Co Ltd
Original Assignee
Nanjing Henghua Television Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Henghua Television Information Technology Co Ltd filed Critical Nanjing Henghua Television Information Technology Co Ltd
Priority to CN201910773659.3A priority Critical patent/CN110490139A/zh
Publication of CN110490139A publication Critical patent/CN110490139A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明于智能识别设有领域，尤其是一种基于人脸识别的夜间疲劳驾驶判断方法。通过人脸识别检测技术对网约车司机和出租车司机的进行身份验证，并通过面部识别装置对司机进行面部状态的实时监控，此方法具体为基于面部识别技术识别人脸图像，夜间光照复杂条件下对司机身份进行辨认避免无资质网约车司机载客的情况。其次在夜间行车过程中通过Camshift跟踪算法对司机的面部表情进行跟踪分析判断司机的眼部状态从而判断是否处于疲劳，注意力不集中的驾驶状态，并通过语音模块提醒司机。本发明通过面部识别避免无资质司机载客问题减轻交警负担同时能够对疲劳驾驶起到及时的预警作用。

Description

基于人脸识别的夜间疲劳驾驶判断方法
技术领域
本发明属于智能识别设有领域，尤其是一种基于人脸识别的夜间疲劳驾驶判断方法。
背景技术
出租车和网约车在夜间运营极大的方便了人们的出行需求，但是出租车司机为了增加收入常常延长工作时间特别在夜间行驶的时候容易疲劳驾驶，疲劳驾驶极易发生道路交通事故，因此对司机和乘客的安全造成极大的威胁。
发明内容
发明目的：提供一种网约车人脸识别系统及控制方法，以解决现有技术存在的上述问题。
技术方案：基于人脸识别的夜间疲劳驾驶判断方法，应用在网约车或出租车上，包括以下工作步骤：
S1，司机在行驶前调整面部识别摄像机位置，使司机面部正对摄像头拍摄区域；
S2，基于摄像头拍摄的画面，构建三维空间内人脸检测特征区对应坐标；
S3，摄像头开始拍摄提取面部待测特征区，并构建待测特征区正常适应阀值面积，并将阀值面积存入特征区数据库，并根据录入的阀值面积进行面部状态进行分类；
S4，根据单位时间内录入的人脸阀值面积值，将识别驾驶员此时的驾车状态分为正常驾驶、以及疲劳驾驶两个分类；
S5，人脸检测特征区视频跟踪，当待测检测特征区的阀值面积10秒内三次以上小于正常适应阀值面积时，根据定性的分类，语音提示司机注意当前行车状态；
S6，经过红绿灯、转弯、事故多发路段等，语音提示司机注意前后方来车或注意红绿灯信息。
在进一步的实施例中，所述面部识别摄像机安装在汽车前车窗的驾驶座的正上方，所述面部识别摄像机设有360°麦克风阵列和方向传感器。
在进一步的实施例中，所述S1中面部识别摄像机中采用Kinect设备，能够同时捕获分别率1920*1080的RGB 图像和分别率为512*424深度图像，摄像头的边缘设有红外光线补光器，所述RGB颜色模型可转化为HSV颜色模型进行颜色分割，满足三维空间内人脸肤色的精确取点。
在进一步的实施例中，所述S2前面部识别摄像机对司机进行身份验证，检测驾驶员是否具有网约车司机。
在进一步的实施例中，所述检测特征区为人脸面部器官，并采用Camshift跟踪算法对检测特征区内的面部器官进行形态约束和运动约束，并用滤波器进行快速计算人脸各器官的变化阀值；所述Camshift跟踪算法根据面部器官的凹凸程度建立坐标系，并自动对人脸各器官正常状态下进行预存，标记正常适应阀值面积参考值。
在进一步的实施例中，所述面部器官为眼部和鼻部，以鼻尖为坐标系原点，从鼻尖到上眼睑的间选取1条参考线； 并记录正常行驶状态和疲劳行驶状态下的参考线L1与鼻尖点的夹角1和2，参考线L1和鼻尖的夹角小于1时属于正常行驶状态；当参考线L110秒内多次停留在疲劳行驶状态下1至2之间，判定此时为疲劳驾驶，进入语音提醒模块。
在进一步的实施例中，所述从鼻尖到瞳孔之间取一参考线L与鼻尖点的夹角为𝜃𝑓，𝜃𝑓的变化值分为直视𝜃𝑓1、左视𝜃𝑓2、右视𝜃𝑓3三个视线变化值，初步判定司机视线处在左视，正视和右视状态下；所述S6中语音提示后司机未按照规定转换视线仍会被标记为疲劳驾驶。
有益效果： 本发明相对于现有技术具有以下优点：
1.基于面部识别技术识别人脸图像，夜间光照复杂条件下对司机身份进行辨认避免无资质网约车司机载客的情况。
2.在夜间行车过程中通过Camshift跟踪算法对司机的面部表情进行跟踪分析判断司机的眼部状态从而判断是否处于疲劳，注意力不集中的驾驶状态，并通过语音模块提醒司机。
3. 本发明通过面部识别避免无资质司机载客问题减轻交警负担同时能够对疲劳驾驶起到及时的预警作用。
附图说明
图1为本发明基于人脸识别的夜间疲劳驾驶判断方法网络结构示意图。
图2为本发明检测特征区坐标角度偏离示意图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
基于人脸识别的夜间疲劳驾驶判断方法，应用在网约车或出租车上，其特征在于，包括以下工作步骤：
步骤一，司机在行驶前调整面部识别摄像机位置，使司机面部正对摄像头拍摄区域；
步骤二，基于摄像头拍摄的画面，构建三维空间内人脸检测特征区对应坐标；
步骤三，摄像头开始拍摄提取面部待测特征区，并构建待测特征区正常适应阀值面积，并将阀值面积存入特征区数据库，并根据录入的阀值面积进行面部状态进行分类；
步骤四，根据单位时间内录入的人脸阀值面积值，将识别驾驶员此时的驾车状态分为正常驾驶、以及疲劳驾驶两个分类；
步骤五，人脸检测特征区视频跟踪，当待测检测特征区的阀值面积10秒内三次以上小于正常适应阀值面积时，根据定性的分类，语音提示司机注意当前行车状态；
步骤六，经过红绿灯、转弯、事故多发路段等，语音提示司机注意前后方来车或注意红绿灯信息。
如图1在步骤一种所述面部识别摄像机安装在汽车前车窗的驾驶座的正上方，所述面部识别摄像机设有360°麦克风阵列和方向传感器。所述S1中面部识别摄像机中采用Kinect设备，能够同时捕获分别率1920*1080的RGB 图像和分别率为512*424深度图像，摄像头的边缘设有红外光线补光器，所述RGB颜色模型可转化为HSV颜色模型进行颜色分割，满足三维空间内人脸肤色的精确取点。
在步骤二中前面部识别摄像机对司机进行身份验证，身份验证采用Adaboost算法检测驾驶员是否具有网约车司机。通过网约车云端服务器存储司机多个角度的照片建立人脸特征分类器，在 HSV 空间利用阈值方法首先提取候选人脸区域，获取人脸特征的候选区域，使用 Kinect 采集场景的深度信息，完成人脸区域的定位。采用一种曲率分析技术，对于每个深度信息点有两个曲率可以计算；最大曲率和最小曲率由𝑘1(𝑃)和𝑘2(𝑃)得到的。计算公式为：
𝑆=tan-1（𝑘1(𝑃)+ 𝑘2(𝑃)）/（𝑘1(𝑃)-𝑘2(𝑃)）公式1；根据公式1得到特征区曲率信息，然后在从云端服务器查询比较获取司机面部信息。
身份验证完成后，将视频中的人脸进行帧融合，采用多帧融合的算法获取面部的实时信息，采用Kinect设备实现简单，速度快的像素灰度值取大法。眼部信息有3帧数据𝑝1、𝑝2、𝑝3。取对应点像素值较大的 像素作为综合后的数据。则综合后的数据三帧数据融合的结果𝑝max={𝑝1(𝑥,𝑦),𝑝2(𝑥,𝑦)}。综合得到数据𝑝123。
所述检测特征区为人脸面部器官，并采用Camshift跟踪算法对检测特征区内的面部器官进行形态约束和运动约束，并用滤波器进行快速计算人脸各器官的变化阀值；所述Camshift跟踪算法根据面部器官的凹凸程度建立坐标系，并自动对人脸各器官正常状态下进行预存，标记正常适应阀值面积参考值。
如图2所示所述面部器官为眼部和鼻部，以鼻尖为坐标系原点，从鼻尖到上眼睑的间选取1条参考线； 并记录正常行驶状态和疲劳行驶状态下的参考线L1与鼻尖点的夹角1和2，参考线L1和鼻尖的夹角小于1时属于正常行驶状态；当参考线L110秒内多次停留在疲劳行驶状态下1至2之间，判定此时为疲劳驾驶，进入语音提醒模块，通过360°麦克风阵列发出语音播报提醒司机集中注意力，同时也提醒乘客注意司机目前的开车状态。
所述从鼻尖到瞳孔之间取一参考线L与鼻尖点的夹角为𝜃𝑓，𝜃𝑓的变化值分为直视𝜃𝑓1、左视𝜃𝑓2、右视𝜃𝑓3三个视线变化值，初步判定司机视线处在左视，正视和右视状态下；所述S6中语音提示后红绿灯或者转弯司机未按照规定转换视线仍会被标记为疲劳驾驶。
本发明基于面部识别技术识别人脸图像，夜间光照复杂条件下对司机身份进行辨认避免无资质网约车司机载客的情况。在夜间行车过程中通过Camshift跟踪算法对司机的面部表情进行跟踪分析判断司机的眼部状态和视线从而判断是否处于疲劳，注意力不集中的驾驶状态，并通过语音模块提醒司机集中注意力，减少事故发生的可能性。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。

Claims (7)

1.基于人脸识别的夜间疲劳驾驶判断方法，应用在网约车或出租车上，其特征在于，包括以下工作步骤：
S1，司机在行驶前调整面部识别摄像机位置，使司机面部正对摄像头拍摄区域；
S2，基于摄像头拍摄的画面，构建三维空间内人脸检测特征区对应坐标；
S3，摄像头开始拍摄提取面部待测特征区，并构建待测特征区正常适应阀值面积，并将阀值面积存入特征区数据库，并根据录入的阀值面积进行面部状态进行分类；
S4，根据单位时间内录入的人脸阀值面积值，将识别驾驶员此时的驾车状态分为正常驾驶、以及疲劳驾驶两个分类；
S5，人脸检测特征区视频跟踪，当待测检测特征区的阀值面积10秒内三次小于正常适应阀值面积时，根据定性的分类，语音提示司机注意当前行车状态；
S6，经过红绿灯、转弯、事故多发路段，语音提示司机注意前后方来车或注意红绿灯信息。
2. 根据权利要求1所述的基于人脸识别的夜间疲劳驾驶判断方法，其特征在于， 所述面部识别摄像机安装在汽车前车窗的驾驶座的正上方，所述面部识别摄像机设有360°麦克风阵列和方向传感器。
3. 根据权利要求2所述的基于人脸识别的夜间疲劳驾驶判断方法，其特征在于， 所述S1中面部识别摄像机中采用Kinect设备，能够同时捕获分别率1920*1080的RGB 图像和分别率为512*424深度图像，摄像头的边缘设有红外光线补光器，所述RGB颜色模型可转化为HSV颜色模型进行颜色分割，满足三维空间内人脸肤色的精确取点。
4. 根据权利要求1所述的基于人脸识别的夜间疲劳驾驶判断方法，其特征在于， 所述S2前面部识别摄像机对司机进行身份验证，检测驾驶员是否具有网约车司机。
5. 根据权利要求1所述的基于人脸识别的夜间疲劳驾驶判断方法，其特征在于， 所述检测特征区为人脸面部器官，并采用Camshift跟踪算法对检测特征区内的面部器官进行形态约束和运动约束，并用滤波器进行快速计算人脸各器官的变化阀值；所述Camshift跟踪算法根据面部器官的凹凸程度建立坐标系，并自动对人脸各器官正常状态下进行预存，标记正常适应阀值面积参考值。
6. 根据权利要求5所述的基于人脸识别的夜间疲劳驾驶判断方法，其特征在于， 所述面部器官为眼部和鼻部，以鼻尖为坐标系原点，从鼻尖到上眼睑的间选取1条参考线； 并记录正常行驶状态和疲劳行驶状态下的参考线L1与鼻尖点的夹角1和2，参考线L1和鼻尖的夹角小于1时属于正常行驶状态；当参考线L110秒内多次停留在疲劳行驶状态下1至2之间，判定此时为疲劳驾驶，进入语音提醒模块。
7.根据权利要求1所述的基于人脸识别的夜间疲劳驾驶判断方法，其特征在于，从鼻尖到瞳孔之间取一参考线L2与鼻尖点的夹角为𝜃𝑓，𝜃𝑓的变化值分为直视𝜃𝑓1、左视𝜃𝑓2、右视𝜃𝑓3三个视线变化值，初步判定司机视线处在左视，正视和右视状态下；所述S6中语音提示后司机未按照规定转换视线仍会被标记为疲劳驾驶。
CN201910773659.3A 2019-08-21 2019-08-21 基于人脸识别的夜间疲劳驾驶判断方法 Withdrawn CN110490139A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910773659.3A CN110490139A (zh) 2019-08-21 2019-08-21 基于人脸识别的夜间疲劳驾驶判断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910773659.3A CN110490139A (zh) 2019-08-21 2019-08-21 基于人脸识别的夜间疲劳驾驶判断方法

Publications (1)

Publication Number Publication Date
CN110490139A true CN110490139A (zh) 2019-11-22

Family

ID=68552562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910773659.3A Withdrawn CN110490139A (zh) 2019-08-21 2019-08-21 基于人脸识别的夜间疲劳驾驶判断方法

Country Status (1)

Country Link
CN (1) CN110490139A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582067A (zh) * 2020-04-22 2020-08-25 西南大学 人脸表情识别方法、系统、存储介质、计算机程序、终端
CN111931748A (zh) * 2020-10-12 2020-11-13 天能电池集团股份有限公司 一种适用于蓄电池生产车间的工人疲劳度检测方法
CN112036350A (zh) * 2020-09-07 2020-12-04 山东山科数字经济研究院有限公司 一种基于政务云的用户调查方法和系统
CN112329600A (zh) * 2020-11-03 2021-02-05 浙江天行健智能科技有限公司 基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法
CN112329731A (zh) * 2020-11-27 2021-02-05 华南理工大学 面向叉车司机实操考核与教练的操作行为检测方法及系统
CN113022437A (zh) * 2019-12-25 2021-06-25 北京宝沃汽车股份有限公司 车辆及其控制方法与装置
CN113516015A (zh) * 2021-04-15 2021-10-19 广东工业大学 情绪识别方法、辅助驾驶装置以及应用

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113022437A (zh) * 2019-12-25 2021-06-25 北京宝沃汽车股份有限公司 车辆及其控制方法与装置
CN111582067A (zh) * 2020-04-22 2020-08-25 西南大学 人脸表情识别方法、系统、存储介质、计算机程序、终端
CN111582067B (zh) * 2020-04-22 2022-11-29 西南大学 人脸表情识别方法、系统、存储介质、计算机程序、终端
CN112036350A (zh) * 2020-09-07 2020-12-04 山东山科数字经济研究院有限公司 一种基于政务云的用户调查方法和系统
CN112036350B (zh) * 2020-09-07 2022-01-28 山东山科数字经济研究院有限公司 一种基于政务云的用户调查方法和系统
CN111931748A (zh) * 2020-10-12 2020-11-13 天能电池集团股份有限公司 一种适用于蓄电池生产车间的工人疲劳度检测方法
CN111931748B (zh) * 2020-10-12 2021-01-26 天能电池集团股份有限公司 一种适用于蓄电池生产车间的工人疲劳度检测方法
CN112329600A (zh) * 2020-11-03 2021-02-05 浙江天行健智能科技有限公司 基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法
CN112329731A (zh) * 2020-11-27 2021-02-05 华南理工大学 面向叉车司机实操考核与教练的操作行为检测方法及系统
CN112329731B (zh) * 2020-11-27 2023-09-05 华南理工大学 面向叉车司机实操考核与教练的操作行为检测方法及系统
CN113516015A (zh) * 2021-04-15 2021-10-19 广东工业大学 情绪识别方法、辅助驾驶装置以及应用
CN113516015B (zh) * 2021-04-15 2023-12-05 广东工业大学 情绪识别方法、辅助驾驶装置以及应用

Similar Documents

Publication Publication Date Title
CN110490139A (zh) 基于人脸识别的夜间疲劳驾驶判断方法
CN103714660B (zh) 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
CN105769120B (zh) 疲劳驾驶检测方法和装置
CN105354988B (zh) 一种基于机器视觉的驾驶员疲劳驾驶检测系统及检测方法
WO2020029444A1 (zh) 一种驾驶员驾驶时注意力检测方法和系统
CN103824420B (zh) 基于心率变异性非接触式测量的疲劳驾驶识别系统
US20170286780A1 (en) Method and system for calculating passenger crowdedness degree
WO2017028587A1 (zh) 车辆监控的方法和装置、处理器、图像采集设备
CN110097109A (zh) 一种基于深度学习的道路环境障碍物检测系统及方法
CN103440475B (zh) 一种自动取款机使用者人脸可见性判断系统及方法
CN103714659B (zh) 基于双光谱融合的疲劳驾驶识别系统
CN108875642A (zh) 一种多指标融合的驾驶员疲劳检测的方法
CN106781282A (zh) 一种智能行车驾驶员疲劳预警系统
CN103824037B (zh) 车用防跟踪报警装置
CN106541968B (zh) 基于视觉分析的地铁车厢实时提示系统的识别方法
CN202130312U (zh) 一种驾驶员疲劳驾驶监控装置
CN101593425A (zh) 一种基于机器视觉的疲劳驾驶监控方法及系统
CN105868690A (zh) 识别驾驶员打手机行为的方法和装置
CN102306293A (zh) 基于面部图像识别技术的评判实际道路驾驶员考试的方法
CN103888680A (zh) 一种摄像头曝光时间的调节方法
CN113642522B (zh) 基于音视频的疲劳状态检测方法和装置
CN111104974A (zh) 基于深度学习的安全帽佩戴识别方法
CN109344802A (zh) 一种基于改进的级联卷积神经网的人体疲劳检测方法
CN109398422A (zh) 一种停车时车辆位置确定方法及对标停车方法
CN109508659A (zh) 一种用于人行横道的人脸识别系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20191122