CN112052775A - 一种基于梯度直方图视频识别技术的疲劳驾驶检测方法 - Google Patents

一种基于梯度直方图视频识别技术的疲劳驾驶检测方法 Download PDF

Info

Publication number
CN112052775A
CN112052775A CN202010901235.3A CN202010901235A CN112052775A CN 112052775 A CN112052775 A CN 112052775A CN 202010901235 A CN202010901235 A CN 202010901235A CN 112052775 A CN112052775 A CN 112052775A
Authority
CN
China
Prior art keywords
eye
subgraph
fatigue
mouth
fatigue driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010901235.3A
Other languages
English (en)
Inventor
蔡博文
王雪松
吴梦娇
朱晓晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
China Pacific Property Insurance Co Ltd
Original Assignee
Tongji University
China Pacific Property Insurance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University, China Pacific Property Insurance Co Ltd filed Critical Tongji University
Priority to CN202010901235.3A priority Critical patent/CN112052775A/zh
Publication of CN112052775A publication Critical patent/CN112052775A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于梯度直方图视频识别技术的疲劳驾驶检测方法，包括以下步骤：采集驾驶人员面部图像；计算每一张面部图像的方向梯度直方图，利用方向梯度直方图进行特征定位；从每一张定位后的面部图像中提取嘴部子图和眼部子图，实现嘴部子图和眼部子图的视频跟踪；根据嘴部子图和眼部子图计算单位时间内眼睛闭合时间PERCLOS、眨眼时长和打呵欠频率；将单位时间内眼睛闭合时间、眨眼时长和打呵欠频率与设定阈值进行对比，完成疲劳驾驶检测。与现有技术相比，计算步骤更简单，耗时少，对硬件要求低。

Description

一种基于梯度直方图视频识别技术的疲劳驾驶检测方法
技术领域
本发明涉及汽车安全驾驶领域，尤其是涉及一种基于梯度直方图视频识别技术的疲劳驾驶检测方法。
背景技术
疲劳驾驶常常由于睡眠不足或驾驶任务认知负荷(过大或过小)引起。疲劳驾驶行为有着严重的安全隐患，是一种难以衡量且未得到重视的驾驶问题。
疲劳驾驶常常引起碰撞事故的发生，造成严重的人员伤亡，而我国机动化和高速公路建设的推进又使得疲劳驾驶的危害可能进一步扩大。研究表明，疲劳更容易导致驾驶能力下降，如疲劳状态下驾驶人反应变慢、分心增加、警觉下降、冒险行为增加。
疲劳驾驶存在定义含糊、缺乏有效可靠的设备检测疲劳等级，监管困难，通过立法手段防止疲劳驾驶的可行性不高等问题。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于梯度直方图视频识别技术的疲劳驾驶检测方法。
本发明的目的可以通过以下技术方案来实现：
一种基于梯度直方图视频识别技术的疲劳驾驶检测方法，该方法包括以下步骤：
步骤S1：采集驾驶人员面部图像；
步骤S2：计算每一张面部图像的方向梯度直方图，利用方向梯度直方图进行特征定位；
步骤S3：从每一张定位后的面部图像中提取嘴部子图和眼部子图，实现嘴部子图和眼部子图的视频跟踪；
步骤S4：根据嘴部子图和眼部子图计算单位时间内眼睛闭合时间PERCLOS、眨眼时长和打呵欠频率；
步骤S5：将单位时间内眼睛闭合时间、眨眼时长和打呵欠频率与设定阈值进行对比，完成疲劳驾驶检测。
所述的驾驶人员面部图像通过摄像头采集。
所述计算每一张面部图像的方向梯度直方图的过程包括：
步骤S21：分别计算每一张面部图像的横坐标方向和纵坐标方向的梯度，计算每个像素位置的梯度方向值；
步骤S22：将面部图像按照空间位置均匀划分为8×8的小块，在每个小块内统计梯度方向值，得到该小块对应的特征向量；
步骤S23：取4×4的区域，将一个区域内所有小块的特征向量串联归一化，得到该区域的方向梯度直方图，继而得到每一张面部图像的方向梯度直方图。
所述单位时间内眼睛闭合时间PERCLOS的计算公式为：
Figure BDA0002659839100000021
所述打呵欠频率为30s内检测到打呵欠的次数，计算所述打呵欠频率时，打呵欠的判定方法为嘴部的高宽比，高宽比大于1时为打呵欠，高宽比为0.5时为正常交流的口型，高宽比接近0为闭合状态。
所述的眨眼时长为从80％眼睛张合度到下一次80％眼睛张合度所需要的时间。
所述的眼睛张合度利用驾驶员上车前两分钟采集的面部图像得到。
30s内PERCLOS大于0.1为中度疲劳，30s内PERCLOS大于0.2为重度疲劳。
眨眼时长大于1s但小于2s为中度疲劳，眨眼时长大于2s为重度疲劳。
打呵欠频率大于13％小于21％为中度疲劳，打呵欠频率大于21％为重度疲劳。
与现有技术相比，本发明具有以下优点：
(1)相比于现有用神经网络进行疲劳检测，计算步骤更简单，耗时少，对硬件要求低。
(2)是一种通适性的算法，不需借助专门仪器或定制硬件，通过包括手机摄像头在内的简易视频传感器，结合交通工程理论，进行驾驶员疲劳驾驶状态分等级检测，对于后续形成完善的驾驶员异常驾驶行为监控系统等方面具有现实意义。
附图说明
图1为本发明的流程图；
图2为面部关键点选取。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例
本实施例提供一种基于梯度直方图视频识别技术的疲劳驾驶检测方法，如图1所示，利用摄像头记录驾驶人面部图像，对不同程度疲劳进行分级预警，减少疲劳导致的交通事故。包括以下步骤：
步骤S1：采集驾驶人员面部图像；
步骤S2：计算每一张面部图像的方向梯度直方图，利用方向梯度直方图进行特征定位，如图2所示；
步骤S3：从每一张定位后的面部图像中提取嘴部子图和眼部子图，实现嘴部子图和眼部子图的视频跟踪；
步骤S4：根据嘴部子图和眼部子图计算单位时间内眼睛闭合时间PERCLOS、眨眼时长和打呵欠频率；
步骤S5：将单位时间内眼睛闭合时间、眨眼时长和打呵欠频率与设定阈值进行对比，完成疲劳驾驶检测。
计算每一张面部图像的方向梯度直方图的过程包括：
步骤S21：分别计算每一张面部图像的横坐标方向和纵坐标方向的梯度，计算每个像素位置的梯度方向值；
步骤S22：将面部图像按照空间位置均匀划分为8×8的小块，在每个小块内统计梯度方向值，得到该小块对应的特征向量；
步骤S23：取4×4的区域，将一个区域内所有小块的特征向量串联归一化，得到该区域的方向梯度直方图，继而得到每一张面部图像的方向梯度直方图
在所获取的眼部子图中，使用视频跟踪技术，采集驾驶员上车前两分钟内的面部表情，以这段时间内37点和41点、38点和40点的平均距离为右眼的正常张合范围(眼睛张合度)，以43点和47点、44点和46点的平均距离为左眼的正常张合范围，以36点和39点、42点和45点的距离分别为右眼和左眼的宽度。使用视频跟踪与识别技术，追踪驾驶员眼睛眨动，获取PERCLOS(单位时间内眼睛闭合大于80％眼睛张合度的时间)与眨眼时长。
在所获取的嘴部子图中，使用视频跟踪技术，以61点和67点，62点和66点，63点和65点之间的平均距离为高，以34点和48点，60点和54点之间的平均距离为宽，求取嘴巴的高宽比，如果高宽比超过1，则认定为打呵欠，并计算打呵欠频率。
单位时间内眼睛闭合时间、眨眼时长和打呵欠频率统称为疲劳面部特征集变量，如表1所示。摄像头数据采集频率为29Hz，即每s采集29次面部图像。
表1疲劳面部特征集变量
Figure BDA0002659839100000041
驾驶人疲劳等级为中度疲劳和重度疲劳。判定标准为，30s内PERCLOS大于0.1，认定为中度疲劳；30s内PERCLOS大于0.2，认定为重度疲劳。
眨眼时长大于1s但小于2s，为中度疲劳；眨眼时长超过2s为重度疲劳，图1中T为眨眼时长。
打呵欠频率大于13％但小于21％，认定为中度疲劳；打呵欠频率大于21％认定为重度疲劳，图1中P为打呵欠频率。

Claims (10)

1.一种基于梯度直方图视频识别技术的疲劳驾驶检测方法，其特征在于，该方法包括以下步骤：
步骤S1：采集驾驶人员面部图像；
步骤S2：计算每一张面部图像的方向梯度直方图，利用方向梯度直方图进行特征定位；
步骤S3：从每一张定位后的面部图像中提取嘴部子图和眼部子图，实现嘴部子图和眼部子图的视频跟踪；
步骤S4：根据嘴部子图和眼部子图计算单位时间内眼睛闭合时间PERCLOS、眨眼时长和打呵欠频率；
步骤S5：将单位时间内眼睛闭合时间、眨眼时长和打呵欠频率与设定阈值进行对比，完成疲劳驾驶检测。
2.根据权利要求1所述的一种基于梯度直方图视频识别技术的疲劳驾驶检测方法，其特征在于，所述的驾驶人员面部图像通过摄像头采集。
3.根据权利要求1所述的一种基于梯度直方图视频识别技术的疲劳驾驶检测方法，其特征在于，所述计算每一张面部图像的方向梯度直方图的过程包括：
步骤S21：分别计算每一张面部图像的横坐标方向和纵坐标方向的梯度，计算每个像素位置的梯度方向值；
步骤S22：将面部图像按照空间位置均匀划分为8×8的小块，在每个小块内统计梯度方向值，得到该小块对应的特征向量；
步骤S23：取4×4的区域，将一个区域内所有小块的特征向量串联归一化，得到该区域的方向梯度直方图，继而得到每一张面部图像的方向梯度直方图。
4.根据权利要求1所述的一种基于梯度直方图视频识别技术的疲劳驾驶检测方法，其特征在于，所述单位时间内眼睛闭合时间PERCLOS的计算公式为：
Figure FDA0002659839090000011
5.根据权利要求1所述的一种基于梯度直方图视频识别技术的疲劳驾驶检测方法，其特征在于，所述打呵欠频率为30s内检测到打呵欠的次数，计算所述打呵欠频率时，打呵欠的判定方法为嘴部的高宽比，高宽比大于1时为打呵欠，高宽比为0.5时为正常交流的口型，高宽比接近0为闭合状态。
6.根据权利要求1所述的一种基于梯度直方图视频识别技术的疲劳驾驶检测方法，其特征在于，所述的眨眼时长为从80％眼睛张合度到下一次80％眼睛张合度所需要的时间。
7.根据权利要求6所述的一种基于梯度直方图视频识别技术的疲劳驾驶检测方法，其特征在于，所述的眼睛张合度利用驾驶员上车前两分钟采集的面部图像得到。
8.根据权利要求1所述的一种基于梯度直方图视频识别技术的疲劳驾驶检测方法，其特征在于，30s内PERCLOS大于0.1为中度疲劳，30s内PERCLOS大于0.2为重度疲劳。
9.根据权利要求1所述的一种基于梯度直方图视频识别技术的疲劳驾驶检测方法，其特征在于，眨眼时长大于1s但小于2s为中度疲劳，眨眼时长大于2s为重度疲劳。
10.根据权利要求1所述的一种基于梯度直方图视频识别技术的疲劳驾驶检测方法，其特征在于，打呵欠频率大于13％小于21％为中度疲劳，打呵欠频率大于21％为重度疲劳。
CN202010901235.3A 2020-08-31 2020-08-31 一种基于梯度直方图视频识别技术的疲劳驾驶检测方法 Pending CN112052775A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010901235.3A CN112052775A (zh) 2020-08-31 2020-08-31 一种基于梯度直方图视频识别技术的疲劳驾驶检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010901235.3A CN112052775A (zh) 2020-08-31 2020-08-31 一种基于梯度直方图视频识别技术的疲劳驾驶检测方法

Publications (1)

Publication Number Publication Date
CN112052775A true CN112052775A (zh) 2020-12-08

Family

ID=73606841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010901235.3A Pending CN112052775A (zh) 2020-08-31 2020-08-31 一种基于梯度直方图视频识别技术的疲劳驾驶检测方法

Country Status (1)

Country Link
CN (1) CN112052775A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115137352A (zh) * 2021-03-30 2022-10-04 广东小天才科技有限公司 一种疲劳监测方法、系统、平板电脑及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372621A (zh) * 2016-09-30 2017-02-01 防城港市港口区高创信息技术有限公司 基于人脸识别的疲劳驾驶检测方法
WO2018113680A1 (en) * 2016-12-23 2018-06-28 Hong Kong Baptist University Method and apparatus for eye gaze tracking and detection of fatigue
CN109308445A (zh) * 2018-07-25 2019-02-05 南京莱斯电子设备有限公司 一种基于信息融合的固定岗位人员疲劳检测方法
CN110119672A (zh) * 2019-03-26 2019-08-13 湖北大学 一种嵌入式疲劳状态检测系统及方法
WO2020078464A1 (zh) * 2018-10-19 2020-04-23 上海商汤智能科技有限公司 驾驶状态检测方法和装置、驾驶员监控系统、车辆

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372621A (zh) * 2016-09-30 2017-02-01 防城港市港口区高创信息技术有限公司 基于人脸识别的疲劳驾驶检测方法
WO2018113680A1 (en) * 2016-12-23 2018-06-28 Hong Kong Baptist University Method and apparatus for eye gaze tracking and detection of fatigue
CN109308445A (zh) * 2018-07-25 2019-02-05 南京莱斯电子设备有限公司 一种基于信息融合的固定岗位人员疲劳检测方法
WO2020078464A1 (zh) * 2018-10-19 2020-04-23 上海商汤智能科技有限公司 驾驶状态检测方法和装置、驾驶员监控系统、车辆
CN110119672A (zh) * 2019-03-26 2019-08-13 湖北大学 一种嵌入式疲劳状态检测系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
冯文文;曹银杰;李晓琳;胡卫生;: "基于改进的深度卷积神经网络的人脸疲劳检测", 科学技术与工程, no. 14 *
查宇飞等: "《视频目标跟踪方法》", 31 July 2015, 国防工业出版社, pages: 109 - 111 *
邬敏杰;穆平安;张彩艳;: "基于眼睛和嘴巴状态的驾驶员疲劳检测算法", 计算机应用与软件, no. 03 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115137352A (zh) * 2021-03-30 2022-10-04 广东小天才科技有限公司 一种疲劳监测方法、系统、平板电脑及存储介质

Similar Documents

Publication Publication Date Title
CN111274881B (zh) 驾驶安全的监控方法、装置、计算机设备及存储介质
CN108960065B (zh) 一种基于视觉的驾驶行为检测方法
CN105744232B (zh) 一种基于行为分析技术的输电线路视频防外破的方法
Liu et al. Drowsiness detection based on eyelid movement
CN109977930B (zh) 疲劳驾驶检测方法及装置
CN112389448A (zh) 一种基于车辆状态和驾驶员状态的异常驾驶行为识别方法
CN103366506A (zh) 一种驾驶员行车途中接打手机行为的自动监控装置及方法
CN104637246A (zh) 一种驾驶员多种行为预警系统及危险评估方法
CN103824420A (zh) 基于心率变异性非接触式测量的疲劳驾驶识别系统
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
CN108229245A (zh) 基于面部视频特征的疲劳驾驶检测方法
CN105894701A (zh) 输电线路防外破大型施工车辆的识别报警方法
CN109740477A (zh) 驾驶员疲劳检测系统及其疲劳检测方法
CN112071084A (zh) 一种利用深度学习判断违章停车的方法和系统
CN107563346A (zh) 一种基于人眼图像处理实现驾驶员疲劳判别的方法
CN113297926B (zh) 行为检测识别方法及系统
CN102013013B (zh) 疲劳驾驶监测方法
CN109643488A (zh) 交通异常事件检测装置及方法
CN111062319B (zh) 一种基于主动红外图像的驾驶员打电话检测方法
CN117523537A (zh) 一种车辆驾驶危险程度动态判断方法
Chen Research on driver fatigue detection strategy based on human eye state
Yi et al. Safety belt wearing detection algorithm based on human joint points
CN112052775A (zh) 一种基于梯度直方图视频识别技术的疲劳驾驶检测方法
CN103729646A (zh) 一种眼睛图像有效性检测方法
CN111563468A (zh) 一种基于神经网络注意力的驾驶员异常行为检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination