CN116168374B - 一种主动安全辅助驾驶方法及系统 - Google Patents

一种主动安全辅助驾驶方法及系统 Download PDF

Info

Publication number
CN116168374B
CN116168374B CN202310434594.6A CN202310434594A CN116168374B CN 116168374 B CN116168374 B CN 116168374B CN 202310434594 A CN202310434594 A CN 202310434594A CN 116168374 B CN116168374 B CN 116168374B
Authority
CN
China
Prior art keywords
human eye
eye
monitoring video
features
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310434594.6A
Other languages
English (en)
Other versions
CN116168374A (zh
Inventor
孙治刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Miaoying Technology Co ltd
Original Assignee
Nanjing Miaoying Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Miaoying Technology Co ltd filed Critical Nanjing Miaoying Technology Co ltd
Priority to CN202310434594.6A priority Critical patent/CN116168374B/zh
Publication of CN116168374A publication Critical patent/CN116168374A/zh
Application granted granted Critical
Publication of CN116168374B publication Critical patent/CN116168374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/46—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for giving flashing caution signals during drive, other than signalling change of direction, e.g. flashing the headlights or hazard lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Automation & Control Theory (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Business, Economics & Management (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Emergency Management (AREA)

Abstract

本发明公开了一种主动安全辅助驾驶方法及系统，方法通过获取驾驶舱内连续的同一步长时间段的监测视频；并按照时间前后顺序划分成第一监测视频、第二监测视频和第三监测视频；对第一监测视频、第二监测视频和第三监测视频的人眼状态为闭合的图像帧分别进行计数；结合第一闭眼帧数目、第二闭眼帧数目和第三闭眼帧数目进行分析，得到驾驶员的疲劳状态；之后自动播放分级预警信息，完成主动安全辅助驾驶。该方法通过swin transformer深度学习模型和ShuffleNet v1模型的结合，提高了驾驶员状态检测识别的效率和准确度。

Description

一种主动安全辅助驾驶方法及系统
技术领域
本发明涉及图像处理领域，具体涉及一种主动安全辅助驾驶方法及系统。
背景技术
根据统计数据，公路上出现事故的主要原因之一就是疲劳驾驶，对疲劳驾驶进行有效检测并及时做出提醒，是避免车辆事故的重要手段；当前存在的疲劳驾驶检测方法有脑电图、眼电图、肌电图、呼吸气流、呼吸效果、动脉血液氧饱和时的温度和心电图等测量方法，也有利用眼睛和嘴巴的相关人脸特征进行检测；例如现有技术CN104688251A（公开日20150610）涉及一种多姿态下的疲劳及非正常姿态驾驶检测方法，包括：步骤1：图像采集，采集驾驶员图像信息；步骤2：图像识别，对采集到的图像进行实时人脸检测；步骤3：面部特征点标定，包括：对检测到的人脸进行眼睛和嘴巴的特征点标定；步骤4：眼睛和嘴巴状态判断，包括：对特征点采用基于面部宽度信息的眼睛状态检测方法分析人眼与嘴巴的闭合状态；步骤5：头部三维姿态检测，包括：利用几何特征对头部三维姿态进行检测；步骤6：疲劳及非正常姿态驾驶状态判断，包括：根据人眼与嘴巴的闭合状态判断驾驶员是否处于疲劳，并根据头部三维姿态判断驾驶员是否处于非正常驾驶状态。但是该类方法的效率不够高，实现疲劳状态检测的实时性得不到保证，并且有效性和准确度不高。因此亟需一种智能化程度相对较高、满足实用性强、性价比高的驾驶员状态监测方法。
发明内容
针对现有技术中的以上缺陷，本发明的目的在于提供一种主动安全辅助驾驶方法及系统，该方法通过swin transformer深度学习模型和ShuffleNet v1模型的相互结合，有效克服了干扰性和使用模型单一的缺陷，大大提高了驾驶员状态检测识别的效率，通过分析判断实现了分级报警和主动安全辅助驾驶的功能，从而起到及时提醒驾驶员，保障行车安全的作用。
为实现上述发明目的，本发明采用如下技术方案：
第一方面，本发明提供一种主动安全辅助驾驶方法，该方法包括：
步骤1，获取驾驶舱内连续的同一步长时间段的监测视频；并按照时间前后顺序划分成第一监测视频、第二监测视频和第三监测视频；
步骤2，对所述第一监测视频的人眼状态为闭合的图像帧进行计数，包括：
步骤2.1，针对所述第一监测视频的每一帧图像进行人眼状态识别；
步骤2.2，统计所述第一监测视频的人眼状态为闭合的图像帧数目，得到第一闭眼帧数目；
步骤3，对所述第二监测视频的人眼状态为闭合的图像帧进行计数，包括：
步骤3.1，针对所述第二监测视频的每一帧图像进行人眼状态识别；
步骤3.2，统计所述第二监测视频的人眼状态为闭合的图像帧数目，得到第二闭眼帧数目；
步骤4，对所述第三监测视频的人眼状态为闭合的图像帧进行计数，包括：
步骤4.1，针对所述第三监测视频的每一帧图像进行人眼状态识别；
步骤4.2，统计所述第三监测视频的人眼状态为闭合的图像帧数目，得到第三闭眼帧数目；
步骤5，结合所述第一闭眼帧数目、所述第二闭眼帧数目和所述第三闭眼帧数目进行分析，得到驾驶员的疲劳状态；具体地，
计算L1=第二闭眼帧数目-第一闭眼帧数目；
计算L2=第三闭眼帧数目-第二闭眼帧数目；
当L2>L1，则表明驾驶员处于疲劳加剧的状态；
步骤6，根据所述驾驶员的疲劳状态，自动播放分级预警信息，完成主动安全辅助驾驶。
进一步地，所述步骤2.1，针对所述第一监测视频的每一帧图像进行人眼状态识别，具体包括：
步骤2.1.1，使用swin transformer深度学习模型对所述第一监测视频的当前帧图像进行自动人脸识别，作为第一人脸识别结果；
步骤2.1.2，基于卷积专家约束局部模型检测出所述第一人脸识别结果的人脸坐标；
步骤2.1.3，利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征；
步骤2.1.4，在ShuffleNet v1中加入CBAM注意力机制模块，具体是将CBAM注意力机制模块添加到ShuffleNet v1步长是1的基本单元模块里，以生成针对人眼图像集合分类的改进版ShuffleNet v1模型；
步骤2.1.5，将所述人眼轮廓特征和所述人眼位置对称特征进行融合，并将融合后的特征输入所述改进版ShuffleNet v1模型进行识别分类，得到当前帧图像的人眼状态。
进一步地，所述步骤3.1，针对所述第二监测视频的每一帧图像进行人眼状态识别，具体包括：
步骤3.1.1，使用swin transformer深度学习模型对所述第二监测视频的当前帧图像进行自动人脸识别，作为第二人脸识别结果；
步骤3.1.2，基于卷积专家约束局部模型检测出所述第二人脸识别结果的人脸坐标；
步骤3.1.3，利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征；
步骤3.1.4，将所述人眼轮廓特征和所述人眼位置对称特征进行融合，并将融合后的特征输入所述改进版ShuffleNet v1模型进行识别分类，得到当前帧图像的人眼状态。
进一步地，所述步骤4.1，针对所述第三监测视频的每一帧图像进行人眼状态识别，具体包括：
步骤4.1.1，使用swin transformer深度学习模型对所述第三监测视频的当前帧图像进行自动人脸识别，作为第三人脸识别结果；
步骤4.1.2，基于卷积专家约束局部模型检测出所述第三人脸识别结果的人脸坐标；
步骤4.1.3，利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征；
步骤4.1.4，将所述人眼轮廓特征和所述人眼位置对称特征进行融合，并将融合后的特征输入所述改进版ShuffleNet v1模型进行识别分类，得到当前帧图像的人眼状态。
进一步地，所述利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征，具体包括：
设置原点为鼻尖位置，X轴为横向、Y轴为纵向的人脸直角坐标系；
基于最小二乘法进行椭圆形眼睛轮廓拟合，利用拟合后的椭圆参数来表示所述人眼轮廓特征P；所述椭圆参数包括中心坐标点、椭圆的长轴P1、长轴相对于水平坐标的偏转角P2、椭圆的短轴P3以及短轴相对于垂直坐标的偏转角P4；
P=(P1,P2,P3,P4)；
将拟合后的左眼椭圆的中心坐标点（x1,y1）和右眼椭圆的中心坐标点（x2,y2）作为所述人眼位置对称特征Q；
Q=（x1,y1, x2,y2）；
所述将所述人眼轮廓特征和所述人眼位置对称特征进行融合，融合后的特征为：（）。
进一步地，还包括：
将所述第一闭眼帧数目、所述第二闭眼帧数目和所述第三闭眼帧数目分别与设定阈值进行比较，若均大于设定阈值，则表明驾驶员处于疲劳加剧的状态。
进一步地，还包括：
利用眼睛类训练数据集对所述改进版ShuffleNet v1模型进行迭代训练，得到训练好的ShuffleNet v1分类模型；对于给定的训练样本标签H和预测的标签h，通过如下公式来计算样本误差：
其中，T为样本标签的总个数；为可调节参数,Hi表示第i个训练样本标签，hi表示对应的第i个预测标签。
进一步地，所述步骤6，根据所述驾驶员的疲劳状态，自动播放分级预警信息，完成主动安全辅助驾驶，具体包括：
针对驾驶员的疲劳状态设置语音声量分级预警机制，并且在发出预警时主动打开车辆的双闪以提示周围行驶车辆注意避让。
第二方面，本发明还提供一种主动安全辅助驾驶系统，其特征在于，该系统包括：
获取监测视频模块，用于获取驾驶舱内连续的同一步长时间段的监测视频；并按照时间前后顺序划分成第一监测视频、第二监测视频和第三监测视频；
第一计数模块，用于对所述第一监测视频的人眼状态为闭合的图像帧进行计数，包括:
第一人眼状态识别模块，用于针对所述第一监测视频的每一帧图像进行人眼状态识别；
第一统计模块，用于统计所述第一监测视频的人眼状态为闭合的图像帧数目，得到第一闭眼帧数目；
第二计数模块，用于对所述第二监测视频的人眼状态为闭合的图像帧进行计数，包括:
第二人眼状态识别模块，用于针对所述第二监测视频的每一帧图像进行人眼状态识别；
第二统计模块，用于统计所述第二监测视频的人眼状态为闭合的图像帧数目，得到第二闭眼帧数目；
第三计数模块，用于对所述第三监测视频的人眼状态为闭合的图像帧进行计数，包括:
第三人眼状态识别模块，用于针对所述第三监测视频的每一帧图像进行人眼状态识别；
第三统计模块，用于统计所述第三监测视频的人眼状态为闭合的图像帧数目，得到第三闭眼帧数目；
结合分析模块，用于结合所述第一闭眼帧数目、所述第二闭眼帧数目和所述第三闭眼帧数目进行分析，得到驾驶员的疲劳状态；具体地，
计算L1=第二闭眼帧数目-第一闭眼帧数目；
计算L2=第三闭眼帧数目-第二闭眼帧数目；
当L2>L1，则表明驾驶员处于疲劳加剧的状态；
分级预警模块，用于根据所述驾驶员的疲劳状态，自动播放分级预警信息，完成主动安全辅助驾驶。
进一步地，所述第一人眼状态识别模块，用于针对所述第一监测视频的每一帧图像进行人眼状态识别，具体包括：
第一人脸识别模块，用于使用swin transformer深度学习模型对所述第一监测视频的当前帧图像进行自动人脸识别，作为第一人脸识别结果；
第一人脸坐标模块，用于基于卷积专家约束局部模型检测出所述第一人脸识别结果的人脸坐标；
第一提取模块，用于利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征；
改进模型模块，用于在ShuffleNet v1中加入CBAM注意力机制模块，具体是将CBAM注意力机制模块添加到ShuffleNet v1步长是1的基本单元模块里，以生成针对人眼图像集合分类的改进版ShuffleNet v1模型；
第一特征融合模块，用于将所述人眼轮廓特征和所述人眼位置对称特征进行融合，并将融合后的特征输入所述改进版ShuffleNet v1模型进行识别分类，得到当前帧图像的人眼状态。
进一步地，所述第二人眼状态识别模块，用于针对所述第二监测视频的每一帧图像进行人眼状态识别，具体包括：
第二人脸识别模块，用于使用swin transformer深度学习模型对所述第二监测视频的当前帧图像进行自动人脸识别，作为第二人脸识别结果；
第二人脸坐标模块，用于基于卷积专家约束局部模型检测出所述第二人脸识别结果的人脸坐标；
第二提取模块，用于利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征；
第二特征融合模块，用于将所述人眼轮廓特征和所述人眼位置对称特征进行融合，并将融合后的特征输入所述改进版ShuffleNet v1模型进行识别分类，得到当前帧图像的人眼状态。
进一步地，所述第三人眼状态识别模块，用于针对所述第三监测视频的每一帧图像进行人眼状态识别，具体包括：
第三人脸识别模块，用于使用swin transformer深度学习模型对所述第三监测视频的当前帧图像进行自动人脸识别，作为第三人脸识别结果；
第三人脸坐标模块，用于基于卷积专家约束局部模型检测出所述第三人脸识别结果的人脸坐标；
第三提取模块，用于利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征；
第三特征融合模块，用于将所述人眼轮廓特征和所述人眼位置对称特征进行融合，并将融合后的特征输入所述改进版ShuffleNet v1模型进行识别分类，得到当前帧图像的人眼状态。
进一步地，所述利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征，具体包括：
设置模块，用于设置原点为鼻尖位置，X轴为横向、Y轴为纵向的人脸直角坐标系；
椭圆轮廓拟合模块，用于基于最小二乘法进行椭圆形眼睛轮廓拟合，利用拟合后的椭圆参数来表示所述人眼轮廓特征P；所述椭圆参数包括中心坐标点、椭圆的长轴P1、长轴相对于水平坐标的偏转角P2、椭圆的短轴P3以及短轴相对于垂直坐标的偏转角P4；
P=(P1,P2,P3,P4)；
将拟合后的左眼椭圆的中心坐标点（x1,y1）和右眼椭圆的中心坐标点（x2,y2）作为所述人眼位置对称特征Q；
Q=（x1,y1, x2,y2）；
所述将所述人眼轮廓特征和所述人眼位置对称特征进行融合，融合后的特征为：（）。
进一步地，还包括：
比较模块，用于将所述第一闭眼帧数目、所述第二闭眼帧数目和所述第三闭眼帧数目分别与设定阈值进行比较，若均大于设定阈值，则表明驾驶员处于疲劳加剧的状态。
进一步地，还包括：
迭代模块，用于利用眼睛类训练数据集对所述改进版ShuffleNet v1模型进行迭代训练，得到训练好的ShuffleNet v1分类模型；对于给定的训练样本标签H和预测的标签h，通过如下公式来计算样本误差：
其中，T为样本标签的总个数；为可调节参数,Hi表示第i个训练样本标签，hi表示对应的第i个预测标签。
进一步地，还包括：
提示模块，用于针对驾驶员的疲劳状态设置语音声量分级预警机制，并且在发出预警时主动打开车辆的双闪以提示周围行驶车辆注意避让。
有益效果：
1. 本发明方法通过步骤1，获取驾驶舱内连续的同一步长时间段的监测视频；并按照时间前后顺序划分成第一监测视频、第二监测视频和第三监测视频；步骤2，对所述第一监测视频的人眼状态为闭合的图像帧进行计数；步骤3，对所述第二监测视频的人眼状态为闭合的图像帧进行计数；步骤4，对所述第三监测视频的人眼状态为闭合的图像帧进行计数；步骤5，结合第一闭眼帧数目、第二闭眼帧数目和第三闭眼帧数目进行分析，得到驾驶员的疲劳状态；步骤6，根据所述驾驶员的疲劳状态，自动播放分级预警信息，完成主动安全辅助驾驶。该方法通过swin transformer深度学习模型和ShuffleNet v1模型的相互结合，有效克服了干扰性和使用模型单一的缺陷，大大提高了驾驶员状态检测识别的效率，通过分析判断实现了分级报警和主动安全辅助驾驶的功能，从而起到及时提醒驾驶员，保障行车安全的作用。
2. 创新性的利用卷积专家约束局部模型（CE-CLM）检测出人脸坐标，并利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征；同时设计了基于最小二乘法进行椭圆形眼睛轮廓拟合；使得提取的特征更具代表性，抑制了无用的特征信息，为后续的分类任务奠定了基础，使得分类效果更好，有效提高了疲劳状态检测的准确度。
3. 本发明在ShuffleNet v1中加入CBAM注意力机制模块，具体是将CBAM注意力机制模块添加到ShuffleNet v1步长是1的基本单元模块里，以生成针对人眼图像集合分类的改进版ShuffleNet v1模型。通过注意力机制改进ShuffleNet v1模型，满足了算法的实时性要求，实现了模型准确率和处理速度的双向提升。
附图说明
图1为主动安全辅助驾驶方法的步骤示意图。
图2为在ShuffleNet v1中加入CBAM注意力机制模块的模型示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
如图1-图2所示，本实施例提供一种主动安全辅助驾驶方法，该方法包括：
步骤1，获取驾驶舱内连续的同一步长时间段的监测视频；并按照时间前后顺序划分成第一监测视频、第二监测视频和第三监测视频；
具体地，可以获取3秒的连续监控视频，按照1秒的步长将其平均分解成3段，第1秒的监测视频作为第一监测视频，第2秒的监测视频作为第二监测视频，第3秒的监测视频作为第三监测视频；
步骤2，对所述第一监测视频的人眼状态为闭合的图像帧进行计数；
步骤2.1，针对所述第一监测视频的每一帧图像进行人眼状态识别，具体包括：
步骤2.1.1，使用swin transformer深度学习模型对所述第一监测视频的当前帧图像进行自动人脸识别，作为第一人脸识别结果；
步骤2.1.2，基于卷积专家约束局部模型检测出所述第一人脸识别结果的人脸坐标；
步骤2.1.3，利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征；
步骤2.1.4，在ShuffleNet v1中加入CBAM注意力机制模块，具体是将CBAM注意力机制模块添加到ShuffleNet v1步长是1的基本单元模块里，以生成针对人眼图像集合分类的改进版ShuffleNet v1模型；
步骤2.1.5，将所述人眼轮廓特征和所述人眼位置对称特征进行融合，并将融合后的特征输入所述改进版ShuffleNet v1模型进行识别分类，得到当前帧图像的人眼状态；
步骤2.2，统计所述第一监测视频的人眼状态为闭合的图像帧数目，得到第一闭眼帧数目；
步骤3，对所述第二监测视频的人眼状态为闭合的图像帧进行计数；
步骤3.1，针对所述第二监测视频的每一帧图像进行人眼状态识别，具体包括：
步骤3.1.1，使用swin transformer深度学习模型对所述第二监测视频的当前帧图像进行自动人脸识别，作为第二人脸识别结果；
步骤3.1.2，基于卷积专家约束局部模型检测出所述第二人脸识别结果的人脸坐标；
步骤3.1.3，利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征；
步骤3.1.4，将所述人眼轮廓特征和所述人眼位置对称特征进行融合，并将融合后的特征输入所述改进版ShuffleNet v1模型进行识别分类，得到当前帧图像的人眼状态；
步骤3.2，统计所述第二监测视频的人眼状态为闭合的图像帧数目，得到第二闭眼帧数目；
步骤4，对所述第三监测视频的人眼状态为闭合的图像帧进行计数；
步骤4.1，针对所述第三监测视频的每一帧图像进行人眼状态识别，具体包括：
步骤4.1.1，使用swin transformer深度学习模型对所述第三监测视频的当前帧图像进行自动人脸识别，作为第三人脸识别结果；
步骤4.1.2，基于卷积专家约束局部模型检测出所述第三人脸识别结果的人脸坐标；
步骤4.1.3，利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征；
步骤4.1.4，将所述人眼轮廓特征和所述人眼位置对称特征进行融合，并将融合后的特征输入所述改进版ShuffleNet v1模型进行识别分类，得到当前帧图像的人眼状态；
步骤4.2，统计所述第三监测视频的人眼状态为闭合的图像帧数目，得到第三闭眼帧数目；
步骤5，结合所述第一闭眼帧数目、所述第二闭眼帧数目和所述第三闭眼帧数目进行分析，得到驾驶员的疲劳状态；具体地，
计算L1=第二闭眼帧数目-第一闭眼帧数目；
计算L2=第三闭眼帧数目-第二闭眼帧数目；
当L2>L1，则表明驾驶员处于疲劳加剧的状态；
具体地，通过该比较步骤，能够准确地识别出驾驶员的实时变化状态，大大提高了驾驶员状态检测的准确度。
步骤6，根据所述驾驶员的疲劳状态，自动播放分级预警信息，完成主动安全辅助驾驶。
在可选的实施方式中，所述利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征，具体包括：
设置原点为鼻尖位置，X轴为横向、Y轴为纵向的人脸直角坐标系；
基于最小二乘法进行椭圆形眼睛轮廓拟合，利用拟合后的椭圆参数来表示所述人眼轮廓特征P；所述椭圆参数包括中心坐标点、椭圆的长轴P1、长轴相对于水平坐标的偏转角P2、椭圆的短轴P3以及短轴相对于垂直坐标的偏转角P4；
P=(P1,P2,P3,P4)；
将拟合后的左眼椭圆的中心坐标点（x1,y1）和右眼椭圆的中心坐标点（x2,y2）作为所述人眼位置对称特征Q；
Q=（x1,y1, x2,y2）；
所述将所述人眼轮廓特征和所述人眼位置对称特征进行融合，融合后的特征为：（）。
在可选的实施方式中，还包括：
将所述第一闭眼帧数目、所述第二闭眼帧数目和所述第三闭眼帧数目分别与设定阈值进行比较，若均大于设定阈值，则表明驾驶员处于疲劳加剧的状态。
具体地,设定3个阈值时可以设定不一样的,也可以设定一样的,依据实际需求而定。
在可选的实施方式中，还包括：
利用眼睛类训练数据集对所述改进版ShuffleNet v1模型进行迭代训练，得到训练好的ShuffleNet v1分类模型；对于给定的训练样本标签H和预测的标签h，通过如下公式来计算样本误差：
其中，T为样本标签的总个数；为可调节参数,Hi表示第i个训练样本标签，hi表示对应的第i个预测标签。
在可选的实施方式中，还包括：所述步骤6，根据所述驾驶员的疲劳状态，自动播放分级预警信息，完成主动安全辅助驾驶，具体包括：
针对驾驶员的疲劳状态设置语音声量分级预警机制，并且在发出预警时主动打开车辆的双闪以提示周围行驶车辆注意避让。
基于相同的发明构思，本实施例提供一种主动安全辅助驾驶系统，该系统包括：
获取监测视频模块，用于获取驾驶舱内连续的同一步长时间段的监测视频；并按照时间前后顺序划分成第一监测视频、第二监测视频和第三监测视频；
具体地，可以获取3秒的连续监控视频，按照1秒的步长将其平均分解成3段，第1秒的监测视频作为第一监测视频，第2秒的监测视频作为第二监测视频，第3秒的监测视频作为第三监测视频；
第一计数模块，用于对所述第一监测视频的人眼状态为闭合的图像帧进行计数；
第一人眼状态识别模块，用于针对所述第一监测视频的每一帧图像进行人眼状态识别，具体包括：
第一人脸识别模块，用于使用swin transformer深度学习模型对所述第一监测视频的当前帧图像进行自动人脸识别，作为第一人脸识别结果；
第一人脸坐标模块，用于基于卷积专家约束局部模型检测出所述第一人脸识别结果的人脸坐标；
第一提取模块，用于利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征；
改进模型模块，用于在ShuffleNet v1中加入CBAM注意力机制模块，具体是将CBAM注意力机制模块添加到ShuffleNet v1步长是1的基本单元模块里，以生成针对人眼图像集合分类的改进版ShuffleNet v1模型；
第一特征融合模块，用于将所述人眼轮廓特征和所述人眼位置对称特征进行融合，并将融合后的特征输入所述改进版ShuffleNet v1模型进行识别分类，得到当前帧图像的人眼状态；
第一统计模块，用于统计所述第一监测视频的人眼状态为闭合的图像帧数目，得到第一闭眼帧数目；
第二计数模块，用于对所述第二监测视频的人眼状态为闭合的图像帧进行计数；
第二人眼状态识别模块，用于针对所述第二监测视频的每一帧图像进行人眼状态识别，具体包括：
第二人脸识别模块，用于使用swin transformer深度学习模型对所述第二监测视频的当前帧图像进行自动人脸识别，作为第二人脸识别结果；
第二人脸坐标模块，用于基于卷积专家约束局部模型检测出所述第二人脸识别结果的人脸坐标；
第二提取模块，用于利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征；
第二特征融合模块，用于将所述人眼轮廓特征和所述人眼位置对称特征进行融合，并将融合后的特征输入所述改进版ShuffleNet v1模型进行识别分类，得到当前帧图像的人眼状态；
第二统计模块，用于统计所述第二监测视频的人眼状态为闭合的图像帧数目，得到第二闭眼帧数目；
第三计数模块，用于对所述第三监测视频的人眼状态为闭合的图像帧进行计数；
第三人眼状态识别模块，用于针对所述第三监测视频的每一帧图像进行人眼状态识别，具体包括：
第三人脸识别模块，用于使用swin transformer深度学习模型对所述第三监测视频的当前帧图像进行自动人脸识别，作为第三人脸识别结果；
第三人脸坐标模块，用于基于卷积专家约束局部模型检测出所述第三人脸识别结果的人脸坐标；
第三提取模块，用于利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征；
第三特征融合模块，用于将所述人眼轮廓特征和所述人眼位置对称特征进行融合，并将融合后的特征输入所述改进版ShuffleNet v1模型进行识别分类，得到当前帧图像的人眼状态；
第三统计模块，用于统计所述第三监测视频的人眼状态为闭合的图像帧数目，得到第三闭眼帧数目；
结合分析模块，用于结合所述第一闭眼帧数目、所述第二闭眼帧数目和所述第三闭眼帧数目进行分析，得到驾驶员的疲劳状态；具体地，
计算L1=第二闭眼帧数目-第一闭眼帧数目；
计算L2=第三闭眼帧数目-第二闭眼帧数目；
当L2>L1，则表明驾驶员处于疲劳加剧的状态；
分级预警模块，用于根据所述驾驶员的疲劳状态，自动播放分级预警信息，完成主动安全辅助驾驶。
在可选的实施方式中，所述利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征，具体包括：
设置模块，用于设置原点为鼻尖位置，X轴为横向、Y轴为纵向的人脸直角坐标系；
椭圆轮廓拟合模块，用于基于最小二乘法进行椭圆形眼睛轮廓拟合，利用拟合后的椭圆参数来表示所述人眼轮廓特征P；所述椭圆参数包括中心坐标点、椭圆的长轴P1、长轴相对于水平坐标的偏转角P2、椭圆的短轴P3以及短轴相对于垂直坐标的偏转角P4；
P=(P1,P2,P3,P4)；
将拟合后的左眼椭圆的中心坐标点（x1,y1）和右眼椭圆的中心坐标点（x2,y2）作为所述人眼位置对称特征Q；
Q=（x1,y1, x2,y2）；
所述将所述人眼轮廓特征和所述人眼位置对称特征进行融合，融合后的特征为：（）。
在可选的实施方式中，还包括：
比较模块，用于将所述第一闭眼帧数目、所述第二闭眼帧数目和所述第三闭眼帧数目分别与设定阈值进行比较，若均大于设定阈值，则表明驾驶员处于疲劳加剧的状态。
在可选的实施方式中，还包括：
迭代模块，用于利用眼睛类训练数据集对所述改进版ShuffleNet v1模型进行迭代训练，得到训练好的ShuffleNet v1分类模型；对于给定的训练样本标签H和预测的标签h，通过如下公式来计算样本误差：
其中，T为样本标签的总个数；为可调节参数,Hi表示第i个训练样本标签，hi表示对应的第i个预测标签。
在可选的实施方式中，还包括：
提示模块，用于针对驾驶员的疲劳状态设置语音声量分级预警机制，并且在发出预警时主动打开车辆的双闪以提示周围行驶车辆注意避让。
本发明通过swin transformer深度学习模型和ShuffleNet v1模型的相互结合，有效克服了干扰性和使用模型单一的缺陷，大大提高了驾驶员状态检测识别的效率，通过分析判断实现了分级报警和主动安全辅助驾驶的功能，从而起到及时提醒驾驶员，保障行车安全的作用。

Claims (8)

1.一种主动安全辅助驾驶方法，其特征在于，该方法包括：
步骤1，获取驾驶舱内连续的同一步长时间段的监测视频；并按照时间前后顺序划分成第一监测视频、第二监测视频和第三监测视频；
步骤2，对所述第一监测视频的人眼状态为闭合的图像帧进行计数，包括：
步骤2.1，针对所述第一监测视频的每一帧图像进行人眼状态识别；具体包括：
步骤2.1.1，使用swin transformer深度学习模型对所述第一监测视频的当前帧图像进行自动人脸识别，作为第一人脸识别结果；
步骤2.1.2，基于卷积专家约束局部模型检测出所述第一人脸识别结果的人脸坐标；
步骤2.1.3，利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征；
步骤2.1.4，在ShuffleNet v1中加入CBAM注意力机制模块，具体是将CBAM注意力机制模块添加到ShuffleNet v1步长是1的基本单元模块里，以生成针对人眼图像集合分类的改进版ShuffleNet v1模型；
步骤2.1.5，将所述人眼轮廓特征和所述人眼位置对称特征进行融合，并将融合后的特征输入所述改进版ShuffleNet v1模型进行识别分类，得到当前帧图像的人眼状态；
步骤2.2，统计所述第一监测视频的人眼状态为闭合的图像帧数目，得到第一闭眼帧数目；
步骤3，对所述第二监测视频的人眼状态为闭合的图像帧进行计数，包括：
步骤3.1，针对所述第二监测视频的每一帧图像进行人眼状态识别；具体包括：
步骤3.1.1，使用swin transformer深度学习模型对所述第二监测视频的当前帧图像进行自动人脸识别，作为第二人脸识别结果；
步骤3.1.2，基于卷积专家约束局部模型检测出所述第二人脸识别结果的人脸坐标；
步骤3.1.3，利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征；
步骤3.1.4，将所述人眼轮廓特征和所述人眼位置对称特征进行融合，并将融合后的特征输入所述改进版ShuffleNet v1模型进行识别分类，得到当前帧图像的人眼状态；
步骤3.2，统计所述第二监测视频的人眼状态为闭合的图像帧数目，得到第二闭眼帧数目；
步骤4，对所述第三监测视频的人眼状态为闭合的图像帧进行计数，包括：
步骤4.1，针对所述第三监测视频的每一帧图像进行人眼状态识别；具体包括：
步骤4.1.1，使用swin transformer深度学习模型对所述第三监测视频的当前帧图像进行自动人脸识别，作为第三人脸识别结果；
步骤4.1.2，基于卷积专家约束局部模型检测出所述第三人脸识别结果的人脸坐标；
步骤4.1.3，利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征；
步骤4.1.4，将所述人眼轮廓特征和所述人眼位置对称特征进行融合，并将融合后的特征输入所述改进版ShuffleNet v1模型进行识别分类，得到当前帧图像的人眼状态；
步骤4.2，统计所述第三监测视频的人眼状态为闭合的图像帧数目，得到第三闭眼帧数目；
步骤5，结合所述第一闭眼帧数目、所述第二闭眼帧数目和所述第三闭眼帧数目进行分析，得到驾驶员的疲劳状态；具体地，
计算L1＝第二闭眼帧数目-第一闭眼帧数目；
计算L2＝第三闭眼帧数目-第二闭眼帧数目；
当L2>L1，则表明驾驶员处于疲劳加剧的状态；
步骤6，根据所述驾驶员的疲劳状态，自动播放分级预警信息，完成主动安全辅助驾驶；
所述利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征，具体包括：
设置原点为鼻尖位置，X轴为横向、Y轴为纵向的人脸直角坐标系；
基于最小二乘法进行椭圆形眼睛轮廓拟合，利用拟合后的椭圆参数来表示所述人眼轮廓特征P；所述椭圆参数包括中心坐标点、椭圆的长轴P1、长轴相对于水平坐标的偏转角P2、椭圆的短轴P3以及短轴相对于垂直坐标的偏转角P4；
P＝(P1,P2,P3,P4)；
将拟合后的左眼椭圆的中心坐标点(x1,y1)和右眼椭圆的中心坐标点(x2,y2)作为所述人眼位置对称特征Q；
Q＝(x1,y1,x2,y2)；
所述将所述人眼轮廓特征和所述人眼位置对称特征进行融合，融合后的特征为：(P∪Q)。
2.根据权利要求1所述的方法，其特征在于，还包括：
将所述第一闭眼帧数目、所述第二闭眼帧数目和所述第三闭眼帧数目分别与设定阈值进行比较，若均大于设定阈值，则表明驾驶员处于疲劳加剧的状态。
3.根据权利要求1所述的方法，其特征在于，还包括：
利用眼睛类训练数据集对所述改进版ShuffleNet v1模型进行迭代训练，得到训练好的ShuffleNet v1分类模型；对于给定的训练样本标签H和预测的标签h，通过如下公式来计算样本误差：
其中，T为样本标签的总个数；β为可调节参数,Hi表示第i个训练样本标签，hi表示对应的第i个预测标签。
4.根据权利要求1所述的方法，其特征在于，所述步骤6，根据所述驾驶员的疲劳状态，自动播放分级预警信息，完成主动安全辅助驾驶，具体包括：
针对驾驶员的疲劳状态设置语音声量分级预警机制，并且在发出预警时主动打开车辆的双闪以提示周围行驶车辆注意避让。
5.一种主动安全辅助驾驶系统，其特征在于，该系统包括：
获取监测视频模块，用于获取驾驶舱内连续的同一步长时间段的监测视频；并按照时间前后顺序划分成第一监测视频、第二监测视频和第三监测视频；
第一计数模块，用于对所述第一监测视频的人眼状态为闭合的图像帧进行计数，包括:
第一人眼状态识别模块，用于针对所述第一监测视频的每一帧图像进行人眼状态识别；具体包括：
第一人脸识别模块，用于使用swin transformer深度学习模型对所述第一监测视频的当前帧图像进行自动人脸识别，作为第一人脸识别结果；
第一人脸坐标模块，用于基于卷积专家约束局部模型检测出所述第一人脸识别结果的人脸坐标；
第一提取模块，用于利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征；
改进模型模块，用于在ShuffleNet v1中加入CBAM注意力机制模块，具体是将CBAM注意力机制模块添加到ShuffleNet v1步长是1的基本单元模块里，以生成针对人眼图像集合分类的改进版ShuffleNet v1模型；
第一特征融合模块，用于将所述人眼轮廓特征和所述人眼位置对称特征进行融合，并将融合后的特征输入所述改进版ShuffleNet v1模型进行识别分类，得到当前帧图像的人眼状态；
第一统计模块，用于统计所述第一监测视频的人眼状态为闭合的图像帧数目，得到第一闭眼帧数目；
第二计数模块，用于对所述第二监测视频的人眼状态为闭合的图像帧进行计数，包括:
第二人眼状态识别模块，用于针对所述第二监测视频的每一帧图像进行人眼状态识别；具体包括：
第二人脸识别模块，用于使用swin transformer深度学习模型对所述第二监测视频的当前帧图像进行自动人脸识别，作为第二人脸识别结果；
第二人脸坐标模块，用于基于卷积专家约束局部模型检测出所述第二人脸识别结果的人脸坐标；
第二提取模块，用于利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征；
第二特征融合模块，用于将所述人眼轮廓特征和所述人眼位置对称特征进行融合，并将融合后的特征输入所述改进版ShuffleNet v1模型进行识别分类，得到当前帧图像的人眼状态；
第二统计模块，用于统计所述第二监测视频的人眼状态为闭合的图像帧数目，得到第二闭眼帧数目；
第三计数模块，用于对所述第三监测视频的人眼状态为闭合的图像帧进行计数，包括:
第三人眼状态识别模块，用于针对所述第三监测视频的每一帧图像进行人眼状态识别；具体包括：
第三人脸识别模块，用于使用swin transformer深度学习模型对所述第三监测视频的当前帧图像进行自动人脸识别，作为第三人脸识别结果；
第三人脸坐标模块，用于基于卷积专家约束局部模型检测出所述第三人脸识别结果的人脸坐标；
第三提取模块，用于利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征；
第三特征融合模块，用于将所述人眼轮廓特征和所述人眼位置对称特征进行融合，并将融合后的特征输入所述改进版ShuffleNet v1模型进行识别分类，得到当前帧图像的人眼状态；
第三统计模块，用于统计所述第三监测视频的人眼状态为闭合的图像帧数目，得到第三闭眼帧数目；
结合分析模块，用于结合所述第一闭眼帧数目、所述第二闭眼帧数目和所述第三闭眼帧数目进行分析，得到驾驶员的疲劳状态；具体地，
计算L1＝第二闭眼帧数目-第一闭眼帧数目；
计算L2＝第三闭眼帧数目-第二闭眼帧数目；
当L2>L1，则表明驾驶员处于疲劳加剧的状态；
分级预警模块，用于根据所述驾驶员的疲劳状态，自动播放分级预警信息，完成主动安全辅助驾驶；
所述利用人脸坐标的对称特性和几何轮廓特征提取出人眼轮廓特征和人眼位置对称特征，具体包括：
设置模块，用于设置原点为鼻尖位置，X轴为横向、Y轴为纵向的人脸直角坐标系；
椭圆轮廓拟合模块，用于基于最小二乘法进行椭圆形眼睛轮廓拟合，利用拟合后的椭圆参数来表示所述人眼轮廓特征P；所述椭圆参数包括中心坐标点、椭圆的长轴P1、长轴相对于水平坐标的偏转角P2、椭圆的短轴P3以及短轴相对于垂直坐标的偏转角P4；
P＝(P1,P2,P3,P4)；
将拟合后的左眼椭圆的中心坐标点(x1,y1)和右眼椭圆的中心坐标点(x2,y2)作为所述人眼位置对称特征Q；
Q＝(x1,y1,x2,y2)；
所述将所述人眼轮廓特征和所述人眼位置对称特征进行融合，融合后的特征为：(P∪Q)。
6.根据权利要求5所述的系统，其特征在于，还包括：
比较模块，用于将所述第一闭眼帧数目、所述第二闭眼帧数目和所述第三闭眼帧数目分别与设定阈值进行比较，若均大于设定阈值，则表明驾驶员处于疲劳加剧的状态。
7.根据权利要求5所述的系统，其特征在于，还包括：
迭代模块，用于利用眼睛类训练数据集对所述改进版ShuffleNet v1模型进行迭代训练，得到训练好的ShuffleNet v1分类模型；对于给定的训练样本标签H和预测的标签h，通过如下公式来计算样本误差：
其中，T为样本标签的总个数；β为可调节参数,Hi表示第i个训练样本标签，hi表示对应的第i个预测标签。
8.根据权利要求5所述的系统，其特征在于，还包括：
提示模块，用于针对驾驶员的疲劳状态设置语音声量分级预警机制，并且在发出预警时主动打开车辆的双闪以提示周围行驶车辆注意避让。
CN202310434594.6A 2023-04-21 2023-04-21 一种主动安全辅助驾驶方法及系统 Active CN116168374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310434594.6A CN116168374B (zh) 2023-04-21 2023-04-21 一种主动安全辅助驾驶方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310434594.6A CN116168374B (zh) 2023-04-21 2023-04-21 一种主动安全辅助驾驶方法及系统

Publications (2)

Publication Number Publication Date
CN116168374A CN116168374A (zh) 2023-05-26
CN116168374B true CN116168374B (zh) 2023-12-12

Family

ID=86416626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310434594.6A Active CN116168374B (zh) 2023-04-21 2023-04-21 一种主动安全辅助驾驶方法及系统

Country Status (1)

Country Link
CN (1) CN116168374B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980057841A (ko) * 1996-12-30 1998-09-25 박병재 운전자 졸음 경보장치
CN107292251A (zh) * 2017-06-09 2017-10-24 湖北天业云商网络科技有限公司 一种基于人眼状态的驾驶员疲劳检测方法及系统
CN109902560A (zh) * 2019-01-15 2019-06-18 浙江师范大学 一种基于深度学习的疲劳驾驶预警方法
KR20190083155A (ko) * 2018-01-03 2019-07-11 한국전자통신연구원 운전자 상태 검출 장치 및 그 방법
CN110097012A (zh) * 2019-05-06 2019-08-06 苏州国科视清医疗科技有限公司 基于N-range图像处理算法的眼动参数监测的疲劳检测方法
CN110245574A (zh) * 2019-05-21 2019-09-17 平安科技（深圳）有限公司 一种用户疲劳状态识别方法、装置及终端设备
CN111008591A (zh) * 2019-12-04 2020-04-14 江西洪都航空工业集团有限责任公司 利用视频检测人脸精细状态的方法
CN111191573A (zh) * 2019-12-27 2020-05-22 中国电子科技集团公司第十五研究所 一种基于眨眼规律识别的驾驶员疲劳检测方法
CN112258813A (zh) * 2020-09-03 2021-01-22 北京蜂云科创信息技术有限公司 一种车辆主动安全控制方法和设备
WO2021068256A1 (zh) * 2019-10-12 2021-04-15 深圳海付移通科技有限公司 缓解眼疲劳方法及智能终端
CN113140093A (zh) * 2021-04-26 2021-07-20 贵阳职业技术学院 一种基于AdaBoost算法的疲劳驾驶检测方法
CN113901866A (zh) * 2021-08-24 2022-01-07 浙江迪嘉智能技术有限公司 一种机器视觉的疲劳驾驶预警方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980057841A (ko) * 1996-12-30 1998-09-25 박병재 운전자 졸음 경보장치
CN107292251A (zh) * 2017-06-09 2017-10-24 湖北天业云商网络科技有限公司 一种基于人眼状态的驾驶员疲劳检测方法及系统
KR20190083155A (ko) * 2018-01-03 2019-07-11 한국전자통신연구원 운전자 상태 검출 장치 및 그 방법
CN109902560A (zh) * 2019-01-15 2019-06-18 浙江师范大学 一种基于深度学习的疲劳驾驶预警方法
CN110097012A (zh) * 2019-05-06 2019-08-06 苏州国科视清医疗科技有限公司 基于N-range图像处理算法的眼动参数监测的疲劳检测方法
CN110245574A (zh) * 2019-05-21 2019-09-17 平安科技（深圳）有限公司 一种用户疲劳状态识别方法、装置及终端设备
WO2021068256A1 (zh) * 2019-10-12 2021-04-15 深圳海付移通科技有限公司 缓解眼疲劳方法及智能终端
CN111008591A (zh) * 2019-12-04 2020-04-14 江西洪都航空工业集团有限责任公司 利用视频检测人脸精细状态的方法
CN111191573A (zh) * 2019-12-27 2020-05-22 中国电子科技集团公司第十五研究所 一种基于眨眼规律识别的驾驶员疲劳检测方法
CN112258813A (zh) * 2020-09-03 2021-01-22 北京蜂云科创信息技术有限公司 一种车辆主动安全控制方法和设备
CN113140093A (zh) * 2021-04-26 2021-07-20 贵阳职业技术学院 一种基于AdaBoost算法的疲劳驾驶检测方法
CN113901866A (zh) * 2021-08-24 2022-01-07 浙江迪嘉智能技术有限公司 一种机器视觉的疲劳驾驶预警方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种车载疲劳驾驶检测方法;任强等;信息通信(第12期);全文 *

Also Published As

Publication number Publication date
CN116168374A (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
Ramzan et al. A survey on state-of-the-art drowsiness detection techniques
CN101593425B (zh) 一种基于机器视觉的疲劳驾驶监控方法及系统
CN104616438B (zh) 一种用于疲劳驾驶检测的打哈欠动作检测方法
CN103479367B (zh) 一种基于面部运动单元识别的驾驶员疲劳检测方法
CN104688251A (zh) 一种多姿态下的疲劳及非正常姿态驾驶检测方法
CN110811649A (zh) 一种基于生物电及行为特征融合的疲劳驾驶检测方法
CN108108651B (zh) 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统
Pech et al. Head tracking based glance area estimation for driver behaviour modelling during lane change execution
CN109543577A (zh) 一种基于面部表情特征的疲劳驾驶检测预警方法
CN106408877A (zh) 一种轨道交通驾驶员疲劳状态监测方法
CN112949345A (zh) 疲劳监测方法及系统、行车记录仪和智能座舱
CN115937830A (zh) 一种面向特种车辆的驾驶员疲劳检测方法
CN115937928A (zh) 基于多视觉特征融合的学习状态监测方法及系统
CN114220158A (zh) 基于深度学习的疲劳驾驶检测方法
Wang et al. A real-time driver fatigue identification method based on GA-GRNN
CN116168374B (zh) 一种主动安全辅助驾驶方法及系统
CN111104817A (zh) 一种基于深度学习的疲劳检测方法
CN112926364A (zh) 头部姿态的识别方法及系统、行车记录仪和智能座舱
Pachouly et al. Driver Drowsiness Detection using Machine Learning
CN115861982A (zh) 一种基于监控摄像头的驾驶疲劳实时检测方法及系统
CN114792437A (zh) 一种基于面部特征的安全驾驶行为分析的方法及系统
CN113602280B (zh) 一种驾驶员状态监测方法、装置及系统
CN203677103U (zh) 一种基于红外检测技术的ccd摄像头
Subbaiah et al. Driver drowsiness detection methods: A comprehensive survey
Hu et al. Comprehensive driver state recognition based on deep learning and PERCLOS criterion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant