CN112289003A - 疲劳驾驶不端驾驶行为监测方法及主动安全驾驶监控系统 - Google Patents

疲劳驾驶不端驾驶行为监测方法及主动安全驾驶监控系统 Download PDF

Info

Publication number
CN112289003A
CN112289003A CN202011146422.1A CN202011146422A CN112289003A CN 112289003 A CN112289003 A CN 112289003A CN 202011146422 A CN202011146422 A CN 202011146422A CN 112289003 A CN112289003 A CN 112289003A
Authority
CN
China
Prior art keywords
driver
sight
hands
sight line
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011146422.1A
Other languages
English (en)
Other versions
CN112289003B (zh
Inventor
刘卫东
吴方义
王爱春
黄少堂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangling Motors Corp Ltd
Original Assignee
Jiangling Motors Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangling Motors Corp Ltd filed Critical Jiangling Motors Corp Ltd
Priority to CN202011146422.1A priority Critical patent/CN112289003B/zh
Publication of CN112289003A publication Critical patent/CN112289003A/zh
Application granted granted Critical
Publication of CN112289003B publication Critical patent/CN112289003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network

Abstract

本发明涉及车辆安全驾驶主动或辅助防护方法及系统。一种基于视线追踪技术的驾驶员疲劳驾驶及不端驾驶行为监测方法，采用稳定视线算法和精确视线追踪算法融合方案：采集人脸数据,定位图像中人脸信息；对驾驶员头部姿态持续检测，数据库人脸数据对比，确认真实人脸；采用稳定视算线法定位图像中特征点，自适应建立头部3D模型，确定驾驶员行为、头部朝向、视线朝向、眼部状态；精确视线追踪算法采用亮瞳和暗瞳相结合的角膜反射法得到驾驶员精确视线；根据头部姿态、视线朝向确定驾驶员分神程度，进一步确定允许驾驶员脱手时长。一种主动安全驾驶监控系统，包括驾驶员人脸检测模块、前视单目摄像头、DMS控制模块、人机交互系统、T‑box车载网络通讯终端。

Description

疲劳驾驶不端驾驶行为监测方法及主动安全驾驶监控系统
技术领域
本发明涉及车辆安全驾驶主动防护或辅助措施，尤其是涉及一种汽车驾驶员疲劳以及驾驶不端行为的预警监控报警和高级别驾驶辅助功能脱手时间的策略。
背景技术
随着汽车保有量的不断提高和公路运输行业的发展，交通事故发生的频率次数也不断上升，据交通部的统计数据显示，2016年全国共发生道路交通事故16.5万起，造成5.18万人死亡、59.9万人受伤，交通事故发生的主要原因是驾驶员违规驾驶和疲劳驾驶。对于长距离驾驶的货运司机、大巴车司机和网约车司机等,经常会遇到抽烟、接打电话、收发短信、操作中控屏调节空调等短暂脱离方向盘的行为，脱离方向盘驾驶车辆非常危险，极易发生交通事故。为减少事故的发生，交通部门在近几年相继出台了相应的法律法规，其中对两客一危一卡等车辆的监管尤为严格，要求必须安装驾驶辅助功能和车载视频终端，前者是减少事故的发生，后者是在事故发生时记录车辆以及环境信息。目前市面上两者都还是不同的产品，各行其责。例如中国专利CN106652356.B和CN105726046.B，仅仅介绍了一种驾驶员疲劳检测的方法和对该功能检测的几种驾驶员注意力不集中或疲劳状态做了简单的描述；中国专利 CN105354988.B，介绍了一种在车内安装带蓝牙传输功能的摄像头，在手机内安装对应的APP 软件，来实现对驾驶员的疲劳监控。蓝牙传输会受到距离和传输速度的限制，不能传输到后台监控和驾驶行为分析，同时也不能进行视频数据的上传，也不能达到车规级。
即使现在已经量产的L2以及以上ADAS功能中，系统容许驾驶员短暂脱手，也没有结合驾驶员的视线和疲劳程度细化脱手的时间，容易出现驾驶员视线已经脱离行驶方向等分神危险驾驶，系统还会容许驾驶脱手的情况。同时，现有脱手检测是EPS(电子助力转向系统) 通过扭矩传感器检测驾驶员是否手握方向盘，这种方式需要设置合理的手握方向盘的力矩参数，否则容易产生漏报警和误报警。再者，目前的脱手检测装置没有结合驾驶员视线追踪，仅是优化脱手参数阈值或者方向盘贴片检测技术,检测精度较低,成本较高。例如中国专利CN 110275608A介绍了根据函数关系获取目标人眼特征对应的参考位置下的人眼特征，根据目标人眼特征对应的参考位置下的人眼特征获取未知视线位置，只是定位视线的位置，不够精确；中国专利CN 111401130 A提出了一种基于连续头部姿势估计的驾驶员分神检测方法，根据头部姿势判断分神状态，不能区分分神程度；中国专利CN109050397.A仅介绍了一种驾驶员脱离方向盘的警示装置，检测驾驶员脱离方向盘的时间并与时间阈值比较，来判断是否脱手；中国专利CN 110293969 A介绍了一种车辆在自适应巡航驾驶状态时驾驶员脱手的方法，此方法车辆需要处于自适应巡航模式，依靠ADAS地图获取道路信息，成本高且限定使用场景。
发明内容
本发明针对现有技术不足，提出一种基于视线追踪技术的驾驶员疲劳驾驶及不端驾驶行为监测方法，并基于前述方法，提出一种主动安全驾驶监控系统。
驾驶员视线追踪方法能对驾驶员的视线和活体进行有效判定，预测驾驶员不同的分神程度，进一步应用在自动驾驶的驾驶员脱手时间的判断上，能更好作用于DMS系统以及高级别的智能驾驶系统。
主动安全报警监控终端具备行车记录仪、卫星定位、车载视频监控、高级驾驶辅助、驾驶员状态监测等DMS系统常规功能，并支持与其他车载电子设备进行通信，提供主动安全智能防控平台所需信息的车载设备。
本发明采用的技术方案：
一种基于视线追踪技术的驾驶员疲劳驾驶及不端驾驶行为监测方法，通过摄像头采集车内外和驾驶员人脸数据，并输入给控制器执行，检测驾驶员的分神程度进一步完成脱手时间判断，采用稳定视线算法和精确视线追踪算法融合方案，以全面的覆盖不同的应用场景；具体步骤如下：
1)利用人脸检测模块采集驾驶员人脸数据获取红外图像,定位图像中的人脸信息；
2)根据所述红外图像定位的人脸信息，对驾驶员头部姿态持续检测，与数据库人脸数据对比，确认真实人脸；
3)采用所述稳定视算线法准确定位图像中的特征点，自适应建立头部3D模型，确定驾驶员行为、头部朝向、视线朝向、眼部状态并将其结果输出；
4)所述精确视线追踪算法，采用亮瞳和暗瞳相结合的角膜反射法得到驾驶员的精确视线；
5)根据所述头部姿态、视线朝向确定驾驶员分神程度，进一步确定允许驾驶员脱手的时长。
所述的基于视线追踪技术的驾驶员疲劳驾驶及不端驾驶行为监测方法，所述精确视线追踪法在初始标定的时候则同时使用亮瞳和暗瞳进行标定，在后续实际场景中，算法可以匹配亮瞳和暗瞳的场景实时切换匹配算法以提高精度；通过定位瞳孔外缘的中心和角膜虚拟球体的中心相结合，则能够输出驾驶员的视线朝向。
所述的基于视线追踪技术的驾驶员疲劳驾驶及不端驾驶行为监测方法，采用稳定视线算法定位面部68个特征点，自适应建立头部3D模型，从而得到头部的姿态确定头部的朝向，进一步得到瞳孔的中心位置。
所述的基于视线追踪技术的驾驶员疲劳驾驶及不端驾驶行为监测方法，通过监控驾驶员的视线和注意力，对驾驶员脱手时间进行判断判断：
根据车辆结构，将跟踪眼球得到的驾驶员视野分为12个区域，再根据危险等级分为5个允许驾驶员不同脱手时长的等级；等级1为驾驶员正前方，表明驾驶员正在全部监控车辆，此时可以允许驾驶员长时间脱手；等级2表明驾驶员出现轻微的分神，可以允许驾驶员脱手 60s，60s内会对驾驶员进行阶段性的脱手提醒，提示驾驶员注视前方；等级3表明驾驶员出现中度分神，可以允许驾驶员脱手30s，30s内会对驾驶员进行阶段性的脱手提醒，提示驾驶员注视前方；等级4表明驾驶员出现重度分神，可以允许驾驶员脱手20s，20s内会对驾驶员进行阶段性的脱手提醒，提示驾驶员注视前方；除以上区域外的都为等级5，等级5表明驾驶员完全没有监控车辆，系统会立即提醒驾驶员接管车辆，如果5s没有接管，会退出自动驾驶功能。
高级别智能驾驶功能允许驾驶员脱手，脱手的判断有两种：一是通过EPS(电子助力转向系统)的扭矩传感器检测驾驶员手力矩的大小，来判断驾驶员是否手握方向盘；二是通过在方向盘中装置手力传感器，直接检测驾驶员施加在方向盘上的手力矩大小，来判断驾驶员是否手握方向盘。但不同级别的自动驾驶功能，要求不同的脱手时间。本专利就是通过监控驾驶员的视线和注意力，来限定脱手时间，使功能更人性化和更安全。
一种主动安全驾驶监控系统，包括驾驶员人脸检测模块、前视单目摄像头、DMS控制模块、人机交互系统、T-box车载网络通讯终端，所述人脸检测模块采用人脸检测监控摄像头采集驾驶员人脸数据获取红外图像,定位图像中的人脸信息；
所述人脸检测监控摄像头和前视单目摄像头输出信号连接DMS控制模块；所述DMS控制模块输出信号连接车载仪表；
在所述DMS控制模块中设置驾驶员疲劳驾驶及不端驾驶行为监测模块，基于采集到车内外和驾驶员人脸数据，执行基于追踪技术的驾驶员疲劳驾驶及不端驾驶行为监测方法，对驾驶员的视线和活体进行有效判定，预测驾驶员不同的分神程度，自动判断驾驶员的脱手时间，提供主动安全智能防控预警及措施。
所述的主动安全驾驶监控系统，含有云平台(云端服务器)及监控平台，T-box车载网络通讯终端内置4G/5G网卡，通过以太网将信息传递给监控平台或手机APP。
发明有益效果：
1、本发明基于视线追踪技术的驾驶员疲劳驾驶及不端驾驶行为监测方法，采用基于视线追踪技术的驾驶员脱手时间判断方法，利用亮瞳和暗瞳相结合的原理精确追踪眼球，定位驾驶员视线朝向，应用在驾驶员脱手时长的检测上，既可以精确判断驾驶员分神程度又可以在一定程度上缓解驾驶员疲劳，避免了驾驶员脱手报警漏报、误报、频繁介入的问题。
2、本发明主动安全驾驶监控系统，不仅能满足现有的DMS基本功能，还增加了视频记录和上传到云端的功能，通过上传到后台监管平台，可以对驾驶员的驾驶行为和车况进行实时的监管，并能在危险情况下拍摄、保存和上传事故发生前后10S的视频和图片信息，以及车辆自身的状态信息，便于事后分析事故原因。
3、根据本发明提供的基于视线追踪技术的驾驶员疲劳驾驶及不端驾驶行为监测方法和主动安全驾驶监控系统，在Simulink中编写应用层模型，配合在控制器底层配置好的I/O接口，即可根据驾驶员驾驶和交通环境的实际情况，输出对驾驶员疲劳报警和车内外视频给平台进行监控。
附图说明
图1为驾驶员疲劳检测监控系统框图；
图2为DMS系统功能检测流程图；
图3眼睛结构示意图；
图4为亮瞳原理图；
图5为暗瞳原理图；
图6为驾驶员视野分区图；
图7为脱手时长判断逻辑图。
具体实施方式
下面通过具体实施方式，对本发明技术方案做进一步的详细描述。
实施例1
参见图1-图2，本发明基于视线追踪技术的驾驶员疲劳驾驶及不端驾驶行为监测方法，采集车内外和驾驶员人脸数据，并输入给控制器执行，检测驾驶员的分神程度进一步完成脱手时间判断，其与现有技术不同的是：采用稳定视线算法和精确视线追踪算法融合方案，以全面的覆盖不同的应用场景；具体步骤如下：
1)利用人脸检测模块采集驾驶员人脸数据获取红外图像,定位图像中的人脸信息；
2)根据所述红外图像定位的人脸信息，对驾驶员头部姿态持续检测，与数据库人脸数据对比，确认真实人脸；
3)采用所述稳定视算线法准确定位图像中的特征点，自适应建立头部3D模型，确定驾驶员行为、头部朝向、视线朝向、眼部状态并将其结果输出；
4)所述精确视线追踪算法，采用亮瞳和暗瞳相结合的角膜反射法得到驾驶员的精确视线；
5)根据所述头部姿态、视线朝向确定驾驶员分神程度，进一步确定允许驾驶员脱手的时长。
实施例2
本实施例基于视线追踪技术的驾驶员疲劳驾驶及不端驾驶行为监测方法，与实施例1不同的是，进一步的：所述精确视线追踪法在初始标定的时候则同时使用亮瞳和暗瞳进行标定，在后续实际场景中，算法可以匹配亮瞳和暗瞳的场景实时切换匹配算法以提高精度；通过定位瞳孔外缘的中心和角膜虚拟球体的中心相结合，则能够输出驾驶员的视线朝向。
所述的基于视线追踪技术的驾驶员疲劳驾驶及不端驾驶行为监测方法，采用稳定视线算法定位面部68个特征点，自适应建立头部3D模型，从而得到头部的姿态确定头部的朝向，进一步得到瞳孔的中心位置。
实施例3
参加图1-图7，本发明视线追踪采用稳定视线和精确视线融合方案，以更全面的覆盖不同的应用场景。稳定视线是定位面部68个特征点后，自适应建立头部3D模型，从而得到头部的姿态确定头部的朝向，进一步得到瞳孔的中心位置。精确视线是采用亮瞳和暗瞳相结合的角膜反射法得到驾驶员的精确视线。
角膜反射法原理如下：当红外补光灯照射人眼时，眼角膜类似于一个凸面镜，光源经过凸面镜的反射形成一个亮斑。通过光斑的位置则可以算出精确的角膜虚拟球心，如图3所示；
在角膜反射法中，由于驾驶员的视线的不同，从而红外补光灯的入射角度的不同。因红外补光灯的入射角的不同，则会造成亮瞳和暗瞳两种现象。
亮瞳：当光源与成像装置的视轴相近时，则会有亮瞳现象，如图4所示。
暗瞳：当光源与成像装置视轴较远时，则会有暗瞳孔现象，如图5所示。
精确视线追踪法在初始标定的时候则同时使用亮瞳和暗瞳进行标定，在后续实际场景中，算法可以匹配亮瞳和暗瞳的场景实时切换匹配算法以提高精度。通过定位瞳孔外缘的中心和角膜虚拟球体的中心相结合，则能够输出驾驶员的视线朝向。
本发明专利提出的驾驶员视线追踪的方法，可以将DMS系统进一步应用在自动驾驶的驾驶员脱手时间的判断上。在L2.5+以上的自动驾驶中，通过DMS系统判断驾驶员的视线，输入给自动驾驶域控制器，作为判断允许驾驶员脱手时长的条件。我们根据车辆结构(以左盘车为例)，将跟踪眼球得到的驾驶员视野分为12个区域，如图6所示,在根据危险等级分为5 个允许驾驶员不同脱手时长的等级。等级1为驾驶员正前方，表明驾驶员正在全部监控车辆，此时可以允许驾驶员长时间脱手；等级2表明驾驶员出现轻微的分神，可以允许驾驶员脱手60s，60s内会对驾驶员进行阶段性的脱手提醒，提示驾驶员注视前方；等级3表明驾驶员出现中度分神，可以允许驾驶员脱手30s，30s内会对驾驶员进行阶段性的脱手提醒，提示驾驶员注视前方；等级4表明驾驶员出现重度分神，可以允许驾驶员脱手20s，20s内会对驾驶员进行阶段性的脱手提醒，提示驾驶员注视前方；除以上区域外的都为等级5，等级5表明驾驶员完全没有监控车辆，系统会立即提醒驾驶员接管车辆，如果5s没有接管，会退出自动驾驶功能。
实施例4
本实施例基于视线追踪技术的驾驶员疲劳驾驶及不端驾驶行为监测方法，与实施例3不同的是，进一步的：以下以视线在2区为例说明脱手策略。
当前视线在2区，上一时刻视线可能在1、3、4、5区。
如果视线是从另一个2区到当前2区，且停留10个CAN信号周期(每个CAN信号周期可为30～60ms，本实施例信号周期为50ms，10个周期500ms)及以上，则认为视线稳定在2区，系统可以允许脱手60s；如果停留时间小于500ms，则认为视线只是从这个2区经过，最终目标可能是1、3、4、5区或除当前2区以外的其它2区。然后判断最终目标是否是2区，是2区就回到流程开始，从新分析上一时刻视线是在1、2、3、4或5区；如果最终目标是1、 3、4、5区，那么进入对应的脱手策略判断流程(类似示例2区脱手策略)。
如果视线是从1区到2区，且总计停留时间不小于500ms，则认为视线稳定在2区，系统可以允许脱手60s；如果停留时间小于500ms，则认为视线只是从2区经过，最终目标可能是1、3、4、5区或另外一个2区。然后判断最终目标是否是2区，是2区就回到流程开始，从新分析上一时刻视线是在1、2、3、4或5区；如果最终目标是1、3、4、5区，那么进入对应的脱手策略判断流程(类似示例2区脱手策略)。
如果视线是从3区到2区，且总计停留时间不小于500ms，则认为视线稳定在2区，系统可以允许脱手30s；如果停留时间小于500ms，则认为视线只是从2区经过，最终目标可能是1、3、4、5区或另外一个2区。然后判断最终目标是否是2区，是2区就回到流程开始，从新分析上一时刻视线是在1、2、3、4或5区；如果最终目标是1、3、4、5区，那么进入对应的脱手策略判断流程(类似示例2区脱手策略)。
如果视线是从4区到2区，且总计停留时间不小于500ms，则认为视线稳定在2区，系统可以允许脱手20s；如果停留时间小于500ms，则认为视线只是从2区经过，最终目标可能是1、3、4、5区或另外一个2区。然后判断最终目标是否是2区，是2区就回到流程开始，从新分析上一时刻视线是在1、2、3、4或5区；如果最终目标是1、3、4、5区，那么进入对应的脱手策略判断流程(类似示例2区脱手策略)。
如果视线是从5区到2区，且总计停留时间不小于500ms，则认为视线稳定在2区，系统可以允许脱手10s；如果停留时间小于500ms，则认为视线只是从2区经过，最终目标可能是3、4、5区或另外一个2区。然后判断最终目标是否是2区，是2区就回到流程开始，从新分析上一时刻视线是在2、3、4或5区；如果最终目标是3、4、5区，那么进入对应的脱手策略判断流程(类似示例2区脱手策略)。脱手时长判断逻辑见图7。
实施例5
本发明主动安全驾驶监控系统，如图1所示，由驾驶员人脸监控摄像头、前视单目摄像头、DMS控制模块、人机交互系统、T-box车载网络通讯终端、云平台(云端服务器)、监控平台等组成。摄像头和控制器通过LVDS(低压差分信号传输)视频数据线连接，采集车内外和驾驶员人脸数据，并输入给控制器做判断，再加上通过CAN总线传输过来的人机交互系统以及车辆信息，综合决策并将结果通过USB数据线传输给T-box，T-box有内置4G/5G网卡，可以上网，通过以太网将信息传递给监控平台或手机APP。当预警发生时，系统应将预警信息以及预警发生前后各10s的与预警行为相关的视频信息进行采集、标记，并可以根据参数或指令将其记录到管理软件。管理软件应具有主动安全预警数据导出功能，应支持按时间段、预警类型等条件导出预警数据，并包括预警发生时车速、与前车的车距和关联视频信息。
根据本发明专利提供的控制策略和系统，在Simulink中编写应用层模型，配合在控制器底层配置好的I/O接口，即可根据驾驶员驾驶和交通环境的实际情况，输出对驾驶员疲劳报警和车内外视频给平台进行监控。本发明专利申请的系统将在本公司多款车型上试用。克服了现有技术的缺陷，达到了以下有益效果：
驾驶员疲劳检测监控系统不仅能满足现有的DMS基本功能，还增加了视频记录和上传到云端的功能，通过上传到后台监管平台，可以对驾驶员的驾驶行为和车况进行实时的监管，并能在危险情况下拍摄、保存和上传事故发生前后10S的视频和图片信息，以及车辆自身的状态信息，便于事后分析事故原因。
利用亮瞳和暗瞳相结合的原理精确追踪眼球，定位驾驶员视线朝向，应用在驾驶员脱手时长的检测上，既可以精确判断驾驶员分神程度又可以在一定程度上缓解驾驶员疲劳，避免了驾驶员脱手报警漏报、误报、频繁介入的问题。
以上各实施例仅用于说明本发明，不应当构成对本发明专利要求保护范围的限定。本领域技术人员在结合现有技术的情况下，无需进行创造性劳动即可对本发明的实施情况进行其他修改或者采用本领域惯用技术手段进行置换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于视线追踪技术的驾驶员疲劳驾驶及不端驾驶行为监测方法，采集车内外和驾驶员人脸数据，并输入给控制器执行，检测驾驶员的分神程度进一步完成脱手时间判断，其特征是：采用稳定视线算法和精确视线追踪算法融合方案，以全面的覆盖不同的应用场景；具体步骤如下：
1)利用人脸检测模块采集驾驶员人脸数据获取红外图像,定位图像中的人脸信息；
2)根据所述红外图像定位的人脸信息，对驾驶员头部姿态持续检测，与数据库人脸数据对比，确认真实人脸；
3)采用所述稳定视算线法准确定位图像中的特征点，自适应建立头部3D模型，确定驾驶员行为、头部朝向、视线朝向、眼部状态并将其结果输出；
4)所述精确视线追踪算法，采用亮瞳和暗瞳相结合的角膜反射法得到驾驶员的精确视线；
5)根据所述头部姿态、视线朝向确定驾驶员分神程度，进一步确定允许驾驶员脱手的时长。
2.根据权利要求1所述的基于视线追踪技术的驾驶员疲劳驾驶及不端驾驶行为监测方法，其特征是：所述精确视线追踪法在初始标定的时候则同时使用亮瞳和暗瞳进行标定，在后续实际场景中，算法可以匹配亮瞳和暗瞳的场景实时切换匹配算法以提高精度；通过定位瞳孔外缘的中心和角膜虚拟球体的中心相结合，则能够输出驾驶员的视线朝向。
3.根据权利要求1或2所述的基于视线追踪技术的驾驶员疲劳驾驶及不端驾驶行为监测方法，其特征是：采用稳定视线算法定位面部68个特征点，自适应建立头部3D模型，从而得到头部的姿态确定头部的朝向，进一步得到瞳孔的中心位置。
4.根据权利要求3所述的基于视线追踪技术的驾驶员疲劳驾驶及不端驾驶行为监测方法，其特征是：通过监控驾驶员的视线和注意力，对驾驶员脱手时间进行判断判断，
根据车辆结构，将跟踪眼球得到的驾驶员视野分为12个区域，再根据危险等级分为5个允许驾驶员不同脱手时长的等级；等级1为驾驶员正前方，表明驾驶员正在全部监控车辆，此时可以允许驾驶员长时间脱手；等级2表明驾驶员出现轻微的分神，可以允许驾驶员脱手60s，60s内会对驾驶员进行阶段性的脱手提醒，提示驾驶员注视前方；等级3表明驾驶员出现中度分神，可以允许驾驶员脱手30s，30s内会对驾驶员进行阶段性的脱手提醒，提示驾驶员注视前方；等级4表明驾驶员出现重度分神，可以允许驾驶员脱手20s，20s内会对驾驶员进行阶段性的脱手提醒，提示驾驶员注视前方；除以上区域外的都为等级5，等级5表明驾驶员完全没有监控车辆，系统会立即提醒驾驶员接管车辆，如果5s没有接管，会退出自动驾驶功能。
5.根据权利要求4所述的基于视线追踪技术的驾驶员疲劳驾驶及不端驾驶行为监测方法，其特征是：以下以视线在2区为例，说明脱手策略：
当前视线在2区，上一时刻视线可能在1、3、4、5区；
如果视线是从另一个2区到当前2区，且停留10个CAN信号周期及以上，则认为视线稳定在2区，系统可以允许脱手60s；如果停留时间小于10个CAN信号周期信号，则认为视线只是从这个2区经过，最终目标可能是1、3、4、5区或除当前2区以外的其它2区；然后判断最终目标是否是2区，是2区就回到流程开始，从新分析上一时刻视线是在1、2、3、4或5区；如果最终目标是1、3、4、5区，那么进入对应的脱手策略判断流程；
如果视线是从1区到2区，且总计停留时间不小于10个CAN信号周期信号，则认为视线稳定在2区，系统可以允许脱手60s；如果停留时间小于10个CAN信号周期信号，则认为视线只是从2区经过，最终目标可能是1、3、4、5区或另外一个2区；然后判断最终目标是否是2区，是2区就回到流程开始，从新分析上一时刻视线是在1、2、3、4或5区；如果最终目标是1、3、4、5区，那么进入对应的脱手策略判断流程；
如果视线是从3区到2区，且总计停留时间不小于10个CAN信号周期信号，则认为视线稳定在2区，系统可以允许脱手30s；如果停留时间小于10个CAN信号周期信号，则认为视线只是从2区经过，最终目标可能是1、3、4、5区或另外一个2区；然后判断最终目标是否是2区，是2区就回到流程开始，从新分析上一时刻视线是在1、2、3、4或5区；如果最终目标是1、3、4、5区，那么进入对应的脱手策略判断流程；
如果视线是从4区到2区，且总计停留时间不小于10个CAN信号周期信号，则认为视线稳定在2区，系统可以允许脱手20s；如果停留时间小于10个CAN信号周期信号，则认为视线只是从2区经过，最终目标可能是1、3、4、5区或另外一个2区；然后判断最终目标是否是2区，是2区就回到流程开始，从新分析上一时刻视线是在1、2、3、4或5区；如果最终目标是1、3、4、5区，那么进入对应的脱手策略判断流程；
如果视线是从5区到2区，且总计停留时间不小于10个CAN信号周期信号，则认为视线稳定在2区，系统可以允许脱手10s；如果停留时间小于10个CAN信号周期信号，则认为视线只是从2区经过，最终目标可能是3、4、5区或另外一个2区。然后判断最终目标是否是2区，是2区就回到流程开始，从新分析上一时刻视线是在2、3、4或5区；如果最终目标是3、4、5区，那么进入对应的脱手策略判断流程。
6.一种根据权利要求1所述的主动安全驾驶监控系统，包括驾驶员人脸检测模块、前视单目摄像头、DMS控制模块、人机交互系统、T-box车载网络通讯终端，其特征是：
所述人脸检测模块采用人脸检测监控摄像头采集驾驶员人脸数据获取红外图像,定位图像中的人脸信息；
所述人脸检测监控摄像头和前视单目摄像头输出信号连接DMS控制模块；所述DMS控制模块输出信号连接车载仪表；
在所述DMS控制模块中设置驾驶员疲劳驾驶及不端驾驶行为监测模块，基于采集到车内外和驾驶员人脸数据，执行基于追踪技术的驾驶员疲劳驾驶及不端驾驶行为监测方法，对驾驶员的视线和活体进行有效判定，预测驾驶员不同的分神程度，自动判断驾驶员的脱手时间，提供主动安全智能防控预警及措施。
7.权利要求6所述的主动安全驾驶监控系统，其特征是：含有云平台及监控平台，T-box车载网络通讯终端内置4G/5G网卡，通过以太网将信息传递给监控平台或手机APP。
8.权利要求6或7所述的主动安全驾驶监控终端系统，其特征是：当预警发生时，DMS控制模块将预警信息以及预警发生前后各10s的与预警行为相关的视频信息进行采集、标记，并根据参数或指令将其记录到管理模块；所述管理模块具有主动安全预警数据导出功能，支持按时间段、预警类型等条件导出预警数据，并包括预警发生时车速、与前车的车距和关联视频信息。
9.权利要求8所述的主动安全驾驶监控终端系统，其特征是：驾驶员疲劳驾驶及不端驾驶行为监测模块：用于根据所述红外图像定位的人脸信息，对驾驶员头部姿态持续检测，与数据库人脸数据对比，确认真实人脸；并根据所述稳定视线准确定位图像中的特征点，自适应建立头部3D模型，确定驾驶员行为、头部朝向、视线朝向、眼部状态并将其结果输出；其中视线朝向用于根据所述精确视线定位驾驶员瞳孔外缘的中心和角膜虚拟球体的中心，输出眼球视线值，精确追踪驾驶员视线；注意力检测用于根据所述头部姿态、视线朝向确定驾驶员分神程度，进一步确定允许驾驶员脱手的时长。
CN202011146422.1A 2020-10-23 2020-10-23 疲劳驾驶不端驾驶行为监测方法及主动安全驾驶监控系统 Active CN112289003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011146422.1A CN112289003B (zh) 2020-10-23 2020-10-23 疲劳驾驶不端驾驶行为监测方法及主动安全驾驶监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011146422.1A CN112289003B (zh) 2020-10-23 2020-10-23 疲劳驾驶不端驾驶行为监测方法及主动安全驾驶监控系统

Publications (2)

Publication Number Publication Date
CN112289003A true CN112289003A (zh) 2021-01-29
CN112289003B CN112289003B (zh) 2022-06-17

Family

ID=74423689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011146422.1A Active CN112289003B (zh) 2020-10-23 2020-10-23 疲劳驾驶不端驾驶行为监测方法及主动安全驾驶监控系统

Country Status (1)

Country Link
CN (1) CN112289003B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096409A (zh) * 2021-04-25 2021-07-09 华蓝设计（集团）有限公司 基于5g物联网技术的运输车辆全过程安全监控系统
CN113183971A (zh) * 2021-06-04 2021-07-30 苏州智加科技有限公司 驾驶员状态监测方法、装置、车载终端及可读存储介质
CN113298041A (zh) * 2021-06-21 2021-08-24 黑芝麻智能科技(上海)有限公司 用于标定驾驶员分心参考方向的方法及系统
CN113313019A (zh) * 2021-05-27 2021-08-27 展讯通信(天津)有限公司 一种分神驾驶检测方法、系统及相关设备
CN113343833A (zh) * 2021-06-02 2021-09-03 东风汽车集团股份有限公司 非安全握姿的脱手检测方法、装置、设备及存储介质
CN113705440A (zh) * 2021-08-27 2021-11-26 华中师范大学 一种面向教育机器人视觉理解的头部姿态估计方法及系统
CN114140986A (zh) * 2021-11-23 2022-03-04 奇瑞汽车股份有限公司 疲劳驾驶预警方法、系统、存储介质
DE102021117350A1 (de) 2021-07-06 2023-01-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum bestimmen einer hands-off-zeit für ein automatisiertes kraftfahrzeug
CN115626171A (zh) * 2022-12-07 2023-01-20 小米汽车科技有限公司 车辆自动驾驶方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010013243A1 (de) * 2010-03-29 2011-09-29 Audi Ag Verfahren zur Ermittlung von auf die Blickrichtung eines Fahrers und die Position der Hände des Fahrers bezüglich des Lenkrads bezogenen Informationen in einem Kraftfahrzeug und Kraftfahrzeug
WO2014062107A1 (en) * 2012-10-19 2014-04-24 Autoliv Development Ab Driver attentiveness detection method and device
CN107640152A (zh) * 2017-08-08 2018-01-30 吉利汽车研究院（宁波）有限公司 一种车道保持辅助系统的可靠性控制装置及方法
CN108446600A (zh) * 2018-02-27 2018-08-24 上海汽车集团股份有限公司 一种车辆驾驶员疲劳监测预警系统及方法
CN110293969A (zh) * 2019-06-14 2019-10-01 重庆长安汽车股份有限公司 一种自适应巡航驾驶系统、方法及汽车
CN110472556A (zh) * 2019-08-12 2019-11-19 一汽轿车股份有限公司 基于单目视觉的驾驶员注意力状态分析系统和分析方法
WO2020029444A1 (zh) * 2018-08-10 2020-02-13 初速度（苏州）科技有限公司 一种驾驶员驾驶时注意力检测方法和系统
CN111079475A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 驾驶状态检测方法和装置、驾驶员监控系统、车辆
CN111709264A (zh) * 2019-03-18 2020-09-25 北京市商汤科技开发有限公司 驾驶员注意力监测方法和装置及电子设备
CN111775940A (zh) * 2020-07-08 2020-10-16 中国第一汽车股份有限公司 一种自动换道方法、装置、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010013243A1 (de) * 2010-03-29 2011-09-29 Audi Ag Verfahren zur Ermittlung von auf die Blickrichtung eines Fahrers und die Position der Hände des Fahrers bezüglich des Lenkrads bezogenen Informationen in einem Kraftfahrzeug und Kraftfahrzeug
WO2014062107A1 (en) * 2012-10-19 2014-04-24 Autoliv Development Ab Driver attentiveness detection method and device
CN107640152A (zh) * 2017-08-08 2018-01-30 吉利汽车研究院（宁波）有限公司 一种车道保持辅助系统的可靠性控制装置及方法
CN108446600A (zh) * 2018-02-27 2018-08-24 上海汽车集团股份有限公司 一种车辆驾驶员疲劳监测预警系统及方法
WO2020029444A1 (zh) * 2018-08-10 2020-02-13 初速度（苏州）科技有限公司 一种驾驶员驾驶时注意力检测方法和系统
CN111079475A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 驾驶状态检测方法和装置、驾驶员监控系统、车辆
CN111709264A (zh) * 2019-03-18 2020-09-25 北京市商汤科技开发有限公司 驾驶员注意力监测方法和装置及电子设备
CN110293969A (zh) * 2019-06-14 2019-10-01 重庆长安汽车股份有限公司 一种自适应巡航驾驶系统、方法及汽车
CN110472556A (zh) * 2019-08-12 2019-11-19 一汽轿车股份有限公司 基于单目视觉的驾驶员注意力状态分析系统和分析方法
CN111775940A (zh) * 2020-07-08 2020-10-16 中国第一汽车股份有限公司 一种自动换道方法、装置、设备及存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096409A (zh) * 2021-04-25 2021-07-09 华蓝设计（集团）有限公司 基于5g物联网技术的运输车辆全过程安全监控系统
CN113313019A (zh) * 2021-05-27 2021-08-27 展讯通信(天津)有限公司 一种分神驾驶检测方法、系统及相关设备
CN113343833A (zh) * 2021-06-02 2021-09-03 东风汽车集团股份有限公司 非安全握姿的脱手检测方法、装置、设备及存储介质
CN113183971A (zh) * 2021-06-04 2021-07-30 苏州智加科技有限公司 驾驶员状态监测方法、装置、车载终端及可读存储介质
CN113183971B (zh) * 2021-06-04 2023-03-10 苏州智加科技有限公司 驾驶员状态监测方法、装置、车载终端及可读存储介质
CN113298041A (zh) * 2021-06-21 2021-08-24 黑芝麻智能科技(上海)有限公司 用于标定驾驶员分心参考方向的方法及系统
DE102021117350A1 (de) 2021-07-06 2023-01-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum bestimmen einer hands-off-zeit für ein automatisiertes kraftfahrzeug
CN113705440A (zh) * 2021-08-27 2021-11-26 华中师范大学 一种面向教育机器人视觉理解的头部姿态估计方法及系统
CN113705440B (zh) * 2021-08-27 2023-09-01 华中师范大学 一种面向教育机器人视觉理解的头部姿态估计方法及系统
CN114140986A (zh) * 2021-11-23 2022-03-04 奇瑞汽车股份有限公司 疲劳驾驶预警方法、系统、存储介质
CN115626171A (zh) * 2022-12-07 2023-01-20 小米汽车科技有限公司 车辆自动驾驶方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112289003B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN112289003B (zh) 疲劳驾驶不端驾驶行为监测方法及主动安全驾驶监控系统
CN107832748B (zh) 一种共享汽车驾驶员更换系统及方法
CN108216251B (zh) 驾驶员状态监测方法、系统及非瞬时性计算机可读介质
CN103594003B (zh) 一种用于驾驶人的远程监控与异常预警的方法
WO2015131857A2 (zh) 集成摄像头模组和光传感器的视觉辅助方法及装置
CN109637261A (zh) 自动-人工驾驶权切换情景下驾驶员反应能力训练系统
CN108615383B (zh) 基于车间通信的汽车交通路口辅助通行系统及其控制方法
CN101565036A (zh) 一种防疲劳驾驶装置及方法
CN110826369A (zh) 一种驾驶员驾驶时注意力检测方法和系统
CN105931430A (zh) 用于驾驶员状态预警系统的报警灵敏度检测方法及装置
CN112406882A (zh) 人机共驾过程驾驶员状态监测装置及可接管能力评估方法
CN114872713A (zh) 一种驾驶员异常驾驶状态监测装置和方法
CN111409455A (zh) 车辆的速度控制方法及装置、电子设备、存储介质
CN110816543B (zh) 一种车辆转弯和变道场景下驾驶员分神驾驶检测和预警系统及方法
CN114360210A (zh) 一种车辆疲劳驾驶预警系统
CN114954307A (zh) 一种基于人工智能的辅助驾驶系统
CN110558998A (zh) 一种基于adas系统的汽车疲劳驾驶检测控制方法
CN116572846A (zh) 一种车载电子后视镜的显示方法、系统及存储介质
KR100811499B1 (ko) 자동차의 차선이탈경보 장치 및 그 방법
CN111169483A (zh) 一种辅助驾驶方法、电子设备和具有存储功能的装置
Mateo et al. Study of a driver assistance interface for merging situations on highways
CN115892029A (zh) 一种基于驾驶人注意力评估的汽车智能盲区监测及预警系统
CN112258813A (zh) 一种车辆主动安全控制方法和设备
CN113450567A (zh) 一种人工智能预警系统
CN104636723A (zh) 基于视频图像中特定物体影像分析的行车预警方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant