CN113223270B - 基于计算机视觉技术的疲劳驾驶监测提醒预警方法及系统 - Google Patents

基于计算机视觉技术的疲劳驾驶监测提醒预警方法及系统 Download PDF

Info

Publication number
CN113223270B
CN113223270B CN202110456115.1A CN202110456115A CN113223270B CN 113223270 B CN113223270 B CN 113223270B CN 202110456115 A CN202110456115 A CN 202110456115A CN 113223270 B CN113223270 B CN 113223270B
Authority
CN
China
Prior art keywords
fatigue
driver
vehicle
time
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110456115.1A
Other languages
English (en)
Other versions
CN113223270A (zh
Inventor
杨斌
金大程
刘朋举
郭钰耀
成孝刚
李安桂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Architecture and Technology
Original Assignee
Xian University of Architecture and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Architecture and Technology filed Critical Xian University of Architecture and Technology
Priority to CN202110456115.1A priority Critical patent/CN113223270B/zh
Publication of CN113223270A publication Critical patent/CN113223270A/zh
Priority to US17/517,849 priority patent/US11858419B2/en
Application granted granted Critical
Publication of CN113223270B publication Critical patent/CN113223270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/90—Details or parts not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B60H1/00742—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models by detection of the vehicle occupants' presence; by detection of conditions relating to the body of occupants, e.g. using radiant heat detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B60H1/00785—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models by the detection of humidity or frost
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3476—Special cost functions, i.e. other than distance or default speed limit of road segments using point of interest [POI] information, e.g. a route passing visible POIs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3484—Personalized, e.g. from learned user behaviour or user-defined profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B27/00—Alarm systems in which the alarm condition is signalled from a central station to a plurality of substations
    • G08B27/006—Alarm systems in which the alarm condition is signalled from a central station to a plurality of substations with transmission via telephone network
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/90—Details or parts not otherwise provided for
    • B60N2002/981—Warning systems, e.g. the seat or seat parts vibrates to warn the passenger when facing a danger
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Emergency Management (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Thermal Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开一种基于计算机视觉技术的疲劳驾驶监测提醒预警方法及系统，包括疲劳值实时监测系统、疲劳值自动提醒系统和疲劳值信息预警系统，疲劳值实时监测系统用于识别驾驶人员的疲劳特征姿态，并根据疲劳特征姿态出现的频次和行车时间得到疲劳值等级；疲劳值自动提醒系统用于接收疲劳值等级，获得车辆实时位置信息，根据疲劳值等级对驾驶人员做出对应等级的提醒；疲劳值信息预警系统用于接收疲劳值等级信息和车辆实时位置信息得到疲劳安全指数，根据疲劳安全指数得到疲劳路况云图并共享至所有交通管理部门和所有高速公路上驾驶人员进行预警，减少了高速公路疲劳驾驶的情况、降低因疲劳驾驶所引起的交通安全事故的危害性。

Description

基于计算机视觉技术的疲劳驾驶监测提醒预警方法及系统
技术领域
本发明属于智能交通技术领域，具体属于一种基于计算机视觉技术的疲劳驾驶监测提醒预警方法及系统。
背景技术
高速公路有便捷、快速、直达等优点，城市的发展和经济区域的建设高速公路起到了决定性作用，但因交通事故死亡的人数逐年增加，其中因驾驶员疲劳驾驶等行为造成的交通事故占大多数。汽车不仅为人们的出行带来了极大便利，尤其是物流产业的不断发展，网上购物的人的数量飞速增长，购买频率与件数急剧增加这些均使得行驶在高速公路上的车辆数量和车辆驾驶时长都有所增加，甚至一些车辆司机会在短时间内进行高强度、集中的长时间疲劳驾驶。如果不对疲劳驾驶这种危险情况加以实时的监测，及时的提醒，有效的预警与严格的管控，则会引起大量的极其危险的交通事故。以上问题是我国交通治理急需解决的严峻且棘手的问题。
高速公路上驾驶人员疲劳驾驶情况的管控有着极其重要的意义。从现有现象来看，疲劳驾驶超长时间驾驶的现象十分的严重，这是长期困扰我们的一项难题，需要向高速公路疲劳驾驶人员加以警告。此过程中存在以下两点问题：在疲劳驾驶管控的过程中，我们无法界定驾驶人员的疲劳状态，查看《道路交通安全法实施条例》第六十二条“连续驾驶机动车超过4小时，中途未停车休息或者停车休息时间少于20分钟的就算疲劳驾驶。”这仅仅针对于驾驶时长来对驾驶人员疲劳程度进行界定。但由于驾驶人员个人体质和驾驶前劳动强度和睡眠状况的原因，在驾驶人员疲劳状态的定义的过程中存在个体性差异。例如，驾驶人员对于疲劳的忍耐度不同，在相同驾驶时长、驾驶前相同劳动强度的情况下，会存在某些驾驶人员提前出现疲劳状态，因此实时监测高速公路驾驶人员疲劳状态十分必要，仅仅通过时长来进行定义无法满足监测的要求。此外，查看《道路交通安全法实施条例》第十四条“用于公路营运的载客汽车、重型载货汽车、半挂牵引车应当安装、使用符合国家标准的行驶记录仪。交通警察可以对机动车行驶速度、连续驾驶时间以及其他行驶状态信息进行检查。”对在驾驶室内安装行车记录仪有一定要求，对驾驶室内安装摄像头实时监测驾驶人员疲劳状态的措施的实施有促进作用。但目前车内的行车记录仪和高速路上的摄像头等还在储存与计算大量无效数据，已有的监测方式普遍存在实时性不强、误判的问题，这存在较大的隐患与漏洞。
通过以上分析得出，目前高速公路驾驶人员疲劳驾驶的问题较为严重，且现有监测技术还不够完善，导致对疲劳驾驶人员的管控不到位。因此，通过治理改善高速公路疲劳驾驶的问题就能保障高速公路的正常通行。
发明内容
为了解决现有技术中存在的问题，本发明提供一种基于计算机视觉技术的疲劳驾驶监测提醒预警方法及系统，实时监测高速公路上车辆驾驶人员疲劳状态并进行相应的应急提醒以及对交管部门和其他车辆反馈预警信息，减少了高速公疲劳驾驶的情况、降低因疲劳驾驶所引起的交通安全事故的危害性。
为实现上述目的，本发明提供如下技术方案：一种基于计算机视觉技术的疲劳驾驶监测提醒预警系统，包括疲劳值实时监测系统、疲劳值自动提醒系统和疲劳值信息预警系统，其中所述疲劳值实时监测系统用于识别驾驶人员的疲劳特征姿态，并根据疲劳特征姿态出现的频次和行车时间得到疲劳值等级；
所述疲劳值自动提醒系统用于接收所述疲劳值等级，获得车辆实时位置信息，根据疲劳值等级对驾驶人员做出对应等级的提醒。
所述疲劳值信息预警系统用于接收疲劳值实时监测系统发出的疲劳值等级信息和疲劳值自动提醒系统发出的车辆实时位置信息，根据每10公里高速路段不同等级疲劳值对应的车辆数量得出疲劳安全指数，根据疲劳安全指数得到疲劳路况云图并共享至所有交通管理部门和所有高速公路上驾驶人员进行预警。
进一步的，所述疲劳值实时监测系统包括录像装置、行车计时装置和分析处理模块，
所述录像装置用于实时监测并记录驾驶人员的动作状态，并将记录驾驶人员的动作状态的视·频图像信息发送至分析处理模块；
行车计时装置用于记录行车时间，并将行车时间发送至分析处理模块。
所述分析处理模块用于接收视频图像信息和行车时间，将记录的驾驶人员动作状态的视频图像信息生成数字信息，识别驾驶人员的疲劳特征姿态，结合行车时间，得到驾驶人员的疲劳值等级。
进一步的，所述分析处理模块基于骨骼节点识别技术识别出人员的疲劳特征姿态；所述疲劳特征姿态分为三个等级，其中一级疲劳特征姿态包括伸懒腰、打哈欠；二级疲劳特征姿态包括频繁眨眼、揉眼睛；三级疲劳特征姿态包括闭眼和频繁点头；
进一步的，疲劳值等级包括正常状态、轻度疲劳、中度疲劳和重度疲劳四个等级，其中
正常状态为：
车辆启动后行车时间小于等于3小时且未监测到驾驶人员疲劳特征姿态；
轻度疲劳为：
(1)车辆启动后行车时间大于3小时小于3.5小时，未监测到驾驶人员疲劳特征姿态；
(2)车辆启动后行车时间小于3小时，且监测到驾驶人员一次一级疲劳特征姿态；
(3)车辆启动后行车时间小于2小时，且监测到驾驶人员一次二级疲劳特征姿态；
中度疲劳为：
(1)车辆启动后行车时间大于3.5小时小于4小时，未监测到驾驶人员疲劳特征姿态；
(2)车辆启动后行车时间大于3小时小于4小时，且监测到驾驶人员一次一级疲劳特征姿态；
(3)车辆启动后行车时间大于2小时小于3.5小时，且监测到驾驶人员一次二级疲劳特征姿态；
(4)车辆启动后行车时间小于3小时，且监测到驾驶人员一次一级疲劳特征姿态后10分钟内又出现一次一级疲劳特征姿态；
(5)车辆启动后行车时间小于2.5小时，且监测到驾驶人员一次一级疲劳特征姿态后10分钟内又出现一次二级疲劳特征姿态；
(6)车辆启动后行车时间小于2.5小时，且监测到驾驶人员一次二级疲劳特征姿态后10分钟内又出现一次一级疲劳特征姿态；
(7)车辆启动后行车时间小于2小时，且监测到驾驶人员一次二级疲劳特征姿态后10分钟内又出现一次二级疲劳特征姿态；
重度疲劳为：
(1)任何情况下行车时长大于等于4小时；
(2)自车辆启动后任何行车时长内监测到驾驶人员一次或高于一次三级疲劳特征姿态；
(3)车辆启动后行车时间大于3.5小时，且监测到驾驶人员一次二级疲劳特征姿态；
(4)车辆启动后行车时间大于3小时，且监测到驾驶人员一次一级疲劳特征姿态后10分钟内又出现一次一级疲劳特征姿态；
(5)车辆启动后行车时间大于2.5小时，且监测到驾驶人员一次一级疲劳特征姿态后10分钟内又出现一次二级疲劳特征姿态；
(6)车辆启动后行车时间大于2.5小时，且监测到驾驶人员一次二级疲劳特征姿态后10分钟内又出现一次一级疲劳特征姿态；
(7)车辆启动后行车时间大于2小时，且监测到驾驶人员一次二级疲劳特征姿态后10分钟内又出现一次二级疲劳特征姿态。
进一步的，所述疲劳值实时监测系统还监测驾驶人员的冷不舒适姿态及热不舒适姿态，所述疲劳值实时监测系统还包括空气温湿度监测装置，所述空气温湿度监测装置用于监测驾驶室内空气温度、湿度；所述疲劳值实时监测系统还包括CO2浓度监测装置，所述CO2浓度监测装置用于监测驾驶室内的CO2浓度。
进一步的，所述疲劳值自动提醒系统包括智能语音模块、全球定位模块、导航模块、振动座椅装置、驾驶室空调装置，其中，语音智能模块、振动座椅模块和驾驶室空调装置接收疲劳值等级信息，并根据疲劳值等级信息做出相应响应；所述全球定位模块用于判定车辆的实时位置、行车速度、与行车方向；所述导航模块用于得到车辆当前所在位置与目标位置的距离以及最短路线，所述驾驶室空调装置用于调节驾驶室的温度和湿度。
进一步的，疲劳值等级为正常状态时，防疲劳自动提醒系统不做任何动作，各系统常规运行；当疲劳值等级为轻度疲劳时，智能语音模块播报：“您现在处于轻度疲劳，请您减速慢行”；当疲劳值等级为中度疲劳时，智能语音模块播报：“您现在处于中度疲劳，请您立即减速慢行，并在最近休息区休息”，导航模块显示出当前位置与最近高速休息区路线；当疲劳值等级为重度疲劳时，智能语音模块播报：“您现在处于重度疲劳，请您立即减速慢行！并在最近休息区休息！”，导航模块显示出当前位置与最近高速休息区路线，振动座椅开始随机性高频高振幅振动，空调装置送出低温高速的冷风。
进一步的，所述疲劳信息预警系统包括在线通讯模块和服务器，所述在线通讯模块用于将疲劳值等级信息和车辆实时位置信息发送至服务器，所述服务器用于整合所有高速路段上车辆驾驶人员的疲劳值和定位信息，得到每10公里高速路段的疲劳安全指数，所述服务器将疲劳安全指数发送至疲劳值实时监测系统，所述疲劳值实时监测系统绘制实时疲劳路况云图并共享至交通管理部门和所有高速公路上驾驶人员。
进一步的，所述疲劳安全指数分为四个等级，包括安全路段、低风险路段、中风险路段和高风险路段，其中安全路段指10公里的高速路段上均为疲劳值为正常状态的车辆；
低风险路段指10公里的高速路段上存在0～5辆疲劳值为轻度疲劳的车辆；
中风险路段指10公里的高速路段上存在5至10辆疲劳值轻度疲劳的车辆或存在0至5辆疲劳值为中度疲劳的车辆；
高风险路段包括10公里的高速路段上存在大于10辆疲劳值为轻度疲劳的车辆、10公里的高速路段上存在5至10辆疲劳值为中度疲劳的车辆、10公里的高速路段上存在大于等于1辆疲劳值为重度疲劳的车辆。
本发明还包括一种基于计算机视觉技术的疲劳驾驶监测提醒预警方法，具体步骤包括：
S1监测驾驶时间，识别驾驶人员的疲劳特征姿态，结合驾驶时间和疲劳特征姿态，得到疲劳值等级；
S2若疲劳值等级过高，则根据疲劳值等级对驾驶人员做出对应等级的提醒，同时获得车辆实时位置信息规划到最近休息区的路线；
S3获取疲劳值等级和车辆实时位置信息，结合疲劳值等级和车辆实时位置信息得到疲劳安全指数，根据疲劳安全指数绘制疲劳路况云图，并将疲劳路况云图分享至交通管理部门和所有高速公路上的驾驶人员进行预警。
与现有技术相比，本发明至少具有以下有益效果：
本发明提供一种基于计算机视觉技术的疲劳驾驶监测提醒预警系统，通过疲劳值实时监测系统非接触式测量检测驾驶人员的疲劳特征姿态，同时结合疲劳特征姿态出现的频次和行车时间得到疲劳值等级，不仅大大地减少误判的可能同时具有高的实时性；防疲劳自动提醒系统对根据疲劳值等级对驾驶人员进行多重提醒与刺激，让疲劳驾驶人员保持一定时间内清醒，对疲劳驾驶人员干扰效果好，同时疲劳值自动提醒系统获得车辆实时位置信息，并计算出能最方便快捷到达的休息区，以尽快让疲劳驾驶人员休息，减少不必要的驾驶时长；疲劳值信息预警系统根据某一路段上处于疲劳驾驶的车辆位置信息及驾驶人员疲劳值等数据，将此路段的行驶安全情况进行量化，根据不同等级疲劳值对应的车辆数量得出疲劳安全指数，根据疲劳安全指数得到疲劳路况云图并共享至所有交通管理部门和所有高速公路上驾驶人员进行预警，预警性强。
进一步的，《道路交通安全法实施条例》中根据驾驶人员驾驶时长的限定，或根据高速路电子摄像头对驾驶人员疲劳状态加以判断驾驶人员的疲劳状态，上述两种方法判断驾驶人员疲劳状态误判率较高，本发明的录像装置基于计算机视觉技术，利用普通摄像头拍摄驾驶人员视频，并根据人体骨骼节点利用OpenPose算法获取人体姿态，将获取的人体姿态与已定义的姿态进行对比，判断驾驶人员疲劳特征状态并结合车辆行驶时间得到疲劳值等级，大大地减少误判的可能。
进一步的，本发明的防疲劳自动提醒系统包括智能语音模块、驾驶室二氧化碳浓度检测模块、驾驶室空气温湿度监测控制模块和震动座椅装置，可以针对驾驶人员不同疲劳值做出对应的响应，以达到使驾驶人员保持一段清醒时间的目的，维持驾驶人员的清醒状态直到到达导航所给出的休息区，具有较好的干扰提醒效果。
进一步的，本发明的监测提醒预警系统利用所有高速路段上车辆驾驶人员的疲劳值和定位信息得到每10公里高速路段的疲劳安全指数，并且将疲劳安全指数绘制成实时疲劳路况云图并共享至交通管理部门，交管部门可接收所管辖区域路段安全系数云图，及时对其进行分析与管控。交管部门可根据路段的安全系数情况做出管控，给予驾驶人员相应的提醒与警示，通过云端发出警示，提醒驾驶人员择机驶入服务区进行休整，若驾驶人员未驶入服务区，交通管理部门则会根据驾驶人员的疲劳驾驶情况对其做出一些处罚及强制措施。
附图说明
图1为本发明系统结构图；
图2为安全云图示意图；
图3为疲劳安全指数对应关系图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步的说明。
本发明从三个方面助力交通管理部门管控高速公路疲劳驾驶人员。
第一个方面从驾驶人员角度出发，将普通摄像头置于车辆驾驶室内采集驾驶人员实时的驾驶视频信息，如驾驶人员疲劳特征状态，再通过摄像头内置的模块通过一定算法处理计算出驾驶人员合理的疲劳值。通过给出的疲劳值对驾驶人员做出一定的“干扰”，此“干扰”根据驾驶人员疲劳值给出，以达到使驾驶人员保持一段清醒时间的目的，维持驾驶人员到达导航所给出的休息区。
第二个方面从周围驾驶人员角度出发，将同时间其所驾驶的路段内所有疲劳驾驶人员人数及其疲劳值进行处理分析与整合得出此路段的疲劳安全指数。根据各个路段的疲劳安全指数绘制出此路段的疲劳路况云图并上传到云端，该云图通过手机应用程序实时地反馈给周围的驾驶人员，周围的驾驶人员可根据将要驶入的路段的疲劳安全指数情况做出判断，当疲劳安全指数较低时可选择驶入服务区进行休息等待或择期再继续行驶。通过以上措施来达到对周围驾驶车辆预警的目的，尽量避免具有严重危害性的交通事故的发生。
第三个方面从交通管理部门的角度出发，驾驶人员的疲劳特征姿态和驾驶时间以及疲劳路况云图这些信息将反馈给交通管理部门，交管部门可根据路段的疲劳安全指数情况做出管控，给予驾驶人员相应的提醒与警示。例如，当驾驶人员以轻微疲劳状态驾驶2小时，交管部门通过云端发出警示，提醒驾驶人员择机驶入服务区进行休整，若驾驶人员未驶入服务区，交通管理部门则会根据驾驶人员的疲劳驾驶情况对其做出一些处罚及强制措施。
本发明提供的一种基于计算机视觉技术的疲劳值监测提醒预警方法，具体步骤如下：
步骤一、监测驾驶时间，识别驾驶人员的疲劳特征姿态，结合驾驶时间和疲劳特征姿态，得到疲劳值等级；
步骤二、若疲劳值等级过高，则根据疲劳值等级对驾驶人员做出对应等级的提醒，同时获得车辆实时位置信息规划到最近休息区的路线；
步骤三、获取疲劳值等级和车辆实时位置信息，结合疲劳值等级和车辆实时位置信息得到疲劳安全指数，根据疲劳安全指数绘制疲劳路况云图，并将疲劳路况云图分享至交通管理部门和所有高速公路上的驾驶人员进行预警。
如图1所示，上述方法应用于本发明提供的一种基于计算机视觉技术的疲劳驾驶监测提醒预警系统，特别适用对重型卡车的驾驶人员进行疲劳驾驶监测、提醒和预警。
本发明的监测提醒预警系统包括疲劳值实时监测系统、疲劳值自动提醒系统和疲劳值信息预警系统，其中疲劳值实时监测系统通过监测高速路驾驶人员疲劳程度，根据监测驾驶人员姿态信息判定其疲劳程度，并将疲劳程度量化为疲劳值；疲劳值自动提醒系统在不同情况下对疲劳驾驶人员进行防疲劳应急处理，保障交通安全；疲劳值信息预警系统在线给予交管部门和周边车辆警告信息，从而降低因疲劳驾驶而导致的交通事故发生率。
疲劳值实时监测系统的录像装置记录监测车辆司机的四肢动作和面部状态等状态特征，分析处理模块识别出人员的疲劳特征姿态，同时行车计时模块会记录车辆的行驶时间，根据某段时间司机所出现的疲劳状态频次和行车时间结合(也即与疲劳值等级对照表1进行比照)可得出当前司机的疲劳值，也即反映出了当前司机所处的疲劳程度。
其中，疲劳值实时监测系统包括录像装置、行车计时模块、分析处理模块。
录像装置安装于后视镜上，用于实时监测并记录驾驶人员的人员四肢动作、面部动作等状态特征，录像装置将记录的视频图像信息发送至分析处理模块；
行车计时模块用于记录行车时间，并将行车时间发送至分析处理模块；
分析处理模块接收视频图像信息，并根据图像信息生成数字信息，识别驾驶人员的面部姿态和动作姿态信息并记录，识别出驾驶人员的疲劳特征姿态、冷不舒适姿态及热不舒适姿态，从而分析驾驶人员的实时状态。
优选的，分析处理模块通过分析处理模块基于骨骼节点识别技术识别出人员的疲劳特征姿态，如伸懒腰、打哈欠、频繁眨眼、揉眼睛、闭眼、频繁点头等；这样疲劳值实时监测系统可在不影响驾驶人员驾驶行为的前提下，自动识别驾驶人员实时状态，作为整个基于计算机视觉技术的疲劳驾驶监测、提醒及预警系统的“眼睛”，疲劳值实时监测系统识别的信息用于使疲劳值自动提醒系统对驾驶人员及时提醒，还用于使疲劳值信息预警系统发出预警信息。
具体地，本发明将人体常见的疲劳姿态，如伸懒腰、打哈欠、频繁眨眼、揉眼睛、闭眼、频繁点头等，划分为三个等级的疲劳特征姿态，包括：
一级疲劳特征姿态：伸懒腰、打哈欠；
二级疲劳特征姿态：频繁眨眼、揉眼睛；
三级疲劳特征姿态：闭眼、频繁点头。
优选的，本发明将自车辆启动后任何时长内驾驶人员出现疲劳特征姿态的频次和行车时间结合得出疲劳值，为了更方便地将人员疲劳程度量化为疲劳值，本发明定义了四个等级的疲劳值(0、1、2、3)，其中0(正常状态)、1(轻度疲劳)、2(中度疲劳)和3(重度疲劳)，表征了驾驶人员的疲劳程度。
疲劳值是由驾驶人员做出这些特征疲劳姿态的频次和驾驶时长综合量化得出的，以我国交通规则为基准，其中：
正常状态0为车辆启动后，未监测到驾驶人员疲劳特征姿态，且行车时间小于等于3小时；
轻度疲劳1包括：
1)车辆启动后行车时间大于3小时小于3.5小时，未监测到驾驶人员疲劳特征姿态；
2)车辆启动后行车时间小于3小时，且监测到驾驶人员一次一级疲劳特征姿态；
3)车辆启动后行车时间小于2小时，且监测到驾驶人员一次一级疲劳特征姿态。
中度疲劳2包括：
1)车辆启动后行车时间大于3.5小时小于4小时，未监测到驾驶人员疲劳特征姿态；
2)车辆启动后行车时间大于3小时小于4小时，且监测到驾驶人员一次一级疲劳特征姿态；
3)车辆启动后行车时间大于2小时小于3.5小时，且监测到驾驶人员一次二级疲劳特征姿态；
4)车辆启动后行车时间小于3小时，且监测到驾驶人员一次一级疲劳特征姿态后10分钟内又出现一次一级疲劳特征姿态；
5)车辆启动后行车时间小于2.5小时，且监测到驾驶人员一次一级疲劳特征姿态后10分钟内又出现一次二级疲劳特征姿态；
6)车辆启动后行车时间小于2.5小时，且监测到驾驶人员一次二级疲劳特征姿态后10分钟内又出现一次一级疲劳特征姿态；
7)车辆启动后行车时间小于2小时，且监测到驾驶人员一次二级疲劳特征姿态后10分钟内又出现一次二级疲劳特征姿态；
重度疲劳3包括：
1)任何情况下行车时长大于等于4小时；
2)自车辆启动后任何行车时长内监测到驾驶人员一次或高于一次三级疲劳特征姿态；
3)车辆启动后行车时间大于3.5小时，且监测到驾驶人员一次二级疲劳特征姿态；
4)车辆启动后行车时间大于3小时，且监测到驾驶人员一次一级疲劳特征姿态后10分钟内又出现一次一级疲劳特征姿态；
5)车辆启动后行车时间大于2.5小时，且监测到驾驶人员一次一级疲劳特征姿态后10分钟内又出现一次二级疲劳特征姿态；
6)车辆启动后行车时间大于2.5小时，且监测到驾驶人员一次二级疲劳特征姿态后10分钟内又出现一次一级疲劳特征姿态；
7)车辆启动后行车时间大于2小时，且监测到驾驶人员一次二级疲劳特征姿态后10分钟内又出现一次二级疲劳特征姿态。
优选的，将疲劳值等级设定到分析处理模块中，分析处理模块根据录像装置监测到的疲劳特征姿态，结合行车计时模块记录的行车时长，根据上述原理对驾驶人员的疲劳程度量化分级，从而与设定的疲劳值等级一一对应，以便后续处理。
本发明的疲劳值实时监测系统具有以下优点：
(1)实时性强无延迟
目前已有应用的站点式疲劳测量装置是布置在每一个高速公路上服务区、收费站等站点，通过记录车辆行驶的里程数和时长来判定驾驶人员是否疲劳驾驶。该装置不可以跟踪测量驾驶人员的疲劳状态，因为车辆要到每个站点才可以接受监测所以该装置具有延迟性。而本发明的疲劳值实时监测系统可以实现实时跟踪测量，系统安装在车辆内部，根据驾驶人员的实时肢体动作和面部姿态等状态判定其疲劳程度，实时性强。
(2)准确性高
目前根据行车记录驾驶时间来判断驾驶人员的防疲劳装置只是单纯通过记录行车时长来判定驾驶人员疲劳程度，甚至单纯以驾驶时长是否超过4小时来判定，而并未监测驾驶人员驾驶过程中实际状态(出现驾驶人员没休息好就再次驾驶但并没超过疲劳判定时长，但这种情况驾驶人员依然是疲劳的这种情况)。而本发明的疲劳值实时监测系统是在记录驾驶时长的基础上，结合摄像头监测到的驾驶人员疲劳特征动作实时判定驾驶人员疲劳状态，准确性高。
(3)针对性强
本发明的疲劳值实时监测系统不仅实时地、准确地监测驾驶人员是否疲劳驾驶，还能根据驾驶人员行车时长和疲劳特征姿态出现频次判定驾驶人员的疲劳程度，划分为正常状态、轻度疲劳、中度疲劳和重度疲劳四个等级，针对不同疲劳程度系统会提供相应的响应措施，并没有采取“一刀切”的措施，这样既可以保证行车安全，又可以保证经济效益。
疲劳值自动提醒系统包括智能语音模块、全球定位模块、导航模块、振动座椅装置、驾驶室空调装置，其中分析处理模块将驾驶人员疲劳程度量化成疲劳值等级，并将疲劳值等级发送至智能语音模块、振动座椅装置、驾驶室空调装置，根据驾驶人员不同疲劳情况，智能语音模块、振动座椅装置、驾驶室空调装置做出对应响应。全球定位模块用于定位车辆的实时位置、行车速度、与行车方向；导航模块用于计算当前位置与目标位置的最短路线及其距离；
疲劳值自动提醒系统在驾驶人员不同疲劳程度的情况下，采取不同动作：智能语音模块对驾驶人员进行自动提醒，振动座椅、空调装置及导航模块等末端装置做出应急性强制清醒响应动作。这样可使自动提醒系统及时准确地对疲劳驾驶人员采取提醒措施，或多次提醒使其意识到疲劳状态进而休息，或强制采取措施使其清醒，从而有效避免因疲劳驾驶而导致的交通安全事故的发生，降低交通事故发生率。
优选的，当疲劳值实时监测系统监测到驾驶人员疲劳值为0时，防疲劳自动提醒系统不做任何动作，各系统常规运行；
当监测系统监测到驾驶人员疲劳值为1时，智能语音模块做出响应：播报驾驶人员实时疲劳值并劝导“您现在处于轻度疲劳，请您减速慢行”；
当监测系统监测到驾驶人员疲劳值为2时，智能语音模块做出响应：播报驾驶人员实时疲劳值并劝导“您现在处于中度疲劳，请您立即减速慢行，并在最近休息区休息”，同时，导航模块显示出车辆当前位置与最近高速休息区路线；
当监测系统监测到驾驶人员疲劳值为3时，智能语音模块做出响应：播报驾驶人员实时疲劳值并劝导“您现在处于重度疲劳，请您立即减速慢行！并在最近休息区休息！”，导航模块显示出车辆当前位置与最近高速休息区路线；同时，振动座椅开始随机性高频高振幅振动，驾驶室空调装置送出低温高速的冷风。
由于疲劳驾驶不可以在应急车道休息，如果开车长途犯困，应尽快前往就近的服务器休息，且正常情况下是不能占用应急车道；又因为高速路上的休息区相隔较远，疲劳驾驶人员可能因导航不清错过最佳休息区。因此提供便捷可靠的路线是十分有必要的。
进一步的，根据疲劳值自动提醒系统中全球定位模块实时追踪驾驶车辆的位置，通过导航为驾驶人员计算出最方便快捷的休息区，导航模块计算出车辆实时位置与当前最近休息区距离，为疲劳驾驶人员提供有效准确的路线以前往休息区，以尽快让疲劳驾驶人员进入休息区休息，减少不必要的驾驶时长。
分析处理模块接收到导航模块的距离信息，并结合本身分析得到的驾驶人员实时疲劳值信息，如果出现距离过远(即大于等于30km)，或以交规要求高速上最低行驶时速计算抵达休息区须30mins以上，驾驶人员不能立即到达休息区，且驾驶人员疲劳值为3的情况时，本发明使该情况为紧急情况，此时需要疲劳值自动提醒系统采取应急性方法，即振动座椅持续性随机时段高频高振幅振动，驾驶室空调装置送出低温高速的冷风，采取此类措施强制性使驾驶人员短时间内保持清醒。
进一步的，疲劳值实时监测系统还包括CO2浓度监测装置和空气温湿度监测装置，其中CO2浓度监测装置用于监测驾驶室内CO2浓度；空气温湿度监测装置用于监测驾驶室内空气温度、湿度。
优选的，由于冬季工况下室外温度过低，致使驾驶室窗户常闭，这样会导致驾驶室内CO2浓度持续上升。高浓度的CO2环境会使驾驶人员注意力分散，精神疲倦，困感增强。CO2浓度监测装置监测驾驶室内的CO2浓度，并将CO2浓度信息发送至分析处理模块，当监测的CO2浓度高于1000ppm时，分析处理模块发送信号给智能语音模块使其做出响应，即智能语音模块劝导驾驶人员“驾驶室二氧化碳浓度过高，请开窗换气”。
优选的，由于夏季工况下室外空气参数高温高湿，过高湿度和温度的空气会导致驾驶人员不适感增强，从而加快驾驶人员疲劳程度加剧速度。空气温湿度监测装置监测驾驶室内空气的温度和湿度，并将温湿度信息发送至分析处理模块，当监测的空气温度高于35℃，相对湿度高于80％时，分析处理模块发送信号给驾驶室空调装置，使空调装置以设定温度24℃开启。
本发明通过录像装置监测人体姿态图像信息，利用欧拉视频放大算法进行傅里叶变换得到面部皮肤饱和度，肤色饱和度与皮肤温度存在线性关系从而获取驾驶人员面部皮肤温度，将人体姿态图像信息发送至分析处理模块，分析处理模块根据驾驶人员姿态与面部皮肤温度识别出驾驶人员的冷、热不适姿态，对驾驶人员的冷热状态进行监测，并对驾驶室空调装置做出指令调节风量风温风速等，使驾驶人员处于最佳热舒适状态且节省驾驶室空调能耗应调节。
优选的，本发明将冷不适姿态定义为：驾驶人员搓手、对手呼气、系衣服扣等动作；将热不适姿态定义为：驾驶人员擦汗、用手扇风、撸袖子、扯衣领等动作。在驾驶室内空调装置开启的情况下，若分析处理模块识别到驾驶人员冷不适姿态，则该模块控制空调装置使其设定温度升高1℃；若分析处理模块识别到人员热不适姿态，则分析处理模块控制空调装置使其设定温度降低1℃。
疲劳值信息预警系统包括在线通讯模块和服务器，在线通讯模块接受疲劳值等级信息和车辆实时位置信息，并发送给服务器；服务器用于整合所有高速路段上驾驶人员的疲劳值和定位信息，并会根据定位信息，将具体某一高速路段所有车辆驾驶人员的疲劳值信息通过在线通讯模块发送给该高速路段所有驾驶人员，以及管理该高速路段的政府交通管理部门。这样既可以使其他车辆与疲劳车辆保持安全距离，有效降低因疲劳驾驶而发生交通安全事故且避免二次事故发生；又可以使政府官方管理人员更便捷、更直观的管理疲劳驾驶车辆。
优选的，为了让疲劳信息预警系统能更直观、更快速地将向周边车辆实时预警疲劳车辆信息，本发明提出疲劳安全指数的概念，疲劳安全指数由每10公里高速路段上不同疲劳值等级的车辆数量整合量化得到，目的在于通过疲劳安全指数评定高速路段上预测发生由车辆疲劳驾驶导致的交通事故的风险大小。疲劳安全指数也分为四个等级，即A(安全路段)、B(低风险路段)、C(中风险路段)、D(高风险路段)，疲劳安全指数对应情况如图3所示。疲劳安全指数为A表示此10公里的高速路段上无疲劳驾驶的车辆，路段安全性高，此路段为安全路段。
疲劳安全指数为B表示此10公里的高速路段上存在0至5辆疲劳值为1级的车辆，说明此路段安全性较高，此路段为低风险路段。
疲劳安全指数为C表示此10公里的高速路段上存在5至10辆疲劳值为1级的车辆；或存在0至5辆疲劳值为2级的车辆；或同时存在5至10辆疲劳值为1级的车辆和0至5辆疲劳值为2级的车辆，说明路段安全性较低，此路段为中风险路段。
疲劳安全指数为D表示此10公里的高速路段上存在大于10辆疲劳值为1级的车辆；或存在5至10辆疲劳值为2级的车辆；或存在大于等于1辆疲劳值为3的车辆，说明路段安全性很低，此路段为高风险路段
优选的，服务器通过在线通讯模块接收来自所有高速路段的驾驶人员实时疲劳值等级信息，结合疲劳值等级信息对应的驾驶人员的实时定位，根据每10公里高速路段不同等级疲劳值对应的车辆数量，根据上述对应关系，定义每10公里高速路段的疲劳安全指数，并将疲劳安全指数信息通过在线通讯模块传输至导航模块，使疲劳全安指数可在导航模块的地图上显示，使高速路段疲劳车辆信息可通过导航地图与当地交通管理部门以及周边车辆共享，起到预警作用。
进一步的，为了使疲劳安全指数可视化，方便交通管理部门及周边车辆的驾驶人员更直观、更清晰、更快速地辨别高速路段的安全性，本发明进一步提出疲劳路况云图的概念，如图2所示。导航模块将接收的疲劳安全指数信息在导航模块的地图上用不同的颜色表示，对应关系为：疲劳安全指数为A对应绿色，表示该高速路段为安全路段；疲劳安全指数为B对应蓝色，表示该高速路段为低风险路段；疲劳安全指数为C对应黄色，表示该高速路段为中风险路段；疲劳安全指数为D对应红色，表示该高速路段为高风险路段。服务器将路段位置信息与疲劳安全指数信息配对后，通过在线通讯模块反馈给导航模块，使导航模块按照上述对应关系将疲劳安全指数用不同颜色在高速路段上填充，生成疲劳路况云图，此后，在线通讯模块将生成的云图信息共享至所有用户。交通管理部门和所有高速公路上驾驶人员可以用手机、电脑等末端设备通过导航地图获得实时的疲劳路况云图信息，这样既可以使交通管理部门快速准确地判断出疲劳车辆所处路段，进而采取管控措施；又可以使其他车辆驾驶人员自主判定所行使道路的安全程度，辨别疲劳驾驶车辆，通过采取减速慢行、变道行驶、保持车距等方法安全行车，从而避免交通事故的发生。
通过以上做法大大地提高了交通管理部门相关工作人员的工作效率，为交通管理部门获取最有时效性、最可靠的数据，完成了保障人民交通安全的重要使命，保证了高速公路的行驶安全。
表1.疲劳值等级对照表
Figure BDA0003040565930000181

Claims (7)

1.一种基于计算机视觉技术的疲劳驾驶监测提醒预警系统，其特征在于，包括疲劳值实时监测系统、疲劳值自动提醒系统和疲劳值信息预警系统，
其中所述疲劳值实时监测系统用于识别驾驶人员的疲劳特征姿态，并根据疲劳特征姿态出现的频次和行车时间得到疲劳值等级；
所述疲劳值自动提醒系统用于接收所述疲劳值等级，获得车辆实时位置信息，根据疲劳值等级对驾驶人员做出对应等级的提醒；
所述疲劳值信息预警系统用于接收疲劳值实时监测系统发出的疲劳值等级信息和疲劳值自动提醒系统发出的车辆实时位置信息，根据每10公里高速路段不同等级疲劳值对应的车辆数量得出疲劳安全指数，根据疲劳安全指数得到疲劳路况云图并共享至所有交通管理部门和所有高速公路上驾驶人员进行预警；
所述疲劳值实时监测系统包括录像装置、行车计时装置和分析处理模块；
所述录像装置用于实时监测并记录驾驶人员的动作状态，并将记录驾驶人员的动作状态的视频图像信息发送至分析处理模块；
所述行车计时装置用于记录行车时间，并将行车时间发送至分析处理模块；
所述分析处理模块用于接收视频图像信息和行车时间，将记录的驾驶人员动作状态的视频图像信息生成数字信息，识别驾驶人员的疲劳特征姿态，结合行车时间，得到驾驶人员的疲劳值等级；
所述分析处理模块基于骨骼节点识别技术识别出人员的疲劳特征姿态；
所述疲劳特征姿态分为三个等级，其中一级疲劳特征姿态包括伸懒腰、打哈欠；二级疲劳特征姿态包括频繁眨眼、揉眼睛；三级疲劳特征姿态包括闭眼和频繁点头；
疲劳值等级包括正常状态、轻度疲劳、中度疲劳和重度疲劳四个等级，其中
正常状态为：
车辆启动后行车时间小于等于3小时且未监测到驾驶人员疲劳特征姿态；
轻度疲劳为：
(1)车辆启动后行车时间大于3小时小于3.5小时，未监测到驾驶人员疲劳特征姿态；
(2)车辆启动后行车时间小于3小时，且监测到驾驶人员一次一级疲劳特征姿态；
(3)车辆启动后行车时间小于2小时，且监测到驾驶人员一次二级疲劳特征姿态；
中度疲劳为：
(1)车辆启动后行车时间大于3.5小时小于4小时，未监测到驾驶人员疲劳特征姿态；
(2)车辆启动后行车时间大于3小时小于4小时，且监测到驾驶人员一次一级疲劳特征姿态；
(3)车辆启动后行车时间大于2小时小于3.5小时，且监测到驾驶人员一次二级疲劳特征姿态；
(4)车辆启动后行车时间小于3小时，且监测到驾驶人员一次一级疲劳特征姿态后10分钟内又出现一次一级疲劳特征姿态；
(5)车辆启动后行车时间小于2.5小时，且监测到驾驶人员一次一级疲劳特征姿态后10分钟内又出现一次二级疲劳特征姿态；
(6)车辆启动后行车时间小于2.5小时，且监测到驾驶人员一次二级疲劳特征姿态后10分钟内又出现一次一级疲劳特征姿态；
(7)车辆启动后行车时间小于2小时，且监测到驾驶人员一次二级疲劳特征姿态后10分钟内又出现一次二级疲劳特征姿态；
重度疲劳为：
(1)任何情况下行车时长大于等于4小时；
(2)自车辆启动后任何行车时长内监测到驾驶人员一次或高于一次三级疲劳特征姿态；
(3)车辆启动后行车时间大于3.5小时，且监测到驾驶人员一次二级疲劳特征姿态；
(4)车辆启动后行车时间大于3小时，且监测到驾驶人员一次一级疲劳特征姿态后10分钟内又出现一次一级疲劳特征姿态；
(5)车辆启动后行车时间大于2.5小时，且监测到驾驶人员一次一级疲劳特征姿态后10分钟内又出现一次二级疲劳特征姿态；
(6)车辆启动后行车时间大于2.5小时，且监测到驾驶人员一次二级疲劳特征姿态后10分钟内又出现一次一级疲劳特征姿态；
(7)车辆启动后行车时间大于2小时，且监测到驾驶人员一次二级疲劳特征姿态后10分钟内又出现一次二级疲劳特征姿态；
疲劳安全指数也分为四个等级，即A(安全路段)、B(低风险路段)、C(中风险路段)、D(高风险路段)；
疲劳安全指数为A表示此10公里的高速路段上无疲劳驾驶的车辆，路段安全性高，此路段为安全路段；
疲劳安全指数为B表示此10公里的高速路段上存在0至5辆疲劳值为1级的车辆，说明此路段安全性较高，此路段为低风险路段；
疲劳安全指数为C表示此10公里的高速路段上存在5至10辆疲劳值为1级的车辆；或存在0至5辆疲劳值为2级的车辆；或同时存在5至10辆疲劳值为1级的车辆和0至5辆疲劳值为2级的车辆，说明路段安全性较低，此路段为中风险路段；
疲劳安全指数为D表示此10公里的高速路段上存在大于10辆疲劳值为1级的车辆；或存在5至10辆疲劳值为2级的车辆；或存在大于等于1辆疲劳值为3的车辆，说明路段安全性很低，此路段为高风险路段。
2.根据权利要求1所述的一种基于计算机视觉技术的疲劳驾驶监测提醒预警系统，其特征在于，所述疲劳值实时监测系统还监测驾驶人员的冷不舒适姿态及热不舒适姿态，所述疲劳值实时监测系统还包括空气温湿度监测装置，所述空气温湿度监测装置用于监测驾驶室内空气温度、湿度；所述疲劳值实时监测系统还包括CO2浓度监测装置，所述CO2浓度监测装置用于监测驾驶室内的CO2浓度。
3.根据权利要求1所述的一种基于计算机视觉技术的疲劳驾驶监测提醒预警系统，其特征在于，所述疲劳值自动提醒系统包括智能语音模块、全球定位模块、导航模块、振动座椅装置、驾驶室空调装置，其中，语音智能模块、振动座椅模块和驾驶室空调装置接收疲劳值等级信息，并根据疲劳值等级信息做出相应响应；所述全球定位模块用于判定车辆的实时位置、行车速度、与行车方向；所述导航模块用于得到车辆当前所在位置与目标位置的距离以及最短路线，所述驾驶室空调装置用于调节驾驶室的温度和湿度。
4.根据权利要求3所述的一种基于计算机视觉技术的疲劳驾驶监测提醒预警系统，其特征在于，疲劳值等级为正常状态时，防疲劳自动提醒系统不做任何动作，各系统常规运行；当疲劳值等级为轻度疲劳时，智能语音模块播报：“您现在处于轻度疲劳，请您减速慢行”；当疲劳值等级为中度疲劳时，智能语音模块播报：“您现在处于中度疲劳，请您立即减速慢行，并在最近休息区休息”，导航模块显示出当前位置与最近高速休息区路线；当疲劳值等级为重度疲劳时，智能语音模块播报：“您现在处于重度疲劳，请您立即减速慢行！并在最近休息区休息！”，导航模块显示出当前位置与最近高速休息区路线，振动座椅开始随机性高频高振幅振动，空调装置送出低温高速的冷风。
5.根据权利要求1所述的一种基于计算机视觉技术的疲劳驾驶监测提醒预警系统，其特征在于，所述疲劳信息预警系统包括在线通讯模块和服务器，所述在线通讯模块用于将疲劳值等级信息和车辆实时位置信息发送至服务器，所述服务器用于整合所有高速路段上车辆驾驶人员的疲劳值和定位信息，得到每10公里高速路段的疲劳安全指数，所述服务器将疲劳安全指数发送至疲劳值实时监测系统，所述疲劳值实时监测系统绘制实时疲劳路况云图并共享至交通管理部门和所有高速公路上驾驶人员。
6.根据权利要求1所述的一种基于计算机视觉技术的疲劳驾驶监测提醒预警系统，其特征在于，所述疲劳安全指数分为四个等级，包括安全路段、低风险路段、中风险路段和高风险路段，其中
安全路段指10公里的高速路段上均为疲劳值为正常状态的车辆；
低风险路段指10公里的高速路段上存在0～5辆疲劳值为轻度疲劳的车辆；
中风险路段指10公里的高速路段上存在5至10辆疲劳值轻度疲劳的车辆或存在0至5辆疲劳值为中度疲劳的车辆；
高风险路段包括10公里的高速路段上存在大于10辆疲劳值为轻度疲劳的车辆、10公里的高速路段上存在5至10辆疲劳值为中度疲劳的车辆、10公里的高速路段上存在大于等于1辆疲劳值为重度疲劳的车辆。
7.根据权利要求1-6任意一项所述的一种基于计算机视觉技术的疲劳驾驶监测提醒预警系统的预警方法，其特征在于，具体步骤包括：
S1监测驾驶时间，识别驾驶人员的疲劳特征姿态，结合驾驶时间和疲劳特征姿态，得到疲劳值等级；
S2若疲劳值等级过高，则根据疲劳值等级对驾驶人员做出对应等级的提醒，同时获得车辆实时位置信息规划到最近休息区的路线；
S3获取疲劳值等级和车辆实时位置信息，结合疲劳值等级和车辆实时位置信息得到疲劳安全指数，根据疲劳安全指数绘制疲劳路况云图，并将疲劳路况云图分享至交通管理部门和所有高速公路上的驾驶人员进行预警。
CN202110456115.1A 2021-04-26 2021-04-26 基于计算机视觉技术的疲劳驾驶监测提醒预警方法及系统 Active CN113223270B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110456115.1A CN113223270B (zh) 2021-04-26 2021-04-26 基于计算机视觉技术的疲劳驾驶监测提醒预警方法及系统
US17/517,849 US11858419B2 (en) 2021-04-26 2021-11-03 Fatigue driving monitoring, reminding and early-warning method and system based on computer vision

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110456115.1A CN113223270B (zh) 2021-04-26 2021-04-26 基于计算机视觉技术的疲劳驾驶监测提醒预警方法及系统

Publications (2)

Publication Number Publication Date
CN113223270A CN113223270A (zh) 2021-08-06
CN113223270B true CN113223270B (zh) 2023-02-28

Family

ID=77089429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110456115.1A Active CN113223270B (zh) 2021-04-26 2021-04-26 基于计算机视觉技术的疲劳驾驶监测提醒预警方法及系统

Country Status (2)

Country Link
US (1) US11858419B2 (zh)
CN (1) CN113223270B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022160820A (ja) * 2021-04-07 2022-10-20 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
CN113485384B (zh) * 2021-09-06 2021-12-10 中哲国际工程设计有限公司 一种基于物联网的无障碍导引系统
CN114228636A (zh) * 2021-11-26 2022-03-25 阿尔特汽车技术股份有限公司 一种车辆智能提神的系统、方法以及车辆
CN114537323A (zh) * 2022-03-04 2022-05-27 浙江吉利控股集团有限公司 一种安全带及其安全带佩戴识别方法和装置
CN115019469A (zh) * 2022-05-09 2022-09-06 董相勇 交通运输从业人员安全行为风险隐患智能预警系统及方法
CN116740920B (zh) * 2023-03-14 2023-11-21 西安科技大学 一种疲劳驾驶风险路段识别与管控方法
CN116129409B (zh) * 2023-04-11 2023-06-27 钧捷智能（深圳）有限公司 一种基于运动分析的驾驶员监测方法及系统
CN116844219A (zh) * 2023-06-29 2023-10-03 深圳卓创智能科技有限公司 预防眼疲劳的显示方法、装置、设备及存储介质
CN116778434B (zh) * 2023-07-07 2024-05-14 宁波德尔菲信息科技有限公司 一种基于计算机视觉的交通违章行为检测系统及方法
CN117114544B (zh) * 2023-09-01 2024-05-17 上海中通蓝网信息科技有限公司 一种端到端的全程冷链运输管理平台
CN117465460B (zh) * 2023-12-27 2024-03-22 江苏高速公路信息工程有限公司 基于ai的高速公路危化品车辆车流监控系统及方法
CN117922580B (zh) * 2024-03-08 2024-09-27 东莞本凡网络技术有限公司 一种基于人工智能的智能驾驶监管方法及系统
CN117981965B (zh) * 2024-04-07 2024-06-11 圣奥科技股份有限公司 一种办公桌椅的控制方法及系统
CN118195266A (zh) * 2024-05-08 2024-06-14 上海四维数邦数字科技有限公司 一种运输车辆实时管理方法、装置、电子设备和存储介质
CN118195459B (zh) * 2024-05-16 2024-07-26 万联易达物流科技有限公司 基于多源数据的物流运输管理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751665A (zh) * 2013-12-26 2015-07-01 上海博泰悦臻网络技术服务有限公司 危险路段分析方法及装置
CN105741494A (zh) * 2016-03-29 2016-07-06 浙江吉利控股集团有限公司 一种基于线下数据匹配的驾驶员疲劳监测方法
CN106228821A (zh) * 2016-07-29 2016-12-14 泽交通工程咨询（上海）有限公司 高危车辆疲劳驾驶综合监测及安全防控方法
CN109816934A (zh) * 2019-02-21 2019-05-28 吉林大学 一种防驾驶疲劳的预警装置及预警方法
CN111634288A (zh) * 2020-04-30 2020-09-08 长城汽车股份有限公司 疲劳驾驶监测方法、系统及智能识别系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100228584A1 (en) * 2009-03-06 2010-09-09 Nash David E Predictive risk intelligent safety module
JP5974915B2 (ja) * 2013-01-29 2016-08-23 株式会社デンソー 覚醒度検出装置、および覚醒度検出方法
US11164459B2 (en) * 2017-03-14 2021-11-02 Hyundai Mobis Co., Ltd. Apparatus and method of safety support for vehicle
JP6805092B2 (ja) * 2017-07-13 2020-12-23 クラリオン株式会社 警告出力装置、警告出力方法、及び警告出力システム
JP6888542B2 (ja) * 2017-12-22 2021-06-16 トヨタ自動車株式会社 眠気推定装置及び眠気推定方法
US10943092B2 (en) * 2018-05-23 2021-03-09 ClairLabs Ltd. Monitoring system
WO2020204884A1 (en) * 2019-03-29 2020-10-08 Huawei Technologies Co Ltd. Personalized routing based on driver fatigue map
JP7332726B2 (ja) * 2019-06-10 2023-08-23 華為技術有限公司 ヒートマップを使用したドライバーの注目の検出
JP2022024853A (ja) * 2020-07-28 2022-02-09 トヨタ自動車株式会社 対話装置
US11644328B2 (en) * 2020-12-22 2023-05-09 Subaru Corporation Safety drive assist apparatus
US20210403004A1 (en) * 2021-09-10 2021-12-30 Intel Corporation Driver monitoring system (dms) data management

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751665A (zh) * 2013-12-26 2015-07-01 上海博泰悦臻网络技术服务有限公司 危险路段分析方法及装置
CN105741494A (zh) * 2016-03-29 2016-07-06 浙江吉利控股集团有限公司 一种基于线下数据匹配的驾驶员疲劳监测方法
CN106228821A (zh) * 2016-07-29 2016-12-14 泽交通工程咨询（上海）有限公司 高危车辆疲劳驾驶综合监测及安全防控方法
CN109816934A (zh) * 2019-02-21 2019-05-28 吉林大学 一种防驾驶疲劳的预警装置及预警方法
CN111634288A (zh) * 2020-04-30 2020-09-08 长城汽车股份有限公司 疲劳驾驶监测方法、系统及智能识别系统

Also Published As

Publication number Publication date
CN113223270A (zh) 2021-08-06
US11858419B2 (en) 2024-01-02
US20220340079A1 (en) 2022-10-27

Similar Documents

Publication Publication Date Title
CN113223270B (zh) 基于计算机视觉技术的疲劳驾驶监测提醒预警方法及系统
KR101867041B1 (ko) 운전자의 안전한 운전상태 검측 방법 및 장치
Zhenhai et al. Driver drowsiness detection based on time series analysis of steering wheel angular velocity
CN104408879B (zh) 疲劳驾驶预警处理方法、装置及系统
Fitzharris et al. The relative importance of real-time in-cab and external feedback in managing fatigue in real-world commercial transport operations
CN103767715B (zh) 一种驾驶员安全驾驶状态检测装置
US20150137979A1 (en) Direct observation event triggering of drowsiness
CN105966405A (zh) 驾驶员分心检测系统
CN110316198A (zh) 一种用于高速公路提速的安全保障系统及运行方法
CA2649731A1 (en) An unobtrusive driver drowsiness detection method
CN115179960B (zh) 一种多源数据采集人车状态综合监测系统及方法
CN109969083A (zh) 一种大货车和卡车安全预警与监测系统
EP4030326A1 (en) Information processing device, mobile device, information processing system, method, and program
CN112908034A (zh) 一种智能公交安全驾驶行为辅助督导系统及控制方法
CN108312964A (zh) 一种疲劳驾驶状态识别预警系统及方法
CN114446010A (zh) 一种车载机器人系统及其驾驶管理方法
Zhou et al. An evaluation method for visual search stability in urban tunnel entrance and exit sections based on markov chain
Tijerina Driver eye glance behavior during car following on the road
CN118289021A (zh) 基于多源数据融合的驾驶安全系统及智控方法
Kushwah et al. A comprehensive system for detecting profound tiredness for automobile drivers using a CNN
Huang et al. Objective and subjective analysis to quantify influence factors of driving risk
CN116030433A (zh) 一种基于驾驶行为分析的车辆数字化管理及分析方法
CN106652353A (zh) 一种交通工具控制方法和装置
Lenné et al. Real-time feedback reduces the incidence of fatigue events in heavy vehicle fleets
DE102022115531A1 (de) Verfahren zum Bestimmen einer Aufmerksamkeit eines Nutzers eines Kraftfahrzeugs, Computerprogramm, Datenverarbeitungsvorrichtung und Kraftfahrzeug

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant