CN111986443A - 一种疲劳驾驶的监测装置及方法 - Google Patents

一种疲劳驾驶的监测装置及方法 Download PDF

Info

Publication number
CN111986443A
CN111986443A CN202010896352.5A CN202010896352A CN111986443A CN 111986443 A CN111986443 A CN 111986443A CN 202010896352 A CN202010896352 A CN 202010896352A CN 111986443 A CN111986443 A CN 111986443A
Authority
CN
China
Prior art keywords
driver
fatigue driving
vehicle
processor
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010896352.5A
Other languages
English (en)
Inventor
应臻恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAIC GM Wuling Automobile Co Ltd
Shanghai Pateo Network Technology Service Co Ltd
Original Assignee
Shanghai Pateo Network Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pateo Network Technology Service Co Ltd filed Critical Shanghai Pateo Network Technology Service Co Ltd
Priority to CN202010896352.5A priority Critical patent/CN111986443A/zh
Publication of CN111986443A publication Critical patent/CN111986443A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]

Abstract

本发明涉及一种疲劳驾驶的监测装置及方法，以及一种计算机可读存储介质。本发明提供的上述疲劳驾驶的监测装置包括：摄像头，设于驾驶位前方，用于采集驾驶员的影像；以及处理器，通信连接所述摄像头，并配置为：利用所述摄像头采集所述驾驶员的影像；对所述驾驶员的影像进行影像识别，以确定所述驾驶员的眼部动作；对所述眼部动作进行统计；以及根据所述统计的结果判断所述驾驶员是否疲劳驾驶。本发明能够监测驾驶员是否存在疲劳驾驶的状况，从而避免交通事故的隐患。

Description

一种疲劳驾驶的监测装置及方法
技术领域
本发明涉及交通安全领域，尤其涉及一种疲劳驾驶的监测装置，以及一种疲劳驾驶的监测方法。
背景技术
汽车作为一种常见的交通工具，已经广泛应用于客运、货运等多种运输领域。基于汽车的公路交通，也是当前运输领域中成本最低、运输最灵活、应用最广泛的一种选择。
相比于航空运输和铁路运输，基于汽车的公路运输的速度相对较慢。尤其是在跨市、跨省的长途运输中，汽车运输往往需要经历一段漫长而枯燥的运输时间。这一运输时间少则几小时多则几天，往往会给司机带来严重的疲倦感和枯燥感。这种疲倦和枯燥的感觉容易引发司机疲劳驾驶和注意力散漫的问题，从而酿成交通事故的隐患。
为了克服上述问题，本领域亟需一种疲劳驾驶的监测技术，用于监测驾驶员是否存在疲劳驾驶的状况，从而避免交通事故的隐患。
发明内容
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之前序。
为了克服上述问题，本发明提供了一种疲劳驾驶的监测装置、一种疲劳驾驶的监测方法，以及一种计算机可读存储介质，用于监测驾驶员是否存在疲劳驾驶的状况，从而避免交通事故的隐患。
本发明提供的上述疲劳驾驶的监测装置包括：摄像头，设于驾驶位前方，用于采集驾驶员的影像；以及处理器，通信连接所述摄像头，并配置为：利用所述摄像头采集所述驾驶员的影像；对所述驾驶员的影像进行影像识别，以确定所述驾驶员的眼部动作；对所述眼部动作进行统计；以及根据所述统计的结果判断所述驾驶员是否疲劳驾驶。
优选地，在本发明的一些实施例中，所述眼部动作包括但不限于眨眼动作。所述处理器可以进一步配置为：基于所述影像识别的结果，统计所述驾驶员的眨眼频率和每次眨眼动作中眼皮合上的时长；以及响应于所述驾驶员的眨眼频率高于预设的频率阈值，或多次眨眼动作中眼皮合上的平均时长大于第一时间阈值，判断所述驾驶员疲劳驾驶。
优选地，在本发明的一些实施例中，所述处理器还可以配置为：对所述驾驶员的影像进行影像识别，以确定所述驾驶员的张嘴动作；响应于所述驾驶员的嘴巴张大到预设程度而将张嘴计数加一，以统计所述驾驶员的张嘴动作；以及响应于一个统计周期内所述张嘴计数的数值超过第一阈值，判断所述驾驶员疲劳驾驶。
可选地，在本发明的一些实施例中，所述处理器还可以配置为：对所述驾驶员的影像进行影像识别，以确定所述驾驶员的点头动作；响应于所述驾驶员的点头动作而将点头计数加一，以统计所述驾驶员的点头动作；以及响应于一个统计周期内所述点头计数的数值超过第二阈值，判断所述驾驶员疲劳驾驶。
可选地，在本发明的一些实施例中，所述眼部动作还可以包括眼球动作。所述处理器还可以配置为：基于所述影像识别的结果，统计所述驾驶员看向前方的时长；以及响应于一个统计周期内所述驾驶员看向前方的时长小于第二时间阈值，判断所述驾驶员注意力散漫。
优选地，在本发明的一些实施例中，所述处理器还可以配置为：基于所述影像识别的结果，统计所述驾驶员看向固定方向的持续时间；以及响应于所述驾驶员看向固定方向的持续时间大于第三时间阈值，判断所述驾驶员注意力散漫。
可选地，在本发明的一些实施例中，所述处理器还可以配置为：响应于判断所述驾驶员疲劳驾驶，控制车辆进行限速操作和/或减速操作，并利用所述车辆的扬声器警示所述驾驶员；和/或响应于判断所述驾驶员注意力散漫，利用所述车辆的扬声器警示所述驾驶员。
优选地，在本发明的一些实施例中，所述处理器可以进一步配置为：通过电子控制单元向所述车辆的动力系统发送限速指令，以控制所述车辆降低驱动力；和/或通过所述电子控制单元向所述车辆的制动系统发送制动指令，以控制所述车辆提升制动力。
可选地，在本发明的一些实施例中，所述处理器还可以配置为：响应于判断所述驾驶员疲劳驾驶或注意力散漫，利用所述车辆的无线通信模块向云端发送对应的提示消息，以指示所述疲劳驾驶或所述注意力散漫的情况。
可选地，在本发明的一些实施例中，所述摄像头包括但不限于红外摄像头，可以设于所述驾驶位前方的A柱内侧，并对准所述驾驶位，用于采集所述驾驶员的红外影像。
根据本发明的另一方面，本文还提供了一种疲劳驾驶的监测方法。
本发明提供的上述疲劳驾驶的检测方法包括：利用摄像头采集驾驶员的影像，所述摄像头设于驾驶位前方；对所述驾驶员的影像进行影像识别，以确定所述驾驶员的眼部动作；对所述眼部动作进行统计；以及根据所述统计的结果判断所述驾驶员是否疲劳驾驶。
优选地，在本发明的一些实施例中，所述眼部动作包括但不限于眨眼动作。对所述眼部动作进行统计的步骤可以包括：基于所述影像识别的结果，统计所述驾驶员的眨眼频率和每次眨眼动作中眼皮合上的时长。根据所述统计的结果判断所述驾驶员是否疲劳驾驶的步骤可以包括：响应于所述驾驶员的眨眼频率高于预设的频率阈值，或多次眨眼动作中眼皮合上的平均时长大于第一时间阈值，判断所述驾驶员疲劳驾驶。
优选地，在本发明的一些实施例中，所述监测方法还可以包括：对所述驾驶员的影像进行影像识别，以确定所述驾驶员的张嘴动作；响应于所述驾驶员的嘴巴张大到预设程度而将张嘴计数加一，以统计所述驾驶员的张嘴动作；以及响应于一个统计周期内所述张嘴计数的数值超过第一阈值，判断所述驾驶员疲劳驾驶。
可选地，在本发明的一些实施例中，所述监测方法还可以包括：对所述驾驶员的影像进行影像识别，以确定所述驾驶员的点头动作；响应于所述驾驶员的点头动作而将点头计数加一，以统计所述驾驶员的点头动作；以及响应于一个统计周期内所述点头计数的数值超过第二阈值，判断所述驾驶员疲劳驾驶。
可选地，在本发明的一些实施例中，所述眼部动作还可以包括眼球动作。所述监测方法还可以包括：基于所述影像识别的结果，统计所述驾驶员看向前方的时长；以及响应于一个统计周期内所述驾驶员看向前方的时长小于第二时间阈值，判断所述驾驶员注意力散漫。
优选地，在本发明的一些实施例中，所述监测方法还可以包括：基于所述影像识别的结果，统计所述驾驶员看向固定方向的持续时间；以及响应于所述驾驶员看向固定方向的持续时间大于第三时间阈值，判断所述驾驶员注意力散漫。
可选地，在本发明的一些实施例中，所述监测方法还可以包括：响应于判断所述驾驶员疲劳驾驶，控制车辆进行限速操作和/或减速操作，并利用所述车辆的扬声器警示所述驾驶员；和/或响应于判断所述驾驶员注意力散漫，利用所述车辆的扬声器警示所述驾驶员。
优选地，在本发明的一些实施例中，控制所述车辆进行限速操作和/或减速操作的步骤可以包括：通过电子控制单元向所述车辆的动力系统发送限速指令，以控制所述车辆降低驱动力；和/或通过所述电子控制单元向所述车辆的制动系统发送制动指令，以控制所述车辆提升制动力。
可选地，在本发明的一些实施例中，所述监测方法还可以包括：响应于判断所述驾驶员疲劳驾驶或注意力散漫，利用所述车辆的无线通信模块向云端发送对应的提示消息，以指示所述疲劳驾驶或所述注意力散漫的情况。
可选地，在本发明的一些实施例中，所述摄像头包括但不限于红外摄像头，可以设于所述驾驶位前方的A柱内侧，并对准所述驾驶位。采集所述驾驶员的影像的步骤可以包括：利用所述红外摄像头采集所述驾驶员的红外影像。
根据本发明的另一方面，本文还提供了一种计算机可读存储介质。
本发明提供的上述计算机可读存储介质，其上存储有计算机指令。所述计算机指令被处理器执行时，可以实施上述任意一个实施例所提供的疲劳驾驶的监测方法，用于监测驾驶员是否存在疲劳驾驶的状况，从而避免交通事故的隐患。
附图说明
在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
图1示出了根据本发明的一些实施例提供的疲劳驾驶监测装置的架构示意图。
图2示出了根据本发明的一些实施例提供的摄像头的安装位置示意图。
图3示出了根据本发明的一些实施例提供的疲劳驾驶监测方法的流程示意图。
附图标记：
11 红外摄像头；
12 处理器；
131 音频数字信号处理芯片；
132 功率放大器；
133 扬声器；
14 电子控制单元；
151 油门电机；
152 节气门；
16 刹车控制器；
17 无线通信模块；
18 云端服务器；
19 车队；
301～304 疲劳驾驶监测方法的步骤。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。虽然本发明的描述将结合优选实施例一起介绍，但这并不代表此发明的特征仅限于该实施方式。恰恰相反，结合实施方式作发明介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。为了提供对本发明的深度了解，以下描述中将包含许多具体的细节。本发明也可以不使用这些细节实施。此外，为了避免混乱或模糊本发明的重点，有些具体细节将在描述中被省略。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
另外，在以下的说明中所使用的“上”、“下”、“左”、“右”、“顶”、“底”、“水平”、“垂直”应被理解为该段以及相关附图中所绘示的方位。此相对性的用语仅是为了方便说明之用，其并不代表其所叙述的装置需以特定方位来制造或运作，因此不应理解为对本发明的限制。
能理解的是，虽然在此可使用用语“第一”、“第二”、“第三”等来叙述各种组件、区域、层和/或部分，这些组件、区域、层和/或部分不应被这些用语限定，且这些用语仅是用来区别不同的组件、区域、层和/或部分。因此，以下讨论的第一组件、区域、层和/或部分可在不偏离本发明一些实施例的情况下被称为第二组件、区域、层和/或部分。
如上所述，在跨市、跨省的长途运输中，汽车运输往往需要经历一段漫长而枯燥的运输时间。这一运输时间少则几小时多则几天，往往会给司机带来严重的疲倦感和枯燥感。这种疲倦和枯燥的感觉容易引发司机疲劳驾驶和注意力散漫的问题，从而酿成交通事故的隐患。
为了克服上述问题，发明提供了一种疲劳驾驶的监测装置、一种疲劳驾驶的监测方法，以及一种计算机可读存储介质，用于监测车辆的驾驶员是否存在疲劳驾驶的状况，从而避免交通事故的隐患。在一些实施例中，该疲劳驾驶的监测技术可以着重应用于客运巴士、货运卡车等大型车辆，用于防止大型车辆失控导致的重大交通事故。
请参考图1，图1示出了根据本发明的一些实施例提供的疲劳驾驶监测装置的架构示意图。
如图1所示，在本发明的一些实施例中，疲劳驾驶监测装置可以包括摄像头11和处理器12。该摄像头11设于驾驶位前方，用于采集驾驶员的影像。该处理器12通信连接摄像头11，适于执行一种疲劳驾驶的监测方法，对摄像头11采集的驾驶员影像进行影像识别，以判断驾驶员是否存在疲劳驾驶的问题。
请参考图2，图2示出了根据本发明的一些实施例提供的摄像头的安装位置示意图。
如图2所示，在一些实施例中，上述摄像头11可以选用红外摄像头，用于在夜间、地下车库等光线不佳的场景中采集驾驶员的红外影像，以确保处理器12影像识别的准确度。在一些实施例中，该红外摄像头11可以设于驾驶位前方的A柱内侧并对准驾驶位。该红外摄像头11的数据传输线可以从A柱内部的中空结构连接到处理器12所在的车辆控制系统端，以实现红外摄像头11和处理器12的通信连接。在一些实施例中，该红外摄像头11的安装高度可以适应于成人的坐高来设置，用于着重采集驾驶员上半身的影像，以供处理器12判断驾驶员的眼部动作、张嘴动作和点头动作。
在一些实施例中，上述处理器12可以选用片上系统(System on Chip，SOC)。该片上系统12可以设于车辆的控制系统端，适于执行一种疲劳驾驶的监测方法，对摄像头11采集的驾驶员影像进行影像识别，以判断驾驶员是否存在疲劳驾驶的问题。如图1所示，在一些实施例中，片上系统12还可以通信连接车辆的音响设备、通信模块和多个执行机构，用于针对不同的判断结果执行对应的提醒操作和安全措施。
以下将结合一些疲劳驾驶的监测方法来描述上述监测装置的工作原理。本领域的技术人员可以理解，这些监测方法只是本发明提供的一些非限制性的实施例，旨在清楚地展示本发明的主要构思，并提供一些便于公众实施的具体方案，而非用于限制本发明的保护范围。
请参考图3，图3示出了根据本发明的一些实施例提供的疲劳驾驶监测方法的流程示意图。
如图3所示，本发明提供的上述疲劳驾驶的监测方法可以包括步骤301：利用摄像头采集驾驶员的影像。
如上所述，摄像头11可以设于驾驶位前方的A柱内侧并对准驾驶位。在一些实施例中，响应于驾驶员启动车辆的操作，处理器12可以向摄像头11发送激活请求，启动摄像头11来实时采集驾驶员上半身的影像。
本领域的技术人员可以理解，上述从驾驶员启动车辆开始采集其影像的方案只是本发明提供的一种非限制性的具体案例，旨在清楚地展示本发明的主要构思，并提供一些便于公众实施的具体方案，而非用于限制本发明的保护范围。
可选地，在另一些实施例中，处理器12也可以响应于车辆的行驶速度大于预设的速度阈值(例如：30km/h)，或响应于车辆持续行驶的时间超过预设的时间阈值(例如：1小时)，才向摄像头11发送激活请求，以启动摄像头11来实时采集驾驶员上半身的影像。
如图3所示，本发明提供的上述疲劳驾驶的监测方法还可以包括步骤302：对驾驶员的影像进行影像识别，以确定驾驶员的眼部动作。
在一些实施例中，摄像头11可以实时地将采集到的视频信号发送给处理器12，以供处理器12进行影像识别。处理器12可以是疲劳驾驶监测装置的专用处理器，具有强大的图像处理功能，用于对摄像头11采集的实时影像进行实时的影像识别，从而确保疲劳驾驶判断的实时性。
在对驾驶员的影像进行影像识别时，处理器12可以着重识别驾驶员的眼部动作，用于判断驾驶员是否疲劳驾驶。该眼部动作包括但不限于眨眼动作和眼球动作。在一些实施例中，处理器12可以根据驾驶员眨眼的频率及眼皮合上的时长来判断驾驶员的疲劳状态。在另一些实施例中，处理器12可以根据驾驶员的眼球动作推算驾驶员视线的聚焦点，并根据该视线的聚焦点来判断驾驶员注意力的集中程度。
如图3所示，本发明提供的上述疲劳驾驶的监测方法还可以包括步骤303：对眼部动作进行统计。
在上述眨眼动作的实施例中，处理器12可以基于影像识别的结果，统计一个时间周期(例如：1～5分钟)内驾驶员的眨眼次数，并记录驾驶员每次眨眼时眼皮合上的时间长度。之后，处理器12可以根据驾驶员的眨眼次数计算其眨眼频率，并根据一个时间周期中多次眨眼时眼皮合上的总时间长度，计算眼皮合上的平均时长。
如图3所示，本发明提供的上述疲劳驾驶的监测方法还可以包括步骤304：根据统计的结果判断驾驶员是否疲劳驾驶。
响应于驾驶员的眨眼频率高于预设的频率阈值(例如：30次/分钟)，处理器12可以判断驾驶员存在眼干的症状，可能存在疲劳驾驶的情况。响应于驾驶员多次眨眼动作中眼皮合上的平均时长大于第一时间阈值(例如：1秒)，处理器12可以判断驾驶员存在疲劳驾驶的情况，且驾驶员即将进入瞌睡状态，严重影响了其观察路况的能力。
通过对眨眼频率和眼皮合上的平均时长进行统计，再基于统计结果来判断驾驶员是否疲劳驾驶，可以有效避免识别错误或驾驶员的偶然动作引发误判的问题，从而避免影响驾驶员的驾驶体验。
在一些优选的实施例中，为了确保统计结果的实时性，在完成一个时间周期的统计之后，处理器12可以直接以新的数据替换最早的数据，以达到每个采样周期(例如：1毫秒)更新一次统计结果的效果。
在本发明的一些的实施例中，处理器12还可以对驾驶员的影像做进一步的影像识别，从而基于驾驶员的嘴部动作和/或头部动作来进一步验证驾驶员是否疲劳驾驶。
具体来说，处理器12可以首先对驾驶员的影像进行影像识别，以确定驾驶员的张嘴动作。当识别到驾驶员的嘴巴张大到预设程度时，处理器12可以判断驾驶员在打哈欠，从而将张嘴计数加一以统计驾驶员在一个时间周期内打哈欠的次数。当驾驶员在一个统计周期内张嘴计数的数值超过第一阈值(例如：3次)时，处理器12可以判断驾驶员处于困倦的状态，存在疲劳驾驶的可能。
此外，处理器12还可以对驾驶员的影像进行影像识别，以确定驾驶员的点头动作。当识别到驾驶员的脸部向下倾斜到预设角度时，处理器12可以判断驾驶员做出了一次点头动作，从而将点头计数加一以统计驾驶员在一个时间周期内点头的次数。当驾驶员在一个统计周期内点头计数的数值超过第二阈值(例如：5次)时，处理器12可以判断驾驶员已经进入瞌睡的状态，存在疲劳驾驶的情况。
通过对张嘴动作和点头动作进行统计，再基于统计结果来验证驾驶员是否疲劳驾驶，可以有效避免因驾驶员打喷嚏、交谈等正常行为导致疲劳驾驶的误判问题，从而避免影响驾驶员的驾驶体验。
在一些实施例中，在基于眨眼频率、眼皮闭合时间、张嘴动作和点头动作做出驾驶员是否疲劳驾驶的判断后，处理器12可以进一步对各判断结果进行加权求和，以得出一个综合的判断结果。该加权求和中各参数的加权系数，可以根据各参数对交通安全的危害程度来决定。例如：严重影响驾驶员观察路况的眼皮闭合时间所对应的判断结果可以配置最高的加权系数；指示驾驶员进入瞌睡状态的点头动作的对应的判断结果可以配置次高的加权系数；指示驾驶员眼干、困倦的眨眼频率和张嘴动作对应的判断结果可以配置较低的加权系数。
在本发明的一些实施例中，疲劳驾驶的监测装置还可以基于驾驶员的眼球动作推算驾驶员视线的聚焦点，并根据该视线的聚焦点来判断驾驶员注意力的集中程度。
具体来说，在驾驶员正常驾驶时，其视线应当主要看向前方，偶尔看向两旁。处理器12可以基于影像识别的结果推算驾驶员视线的聚焦点，并统计驾驶员在一个统计周期(例如：10分钟)内看向前方的时间长度。若一个统计周期内，驾驶员看向前方的时长大于预设的第二时间阈值(例如：9分钟)，处理器12可以判断驾驶员注意力集中。反之，若一个统计周期内，驾驶员看向前方的时长小于该第二时间阈值，处理器12可以判断驾驶员注意力散漫，存在引发交通事故的隐患。
在一些优选的实施例中，疲劳驾驶的监测装置还可以进一步基于驾驶员看向固定方向的持续时间来判断驾驶员注意力的集中程度。如上所述，在驾驶员正常驾驶时，其视线应当主要看向前方，偶尔看向两旁。即使驾驶员的视线始终看向前方，其视线的聚焦点也会随前方景物的后退而出现轻微的周期性变化。反之，当驾驶员发生注意力散漫的情况时，其视线的聚焦点可能停留在方向盘、引擎盖或其他虚点上，而不会随前方景物的后退而出现变化。
针对上述情况，处理器12可以基于影像识别的结果推算驾驶员视线的聚焦点，并统计驾驶员看向固定方向的持续时间。响应于驾驶员看向固定方向的持续时间大于第三时间阈值(例如：10秒)，处理器12可以判断驾驶员注意力散漫，存在引发交通事故的隐患。
在本发明的一些实施例中，在判断驾驶员存在疲劳驾驶或注意力散漫的情况后，疲劳驾驶的监测装置还可以根据具体的判断结果采取对应的提醒措施和安全防护措施，以保障车辆的安全行驶。
具体来说，在图1所示的实施例中，处理器12可以连接车辆的音频数字信号处理(Audio Digital Signal Processing，ADSP)芯片131。该ADSP芯片131通过功率放大器132进一步连接车辆的扬声器133。响应于判断驾驶员注意力散漫，处理器12可以判断这种情况具有一定的危险性，但驾驶员仍可以继续驾驶车辆。此时，处理器12可以向ADSP芯片131发送警示请求，以利用车辆的扬声器133警示驾驶员集中注意力。
响应于判断驾驶员疲劳驾驶，处理器12可以判断这种情况具有较高的危险性，并且驾驶员不适宜继续驾驶车辆。此时，处理器12可以通过电子控制单元(ElectronicControl Unit，ECU)14向车辆动力系统的油门电机151发送限速指令，控制节气门152降低对车辆的驱动力以进行限速操作。此外，处理器12还可以通过电子控制单元14向车辆制动系统的刹车控制器16发送制动指令，控制制动执行机构提升对车辆的制动力以进行减速操作。在一些实施例中，响应于判断驾驶员疲劳驾驶，处理器12还可以向ADSP芯片131发送警示请求，以利用车辆的扬声器133警示驾驶员尽快在安全位置停车休息。
如图1所示，在本发明的一些实施例中，处理器12还可以连接无线通信模块17。该无线通信模块17可以是疲劳驾驶的监测装置内置的通信模块，也可以是设于车辆端的通信模块。该无线通信模块17可以选用4G模块，适于利用蜂窝网络来与云端服务器18进行通信。
响应于判断驾驶员出现疲劳驾驶或注意力散漫的情况，处理器12可以利用该无线通信模块17向云端的服务器18发送对应的提示消息，以指示该疲劳驾驶的情况或注意力散漫的情况。运输车队19的管理者可以从云端的服务器18实时监控车队各车辆的驾驶员的驾驶情况，并通过设立奖惩制度来敦促驾驶员不要进行疲劳驾驶，从而避免交通事故的隐患。
尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。
根据本发明的另一方面，本文还提供了一种计算机可读存储介质。
本发明提供的上述计算机可读存储介质，其上存储有计算机指令。该计算机指令被处理器12执行时，可以实施上述任意一个实施例所提供的疲劳驾驶的监测方法，用于监测驾驶员是否存在疲劳驾驶的状况，从而避免交通事故的隐患。
尽管上述的实施例所述的处理器12可以通过软件与硬件的组合来实现。但是可以理解，该处理器12也可以单独在软件或硬件中加以实施。对于硬件实施而言，处理器12可以在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、用于执行上述功能的其它电子装置或上述装置的选择组合来加以实施。对软件实施而言，处理器12可通过在通用芯片上运行的诸如程序模块(procedures)和函数模块(functions)等独立的软件模块来加以实施，其中每一个模块可以执行一个或多个本文中描述的功能和操作。
提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (21)

1.一种疲劳驾驶的监测装置，其特征在于，包括：
摄像头，设于驾驶位前方，用于采集驾驶员的影像；以及
处理器，通信连接所述摄像头，并配置为：
利用所述摄像头采集所述驾驶员的影像；
对所述驾驶员的影像进行影像识别，以确定所述驾驶员的眼部动作；
对所述眼部动作进行统计；以及
根据所述统计的结果判断所述驾驶员是否疲劳驾驶。
2.如权利要求1所述的监测装置，其特征在于，所述眼部动作包括眨眼动作，所述处理器进一步配置为：
基于所述影像识别的结果，统计所述驾驶员的眨眼频率和每次眨眼动作中眼皮合上的时长；以及
响应于所述驾驶员的眨眼频率高于预设的频率阈值，或多次眨眼动作中眼皮合上的平均时长大于第一时间阈值，判断所述驾驶员疲劳驾驶。
3.如权利要求2所述的监测装置，其特征在于，所述处理器还配置为：
对所述驾驶员的影像进行影像识别，以确定所述驾驶员的张嘴动作；
响应于所述驾驶员的嘴巴张大到预设程度而将张嘴计数加一，以统计所述驾驶员的张嘴动作；以及
响应于一个统计周期内所述张嘴计数的数值超过第一阈值，判断所述驾驶员疲劳驾驶。
4.如权利要求2所述的监测装置，其特征在于，所述处理器还配置为：
对所述驾驶员的影像进行影像识别，以确定所述驾驶员的点头动作；
响应于所述驾驶员的点头动作而将点头计数加一，以统计所述驾驶员的点头动作；以及
响应于一个统计周期内所述点头计数的数值超过第二阈值，判断所述驾驶员疲劳驾驶。
5.如权利要求2所述的监测装置，其特征在于，所述眼部动作还包括眼球动作，所述处理器还配置为：
基于所述影像识别的结果，统计所述驾驶员看向前方的时长；以及
响应于一个统计周期内所述驾驶员看向前方的时长小于第二时间阈值，判断所述驾驶员注意力散漫。
6.如权利要求5所述的监测装置，其特征在于，所述处理器还配置为：
基于所述影像识别的结果，统计所述驾驶员看向固定方向的持续时间；以及
响应于所述驾驶员看向固定方向的持续时间大于第三时间阈值，判断所述驾驶员注意力散漫。
7.如权利要求1所述的监测装置，其特征在于，所述处理器还配置为：
响应于判断所述驾驶员疲劳驾驶，控制车辆进行限速操作和/或减速操作，并利用所述车辆的扬声器警示所述驾驶员；和/或
响应于判断所述驾驶员注意力散漫，利用所述车辆的扬声器警示所述驾驶员。
8.如权利要求7所述的监测装置，其特征在于，所述处理器进一步配置为：
通过电子控制单元向所述车辆的动力系统发送限速指令，以控制所述车辆降低驱动力；和/或
通过所述电子控制单元向所述车辆的制动系统发送制动指令，以控制所述车辆提升制动力。
9.如权利要求1所述的监测装置，其特征在于，所述处理器还配置为：
响应于判断所述驾驶员疲劳驾驶或注意力散漫，利用所述车辆的无线通信模块向云端发送对应的提示消息，以指示所述疲劳驾驶或所述注意力散漫的情况。
10.如权利要求1所述的监测装置，其特征在于，所述摄像头包括红外摄像头，设于所述驾驶位前方的A柱内侧，对准所述驾驶位，用于采集所述驾驶员的红外影像。
11.一种疲劳驾驶的监测方法，其特征在于，包括：
利用摄像头采集驾驶员的影像，所述摄像头设于驾驶位前方；
对所述驾驶员的影像进行影像识别，以确定所述驾驶员的眼部动作；
对所述眼部动作进行统计；以及
根据所述统计的结果判断所述驾驶员是否疲劳驾驶。
12.如权利要求11所述的监测方法，其特征在于，所述眼部动作包括眨眼动作，对所述眼部动作进行统计的步骤包括：基于所述影像识别的结果，统计所述驾驶员的眨眼频率和每次眨眼动作中眼皮合上的时长，
根据所述统计的结果判断所述驾驶员是否疲劳驾驶的步骤包括：响应于所述驾驶员的眨眼频率高于预设的频率阈值，或多次眨眼动作中眼皮合上的平均时长大于第一时间阈值，判断所述驾驶员疲劳驾驶。
13.如权利要求12所述的监测方法，其特征在于，还包括：
对所述驾驶员的影像进行影像识别，以确定所述驾驶员的张嘴动作；
响应于所述驾驶员的嘴巴张大到预设程度而将张嘴计数加一，以统计所述驾驶员的张嘴动作；以及
响应于一个统计周期内所述张嘴计数的数值超过第一阈值，判断所述驾驶员疲劳驾驶。
14.如权利要求12所述的监测方法，其特征在于，还包括：
对所述驾驶员的影像进行影像识别，以确定所述驾驶员的点头动作；
响应于所述驾驶员的点头动作而将点头计数加一，以统计所述驾驶员的点头动作；以及
响应于一个统计周期内所述点头计数的数值超过第二阈值，判断所述驾驶员疲劳驾驶。
15.如权利要求12所述的监测方法，其特征在于，所述眼部动作还包括眼球动作，所述监测方法还包括：
基于所述影像识别的结果，统计所述驾驶员看向前方的时长；以及
响应于一个统计周期内所述驾驶员看向前方的时长小于第二时间阈值，判断所述驾驶员注意力散漫。
16.如权利要求15所述的监测方法，其特征在于，还包括：
基于所述影像识别的结果，统计所述驾驶员看向固定方向的持续时间；以及
响应于所述驾驶员看向固定方向的持续时间大于第三时间阈值，判断所述驾驶员注意力散漫。
17.如权利要求11所述的监测方法，其特征在于，还包括：
响应于判断所述驾驶员疲劳驾驶，控制车辆进行限速操作和/或减速操作，并利用所述车辆的扬声器警示所述驾驶员；和/或
响应于判断所述驾驶员注意力散漫，利用所述车辆的扬声器警示所述驾驶员。
18.如权利要求17所述的监测方法，其特征在于，控制所述车辆进行限速操作和/或减速操作的步骤包括：
通过电子控制单元向所述车辆的动力系统发送限速指令，以控制所述车辆降低驱动力；和/或
通过所述电子控制单元向所述车辆的制动系统发送制动指令，以控制所述车辆提升制动力。
19.如权利要求11所述的监测方法，其特征在于，还包括：
响应于判断所述驾驶员疲劳驾驶或注意力散漫，利用所述车辆的无线通信模块向云端发送对应的提示消息，以指示所述疲劳驾驶或所述注意力散漫的情况。
20.如权利要求11所述的监测方法，其特征在于，所述摄像头包括红外摄像头，设于所述驾驶位前方的A柱内侧，并对准所述驾驶位，采集所述驾驶员的影像的步骤包括：
利用所述红外摄像头采集所述驾驶员的红外影像。
21.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时，实施如权利要求11～20中任一项所述的疲劳驾驶的监测方法。
CN202010896352.5A 2020-08-31 2020-08-31 一种疲劳驾驶的监测装置及方法 Pending CN111986443A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010896352.5A CN111986443A (zh) 2020-08-31 2020-08-31 一种疲劳驾驶的监测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010896352.5A CN111986443A (zh) 2020-08-31 2020-08-31 一种疲劳驾驶的监测装置及方法

Publications (1)

Publication Number Publication Date
CN111986443A true CN111986443A (zh) 2020-11-24

Family

ID=73440469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010896352.5A Pending CN111986443A (zh) 2020-08-31 2020-08-31 一种疲劳驾驶的监测装置及方法

Country Status (1)

Country Link
CN (1) CN111986443A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622600A (zh) * 2012-02-02 2012-08-01 西南交通大学 基于面像与眼动分析的高速列车驾驶员警觉度检测方法
CN103500331A (zh) * 2013-08-30 2014-01-08 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN104688251A (zh) * 2015-03-02 2015-06-10 西安邦威电子科技有限公司 一种多姿态下的疲劳及非正常姿态驾驶检测方法
US20160272217A1 (en) * 2013-10-29 2016-09-22 Jae-Chul Kim Two-step sleepy driving prevention apparatus through recognizing operation, front face, eye, and mouth shape
CN110151166A (zh) * 2019-05-07 2019-08-23 中国电子科技集团公司第二十八研究所 一种基于双模态生物电信号与生理数据的疲劳度评估系统及评估方法
CN110287916A (zh) * 2019-06-28 2019-09-27 浙江吉利控股集团有限公司 一种用于判断驾驶员注意力的方法及系统
CN110532976A (zh) * 2019-09-03 2019-12-03 湘潭大学 基于机器学习和多特征融合的疲劳驾驶检测方法及系统
CN111144311A (zh) * 2019-12-27 2020-05-12 武汉理工大学 一种基于驾驶员注意力的辅助速控方法、装置及系统
CN111582086A (zh) * 2020-04-26 2020-08-25 湖南大学 基于多特征的疲劳驾驶识别方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622600A (zh) * 2012-02-02 2012-08-01 西南交通大学 基于面像与眼动分析的高速列车驾驶员警觉度检测方法
CN103500331A (zh) * 2013-08-30 2014-01-08 北京智谷睿拓技术服务有限公司 提醒方法及装置
US20160180692A1 (en) * 2013-08-30 2016-06-23 Beijing Zhigu Rui Tuo Tech Co., Ltd. Reminding method and reminding device
US20160272217A1 (en) * 2013-10-29 2016-09-22 Jae-Chul Kim Two-step sleepy driving prevention apparatus through recognizing operation, front face, eye, and mouth shape
CN104688251A (zh) * 2015-03-02 2015-06-10 西安邦威电子科技有限公司 一种多姿态下的疲劳及非正常姿态驾驶检测方法
CN110151166A (zh) * 2019-05-07 2019-08-23 中国电子科技集团公司第二十八研究所 一种基于双模态生物电信号与生理数据的疲劳度评估系统及评估方法
CN110287916A (zh) * 2019-06-28 2019-09-27 浙江吉利控股集团有限公司 一种用于判断驾驶员注意力的方法及系统
CN110532976A (zh) * 2019-09-03 2019-12-03 湘潭大学 基于机器学习和多特征融合的疲劳驾驶检测方法及系统
CN111144311A (zh) * 2019-12-27 2020-05-12 武汉理工大学 一种基于驾驶员注意力的辅助速控方法、装置及系统
CN111582086A (zh) * 2020-04-26 2020-08-25 湖南大学 基于多特征的疲劳驾驶识别方法及系统

Similar Documents

Publication Publication Date Title
US10449970B2 (en) Vehicle control system
CN108297874B (zh) 一种用于共享汽车的驾驶员身份授权系统
US8085139B2 (en) Biometric vehicular emergency management system
CN104859651B (zh) 一种提高停车开门安全性的危险探测与预防方法
JP6087088B2 (ja) 乗り物の操作者の遂行見積もりを向上させるためのシステムおよび方法
CN102101438B (zh) 一种疲劳驾驶的判断方法及装置
MX2013009434A (es) Sistema y método de respuesta al comportamiento del conductor.
CN106515742A (zh) 一种车道偏离预警方法及系统
CN209795467U (zh) 一种疲劳驾驶检测系统和车辆
US20210300384A1 (en) Automatically estimating skill levels and confidence levels of drivers
CN109801475A (zh) 疲劳驾驶检测方法、装置及计算机可读存储介质
CN107374603B (zh) 一种安全驾驶判定系统和判定方法
CN111583609A (zh) 一种预警策略差异化设置方法
CN104376684A (zh) 一种可防止疲劳驾驶的监控系统
CN112507976A (zh) 一种车内儿童保护方法、设备、计算机设备、计算机可读存储介质以及车辆
US20200094820A1 (en) Automatically assessing and reducing vehicular incident risk
CN214084149U (zh) 乘员监测系统及车辆
CN113715837B (zh) 车辆安全隐患管理系统和方法
CN210000130U (zh) 一种汽车自识别减速系统
CN111243235A (zh) 驾驶辅助方法及装置
CN111986443A (zh) 一种疲劳驾驶的监测装置及方法
CN112298172A (zh) 一种车载主动安全系统、方法及存储介质
CN108001452A (zh) 基于面部识别技术的防疲劳驾驶系统
CN116394966A (zh) 车辆控制方法、装置、电子设备及存储介质
CN103029666A (zh) 机动车辆防碰撞安全系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20210727

Address after: 19 / F, Meiluo building, 30 Tianyaoqiao Road, Xuhui District, Shanghai, 200233

Applicant after: SHANGHAI PATEO INTERNET TECHNOLOGY SERVICE Co.,Ltd.

Applicant after: SAIC GM WULING AUTOMOBILE Co.,Ltd.

Address before: 19 / F, Meiluo building, 30 Tianyaoqiao Road, Xuhui District, Shanghai, 200233

Applicant before: SHANGHAI PATEO INTERNET TECHNOLOGY SERVICE Co.,Ltd.

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201124

RJ01 Rejection of invention patent application after publication