CN110143202A - 一种危险驾驶识别与预警方法及系统 - Google Patents

一种危险驾驶识别与预警方法及系统 Download PDF

Info

Publication number
CN110143202A
CN110143202A CN201910281785.7A CN201910281785A CN110143202A CN 110143202 A CN110143202 A CN 110143202A CN 201910281785 A CN201910281785 A CN 201910281785A CN 110143202 A CN110143202 A CN 110143202A
Authority
CN
China
Prior art keywords
driver
characteristic
dangerous driving
data
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910281785.7A
Other languages
English (en)
Inventor
吴士力
文爱民
唐志桥
郭兆松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Communications Institute of Technology
Original Assignee
Nanjing Communications Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Communications Institute of Technology filed Critical Nanjing Communications Institute of Technology
Priority to CN201910281785.7A priority Critical patent/CN110143202A/zh
Publication of CN110143202A publication Critical patent/CN110143202A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means

Abstract

本发明公开了一种危险驾驶识别与预警方法及系统，通过获取驾驶员人脸图像及车辆行驶数据，根据驾驶员人脸图像提取人脸特征；根据车辆行驶数据提取驾驶行为特征，对人脸特征与所述驾驶行为特征进行数据融合得到融合特征；根据融合特征对危险驾驶行为进行识别；当识别出有危险驾驶行为时，发出预警信号进行预警。本发明将据驾驶员是否有疲劳特征与车辆驾驶行为的数据进行了有效融合，生成更为有效的危险驾驶行为特征向量作为融合特征，可以比较全面的反应驾驶员的驾驶行为状态，对融合特征进行在线识别，当识别出危险驾驶行为状态后及时进行预警，不仅识别精度高，而且实时性好。

Description

一种危险驾驶识别与预警方法及系统
技术领域
本发明涉及安全驾驶技术领域，具体涉及一种危险驾驶识别与预警方法及系统。
背景技术
现有的危险驾驶预警技术主要分为两类，一类是基于车辆运行状态数据，该类技术实现成本低廉，只需通过从车载网络上提取车速、转向角度等参数，然后对超速、方向盘操纵等危险行为进行识别，但由于车辆驾驶环境和行驶需求的多样性，导致该类技术的准确率较低。另一类通过驾驶室内摄像头采集驾驶员头部图像，基于人工智能算法对其眼、嘴、头部动作进行分析，实现对闭眼、打哈欠、东张西望、打电话或抽烟等危险驾驶行为进行识别，受到识别精度、生理习惯、穿戴物、照明光线等影响，该类技术的有效性也存在一定的约束。
发明内容
因此，本发明提供一种危险驾驶识别与预警方法及系统，克服了现有技术中危险驾驶行为识别精度低的不足。
第一方面，本发明实施例提供一种危险驾驶识别与预警方法，包括如下步骤：获取驾驶员人脸图像及车辆行驶数据；根据所述驾驶员人脸图像提取人脸特征；根据所述车辆行驶数据提取驾驶行为特征；对所述人脸特征与所述驾驶行为特征进行数据融合，得到融合特征；根据所述融合特征对危险驾驶行为进行识别；当识别出有危险驾驶行为时，发出预警信号进行预警。
在一实施例中，所述根据所述驾驶员人脸图像提取人脸特征数据包括：根据所述驾驶员人脸图像，提取第一预设特征点数据；根据所述第一预设特征点数据对驾驶员进行身份验证。
在一实施例中，所述根据所述驾驶员人脸图像提取人脸特征数据包括：根据所述驾驶员人脸图像，提取第二预设特征点数据；根据所述第二预设特征点数据，获取表征驾驶员脸部位置与图像获取装置的距离变化幅度的缩放因子数据。
在一实施例中，所述根据所述驾驶员人脸图像提取人脸特征数据包括：根据所述驾驶员人脸图像，提取第三预设特征点数据；根据第三预设特征点数据及所述缩放因子数据获取眯眼行为特征。
在一实施例中，所述根据所述驾驶员人脸图像提取人脸特征数据包括：根据所述驾驶员人脸图像，提取第四预设特征点数据；根据第四预设特征点数据及所述缩放因子数据获取打哈欠行为特征。
在一实施例中，所述根据所述车辆行驶数据提取驾驶行为特征，包括：表征预设时间段内对方向盘操纵活跃度的转向行为特征、表征预设时间段内对油门操纵的活跃度的加速行为特征、表征预设时间段内有无采取制动行为的制动行为特征以及表征连续行车行为的连续行车时间特征。
在一实施例中，所述对所述人脸特征与所述驾驶行为特征进行数据融合，得到融合特征的步骤，包括：获取打哈欠行为特征及眯眼行为特征；根据眯眼行为特征判定驾驶员有眯眼行为时，获取转向行为特征、加速行为特征、制动行为特征及连续行车时间特征；将所述打哈欠行为特征、眯眼行为特征、转向行为特征、加速行为特征、制动行为特征及连续行车时间特征进行数据融合，得到融合特征。
在一实施例中，所述根据所述融合特征对驾驶行为进行识别的步骤，包括：根据以下公式对危险驾驶行为进行识别：
其中，x1为哈欠行为特征、w1为哈欠行为特征的权重；x2为眯眼行为特征、w2为眯眼行为特征；x3为转向行为特征、w3为转向行为特征的权重；x4为加速行为特征、w4为加速行为特征的权重；x5为制动行为特征、w5为制动行为特征的权重；x6为连续行车时间特征、w6为连续行车时间特征的权重；为各个特征对危险驾驶程度贡献度的线性累加值的Logistic回归模型；β-ρt为随时间衰减的函数。
第二方面，本发明实施例提供一种危险驾驶识别与预警系统，包括如下步骤：获取表征用户个性化特征的有效学习行为数据；根据预设规则及所述有效学习行为信息获取所述用户对学习资源的预测评分；基于所述预测评分生成推荐结果；危险驾驶行为识别模块，用于根据所述融合特征对危险驾驶行为进行识别；预警模块，用于当识别出有危险驾驶行为时，发出预警信号进行预警。
第三方面，本发明实施例提供一种计算机设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行本发明实施例第一方面所述的危险驾驶识别与预警方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本发明实施例第一方面所述的危险驾驶识别与预警方法。
本发明技术方案，具有如下优点：
本发明提供的危险驾驶识别与预警方法及系统，通过获取驾驶员人脸图像及车辆行驶数据，通过获取驾驶员人脸图像及车辆行驶数据，根据驾驶员人脸图像提取人脸特征；根据车辆行驶数据提取驾驶行为特征，对人脸特征与所述驾驶行为特征进行数据融合得到融合特征；根据融合特征对危险驾驶行为进行识别；当识别出有危险驾驶行为时，发出预警信号进行预警。本发明将据驾驶员是否有疲劳特征与车辆驾驶行为的数据进行了有效融合，生成更为有效的危险驾驶行为特征向量作为融合特征，可以比较全面的反应驾驶员的驾驶行为状态，对融合特征进行在线识别，当识别出危险驾驶行为状态后及时进行预警，不仅识别精度高，而且实时性好。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的危险驾驶识别与预警方法一个示例的流程图；
图2为本发明实施例提供的人脸特征点的示意图；
图3为本发明实施例提供的危险驾驶识别与预警方法一个具体示例的流程图；
图4为本发明实施例提供的危险驾驶识别与预警系统的一个具体示例的组成图；
图5为本发明实施例提供的计算机设备一个具体示例的组成图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供一种危险驾驶识别与预警方法，如图1所示，该危险驾驶识别与预警方法，包括如下步骤：
步骤S1:获取驾驶员人脸图像及车辆行驶数据。
本发明实施例中，可以通过在驾驶室内安装红外摄像头拍摄驾驶员的人脸的近红外图像，利用车载OBD接口通过CAN协议解析CAN总线中的数据，来提取车辆的相关行驶数据，仅以此举例，不以此为限。
步骤S2:根据驾驶员人脸图像提取人脸特征。
在本发明实施例中，基于现有的Dlib库的人脸特征点检测API，获取近红外图像中驾驶员脸部的多个特征点，如图2所示可以检测人脸的68个特征点，根据预设的特征点来提取人脸特征来表征人脸疲劳特征，例如是眯眼行为特征、打哈欠行为特征等，仅以此举例，不以此为限。
步骤S3:根据车辆行驶数据提取驾驶行为特征。
在本发明实施例中，可以提取能够反映驾驶员在某时间段内对方向盘的操纵活跃度的转向行为特征，能够反映驾驶员在某时间段内对油门操纵的活跃度的加速行为特征，反映驾驶员在某时间段有无采取制动行为的制动行为特征及连续行车行为的连续行车时间特征，仅以此举例，不以此为限。
步骤S4:对人脸特征与驾驶行为特征进行数据融合，得到融合特征。
在本发明实施例中，将驾驶员的人脸特征与驾驶行为特征进行了有效融合，生成更为有效的危险驾驶行为特征向量作为融合特征，可以比较全面的反映驾驶员的驾驶状态行为，提高识别的准确率。
步骤S5:根据融合特征对危险驾驶行为进行识别。
在本发明实施例中，可以通过一识别器对获取的特征数据进行在线识别，可以快速的识别危险驾驶行为。
步骤S6:当识别出有危险驾驶行为时，发出预警信号进行预警。
在本发明实施例中，当识别出危险驾驶行为状态后，可以通过语音报警进行示警，仅以此举例，不以此为限，在其他实施例中可以通过报警灯或者振动装置提醒驾驶员进行预警。
在本发明实施例中，分别从驾驶员的人脸图像及车辆的相关行驶数据中，提取驾驶员的人脸特征与驾驶行为特征，从而将据驾驶员的是否有疲劳特征与车辆驾驶行为的数据进行了有效融合，生成更为有效的危险驾驶行为特征向量作为融合特征，可以比较全面的反应驾驶员的驾驶状态行为，对融合特征进行在线识别，当识别出危险驾驶行为模式后，则及时进行预警，使得本发明提供的方法不尽识别精度高，同时实时性好。
在一实施例中，如图3所示，在获取驾驶员人脸图像后，首先要根据驾驶员人脸图像，提取第一预设特征点数据，根据第一预设特征点数据对驾驶员进行身份验证，具体地，可以基于现有的Dlib库的人脸识别API，对摄像头采集的驾驶员近红外图像进行识别，并和数据库中的授权驾驶员头部图像进行匹配，匹配度达到预设要求时，接通车载电源。通过车速信号识别出车辆开始运行后，关闭身份验证功能，否则在驾驶员头部离开视频监控区域后，需再次进行身份验证，可以防止授权驾驶员在通过身份验证后，更换未授权驾驶员使用车辆。在人脸识别通过后，提取人脸特征点，根据特征点依次进行人脸测距及人脸疲劳特征提取，同时采集车辆行驶数据，从行驶数据中提取驾驶行为特征，将人脸疲劳特征与驾驶行为特征进行特征融合，输入到识别模型中进行危险驾驶识别，进行危险驾驶预警。
在一实施例中，由于驾驶员图像采集摄像头的安装位置是固定的，而驾驶员脸部相对于摄像头的距离会因坐姿、座椅位置的变化而变化，从而影响驾驶员头部区域特征的有效性。因此，在本发明实施例中，根据驾驶员人脸图像，提取第二预设特征点数据，根据第二预设特征点数据，获取表征驾驶员脸部位置与图像获取装置的距离变化幅度的缩放因子数据，通过获取驾驶员脸部与摄像头距离的变化幅度，可以提高后续针对图像的疲劳特征抽取精度。
在本发明实施例中，通过计算缩放因子来定量驾驶员脸部位置与摄像头之间的距离变化幅度，具体地，可以通过以下公式计算：
其中，y19、y8、y24表示Dlib库中的人脸中如图2所示的第19、第8、第24个特征点的y坐标值，y′19、y′8、y′24为驾驶员身份验证通过时驾驶员人脸图像中第19、第8、第24个特征点的y坐标值。以上特征点的选取仅以此举例，不以此为限。
在一实施例中，根据第三预设特征点数据及缩放因子数据获取眯眼行为特征，具体地，设闭眼事件Ai(b<τ1)，其中:
其中，y37、y41、y38、y40、y43、y47、y44、y46表示实时获取驾驶员人脸图像中如图2所示的第37、第41、第38、第40、第43、第47、第44、第46个特征点的y坐标值，x36、x39、x42、x45表示第36、第39、第42、第45个特征点的x坐标值，表示缩放因子，以上特征点的选取仅以此举例，不以此为限。
本发明实施例中，假设眯眼时间成立，其中为闭眼事件Ai的持续时间c为预设时间窗内事件Mi发生的次数，则眯眼行为特征x1可以表示为：
其中，τ1为判断驾驶员是否出现闭眼现象的阈值，τ2为判断驾驶员是否出现眯眼现象的阈值，该特征值用于表征驾驶员眯眼行为的程度。
在一实施例中，根据第四预设特征点数据及缩放因子数据获取打哈欠行为特征，具体地，设张嘴事件Bi(j>τ3)，其中：
其中，y50、y58、y52、y56表示实时获取驾驶员人脸图像中如图2所示的第50、第58、第52、第56个特征点的y坐标值，x48、x54表示第48、第54个特征点的x坐标值，表示缩放因子，以上特征点的选取仅以此举例，不以此为限。
本发明实施例中，假设哈欠时间成立，其中为张嘴事件Bi的持续时间，c为时间窗内事件Hi发生的次数，则哈欠行为特征x2可以表示为：
其中，τ3为判断驾驶员是否出现张嘴现象的阈值，τ4为判断驾驶员是否出现哈欠现象的阈值，该特征值用于表征驾驶员哈欠行为的程度。
本发明实施例通过眯眼行为特征及哈欠行为特征的计算，即可从进行视觉意义上的疲劳检测，在保证疲劳识别精度的基础上提高了计算速度，从而提高了整体的实时性。
在一实施例中，根据车辆行驶数据提取驾驶行为特征，包括：表征预设时间段内对方向盘操纵活跃度的转向行为特征、表征预设时间段内对油门操纵的活跃度的加速行为特征、表征预设时间段内有无采取制动行为的制动行为特征以及表征连续行车行为的连续行车时间特征。在本发明实施例中，可通过CAN协议解析程序中CAN总线中提取车辆的相关行驶数据。
在一具体实施例中，通过以下公式计算转向行为特征x3：
其中，xi为时间窗内的某个转向角度采样值，为时间窗内采样点均值，n为时间窗内采样点数量。
在一具体实施例中，通过以下公式计算加速行为特征x4：
其中，xi’为时间窗内的某个油门踏板位置采样值，为时间窗内采样点均值，n为时间窗内采样点数量。
在一具体实施例中，通过以下公式计算制动行为特征x5：
x5＝max(xi”)
其中，xi”为时间窗内的某个制动信号采样值，时间窗内制动压力值的最高值，用于反映驾驶员在某时间段有无采取制动行为。
在一具体实施例中，通过以下公式计算连续行车时间x6：
x6＝μt
其中，μ为驾驶时间疲劳因子，t为累计行车时间。
在本发明实施例中，首先获取驾驶员的打哈欠行为特征及眯眼行为特征，根据眯眼行为特征判定驾驶员有眯眼行为时，再获取转向行为特征、加速行为特征、制动行为特征及连续行车时间特征，将打哈欠行为特征、眯眼行为特征、转向行为特征、加速行为特征、制动行为特征及连续行车时间特征进行数据融合，得到融合特征。
在一具体实施例中，首先将特征x1，…，x6进行归一化处理，然后在滑动时间窗内按照下述识别模型鉴别驾驶员是否存在疲劳驾驶：
其中，当y>τ5时，判定为危险驾驶状态，τ5为预设的危险驾驶状态阈值，为各个特征值对疲劳驾驶程度贡献度的线性累加值的Logistic回归模型，β-ρt为随时间衰减的函数，用于降低驾驶员偶然出现的疲劳症状对疲劳驾驶的判断影响。
在本发明实施例中，为了对算法参数和阈值进行训练和设定，征集了100名驾驶员(男72名，女28名)进行驾驶疲劳状态的样本采样，共800份样本，参数包括：样本持续时间：5-10分钟，眯眼频率2-8次，眯眼时长3-10秒，打哈欠频率2-5次，根据采集样本生成的统计量设置阈值：取τ1值为b值的均值，取τ2值为的均值，取τ3值为j值的均值，取τ4值为的均值，使用梯度下降法对w1,…w6,μ,b,β,ρ,τ5等参数进行训练。
在本发明实施例中，训练完成后，将实时获取的摄像头采集图像和车辆行驶数据实测值输入上述识别模型中，即可得到最终的危险驾驶行为的识别结果。
实施例2
本发明实施例提供一种危险驾驶识别与预警系统，如图4所示，该危险驾驶识别与预警系统，包括：
人脸图像及车辆行驶数据获取模块1，用于获取驾驶员人脸图像及车辆行驶数据；此模块执行实施例1中的步骤S1所描述的方法，在此不再赘述。
人脸特征获取模块2，用于根据所述驾驶员人脸图像提取人脸特征；此模块执行实施例1中的步骤S2所描述的方法，在此不再赘述。
驾驶行为特征获取模块3，用于根据所述车辆行驶数据提取驾驶行为特征；此模块执行实施例1中的步骤S3所描述的方法，在此不再赘述。
融合特征获取模块4，用于对所述人脸特征与所述驾驶行为特征进行数据融合，得到融合特征；此模块执行实施例1中的步骤S4所描述的方法，在此不再赘述。
危险驾驶行为识别模块5，用于根据所述融合特征对危险驾驶行为进行识别；此模块执行实施例1中的步骤S5所描述的方法，在此不再赘述。
预警模块6，用于当识别出有危险驾驶行为时，发出预警信号进行预警。
本发明实施例提供的危险驾驶识别与预警系统，根据驾驶员人脸图像提取人脸特征；根据车辆行驶数据提取驾驶行为特征，对人脸特征与所述驾驶行为特征进行数据融合得到融合特征；根据融合特征对危险驾驶行为进行识别；当识别出有危险驾驶行为时，发出预警信号进行预警。本发明将据驾驶员的是否有疲劳特征与车辆驾驶行为的数据进行了有效融合，生成更为有效的危险驾驶行为特征向量作为融合特征，可以比较全面的反应驾驶员的驾驶行为状态，对融合特征进行在线识别，当识别出危险驾驶行为模式后，则及时进行预警，使得本发明提供的方法不尽识别精度高，同时实时性好。
实施例3
本发明实施例提供一种计算机设备，如图5所示，包括：至少一个处理器401，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口403，存储器404，至少一个通信总线402。其中，通信总线402用于实现这些组件之间的连接通信。其中，通信接口403可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口403还可以包括标准的有线接口、无线接口。存储器404可以是高速RAM存储器(Ramdom Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器404可选的还可以是至少一个位于远离前述处理器401的存储装置。其中处理器401可以执行实施例1的危险驾驶识别与预警方法。存储器404中存储一组程序代码，且处理器401调用存储器404中存储的程序代码，以用于执行实施例1的危险驾驶识别与预警方法。
其中，通信总线402可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器404可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器404还可以包括上述种类的存储器的组合。
其中，处理器401可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器401还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器404还用于存储程序指令。处理器401可以调用程序指令，实现如本申请执行实施例1危险驾驶识别与预警方法。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机可执行指令，该计算机可执行指令可执行实施例1的危险驾驶识别与预警方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (11)

1.一种危险驾驶识别与预警方法，其特征在于，包括如下步骤：
获取驾驶员人脸图像及车辆行驶数据；
根据所述驾驶员人脸图像提取人脸特征；
根据所述车辆行驶数据提取驾驶行为特征；
对所述人脸特征与所述驾驶行为特征进行数据融合，得到融合特征；
根据所述融合特征对危险驾驶行为进行识别；
当识别出有危险驾驶行为时，发出预警信号进行预警。
2.根据权利要求1所述的危险驾驶识别与预警方法，其特征在于，所述根据所述驾驶员人脸图像提取人脸特征数据包括：
根据所述驾驶员人脸图像，提取第一预设特征点数据；
根据所述第一预设特征点数据对驾驶员进行身份验证。
3.根据权利要求1或2所述的危险驾驶识别与预警方法，其特征在于，所述根据所述驾驶员人脸图像提取人脸特征数据包括：
根据所述驾驶员人脸图像，提取第二预设特征点数据；
根据所述第二预设特征点数据，获取表征驾驶员脸部位置与图像获取装置的距离变化幅度的缩放因子数据。
4.根据权利要求3所述的危险驾驶识别与预警方法，其特征在于，所述根据所述驾驶员人脸图像提取人脸特征数据包括：
根据所述驾驶员人脸图像，提取第三预设特征点数据；
根据第三预设特征点数据及所述缩放因子数据获取眯眼行为特征。
5.根据权利要求4所述的危险驾驶识别与预警方法，其特征在于，所述根据所述驾驶员人脸图像提取人脸特征数据包括：
根据所述驾驶员人脸图像，提取第四预设特征点数据；
根据第四预设特征点数据及所述缩放因子数据获取打哈欠行为特征。
6.根据权利要求5所述的危险驾驶识别与预警方法，其特征在于，所述根据所述车辆行驶数据提取驾驶行为特征，包括：表征预设时间段内对方向盘操纵活跃度的转向行为特征、表征预设时间段内对油门操纵的活跃度的加速行为特征、表征预设时间段内有无采取制动行为的制动行为特征以及表征连续行车行为的连续行车时间特征。
7.根据权利要求6所述的危险驾驶识别与预警方法，其特征在于，所述对所述人脸特征与所述驾驶行为特征进行数据融合，得到融合特征的步骤，包括：
获取打哈欠行为特征及眯眼行为特征；
根据眯眼行为特征判定驾驶员有眯眼行为时，获取转向行为特征、加速行为特征、制动行为特征及连续行车时间特征；
将所述打哈欠行为特征、眯眼行为特征、转向行为特征、加速行为特征、制动行为特征及连续行车时间特征进行数据融合，得到融合特征。
8.根据权利要求6所述的危险驾驶识别与预警方法，其特征在于，所述根据所述融合特征对驾驶行为进行识别的步骤，包括：根据以下公式对危险驾驶行为进行识别：
其中，x1为哈欠行为特征、w1为哈欠行为特征的权重；x2为眯眼行为特征、w2为眯眼行为特征；x3为转向行为特征、w3为转向行为特征的权重；x4为加速行为特征、w4为加速行为特征的权重；x5为制动行为特征、w5为制动行为特征的权重；x6为连续行车时间特征、w6为连续行车时间特征的权重；为各个特征对危险驾驶程度贡献度的线性累加值的Logistic回归模型；β-ρt为随时间衰减的函数。
9.一种危险驾驶识别与预警系统，其特征在于，包括：
人脸图像及车辆行驶数据获取模块，用于获取驾驶员人脸图像及车辆行驶数据；
人脸特征获取模块，用于根据所述驾驶员人脸图像提取人脸特征；
驾驶行为特征获取模块，用于根据所述车辆行驶数据提取驾驶行为特征；
融合特征获取模块，用于对所述人脸特征与所述驾驶行为特征进行数据融合，得到融合特征；
危险驾驶行为识别模块，用于根据所述融合特征对危险驾驶行为进行识别；
预警模块，用于当识别出有危险驾驶行为时，发出预警信号进行预警。
10.一种计算机设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-8中任一所述危险驾驶识别与预警方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-8中任一所述危险驾驶识别与预警方法。
CN201910281785.7A 2019-04-09 2019-04-09 一种危险驾驶识别与预警方法及系统 Pending CN110143202A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910281785.7A CN110143202A (zh) 2019-04-09 2019-04-09 一种危险驾驶识别与预警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910281785.7A CN110143202A (zh) 2019-04-09 2019-04-09 一种危险驾驶识别与预警方法及系统

Publications (1)

Publication Number Publication Date
CN110143202A true CN110143202A (zh) 2019-08-20

Family

ID=67588724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910281785.7A Pending CN110143202A (zh) 2019-04-09 2019-04-09 一种危险驾驶识别与预警方法及系统

Country Status (1)

Country Link
CN (1) CN110143202A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110509872A (zh) * 2019-09-25 2019-11-29 宝能汽车有限公司 车辆控制方法及车辆
CN110588512A (zh) * 2019-09-25 2019-12-20 武汉极目智能技术有限公司 一种危险驾驶识别与预警装置、方法及系统
CN111310562A (zh) * 2020-01-10 2020-06-19 中国平安财产保险股份有限公司 基于人工智能的车辆驾驶风险管控方法及其相关设备
CN112381015A (zh) * 2020-11-19 2021-02-19 联通智网科技有限公司 疲劳度识别方法、装置和设备
CN112677980A (zh) * 2020-12-31 2021-04-20 深兰盛视科技（苏州）有限公司 车辆行驶信息获取方法、装置、终端及其存储介质
CN112836556A (zh) * 2019-11-25 2021-05-25 西安诺瓦星云科技股份有限公司 行为识别装置及方法和基于显示屏的行为识别系统
CN113011347A (zh) * 2021-03-23 2021-06-22 深圳市创乐慧科技有限公司 一种基于人工智能的智能驾驶方法、装置及相关产品
CN113449678A (zh) * 2021-07-14 2021-09-28 宝能(广州)汽车研究院有限公司 驾驶状态的检测方法、装置、计算机设备及存储介质
CN113762123A (zh) * 2021-08-31 2021-12-07 同济大学 一种驾驶员使用手机检测方法及计算机可读介质
WO2023168745A1 (zh) * 2022-03-07 2023-09-14 深圳市德驰微视技术有限公司 基于域控制器平台的车辆驾驶员监测方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872171A (zh) * 2009-04-24 2010-10-27 中国农业大学 基于信息融合的驾驶员疲劳状态识别方法和系统
CN104361332A (zh) * 2014-12-08 2015-02-18 重庆市科学技术研究院 一种用于疲劳驾驶检测的人脸眼睛区域定位方法
CN106952002A (zh) * 2017-04-05 2017-07-14 南京人人保网络技术有限公司 基于驾驶行为的驾驶风险评估方法及装置
DE102017002587A1 (de) * 2017-03-16 2018-01-04 Daimler Ag Verfahren zum Betrieb eines Fahrerassistenzsystems
CN107958269A (zh) * 2017-11-28 2018-04-24 江苏大学 一种基于隐马尔可夫模型的行车危险度预测方法
CN108268678A (zh) * 2016-12-30 2018-07-10 上海擎感智能科技有限公司 驾驶行为分析方法、装置及系统
CN109460780A (zh) * 2018-10-17 2019-03-12 深兰科技（上海）有限公司 人工神经网络的车辆安全驾驶检测方法、装置及存储介质
CN109543577A (zh) * 2018-11-09 2019-03-29 上海物联网有限公司 一种基于面部表情特征的疲劳驾驶检测预警方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872171A (zh) * 2009-04-24 2010-10-27 中国农业大学 基于信息融合的驾驶员疲劳状态识别方法和系统
CN104361332A (zh) * 2014-12-08 2015-02-18 重庆市科学技术研究院 一种用于疲劳驾驶检测的人脸眼睛区域定位方法
CN108268678A (zh) * 2016-12-30 2018-07-10 上海擎感智能科技有限公司 驾驶行为分析方法、装置及系统
DE102017002587A1 (de) * 2017-03-16 2018-01-04 Daimler Ag Verfahren zum Betrieb eines Fahrerassistenzsystems
CN106952002A (zh) * 2017-04-05 2017-07-14 南京人人保网络技术有限公司 基于驾驶行为的驾驶风险评估方法及装置
CN107958269A (zh) * 2017-11-28 2018-04-24 江苏大学 一种基于隐马尔可夫模型的行车危险度预测方法
CN109460780A (zh) * 2018-10-17 2019-03-12 深兰科技（上海）有限公司 人工神经网络的车辆安全驾驶检测方法、装置及存储介质
CN109543577A (zh) * 2018-11-09 2019-03-29 上海物联网有限公司 一种基于面部表情特征的疲劳驾驶检测预警方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110509872A (zh) * 2019-09-25 2019-11-29 宝能汽车有限公司 车辆控制方法及车辆
CN110588512A (zh) * 2019-09-25 2019-12-20 武汉极目智能技术有限公司 一种危险驾驶识别与预警装置、方法及系统
CN112836556A (zh) * 2019-11-25 2021-05-25 西安诺瓦星云科技股份有限公司 行为识别装置及方法和基于显示屏的行为识别系统
CN111310562A (zh) * 2020-01-10 2020-06-19 中国平安财产保险股份有限公司 基于人工智能的车辆驾驶风险管控方法及其相关设备
CN112381015A (zh) * 2020-11-19 2021-02-19 联通智网科技有限公司 疲劳度识别方法、装置和设备
CN112677980A (zh) * 2020-12-31 2021-04-20 深兰盛视科技（苏州）有限公司 车辆行驶信息获取方法、装置、终端及其存储介质
CN113011347A (zh) * 2021-03-23 2021-06-22 深圳市创乐慧科技有限公司 一种基于人工智能的智能驾驶方法、装置及相关产品
CN113449678A (zh) * 2021-07-14 2021-09-28 宝能(广州)汽车研究院有限公司 驾驶状态的检测方法、装置、计算机设备及存储介质
CN113762123A (zh) * 2021-08-31 2021-12-07 同济大学 一种驾驶员使用手机检测方法及计算机可读介质
CN113762123B (zh) * 2021-08-31 2022-11-18 同济大学 一种驾驶员使用手机检测方法及计算机可读介质
WO2023168745A1 (zh) * 2022-03-07 2023-09-14 深圳市德驰微视技术有限公司 基于域控制器平台的车辆驾驶员监测方法及装置

Similar Documents

Publication Publication Date Title
CN110143202A (zh) 一种危险驾驶识别与预警方法及系统
CN106618524B (zh) 丧失驾驶能力的检测和预防
CN104599545B (zh) 用于行车过程中的行车状态监测方法、装置和导航设备
US10391406B2 (en) Apparatus and method for safe drive inducing game
CN110765807B (zh) 驾驶行为分析、处理方法、装置、设备和存储介质
CN106585635B (zh) 驾驶行为评分方法和装置
CN108248610B (zh) 一种自适应分心驾驶行为的监测及干预装置
CN106114516A (zh) 一种自适应驾驶人特性的愤怒驾驶行为监测及干预装置
Alamri et al. An effective bio-signal-based driver behavior monitoring system using a generalized deep learning approach
US20200134729A1 (en) Information processing device, information processing system, information processing method, and program
CN110696835B (zh) 一种车辆危险行驶行为的自动预警方法及自动预警系统
CN108268887B (zh) 基于虚拟驾驶与eeg检测的驾驶人安全意识评估方法
WO2008133746A1 (en) Systems and methods for detecting unsafe conditions
CN110103822A (zh) 一种驾驶行为习惯智能检测及安全驾驶评分的装置和方法
El Masri et al. Toward self-policing: Detecting drunk driving behaviors through sampling CAN bus data
CN110379443A (zh) 声音识别装置和声音识别方法
JP2021026718A (ja) 運転行動評価装置及びプログラム
Vasey et al. In-vehicle affect detection system: Identification of emotional arousal by monitoring the driver and driving style
CN113460062A (zh) 驾驶行为分析系统
DE102017216328B3 (de) Verfahren zum Überwachen eines Aufmerksamkeitszustandes einer Person, Verarbeitungseinrichtung, Speichermedium, und Kraftfahrzeug
US10268903B2 (en) Method and system for automatic calibration of an operator monitor
JP7354888B2 (ja) 情報処理装置、プログラム、及び、情報処理方法
WO2019064612A1 (ja) 点呼・点検支援装置、点呼・点検支援システム及び点呼・点検支援プログラム
CN113312958B (zh) 一种基于司机状态的派单优先度调整方法及装置
US20220351614A1 (en) Accident risk diagnosis method, accident risk diagnosis apparatus, and accident risk diagnosis system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190820