CN110859609B - 基于语音分析的多特征融合疲劳驾驶检测方法 - Google Patents

Abstract

本发明公开了一种基于语音分析的多特征融合疲劳驾驶检测方法。包括：采集驾驶员心率数据、背部压力数据、头部压力数据、眨眼频次数据、鼻部尺寸数据、嘴部开合尺寸数据；车载语音识别系统每检测到一个语音结束点，获取数据组成相应的样本序列；基于上下四分位数，对传感器样本序列进行修正，与眨眼频次、鼻部尺寸以及嘴部开合尺寸样本序列组成驾驶状态特征向量组，并进行标注；利用标注后的驾驶状态特征向量组训练神经网络；使用训练好的神经网络对驾驶员进行疲劳检测，根据检测结果发出预警信息。利用本发明，可以在驾驶交通工具场景中，对驾驶员进行疲劳检测，检测结果更准确，适用性更强。

Description

基于语音分析的多特征融合疲劳驾驶检测方法

技术领域

本发明涉及语音识别、数字图像信号处理、机器学习技术领域，具体涉及一种基于语音分析的多特征融合疲劳驾驶检测方法。

背景技术

车辆的主动安全系统一般包括车身电子稳定系统、主动刹车系统、刹车防抱死系统。为了进一步提高驾驶安全，越来越多的研究集中于疲劳驾驶检测系统。

目前较为常见的疲劳驾驶检测方法包括基于计算机图像处理技术获取驾驶员面部表情变化或肢体动作变化来反映驾驶员疲劳程度、基于传感器获取驾驶状态数据来反映驾驶员注意力集中程度。基于计算机图像处理技术的疲劳检测包括：通过面部关键点检测分析面部数据，通过肢体检测进行肢体动作分析；基于传感器获取驾驶状态数据包括：通过方向盘压力传感器获取驾驶员手握方向盘的力度。然而，目前的疲劳驾驶检测技术通常是仅使用较为单一的特征进行疲劳表征，例如仅通过表情或者仅通过方向盘压力。较为单一的特征表征通常会导致在结果推测中出现较大的误差。

少数较为先进的主动安全系统将机器学习及神经网络技术融入安全检测中，包括使用循环神经网络RNN识别时序动作特征，使用卷积神经网络CNN识别驾驶员身份、驾驶员三维位姿以及驾驶员面部关键点。神经网络的参数、权重等在出厂时已经固定，当应用于驾驶员时，难以与具有各不相同的身体特征的驾驶员进行较好的匹配，检测结果往往准确性较低。

因此，现有疲劳检测技术存在检测结果不准确、适用性不强的问题。

发明内容

本发明提供了一种基于语音分析的多特征融合疲劳驾驶检测方法，该方法实现了驾驶员疲劳驾驶检测，检测结果更准确，适用性更强。

基于语音分析的多特征融合疲劳驾驶检测方法，该方法包括：

步骤一，使用心率传感器持续采集驾驶员心率数据；使用座椅背部压力传感器持续采集驾驶员背部压力数据；使用座椅头部压力传感器持续采集驾驶员头部压力数据；使用面部分析模块持续采集驾驶员面部图像，分析驾驶员眨眼频次、鼻部尺寸、嘴部开合尺寸；

步骤二，车载语音识别系统通过端点检测模块持续检测语音端点，每检测到一个语音结束点，从心率传感器、压力传感器、面部分析模块获取数据，得到心率样本序列、背部压力样本序列、头部压力样本序列、眨眼频次样本序列、鼻部尺寸样本序列、嘴部开合尺寸样本序列；

步骤三，基于上下四分位数，对心率样本序列、背部压力样本序列、头部压力样本序列进行修正，与眨眼频次样本序列、鼻部尺寸样本序列、嘴部开合尺寸样本序列组成驾驶状态特征向量组，并对驾驶状态特征向量组进行标注；

步骤四，将标注后的驾驶状态特征向量组作为样本数据集，输入神经网络，基于均方差损失函数进行训练，保存训练好的神经网络；

步骤五，检测到驾驶员进入驾驶位，使用训练好的神经网络对驾驶员进行疲劳驾驶检测，根据检测结果发出预警信息。

进一步地，面部分析模块采用深度神经网络检测驾驶员面部68个关键点，并根据关键点分析驾驶员眨眼频次、鼻部尺寸、嘴部开合尺寸。

进一步地，眨眼频次的分析方法为：

设置阈值，比较眼睛开合尺寸与阈值的大小关系，判断驾驶员眼睛的睁、闭状态；

设置滑动时间窗口，以当前时刻为滑动时间窗口的结束临界点，根据时间窗口内驾驶员眼睛睁、闭状态的变化，统计时间窗口内驾驶员的眨眼频次。

进一步地，滑动时间窗口设置为15秒。

进一步地，眼睛开合尺寸的计算方法为：

将眼睛关键点纵坐标数值进行排序，取最大的两个纵坐标值的平均值作为上眼皮的纵坐标信息，取最小纵坐标值以及次小纵坐标值的平均值作为下眼皮的纵坐标信息，计算上眼皮的纵坐标信息与下眼皮的纵坐标信息的差值，得到眼睛开合尺寸。

进一步地，基于上下四分位数，对心率样本序列、背部压力样本序列、头部压力样本序列进行修正包括：

设心率样本序列为A，计算A的上下四分位数，记上四分位数为H，下四分位数为L，计算上、下四分位数的差Q＝H-L；

遍历心率样本序列A中的所有数据，记A中第i个数据为A_i，若A_i大于H时，计算A_i与H之间的差值绝对值，记为d；若A_i小于L时，计算L与A_i之间的差值绝对值，记为d；

根据Q设置阈值，若d大于或等于阈值，则认为A_i为异常值，采用邻域平均值方法对异常值进行修正：A_i＝(A_i+1+A_i+2+A_i-1+A_i-2)/4；

采用同样的方法对背部压力样本序列、头部压力样本序列进行修正。

本发明的有益效果在于：

1、本发明结合传感器数据、图像数据实现了基于多特征融合的疲劳驾驶检测，克服了单一特征表征带来的误差，提高了疲劳驾驶检测的准确率；

2、本发明结合语音分析技术、机器学习技术，基于获取的数据集对神经网络进行训练，能过获得适用于不同驾驶员的神经网络模型，不仅能够提高检测准确率，而且适用性更强。

附图说明

图1为基于语音分析的多特征融合疲劳驾驶检测方法流程图；

图2为座椅压力传感器设置示意图；

图3为摄像头设置示意图；

图4为面部关键点标记示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于语音分析的多特征融合疲劳驾驶检测方法，该方法基于语音分析触发数据采集，通过心率传感器获取驾驶员生理特征，通过普通摄像头采集驾驶员面部图像，并提取面部眼睛、鼻子、嘴巴特征。通过神经网络对特征进行训练得到分类模型，以此来判断驾驶员的疲劳状况，并根据判断结果对驾驶员进行语音警示，减少交通事故的发生。图1为基于语音分析的多特征融合疲劳驾驶检测方法流程图。下面结合具体实施例来进行详细说明。

实施例一：

基于语音分析的多特征融合疲劳驾驶检测方法，包括：

步骤一，使用心率传感器持续采集驾驶员心率数据；使用座椅背部压力传感器持续采集驾驶员背部压力数据；使用座椅头部压力传感器持续采集驾驶员头部压力数据；使用面部分析模块持续采集驾驶员面部图像，分析驾驶员眨眼频次、鼻部尺寸、嘴部开合尺寸。

首先，对获取驾驶员心率数据的过程进行详细说明。

采用心率传感器实时采集驾驶员心率。智能手环是目前广泛使用的心率采集工具，不仅使用方便、性价比高，而且可以实时获取心率检测结果。一种实施例是采用智能手环对驾驶员心率进行实时检测和记录。

心率传感器每隔固定时间间隔采集一次心率数据，并对采集到的数据进行保存。固定时间间隔可以设置为一秒或多秒。时间间隔越小，样本数据密度越大，样本精度越高，样本实时性越高。实施者可以根据需要自行设置。

进一步地，对获取驾驶员背部压力数据、头部压力数据的过程进行详细说明。

驾驶员在正常驾驶时背部对座椅的挤压位置以及压力在一段时间内是相对稳定的，头部对座椅头枕的压力也相对是恒定的。当驾驶员产生疲劳状态时，背部压力数据、头部压力数据会出现一定程度的陡变。因此，驾驶员背部压力、头部压力可以反映驾驶员驾驶时的状态，作为驾驶员疲劳检测的特征。

本发明采用压力传感器采集驾驶员对座椅靠背以及座椅头枕的压力数据。将背部压力传感器内置于座椅靠背中，将头部压力传感器内置于座椅头枕中。座椅压力传感器安装位置示意图如图2。可以设置多个背部压力传感器、头部压力传感器。

通过背部压力传感器、头部压力传感器分别采集背部压力样本数据、头部压力样本数据。背部压力传感器、头部压力传感器每隔固定时间间隔采集一次心率数据，并对采集到的数据进行保存。固定时间间隔可以设置为一秒或多秒。时间间隔越小，样本数据密度越大，样本精度越高。实施者可以根据需要自行设置。

进一步地，对获取驾驶员面部特征数据的过程进行详细说明。

面部分析模块持续采集驾驶员面部图像。面部分析模块包括图像采集模块。图像采集模块可以是摄像头。将摄像头内置于汽车的仪表盘内。图3为摄像头设置示意图。摄像头一秒可以采集多帧图像。面部分析模块对摄像头采集的驾驶员面部图像进行分析，可以得到较为可靠的驾驶员面部特征数据。

首先，将面部图像作为感兴趣区域提取出来，得到面部图像FACE。定位人脸区域可以采用OpenCV自带的方法，例如Harr检测。

提取人脸关键点的方法有很多种方法。本实施例在对面部图像FACE进行特征点检测时，通过深度卷积神经网络检测得到表征人脸特征的68个关键点。面部关键点标记示意图如图4所示。

图4中共检测到人脸的68个关键点。其中点37至点42描述驾驶员左眼睛位置坐标，点43至点48坐标描述右眼睛坐标，点28至点36描述鼻子位置坐标，点49至55描述上嘴唇位置坐标，点56至68描述下嘴唇坐标。

眨眼频次获取过程如下。

以左眼为例，将点37至点42的纵坐标数值进行排序，为了减小误差，取最大纵坐标值以及第二大纵坐标值的平均值作为上眼皮的纵坐标信息Y₁，取最小纵坐标值以及次小纵坐标值的平均值作为下眼皮的纵坐标信息Y₂。根据上眼皮的纵坐标信息和下眼皮的纵坐标信息，得到眼睛开合尺寸Y_l：Y_l＝Y₁-Y₂。同样的方法，可得到右眼睛开合尺寸Y_r。设置阈值，当眼睛开合尺寸小于阈值时，则驾驶员眼睛在闭合状态。

为得到反映驾驶员驾驶状态的实时面部数据，本发明采用滑动时间窗口对数据进行分析。实施者可以根据实际需求设置滑动时间窗口的大小。一种实施例是设置滑动时间窗口大小为15秒。以当前时刻为时间终点，统计包括当前时刻前15秒内的眨眼频次。

鼻部尺寸获取过程如下。

驾驶员在正常驾驶时，由于各种鼻部动作，鼻部尺寸是变化的，而在疲劳状态时，鼻部尺寸趋于稳定，因此，可以作为表征驾驶员疲劳的特征。

将关键点28至36的横坐标、竖坐标竖直分别排序，计算横坐标差、纵坐标差，作为鼻子的宽度w和高度h，二者的乘积即为鼻部尺寸NS，即：

NS＝w×h

嘴部开合尺寸获取过程如下。

将点49至点55的纵坐标数值进行排序，为了减小误差，取最大纵坐标值以及第二大纵坐标值的平均值作为上嘴唇最高点的纵坐标信息；取最小纵坐标值以及次小纵坐标值的平均值作为下嘴唇最低点的纵坐标信息。根据上嘴唇最高点的纵坐标信息和下嘴唇最低点的纵坐标信息即可得到嘴部开合尺寸。

为保证数据的实时性，心率传感器、压力传感器、面部分析模块持续采集心率数据、压力数据、面部数据。

步骤二，车载语音识别系统通过端点检测模块持续检测语音端点，每检测到一个语音结束点，从心率传感器、压力传感器、面部分析模块获取数据，得到心率样本序列、背部压力样本序列、头部压力样本序列、眨眼频次样本序列、鼻部尺寸样本序列、嘴部开合尺寸样本序列。

随着语音识别技术越来越趋于集成化、智能化，越来越多的车辆配备了语音识别系统。而如今车载的语音识别系统应用仍局限于语音助手，通过语音识别得到的信息未被有效利用。

一般的车载语音识别系统都具有语音唤醒、端点检测等语音分析功能。端点检测即通过端点(EndPoint)检测模块检测语音信号的起始点和结束点。这一功能被广泛应用于手机、车载智能系统中。当使用者使用设备的语音识别功能与设备进行交互时，设备持续对使用者的语音进行端点分析。设备检测到结束点后，对使用者的语音数据进行分析，并返回合适的语音应答。

驾驶员处于说话状态时，一般为正常驾驶、非疲劳的状态。因此，可以对驾驶员的语音进行分析，检测语音结束点，作为触发正常驾驶、非疲劳状态下的数据采集的开关。

具体地，每当检测到一个语音结束点，从心率传感器、压力传感器、面部分析模块获取数据。如此，得到多个语音结束点对应的数据，得到心率样本序列、背部压力样本序列、头部压力样本序列、眨眼频次样本序列、鼻部尺寸样本序列、嘴部开合尺寸样本序列。

步骤三，基于上下四分位数，对心率样本序列、背部压力样本序列、头部压力样本序列进行修正，与眨眼频次样本序列、鼻部尺寸样本序列、嘴部开合尺寸样本序列组成驾驶状态特征向量组，并对驾驶状态特征向量组进行标注。

由于心率传感器、压力传感器不可避免会出现误差，导致心率样本数据、压力样本数据出现异常值。异常值对数据集的影响非常大，会直接影响后续神经网络的训练结果。因此，需要对样本数据集中的异常值进行校正。

本实施例基于上下四分位数识别异常值并对异常值进行校正。异常值的校正方法如下。

计算心率序列A的上下四分位数，记上四分位数为H，下四分位数为L，计算上、下四分位数的差Q：

Q＝H-L

遍历心率序列A中的所有数据，记A中第i个数据为A_i。若A_i大于H时，计算A_i与H之间的差值绝对值，记为d；若A_i小于L时，计算L与A_i之间的差值绝对值，记为d。

设置阈值为1.5倍的Q，若d大于或等于阈值，则认为A_i为异常值，需对该数据进行校正。

采用邻域平均值方法对异常值进行修正：

A_i＝(A_i+1+A_i+2+A_i-1+A_i-2)/4

将修正异常值之后的心率样本序列作为心率特征向量F₁。

采用同样的方法对背部压力样本序列、头部压力样本序列进行修正，得到背部压力特征向量F₂、头部压力特征向量F₃。与眨眼频次样本序列、鼻部尺寸样本序列、嘴部开合尺寸样本序列组成驾驶状态特征向量，并对驾驶状态特征向量进行标注。

至此，我们已经提取了驾驶员多种特征，包括驾驶员心率特征向量F₁，背部压力特征向量F₂，头部压力特征向量F₃，眨眼频次特征向量F₄，鼻部尺寸特征向量F₅，嘴部开合尺寸特征向量F₆。将上述特征向量组成驾驶状态特征向量组，并进行标注，即：

D＝(F₁,F₂,F₃,F₄,F₅,F₆,Label)

其中D为标注的驾驶状态特征向量组，Label为疲劳标签，这里Label＝0，表示非疲劳状态。

步骤四，将标注后的驾驶状态特征向量组作为样本数据集，输入神经网络，基于均方差损失函数进行训练，保存训练好的神经网络。

待训练的神经网络的输入张量为[F1,F2,F3,F4,F5,F6]，神经网络的输出为一个单一浮点数，分布在[0,1]区间，表示驾驶员疲劳程度。神经网络末端的激活函数建议为Sigmoid。无监督的训练应准备测试集用于触发Early Stopping，推荐将样本数据集按7:3划分为训练集与测试集。神经网络作为二分类问题的方案有多种，如全连接神经网络或循环神经网络，其设计方法也是众所周知的，其结构以训练能够收敛为准，不在本发明保护范围之内。本实施例采用全连接神经网络。

采用基于均方差的损失函数，即：loss＝(y_i-y₀)²。其中y_i为期望输出，即样本数据集的标签Label，y₀为实际输出。

也可以采用基于交叉熵的损失函数，即：

其中y_i为期望输出，即样本数据集的标签Label，y₀为实际输出。

设置阈值，当测试集准确度达到阈值时，说明神经网络的训练是成功的，可以终止训练。阈值应当与具体的车辆产品相匹配。

神经网络是逐样本输出的，实施者可以在时域上进一步设计过滤机制来使得检测灵敏度最佳化。

基于神经网络的疲劳驾驶检测是一种特殊的二分类问题，因此，训练时只需要提供一种分类数据即可。进一步地，还可以使用厂家提供的疲劳数据与本发明得到的驾驶状态向量组组成样本数据集，输入神经网络，进行训练。

在获取驾驶员生理特征时，可以不限于本发明所提出的人脸特征、背部和头部压力特征、心率特征，还可以包括驾驶员脑电波特征、血压等生理特征。

步骤五，检测到驾驶员进入驾驶位，使用训练好的神经网络对驾驶员进行疲劳驾驶检测，根据检测结果发出预警信息。

当检测到驾驶员进入驾驶位，即启动训练好的神经网络。实时采集驾驶员的心率数据、背部压力数据、头部压力数据以及面部数据。将采集的数据输入训练好的神经网络，即可得到驾驶员疲劳状态。如果检测到驾驶员处于疲劳状态，则通过车载语音系统对驾驶员发出疲劳警告。神经网络的输出为[0,1]的数值。实施者可以根据实际情况设计阈值，判断驾驶员是否是疲劳状态，也可以设置多个阈值提醒驾驶员疲劳程度。

进一步地，对数据采集以及神经网络的训练时机进行详细说明。实施者可以根据需要自行设置传感器以及摄像头采集数据的方式。一种方式是当驾驶员进入驾驶位即进行数据采集，离开驾驶位则停止数据采集，进行神经网络的重新训练。这种方式持续记录驾驶员驾驶状态下的数据，无需实施者手动启动神经网络的训练，自动进行训练，可以获得效果更好的训练结果，提高疲劳检测的准确率。另一种方式是当实施者需要对神经网络进行初次训练或者二次训练时，使传感器以及摄像头开始采集数据，进行神经网络的训练。这种方式由实施者开启数据采集和神经网络的训练，降低了对疲劳检测系统的硬件性能要求。实施者应当明白，在具体实施中，数据采集和神经网路的训练是被封装成系统，提供给使用者。使用者仅需要通过相应的接口，即可实施本发明，进行疲劳检测。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于语音分析的多特征融合疲劳驾驶检测方法，其特征在于，该方法包括：

步骤一，使用心率传感器持续采集驾驶员心率数据；使用座椅背部压力传感器持续采集驾驶员背部压力数据；使用座椅头部压力传感器持续采集驾驶员头部压力数据；使用面部分析模块持续采集驾驶员面部图像，分析驾驶员眨眼频次、鼻部尺寸、嘴部开合尺寸；

步骤二，车载语音识别系统通过端点检测模块持续检测语音端点，每检测到一个语音结束点，从心率传感器、压力传感器、面部分析模块获取数据，如此，得到多个语音结束点对应的数据，得到心率样本序列、背部压力样本序列、头部压力样本序列、眨眼频次样本序列、鼻部尺寸样本序列、嘴部开合尺寸样本序列；

步骤三，基于上下四分位数得到心率样本序列、背部压力样本序列、头部压力样本序列中的异常样本值，利用异常样本值在序列中的邻域样本值对异常样本值进行修正，将修正后的心率样本序列、背部压力样本序列、头部压力样本序列与眨眼频次样本序列、鼻部尺寸样本序列、嘴部开合尺寸样本序列组成驾驶状态特征向量组，并对驾驶状态特征向量组进行标注；

步骤四，将标注后的驾驶状态特征向量组作为样本数据集，输入神经网络，基于均方差损失函数进行训练，保存训练好的神经网络；

步骤五，检测到驾驶员进入驾驶位，使用训练好的神经网络对驾驶员进行疲劳驾驶检测，根据检测结果发出预警信息。

2.如权利要求1所述的基于语音分析的多特征融合疲劳驾驶检测方法，其特征在于，所述步骤一中的面部分析模块采用深度神经网络检测驾驶员面部68个关键点，并根据关键点分析驾驶员眨眼频次、鼻部尺寸、嘴部开合尺寸。

3.如权利要求2所述的基于语音分析的多特征融合疲劳驾驶检测方法，其特征在于，所述步骤一中眨眼频次的分析方法为：

设置阈值，比较眼睛开合尺寸与阈值的大小关系，判断驾驶员眼睛的睁、闭状态；

设置滑动时间窗口，以当前时刻为滑动时间窗口的结束临界点，根据时间窗口内驾驶员眼睛睁、闭状态的变化，统计时间窗口内驾驶员的眨眼频次。

4.如权利要求3所述的基于语音分析的多特征融合疲劳驾驶检测方法，其特征在于，所述滑动时间窗口设置为15秒。

5.如权利要求3所述的基于语音分析的多特征融合疲劳驾驶检测方法，其特征在于，所述眼睛开合尺寸的计算方法为：

将眼睛关键点纵坐标数值进行排序，取最大的两个纵坐标值的平均值作为上眼皮的纵坐标信息，取最小纵坐标值以及次小纵坐标值的平均值作为下眼皮的纵坐标信息，计算上眼皮的纵坐标信息与下眼皮的纵坐标信息的差值，得到眼睛开合尺寸。

6.如权利要求1所述的基于语音分析的多特征融合疲劳驾驶检测方法，其特征在于，所述的步骤三中的基于上下四分位数，对心率样本序列、背部压力样本序列、头部压力样本序列进行修正包括：

设心率样本序列为A，计算A的上下四分位数，记上四分位数为H，下四分位数为L，计算上、下四分位数的差Q＝H-L；

遍历心率样本序列A中的所有数据，记A中第i个数据为A_i，若A_i大于H时，计算A_i与H之间的差值绝对值，记为d；若A_i小于L时，计算L与A_i之间的差值绝对值，记为d；

根据Q设置阈值，若d大于或等于阈值，则认为A_i为异常值，采用邻域平均值方法对异常值进行修正：A_i＝(A_i+1+A_i+2+A_i-1+A_i-2)/4；

采用同样的方法对背部压力样本序列、头部压力样本序列进行修正。

Images