CN107492251A - 一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法 - Google Patents
一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法 Download PDFInfo
- Publication number
- CN107492251A CN107492251A CN201710731390.3A CN201710731390A CN107492251A CN 107492251 A CN107492251 A CN 107492251A CN 201710731390 A CN201710731390 A CN 201710731390A CN 107492251 A CN107492251 A CN 107492251A
- Authority
- CN
- China
- Prior art keywords
- msub
- mrow
- vehicle
- scene
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
Abstract
本发明涉及一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法。通过智能手机传感器采集汽车的运动数据，识别车辆驾驶元动作。运用模糊模式识别将驾驶元动作序列划分为驾驶操作。然后结合道路交通信息以及摄像设备通过计算机视觉技术识别出车辆行驶时前方的障碍物以及拥挤情况，并划分出不同的驾驶场景。结合驾驶操作分别提取出统计学特征，并组成特征向量作为深度神经网络的输入，通过构建个人驾驶特征库并训练对应的深度神经网络模型来识别驾驶员的身份。在确认了驾驶员的身份之后，通过递归神经网络来识别驾驶员各时刻的驾驶状态。本发明采用多信源数据，基于驾驶操作与场景，利用深度学习的方法，提高识别准确率。
Description
技术领域
本发明涉及基于智能手机内置惯性传感器的车辆驾驶操作以及驾驶员身份与驾驶状态识别领域，特别是涉及一种基于机器学习与深度学习的驾驶员身份与驾驶状态识别领域的方法。
背景技术
目前最先进的驾驶员身份识别技术是基于固定大小的滑动时间窗口的卷积神经网络结合循环神经网络的模型(CNN+RNN)。这种方法的缺点是，用卷积提取的特征在输入到机器学习的训练模型中之前，特征的对于驾驶员身份的区分度是未知的。此外，由于使用固定大小的滑动时间窗口，很容易出现一个驾驶操作，例如转弯，被机械的划分为两个时间窗口分别提取特征进行训练，这会导致模型的准确性与合理性下降。更重要的一点是，驾驶的操作与驾驶员的状态表现会因为不同的驾驶场景表现的很不一样。例如同一个驾驶员在不同的驾驶场景下进行相同的动作时会有不同的表现。要想识别驾驶员的身份，必须要找出不同驾驶员在同一驾驶场景下进行相同驾驶操作之间的不同。所以不能够直接设计并使用一种通用的模型来训练所有驾驶员用户的数据。因此只有通过根据标准驾驶操作库来划分的驾驶操作结合驾驶场景作为数据块，分别提取每一数据块内的驾驶特征，比较同类别数据块的特征，才能找到不同驾驶员在相似驾驶场景下进行的同一类别的驾驶操作之间的差异，从而达到识别出不同驾驶员身份的目的。
深度学习目前已经在计算机视觉、语音识别以及自然语言处理等问题上有深入的研究，并取得了很多瞩目的成就。但是在处理与分析连续的数据方面的相关工作较少。目前的几种经典的机器学习算法以及普通的人工神经网络都不能直接用于本发明的驾驶员识别这一问题中。因为它们都无法满足整合不同驾驶场景与驾驶操作类别对应数据块的驾驶特征来识别驾驶员身份这一条件。因此需要设计一个合适的人工神经网络的深度学习架构来解决驾驶员身份识别的问题。
驾驶元动作的识别目前主流的方法是阈值判别法，该方法通过经验预设判断阈值，来识别加速、减速、上坡、下坡以及左转和右转等基本的驾驶动作，本发明称之为驾驶元动作。通过实验证明，这种方法十分有效。虽然原理很简单，但是识别的准确率可以高达99％以上。因此本文采用阈值判别法来处理手机传感器采集的数据，并识别出驾驶元动作。
驾驶状态的检测目前主流的方法是用机器学习的经典算法，如k最近邻(KNN)和支持向量机(SVM)来区分同一驾驶员的不同的驾驶状态。但是类似的，由于同一个驾驶员在不同的驾驶场景下进行相同的动作时会有不同的表现，因此直接使用原始数据对驾驶状态进行检测是不合理的，识别的准确率也很低。必须在基于驾驶场景与驾驶操作分类的基础上，比较同类别数据块的特征，寻找该驾驶员以不同的驾驶状态在相同驾驶场景下进行同一驾驶操作时的差异，才能准确的识别驾驶状态。另外，由于驾驶状态是上下文相关的，因此本发明使用循环神经网络(RNN)来识别驾驶状态。
发明内容
本发明利用深度学习的理论，构建了一个适用于车辆驾驶员身份识别与驾驶状态监测的高准确率深度神经网络解决方案。通过手机传感器内置的惯性传感器采集每一时刻汽车的运动数据，并分析出此时车辆的运动状态，即驾驶元动作。再使用模糊识别的技术将驾驶元动作序列结合标准动作库划分为驾驶操作。然后结合百度地图SDK提供的道路交通信息以及行车记录仪等摄像设备通过简单的计算机视觉技术识别出车辆行驶时前方的障碍物以及拥挤情况，并划分出不同的驾驶场景。以这些驾驶场景结合驾驶操作进行分类，每一类分别提取出预设的数字信号统计学特征，并组成特征向量作为深度神经网络的输入。通过构建驾驶员的个人驾驶特征库并训练对应的深度神经网络模型来识别驾驶员的身份。在确认了驾驶员的身份之后，通过递归神经网络来识别驾驶员各时刻的驾驶状态。
本发明所采用的技术方案是：一种基于机器学习与深度学习的驾驶员身份与驾驶状态识别领域的方法，其特征在于，包括以下步骤：
一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法，其特征在于，包括以下步骤：
步骤1：利用手机内置的加速度计、陀螺仪以及方向传感器以不小于30HZ的频率来采集驾驶员的车辆驾驶数据，并进行预处理工作；
步骤2：利用阈值判别法根据采集到的传感器数据识别出每一时刻车辆的运动状态，即驾驶元动作；
步骤3：根据识别的车辆驾驶元动作序列基于模糊识别结合标准动作库划分驾驶操作；
步骤4：结合道路交通信息以及摄像设备基于计算机视觉技术识别出车辆行驶时前方的障碍物以及拥挤情况，并划分出不同的驾驶场景；
步骤5：以驾驶场景和驾驶操作为分类依据，分别提取该类别的数字信号统计学特征，作为深度神经网络的输入，对于每个驾驶员构建相应的个人驾驶特征库并训练对应的深度神经网络模型来识别驾驶员的身份；
步骤6：在识别出驾驶员的身份之后，通过构建相应的递归神经网络来识别驾驶员各时刻的驾驶状态。
在上述的一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法，步骤1中所述的利用手机内置的加速度计、陀螺仪以及方向传感器以不小于30HZ的频率来采集驾驶员的车辆驾驶数据，其具体实现包括以下子步骤：
步骤1.1：在t时刻通过手机内置的加速度计、陀螺仪以及方向传感器采集到的九轴传感器数据分别为：加速度计x，y，z轴数据ax,ay,az，陀螺仪x，y，z轴数据gx,gy,gz，方向传感器x，y，z轴数据ox,oy,oz；
步骤1.2：使用卡尔曼滤波器对所有原始数据进行滤波，离散卡尔曼滤波算法主要包括两个部分，时间更新预测以及状态更新校正；其中时间更新预测是指利用当前时刻的信号值和其对应的误差协方差对下一时刻的状态进行先验估计；状态更新校正是指利用时间更新预测所得的先验估计和实际信号值得到改进后的下一时刻的后验估计；
下式表示离散时间信号x的离散随机差分方程：
xk＝Axk-1+Buk-1+ωk-1
ωk表示估计离散事件过程中的激励噪声，是正态分布的白色噪声，p(ω)～N(0,Q)；时间更新预测过程如下：
Pk -＝APk-1AT+Q
其中xk -表示先验估计，Pk -表示协方差估计：
状态更新校正过程如下，先计算卡尔曼增益Kk，矩阵H表示状态信号对测量信号的增益：
Kk＝Pk -HT(HPk -HT+R)-1
下式表示状态的后验估计：
下式表示估计状态的后验协方差：
Pk＝(I-KkH)Pk -
以上卡尔曼滤波方程重复计算，上一时刻计算得到的值作为下一时刻计算的先验估计，而当前时刻的信号值和先验估计又用来计算当前时刻的后验估计；
步骤1.3：对加速度计z轴数据进行坐标校正，定义Az为校正后的加速度计z轴数据，坐标校正公式如下，其中方向传感器x，y，z轴数据为ox,oy,oz：
Az＝axsinozsinoy+aysinoysinoz+azcosozcosoy
步骤1.4数据归一化采用离差标准化法，对原始数据进行线性变换，将所有的原始数据映射在[T1,T2]的目标区间中，消除量纲对于车辆驾驶员身份及驾驶状态识别的影响；
定义需要进行归一化的数据集为D＝{Di|0<＝i<＝m},其中m为数据集中的数据个数；归一化后的数据的计算公式如下所示：
其中，max(D)和min(D)分别为数据集D中的最大值和最小值，T2和T1分别为需要映射到的目标区间的上下界限；结合加速度、陀螺仪以及方向传感器的物理原理，目标映射区间取值为[-1,1]。
在上述的一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法，步骤2中利用阈值判别法根据采集到的传感器数据识别出每一时刻车辆的驾驶元动作，驾驶元动作包括静止、加速、减速、匀速、上坡、下坡、平地行驶、左打方向盘、右打方向盘、直线行驶这10种，定义在t时刻通过手机内置的加速度计、陀螺仪以及方向传感器采集到的九轴传感器数据经过预处理后的数据分别为：加速度计x，y，z轴数据Ax,Ay,Az，陀螺仪x，y，z轴数据Gx,Gy,Gz，方向传感器x，y，z轴数据Ox,Oy,Oz；判别驾驶元动作包括以下判断状态：
判断状态一：通过方向传感器的y轴俯仰角数据来判断车辆的上下坡情况，若Oy>0+ΔOy0，则说明车辆正在下坡，相反，若Oy<0-ΔOy0，则说明车辆正在上坡，若-ΔOy0<Oy<ΔOy0，说明车辆基本在平地上行驶；
判断状态二：通过陀螺仪的z轴水平方向的运动角速度数据来判断车辆的左右转弯情况，若Gz>0+ΔGz0，则说明车辆的方向盘正向右打，相反，若Gz<0-ΔGz0，则说明车辆方向盘正向左打，若-ΔGz0<Gz<ΔGz0，说明车辆基本正在保持直线行驶；
判断状态三：判断车辆的加速与减速状态需要知道车辆是否在上下坡，然后结合加速度计y轴车辆前进方向的加速度数据来进行判断；首先通过车辆上下坡情况来对加速度y轴数据进行修正，消除重力的影响：
之后根据修正后的加速度计y轴数据Ay’来判断车辆的加速与减速情况；若Ay’>0+ΔAy0，则说明车辆正在加速行驶，相反，若Ay’<0-ΔAy0，则说明车辆正向减速行驶，若-ΔAy0<Ay’<ΔAy0，说明车辆基本正在保持匀速行驶；
判断状态四：结合GPS与OBD获取的车辆速度数据来判断车辆是否启动，即是否处于静止状态。
在上述的一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法，步骤3中采用基于标准动作库的模糊识别算法来将驾驶元动作序列划分驾驶操作；预设的驾驶操作为起步、左转弯、右转弯、掉头、变道、停车这六大驾驶操作；每一个标准的驾驶操作都是由一系列的驾驶元动作向量构成的；在采用有序的模糊集表示操作模式类的情况下，一个操作过程表示为由若干个动作排列而成的动作序列，所以模式识别的问题就变成对这个动作序列里的元素在各模式类中进行分配和对动作序列进行正确分割的问题；定义：
定义1、操作过程中共有m种基本动作，则由这m种基本动作可以构成基本动作集合U；因此任何一个复杂操作可成为由U中部分或全部元素按照一定的排列次序构成的长度有限的动作序列Xj，j＝1,2,3…n；
定义2、当出现操作错误时，Xj中各基本动作的名称、次序、数量和动作间的时间间隔均可发生不同程度的改变；在一点范围内，这些具有不用错误形式的操作与ωj一起构成第j个操作模式类，记为Oj；ωj为Oj的标准样板，而其他操作为Oj中的非标准模式；
定义3、驾驶动作的标准库为：
O起步＝{[*,straight,static],[*,*,accelerating],…,[*,*,accelerating],[*,straight,*-static]}，
O左转弯＝{[*,straight,*-static],[*,left,*],…,[*,left,*],[*,straight,*]}，
O右转弯＝{[*,straight,*],[*,right,*],…,[*,right,*],[*,straight,*]}，
O变道＝{[*,straight,*-static],[*,left,*],…,[*,left,*],[*,straight,accelerating],…,[*,straight,accelerating],[*-static,straight,*]}，
O停车＝{[*,straight,*-static],[*,*,accelerating],…,[*,*,accelerating],[*,straight,static]}
其中，符号*代表任意状态，-表示不包括后面的状态，
划分驾驶操作的步骤具体包括：
步骤3.1：首先找到驾驶元动作向量序列中每一对与标准驾驶操作库中匹配的开始与结束的驾驶元动作向量对Xl’，这一步骤采用简单的字符串匹配算法即可；
步骤3.2：对于每一个驾驶元动作向量对Xl’中的驾驶元动作向量ai，计算其对应的驾驶操作标准库的成员函数μOj(aj)(0<j<7)，公式为：
其中n是Xl’中的驾驶元动作向量的个数，pai是标准驾驶动作库中ai之前的驾驶元动作向量的个数，qai是标准驾驶动作库中ai之后的驾驶元动作向量的个数.aexist表示ai是否在标准驾驶动作库Oj中，是的话，aexist＝1,否则aexist＝0.5，表示不知道；
步骤3.3：对于每一个标准动作库，将序列中所有的μOj(aj)相乘，得到一个最终的概率，比较所有动作库的最终概率，最大的即是匹配出来的驾驶操作。
在上述的一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法，步骤4中通过道路交通信息以及计算机视觉技术来识别驾驶场景；通过三个属性来描述驾驶场景：障碍情况，道路等级以及拥挤程度；所述道路交通信息来源采用百度地图的SDK信息来源、或高德地图的SDK信息来源、或任意一现有地图提供商能够提供的SDK信息来源；
步骤4.1首先判断车辆前方的障碍情况，将车辆前方视野分为左中右三大块区域，每块区域单独判断是否存在障碍物；根据行车记录仪等摄像设备拍摄的实时行驶视频数据作为来源，使用计算机视觉方面的技术来识别这三大区域是否存在障碍物，若存在则用1表示，不存在，则用0来表示；根据左中右的顺序，可以用一个三元组[left,middle,right]来表示车辆前方的障碍物情况：定义[0,1,0]表示车辆前方左右两侧无障碍物，中间正前方区域有障碍物；
步骤4.2通过SDK的函数接口获得车辆目前正在行驶路段的具体道路等级；道路等级划分为三级：高速路、普通城市道路以及其他道路类型；其中城市的快速路也被划分为高速路这一等级；
步骤4.3通过SDK的函数接口获得车辆目前正在行驶路段的拥挤程度，拥挤程度划分为三级：重度拥堵、拥堵以及交通通畅；
步骤4.4将这三大属性结合起来组成一个驾驶场景描述向量Scene＝[obstacle,road-type,congestion-degree]，再将该驾驶场景描述向量与驾驶操作结合起来，就组成了一个用来全面描述车辆驾驶情景的分类Ooperation(Scene)，该分类将用于下一步骤的驾驶员身份识别的神经网络构建中。
在上述的一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法，步骤5基于一个两层的人工神经网络深度学习框架来识别驾驶员的身份，该人工神经网络分为局部感知层和全局感知层；
步骤5.1首先对车辆驾驶情景的分类Ooperation(Scene)中的各传感器数据提取统计学和数字信号的相关特征；提取的特征包括均值，最小值，最大值，方差，标准偏差，峰度，信号幅度面积(SMA)，正值之和，负值之和，均方根(RMS)，极大值数以及极小值数，共9×12＝108个特征；此外选取了不同传感器两轴之间的轴相关系数也可作为特征(ax-ay,ax-az,ay-az,ax-gy,oy-oz,oz-ax,oz-gy,oy-az)，8个特征，加上持续时间，共计有108+8+1＝117个特征；这117个特征组成一个特征向量，表征该车辆驾驶情景所对应的信号特征，将其输入到深度学习框架中进行学习；
步骤5.2局部感知层是由车辆驾驶情景的分类Ooperation(Scene)提取的特征向量作为输入的各神经网络学习单元构成的；各神经网络学习单元的输出作为第二层全局感知层的输入，进行全局特征的学习与训练；其中局部感知层中每一个神经网络学习单元的输入层是Ooperation(Scene)提取的117维特征组成；输入变量数目为L_Num_input_unit＝117,隐藏层的神经单元个数为L_Num_hidden_unit＝117,隐藏层的层数为L_Num_hidden_layer＝2,输出层的神经单元个数为L_Num_output_unit＝1；
其中局部感知层关键参数的设置如下：激活函数选用ReLU函数，学习速率设置为0.2，最大迭代次数设置为10000；
步骤5.3全局感知层是由局部感知层的输出作为输入构成的，各神经网络学习单元的输出在全局感知层进行全局特征的学习与训练；其中全局感知层的输入层输入变量数目取决于车辆驾驶情景的分类Ooperation(Scene)的多少，为G_Num_input_unit＝Num_Ooperation(Scene),隐藏层的神经单元个数同样取决于车辆驾驶情景的分类Ooperation(Scene)的多少，为G_Num_hidden_unit＝Num_Ooperation(Scene),隐藏层的层数为G_Num_hidden_layer＝4,输出层的神经单元个数为G_Num_output_unit＝1,即输出一个最终的身份识别分类结果；
其中全局感知层的关键参数的设置如下：激活函数选用Softmax函数，学习速率设置为0.2，最大迭代次数设置为10000，学习速率和最大迭代次数需要与局部感知层保持一致。
在上述的一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法，步骤6基于一个循环神经网络(RNN)来识别驾驶员的驾驶状态；该循环神经网络的输入为根据时间顺序排序的车辆驾驶情景的分类Ooperation(Scene)中提取特征向量，循环神经单元为步骤5中的神经网络学习单元，输出为一个驾驶状态序列，即为最终的识别结果；
步骤6.1首先对车辆驾驶情景的分类Ooperation(Scene)中的各传感器数据提取统计学和数字信号的相关特征；提取的特征包括均值，最小值，最大值，方差，标准偏差，峰度，信号幅度面积(SMA)，正值之和，负值之和，均方根(RMS)，极大值数以及极小值数，共9×12＝108个特征；此外选取了不同传感器两轴之间的轴相关系数也可作为特征(ax-ay,ax-az,ay-az,ax-gy,oy-oz,oz-ax,oz-gy,oy-az)，8个特征，加上持续时间，共计有108+8+1＝117个特征；这117个特征组成一个特征向量，表征该车辆驾驶情景所对应的信号特征，作为循环神经单元的输入；
步骤6.2循环神经单元是由车辆驾驶情景的分类Ooperation(Scene)提取的特征向量作为输入的；循环神经单元的输出即为某一时刻在某个驾驶场景下识别的驾驶状态的；循环神经单元的输入层是Ooperation(Scene)提取的117维特征组成，输入变量数目为U_Num_input_unit＝117,隐藏层的神经单元个数为U_Num_hidden_unit＝117,隐藏层的层数为U_Num_hidden_layer＝4,输出层的神经单元个数为U_Num_output_unit＝1；
其中局部感知层关键参数的设置如下：激活函数选用Softmax函数，学习速率设置为0.1，最大迭代次数设置为10000；
步骤6.3循环神经单元的输出层为一个识别的驾驶状态，整个循环神经网络的输出层为一个根据时间排序的对应车辆驾驶情景的分类的驾驶状态序列；驾驶状态包括积极的(positive)，中性的(negative)，消极的(neutral)，鲁莽驾驶(reckless driving)，疲劳驾驶(fatigue driving)。
本发明具有如下优点：1、本发明基于模糊识别的方法进行了驾驶操作识别并利用多信源渠道识别出驾驶场景。利用智能手机内置的惯性传感器：加速度计、陀螺仪和方向传感器采集汽车行驶时的原始数据。首先通过阈值判别法来判断某时刻的驾驶元动作，然后根据基于模糊识别概率算法根据标准驾驶操作库将元动作序列划分并识别为驾驶操作。驾驶元动作包括静止、加速、减速、匀速、上坡、下坡、平地行驶、左打方向盘、右打方向盘、直线行驶这10种。预设的驾驶操作为起步、左转弯、右转弯、掉头、变道、停车这六大驾驶操作。最后通过计算机视觉技术与百度SDK的数据来源识别处由三个属性(障碍情况，道路等级，拥挤程度)来描述的驾驶场景。2、本发明基于深度学习框架的对驾驶员的身份进行识别。首先根据驾驶操作以及驾驶场景组成的驾驶情景识别所得结果为分类依据，提取了相关统计学与数字信号的特征。本发明设计了一个两层的人工神经网络深度学习框架来识别驾驶员的身份，该人工神经网络分为局部感知层和全局感知层。提取的特征向量将首先被输入到深度神经网络框架中的局部感知层进行身份类型识别。局部感知层是由车辆驾驶情景的分类提取的特征向量作为输入的各神经网络学习单元构成的。全局感知层是由局部感知层的输出作为输入构成的，各神经网络学习单元的输出在全局感知层进行全局特征的学习与训练。3、本发明基于深度学习框架的对驾驶员的驾驶状态进行识别。本发明预设了5种驾驶状态，它们是：积极的，中性的，消极的，鲁莽驾驶，疲劳驾驶。驾驶状态识别在身份识别的两层的人工神经网络深度学习框架的基础上设计了一个循环神经网络(RNN)来识别驾驶员的驾驶状态。该循环神经网络的输入为根据时间顺序排序的车辆驾驶情景的分类中提取特征向量，循环神经单元的输出层为一个识别的驾驶状态，整个循环神经网络的输出层为一个根据时间排序的对应车辆驾驶情景的分类的驾驶状态序列。
附图说明
图1为本发明整体工作流程图。
图2为驾驶数据采集与预处理流程图。
图3为驾驶元动作识别流程图。
图4为识别驾驶操作流程图。
图5为识别驾驶场景流程图。
图6为驾驶员身份识别流程图。
图7为驾驶状态识别流程图。
图8为驾驶员身份识别深度学习神经网络架构示意图。
图9为驾驶状态识别循环神经网络架构示意图。
具体实施方式
一、首先介绍一下本发明的核心方法，具体包括：
步骤1：利用手机内置的加速度计、陀螺仪以及方向传感器以不小于30HZ的频率来采集驾驶员的车辆驾驶数据，并进行一定的预处理工作；
步骤2：利用阈值判别法根据采集到的传感器数据识别出每一时刻车辆的运动状态，即驾驶元动作；
步骤3：根据识别的车辆驾驶元动作序列使用模糊识别的技术结合标准动作库划分为驾驶操作；
步骤4：结合百度地图SDK提供的道路交通信息以及行车记录仪等摄像设备通过简单的计算机视觉技术识别出车辆行驶时前方的障碍物以及拥挤情况，并划分出不同的驾驶场景；
步骤5：以驾驶场景和驾驶操作为分类依据，分别提取该类别的数字信号统计学特征，作为深度神经网络的输入，对于每个驾驶员构建相应的个人驾驶特征库并训练对应的深度神经网络模型来识别驾驶员的身份；
步骤6：在识别出驾驶员的身份之后，通过构建相应的递归神经网络来识别驾驶员各时刻的驾驶状态。
步骤1中所述的利用手机内置的加速度计、陀螺仪以及方向传感器以不小于30HZ的频率来采集驾驶员的车辆驾驶数据。由于在采集传感器数据的时候不可避免的受到噪声的干扰，因此需要进行滤波。作为优选，本发明使用卡尔曼滤波器来对各传感器的三轴数据进行滤波处理。离散卡尔曼滤波算法主要包括两个部分，时间更新预测以及状态更新校正。其中时间更新预测是指利用当前时刻的信号值和其对应的误差协方差对下一时刻的状态进行先验估计；状态更新校正是指利用时间更新预测所得的先验估计和实际信号值得到改进后的下一时刻的后验估计。由于手机位置是摆放在车内，与世界坐标系下的z轴不重合，因此需要对加速度计z轴数据进行坐标校正，设Az为校正后的加速度计z轴数据，坐标校正公式如下：Az＝axsinozsinoy+aysinoysinoz+azcosozcosoy。数据归一化采用离差标准化法，对原始数据进行线性变换，将所有的原始数据映射在[T1,T2]的目标区间中，消除量纲对于车辆驾驶员身份及驾驶状态识别的影响。在本发明中，结合加速度、陀螺仪以及方向传感器的物理原理，目标映射区间取值为[-1,1]。
步骤2中利用阈值判别法根据采集到的传感器数据识别出每一时刻车辆的驾驶元动作，驾驶元动作包括静止、加速、减速、匀速、上坡、下坡、平地行驶、左打方向盘、右打方向盘、直线行驶这10种。通过方向传感器的y轴俯仰角数据来判断车辆的上下坡情况，通过陀螺仪的z轴水平方向的运动角速度数据来判断车辆的左右转弯情况。判断车辆的加速与减速状态需要知道车辆是否在上下坡，然后结合加速度计y轴车辆前进方向的加速度数据来进行判断。首先通过车辆上下坡情况来对加速度y轴数据进行修正，消除重力的影响。之后根据修正后的加速度计y轴数据Ay’来判断车辆的加速与减速情况。最后结合GPS与OBD获取的车辆速度数据来判断车辆是否启动，即是否处于静止状态。
步骤3中采用基于标准动作库的模糊识别算法来将驾驶元动作序列划分为驾驶操作。预设的驾驶操作为起步、左转弯、右转弯、掉头、变道、停车这六大驾驶操作。每一个标准的驾驶操作都是由一系列的驾驶元动作向量构成的。采用有序的模糊集表示操作模式类的情况下，一个操作过程可以表示为由若干个动作排列而成的动作序列，所以模式识别的问题就变成对这个动作序列里的元素在各模式类中进行分配和对动作序列进行正确分割的问题。例如，操作过程中共有m种基本动作，则由这m种基本动作可以构成基本动作集合U。因此任何一个复杂操作可成为由U中部分或全部元素按照一定的排列次序构成的长度有限的动作序列Xj，j＝1,2,3…n。若设基本动作集合U＝{ai|i＝1～m}。由基本动作可组成n个标准操作。当出现操作错误时，Xj中各基本动作的名称、次序、数量和动作间的时间间隔均可发生不同程度的改变。在一点范围内，这些具有不用错误形式的操作与ωj一起构成第j个操作模式类，记为Oj。ωj为Oj的标准样板，而其他操作为Oj中的非标准模式。由于操作者的某个操作失误导致车的操作过程中的某个操作模式ωr出现某种错误，此时车进行的操作已经不再是标准操作ωr，而只是包括标准操作ωr在内的模式类Or中的一个操作。首先找到驾驶元动作向量序列中每一对与标准驾驶操作库中匹配的开始与结束的驾驶元动作向量对Xl’，这一步骤采用简单的字符串匹配算法即可。对于每一个驾驶元动作向量对Xl’中的驾驶元动作向量ai，计算其对应的驾驶操作标准库的成员函数μOj(aj)(0<j<7)。对于每一个标准动作库，将序列中所有的μOj(aj)相乘，可得到一个最终的概率，比较所有动作库的最终概率，最大的即是匹配出来最有可能的驾驶操作。
步骤4中通过百度地图的SDK信息来源以及计算机视觉技术来识别驾驶场景。本发明主要通过三个属性来描述驾驶场景：障碍情况，道路等级以及拥挤程度。首先需要判断车辆前方的障碍情况，将车辆前方视野分为左中右三大块区域，每块区域单独判断是否存在障碍物。根据行车记录仪等摄像设备拍摄的实时行驶视频数据作为来源，使用计算机视觉方面的技术来识别这三大区域是否存在障碍物，若存在则用1表示，不存在，则用0来表示。通过百度地图SDK的函数接口可以获得车辆目前正在行驶路段的具体道路等级。本发明只关注那些对驾驶操作行为有明显影响的道路等级，只划分为三级：高速路、普通城市道路以及其他道路类型。其中城市的快速路也被划分为高速路这一等级。再通过百度地图SDK的函数接口可以获得车辆目前正在行驶路段的拥挤程度。根据百度地图SDK的设定，拥挤程度划分为三级：重度拥堵(红色)、拥堵(黄色)以及交通通畅(绿色)。将这三大属性结合起来组成一个驾驶场景描述向量，再将该驾驶场景描述向量与驾驶操作结合起来，就组成了一个用来全面描述车辆驾驶情景的分类Ooperation(Scene)，该分类将用于下一步骤的驾驶员身份识别的神经网络构建中。
步骤5设计了一个两层的人工神经网络深度学习框架来识别驾驶员的身份，该人工神经网络分为局部感知层和全局感知层。首先对车辆驾驶情景的分类Ooperation(Scene)中的各传感器数据提取统计学和数字信号的相关特征。特征选取方面，提取的特征包括均值，最小值，最大值，方差，标准偏差，峰度，信号幅度面积(SMA)，正值之和，负值之和，均方根(RMS)，极大值数以及极小值数。此外选取了不同传感器两轴之间的轴相关系数也可作为特征(ax-ay,ax-az,ay-az,ax-gy,oy-oz,oz-ax,oz-gy,oy-az)，加上持续时间，共计有108+8+1＝117个特征。这117个特征组成一个特征向量，表征该车辆驾驶情景所对应的信号特征，将其输入到深度学习框架中进行学习。局部感知层是由车辆驾驶情景的分类Ooperation(Scene)提取的特征向量作为输入的各神经网络学习单元构成的。各神经网络学习单元的输出作为第二层全局感知层的输入，进行全局特征的学习与训练。其中局部感知层中每一个神经网络学习单元的输入层是Ooperation(Scene)提取的117维特征组成。全局感知层是由局部感知层的输出作为输入构成的，各神经网络学习单元的输出在全局感知层进行全局特征的学习与训练。
步骤6在步骤5的两层的人工神经网络深度学习框架的基础上设计了一个循环神经网络(RNN)来识别驾驶员的驾驶状态。该循环神经网络的输入为根据时间顺序排序的车辆驾驶情景的分类Ooperation(Scene)中提取特征向量，循环神经单元为步骤5中的神经网络学习单元，输出为一个驾驶状态序列，即为最终的识别结果。首先和步骤5一样，对车辆驾驶情景的分类Ooperation(Scene)中的各传感器数据提取统计学和数字信号的相关特征。提取的特征包括均值，最小值，最大值，方差，标准偏差，峰度，信号幅度面积(SMA)，正值之和，负值之和，均方根(RMS)，极大值数以及极小值数。此外选取了不同传感器两轴之间的轴相关系数也可作为特征(ax-ay,ax-az,ay-az,ax-gy,oy-oz,oz-ax,oz-gy,oy-az)，加上持续时间，共计有108+8+1＝117个特征。这117个特征组成一个特征向量，表征该车辆驾驶情景所对应的信号特征，作为循环神经单元的输入。循环神经单元是由车辆驾驶情景的分类Ooperation(Scene)提取的特征向量作为输入的。循环神经单元的输出即为某一时刻在某个驾驶场景下识别的驾驶状态的。循环神经单元的输出层为一个识别的驾驶状态，整个循环神经网络的输出层为一个根据时间排序的对应车辆驾驶情景的分类的驾驶状态序列。本发明预设了5种驾驶状态，它们是：积极的(positive)，中性的(negative)，消极的(neutral)，鲁莽驾驶(reckless driving)，疲劳驾驶(fatigue driving)。
二、下面结合附图对本发明的方法进行具体阐述。
图1是本发明所采用的技术方案：一种基于机器学习与深度学习的驾驶员身份与驾驶状态识别领域的方法的整体流程图，包括以下步骤：
步骤1：利用手机内置的加速度计、陀螺仪以及方向传感器以不小于30HZ的频率来采集驾驶员的车辆驾驶数据，并进行一定的预处理工作；
步骤2：利用阈值判别法根据采集到的传感器数据识别出每一时刻车辆的运动状态，即驾驶元动作；
步骤3：根据识别的车辆驾驶元动作序列使用模糊识别的技术结合标准动作库划分为驾驶操作；
步骤4：结合百度地图SDK提供的道路交通信息以及行车记录仪等摄像设备通过简单的计算机视觉技术识别出车辆行驶时前方的障碍物以及拥挤情况，并划分出不同的驾驶场景；
步骤5：以驾驶场景和驾驶操作为分类依据，分别提取该类别的数字信号统计学特征，作为深度神经网络的输入，对于每个驾驶员构建相应的个人驾驶特征库并训练对应的深度神经网络模型来识别驾驶员的身份；
步骤6：在识别出驾驶员的身份之后，通过构建相应的递归神经网络来识别驾驶员各时刻的驾驶状态。
步骤1中所述的利用手机内置的加速度计、陀螺仪以及方向传感器以不小于30HZ的频率来采集驾驶员的车辆驾驶数据，其具体实现如图2所示，包括以下子步骤：
步骤101：在t时刻通过手机内置的加速度计、陀螺仪以及方向传感器采集到的九轴传感器数据分别为：加速度计x，y，z轴数据ax,ay,az，陀螺仪x，y，z轴数据gx,gy,gz，方向传感器x，y，z轴数据ox,oy,oz；
步骤102：使用卡尔曼滤波器对所有原始数据进行滤波；
步骤102中，由于在采集传感器数据的时候不可避免的受到噪声的干扰，因此需要进行滤波。作为优选，本发明使用卡尔曼滤波器来对各传感器的三轴数据进行滤波处理。离散卡尔曼滤波算法主要包括两个部分，时间更新预测以及状态更新校正。其中时间更新预测是指利用当前时刻的信号值和其对应的误差协方差对下一时刻的状态进行先验估计；状态更新校正是指利用时间更新预测所得的先验估计和实际信号值得到改进后的下一时刻的后验估计。
下式表示离散时间信号x的离散随机差分方程：
xk＝Axk-1+Buk-1+ωk-1
ωk表示估计离散事件过程中的激励噪声，是正态分布的白色噪声，p(ω)～N(0,Q)。时间更新预测过程如下：
Pk -＝APk-1AT+Q
其中xk -表示先验估计，Pk -表示协方差估计：
状态更新校正过程如下，先计算卡尔曼增益Kk，矩阵H表示状态信号对测量信号的增益：
Kk＝Pk -HT(HPk -HT+R)-1
下式表示状态的后验估计：
下式表示估计状态的后验协方差：
Pk＝(I-KkH)Pk -
以上卡尔曼滤波方程重复计算，上一时刻计算得到的值作为下一时刻计算的先验估计，而当前时刻的信号值和先验估计又用来计算当前时刻的后验估计。
步骤103：由于手机位置是摆放在车内，与世界坐标系下的z轴不重合，因此需要对加速度计z轴数据进行坐标校正，设Az为校正后的加速度计z轴数据，坐标校正公式如下：
Az＝axsinozsinoy+aysinoysinoz+azcosozcosoy
步骤104数据归一化采用离差标准化法，对原始数据进行线性变换，将所有的原始数据映射在[T1,T2]的目标区间中，消除量纲对于车辆驾驶员身份及驾驶状态识别的影响。
设需要进行归一化的数据集为D＝{Di|0<＝i<＝m},其中m为数据集中的数据个数。归一化后的数据的计算公式如下所示：
其中，max(D)和min(D)分别为数据集D中的最大值和最小值，T2和T1分别为需要映射到的目标区间的上下界限。在本发明中，结合加速度、陀螺仪以及方向传感器的物理原理，目标映射区间取值为[-1,1]。
步骤2中利用阈值判别法根据采集到的传感器数据识别出每一时刻车辆的驾驶元动作，驾驶元动作包括静止、加速、减速、匀速、上坡、下坡、平地行驶、左打方向盘、右打方向盘、直线行驶这10种，如图3所示，判别驾驶元动作包括以下子步骤：
步骤201：在t时刻通过手机内置的加速度计、陀螺仪以及方向传感器采集到的九轴传感器数据经过预处理后的数据分别为：加速度计x，y，z轴数据Ax,Ay,Az，陀螺仪x，y，z轴数据Gx,Gy,Gz，方向传感器x，y，z轴数据Ox,Oy,Oz；
步骤202：通过方向传感器的y轴俯仰角数据来判断车辆的上下坡情况，若Oy>0+ΔOy0，则说明车辆正在下坡，相反，若Oy<0-ΔOy0，则说明车辆正在上坡，若-ΔOy0<Oy<ΔOy0，说明车辆基本在平地上行驶；
步骤203：通过陀螺仪的z轴水平方向的运动角速度数据来判断车辆的左右转弯情况，若Gz>0+ΔGz0，则说明车辆的方向盘正向右打，相反，若Gz<0-ΔGz0，则说明车辆方向盘正向左打，若-ΔGz0<Gz<ΔGz0，说明车辆基本正在保持直线行驶。
步骤204：判断车辆的加速与减速状态需要知道车辆是否在上下坡，然后结合加速度计y轴车辆前进方向的加速度数据来进行判断。首先通过车辆上下坡情况来对加速度y轴数据进行修正，消除重力的影响：
之后根据修正后的加速度计y轴数据Ay’来判断车辆的加速与减速情况。若Ay’>0+ΔAy0，则说明车辆正在加速行驶，相反，若Ay’<0-ΔAy0，则说明车辆正向减速行驶，若-ΔAy0<Ay’<ΔAy0，说明车辆基本正在保持匀速行驶。
步骤205：最后结合GPS与OBD获取的车辆速度数据来判断车辆是否启动，即是否处于静止状态。
步骤3中采用基于标准动作库的模糊识别算法来将驾驶元动作序列划分为驾驶操作。预设的驾驶操作为起步、左转弯、右转弯、掉头、变道、停车这六大驾驶操作。每一个标准的驾驶操作都是由一系列的驾驶元动作向量构成的。具体子步骤如图4所示：
步骤301：在采用有序的模糊集表示操作模式类的情况下，一个操作过程可以表示为由若干个动作排列而成的动作序列，所以模式识别的问题就变成对这个动作序列里的元素在各模式类中进行分配和对动作序列进行正确分割的问题。例如，操作过程中共有m种基本动作，则由这m种基本动作可以构成基本动作集合U。因此任何一个复杂操作可成为由U中部分或全部元素按照一定的排列次序构成的长度有限的动作序列Xj，j＝1,2,3…n。
若设基本动作集合U＝{ai|i＝1～m}。由基本动作可组成n个标准操作。其中第j个复杂操作可表示为动作序列：
ωj＝aj1aj2......ajk...
若操作者在进行ωj操作时进行的实际操作过程
Xj＝xj1xj2...xjl
当出现操作错误时，Xj中各基本动作的名称、次序、数量和动作间的时间间隔均可发生不同程度的改变。在一点范围内，这些具有不用错误形式的操作与ωj一起构成第j个操作模式类，记为Oj。ωj为Oj的标准样板，而其他操作为Oj中的非标准模式。
假定车进行的操作过程表示为
且操作者在操作过程中的各操作动作已识别为一个由集合U中的m个基本动作所构成的动作序列：
X＝x1x2x3......
则操作过程中操作模式的识别问题就可以描述为:
由于操作者的某个操作失误导致车的操作过程中的某个操作模式ωr出现某种错误，此时车进行的操作已经不再是标准操作ωr，而只是包括标准操作ωr在内的模式类Or中的一个操作。操作过程为
故操作过程中的模式识别任务即是要求对于A或A’未知情况下，将由基本动作在时间轴上顺序排列构成的动作序列
X＝x1x2x3......
分割成一系列的子序列，Xj＝X1X2......Xi...
步骤302：驾驶动作的标准库为：
O起步＝{[*,straight,static],[*,*,accelerating],…,[*,*,accelerating],[*,straight,*-static]}，
O左转弯＝{[*,straight,*-static],[*,left,*],…,[*,left,*],[*,straight,*]}，
O右转弯＝{[*,straight,*],[*,right,*],…,[*,right,*],[*,straight,*]}，
O变道＝{[*,straight,*-static],[*,left,*],…,[*,left,*],[*,straight,accelerating],…,[*,straight,accelerating],[*-static,straight,*]}，
O停车＝{[*,straight,*-static],[*,*,accelerating],…,[*,*,accelerating],[*,straight,static]}
其中，符号*代表任意状态，-表示不包括后面的状态
步骤303：首先找到驾驶元动作向量序列中每一对与标准驾驶操作库中匹配的开始与结束的驾驶元动作向量对Xl’，这一步骤采用简单的字符串匹配算法即可。
步骤304：对于每一个驾驶元动作向量对Xl’中的驾驶元动作向量ai，计算其对应的驾驶操作标准库的成员函数μOj(aj)(0<j<7)，公式为：
其中n是Xl’中的驾驶元动作向量的个数，pai是标准驾驶动作库中ai之前的驾驶元动作向量的个数，qai是标准驾驶动作库中ai之后的驾驶元动作向量的个数.aexist表示ai是否在标准驾驶动作库Oj中，是的话，aexist＝1,否则aexist＝0.5，表示不知道。
步骤305：对于每一个标准动作库，将序列中所有的μOj(aj)相乘，可得到一个最终的概率，比较所有动作库的最终概率，最大的即是匹配出来最有可能的驾驶操作。
步骤4中通过百度地图的SDK信息来源以及计算机视觉技术来识别驾驶场景。本发明主要通过三个属性来描述驾驶场景：障碍情况，道路等级以及拥挤程度。具体子步骤如图5所示：
步骤401首先需要判断车辆前方的障碍情况，将车辆前方视野分为左中右三大块区域，每块区域单独判断是否存在障碍物。根据行车记录仪等摄像设备拍摄的实时行驶视频数据作为来源，使用计算机视觉方面的技术来识别这三大区域是否存在障碍物，若存在则用1表示，不存在，则用0来表示。根据左中右的顺序，可以用一个三元组[left,middle,right]来表示车辆前方的障碍物情况：例如[0,1,0]表示车辆前方左右两侧无障碍物，中间正前方区域有障碍物。
步骤402通过百度地图SDK的函数接口可以获得车辆目前正在行驶路段的具体道路等级。本发明只关注那些对驾驶操作行为有明显影响的道路等级，只划分为三级：高速路、普通城市道路以及其他道路类型。其中城市的快速路也被划分为高速路这一等级。
步骤403通过百度地图SDK的函数接口可以获得车辆目前正在行驶路段的拥挤程度。根据百度地图SDK的设定，拥挤程度划分为三级：重度拥堵(红色)、拥堵(黄色)以及交通通畅(绿色)。
步骤404将这三大属性结合起来组成一个驾驶场景描述向量Scene＝[obstacle,road-type,congestion-degree]，再将该驾驶场景描述向量与驾驶操作结合起来，就组成了一个用来全面描述车辆驾驶情景的分类Ooperation(Scene)，该分类将用于下一步骤的驾驶员身份识别的神经网络构建中。
作为优选，步骤5设计了一个两层的人工神经网络深度学习框架来识别驾驶员的身份，该人工神经网络分为局部感知层和全局感知层。身份识别的子步骤如图6所示，人工神经网络深度学习框架的架构示意图如图8所示：
步骤501首先对车辆驾驶情景的分类Ooperation(Scene)中的各传感器数据提取统计学和数字信号的相关特征。
特征选取方面，传感器各轴数据的平均值是一个非常合适的数据特征。例如车辆在静止时或者保持直线匀速运动时，加速度传感器和陀螺仪的每个轴的数据统计平均值那个数据块内应该近似等于零。又例如在车辆右转弯时，陀螺仪z轴的数据的统计平均值应该大于零。因此，每个数据块内的数据统计均值Mean被选用为一个重要的车辆驾驶特征：
在上式中，n为这个数据块内的数据个数，0<i<＝n,Xi是第i个原始数据。未经特殊说明本文后面提到的相同符号的含义与前文一致。
经过试验我们还发现，在一定的较高的采样频率下，在固定大小的时间窗口内，两个连续的峰值之间的时间差值基本是一样的，实验结果观测到，基本上所有数据块的该特征值都是近似相等的，但是波峰和波谷的数目却不是都相同，这一点可以用来区分不同的驾驶情况。因此，每个数据块内的极小值数(MinNum)和极大值数(MaxNum)也被选作为用来识别驾驶状态的特征，这两个特征通常叫做平均峰值频率特征。
另外，根据统计学的相关原理与相关实验表明，将方差(variance)，均方根(RMS)和标准差(standard deviation)作为特征对于驾驶状态的识别有重要意义。因此，把每个数据块内的方差、均方根以及标准差也作为识别驾驶状态的重要数据特征，均方根、方差与标准差的计算公式如下所示：
本发明还利用数字信号处理领域的相关知识，在时域和频域进行特征提取。通过实验和调研，我们把每个数据块内的信号振幅区域(SMA)以及信号平均能量(AE)作为识别车辆驾驶状态的两个重要的频域和时域特征，信号振幅区域和信号平均能量的计算公式如下所示：
其中Ak是该数据块内的数据进行傅里叶变换之后得到结果的系数。提取信号振幅区域和信号平均能量这两个数字信号处理领域的特征，主要的原因是根据实验对比结果发现这两个特征能够很好的区分车辆在加速、匀速与减速这三种状态，在这三种状态下这两个特征数据具有较大的区分度。
最后，进一步的提取了另外一些统计学方面的特征，它们很有可能在不同的车辆驾驶状态上表现出一定的区分度。这些特征是：每个数据块内的平均偏差(averagedelta)，最小值(Min)、最大值(Max)、均方根误差(RMSE)、极差值(最小值与最大值之差的绝对值，MaxMin)、负数之和(SumNeg)，正数之和(SumPos)与轴相关系数(ρAB)。平均偏差指的是每两个连续的原始数据之差绝对值的平均值，平均偏差能够反映驾驶过程中车辆在一定程度上的运动的剧烈程度。而轴相关系数主要是为了反映两个轴之间是否存在一定的相互关系，以及它们的相互关系的相关方向。即这两个轴的数据是否相关，若相关是负相关还是正相关。计算出的相关系数取1到-1之间。如果两轴的相关系数为1，说明两轴的数据完全相关，且是完全正相关。如果两轴的相关系数为-1，说明两轴的数据完全相关，且是完全负相关。如果两轴的相关系数为0，表明两轴完全不相关。如果两轴的相关系数为1到-1之间的小数，说明两轴的数据部分相关。平均偏差和轴相关系数的计算公式分别如公式下所示：
其中，ρAB为A、B两轴的轴相关系数，ai和bi,为轴A和轴B在该数据块内的第i个样本数据。
综上所述，提取的特征包括均值，最小值，最大值，方差，标准偏差，峰度，信号幅度面积(SMA)，正值之和，负值之和，均方根(RMS)，极大值数以及极小值数，共9×12＝108个特征。此外选取了不同传感器两轴之间的轴相关系数也可作为特征(ax-ay,ax-az,ay-az,ax-gy,oy-oz,oz-ax,oz-gy,oy-az)，8个特征，加上持续时间，共计有108+8+1＝117个特征。这117个特征组成一个特征向量，表征该车辆驾驶情景所对应的信号特征，将其输入到深度学习框架中进行学习。
步骤502局部感知层是由车辆驾驶情景的分类Ooperation(Scene)提取的特征向量作为输入的各神经网络学习单元构成的。各神经网络学习单元的输出作为第二层全局感知层的输入，进行全局特征的学习与训练。其中局部感知层中每一个神经网络学习单元的输入层是Ooperation(Scene)提取的117维特征组成。输入变量数目为L_Num_input_unit＝117,隐藏层的神经单元个数为L_Num_hidden_unit＝117,隐藏层的层数为L_Num_hidden_layer＝2,输出层的神经单元个数为L_Num_output_unit＝1。
其中局部感知层关键参数的设置如下：激活函数选用ReLU函数，学习速率设置为0.2，最大迭代次数设置为10000。
步骤503全局感知层是由局部感知层的输出作为输入构成的，各神经网络学习单元的输出在全局感知层进行全局特征的学习与训练。其中全局感知层的输入层输入变量数目取决于车辆驾驶情景的分类Ooperation(Scene)的多少，为G_Num_input_unit＝Num_Ooperation(Scene),隐藏层的神经单元个数同样取决于车辆驾驶情景的分类Ooperation(Scene)的多少，为G_Num_hidden_unit＝Num_Ooperation(Scene),隐藏层的层数为G_Num_hidden_layer＝4,输出层的神经单元个数为G_Num_output_unit＝1,即输出一个最终的身份识别分类结果。
其中全局感知层的关键参数的设置如下：激活函数选用Softmax函数，学习速率设置为0.2，最大迭代次数设置为10000，后两者需要与局部感知层保持一致。
步骤504最后将训练集数据输入到局部感知层进行训练，并使用测试集对模型的性能进行测试。
步骤6在步骤5的两层的人工神经网络深度学习框架的基础上设计了一个循环神经网络(RNN)来识别驾驶员的驾驶状态。该循环神经网络的输入为根据时间顺序排序的车辆驾驶情景的分类Ooperation(Scene)中提取特征向量，循环神经单元为步骤5中的神经网络学习单元，输出为一个驾驶状态序列，即为最终的识别结果。驾驶状态识别的子步骤如图7所示，循环神经网络深度学习框架的架构示意图如图9所示：
步骤601首先和步骤5一样，对车辆驾驶情景的分类Ooperation(Scene)中的各传感器数据提取统计学和数字信号的相关特征。提取的特征包括均值，最小值，最大值，方差，标准偏差，峰度，信号幅度面积(SMA)，正值之和，负值之和，均方根(RMS)，极大值数以及极小值数，共9×12＝108个特征。此外选取了不同传感器两轴之间的轴相关系数也可作为特征(ax-ay,ax-az,ay-az,ax-gy,oy-oz,oz-ax,oz-gy,oy-az)，8个特征，加上持续时间，共计有108+8+1＝117个特征。这117个特征组成一个特征向量，表征该车辆驾驶情景所对应的信号特征，作为循环神经单元的输入。
步骤602循环神经单元是由车辆驾驶情景的分类Ooperation(Scene)提取的特征向量作为输入的。循环神经单元的输出即为某一时刻在某个驾驶场景下识别的驾驶状态的。循环神经单元的输入层是Ooperation(Scene)提取的117维特征组成，输入变量数目为U_Num_input_unit＝117,隐藏层的神经单元个数为U_Num_hidden_unit＝117,隐藏层的层数为U_Num_hidden_layer＝2,输出层的神经单元个数为U_Num_output_unit＝1。
其中局部感知层关键参数的设置如下：激活函数选用Softmax函数，学习速率设置为0.1，最大迭代次数设置为10000。
步骤603循环神经单元的输出层为一个识别的驾驶状态，整个循环神经网络的输出层为一个根据时间排序的对应车辆驾驶情景的分类的驾驶状态序列。本发明预设了5种驾驶状态，它们是：积极的(positive)，中性的(negative)，消极的(neutral)，鲁莽驾驶(reckless driving)，疲劳驾驶(fatigue driving)。
步骤604最后将训练集数据输入到局部感知层进行训练，并使用测试集对模型的性能进行测试。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (7)
1.一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法，其特征在于，包括以下步骤：
步骤1：利用手机内置的加速度计、陀螺仪以及方向传感器以不小于30HZ的频率来采集驾驶员的车辆驾驶数据，并进行预处理工作；
步骤2：利用阈值判别法根据采集到的传感器数据识别出每一时刻车辆的运动状态，即驾驶元动作；
步骤3：根据识别的车辆驾驶元动作序列基于模糊识别结合标准动作库划分驾驶操作；
步骤4：结合道路交通信息以及摄像设备基于计算机视觉技术识别出车辆行驶时前方的障碍物以及拥挤情况，并划分出不同的驾驶场景；
步骤5：以驾驶场景和驾驶操作为分类依据，分别提取该类别的数字信号统计学特征，作为深度神经网络的输入，对于每个驾驶员构建相应的个人驾驶特征库并训练对应的深度神经网络模型来识别驾驶员的身份；
步骤6：在识别出驾驶员的身份之后，通过构建相应的递归神经网络来识别驾驶员各时刻的驾驶状态。
2.根据权利要求1所述的一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法，其特征在于，步骤1中所述的利用手机内置的加速度计、陀螺仪以及方向传感器以不小于30HZ的频率来采集驾驶员的车辆驾驶数据，其具体实现包括以下子步骤：
步骤1.1：在t时刻通过手机内置的加速度计、陀螺仪以及方向传感器采集到的九轴传感器数据分别为：加速度计x，y，z轴数据ax,ay,az，陀螺仪x，y，z轴数据gx,gy,gz，方向传感器x，y，z轴数据ox,oy,oz；
步骤1.2：使用卡尔曼滤波器对所有原始数据进行滤波，离散卡尔曼滤波算法主要包括两个部分，时间更新预测以及状态更新校正；其中时间更新预测是指利用当前时刻的信号值和其对应的误差协方差对下一时刻的状态进行先验估计；状态更新校正是指利用时间更新预测所得的先验估计和实际信号值得到改进后的下一时刻的后验估计；
下式表示离散时间信号x的离散随机差分方程：
xk＝Axk-1+Buk-1+ωk-1
ωk表示估计离散事件过程中的激励噪声，是正态分布的白色噪声，p(ω)～N(0,Q)；时间更新预测过程如下：
<mrow>
<msub>
<mover>
<mi>x</mi>
<mo>^</mo>
</mover>
<mrow>
<mover>
<mi>k</mi>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>=</mo>
<mi>A</mi>
<msub>
<mover>
<mi>x</mi>
<mo>^</mo>
</mover>
<mrow>
<mover>
<mi>k</mi>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>+</mo>
<mi>B</mi>
<msub>
<mover>
<mi>u</mi>
<mo>^</mo>
</mover>
<mrow>
<mover>
<mi>k</mi>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
</mrow>
Pk -＝APk-1AT+Q
其中xk -表示先验估计，Pk -表示协方差估计：
状态更新校正过程如下，先计算卡尔曼增益Kk，矩阵H表示状态信号对测量信号的增益：
Kk＝Pk -HT(HPk -HT+R)-1
下式表示状态的后验估计：
<mrow>
<msub>
<mover>
<mi>x</mi>
<mo>^</mo>
</mover>
<mi>k</mi>
</msub>
<mo>=</mo>
<msub>
<mover>
<mi>x</mi>
<mo>^</mo>
</mover>
<mover>
<mi>k</mi>
<mo>&OverBar;</mo>
</mover>
</msub>
<mo>+</mo>
<msub>
<mi>K</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>z</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<mi>H</mi>
<msub>
<mover>
<mi>x</mi>
<mo>^</mo>
</mover>
<mover>
<mi>k</mi>
<mo>&OverBar;</mo>
</mover>
</msub>
<mo>)</mo>
</mrow>
</mrow>
下式表示估计状态的后验协方差：
Pk＝(I-KkH)Pk -
以上卡尔曼滤波方程重复计算，上一时刻计算得到的值作为下一时刻计算的先验估计，而当前时刻的信号值和先验估计又用来计算当前时刻的后验估计；
步骤1.3：对加速度计z轴数据进行坐标校正，定义Az为校正后的加速度计z轴数据，坐标校正公式如下，其中方向传感器x，y，z轴数据为ox,oy,oz：
Az＝axsinozsinoy+aysinoysinoz+azcosozcosoy
步骤1.4数据归一化采用离差标准化法，对原始数据进行线性变换，将所有的原始数据映射在[T1,T2]的目标区间中，消除量纲对于车辆驾驶员身份及驾驶状态识别的影响；
定义需要进行归一化的数据集为D＝{Di|0<＝i<＝m},其中m为数据集中的数据个数；归一化后的数据的计算公式如下所示：
<mrow>
<msup>
<mi>D</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<msub>
<mi>T</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<mo>&lsqb;</mo>
<mfrac>
<mrow>
<msub>
<mi>D</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mi>D</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mi>D</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mi>D</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>&times;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>T</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<msub>
<mi>T</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
其中，max(D)和min(D)分别为数据集D中的最大值和最小值，T2和T1分别为需要映射到的目标区间的上下界限；结合加速度、陀螺仪以及方向传感器的物理原理，目标映射区间取值为[-1,1]。
3.根据权利要求1所述的一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法，其特征在于，步骤2中利用阈值判别法根据采集到的传感器数据识别出每一时刻车辆的驾驶元动作，驾驶元动作包括静止、加速、减速、匀速、上坡、下坡、平地行驶、左打方向盘、右打方向盘、直线行驶这10种，定义在t时刻通过手机内置的加速度计、陀螺仪以及方向传感器采集到的九轴传感器数据经过预处理后的数据分别为：加速度计x，y，z轴数据Ax,Ay,Az，陀螺仪x，y，z轴数据Gx,Gy,Gz，方向传感器x，y，z轴数据Ox,Oy,Oz；判别驾驶元动作包括以下判断状态：
判断状态一：通过方向传感器的y轴俯仰角数据来判断车辆的上下坡情况，若Oy>0+ΔOy0，则说明车辆正在下坡，相反，若Oy<0-ΔOy0，则说明车辆正在上坡，若-ΔOy0<Oy<ΔOy0，说明车辆基本在平地上行驶；
判断状态二：通过陀螺仪的z轴水平方向的运动角速度数据来判断车辆的左右转弯情况，若Gz>0+ΔGz0，则说明车辆的方向盘正向右打，相反，若Gz<0-ΔGz0，则说明车辆方向盘正向左打，若-ΔGz0<Gz<ΔGz0，说明车辆基本正在保持直线行驶；
判断状态三：判断车辆的加速与减速状态需要知道车辆是否在上下坡，然后结合加速度计y轴车辆前进方向的加速度数据来进行判断；首先通过车辆上下坡情况来对加速度y轴数据进行修正，消除重力的影响：
<mrow>
<msup>
<msub>
<mi>A</mi>
<mi>y</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>A</mi>
<mi>y</mi>
</msub>
<mo>+</mo>
<mi>g</mi>
<mi> </mi>
<mi>sin</mi>
<mo>|</mo>
<msub>
<mi>O</mi>
<mi>y</mi>
</msub>
<mo>|</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>O</mi>
<mi>y</mi>
</msub>
<mo><</mo>
<mo>-</mo>
<msub>
<mi>&Delta;O</mi>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>a</mi>
<mi>y</mi>
</msub>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>&Delta;O</mi>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
</msub>
<mo>&le;</mo>
<msub>
<mi>O</mi>
<mi>y</mi>
</msub>
<mo><</mo>
<msub>
<mi>&Delta;O</mi>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>A</mi>
<mi>y</mi>
</msub>
<mo>-</mo>
<mi>g</mi>
<mi> </mi>
<msub>
<mi>cosO</mi>
<mi>y</mi>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>&Delta;O</mi>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
</msub>
<mo>&le;</mo>
<msub>
<mi>O</mi>
<mi>y</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
之后根据修正后的加速度计y轴数据Ay’来判断车辆的加速与减速情况；若Ay’>0+ΔAy0，则说明车辆正在加速行驶，相反，若Ay’<0-ΔAy0，则说明车辆正向减速行驶，若-ΔAy0<Ay’<ΔAy0，说明车辆基本正在保持匀速行驶；
判断状态四：结合GPS与OBD获取的车辆速度数据来判断车辆是否启动，即是否处于静止状态。
4.根据权利要求1所述的一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法，其特征在于，步骤3中采用基于标准动作库的模糊识别算法来将驾驶元动作序列划分驾驶操作；预设的驾驶操作为起步、左转弯、右转弯、掉头、变道、停车这六大驾驶操作；每一个标准的驾驶操作都是由一系列的驾驶元动作向量构成的；在采用有序的模糊集表示操作模式类的情况下，一个操作过程表示为由若干个动作排列而成的动作序列，所以模式识别的问题就变成对这个动作序列里的元素在各模式类中进行分配和对动作序列进行正确分割的问题；定义：
定义1、操作过程中共有m种基本动作，则由这m种基本动作可以构成基本动作集合U；因此任何一个复杂操作可成为由U中部分或全部元素按照一定的排列次序构成的长度有限的动作序列Xj，j＝1,2,3…n；
定义2、当出现操作错误时，Xj中各基本动作的名称、次序、数量和动作间的时间间隔均可发生不同程度的改变；在一点范围内，这些具有不用错误形式的操作与ωj一起构成第j个操作模式类，记为Oj；ωj为Oj的标准样板，而其他操作为Oj中的非标准模式；
定义3、驾驶动作的标准库为：
O起步＝{[*,straight,static],[*,*,accelerating],…,[*,*,accelerating],[*,straight,*-static]}，
O左转弯＝{[*,straight,*-static],[*,left,*],…,[*,left,*],[*,straight,*]}，
O右转弯＝{[*,straight,*],[*,right,*],…,[*,right,*],[*,straight,*]}，
O变道＝{[*,straight,*-static],[*,left,*],…,[*,left,*],[*,straight,accelerating],…,[*,straight,accelerating],[*-static,straight,*]}，O停车＝{[*,straight,*-static],[*,*,accelerating],…,[*,*,accelerating],[*,straight,static]}
其中，符号*代表任意状态，-表示不包括后面的状态，
划分驾驶操作的步骤具体包括：
步骤3.1：首先找到驾驶元动作向量序列中每一对与标准驾驶操作库中匹配的开始与结束的驾驶元动作向量对Xl’，这一步骤采用简单的字符串匹配算法即可；
步骤3.2：对于每一个驾驶元动作向量对Xl’中的驾驶元动作向量ai，计算其对应的驾驶操作标准库的成员函数μOj(aj)(0<j<7)，公式为：
<mrow>
<msub>
<mi>&mu;</mi>
<msub>
<mi>O</mi>
<mi>j</mi>
</msub>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>p</mi>
<msub>
<mi>a</mi>
<mi>i</mi>
</msub>
</msub>
<mo>+</mo>
<msub>
<mi>q</mi>
<msub>
<mi>a</mi>
<mi>i</mi>
</msub>
</msub>
</mrow>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mfrac>
<mo>&CenterDot;</mo>
<msub>
<mi>a</mi>
<mrow>
<mi>e</mi>
<mi>x</mi>
<mi>i</mi>
<mi>s</mi>
<mi>t</mi>
</mrow>
</msub>
</mrow>
其中n是Xl’中的驾驶元动作向量的个数，pai是标准驾驶动作库中ai之前的驾驶元动作向量的个数，qai是标准驾驶动作库中ai之后的驾驶元动作向量的个数.aexist表示ai是否在标准驾驶动作库Oj中，是的话，aexist＝1,否则aexist＝0.5，表示不知道；
步骤3.3：对于每一个标准动作库，将序列中所有的μOj(aj)相乘，得到一个最终的概率，比较所有动作库的最终概率，最大的即是匹配出来的驾驶操作。
5.根据权利要求1所述的一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法，其特征在于，步骤4中通过道路交通信息以及计算机视觉技术来识别驾驶场景；通过三个属性来描述驾驶场景：障碍情况，道路等级以及拥挤程度；所述道路交通信息来源采用百度地图的SDK信息来源、或高德地图的SDK信息来源、或任意一现有地图提供商能够提供的SDK信息来源；
步骤4.1首先判断车辆前方的障碍情况，将车辆前方视野分为左中右三大块区域，每块区域单独判断是否存在障碍物；根据行车记录仪等摄像设备拍摄的实时行驶视频数据作为来源，使用计算机视觉方面的技术来识别这三大区域是否存在障碍物，若存在则用1表示，不存在，则用0来表示；根据左中右的顺序，可以用一个三元组[left,middle,right]来表示车辆前方的障碍物情况：定义[0,1,0]表示车辆前方左右两侧无障碍物，中间正前方区域有障碍物；
步骤4.2通过SDK的函数接口获得车辆目前正在行驶路段的具体道路等级；道路等级划分为三级：高速路、普通城市道路以及其他道路类型；其中城市的快速路也被划分为高速路这一等级；
步骤4.3通过SDK的函数接口获得车辆目前正在行驶路段的拥挤程度，拥挤程度划分为三级：重度拥堵、拥堵以及交通通畅；
步骤4.4将这三大属性结合起来组成一个驾驶场景描述向量Scene＝[obstacle,road-type,congestion-degree]，再将该驾驶场景描述向量与驾驶操作结合起来，就组成了一个用来全面描述车辆驾驶情景的分类Ooperation(Scene)，该分类将用于下一步骤的驾驶员身份识别的神经网络构建中。
6.根据权利要求1所述的一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法，其特征在于，步骤5基于一个两层的人工神经网络深度学习框架来识别驾驶员的身份，该人工神经网络分为局部感知层和全局感知层；
步骤5.1首先对车辆驾驶情景的分类Ooperation(Scene)中的各传感器数据提取统计学和数字信号的相关特征；提取的特征包括均值，最小值，最大值，方差，标准偏差，峰度，信号幅度面积(SMA)，正值之和，负值之和，均方根(RMS)，极大值数以及极小值数，共9×12＝108个特征；此外选取了不同传感器两轴之间的轴相关系数也可作为特征(ax-ay,ax-az,ay-az,ax-gy,oy-oz,oz-ax,oz-gy,oy-az)，8个特征，加上持续时间，共计有108+8+1＝117个特征；这117个特征组成一个特征向量，表征该车辆驾驶情景所对应的信号特征，将其输入到深度学习框架中进行学习；
步骤5.2局部感知层是由车辆驾驶情景的分类Ooperation(Scene)提取的特征向量作为输入的各神经网络学习单元构成的；各神经网络学习单元的输出作为第二层全局感知层的输入，进行全局特征的学习与训练；其中局部感知层中每一个神经网络学习单元的输入层是Ooperation(Scene)提取的117维特征组成；输入变量数目为L_Num_input_unit＝117,隐藏层的神经单元个数为L_Num_hidden_unit＝117,隐藏层的层数为L_Num_hidden_layer＝2,输出层的神经单元个数为L_Num_output_unit＝1；
其中局部感知层关键参数的设置如下：激活函数选用ReLU函数，学习速率设置为0.2，最大迭代次数设置为10000；
步骤5.3全局感知层是由局部感知层的输出作为输入构成的，各神经网络学习单元的输出在全局感知层进行全局特征的学习与训练；其中全局感知层的输入层输入变量数目取决于车辆驾驶情景的分类Ooperation(Scene)的多少，为G_Num_input_unit＝Num_Ooperation(Scene),隐藏层的神经单元个数同样取决于车辆驾驶情景的分类Ooperation(Scene)的多少，为G_Num_hidden_unit＝Num_Ooperation(Scene),隐藏层的层数为G_Num_hidden_layer＝4,输出层的神经单元个数为G_Num_output_unit＝1,即输出一个最终的身份识别分类结果；
其中全局感知层的关键参数的设置如下：激活函数选用Softmax函数，学习速率设置为0.2，最大迭代次数设置为10000，学习速率和最大迭代次数需要与局部感知层保持一致。
7.根据权利要求1所述的一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法，其特征在于，步骤6基于一个循环神经网络(RNN)来识别驾驶员的驾驶状态；该循环神经网络的输入为根据时间顺序排序的车辆驾驶情景的分类Ooperation(Scene)中提取特征向量，循环神经单元为步骤5中的神经网络学习单元，输出为一个驾驶状态序列，即为最终的识别结果；
步骤6.1首先对车辆驾驶情景的分类Ooperation(Scene)中的各传感器数据提取统计学和数字信号的相关特征；提取的特征包括均值，最小值，最大值，方差，标准偏差，峰度，信号幅度面积(SMA)，正值之和，负值之和，均方根(RMS)，极大值数以及极小值数，共9×12＝108个特征；此外选取了不同传感器两轴之间的轴相关系数也可作为特征(ax-ay,ax-az,ay-az,ax-gy,oy-oz,oz-ax,oz-gy,oy-az)，8个特征，加上持续时间，共计有108+8+1＝117个特征；这117个特征组成一个特征向量，表征该车辆驾驶情景所对应的信号特征，作为循环神经单元的输入；
步骤6.2循环神经单元是由车辆驾驶情景的分类Ooperation(Scene)提取的特征向量作为输入的；循环神经单元的输出即为某一时刻在某个驾驶场景下识别的驾驶状态的；循环神经单元的输入层是Ooperation(Scene)提取的117维特征组成，输入变量数目为U_Num_input_unit＝117,隐藏层的神经单元个数为U_Num_hidden_unit＝117,隐藏层的层数为U_Num_hidden_layer＝4,输出层的神经单元个数为U_Num_output_unit＝1；
其中局部感知层关键参数的设置如下：激活函数选用Softmax函数，学习速率设置为0.1，最大迭代次数设置为10000；
步骤6.3循环神经单元的输出层为一个识别的驾驶状态，整个循环神经网络的输出层为一个根据时间排序的对应车辆驾驶情景的分类的驾驶状态序列；驾驶状态包括积极的(positive)，中性的(negative)，消极的(neutral)，鲁莽驾驶(reckless driving)，疲劳驾驶(fatigue driving)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710731390.3A CN107492251B (zh) | 2017-08-23 | 2017-08-23 | 一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710731390.3A CN107492251B (zh) | 2017-08-23 | 2017-08-23 | 一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107492251A true CN107492251A (zh) | 2017-12-19 |
| CN107492251B CN107492251B (zh) | 2020-02-14 |
Family
ID=60650825
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710731390.3A Active CN107492251B (zh) | 2017-08-23 | 2017-08-23 | 一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107492251B (zh) |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229567A (zh) * | 2018-01-09 | 2018-06-29 | 北京荣之联科技股份有限公司 | 驾驶员身份识别方法及装置 |
| CN108470460A (zh) * | 2018-04-11 | 2018-08-31 | 江苏大学 | 一种基于智能手机与rnn的周边车辆行为识别方法 |
| CN108550279A (zh) * | 2018-04-03 | 2018-09-18 | 同济大学 | 基于机器学习的车辆驾驶行为预测方法 |
| CN108682148A (zh) * | 2018-05-11 | 2018-10-19 | 重庆邮电大学 | 混合交通状态下基于机器学习的非网联车状态估计方法 |
| CN108960067A (zh) * | 2018-06-05 | 2018-12-07 | 北京华纵科技有限公司 | 基于深度学习的实时的列车驾驶员动作识别系统和方法 |
| CN108965793A (zh) * | 2018-04-28 | 2018-12-07 | 陈飞 | 一种自适应调节的化妆辅助方法及系统 |
| CN109278758A (zh) * | 2018-08-28 | 2019-01-29 | 武汉理工大学 | 一种基于智能手机的智能车个性化驾驶学习系统 |
| CN109493446A (zh) * | 2018-09-25 | 2019-03-19 | 深圳市元征科技股份有限公司 | 数据处理方法及装置 |
| CN109895782A (zh) * | 2019-04-24 | 2019-06-18 | 泉州师范学院 | 智能汽车座椅及工作方法 |
| CN110045152A (zh) * | 2019-05-14 | 2019-07-23 | 爱动超越人工智能科技（北京）有限责任公司 | 一种特种车辆行进状态检测方法及装置 |
| CN110132257A (zh) * | 2019-05-15 | 2019-08-16 | 吉林大学 | 基于多传感器数据融合的人体行为预测方法 |
| CN110260925A (zh) * | 2019-07-12 | 2019-09-20 | 创新奇智(重庆)科技有限公司 | 司机停车技术优劣的检测方法及其系统、智能推荐方法、电子设备 |
| CN110274768A (zh) * | 2018-03-15 | 2019-09-24 | Avl李斯特有限公司 | 用于执行试件的试验流程的方法 |
| CN110443185A (zh) * | 2019-07-31 | 2019-11-12 | 京东城市(北京)数字科技有限公司 | 驾驶员识别方法、驾驶员识别装置、电子设备及存储介质 |
| CN110696830A (zh) * | 2018-12-27 | 2020-01-17 | 长城汽车股份有限公司 | 车辆驾驶模式控制方法和系统 |
| CN110888449A (zh) * | 2019-10-31 | 2020-03-17 | 高新兴物联科技有限公司 | 车辆姿态控制方法、设备和存储介质 |
| CN111016921A (zh) * | 2018-10-10 | 2020-04-17 | 哈曼国际工业有限公司 | 用于确定车辆数据集熟悉度的系统和方法 |
| CN111284497A (zh) * | 2020-01-20 | 2020-06-16 | 北京津发科技股份有限公司 | 驾驶状态识别装置 |
| CN111353467A (zh) * | 2020-03-12 | 2020-06-30 | Oppo广东移动通信有限公司 | 行驶状态识别方法、装置、终端及存储介质 |
| CN111508101A (zh) * | 2019-01-30 | 2020-08-07 | 斯特拉德视觉公司 | 通过检测驾驶场景来评估驾驶员的驾驶习惯的方法和装置 |
| CN111527013A (zh) * | 2017-12-27 | 2020-08-11 | 宝马股份公司 | 车辆变道预测 |
| CN111696349A (zh) * | 2020-06-10 | 2020-09-22 | 长威信息科技发展股份有限公司 | 基于路段实时通行状况的疲劳驾驶判别方法 |
| CN111724597A (zh) * | 2020-06-24 | 2020-09-29 | 天津大学 | 基于驾驶行为评估驾驶员认知表现的研究方法 |
| WO2020244522A1 (en) * | 2019-06-03 | 2020-12-10 | Byton Limited | Traffic blocking detection |
| CN112418315A (zh) * | 2020-11-23 | 2021-02-26 | 浙江天行健智能科技有限公司 | 基于制动特征和svm算法的驾驶员身份识别建模方法 |
| CN112559968A (zh) * | 2020-12-09 | 2021-03-26 | 深圳大学 | 一种基于多情境数据的驾驶风格表征学习方法 |
| CN112945230A (zh) * | 2021-01-26 | 2021-06-11 | 腾讯科技（深圳）有限公司 | 车辆行车状态的识别方法、装置、计算机设备和存储介质 |
| CN113191283A (zh) * | 2021-05-08 | 2021-07-30 | 河北工业大学 | 一种基于在途出行者情绪变化的行驶路径决策方法 |
| CN114412988A (zh) * | 2022-02-11 | 2022-04-29 | 吉林大学 | 一种基于道路信息与机器学习的上坡预见性换挡控制方法 |
| US11535954B2 (en) | 2017-10-13 | 2022-12-27 | Robert Czinner | System, controller, and method for decortication processing |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4428311B4 (de) * | 1993-08-10 | 2006-10-26 | Mitsubishi Jidosha Kogyo K.K. | Verfahren zum Abschätzen eines Straßenverkehrszustandes |
| CN101633359A (zh) * | 2008-07-24 | 2010-01-27 | 通用汽车环球科技运作公司 | 具有驾驶风格识别的自适应车辆控制系统 |
| CN103818327A (zh) * | 2013-11-22 | 2014-05-28 | 深圳先进技术研究院 | 一种分析驾驶行为的方法和装置 |
| CN104463244A (zh) * | 2014-12-04 | 2015-03-25 | 上海交通大学 | 基于智能移动终端的异常驾驶行为监测和识别方法及系统 |
| CN106740861A (zh) * | 2015-11-19 | 2017-05-31 | 通用汽车环球科技运作有限责任公司 | 基于驾驶行为区分驾驶员的方法和设备 |
-
2017
- 2017-08-23 CN CN201710731390.3A patent/CN107492251B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4428311B4 (de) * | 1993-08-10 | 2006-10-26 | Mitsubishi Jidosha Kogyo K.K. | Verfahren zum Abschätzen eines Straßenverkehrszustandes |
| CN101633359A (zh) * | 2008-07-24 | 2010-01-27 | 通用汽车环球科技运作公司 | 具有驾驶风格识别的自适应车辆控制系统 |
| CN103818327A (zh) * | 2013-11-22 | 2014-05-28 | 深圳先进技术研究院 | 一种分析驾驶行为的方法和装置 |
| CN104463244A (zh) * | 2014-12-04 | 2015-03-25 | 上海交通大学 | 基于智能移动终端的异常驾驶行为监测和识别方法及系统 |
| CN106740861A (zh) * | 2015-11-19 | 2017-05-31 | 通用汽车环球科技运作有限责任公司 | 基于驾驶行为区分驾驶员的方法和设备 |
Cited By (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11535954B2 (en) | 2017-10-13 | 2022-12-27 | Robert Czinner | System, controller, and method for decortication processing |
| CN111527013B (zh) * | 2017-12-27 | 2024-02-23 | 宝马股份公司 | 车辆变道预测 |
| CN111527013A (zh) * | 2017-12-27 | 2020-08-11 | 宝马股份公司 | 车辆变道预测 |
| CN108229567B (zh) * | 2018-01-09 | 2021-06-15 | 荣联科技集团股份有限公司 | 驾驶员身份识别方法及装置 |
| CN108229567A (zh) * | 2018-01-09 | 2018-06-29 | 北京荣之联科技股份有限公司 | 驾驶员身份识别方法及装置 |
| CN110274768A (zh) * | 2018-03-15 | 2019-09-24 | Avl李斯特有限公司 | 用于执行试件的试验流程的方法 |
| CN110274768B (zh) * | 2018-03-15 | 2023-09-08 | Avl李斯特有限公司 | 用于执行试件的试验流程的方法和系统 |
| CN108550279B (zh) * | 2018-04-03 | 2019-10-18 | 同济大学 | 基于机器学习的车辆驾驶行为预测方法 |
| CN108550279A (zh) * | 2018-04-03 | 2018-09-18 | 同济大学 | 基于机器学习的车辆驾驶行为预测方法 |
| CN108470460A (zh) * | 2018-04-11 | 2018-08-31 | 江苏大学 | 一种基于智能手机与rnn的周边车辆行为识别方法 |
| CN108965793A (zh) * | 2018-04-28 | 2018-12-07 | 陈飞 | 一种自适应调节的化妆辅助方法及系统 |
| CN108965793B (zh) * | 2018-04-28 | 2022-01-25 | 耀灵人工智能(浙江)有限公司 | 一种自适应调节的化妆辅助方法及系统 |
| CN108682148A (zh) * | 2018-05-11 | 2018-10-19 | 重庆邮电大学 | 混合交通状态下基于机器学习的非网联车状态估计方法 |
| CN108960067A (zh) * | 2018-06-05 | 2018-12-07 | 北京华纵科技有限公司 | 基于深度学习的实时的列车驾驶员动作识别系统和方法 |
| CN108960067B (zh) * | 2018-06-05 | 2021-04-13 | 北京华纵科技有限公司 | 基于深度学习的实时的列车驾驶员动作识别系统和方法 |
| CN109278758A (zh) * | 2018-08-28 | 2019-01-29 | 武汉理工大学 | 一种基于智能手机的智能车个性化驾驶学习系统 |
| CN109493446A (zh) * | 2018-09-25 | 2019-03-19 | 深圳市元征科技股份有限公司 | 数据处理方法及装置 |
| CN111016921A (zh) * | 2018-10-10 | 2020-04-17 | 哈曼国际工业有限公司 | 用于确定车辆数据集熟悉度的系统和方法 |
| CN110696830A (zh) * | 2018-12-27 | 2020-01-17 | 长城汽车股份有限公司 | 车辆驾驶模式控制方法和系统 |
| CN111508101A (zh) * | 2019-01-30 | 2020-08-07 | 斯特拉德视觉公司 | 通过检测驾驶场景来评估驾驶员的驾驶习惯的方法和装置 |
| CN109895782A (zh) * | 2019-04-24 | 2019-06-18 | 泉州师范学院 | 智能汽车座椅及工作方法 |
| CN110045152A (zh) * | 2019-05-14 | 2019-07-23 | 爱动超越人工智能科技（北京）有限责任公司 | 一种特种车辆行进状态检测方法及装置 |
| CN110132257A (zh) * | 2019-05-15 | 2019-08-16 | 吉林大学 | 基于多传感器数据融合的人体行为预测方法 |
| WO2020244522A1 (en) * | 2019-06-03 | 2020-12-10 | Byton Limited | Traffic blocking detection |
| CN110260925B (zh) * | 2019-07-12 | 2021-06-25 | 重庆赛迪奇智人工智能科技有限公司 | 司机停车技术优劣的检测方法及其系统、智能推荐方法、电子设备 |
| CN110260925A (zh) * | 2019-07-12 | 2019-09-20 | 创新奇智(重庆)科技有限公司 | 司机停车技术优劣的检测方法及其系统、智能推荐方法、电子设备 |
| CN110443185A (zh) * | 2019-07-31 | 2019-11-12 | 京东城市(北京)数字科技有限公司 | 驾驶员识别方法、驾驶员识别装置、电子设备及存储介质 |
| CN110443185B (zh) * | 2019-07-31 | 2020-11-24 | 北京京东智能城市大数据研究院 | 驾驶员识别方法、驾驶员识别装置、电子设备及存储介质 |
| CN110888449A (zh) * | 2019-10-31 | 2020-03-17 | 高新兴物联科技有限公司 | 车辆姿态控制方法、设备和存储介质 |
| CN111284497B (zh) * | 2020-01-20 | 2022-04-12 | 北京津发科技股份有限公司 | 驾驶状态识别装置 |
| CN111284497A (zh) * | 2020-01-20 | 2020-06-16 | 北京津发科技股份有限公司 | 驾驶状态识别装置 |
| CN111353467A (zh) * | 2020-03-12 | 2020-06-30 | Oppo广东移动通信有限公司 | 行驶状态识别方法、装置、终端及存储介质 |
| CN111353467B (zh) * | 2020-03-12 | 2023-06-13 | Oppo广东移动通信有限公司 | 行驶状态识别方法、装置、终端及存储介质 |
| WO2021179818A1 (zh) * | 2020-03-12 | 2021-09-16 | Oppo广东移动通信有限公司 | 行驶状态识别方法、装置、终端及存储介质 |
| CN111696349A (zh) * | 2020-06-10 | 2020-09-22 | 长威信息科技发展股份有限公司 | 基于路段实时通行状况的疲劳驾驶判别方法 |
| CN111696349B (zh) * | 2020-06-10 | 2022-02-11 | 长威信息科技发展股份有限公司 | 基于路段实时通行状况的疲劳驾驶判别方法 |
| CN111724597A (zh) * | 2020-06-24 | 2020-09-29 | 天津大学 | 基于驾驶行为评估驾驶员认知表现的研究方法 |
| CN111724597B (zh) * | 2020-06-24 | 2022-07-08 | 天津大学 | 基于驾驶行为评估驾驶员认知表现的研究方法 |
| CN112418315A (zh) * | 2020-11-23 | 2021-02-26 | 浙江天行健智能科技有限公司 | 基于制动特征和svm算法的驾驶员身份识别建模方法 |
| CN112559968A (zh) * | 2020-12-09 | 2021-03-26 | 深圳大学 | 一种基于多情境数据的驾驶风格表征学习方法 |
| CN112945230A (zh) * | 2021-01-26 | 2021-06-11 | 腾讯科技（深圳）有限公司 | 车辆行车状态的识别方法、装置、计算机设备和存储介质 |
| CN113191283A (zh) * | 2021-05-08 | 2021-07-30 | 河北工业大学 | 一种基于在途出行者情绪变化的行驶路径决策方法 |
| CN114412988A (zh) * | 2022-02-11 | 2022-04-29 | 吉林大学 | 一种基于道路信息与机器学习的上坡预见性换挡控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107492251B (zh) | 2020-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107492251A (zh) | 一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法 | |
| CN111079590B (zh) | 一种无人驾驶车辆的周边车辆行为预判方法 | |
| CN108313054B (zh) | 自动驾驶自主换道决策方法和装置及自动驾驶车辆 | |
| Gao et al. | Multivariate time series prediction of lane changing behavior using deep neural network | |
| CN110949398B (zh) | 一种车辆编队行驶中头车驾驶员异常驾驶行为检测方法 | |
| CN109460023A (zh) | 基于隐马尔科夫模型的驾驶人换道意图识别方法 | |
| CN107229973A (zh) | 一种用于车辆自动驾驶的策略网络模型的生成方法及装置 | |
| CN107133974A (zh) | 高斯背景建模与循环神经网络相结合的车型分类方法 | |
| US9053433B2 (en) | Assisting vehicle guidance over terrain | |
| EP2610836A1 (en) | Device and method for the on-line prediction of the driving cycle in an automotive vehicle | |
| CN109840612A (zh) | 用户驾驶行为分析方法及系统 | |
| CN106971194A (zh) | 一种基于改进hmm和svm双层算法的驾驶意图识别方法 | |
| CN113486822B (zh) | 一种基于驾驶意图的周围车辆轨迹预测方法及系统 | |
| Moosavi et al. | Driving style representation in convolutional recurrent neural network model of driver identification | |
| CN109866776A (zh) | 适用于三车道复杂环境的驾驶偏好辨识方法、设备和介质 | |
| CN110619340A (zh) | 一种自动驾驶汽车换道规则的生成方法 | |
| CN114169444B (zh) | 车辆跟驰工况下考虑风险势场分布的驾驶风格分类方法 | |
| CN106873595A (zh) | 一种基于时间自动机的跟车行为识别方法 | |
| Chu et al. | A review of driving style recognition methods from short-term and long-term perspectives | |
| CN116946183A (zh) | 一种考虑驾驶能力的商用车驾驶行为预测方法及车用设备 | |
| CN115062202A (zh) | 驾驶行为意图及轨迹的预测方法、装置、设备及存储介质 | |
| CN113415292A (zh) | 一种驾驶接管能力评估方法及电子装置 | |
| Wang et al. | Driver modeling based on vehicular sensing data | |
| CN116451084B (zh) | 一种用于驾驶风格识别模型的训练样本预处理方法 | |
| Huang et al. | Detection of abnormalities in driving style based on moving object trajectories without labels |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |