CN115195757A - 电动公交起步驾驶行为建模及识别训练方法 - Google Patents

Abstract

本发明公开了一种电动公交起步驾驶行为建模及识别训练方法，依次按以下步骤进行：第一步骤是获取原始数据集，搜集电动公交日常运营过程中自然驾驶状态的车载CAN总线系统采集的驾驶人操控车辆和车辆运动状态数据以及车内摄像头采集的视频数据，形成原始数据集；第二步骤是在原始数据集的基础上，获取电动公交起步驾驶行为数据集；第三步骤是基于1D时间卷积神经网络以及多时间尺度3D卷积神经网络，构建电动公交起步驾驶行为混合识别模型。本发明能够更好的描述和识别电动公交起步驾驶行为，建立新型电动公交起步驾驶行为混合识别模型，设计针对所提出的电动公交起步驾驶行为混合识别模型的训练方法，实现电动公交不当起步驾驶行为的准确识别。

Description

电动公交起步驾驶行为建模及识别训练方法

技术领域

本发明属于汽车驾驶主动安全技术领域，具体涉及一种电动公交起步驾驶行为识别方法。

背景技术

电动公交作为主要公共交通工具在国家节能减排政策和客户需求双重驱动下得到普及应用。电动公交驾驶区操纵结构布置和起步提速性能的巨大变化给驾驶人的驾驶行为习惯带来挑战，运营线路上频繁临停与起步的任务需求加剧了这种挑战。

因驾驶人不当起步驾驶行为导致的碰撞事故时有发生，需要对电动公交起步驾驶行为进行深入研究。建立准确识别电动公交起步驾驶行为的方法对改善公共交通安全具有重要的意义。

现有利用模拟驾驶或样车试验来识别驾驶行为的方法受驾驶员主观因素影响，导致所得数据和实际道路数据之间误差大，难以准确的描述驾驶行为。现有利用线性或非线性拟合来构建模型方法较难真实反映驾驶行为的随机性和复杂性。

近年来，各类车载传感器、CAN总线技术和智能终端在电动公交上应用积累了海量自然驾驶数据。这些数据中隐含丰富的起步驾驶行为信息。数据驱动建模的深度学习方法在多个领域取得成功应用，卷积神经网络作为一种代表性深度学习方法，其优势在于可以自动提取特征并实现端到端的学习，具有较高的识别准确度。

现有的驾驶行为识别方法中有关视频信号的处理部分，一般都只是采用了传统的2D卷积神经网络针对固定时刻的单张图片进行识别，2D卷积神经网络由于其卷积运算只是针对单张图片的不同空间区域进行特征提取，没有考虑视频信号的时间连续特征。前后相关动作对识别不当驾驶行为具有重要作用，需要考虑时间维度的不同时间尺度特征。

本发明的创造性在于：

对于电动公交起步驾驶行为的识别，本领域技术人员局限于静态单张图片识别，即对一个一个单张图片分别识别，识别该图片中是否存在不当驾驶行为。如，是否存在未关乘客门踩油门行驶，是否存在踩加速踏板挂挡行为。但由于是单张图片静态识别，因而有以下两种不足之处：①不能准确判断当前图片是否是起步行车的图片；②图片识别准确率不高，有些情况无法得出有效结论；比如，某张图片显示，加速踏板被驾驶员踩下，同时驾驶员的手在未离开挂挡位置；由于驾驶员的手在挂挡位置并不一定意味着正在挂挡，因而由单张静态图片并不能得出正在踩加速踏板挂挡的最终结论。当然大部分情况下，本领域技术人员有能力由单张静态图片识别是否存在不当驾驶行为，这也是现有技术中采用传统的2D卷积神经网络针对固定时刻的单张图片进行识别的原因。本领域技术人员受限于现有的单张图片静态识别不当驾驶行为的技术思路，不能引入时间、多通道数据以及相应的判断算法；鉴于没有本领域中没有针对电动公交起步驾驶行为更科学有效的建模思路，本领域技术人员也不能相应建模来解决上述不足。

本发明的设计思路在于：

1、数据来源由模拟驾驶或样车试验改为电动公交日常实际运营中实际产生的数据，引入多通道数据，且数据包括有时序，使识别算法的数据基础更科学。

2、优化识别算法（识别模型及其训练方法），采用1D时间卷积神经网络与多时间尺度3D卷积神经网络相互配合来处理数据，建立更科学有效的混合驾驶行为识别模型。

3、针对混合驾驶行为识别模型（包括多通道数据）设计相应的判断算法及训练方法，为更准确识别起步阶段不当驾驶行为提供基础。

发明内容

本发明的目的在于提供一种电动公交起步驾驶行为建模及识别训练方法，通过新的模型、更科学全面的算法及训练，使模型能够更准确地识别起步阶段不当驾驶行为。

为实现上述目的，本发明的电动公交起步驾驶行为建模及识别训练方法依次按以下步骤进行：

第一步骤是获取原始数据集，搜集电动公交日常运营过程中自然驾驶状态的车载CAN总线系统采集的驾驶人操控车辆和车辆运动状态数据以及车内摄像头采集的视频数据，形成原始数据集，原始数据集包括多通道数据；

第二步骤是在原始数据集的基础上，获取电动公交起步驾驶行为数据集；

第三步骤是基于1D时间卷积神经网络以及多时间尺度3D卷积神经网络，构建电动公交起步驾驶行为混合识别模型。

第一步骤具体包括如下子步骤：

1.1：从电动公交运营平台大数据中搜集自然驾驶状态下车载CAN总线采集的驾驶员操控车辆数据和车辆运动状态数据作为原始数据；

首先对原始数据进行插值，剔除异常点；

其次采用滑动平均滤波法对原始数据进行平滑处理，消除原始数据的噪声，然后对数据重采样，保证各数据点的时间坐标一致，采样频率50Hz；，最终由原始数据得到二级数据；

1.2：从二级数据中筛选与电动公交起步驾驶行为相关的通道数据，用来供电动公交起步驾驶行为混合识别模型使用；1.2子步骤中的通道数据包括GPS位置、挡位、乘客门开关状态、手刹状态、车速、纵向加速度、加速踏板开度和制动踏板开度8种通道数据，将此8种通道数据作为原始数据集；

电动公交起步驾驶行为混合识别模型中具有4种电动公交起步不当驾驶行为，分别为踩加速踏板挂挡、踩加速踏板松手刹、满踩加速踏板起步以及未关乘客门起步行车。

第二步骤具体包括如下子步骤：

2.1：根据数据筛选条件，在原始数据集中筛选出电动公交起步驾驶行为数据，形成电动公交起步驾驶行为视频时间集，以及电动公交起步驾驶行为数据集；

数据筛选条件包括条件一至条件三，将原始数据集中满足条件一至条件三中任一条件的对应数据筛选出来，形成电动公交起步驾驶行为视频时间集和电动公交起步驾驶行为数据集；

条件一是：GPS位置数据与车速数据中，GPS位置位于公交线路站点或路口，并且该时刻车速为0的数据；满足条件一的时刻为T1,由T1时刻向后延时40秒为条件一筛选出来的最终时间段数据；该段最终时间段数据作为电动公交起步驾驶行为视频时间集的组成元素；

条件二是：时间前后连续的车速数据中，车速由0公里/小时增加到5公里/小时；条件二筛选出来的最终数据为上述车速区间中，车速为0的时刻的时间数据；满足条件二的时刻为T2,将T2－15秒至T2＋25秒之间的时间段数据作为电动公交起步驾驶行为视频时间集的组成元素；

条件三是：A和B两类数据同时发生变化；

A类数据是加速踏板开度数据；

B类数据是包括挡位数据、乘客门开关状态数据、手刹状态数据和车速数据，B类数据中的任一项数据发生变化，均视为B类数据发生变化；

条件三筛选出来的最终数据为A和B两类数据同时发生变化的时刻的时间数据T3，将T3－15秒至T3＋25秒之间的时间段数据作为电动公交起步驾驶行为视频时间集的组成元素；

根据电动公交起步驾驶行为视频时间集，从原始数据集中筛选出相应的起步行为数据，形成电动公交起步驾驶行为数据集；

起步行为数据包括挡位、乘客门开关状态、手刹状态、车速、纵向加速度、加速踏板开度和制动踏板开度共计7种通道数据，由筛选出来的上述7种通道数据形成电动公交起步驾驶行为数据集，该数据集中的每一元素包括上述7种通道数据；

2.2：主体查看客体，对电动公交起步驾驶行为数据集中的各项起步行为数据标注相应的状态标签，形成电动公交起步驾驶行为状态数据集；电动公交起步驾驶行为状态数据集的组成元素为标注相应的状态标签后的起步行为数据；

主体是电动公交起步驾驶行为混合识别模型的训练人员；客体是步骤2.1中筛选出来的电动公交起步驾驶行为视频时间集所对应的车载视频监控系统采集的视频；

电动公交起步驾驶行为状态数据中的各标注有状态标签的起步行为数据为训练样本，电动公交起步驾驶行为状态数据中训练样本的数量为N，记为X={x₁,x₂,x₃,…,x_N}；

对于电动公交起步驾驶行为状态数据中的第n个训练样本表示为x_n=[D_n,L_n]，其中D_n表示第n个训练样本数据，大小为7×2000； L_n表示第n个训练样本数据对应的状态标签；

状态标签分为5种起步行为状态，5种起步行为状态包括正常起步驾驶状态和四种电动公交起步不当驾驶行为状态；

第三步骤具体包括如下子步骤：

3.1：确定输入变量和输出变量；

将当前时刻的驾驶行为数据集作为电动公交起步驾驶行为混合识别模型的输入变量；当前时刻的驾驶行为数据集包括当前时刻的挡位、乘客门开关状态、手刹状态、车速、纵向加速度、加速踏板开度和制动踏板开度共计7种通道数据；

将当前时刻的驾驶行为属于所述5种起步行为状态中每一种状态的概率作为电动公交起步驾驶行为混合识别模型的输出变量；

3.2：确定包括输入层、1D时间卷积特征提取模块、多时间尺度3D卷积特征提取模块、1个全连接神经网络模块和输出层的卷积神经网络结构，作为电动公交起步驾驶行为混合识别模型；

其中1D时间卷积特征提取模块共包含四层：第一层为具有32个核函数的卷积层，核大小为1×2，激活函数为整流线性激活函数ReLU；第二层为最大池化层，核大小为1×2；第三层为具有64个核函数的卷积层，核大小为1×2，激活函数为整流线性激活函数ReLU；第四层为平均池化层，核大小为1×2；

3.3：将1D时间卷积特征提取模块第四层的输出先进行堆叠，再展开为一维数组，全连接到所述全连接神经网络模块的第一层；全连接神经网络模块的第一层和第二层分别由256个和64个神经单元组成；全连接神经网络模块第二层的输出连接到卷积神经网络的输出层，

3.4：将多时间尺度3D卷积特征提取模块输出的空间信息和时序信息堆叠后输出；

3.5：卷积神经网络的所述输出层有5个神经单元，采用的激活函数为softmax，输出为5种起步行为状态的概率分布；

3.6：从电动公交起步驾驶行为状态数据中随机抽取样本来更新包含网络参数的交叉熵损失函数，采用梯度下降法更新卷积神经网络参数。

还包括有第四步骤，第四步骤是对电动公交起步驾驶行为混合识别模型进行训练、验证和评估，包括如下子步骤：

4.1：模型训练时，将电动公交起步驾驶行为状态数据集中的组成元素按7：3的比例随机分为用于训练的训练数据集和用于验证的测试数据集；

4.2：把训练数据集的数据输入到电动公交起步驾驶行为混合识别模型进行标定，设定模型训练参数学习率和失活率；设定模型训练样本批大小和训练步数；训练开始时初始化电动公交起步驾驶行为混合识别模型的卷积神经网络参数，采用随机梯度下降法优化softmax交叉熵损失函数来迭代更新卷积神经网络参数；

4.3：训练中，不同循环次数对应不同的卷积神经网络参数，并具有不完全相同的训练效果；训练完成后，训练人员选择并输出训练效果相对较好时对应的循环次数及对应的卷积神经网络参数；

4.4：电动公交起步驾驶行为混合识别模型使用子步骤4.3中得到的卷积神经网络参数，将测试数据集中除状态标签以外的数据作为输入变量输入电动公交起步驾驶行为混合识别模型，比较电动公交起步驾驶行为混合识别模型的输出变量与相应输入变量对应的状态标签，验证所建立的电动公交起步驾驶行为混合识别模型对新数据的泛化能力和适应能力。

本发明具有如下的优点：

本发明能够更好的描述和识别电动公交起步驾驶行为，从电动公交日常实际运营车载CAN总线以及车内摄像头采集的自然驾驶数据中学习驾驶员的起步驾驶行为，提出了采用1D时间卷积神经网络来识别CAN总线时序数据，采用多时间尺度3D卷积神经网络来识别视频信息，建立新型电动公交起步驾驶行为混合识别模型，设计针对所提出的电动公交起步驾驶行为混合识别模型的训练方法，训练完成后的电动公交起步驾驶行为混合识别模型能够实现电动公交不当起步驾驶行为的准确识别。本发明用于车载ECU后，可以实时检测电动公交驾驶员的不当起步行为并报警提示，提高电动公交的安全性，减少电动公交引发的交通安全事故。

电动公交驾驶行为模型采用两个卷积特征提取模块分别提取CAN总线数据和车内摄像头驾驶员驾驶行为数据，再进行特征融合，提取的数据特征信息更加精准；卷积特征提取模块采用2个卷积层进行数据处理，可以从低级特征中迭代提取更复杂的特征，并方便从高维特征中提取新的、维度较低的特征，得到更精准反映起步驾驶行为的特征信息；卷积层核函数数量由32、64呈增大趋势，全连接神经网络神经元数量由256、64、5依次减小，这有利于提高起步驾驶行为识别的准确率。

本发明提出的电动公交起步驾驶行为建模及识别训练方法，设计了基于1D时间卷积神经网络以及时间多尺度3D卷积神经网络的新型电动公交起步驾驶行为混合识别模型，设计了针对此电动公交起步驾驶行为混合识别模型的训练方法，原理科学，易于实现，可用于准确识别电动公交的起步驾驶行为，在电动公交交通安全中有重要的应用价值。

附图说明

图1是本发明的流程示意图；

图2是电动公交起步驾驶行为混合识别模型的结构示意图；

图3是电动公交起步驾驶行为数据的示意图。

具体实施方式

如图1至图3所示，本发明的电动公交起步驾驶行为建模及识别训练方法依次按以下步骤进行：

第一步骤是获取原始数据集，搜集电动公交日常运营过程中自然驾驶状态的车载CAN总线系统采集的驾驶人操控车辆和车辆运动状态数据以及车内摄像头采集的视频数据，形成原始数据集，原始数据集包括多通道数据；

第二步骤是在原始数据集的基础上，获取电动公交起步驾驶行为数据集；

第三步骤是基于1D（即一维）时间卷积神经网络以及多时间尺度3D（即三维）卷积神经网络，构建电动公交起步驾驶行为混合识别模型。

第一步骤具体包括如下子步骤：

1.1：从电动公交运营平台大数据（指数据库）中搜集自然驾驶状态下车载CAN总线采集的驾驶员操控车辆数据和车辆运动状态数据作为原始数据；

首先对原始数据进行插值，剔除异常点；

其次采用滑动平均滤波法对原始数据进行平滑处理，消除原始数据的噪声，然后对数据重采样，保证各数据点的时间坐标一致，采样频率50Hz；采用min-max标准化方法对数据进行归一化处理（即min-max归一化），最终由原始数据得到（基于驾驶员操控车辆数据和车辆运动状态数据的）二级数据；

1.2：从二级数据中筛选与电动公交起步驾驶行为紧密相关的通道数据，用来供电动公交起步驾驶行为混合识别模型使用；1.2子步骤中的通道数据包括GPS位置、挡位、乘客门开关状态、手刹状态、车速、纵向加速度、加速踏板开度和制动踏板开度8种通道数据，将此8种通道数据作为原始数据集；

电动公交起步驾驶行为混合识别模型中具有4种电动公交起步不当驾驶行为，分别为踩加速踏板挂挡、踩加速踏板松手刹、满踩加速踏板起步以及未关乘客门起步行车。

第二步骤具体包括如下子步骤：

2.1：根据数据筛选条件，在原始数据集中筛选出电动公交起步驾驶行为数据，形成电动公交起步驾驶行为视频时间集，以及电动公交起步驾驶行为数据集；

数据筛选条件包括条件一至条件三，将原始数据集中满足条件一至条件三中任一条件的对应数据筛选出来，形成电动公交起步驾驶行为视频时间集和电动公交起步驾驶行为数据集；

条件一是：GPS位置数据与车速数据中，GPS位置位于公交线路站点或路口，并且该时刻车速为0的数据；满足条件一的时刻为T1,由T1时刻向后延时40秒为条件一筛选出来的最终时间段数据；该段最终时间段数据作为电动公交起步驾驶行为视频时间集的组成元素；

条件二是：时间前后连续的车速数据中，车速由0公里/小时增加到5公里/小时；条件二筛选出来的最终数据为上述车速区间中，车速为0的时刻的时间数据；满足条件二的时刻为T2,将T2－15秒（这里是减号，即由T2时刻倒退15秒）至T2＋25秒（即由T2时刻向后延时25秒）之间的时间段数据作为电动公交起步驾驶行为视频时间集的组成元素；

条件三是：A和B两类数据同时发生变化；

A类数据是加速踏板开度数据；

B类数据是包括挡位数据、乘客门开关状态数据、手刹状态数据和车速数据，B类数据中的任一项数据发生变化，均视为B类数据发生变化；

条件三筛选出来的最终数据为A和B两类数据同时发生变化的时刻的时间数据T3，将T3－15秒（即由T3时刻倒退15秒）至T3＋25秒（即由T3时刻向后延时25秒）之间的时间段数据作为电动公交起步驾驶行为视频时间集的组成元素；

根据电动公交起步驾驶行为视频时间集，从原始数据集中筛选出相应的起步行为数据，形成电动公交起步驾驶行为数据集；

起步行为数据包括挡位、乘客门开关状态、手刹状态、车速、纵向加速度、加速踏板开度和制动踏板开度共计7种通道数据（不包括GPS数据），由筛选出来的上述7种通道数据形成电动公交起步驾驶行为数据集，该数据集中的每一元素包括上述7种通道数据；

2.2：主体查看客体，对电动公交起步驾驶行为数据集中的各项起步行为数据标注相应的状态标签，形成电动公交起步驾驶行为状态数据集；电动公交起步驾驶行为状态数据集的组成元素为标注相应的状态标签后的起步行为数据；

主体是电动公交起步驾驶行为混合识别模型的训练人员；客体是步骤2.1中筛选出来的电动公交起步驾驶行为视频时间集所对应的车载视频监控系统采集的视频；

电动公交起步驾驶行为状态数据中的各标注有状态标签的起步行为数据为训练样本，电动公交起步驾驶行为状态数据中训练样本的数量为N（N为自然数），记为X={x₁,x₂,x₃,…,x_N}；

对于电动公交起步驾驶行为状态数据中的第n个训练样本表示为x_n=[D_n,L_n]，其中D_n表示第n个训练样本数据，大小为7×2000； L_n表示第n个训练样本数据对应的状态标签；状态标签L_n采用独热编码方式，状态标签分为5种起步行为状态，5种起步行为状态包括正常起步驾驶状态和四种电动公交起步不当驾驶行为状态；5种起步行为状态及其独热编码具体见表一。

表一 ，5种起步行为状态及其独热编码：

第三步骤具体包括如下子步骤：

3.1：确定输入变量和输出变量；

将当前时刻的驾驶行为数据集作为电动公交起步驾驶行为混合识别模型的输入变量；当前时刻的驾驶行为数据集包括当前时刻的挡位、乘客门开关状态、手刹状态、车速、纵向加速度、加速踏板开度和制动踏板开度共计7种通道数据；

将当前时刻的驾驶行为属于所述5种起步行为状态中每一种状态的概率作为电动公交起步驾驶行为混合识别模型的输出变量；

3.2：确定包括输入层、1D时间卷积特征提取模块、多时间尺度3D卷积特征提取模块、1个全连接神经网络模块和输出层的卷积神经网络结构，作为电动公交起步驾驶行为混合识别模型；

其中1D时间卷积特征提取模块共包含四层：第一层为具有32个核函数的卷积层，核大小为1×2，激活函数为整流线性激活函数ReLU；第二层为最大池化层，核大小为1×2；第三层为具有64个核函数的卷积层，核大小为1×2，激活函数为整流线性激活函数ReLU；第四层为平均池化层，核大小为1×2；

3.3：将1D时间卷积特征提取模块第四层的输出先进行堆叠，再展开为一维数组，全连接到所述全连接神经网络模块的第一层；全连接神经网络模块的第一层和第二层分别由256个和64个神经单元组成；全连接神经网络模块第二层的输出连接到卷积神经网络（电动公交起步驾驶行为混合识别模型）的输出层，

3.4：将多时间尺度3D卷积特征提取模块输出的空间信息和时序信息堆叠后输出；

3.5：卷积神经网络的所述输出层有5个神经单元，采用的激活函数为softmax，输出为5种起步行为状态的概率分布（即当前时刻的驾驶行为属于所述5种起步行为状态中每一种状态的概率）；

3.6：从电动公交起步驾驶行为状态数据中随机抽取样本来更新包含网络参数的交叉熵损失函数，采用梯度下降法更新卷积神经网络参数（即电动公交起步驾驶行为混合识别模型参数）。

还包括有第四步骤，第四步骤是对电动公交起步驾驶行为混合识别模型进行训练、验证和评估，包括如下子步骤：

4.1：模型训练时，将电动公交起步驾驶行为状态数据集中的组成元素按7：3的比例随机分为用于训练的训练数据集和用于验证的测试数据集；其中训练数据集中的数据占电动公交起步驾驶行为状态数据集的70%，测试数据集占电动公交起步驾驶行为状态数据集的30%；

4.2：把训练数据集的数据输入到电动公交起步驾驶行为混合识别模型进行标定，设定模型训练参数学习率η=0.001，失活率β=0.3；设定模型训练样本批大小为100，训练步数为500；训练开始时初始化电动公交起步驾驶行为混合识别模型的卷积神经网络参数，采用随机梯度下降法优化softmax交叉熵损失函数来迭代更新卷积神经网络参数；

4.3：训练中，不同循环次数对应不同的卷积神经网络参数，并具有不完全相同的训练效果；训练完成后，训练人员选择并输出训练效果相对较好时对应的循环次数及对应的卷积神经网络参数；

4.4：电动公交起步驾驶行为混合识别模型使用子步骤4.3中得到的卷积神经网络参数，将测试数据集中除状态标签以外的数据作为输入变量输入电动公交起步驾驶行为混合识别模型，比较电动公交起步驾驶行为混合识别模型的输出变量与相应输入变量对应的状态标签，验证所建立的电动公交起步驾驶行为混合识别模型对新数据的泛化能力和适应能力。

以上实施例仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.电动公交起步驾驶行为建模及识别训练方法，其特征在于依次按以下步骤进行：

第一步骤是获取原始数据集，搜集电动公交日常运营过程中自然驾驶状态的车载CAN总线系统采集的驾驶人操控车辆和车辆运动状态数据以及车内摄像头采集的视频数据，形成原始数据集，原始数据集包括多通道数据；

第二步骤是在原始数据集的基础上，获取电动公交起步驾驶行为数据集；

第三步骤是基于1D时间卷积神经网络以及多时间尺度3D卷积神经网络，构建电动公交起步驾驶行为混合识别模型。

2.根据权利要求1所述的电动公交起步驾驶行为建模及识别训练方法，其特征在于：

第一步骤具体包括如下子步骤：

1.1：从电动公交运营平台大数据中搜集自然驾驶状态下车载CAN总线采集的驾驶员操控车辆数据和车辆运动状态数据作为原始数据；

首先对原始数据进行插值，剔除异常点；

其次采用滑动平均滤波法对原始数据进行平滑处理，消除原始数据的噪声，然后对数据重采样，保证各数据点的时间坐标一致，采样频率50Hz；，最终由原始数据得到二级数据；

1.2：从二级数据中筛选与电动公交起步驾驶行为相关的通道数据，用来供电动公交起步驾驶行为混合识别模型使用；1.2子步骤中的通道数据包括GPS位置、挡位、乘客门开关状态、手刹状态、车速、纵向加速度、加速踏板开度和制动踏板开度8种通道数据，将此8种通道数据作为原始数据集；

电动公交起步驾驶行为混合识别模型中具有4种电动公交起步不当驾驶行为，分别为踩加速踏板挂挡、踩加速踏板松手刹、满踩加速踏板起步以及未关乘客门起步行车。

3.根据权利要求2所述的电动公交起步驾驶行为建模及识别训练方法，其特征在于：

第二步骤具体包括如下子步骤：

2.1：根据数据筛选条件，在原始数据集中筛选出电动公交起步驾驶行为数据，形成电动公交起步驾驶行为视频时间集，以及电动公交起步驾驶行为数据集；

数据筛选条件包括条件一至条件三，将原始数据集中满足条件一至条件三中任一条件的对应数据筛选出来，形成电动公交起步驾驶行为视频时间集和电动公交起步驾驶行为数据集；

条件一是：GPS位置数据与车速数据中，GPS位置位于公交线路站点或路口，并且该时刻车速为0的数据；满足条件一的时刻为T1,由T1时刻向后延时40秒为条件一筛选出来的最终时间段数据；该段最终时间段数据作为电动公交起步驾驶行为视频时间集的组成元素；

条件二是：时间前后连续的车速数据中，车速由0公里/小时增加到5公里/小时；条件二筛选出来的最终数据为上述车速区间中，车速为0的时刻的时间数据；满足条件二的时刻为T2,将T2－15秒至T2＋25秒之间的时间段数据作为电动公交起步驾驶行为视频时间集的组成元素；

条件三是：A和B两类数据同时发生变化；

A类数据是加速踏板开度数据；

B类数据是包括挡位数据、乘客门开关状态数据、手刹状态数据和车速数据，B类数据中的任一项数据发生变化，均视为B类数据发生变化；

条件三筛选出来的最终数据为A和B两类数据同时发生变化的时刻的时间数据T3，将T3－15秒至T3＋25秒之间的时间段数据作为电动公交起步驾驶行为视频时间集的组成元素；

根据电动公交起步驾驶行为视频时间集，从原始数据集中筛选出相应的起步行为数据，形成电动公交起步驾驶行为数据集；

起步行为数据包括挡位、乘客门开关状态、手刹状态、车速、纵向加速度、加速踏板开度和制动踏板开度共计7种通道数据，由筛选出来的上述7种通道数据形成电动公交起步驾驶行为数据集，该数据集中的每一元素包括上述7种通道数据；

2.2：主体查看客体，对电动公交起步驾驶行为数据集中的各项起步行为数据标注相应的状态标签，形成电动公交起步驾驶行为状态数据集；电动公交起步驾驶行为状态数据集的组成元素为标注相应的状态标签后的起步行为数据；

主体是电动公交起步驾驶行为混合识别模型的训练人员；客体是步骤2.1中筛选出来的电动公交起步驾驶行为视频时间集所对应的车载视频监控系统采集的视频；

电动公交起步驾驶行为状态数据中的各标注有状态标签的起步行为数据为训练样本，电动公交起步驾驶行为状态数据中训练样本的数量为N，记为X={x₁,x₂,x₃,…,x_N}；

对于电动公交起步驾驶行为状态数据中的第n个训练样本表示为x_n=[D_n,L_n]，其中D_n表示第n个训练样本数据，大小为7×2000； L_n表示第n个训练样本数据对应的状态标签；

状态标签分为5种起步行为状态，5种起步行为状态包括正常起步驾驶状态和四种电动公交起步不当驾驶行为状态；

第三步骤具体包括如下子步骤：

3.1：确定输入变量和输出变量；

将当前时刻的驾驶行为数据集作为电动公交起步驾驶行为混合识别模型的输入变量；当前时刻的驾驶行为数据集包括当前时刻的挡位、乘客门开关状态、手刹状态、车速、纵向加速度、加速踏板开度和制动踏板开度共计7种通道数据；

将当前时刻的驾驶行为属于所述5种起步行为状态中每一种状态的概率作为电动公交起步驾驶行为混合识别模型的输出变量；

3.2：确定包括输入层、1D时间卷积特征提取模块、多时间尺度3D卷积特征提取模块、1个全连接神经网络模块和输出层的卷积神经网络结构，作为电动公交起步驾驶行为混合识别模型；

其中1D时间卷积特征提取模块共包含四层：第一层为具有32个核函数的卷积层，核大小为1×2，激活函数为整流线性激活函数ReLU；第二层为最大池化层，核大小为1×2；第三层为具有64个核函数的卷积层，核大小为1×2，激活函数为整流线性激活函数ReLU；第四层为平均池化层，核大小为1×2；

3.3：将1D时间卷积特征提取模块第四层的输出先进行堆叠，再展开为一维数组，全连接到所述全连接神经网络模块的第一层；全连接神经网络模块的第一层和第二层分别由256个和64个神经单元组成；全连接神经网络模块第二层的输出连接到卷积神经网络的输出层，

3.4：将多时间尺度3D卷积特征提取模块输出的空间信息和时序信息堆叠后输出；

3.5：卷积神经网络的所述输出层有5个神经单元，采用的激活函数为softmax，输出为5种起步行为状态的概率分布；

3.6：从电动公交起步驾驶行为状态数据中随机抽取样本来更新包含网络参数的交叉熵损失函数，采用梯度下降法更新卷积神经网络参数。

4.根据权利要求3所述的电动公交起步驾驶行为建模及识别训练方法，其特征在于：

还包括有第四步骤，第四步骤是对电动公交起步驾驶行为混合识别模型进行训练、验证和评估，包括如下子步骤：

4.1：模型训练时，将电动公交起步驾驶行为状态数据集中的组成元素按7：3的比例随机分为用于训练的训练数据集和用于验证的测试数据集；

4.2：把训练数据集的数据输入到电动公交起步驾驶行为混合识别模型进行标定，设定模型训练参数学习率和失活率；设定模型训练样本批大小和训练步数；训练开始时初始化电动公交起步驾驶行为混合识别模型的卷积神经网络参数，采用随机梯度下降法优化softmax交叉熵损失函数来迭代更新卷积神经网络参数；

4.3：训练中，不同循环次数对应不同的卷积神经网络参数，并具有不完全相同的训练效果；训练完成后，训练人员选择并输出训练效果相对较好时对应的循环次数及对应的卷积神经网络参数；

4.4：电动公交起步驾驶行为混合识别模型使用子步骤4.3中得到的卷积神经网络参数，将测试数据集中除状态标签以外的数据作为输入变量输入电动公交起步驾驶行为混合识别模型，比较电动公交起步驾驶行为混合识别模型的输出变量与相应输入变量对应的状态标签，验证所建立的电动公交起步驾驶行为混合识别模型对新数据的泛化能力和适应能力。

Images