CN108694408B - 一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法 - Google Patents

一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法 Download PDF

Info

Publication number
CN108694408B
CN108694408B CN201710232371.6A CN201710232371A CN108694408B CN 108694408 B CN108694408 B CN 108694408B CN 201710232371 A CN201710232371 A CN 201710232371A CN 108694408 B CN108694408 B CN 108694408B
Authority
CN
China
Prior art keywords
neural network
layer
feature
convolutional neural
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710232371.6A
Other languages
English (en)
Other versions
CN108694408A (zh
Inventor
王忠民
衡霞
张瑶
韩帅
王希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN201710232371.6A priority Critical patent/CN108694408B/zh
Publication of CN108694408A publication Critical patent/CN108694408A/zh
Application granted granted Critical
Publication of CN108694408B publication Critical patent/CN108694408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法。解决了传统深度学习方法中需要大量的超参数调谐进行特征匹配或特征设计任务的问题。包括以下步骤：用手机内置的加速度传感器采集车辆行驶中的原始三轴加速度数据信号，提取时域和频域的特征值，作为模型的预处理训练样本；将训练样本通过稀疏滤波直接优化样本特征映射的稀疏性，获取更好的特征表达——权值矩阵作为卷积神经网络的输入，可有效识别点火、熄火、匀速行驶、急变速、急转弯、静止等驾驶行为。本发明解决了现有技术设计复杂、普适性和抗噪性差，分类精度低的问题。

Description

一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法
技术领域
本发明提出了一种基于车载终端的汽车驾驶行为分析方法，该方法涉及到人机交互、智能驾驶和增强用户体验等领域。
背景技术
随着社会经济和道路交通的快速发展，驾车行驶的安全问题已成为社会关注的焦点。不良驾驶行为是导致交通事故的一个主要原因，随意变道、超速行驶、紧急制动等驾驶行为是交通事故的重要诱因。实时监测驾驶者行为，能够及时警示不良驾驶行为并遏制交通事故的发生，对构建健康安全的交通环境有重要意义。
目前利用移动终端进行驾驶行为识别已有较多的研究，大多采用定制感知平台接入汽车控制系统，无论是通过聚类算法还是通过模糊算法等数据挖掘算法，对于异常驾驶行为的识别有一定效果，但相对我国道路运输实际情况，以及对于部分需要重点监控的异常驾驶行为，无法发挥较好的识别功能，且算法较为复杂，系统实现成本较高，必将影响实际应用的实时性。
本专利通过利用智能终端设备的内置传感器采集不同驾驶行为的实时数据，构建一种优化特征分布的无监督特征学习算法模型——稀疏滤波-卷积神经网络模型，从而对多种用户的驾驶行为进行分类识别。该系统和以前的车辆驾驶行为检测系统相比不添加任何额外的硬件设备，仅使用智能手机终端设备上的内置传感器作为硬件探测设备，对传感器数据进行综合分析，构建深度神经网络增加对驾驶行为识别的精准度，提高了系统的可用性和灵活性。
发明内容
本发明的目的在于针对上述已有技术的不足，提出了一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法，优于传统神经网络模型，具有更高的识别率和鲁棒性，对辅助驾驶系统的效能评价有重要意义。
本发明是一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法，其特征在于，包括如下步骤：
（1）利用智能手机内置的加速度传感器和陀螺仪，采集驾驶者驾驶过程中的原始加速度信号和角度变化信息；并将这些数据投影至与手机方向无关的统一的大地坐标系中，获得样本矩阵为；
（2）通过深度稀疏滤波训练坐标转换后的加速度数据，采用逐层贪婪算法计算最终输出的权值矩阵作为神经网络的输入；
（3）对稀疏滤波后的学习特征采用软绝对值函数进行特征激活；每种驾驶行为随机选取30％的样本作为训练样本，其余为测试样本；
（4）构造卷积神经网络，包括两个卷积层、两个池化层和全链接层；层与层之间局部连接构成多层深度网络。信息在网络的不同层上传递，并且在每个架构层，利用可训练过滤器和局部邻域聚集操作，产生易于观察的数据分布特征；
（5）训练识别后得到测试样本的驾驶行为标签。对于最终层输出的损失估计，使用卷积神经网络架构中的交叉熵损耗，避免学习减速。
本发明的技术思路是：考虑手机内置传感器对方位的自适应性可提高驾驶行为的辨识效能，提出使用智能手机内置传感器采集的实时数据，通过稀疏滤波直接优化样本特征映射的稀疏性，从而改进卷积神经网络的首层输入；在使用深度稀疏滤波-神经网络的组合模型后，以更好的特征表达来识别行为，提高驾驶行为的识别效率。
本发明具有如下优点：
1.本发明由于采用了深度学习的方法，利用深度稀疏滤波网络来自主地学习驾驶行为数据的特征，因而避免了传统方法中人工学习特征的繁琐，并且深度稀疏滤波网络可以学习到更好的特征表达来进行分类识别。
2.本发明方法由于在稀疏滤波的基础上拓展得到深度稀疏滤波网络，该方法只需调整一个超参数（特征学习数量），对特征分布的种群稀疏性、存在稀疏性以及高分散性同时进行优化；因而有效弥补了传统深度学习网络参数复杂，需要大量的超参数调谐的缺陷。
附图说明
图1是本发明的稀疏滤波-卷积神经网络模型实现图；
图2是本发明的深度稀疏滤波结构图；
图3是本发明的卷积神经网络结构图。
参照图1，本发明的实现步骤如下。
步骤1：采集驾驶行为的原始数据。
1a) 利用智能手机内置的加速度传感器和陀螺仪，采集驾驶者驾驶过程中的原始加速度信号和角度变化信息；
1b) 将这些数据投影至与手机方向无关的统一的大地坐标系中；
借鉴刚体坐标系与参考坐标系之间互相转换方法，可以计算出大地坐标系下的X、Y、Z三轴加速度数据，尽量减少手机放置方位对分类器的影响。
 其中R表示描述刚体取向的旋转矩阵,即从手机坐标系到参考坐标系的映射方法。R由三个基本旋转矩阵复合而成，变量a、p、r分别表示azimuth, pitch和roll。
步骤2：通过深度稀疏滤波训练坐标转换后的加速度数据，采用逐层贪婪算法计算最终输出的权值矩阵作为神经网络的输入。
2a) 因需对k类驾驶行为进行识别，若每种行为样本表示为xij，则所有样本构成训练集为：
, 其中，即样本总数。
2b) 假设M类特征用于描述待识别行为，先获取样本线性特征 即第i个样本的第j个特征值，w为特征提取函数。则构造的特征矩阵为：
2c) 再对特征矩阵进行行、列归一化，使其落于二范数的单位球体面上。
特征矩阵行归一化：
特征矩阵列归一化： 
2d) 设定特征学习数目M以及目标函数为： 
使用L-BFGS（有限内存拟牛顿法）来求解，直至收敛。
 2e) 使用两层组成的稀疏滤波器实现深度稀疏滤波，层1为大小16*16的数据块进行训练，首先对自然数据进行归一化，获得特征数据的绝对值，作为后续层的输入；第二层再次归一化得到稀疏特性。由两层深度稀疏过滤计算得到优化后的特征，通过逐层贪婪算法计算最终输出。
步骤3：对稀疏滤波后的学习特征采用软绝对值函数进行特征激活；每种驾驶行为随机选取30％的样本作为训练样本，其余为测试样本。
特征激活函数采用软绝对值函数： 。
步骤4：构造卷积神经网络，包括两个卷积层、两个池化层和全链接层；层与层之间局部连接构成多层深度网络。将表达矩阵作为卷积神经网络首层的输入，进行非线性分类来识别驾驶行为。信息在网络的不同层上传递，并且在每个架构层，利用可训练过滤器和局部邻域聚集操作，产生易于观察的数据分布特征。
其中卷积层采用如下ReLu函数作为激活函数，
，
式中表示点( x,y)处通过卷积核计算得到的神经元激活度， n是该层中的核总数，其余为超参数。
步骤5：训练识别后得到测试样本的驾驶行为标签。对于最终层输出的损失估计，使用卷积神经网络架构中的交叉熵损耗，避免学习减速：
，
其中和分别是第 j个输入和输出， K是输出神经元数量，是第 i类的目标标签。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
 本发明的效果可以通过以下仿真实验进一步说明。
1.实验条件
以内置ARM处理器的智能手机作为嵌入式系统硬件平台，搭载带宽为8Hz~1000Hz，灵敏度为32LBS/g~256LBS/g的三轴加速度传感器，角速度量程为-1000/s~+1000/s的陀螺仪，操作系统为Android5.0。
在该平台上搭建轻量级行为数据采集器，能满足日常驾驶行为数据采集需求。实验采集了5名用户的驾驶行为数据，分别为点火、熄火、匀速行驶、静止和减速行驶等五种行驾驶为。采样频率为100Hz，采集到包含不同行为的数据样本共4960份；对每种驾驶行为数据按照7：3进行划分，生成实验的训练集和测试集。
2.实验内容与结果
实验一：验证该发明中特征数和数据分块大小对识别效率的影响。
从数据集中抽取大小为 w*w的数据块，进行 ZAC白化。学习的特征数为 K（即单层网络中隐含层的个数）。训练完成后，进行卷积提取，并进行四个象限划分采取平均聚合以减少特征维数。表1为 w=8、12、16以及特征数 K=200、400、800情况下分类识别的正确率。
表1、稀疏滤波下驾驶行为的特征性能（%）
实验结果表明，数据分块数越小，特征数越大，驾驶行为的识别效果会更佳。
实验二：与传统卷积神经网络对比，验证稀疏滤波卷积神经网络结构在识别效率上的改进。
借鉴上组实验结论，选取数据分块大小为8，特征数为800，进行对比实验。
表2、CNN与SF-CNN识别效能对比（%）
在该组实验中，稀疏滤波-卷积神经网络结构在大容量的数据实验条件下，对于车辆在行驶过程中的驾驶行为识别上，具有较高的识别能力，改善了传统算法在此条件下容易过度拟合以及泛化能力较差等问题。同时，在数据分块的复杂性问题较之传统算法，仍表现出较快的收敛速率。结果分析表明，由稀疏滤波-卷积神经网络构成的联合模型，在车辆行驶过程中，对驾驶行为的识别速度和识别效果更佳。

Claims (3)

1.一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法，其特征在于，包括如下步骤：
(1)利用智能手机内置的加速度传感器和陀螺仪，采集驾驶者驾驶过程中的原始加速度信号和角度变化信息；并将这些原始加速度信号和角度变换信息投影至与手机方向无关的统一的大地坐标系中，获得样本矩阵为X∈RN*M；
(2)通过深度稀疏滤波训练坐标转换后的加速度数据，采用逐层贪婪算法计算最终输出的权值矩阵作为神经网络的输入；
所述的稀疏滤波是一种优化特征分布的无监督特征学习算法，通过直接优化样本X的特征映射的稀疏性来获得好的特征表达，因需对k类驾驶行为进行识别，若每种行为样本表示为xij，则所有样本构成训练集为：
其中N＝n1+n2+...+nk，即样本总数，
假设M类特征用于描述待识别行为，先获取样本线性特征 即第i个样本的第j个特征值，w为特征提取函数，则构造的特征矩阵为：
再对特征矩阵进行行、列归一化，使其落于二范数的单位球体面上；
特征矩阵行归一化：
特征矩阵列归一化：
设定特征学习数目M以及目标函数如下，使用L-BFGS有限内存拟牛顿法来求解，直至收敛；
为了实现深度稀疏滤波，使用了由两层组成的稀疏滤波器，层1为大小16*16的数据块进行训练，首先对自然数据进行归一化，获得特征数据的绝对值，作为后续层的输入，第二层再次归一化得到稀疏性，由两层深度稀疏过滤计算得到优化后的特征，通过逐层贪婪算法计算最终输出；
(3)对稀疏滤波后的学习特征采用软绝对值函数进行特征激活；每种驾驶行为随机选取30％的样本作为训练样本，其余为测试样本；
(4)构造卷积神经网络，包括两个卷积层、两个池化层和全链接层；层与层之间局部连接构成多层深度网络，将表达矩阵作为卷积神经网络首层的输入，进行非线性分类来识别驾驶行为，信息在网络的不同层上传递，并且在每个架构层，利用可训练过滤器和局部邻域聚集操作，产生易于观察的数据分布特征；
(5)训练识别后得到测试样本的驾驶行为标签，对于最终层输出的损失估计，使用卷积神经网络架构中的交叉熵损耗，避免学习减速。
2.根据权利要求1所述的基于深度稀疏滤波卷积神经网络的驾驶行为识别方法，其特征在于，步骤(1)将原始加速度信号和角度变化信息投影至与手机方向无关的统一的大地坐标系中，借鉴刚体坐标系与参考坐标系之间的转换方法，可以计算出大地坐标系下的X、Y、Z三轴加速度数据，尽量减少手机放置方位对分类器的影响。
3.根据权利要求1所述的基于深度稀疏滤波卷积神经网络的驾驶行为识别方法，其特征在于，步骤(3)中的特征激活函数采用软绝对值函数：
其中ε＝10-8。
CN201710232371.6A 2017-04-11 2017-04-11 一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法 Active CN108694408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710232371.6A CN108694408B (zh) 2017-04-11 2017-04-11 一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710232371.6A CN108694408B (zh) 2017-04-11 2017-04-11 一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法

Publications (2)

Publication Number Publication Date
CN108694408A CN108694408A (zh) 2018-10-23
CN108694408B true CN108694408B (zh) 2023-05-09

Family

ID=63843493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710232371.6A Active CN108694408B (zh) 2017-04-11 2017-04-11 一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法

Country Status (1)

Country Link
CN (1) CN108694408B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543627B (zh) * 2018-11-27 2023-08-01 西安电子科技大学 一种判断驾驶行为类别的方法、装置、及计算机设备
CN109615075B (zh) * 2018-12-14 2022-08-19 大连海事大学 一种基于多层聚类模型的居民日常行为识别方法
CN109783805B (zh) * 2018-12-17 2020-04-24 北京邮电大学 一种网络社区用户识别方法、装置和可读存储介质
CN109740651A (zh) * 2018-12-24 2019-05-10 南京师范大学 基于1-范数数据处理变换和卷积神经网络的肢体识别方法
CN109948654B (zh) * 2019-02-15 2020-09-15 山东师范大学 基于用户行为数据的汽车运行状态识别方法、系统及设备
CN112199982B (zh) * 2020-07-03 2022-06-17 桂林理工大学 一种基于深度学习的智能家居系统
CN112732797A (zh) * 2021-01-26 2021-04-30 武汉理工大学 燃料电池汽车驾驶行为分析方法、装置和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633306B2 (en) * 2015-05-07 2017-04-25 Siemens Healthcare Gmbh Method and system for approximating deep neural networks for anatomical object detection
CN105205449B (zh) * 2015-08-24 2019-01-29 西安电子科技大学 基于深度学习的手语识别方法
CN106067042B (zh) * 2016-06-13 2019-02-15 西安电子科技大学 基于半监督深度稀疏滤波网络的极化sar分类方法
CN106503654A (zh) * 2016-10-24 2017-03-15 中国地质大学（武汉） 一种基于深度稀疏自编码网络的人脸情感识别方法
CN106503673A (zh) * 2016-11-03 2017-03-15 北京文安智能技术股份有限公司 一种交通驾驶行为的识别方法、装置及一种视频采集装置

Also Published As

Publication number Publication date
CN108694408A (zh) 2018-10-23

Similar Documents

Publication Publication Date Title
CN108694408B (zh) 一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法
CN108875674B (zh) 一种基于多列融合卷积神经网络的驾驶员行为识别方法
JP6742554B1 (ja) 情報処理装置およびそれを備えた電子機器
Li et al. Road network extraction via deep learning and line integral convolution
CN107886073A (zh) 一种基于卷积神经网络的细粒度车辆多属性识别方法
CN112964469B (zh) 一种迁移学习的变负载下滚动轴承在线故障诊断方法
CN110309861A (zh) 一种基于生成对抗网络的多模态人类活动识别方法
Rao et al. Distracted driving recognition method based on deep convolutional neural network
WO2023131065A1 (zh) 一种图像处理方法、一种车道线检测方法及相关设备
CN110222767B (zh) 基于嵌套神经网络和栅格地图的三维点云分类方法
CN107944353B (zh) 基于轮廓波bspp网络的sar图像变化检测方法
Hossain et al. Automatic driver distraction detection using deep convolutional neural networks
CN106408030A (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN110657984A (zh) 一种基于强化胶囊网络的行星齿轮箱故障诊断方法
CN110696835B (zh) 一种车辆危险行驶行为的自动预警方法及自动预警系统
CN108549866B (zh) 基于密集卷积神经网络的遥感飞机识别方法
CN115204302A (zh) 一种无人机小样本故障诊断系统及方法
CN111738044A (zh) 一种基于深度学习行为识别的校园暴力评估方法
CN112766283B (zh) 一种基于多尺度卷积网络的两相流流型识别方法
Chen et al. Vehicles driving behavior recognition based on transfer learning
CN110263836B (zh) 一种基于多特征卷积神经网络的不良驾驶状态识别方法
CN114926825A (zh) 一种基于时空特征融合的车辆驾驶行为检测方法
Ramah et al. One step further towards real-time driving maneuver recognition using phone sensors
CN111352926B (zh) 数据处理的方法、装置、设备及可读存储介质
Zhang et al. Multi-scale and multi-pooling sparse filtering: a simple and effective representation learning method for intelligent fault diagnosis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant