CN108319909B

CN108319909B - 一种驾驶行为分析方法及系统

Info

Publication number: CN108319909B
Application number: CN201810083439.3A
Authority: CN
Inventors: 尹首一; 段金金; 欧阳鹏; 刘雷波; 魏少军
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2018-01-29
Filing date: 2018-01-29
Publication date: 2021-11-30
Anticipated expiration: 2038-01-29
Also published as: CN108319909A

Abstract

本发明提供了一种驾驶行为分析方法及系统，所述方法包括：接收车载设备发来的实时路况图像，并利用CNN模型对所述实时路况图像进行识别，获取所述实时路况图像中的物体类别；利用LSTM模型对所述物体类别进行语义预测，并输出相应的提示信息。利用本发明实施例，可以对车载设备发来的路况图像进行语义识别，以提醒司机谨慎驾驶。

Description

一种驾驶行为分析方法及系统

技术领域

本发明涉及深度学习网络技术领域，尤其涉及一种驾驶行为分析方法及系统。

背景技术

现代社会中越来越多的人拥有汽车，汽车给人们的出行带来方便的同时，交通事故也时有发生，往往导致严重的生命和财产损失。司机的驾驶行为直接影响到驾驶安全，好的驾驶行为不仅能够降低交通事故发生率，而且能够降低驾驶风险，准确评估司机的驾驶行为成为非常重要的课题。司机的驾驶行为受到多方面因素的影响，比如道路上车辆和行人的数目、偏离车道线的状况、天气状况、车速以及车距等等，准确捕捉和提取这些影响驾驶行为的因素是评价驾驶行为的前提。

驾驶安全在产业界和工业界越来越被关注和研究，大多数的交通事故是由司机的不良驾驶行为引起的，现在很多辅助驾驶系统被提出来，但是这些系统要借助于大量的传感器，比如GPS、雷达、红外线传感器、速度传感器等等。而且这些系统很少去关注司机本身的驾驶行为。在这个背景下，怎么评价司机的驾驶行为、减少交通事故、辅助司机驾驶成为了一个重要的课题。

发明内容

为解决上述技术问题，本发明实施例提供了一种驾驶行为分析方法及系统。

一方面，本发明实施例提供了一种驾驶行为分析方法，所述方法包括：

接收车载设备发来的实时路况图像，并利用CNN模型对所述实时路况图像进行识别，获取所述实时路况图像中的物体类别；

利用LSTM模型对所述物体类别进行语义预测，并输出相应的提示信息。

另一方面，本发明实施例还提供了一种驾驶行为分析系统，所述系统包括：

物体类别识别单元，用于接收车载设备发来的实时路况图像，并利用CNN模型对所述实时路况图像进行识别，获取所述实时路况图像中的物体类别；

语义预测单元，用于利用LSTM模型对所述物体类别进行语义预测，并输出相应的提示信息。

利用本发明实施例，可以对车载设备发来的路况图像进行语义识别，以提醒司机谨慎驾驶。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的驾驶行为分析方法的流程示意图；

图2本发明实施例提供的一驾驶环境示例图；

图3为本发明实施例提供的一CNN网络处理输入图像的大致流程示意图；

图4为本发明实施例提供的一卷积操作示意图；

图5为本发明实施例提供的一池化操作示意图；

图6为本发明实施例提供的CNN模型训练流程示意图；

图7为本发明实施例提供的一LRCN的结构示意图；

图8为本发明实施例提供的一LSTM模型示意图；

图9为本发明实施例提供的LSTM模型训练流程示意图；

图10为本发明一实施例提供的驾驶行为分析系统的结构示意图；

图11为本发明另一实施例提供的驾驶行为分析系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

深度学习是近年来兴起的机器学习技术，其在目标检测、语音识别等方面获得了广泛的应用。并且，深度学习在物体检测、自然语言处理、机器翻译等领域已经取得了巨大的成功，尤其是在机器视觉领域，现在的深度学习网络已经能够完成物体的检测、跟踪、语义学处理等一系列操作。在驾驶环境中，视觉特征是最容易获取和最有用的特征，很多地方涉及到视觉特征提取和处理。因此，本发明提出了一种卷积神经网络(ConvolutionalNeural Network，CNN)结合长短记忆神经网络(Long Short Term Memory networks，LSTM)来对驾驶场景做语义学分析的驾驶行为分析方法，如下面实施例所述，这样的网络称为长循环卷积神经网络(Long Recurrent Convolutional Neural Network，LRCN)。

图1所示为本发明实施例提供的驾驶行为分析方法的流程示意图，该方法主要包括以下步骤：

步骤S11，接收车载设备发来的实时路况图像，并利用CNN模型对所述实时路况图像进行识别，获取所述实时路况图像中的物体类别。

步骤S12，利用LSTM模型对所述物体类别进行语义预测，并输出相应的提示信息。

本发明实施例利用训练好的CNN模型对车载设备拍摄的路况图像进行识别，获取路况图像中所含的物体类别后输入训练好的LSTM模型，由LSTM模型根据这些物体类别进行语义预测，并输出相应的提示信息。实际的驾驶环境非常复杂，需要关注很多的因素，图2给出了一种实际驾驶环境的示意图，当检测到车载设备获取的路况图像中包含行人、车辆或者斑马线等类别信息后，根据本发明实施例提供的方法，此时LSTM模型会根据这些类别生成相应的提示信息，该提示信息与当前场景有关，例如可以是“减速行驶”，以及时提醒司机注意避让。

例如，上述的车载设备可以为行车记录仪等可以在驾驶过程中实时采集路况图片的设备。CNN模型的输入是一帧行车记录仪采集到的图片，也就是驾驶场景中检测到的道路情况，比如有两个小孩在骑着自行车，他们正在等着过马路。此时司机就要小心驾驶，不能撞到行人。LRCN网络可以很好地起到驾驶预警的作用，其中的卷积神经网络可以检测出图中的物体，比如自行车和行人，然后这些图片的视觉特征(包括行人的位置、车辆的大小和位置等信息)被输入到LSTM网络中，LSTM网络就会输出一句描述这个场景的话，这样就能及时提醒司机注意避让行人。在一实施例中，与图片视觉特征一起输入到LSTM网络的还可以包括预测到的上一个单词。

在驾驶过程中，车载设备获取实时路况图像后输入训练好的CNN模型，利用CNN模型的卷积层对实时路况图像的像素值进行卷积处理，以增强实时路况图像所含的信号特征，而且还可以滤除实时路况图像中所含的噪声。然后，利用CNN模型的池化层对经过卷积处理的像素值进行最大值池化处理，获取实时路况图像中所含的物体类别，并发送给LSTM模型进行语义分析。

在众多的深度学习网络汇总，卷积神经网络CNN是应用最广泛的一种网络。有很多经典的卷积神经网络结构，比如AlexNet、VGG、ResNet等等。卷积神经网络通常由卷积层、全连接层、池化层、Dropout等层构成，能够提取输入图像不同层次的特征。低层次的特征能够组合成高层次的特征，来对图像进行描述。

卷积是信号处理中一个很常见很重要的操作，卷积层的作用是使得原信号的特征增强，使得图像的特征变得更加明显，同时还可以去除图像的噪声。卷积核有不同的类型，常见的有高斯型、边缘型和锐化型等等，其相当于是一个滤波器，对原始输入图像进行滤波操作。在对原始输入图像的RGB像素值进行卷积操作时，CNN网络中卷积等操作所使用的滤波器的权重和偏置的数量还是非常大的，为了减少网络训练的参数数量，同时降低训练过程中的过拟合现象，采用了池化层，或者说下采样层。其利用相邻图像像素之间具有相关性的原理，也就是说图像的统计特性依然能够表示图像的特征，在减少参数数量的同时把图像中有用的特征保留下来。常见的池化类别有最大值池化、最小值池化和平均值池化。经过多次实验尝试，发现在车载场景中使用最大值池化的准确率最高，所以本发明实施例采用的最大值池化。

图3是一种典型的卷积神经网络结构，在该结构中，比较重要的是卷积层和池化层。28*28表示中间结果，也就是原始图像特征图的像素大小是28*28，经过卷积、池化操作，特征图越来越小，但是特征图所包含的特征也越来越丰富和集中了。特征图的多少取决于卷积操作的次数，一次卷积操作等到一幅特征图，这些操作的次数是通过实验尝试得到的最优解。C5中的120、F6中的84、输出的10表示的是全连接层的维度，120和84也是实验时得到的参数，10表示CNN网络的分类结果有10个类别。

关于卷积和池化的具体操作可以用图4和图5来简略表示。图4(a)表示原始图像的像素值，在进行卷积操作的时候，滤波器会对图像的像素值进行乘加操作，经过滤波后的图像噪声会减弱，图像特征会增强，因此卷积操作后可以得到图4(b)所示像素值。图5表示的是对图像的像素值进行池化的操作，最大值池化的实质是采样操作，如图5(a)左上部所示原始像素值分别为2/4/9/6，经过最大值池化后，取出来最大的像素值9(见图5(b)左上角所示)，以此类推，可得图5(b)所示是池化后的像素值。

在一实施例中，在利用上述CNN模型对车载设备获取的实时路况图像进行识别之前，通常需要先训练好CNN模型。卷积神经网络包含卷积层、池化层、全连接层、Dropout层、LRN层等等，每种层包含的参数量级以及运算的复杂度各不相同。经研究对比发现，卷积层包含了整个CNN网络90％以上的计算量，全连接层包含了90％以上的参数数量，如果能把这两个部分的参数压缩，那么整个神经网络的参数所占空间和运动资源也会显著减小。在训练CNN模型的时候，对CNN模型的卷积层和全连接层的参数进行压缩，经过压缩后的参数可以直接用于下一流程，这样网络的精度不会降低，但是参数数量会大幅减少。但是压缩的前提是模型训练和检测的准确率不能降低，因此，如何在参数位宽和准确率之间折衷成了本发明要解决的一个关键技术问题。CNN网络的不同部分有不同的动态范围，在参数比较多的层中，输出是经过上千次运算后的累加，因此CNN网络的参数远小于层输出。然而，固定的定点数只能表现非常有限的范围，为了解决这个问题，本发明实施例采用动态定点数来表示浮点数。动态定点数可以用以下公式来表示：

其中，s表示符号位，N表示位宽；fl表示CNN网络参数的小数部分；x表示整数部分，它只有两个可能的取值，分别是0和1。在运算中，立即数的大小不一，所以可以根据fl来对动态定点数分组。在一个组的内部，用来表示分数部分的位数是一样的。深度学习网络压缩的本质是把浮点参数转变为定点数，为了快速训练好CNN模型，本发明提供了一种训练CNN模型的实施例，具体流程见图6，主要包括以下步骤：

步骤61，将训练图像输入待训练的CNN模型，从CNN模型卷积层得到位宽为2^N的参数，N为[1，5]之间的整数。

通常地，为保证所训练的CNN模型的精确度和可靠性，在训练该CNN模型时所用的训练图像为驾驶过程中上述车载设备获取得到历史路况图像，即用类似应用场景下的历史图像作为训练图像来训练模型。并且，在一开始训练CNN模型时，从其卷积层所获得的网络参数宽度为32位，即N等于5，此时网络精度是最高的。

步骤62，统计所得参数的分布区间，并根据所述分布区间确定动态定点数的组成，以将所述位宽为2^N的参数转化成动态定点数。

具体实施时，在获取卷积层的所有参数后，这些参数都是32位的浮点数，为加快训练速度降低运算量，可以采用四舍五入的方式把浮点数转化成动态定点数，也可以利用上述的公式(1)进行浮点数到动态定点数的转化。

步骤63，将所述动态定点数输入所述待训练的CNN模型进行一次前向传播，确定所述CNN模型中全连接层和卷积层的权重及偏置。

在进行前向传播后，对网络层产生的参数进行统计学分析，确定全连接层和卷积层的权重及偏置的大小及分布。

步骤64，利用二分查找法寻找全连接层和卷积层中具有代表性的权重及偏置，作为当前CNN模型全连接层和卷积层的权重及偏置。

步骤65，将所述动态定点数在当前CNN模型中进行一次反向传播，判断所述CNN模型的网络预测结果与其标定值之间的误差是否超过第一预设阈值。

卷积神经网络属于前馈网络，数据流是从输入到输出单向流动，只有在训练过程中计算误差时，网络才会进行反向传播。神经网络的训练过程都会计算误差，这个误差是网络预测结果和标定值之间的差，它表示的是网络预测的准确度。这个误差用于对网络参数(例如权重和偏置)进行调整，参数的调整会朝着误差减小最快的方向前进，从而使网络快速收敛。

步骤66，如所述误差不超过所述第一预设阈值，将所述位宽为2^N的参数压缩成位宽为2^N-1的参数后再转化成动态定点数。

网络参数宽度为32位时，CNN网络的精度是最高的，当网络参数宽度从32、到16、到8、到4、再到2依次减少，每减少一次，都需要把CNN网络在公开的目标检测测试集上进行检测，记录和比较网络的分类准确率，当准确率比32位浮点数准确率下降不超过第一预设阈值时，认为这种压缩是可以接受的，否则是不可接受的。直到网络参数的位宽和分类的准确率达到某一个比较理想的折衷程度为止。为了弥补量化带来的精度损失，可以对CNN网络进行微调，即采用一个未经过压缩训练得到的浮点数网络给原始CNN网络赋初值，这样做的好处是可以让网络更好更快地收敛，结果也是一个训练后的CNN网络模型。在一实施例中，该第一预设阈值可以设为5％，也可以根据实际精度需要而定。

重复步骤63至步骤65，直至CNN模型的网络预测结果与其标定值之间的误差超过所述第一预设阈值时，将最后一次网络预测结果与其标定值之间的误差不超过所述第一预设阀值时得到的CNN模型作为训练好的模型(步骤S67)。例如，当网络参数的位宽为8时，CNN模型的网络预测结果与其标定值之间的误差超过了第一预设阈值，但是网络参数位宽为16时，上述误差并没有超过第一预设阈值，那么便记录网络参数位宽为16时得到的卷积层、全连接层的权重及偏置，此时CNN模型便是训练好的模型。

不同于CNN网络这种前馈神经网络，递归神经网络(Recurrent Neural Networks，RNN)引入了递归单元，这使得RNN网络能够处理输入之间有相互关联的问题，使RNN网络在自然语言处理、时间序列学习等方面取得了广泛的应用。

在上述举例中，利用CNN网络得到了车辆、行人的位置以后，下一步是对图像进行语意学识别。在t-1时刻，CNN网络检测到了车，输入到递归单元，递归单元会预测下一个单词，比如“在”。在t时刻，RNN网络检测到了道路，递归单元接着预测下一个单词，比如“行驶”，最后组合成的输出为“车在道路上行驶”，这就是图像的语意学识别的过程。

RNN网络的一个重要的用途是处理序列数据。在传统的神经网络中，RNN网络的输入数据从输入层到特征提取层，再到特征映射层，层与层之间是相互连接的，但是层之间的节点是独立的，没有相互连接，这种网络对类似图像处理之类的应用能发挥不错的作用，但是对一些时间序列数据就无能为力了。举一个简单的例子，如果要用神经网络预测句子的下一个单词，传统的神经网络往往无法做到精确预测，因为预测下一个单词要用到前面的单词，一句话之间的单词存在着语义和语法关系，它们并不是相互独立的，而是相互关联的。如果要用RNN网络处理这种类型的问题，那就要求隐含层的输入不仅包含上一层的输出，还要包含隐含层上一时刻的输出。也就是说，隐含层必须记忆和存储上一时刻的状态，隐含层之间的节点也应该建立连接。在本发明实施例中，CNN网络主要包含输入层、卷积层、池化层、输出层等，还有LSTM单元。这些结构的连接关系和信号导向在图7中得到了比较形象的表示。

RNN网络和传统卷积神经网络相比，其特点是神经元具有记忆功能，给定一个长度为T的输入序列<x₁,x₂,…,x_T>，网络的计算次序为h₁,y₁,h₂,y₂,…h_T,y_T，h_t是t时刻RNN网络隐含层的输出，y_t是t时刻RNN网络的输出。但是在训练比较长的序列时，RNN网络会存在梯度消失的问题，为了解决这个缺点，LSTM网络应运而生，其引入了输入门、遗忘门和输出门的概念，这些门其实就充当了CNN网络中“层”的作用，也是对输入进行各种处理。图8所示为LSTM网络的结构示意图。

在本发明实施例中，LSTM模型的输入门、遗忘门及输出门的运算规则分别如下所示：

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (2)

f_t＝σ(W_f·[h_t-1,x_t]+b_f) (3)

o_t＝σ(W_o[h_t-1,x_t]+b_o) (4)

其中，x_t是LSTM模型t时刻的输入；i_t表示t时刻输入门的输出；σ表示激活函数，h_t-1是t-1时刻LSTM模型中隐含层的输出，

表示t时刻LSTM模型中记忆单元的输出，

x_t是t时刻的输入；W表示权重，b表示偏置，下标i表示输入门，下标f表示遗忘门，下标o表示输出门，下标C表示记忆单元；f_t表示t时刻遗忘门的输出；o_t表示t时刻输出门的输出。其中，遗忘门的作用是选择性忘记过去的某些状态，输入门的作用是记忆现在的某些状态，记忆单元的作用是将过去和现在的记忆状态相加，得到

输出门的作用是把结果进行输出。

另外，在利用LSTM模型对步骤S11所得物体类别进行语义预测之前，还需要对LSTM模型进行训练，如图9所示。具体实施时，可以利用与所述车载设备应用场景有关的物体类别集合训练LSTM模型(步骤S91)。每训练一次，需要判断所述LSTM模型的网络预测结果与其标定值之间的误差是否超过一第二预设阈值(步骤S92)。如果LSTM模型的网络预测结果与其标定值之间的误差不超过该第二预设阈值，则返回步骤S41，继续利用上述物体类别集合对所述LSTM模型进行训练。直到LSTM模型的网络预测结果与其标定值之间的误差超过第二预设阈值时，记录最后一次LSTM模型的网络预测结果与其标定值之间的误差不超过第二预设阀值时LSTM模型的输入门、遗忘门和输出门的权重及偏置，以得到训练好的LSTM模型(步骤S93)。

训练好CNN模型和LSTM模型后，即可利用训练好的CNN模型对上述车载设备获取的实时路况图像进行识别了。

采用LSTM模型进行语义分析具有以下优点：一是LSTM可以进行端到端的微调，二是其输入和输出都没有固定长度的限制，这样使得其很容易和现在的卷积神经网络结合起来，完成图像的语义理解任务。

基于与图1所示的驾驶行为分析方法相同的发明构思，本申请实施例还提供了一种驾驶行为分析系统，如下面实施例所述。由于该系统解决问题的原理与图1中驾驶行为分析方法相似，因此该系统的实施可以参见图1的驾驶行为分析方法的实施，重复之处不再赘述。

在另一实施例中，本发明还提供了一种驾驶行为分析系统，其结构如图10所示，该系统主要包括物体类别识别单元10及语义预测单元20。物体类别识别单元10用于接收车载设备发来的实时路况图像，并利用CNN模型对所述实时路况图像进行识别，获取所述实时路况图像中的物体类别。语义预测单元20用于利用LSTM模型对所述物体类别进行语义预测，并输出相应的提示信息。

在一实施例中，上述系统还包括一CNN模型训练单元30(见图11)。在利用物体类别识别单元10对所述实时路况图像进行识别之前，CNN模型训练单元30用于将所述车载设备获取的图像作为训练图像，对所述CNN模型训练，以获取训练好的CNN模型。

在一实施例中，CNN模型训练单元30对所述CNN模型进行训练时，具体可以采用如下步骤进行训练：

步骤1，将所述训练图像输入待训练的CNN模型，从所述CNN模型卷积层得到位宽为2^N的参数，N为[1，5]之间的整数。

步骤2，统计所得参数的分布区间，并根据所述分布区间确定动态定点数的组成，以将所述位宽为2^N的参数转化成动态定点数。

步骤3，将所述动态定点数输入所述待训练的CNN模型进行一次前向传播，确定所述CNN模型中全连接层和卷积层的权重及偏置。

步骤4，利用二分查找法寻找全连接层和卷积层中具有代表性的权重及偏置，作为当前CNN模型全连接层和卷积层的权重及偏置。

步骤5，将所述动态定点数在当前CNN模型中进行一次反向传播，判断所述CNN模型的网络预测结果与其标定值之间的误差是否超过第一预设阈值；

步骤6，如所述误差不超过所述第一预设阈值，将所述位宽为2^N的参数压缩成位宽为2^N-1的参数后再转化成动态定点数。

重复步骤3至步骤5，直至所述CNN模型的网络预测结果与其标定值之间的误差超过所述第一预设阈值，将最后一次网络预测结果与其标定值之间的误差不超过所述第一预设阀值时得到的CNN模型作为训练好的模型。

在一实施例中，上述的系统还包一LSTM模型训练单元40(见图11)，在利用语义预测单元20对所述物体类别进行语义预测之前，LSTM模型训练单元40用于利用与所述车载设备应用场景有关的物体类别集合训练LSTM模型，并判断所述LSTM模型的网络预测结果与其标定值之间的误差是否超过一第二预设阈值。如所述LSTM模型的网络预测结果与其标定值之间的误差不超过所述第二预设阈值，则LSTM模型训练单元40继续利用所述物体类别集合对所述LSTM模型进行训练。如所述LSTM模型的网络预测结果与其标定值之间的误差超过所述第二预设阈值，则记录最后一次LSTM模型的网络预测结果与其标定值之间的误差不超过所述第二预设阀值时LSTM模型的输入门、遗忘门和输出门的权重及偏置，以得到训练好的LSTM模型。

在一实施例中，LSTM模型的输入门、遗忘门及输出门的运算规则分别如下：

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

o_t＝σ(W_o[h_t-1,x_t]+b_o)

表示t时刻LSTM模型中记忆单元的输出，

x_t是t时刻的输入；W表示权重，b表示偏置，下标i表示输入门，下标f表示遗忘门，下标o表示输出门，下标C表示记忆单元；f_t表示t时刻遗忘门的输出；o_t表示t时刻输出门的输出。

在一实施例中，物体类别识别单元10具体包括一卷积模块及一池化模块。卷积模块主要用于利用训练好的CNN模型的卷积层对所述实时路况图像的像素值进行卷积处理，以增强实时路况图像的信号特征。池化模块主要用于利用训练好的CNN模型的池化层对经过卷积处理的像素值进行最大值池化处理，以获取所述实时路况图像中的物体类别。

利用本发明实施例提供的驾驶行为分析方法及系统，可以对车载设备发来的路况图像进行语意识别，并输出相应的提示信息以提醒司机谨慎驾驶。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种驾驶行为分析方法，其特征在于，所述方法包括：

接收车载设备发来的实时路况图像，并利用预先训练的CNN模型对所述实时路况图像进行识别，获取所述实时路况图像中的物体类别；

利用LSTM模型对所述物体类别进行语义预测，并输出相应的提示信息；

其中，对所述CNN模型进行训练，具体包括：

步骤1，将训练图像输入待训练的CNN模型，从所述CNN模型卷积层得到位宽为2^N的参数，N为[1，5]之间的整数；

步骤2，统计所得参数的分布区间，并根据所述分布区间确定动态定点数的组成，以将所述位宽为2^N的参数转化成动态定点数；

步骤3，将所述动态定点数输入所述待训练的CNN模型进行一次前向传播，确定所述CNN模型中全连接层和卷积层的权重及偏置；

步骤4，利用二分查找法寻找全连接层和卷积层中具有代表性的权重及偏置，作为当前CNN模型全连接层和卷积层的权重及偏置；

步骤5，将所述动态定点数在当前CNN模型中进行一次反向传播，判断所述CNN模型的网络预测结果与标定值之间的误差是否超过第一预设阈值；

步骤6，如所述误差不超过所述第一预设阈值，将所述位宽为2^N的参数压缩成位宽为2^N-1的参数后再转化成动态定点数；

重复步骤3至步骤5，直至所述CNN模型的网络预测结果与其标定值之间的误差超过所述第一预设阈值，将最后一次网络预测结果与其标定值之间的误差不超过所述第一预设阈值时得到的CNN模型作为训练好的模型。

2.根据权利要求1所述的驾驶行为分析方法，其特征在于，在利用所述CNN模型对所述实时路况图像进行识别之前，所述方法还包括：

将所述车载设备获取的图像作为训练图像，对所述CNN模型训练，以获取训练好的CNN模型。

3.根据权利要求1所述的驾驶行为分析方法，其特征在于，在利用LSTM模型对所述物体类别进行语义预测之前，所述方法还包括：

利用与所述车载设备应用场景有关的物体类别集合训练LSTM模型，并判断所述LSTM模型的网络预测结果与其标定值之间的误差是否超过一第二预设阈值；

如所述LSTM模型的网络预测结果与其标定值之间的误差不超过所述第二预设阈值，则继续利用所述物体类别集合对所述LSTM模型进行训练；

如所述LSTM模型的网络预测结果与其标定值之间的误差超过所述第二预设阈值，记录最后一次LSTM模型的网络预测结果与其标定值之间的误差不超过所述第二预设阈值时LSTM模型的输入门、遗忘门和输出门的权重及偏置，以得到训练好的LSTM模型。

4.根据权利要求3所述的驾驶行为分析方法，其特征在于，所述LSTM模型的输入门、遗忘门及输出门的运算规则分别如下：

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

o_t＝σ(W_o[h_t-1,x_t]+b_o)

表示t时刻LSTM模型中记忆单元的输出，

5.根据权利要求1所述的驾驶行为分析方法，其特征在于，利用CNN模型对所述实时路况图像进行识别，包括：

利用训练好的CNN模型的卷积层对所述实时路况图像的像素值进行卷积处理，以增强实时路况图像的信号特征；

利用训练好的CNN模型的池化层对经过卷积处理的像素值进行最大值池化处理，以获取所述实时路况图像中的物体类别。

6.一种驾驶行为分析系统，其特征在于，所述系统包括：

物体类别识别单元，用于接收车载设备发来的实时路况图像，并利用预先训练的CNN模型对所述实时路况图像进行识别，获取所述实时路况图像中的物体类别；

语义预测单元，用于利用LSTM模型对所述物体类别进行语义预测，并输出相应的提示信息；

所述CNN模型训练单元对所述CNN模型进行训练时，具体包括：

7.根据权利要求6所述的驾驶行为分析系统，其特征在于，所述系统还包括：CNN模型训练单元，在利用所述物体类别识别单元对所述实时路况图像进行识别之前，用于将所述车载设备获取的图像作为训练图像，对所述CNN模型训练，以获取训练好的CNN模型。

8.根据权利要求6所述的驾驶行为分析系统，其特征在于，所述系统还包括：LSTM模型训练单元，在利用所述语义预测单元对所述物体类别进行语义预测之前，用于利用与所述车载设备应用场景有关的物体类别集合训练LSTM模型，并判断所述LSTM模型的网络预测结果与其标定值之间的误差是否超过一第二预设阈值；

9.根据权利要求8所述的驾驶行为分析系统，其特征在于，所述LSTM模型的输入门、遗忘门及输出门的运算规则分别如下：

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

o_t＝σ(W_o[h_t-1,x_t]+b_o)

表示t时刻LSTM模型中记忆单元的输出，

10.根据权利要求6所述的驾驶行为分析系统，其特征在于，所述物体类别识别单元具体包括：

卷积模块，用于利用训练好的CNN模型的卷积层对所述实时路况图像的像素值进行卷积处理，以增强实时路况图像的信号特征；

池化模块，用于利用训练好的CNN模型的池化层对经过卷积处理的像素值进行最大值池化处理，以获取所述实时路况图像中的物体类别。