CN111310583B - 一种基于改进的长短期记忆网络的车辆异常行为识别方法 - Google Patents

Abstract

本发明涉及一种基于改进的长短期记忆网络的车辆异常行为识别方法，属于智能监控技术领域。该方法包括：S1：对采集的交通场景视频数据进行预处理，并以此进行模型训练，获取车辆检测模型；S2：利用车辆检测模型对视频数据进行车辆检测，确定每个目标车辆的信息，实时获取目标车辆的运动轨迹；S3：对获取的目标车辆运动轨迹进行预处理，并进行人工标注；S4：构建基于改进的LSTM网络的异常行为识别模型，对得到的目标车辆运动轨迹进行分类，识别出多种异常行为。本发明解决交通管理者需人工处理大量视频源的问题，针对交通道路监控环境中的多种车辆异常行为，能够准确高效地自动识别和报警，减少人力成本。

Description

一种基于改进的长短期记忆网络的车辆异常行为识别方法

技术领域

本发明属于智能监控技术领域，涉及一种基于改进的长短期记忆网络的车辆异常行为识别方法。

背景技术

随着社会经济的高速发展，当今汽车的保有量呈现直线式增长，私家车数量的不断增加在方便市民出行的同时，也带来诸如交通事故、交通拥堵等问题。道路资源的有限，使得许多车辆为了争取自己时间出现诸多违法违章行为，带来潜在的交通事故危险，与此同时，还存在不法分子与驾驶员争夺驾驶权等危险行为时导致车辆的行驶状态一反常态，为了应对这一问题，在近年来智能交通系统的高速发展前提下，通过交通监控视频对车辆行为进行自动识别成为热点。因为交通视频中包含了诸如交通流量、车辆行为轨迹、车辆牌照等参数，可以用来对车辆行为和交通事件进行预测和识别。

目前的智能监控系统，在构建车辆异常行为识别模型时，目前主流方法是通过提取目标轨迹的几何参数特征作为模型的输入来训练传统的分类器，特征选取的好坏直接影响到分类器的性能，这些方法未利用轨迹数据的时序信息，且对坐标的精度要求较高，对实际环境下不可控的噪声较为敏感，泛化性能较差。以此同时，当前的异常数据非常少，绝大部分的数据都是车辆正常行驶，数据类别极不平衡，常规的LSTM更是存在训练时间长，收敛慢的问题。

因此，亟需一种使智能监控视频你能够更加准确有效识别车辆异常行为的方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于改进的长短期记忆网络的车辆异常行为识别方法，针对交通道路监控环境中的多种车辆异常行为，能够准确高效地自动识别和报警，从而减少人力成本，解决交通管理者需人工处理大量视频源的问题；还能有效提升道路安全水平和运行效率。

为达到上述目的，本发明提供如下技术方案：

一种基于改进的长短期记忆网络的车辆异常行为识别方法，具体包括以下步骤：

S1：对采集的交通场景视频数据进行预处理，并以此进行模型训练，获取车辆检测模型；

S2：利用步骤S1得到的车辆检测模型对视频数据进行车辆检测，确定每个目标车辆的信息，以此对目标车辆进行在线跟踪，实时获取目标车辆的运动轨迹；

S3：对步骤S2获取的目标车辆运动轨迹进行预处理，保证数据完整，无重复值，并进行人工标注；

S4：构建基于改进的长短期记忆网络(Long Short-Term Memory，LSTM)的异常行为识别模型，对步骤S2得到的目标车辆运动轨迹进行分类，识别出多种异常行为。

进一步，步骤S1中，交通场景视频数据来自道路交通卡口监控系统记录的视频数据；车辆获取车辆检测模型具体包括：利用去雾算法对交通场景图像进行去雾处理，去除雾对于监控视频中车辆检测精度的影响，在采集数据时，收集来自各种光照环境下的视频片段，训练基于深度学习的目标检测网络，使得网络能够提取对光照不敏感的特征，实现道路交通监控视频中的精确车辆检测。

进一步，步骤S2中，在线跟踪即为基于检测的多目标跟踪方法，首先使用Kalman滤波器对上一帧检测到的目标进行预测；然后通过Kalman滤波器利用实际的运动参数不断修正未来运动状态的估计值，能有效改善其他算法在目标运动速度过快、目标被部分遮挡时的跟踪效果；最后结合匈牙利算法，将现有跟踪算法的二阶段匹配算法为一阶段方法，实现在线跟踪。

进一步，步骤S3中，对目标车辆运动轨迹进行数据预处理，具体包括：去掉中断时间过长，车辆ID(每一个目标车辆分配的唯一标识该车辆的编号)频繁转换和重复ID等的不良轨迹数据，并人为的根据原视频将其中正常行驶，停滞，逆行，非常规速度行驶，短时间内连续多次变道的轨迹数据打上标签。

进一步，步骤S4中，构建基于改进的LSTM网络的异常行为识别模型，具体包括：

S41：采用无监督的one class SVM算法对轨迹数据的DET表示进行异常点检测，基于离散傅里叶变换的轨迹表示法，将不同维度的轨迹数据都映射到同一高维特征空间中，又不损失轨迹数据所包含的时序信息，利用one class SVM算法对轨迹数据的DET表示进行异常点检测，将正常轨迹数据和异常轨迹数据进行粗分类，剔除掉绝大部分的正常轨迹数据，将异常与正常数据的类别极不均衡变为较为均衡；

S42：将异常轨迹数据输入到改进的LSTM网络即T-LSTM中进行细分类，识别出异常行为的具体种类。

更进一步，步骤S42中，T-LSTM网络具体为：针对常规LSTM进行改进，去除其中的遗忘门，加入一个时间控制权重；则T-LSTM网络的状态更新表达式为：

c_t＝i_t*tanh(w_c·[H_t-1,F_x(t),F_y(t)]+b_c)+t_t*c_t-1

H_t＝o_t*tanh(c_t)

t_t＝p，0<p<1

其中，t_t表示时控门，i_t表示输入门，o_t表示输出门，H_t-1表示的是上一个cell的输出，C_t表示细胞状态，F_x(t)、F_y(t)表示轨迹的DET系数。

本发明的有益效果在于：

1)本发明针对道路交通监控环境实现低人工力、高效检测识别车辆异常行为，有效提升了道路安全水平和运行效率。

2)本发明提出的基于改进的长短期记忆网络(T-LSTM)的异常行为识别模型，将无监督的one class SVM算法加入到神经网络前对轨迹数据进行粗分类，解决了类别极不平衡的问题，再利用T-LSTM模型取代LSTM，解决其训练时间长，收敛慢的问题，对异常轨迹数据进行细分类，准确识别车辆异常行为的种类。

3)本发明能够识别车辆停滞，逆行，非常规速度行驶，短时间内连续多次变道，掉头等多种异常行为，并对发生异常行为的时间和车辆位置进行精确定位。异常行为与普通的交通违章行为虽有交集，但不尽相同，例如短时间内连续多次变道，虽不是违章行为，但是在异常行为的识别范围内。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明所述的车辆异常行为识别方法的流程框架图；

图2为本发明改进的LSTM网络结构框图；

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1～图2，图1为一种基于改进的LSTM网络的车辆异常行为识别方法流程框图，本发明优选一种实施例，针对画面尺寸为宽高1920x1080、时长20秒、帧率为25fps左右的视频进行检测，具体包括以下步骤：

步骤一：对采集的交通场景视频数据进行预处理，并以此进行模型训练，获取车辆检测模型。具体的，对输入视频的每一帧进行车辆检测，并编号作为目标车辆的唯一标识，用[X，Y，S，R]记录当前帧车辆在图像中所处的位置，其中X，Y表示以图像左上角为原点的车辆位置框中心点坐标(单位为像素)，S表示车辆位置框的面积，R表示车辆位置矿的高宽比。

步骤二：对检测到的车辆进行跟踪，并将跟踪到的历史数据保存为track_dict＝{0：[(x₀₀，y₀₀)，(x₀₁，y₀₁)，…，(x_0i，y_0i)]，1：[(x₁₀，y₁₀)，(x₁₁，y₁₁)，…，(x_1i，y_1i)]，…，j：[(x_j0，y_j0)，(x_j1，y_j1)，…，(x_ji，y_ji)]}，其中0表示对车辆唯一标识的编号，轨迹[(x₀₀，y₀₀)，(x0₁，y₀₁)，…，(x_0i，y_0i)]表示编号为0的车辆从0时刻(被检测到的第一时间)到i时刻的图像位置(单位为像素)。

步骤三：将轨迹数据用基于离散傅里叶变换系数的表示方法表示。假设原始轨迹点表示为(x₀，y₀)，(x₁，y₁)，(x₂，y₂)…(x_n-1，y_n-1)，n表示轨迹点的个数，那么轨迹的DET系数可表示为：

{F_x(0)，…F_x(T)，F_y(0)，…F_y(T)}，(1≤T≤n)

其中，

F_x(0)和F_y(0)均为实数，因此该离散傅里叶变换系数特征矢量维数为2T，参数T设置为常数，这样，即使各条轨迹包含的轨迹点个数不一样，其特征向量的维数是相等的，以此输入到one class SVM算法，轨迹数据即被分为正常(例如，车辆2的轨迹数据当前属于正常，则行车状态为正常行驶)和异常(例如，车辆5的轨迹数据当前属于异常，则将轨迹数据送入下一步细分类，识别具体的异常类型)。

步骤四：上一步识别为异常的轨迹数据为：

anomaly-dict＝{a：[F_ax0(0)，…F_ax0(T)，F_ay0(0)，…F_ay0(T)]，

b：[F_bx0(0)，…F_bx0(T)，F_by0(0)，…F_by0(T)]，…，m：[F_mx0(0)，…F_mx0(T)，F_my0(0)，…F_my0(T)]}

对于其中的每一条轨迹[F_x0(0)，…F_x0(T)，F_y0(0)，…F_y0(T)]，输入训练好的T-LSTM模型中，即可得到一个K维的特征向量[0，0，…，1，…，0]，特征向量由0和1表示，用于表示轨迹数据所属分类(由于one class SVM算法可能将正常的轨迹数据划为异常，在T-LSTM模型中的最后分类，依然保留一类为正常行驶)，例如在第一位为1，其余位置，0，则表示该轨迹属于停滞的异常行为，实现异常行为的识别，再根据车辆编号，定位到当前视频画面的具体车辆，实现发生异常行为的时间和车辆位置精确定位。

改进的基于长短期记忆网络(LSTM)的异常行为识别模型(即T-LSTM异常行为识别模型)，如图2所示，包括将异常轨迹数据输入到T-LSTM中进行细分类，识别出异常行为的具体种类。常规LSTM中的每一层里通过三个叫做门(gates)的结构来实现信息的选择性行通过，分别是遗忘门，输入门和输出门。遗忘门(f_t)实现对细胞状态信息遗忘程度的控制，表示为，

f_t＝σ(w_f·[H_t-1，x_t]+b_f)

输入门(i_t)实现对细胞状态输入接受程度的控制，表示为，

i_t＝σ(w_i·[H_t-1，x_t]+b_i)

输出门(o_t)实现对细胞状态输出认可程度的控制，表示为，

o_t＝σ(w_o·[H_t-1，x_t]+b_o)

其中，H_t-1表示的是上一个cell的输出，x_t表示的是当前细胞的输入，σ表示sigmoid函数。然后结合三个门对状态进行更新，

c_t＝i_t*tanh(w_c·[H_t-1，F_x(t)，F_y(t)]+b_c)+f_t*c_t-1

H_t＝o_t*tanh(c_t)

经过T层模块的处理，最后输出一个K维的二进制向量，表示对车辆当前的行车状态进行K分类。T-LSTM针对常规LSTM进行改进，去除其中的遗忘门，加入一个时间控制权重。在针对车辆轨迹的分析中，我们可以很清楚的知道，当前时刻的前K时刻的状态对当前行车状态有影响，且影响随着时间上地靠近越来越大，因此加入时控门(t_t)，表示为t_t＝p(0＜p＜1)

则状态的更新更改为：

c_t＝i_t*tanh(w_c·[H_t-1，F_x(t)，F_y(t)]+b_c)+t_t*c_t-1

H_t＝o_t*tanh(c_t)

步骤四中，多种异常行为包括停滞，逆行，非常规速度行驶，短时间内连续多次变道等，停滞为在道路同一位置上停留3秒及以上时间，与设置的行车方向相反行驶2秒及以上时间则视为逆行，非常规速度行驶包括慢速行驶(速度小于等于20km/h，但不包括速度为零的情况)和超速行驶(速度大于等于130km/h)，在3秒内连续变换车道两次及以上则视为短时间内连续多次变道。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于改进的长短期记忆网络的车辆异常行为识别方法，其特征在于，该方法具体包括以下步骤：

S1：对采集的交通场景视频数据进行预处理，并以此进行模型训练，获取车辆检测模型；

S2：利用步骤S1得到的车辆检测模型对视频数据进行车辆检测，确定每个目标车辆的信息，以此对目标车辆进行在线跟踪，实时获取目标车辆的运动轨迹；

S3：对步骤S2获取的目标车辆运动轨迹进行预处理，并进行人工标注；

S4：构建基于改进的长短期记忆网络(Long Short-Term Memory，LSTM)的异常行为识别模型，对步骤S2得到的目标车辆运动轨迹进行分类，识别出多种异常行为；

改进的LSTM网络即T-LSTM网络具体为：针对常规LSTM进行改进，去除其中的遗忘门，加入一个时间控制权重；则T-LSTM网络的状态更新表达式为：

c_t＝i_t*tanh(w_c·[H_t-1,F_x(t),F_y(t)]+b_c)+t_t*c_t-1

H_t＝o_t*tanh(c_t)

0＜t_t＜1

其中，t_t表示时控门，i_t表示输入门，o_t表示输出门，H_t-1表示的是上一个cell的输出，C_t表示细胞状态，F_x(t)、F_y(t)表示轨迹的DET系数。

2.根据权利要求1所述的一种基于改进的长短期记忆网络的车辆异常行为识别方法，其特征在于，步骤S1中，车辆获取车辆检测模型具体包括：利用去雾算法对交通场景图像进行去雾处理，去除雾对于监控视频中车辆检测精度的影响，在采集数据时，收集来自各种光照环境下的视频片段，训练基于深度学习的目标检测网络，使得网络能够提取对光照不敏感的特征，实现道路交通监控视频中的精确车辆检测。

3.根据权利要求1所述的一种基于改进的长短期记忆网络的车辆异常行为识别方法，其特征在于，步骤S2中，在线跟踪即为基于检测的多目标跟踪方法，首先使用Kalman滤波器对上一帧检测到的目标进行预测；然后通过Kalman滤波器利用实际的运动参数不断修正未来运动状态的估计值；最后结合匈牙利算法，将现有跟踪算法的二阶段匹配算法转换为一阶段方法，实现在线跟踪。

4.根据权利要求1所述的一种基于改进的长短期记忆网络的车辆异常行为识别方法，其特征在于，步骤S3中，对目标车辆运动轨迹进行数据预处理，具体包括：去掉中断时间过长，车辆ID频繁转换和重复ID的不良轨迹数据，并人为的根据原视频将其中正常行驶，停滞，逆行，非常规速度行驶，短时间内连续多次变道的轨迹数据打上标签。

5.根据权利要求1所述的一种基于改进的长短期记忆网络的车辆异常行为识别方法，其特征在于，步骤S4中，构建基于改进的LSTM网络的异常行为识别模型，具体包括：

S41：采用无监督的one class SVM算法对轨迹数据的DET表示进行异常点检测，基于离散傅里叶变换的轨迹表示法，将不同维度的轨迹数据都映射到同一高维特征空间中，利用one class SVM算法对轨迹数据的DET表示进行异常点检测，将正常轨迹数据和异常轨迹数据进行粗分类，剔除掉绝大部分的正常轨迹数据，将异常与正常数据的类别极不均衡变为较为均衡；

S42：将异常轨迹数据输入到改进的LSTM网络即T-LSTM中进行细分类，识别出异常行为的具体种类。

Images