CN112052802A - 一种基于机器视觉的前方车辆行为识别方法 - Google Patents

一种基于机器视觉的前方车辆行为识别方法 Download PDF

Info

Publication number
CN112052802A
CN112052802A CN202010940104.6A CN202010940104A CN112052802A CN 112052802 A CN112052802 A CN 112052802A CN 202010940104 A CN202010940104 A CN 202010940104A CN 112052802 A CN112052802 A CN 112052802A
Authority
CN
China
Prior art keywords
vehicle
detection
algorithm
tracking
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010940104.6A
Other languages
English (en)
Other versions
CN112052802B (zh
Inventor
王孝兰
曹佳祺
王岩松
王硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Engineering Science
Original Assignee
Shanghai University of Engineering Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Engineering Science filed Critical Shanghai University of Engineering Science
Priority to CN202010940104.6A priority Critical patent/CN112052802B/zh
Publication of CN112052802A publication Critical patent/CN112052802A/zh
Application granted granted Critical
Publication of CN112052802B publication Critical patent/CN112052802B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于机器视觉的前方车辆行为识别方法，首先采用改进的tiny‑YOLOv3算法进行前方车辆检测，当检测到目标车辆后，再基于KCF算法、Kalman滤波算法与匈牙利匹配算法对目标车辆进行跟踪，最后根据前方车辆检测与跟踪结果构建LSTM，对前方车辆进行行为识别；改进的tiny‑YOLOv3算法是指将tiny‑YOLOv3算法的特征提取网络改进为Inception模块，构建特征金字塔网络，并将检测尺度增加到3个。本发明的一种基于机器视觉的前方车辆行为识别方法，应用在智能车辆上，能识别前方目标车辆的多种驾驶行为且具有良好的实时性和准确性。

Description

一种基于机器视觉的前方车辆行为识别方法
技术领域
本发明属于机器视觉技术领域，涉及一种基于机器视觉的前方车辆行为识别方法，应用在智能车辆上，能识别前方目标车辆的多种驾驶行为且具有良好的实时性和准确性。
背景技术
随着智能技术的发展与人们对出行方式越来越高的要求，智能车辆成为当前的研究热点之一。智能车辆对前方车辆的检测、跟踪与行为识别可以给智能车辆提供实时的道路环境信息，并识别目标车辆的驾驶意图，让智能车辆的决策控制层可以针对当前道路环境做出合适的规划和避障动作，减少交通事故的发生，具有重要意义。
前方车辆检测是车辆跟踪和意图识别的首要环节。在车辆检测方面，传统的方法包括根据外观特征的检测方法和背景差分法等，但仅适用于摄像机固定视角或静态视频检测，检测环境受限。近年来，该领域大多利用梯度方向直方图(Histogram of OrientedGradient，HOG)和haar-like等特征基于神经网络或机器学习的方法进行检测，但此类方法计算复杂，难以兼顾实时性和准确性。
目标车辆跟踪方面，常用的有Kalman滤波器和mean-shift等传统跟踪算法、深度学习方法以及基于相关滤波的方法来承接车辆检测结果，实现目标跟踪，并连接车辆行为识别模块。传统跟踪方法的跟踪准确率会受视频图像中遮挡、背景干扰和光照变化等因素影响，从而出现目标丢失、跟踪失败等情况，稳定性较差。基于深度学习如SiamFC算法、循环神经网络(RNN)、卷积神经网络(CNN)等对目标信息建模，具有较高的跟踪准确率，但实时性还有待提升。基于相关滤波的方法如基于核相关滤波算法和TLD跟踪算法等，实时性较好，但未能解决目标遮挡与尺度改变等问题。
车辆行为识别部分，常用如BP神经网络、隐马尔科夫模型(HMM)、支持向量机(SVM)、随机森林决策法、贝叶斯网络等方法对智能车周围车辆的驾驶意图以及驾驶行为进行判断和识别。上述方法各有优势，但对车辆长期行为识别的准确率均较差。随着相关技术发展，基于深度学习的行为识别方法具有更好的识别效果。其中，长短期记忆网络(LSTM)是一种基于时间循环的神经网络，用递归方式处理序列数据并提取时序特征，更适用于车辆的行为识别。
发明内容
本发明的目的是解决现有技术中存在的上述问题，提供一种基于机器视觉的前方车辆行为识别方法。为了增加车辆行为识别的准确率，本发明在车辆检测步骤改进tiny-YOLOv3算法，把原有算法的特征提取网络改进为基于Inception模块，拓展网络宽度并改进提取特征的能力，同时搭建特征金字塔网络，利用上采样方法融合高层特征与低层特征，把改进检测网络的尺度增加到3个，给较小检测目标分配更适合的检测尺度；为解决前方车辆被遮挡时跟踪效果不好的问题，在车辆跟踪步骤基于KCF算法(核相关滤波算法)，若出现遮挡时，利用Kalman滤波算法预测被挡车辆位置，并用匈牙利匹配算法实现复杂环境下的多个车辆目标长期跟踪。为了在提高识别准确率的同时兼顾实时性，构建LSTM(长短时记忆网络)对目标车辆进行行为识别。
为达到上述目的，本发明采用的技术方案如下：
一种基于机器视觉的前方车辆行为识别方法，首先采用改进的tiny-YOLOv3算法进行前方车辆检测，当检测到目标车辆后，再基于KCF算法(Kernerlized CorrelationFilter，核相关滤波算法)、Kalman滤波算法与匈牙利匹配算法对目标车辆进行跟踪，最后根据前方车辆检测与跟踪结果构建LSTM(Long Short-Term Memory，长短时记忆网络)，对前方车辆进行行为识别；
改进的tiny-YOLOv3算法是指将tiny-YOLOv3算法的特征提取网络改进为Inception模块，构建特征金字塔网络，并将检测尺度增加到3个。
作为优选的技术方案：
如上所述的一种基于机器视觉的前方车辆行为识别方法，所述采用改进的tiny-YOLOv3算法进行前方车辆检测具体包括如下步骤：
(1)将tiny-YOLOv3算法的特征提取网络改进为Inception模块，拓展网络宽度改进提取特征的能力；
(2)搭建特征金字塔网络，可使网络结构更简单，实时性更好，更适合嵌入式端的工程应用，利用上采样方法使卷积网络中高层特征与低层特征融合(卷积网络为改进tiny-YOLOv3中的部分网络结构，如图3所示，某一尺寸的特征经过卷积网络的卷积操作后会生成新的特征尺寸，同时把改进tiny-YOLOv3算法的检测尺度增加到3个，可以为较小检测目标分配更适合的检测尺度；
(3)车辆检测算法分为离线训练与实时检测两个部分，经离线训练得到合适的模型后，在实时检测阶段，把多个候选框分配给划分好的单元格，采用候选框预测目标检测框，则有：
bx＝σ(tx)+cx；
by＝σ(ty)+cy；
Figure BDA0002673341390000031
Figure BDA0002673341390000032
式中bx、by、bw和bh分别为检测框中心的横坐标和纵坐标以及检测框的宽和高；cx和cy分别为待检测目标中心所在单元格相对图像左上角的横向与纵向偏移；pw和ph分别为候选框的宽和高；e为自然指数；σ为sigmoid激活函数；tx和ty为预测的边框的中心点坐标，即经过sigmoid激活函数输出0到1之间的偏移量，分别与cx和cy相加后得到检测框中心点的位置；tw和th为预测的边框的宽和高，分别与pw和ph作用后得到检测框的宽和高。
如上所述的一种基于机器视觉的前方车辆行为识别方法，所述合适的模型指训练检测网络直到满足训练设置的最大迭代次数或损失函数值低于阈值时终止训练，并保存网络权重得到的模型。
如上所述的一种基于机器视觉的前方车辆行为识别方法，KCF算法采用循环偏移采样的方式构建训练样本。
循环偏移采样的方式如下：
设车辆目标区域表达式为：
x＝[x1,x2,...,xn-1,xn]T；
将车辆目标区域偏移n次获取n维循环偏移向量，并采用傅里叶空间对角化进行简化：
Figure BDA0002673341390000033
式中X为目标训练样本集，C(x)为样本集循环矩阵。利用KCF跟踪算法，在车辆检测的基础上进行车辆跟踪。
如上所述的一种基于机器视觉的前方车辆行为识别方法，首先采用基于KCF响应值的遮挡检测方法(KCF是一种车辆跟踪算法，KCF响应值是其中具体的检测方法)对被遮挡的候选区域的响应值进行分析，判别目标车辆是否被遮挡；若被遮挡，KCF跟踪算法会受到干扰，用Kalman滤波算法预测被遮挡车辆位置，实现对被遮挡车辆的跟踪(若未被遮挡，则继续利用KCF跟踪算法对目标车辆进行跟踪)；然后利用匈牙利匹配算法匹配当前帧的车辆检测结果与前一帧的车辆跟踪与预测结果，“检测结果”指当前帧检测的车辆ID(当视频帧中检测到前方有多个车辆时，给每个车辆打上“编号”，能确保当前帧中的车辆匹配到前一帧中的同一车辆)、位置信息，得到检测结果之后与前一帧中的车辆跟踪与预测结果进行匹配，依次迭代即可实现目标车辆的长期跟踪；最后对于Kalman滤波算法的预测结果，若无法与下一次检测的结果匹配，则认为超出预测极限，目标消失；若匹配到车辆目标，则对预测结果进行更新(即Kalman滤波算法的更新阶段，更新阶段中的具体工作有计算修正矩阵、更新观测值、更新协方差误差)。
如上所述的一种基于机器视觉的前方车辆行为识别方法，通过计算车辆检测结果与跟踪结果的质心距离，可知相对质心距离最小的结果相互匹配，建立匹配关系式：
Figure BDA0002673341390000041
式中，d为车辆跟踪结果与检测结果之间的质心距离，i为配对数量，m表示最大匹配数，Di和Ti为第i对的跟踪与检测结果，Min为取最小值函数。
如上所述的一种基于机器视觉的前方车辆行为识别方法，将前方车辆检测与跟踪结果作为LSTM的输入，构建车辆行为识别网络模型，处理并分析时序信息，进行行为分类识别。
如上所述的一种基于机器视觉的前方车辆行为识别方法，所识别的前方车辆行为包含直行、左变道、右变道、左切入、右切入、左转弯和右转弯。
有益效果：
通过本发明的基于机器视觉的前方车辆行为识别方法可以较好地实现目标车辆的驾驶行为识别，通过改进tiny-YOLOv3算法，增加检测尺度与网络宽度，解决了较小车辆目标检测准确率低的问题，提高检测实时性；同时基于KCF算法(核相关滤波算法)，结合Kalman滤波与匈牙利匹配算法解决目标车辆被遮挡引起的跟踪失败问题，实现复杂环境下的多个车辆目标长期跟踪；构建长短时记忆网络(LSTM)对前方车辆进行行为识别，识别准确率较高且实时性好。
附图说明
图1为本发明前方车辆行为识别的流程示意图；
图2为Inception模块的网络结构图；
图3为本发明前方车辆检测方法的网络结构图；
图4为本发明的前方车辆行为识别模型图。
具体实施方式
下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
一种基于机器视觉的前方车辆行为识别方法，如图1所示，包括以下步骤：
步骤1、改进tiny-YOLOv3算法，构建车辆检测网络模型，如图3所示。
把tiny-YOLOv3算法的特征提取网络改进为基于Inception模块，如图2所示，把n×n的卷积进行分解。分为四个通道：一通道约束通道数，降低运算成本；二通道经池化提取目标特征同时控制通道输出的降维和升维；三通道减小网络参数；四通道可获取不同尺度的特征。之后把四个通道的输出结果进行聚合获取多种特征结果。
为了对小目标检测具有更好的效果，搭建特征金字塔网络，利用上采样方法使低层特征与高层特征融合，同时增加检测尺度，把改进tiny-YOLOv3算法从2个检测尺度增加到3个检测尺度，给较小检测目标分配更适合的候选框。
步骤2、数据采集阶段，首先建立真实道路环境的前方车辆样本集，进行标注。对样本集数据进行处理，之后进行车辆检测网络模型训练(车辆检测网络模型是上述步骤1中搭建好的，训练的设备配置为Windows 10操作系统，搭配Darknet深度学习框架，以及OpenCV3扩展库)。每次将一批样本送入网络进行训练，构建损失函数计算损失，反向传播更新模型参数。损失函数如下：
E＝Ecoord+EIOU+Eclass (1)
式中Ecoord为坐标损失，EIOU为置信度损失，Eclass为类别损失；其中，坐标损失利用预测检测框的宽高损失和中心损失二者相加得到；
Figure BDA0002673341390000051
式中，xi，yi，wi，hi为车辆检测模型预测的车辆检测框；x’i，y’i，w’i，h’i为人工标记的真实边界框；S2为特征集内某一个输出特征图的网格单元数量；B为候选框的数目；
Figure BDA0002673341390000053
为第i个网格中的第j个候选框里是否包含检测车辆目标，当在一个单元格中有检测车辆目标时，其值等于1，否则取值为0；λcoord为尺度因子，用于给检测目标的类别概率和检测边框的位置尺寸误差赋予一定的权值。
计算置信度损失按下式：
Figure BDA0002673341390000052
式中，c’i和ci分别表示置信度真实值和预测值。Iij表示第i个网格中的第j个候选框里包含检测车辆目标，
Figure BDA0002673341390000061
表示第i个网格中的第j个候选框里不包含检测车辆目标。
计算类别损失按下式：
Figure BDA0002673341390000062
式中，p’i(c)和pi(c)分别表示真实类别概率与预测的检测框的类别概率，c∈class为分类类别。
训练检测网络直到满足训练设置的最大迭代次数或损失函数值低于阈值时终止训练(最大迭代次数和阈值可针对不同模型和需求人为设置，本发明中设置为经过45000次迭代终止训练)，并保存网络权重。
经离线训练得到合适的模型后，在实时检测阶段，把多个候选框分配给划分好的单元格，采用候选框预测目标检测框，则有：
bx＝σ(tx)+cx (5)
by＝σ(ty)+cy (6)
Figure BDA0002673341390000063
Figure BDA0002673341390000064
式中bx、by、bw和bh分别为检测框中心的横坐标和纵坐标以及检测框的宽和高；cx和cy分别为待检测目标中心所在单元格相对图像左上角的横向与纵向偏移；pw和ph分别为候选框的宽和高；e为自然指数；σ为sigmoid激活函数；tx和ty为预测的边框的中心点坐标，即经过sigmoid激活函数输出0到1之间的偏移量，分别与cx和cy相加后得到检测框中心点的位置；tw和th为预测的边框的宽和高，分别与pw和ph作用后得到检测框的宽和高。
步骤3、运用KCF算法进行车辆目标跟踪。首先输入视频数据，以图像序列第一帧中给定的车辆目标区域为正样本进行循环偏移采样产生大量的负样本，得到样本集的循环矩阵，车辆目标区域表达式为：
x＝[x1,x2,...,xn-1,xn]T (9)
将车辆目标区域偏移n次得到n维循环偏移向量，并采用傅里叶空间对角化进行简化：
Figure BDA0002673341390000065
式中X为构造的目标训练样本集，C(x)为样本集循环矩阵。利用KCF跟踪算法，在车辆检测的基础上进行车辆跟踪。之后利用该循环矩阵训练分类器。
步骤4、检测下一帧中车辆的位置并更新分类器；采用如下更新函数：
Figure BDA0002673341390000071
式中，β表示模型更新因子，xx’为当前帧检测到的模型参数，xt为当前帧的目标模板，xt-1为前一帧的目标模板；αx’为当前帧训练的分类器参数，αt为当前帧模型参数，αt-1为前一帧的模型参数。最后在后续图像序列帧中重复上述步骤及操作，直至跟踪结束。
步骤5、针对车辆跟踪时，目标车辆被遮挡产生干扰的问题，采用基于KCF响应值的遮挡检测方法，对被遮挡的候选区域的响应值进行分析，判别车辆是否受到遮挡。判断过程如下：
根据视频帧中的前方车辆计算KCF跟踪分类器的最大响应值max及其中心坐标pos，并获取车辆的宽w和高h，之后计算最大响应值周围大于λ1*max的其他候选区域中心坐标posi，其中λ1为遮挡阈值；得到候选区域中心区域坐标后，计算最大响应中心坐标pos到所有posi点的欧式距离responsei，并求和
Figure BDA0002673341390000072
最后计算阈值λ2×w×h，判断是否存在被遮挡情况，其中λ2为面积因子。若
Figure BDA0002673341390000073
高于阈值则表示车辆被遮挡。
当判断车辆确实受到遮挡时，采用Kalman滤波算法预测被遮挡车辆位置，实现对被遮挡车辆的跟踪；Kalman滤波预测阶段，Kalman滤波初始化起始量
Figure BDA0002673341390000074
P，基于k-1时刻状态的最优估计值
Figure BDA0002673341390000075
预测当前k时刻状态估计值
Figure BDA0002673341390000076
Figure BDA0002673341390000077
式中，A为状态转移矩阵，AT为A的转置矩阵，B为控制矩阵，Uk为k时刻对系统的控制量。并基于k-1时刻误差协方差Pk-1/k-1计算当前k时刻误差协方差Pk|k-1：
Pk|k-1＝APk-1|k-1AT+Q (13)
式中，Q为系统噪声。更新阶段，通过计算Kalman修正矩阵Kk，并与观测值Zk修正系统状态的预估计值计算最优估计Xk|k：
Figure BDA0002673341390000078
Figure BDA0002673341390000081
式中，H表示观测系统矩阵，HT为H的转置矩阵，R为测量噪声协方差(滤波器实际实现时，测量噪声协方差R一般可以观测得到，是滤波器的已知条件)。最后更新当前k时刻协方差Pk|k：
Pk|k＝Pk|k-1-KkHPk|k-1 (16)
步骤6、针对实际道路场景，车辆数目多变环境更为复杂的情况，需要实现长期跟踪。用匈牙利算法匹配检测与跟踪结果的策略，并采用间隔固定帧数再检测车辆，计算车辆检测结果与跟踪结果的质心距离，相对质心距离最小的结果相互匹配。其匹配关系如下：
Figure BDA0002673341390000082
式中，d表示车辆检测结果与跟踪结果之间的质心距离，i表示配对数量，m为最大匹配数，i最大取m，Di和Ti分别表示第i对的检测与跟踪结果。利用匈牙利匹配算法输出的最佳匹配关系，可以认为相互匹配的车辆检测与跟踪结果是同一个目标。在修正跟踪结果后继续进行跟踪，从而实现对目标车辆的长期跟踪。
步骤7、如图4所示，利用车辆检测和跟踪的结果，得到准确的车辆运动轨迹与车辆目标检测框的尺寸特征。对特征提取量化，剔除错误数据，并输入LSTM网络建立时间序列模型，将前方车辆的行为分为直行、左变道、右变道、左切入、右切入、左转弯和右转弯。对该模型进行离线训练。经过训练，达到1500次迭代时停止训练，并保存网络权重。最后用本发明提出的前方车辆的行为识别方法对前方目标车辆进行识别，取300个样本进行实验，平均准确率达到91.7％。与传统的识别算法(如[1]、[2]等)相比，行为类别中各类的准确率几乎都有提升(见下表)。本发明还考虑了传统方法未考虑的左变道、右变道、左切入和右切入的行为类别，更适用于复杂环境，具有较好的准确率。另外，因为网络结构的特点，LSTM网络能更好的处理时序信息，相比其他方法实时性更好。
表.本发明与传统方法的比较(％)
Figure BDA0002673341390000083
参考文献：
[1]黄鑫，肖世德，宋波.监控视频中的车辆异常行为检测[J].计算机系统应用，2018，27(2):125－131.(HUANG X，XIAO S D，SONG B.Detection of vehicle＇s abnormalbehaviors in surveillance video[J].Computer Systems and Applications，2018，27(2):125－131.).
[2]黄慧玲，杨明，王春香，等.基于前方车辆行为识别的碰撞预警系统[J].华中科技大学学报(自然科学版)，2015，43(s1):117－121.(HUANG H L，YANG M，WANG C X，etal.Collision warning system based on forward vehicle behavior recognition[J].Journal of Huazhong University of Science and Technology(Natural ScienceEdition)，2015，43(s1):117－121.).
综上，与现有方法相比，本发明的基于机器视觉的前方车辆行为识别方法，通过改进tiny-YOLOv3算法，增加检测尺度与网络宽度，能检测道路环境中前方较远的车辆，解决了小目标检测准确率低的问题，实现复杂环境下的实时车辆检测；基于KCF算法(核相关滤波算法)，结合Kalman滤波与匈牙利匹配算法解决目标车辆被遮挡引起的跟踪失败问题，对复杂环境下的车辆目标长期跟踪；构建LSTM网络(长短时记忆网络)对前方车辆进行行为识别，更适用于复杂道路环境，能识别前方目标车辆的多种驾驶行为且具有良好的实时性和准确性。

Claims (8)

1.一种基于机器视觉的前方车辆行为识别方法，其特征在于：首先采用改进的tiny-YOLOv3算法进行前方车辆检测，当检测到目标车辆后，再基于KCF算法、Kalman滤波算法与匈牙利匹配算法对目标车辆进行跟踪，最后根据前方车辆检测与跟踪结果构建LSTM，对前方车辆进行行为识别；
改进的tiny-YOLOv3算法是指将tiny-YOLOv3算法的特征提取网络改进为Inception模块，构建特征金字塔网络，并将检测尺度增加到3个。
2.根据权利要求1所述的一种基于机器视觉的前方车辆行为识别方法，其特征在于，所述采用改进的tiny-YOLOv3算法进行前方车辆检测具体包括如下步骤：
(1)将tiny-YOLOv3算法的特征提取网络改进为Inception模块；
(2)搭建特征金字塔网络，利用上采样方法使卷积网络中高层特征与低层特征融合，同时把改进tiny-YOLOv3算法的检测尺度增加到3个；
(3)经离线训练得到合适的模型后，在实时检测阶段，把多个候选框分配给划分好的单元格，采用候选框预测目标检测框，则有：
bx＝σ(tx)+cx；
by＝σ(ty)+cy；
Figure FDA0002673341380000011
Figure FDA0002673341380000012
式中bx、by、bw和bh分别为检测框中心的横坐标和纵坐标以及检测框的宽和高；cx和cy分别为待检测目标中心所在单元格相对图像左上角的横向与纵向偏移；pw和ph分别为候选框的宽和高；e为自然指数；σ为sigmoid激活函数；tx和ty为预测的边框的中心点坐标，即经过sigmoid激活函数输出0到1之间的偏移量，分别与cx和cy相加后得到检测框中心点的位置；tw和th为预测的边框的宽和高，分别与pw和ph作用后得到检测框的宽和高。
3.根据权利要求2所述的一种基于机器视觉的前方车辆行为识别方法，其特征在于，所述合适的模型指训练检测网络直到满足训练设置的最大迭代次数或损失函数值低于阈值时终止训练，并保存网络权重得到的模型。
4.根据权利要求3所述的一种基于机器视觉的前方车辆行为识别方法，其特征在于，KCF算法采用循环偏移采样的方式构建训练样本。
5.根据权利要求4所述的一种基于机器视觉的前方车辆行为识别方法，其特征在于，首先采用基于KCF响应值的遮挡检测方法对被遮挡的候选区域的响应值进行分析，判别目标车辆是否被遮挡；若被遮挡，用Kalman滤波算法预测被遮挡车辆位置，实现对被遮挡车辆的跟踪；然后利用匈牙利匹配算法匹配当前帧的车辆检测结果与前一帧的车辆跟踪与预测结果；最后对于Kalman滤波算法的预测结果，若无法与下一次检测的结果匹配，则认为超出预测极限，目标消失；若匹配到车辆目标，则对预测结果进行更新。
6.根据权利要求5所述的一种基于机器视觉的前方车辆行为识别方法，其特征在于，利用匈牙利匹配算法匹配当前帧的车辆检测结果与前一帧的车辆跟踪与预测结果，匹配关系式为：
Figure FDA0002673341380000021
式中，d为车辆跟踪结果与检测结果之间的质心距离，i为配对数量，m表示最大匹配数，Di和Ti为第i对的跟踪与检测结果，Min为取最小值函数。
7.根据权利要求5所述的一种基于机器视觉的前方车辆行为识别方法，其特征在于，将前方车辆检测与跟踪结果作为LSTM的输入，构建车辆行为识别网络模型，处理并分析时序信息，进行行为分类识别。
8.根据权利要求7所述的一种基于机器视觉的前方车辆行为识别方法，其特征在于，所识别的前方车辆行为包含直行、左变道、右变道、左切入、右切入、左转弯和右转弯。
CN202010940104.6A 2020-09-09 2020-09-09 一种基于机器视觉的前方车辆行为识别方法 Active CN112052802B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010940104.6A CN112052802B (zh) 2020-09-09 2020-09-09 一种基于机器视觉的前方车辆行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010940104.6A CN112052802B (zh) 2020-09-09 2020-09-09 一种基于机器视觉的前方车辆行为识别方法

Publications (2)

Publication Number Publication Date
CN112052802A true CN112052802A (zh) 2020-12-08
CN112052802B CN112052802B (zh) 2024-02-20

Family

ID=73609842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010940104.6A Active CN112052802B (zh) 2020-09-09 2020-09-09 一种基于机器视觉的前方车辆行为识别方法

Country Status (1)

Country Link
CN (1) CN112052802B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112698660A (zh) * 2020-12-31 2021-04-23 杭州电子科技大学 基于9轴传感器的驾驶行为视觉感知装置及方法
CN113256688A (zh) * 2021-05-25 2021-08-13 长春理工大学 应用于自动导航的轻量级实时目标检测方法、系统、终端
CN113297910A (zh) * 2021-04-25 2021-08-24 云南电网有限责任公司信息中心 一种配网现场作业安全带识别方法
CN113780078A (zh) * 2021-08-05 2021-12-10 广州西威科智能科技有限公司 无人驾驶视觉导航中故障物快速精准识别方法
CN113807224A (zh) * 2021-09-07 2021-12-17 金华市浙工大创新联合研究院 一种工厂违规行为检测跟踪方法
CN113989495A (zh) * 2021-11-17 2022-01-28 大连理工大学 一种基于视觉的行人召车行为识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292911A (zh) * 2017-05-23 2017-10-24 南京邮电大学 一种基于多模型融合和数据关联的多目标跟踪方法
CN108053427A (zh) * 2017-10-31 2018-05-18 深圳大学 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN109934255A (zh) * 2019-01-22 2019-06-25 小黄狗环保科技有限公司 一种适用于饮料瓶回收机投递物分类识别的模型融合方法
CN109948611A (zh) * 2019-03-14 2019-06-28 腾讯科技（深圳）有限公司 一种信息区域确定的方法、信息展示的方法及装置
CN110991272A (zh) * 2019-11-18 2020-04-10 东北大学 一种基于视频跟踪的多目标车辆轨迹识别方法
AU2020100953A4 (en) * 2020-06-05 2020-07-16 D, Vijayakumar DR Automated food freshness detection using feature deep learning
CN111444801A (zh) * 2020-03-18 2020-07-24 成都理工大学 一种无人机红外目标实时检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292911A (zh) * 2017-05-23 2017-10-24 南京邮电大学 一种基于多模型融合和数据关联的多目标跟踪方法
CN108053427A (zh) * 2017-10-31 2018-05-18 深圳大学 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN109934255A (zh) * 2019-01-22 2019-06-25 小黄狗环保科技有限公司 一种适用于饮料瓶回收机投递物分类识别的模型融合方法
CN109948611A (zh) * 2019-03-14 2019-06-28 腾讯科技（深圳）有限公司 一种信息区域确定的方法、信息展示的方法及装置
CN110991272A (zh) * 2019-11-18 2020-04-10 东北大学 一种基于视频跟踪的多目标车辆轨迹识别方法
CN111444801A (zh) * 2020-03-18 2020-07-24 成都理工大学 一种无人机红外目标实时检测方法
AU2020100953A4 (en) * 2020-06-05 2020-07-16 D, Vijayakumar DR Automated food freshness detection using feature deep learning

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
PRANAV ADARSH等: "YOLOv3-Tiny：Object Detection and Recognition using one stage improved model", 《2020 6TH INTERNATIONAL CONFERENCE ON ADVANCED COMPUTING AND COMMUNICATION SYSTEMS》, pages 687 - 694 *
XIAOLAN WANG ET AL: "Data-Driven Based Tiny-YOLOv3 Method for Front Vehicle Detection Inducing SPP-Net", 《IEEE ACCESS》, vol. 8, pages 110227 - 110236, XP011795228, DOI: 10.1109/ACCESS.2020.3001279 *
任珈民等: "基于YOLOv3与卡尔曼滤波的多目标跟踪算法", 《计算机应用与软件》, vol. 37, no. 5, pages 169 - 176 *
何丹妮: "基于深度学习的多车辆及跟踪算法研究", 《中国优秀硕士学位论文全文数据库（工程科技Ⅱ辑）》, no. 2, pages 034 - 709 *
余礼杨: "基于核化相关滤波器的目标跟踪技术研究及应用系统", 《中国优秀硕士学位论文全文数据库（信息科技辑）》, no. 4, pages 138 - 2541 *
公明等: "改进YOLO-v3的遥感图像舰船检测方法", 《电光与控制》, vol. 27, no. 5, pages 2 *
刘军等: "基于增强Tiny YOLOV3算法的车辆实时检测与跟踪", 《农业工程学报》, vol. 35, no. 8, pages 1 *
查伟伟等: "公路视频实时车辆检测分类与车流量统计算法", 《信息技术与网络安全》, vol. 39, no. 3, pages 62 - 67 *
王威: "基于视觉的车辆智能检测技术的研究", 《中国优秀硕士学位论文全文数据库（工程科技Ⅱ辑）》, no. 1, pages 034 - 1264 *
王硕等: "基于CNN和LSTM混合模型的车辆行为检测方法", 《智能计算机与应用》, vol. 10, no. 2, pages 1 *
王硕等: "基于改进tiny-YOLOv3的车辆检测方法", 《计算机与数学工程》, vol. 49, no. 8, pages 1549 - 1554 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112698660A (zh) * 2020-12-31 2021-04-23 杭州电子科技大学 基于9轴传感器的驾驶行为视觉感知装置及方法
CN112698660B (zh) * 2020-12-31 2022-05-27 杭州电子科技大学 基于9轴传感器的驾驶行为视觉感知装置及方法
CN113297910A (zh) * 2021-04-25 2021-08-24 云南电网有限责任公司信息中心 一种配网现场作业安全带识别方法
CN113256688A (zh) * 2021-05-25 2021-08-13 长春理工大学 应用于自动导航的轻量级实时目标检测方法、系统、终端
CN113780078A (zh) * 2021-08-05 2021-12-10 广州西威科智能科技有限公司 无人驾驶视觉导航中故障物快速精准识别方法
CN113780078B (zh) * 2021-08-05 2024-03-19 广州西威科智能科技有限公司 无人驾驶视觉导航中故障物快速精准识别方法
CN113807224A (zh) * 2021-09-07 2021-12-17 金华市浙工大创新联合研究院 一种工厂违规行为检测跟踪方法
CN113807224B (zh) * 2021-09-07 2023-11-21 金华市浙工大创新联合研究院 一种工厂违规行为检测跟踪方法
CN113989495A (zh) * 2021-11-17 2022-01-28 大连理工大学 一种基于视觉的行人召车行为识别方法
CN113989495B (zh) * 2021-11-17 2024-04-26 大连理工大学 一种基于视觉的行人召车行为识别方法

Also Published As

Publication number Publication date
CN112052802B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN112052802B (zh) 一种基于机器视觉的前方车辆行为识别方法
CN111127513B (zh) 一种多目标跟踪方法
CN110660082B (zh) 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法
CN107563313B (zh) 基于深度学习的多目标行人检测与跟踪方法
CN108470332B (zh) 一种多目标跟踪方法及装置
CN114972418B (zh) 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN108182447B (zh) 一种基于深度学习的自适应粒子滤波目标跟踪方法
CN107561549B (zh) 终端位置的重定位方法、装置、终端及存储介质
CN111582349B (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN109658442B (zh) 多目标跟踪方法、装置、设备及计算机可读存储介质
CN103106667A (zh) 一种面向遮挡和场景变换的运动对象追踪方法
CN110363165B (zh) 基于tsk模糊系统的多目标跟踪方法、装置及存储介质
CN104778699B (zh) 一种自适应对象特征的跟踪方法
CN113327272A (zh) 一种基于相关滤波的鲁棒性长时跟踪方法
CN114119659A (zh) 一种多传感器融合的目标跟踪方法
CN111402303A (zh) 一种基于kfstrcf的目标跟踪架构
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
Qing et al. A novel particle filter implementation for a multiple-vehicle detection and tracking system using tail light segmentation
CN113689459B (zh) 动态环境下基于gmm结合yolo实时跟踪与建图方法
CN109448024B (zh) 利用深度数据构建约束相关滤波器的视觉跟踪方法、系统
CN113092807B (zh) 基于多目标跟踪算法的城市高架道路车辆测速方法
CN113281718A (zh) 一种基于激光雷达场景流估计的3d多目标跟踪系统及方法
Wibowo et al. Visual tracking based on complementary learners with distractor handling
Lu et al. Hybrid deep learning based moving object detection via motion prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant