CN107730889B - 一种基于交通视频的目标车辆检索方法 - Google Patents

Abstract

本发明涉及一种基于交通视频的目标车辆检索方法，属于交通技术领域。本发明主要包括时空关联模型的建立、行驶时间域估计、车辆对象的提取、视频测速以及目标的多特征同一性分析方法的实现。道路空间模型的建立是基于Serret‑Frenet标架上的空间曲线，将车辆的运行状态抽象为三维的空间运动，使其在空间约束下进行车辆运动属性分析，从而得到其运行时间域，目标车辆多特征检索是基于在行驶时间域中对车辆进行提取、测速以及车辆多特征同一性分析对比，实现对目标车辆的检索。本发明主要实现了在分布式道路监控视频中从海量数据中快速准确的目标检索，因此在交通领域具有很高的应用价值。

Description

一种基于交通视频的目标车辆检索方法

技术领域

本发明涉及一种基于交通视频的目标车辆检索方法，属于交通技术领域。

背景技术

在大数据的背景下，如何能在海量视频中快速提取有价值的信息显得尤其重要。目前，在智慧交通领域，主要技术手段是通过图像处理及识别车辆车牌进行车辆的轨迹跟踪，对于违法车辆“灰牌照”车辆(通过图像处理技术手段无法获取车牌的车辆)的主要解决手段是通过人工进行视频检索，作为道路中的监控设备进行人工查找处罚车辆的违规证据。传统的视频检索方式，对于这类深层次的需求往往无能为力，因而如何快速准确地进行智能检索就成为大型智慧交通视频监控系统需要解决的问题。本发明就是在此背景下对高速公路中的灰牌照车辆进行视频快速检索确定车辆的行驶轨迹进行研究。

发明内容

本发明提供了一种基于交通视频的目标车辆检索方法，以用于解决公路上对灰牌照车辆的视频快速检索，以确定车辆的行驶轨迹。解决的具体技术包括：1.建立时空关联模型；2.通过视频中车辆进行测速；3.车辆行驶时间域的测算；4.通过视频进行车辆的提取；5.对车辆的同一性特征分析。

本发明的技术方案是：一种基于交通视频的目标车辆检索方法，所述方法包括时空关联模型的建立、行驶时间域估计、车辆对象的提取、视频测速以及目标的多特征同一性分析方法的实现；道路空间模型的建立是基于Serret-Frenet标架上的空间曲线，将车辆的运行状态抽象为三维的空间运动，使其在空间约束下进行车辆运动属性分析，从而得到其运行时间域，目标车辆多特征检索是基于在行驶时间域中对车辆进行提取、测速以及车辆多特征同一性分析对比，实现对目标车辆的检索。

所述方法的具体步骤如下所示：

步骤1：将车辆运行空间状态抽象为Serret-Frenet标架上的空间曲线运动，得到车辆运行的空间特性；

步骤2：在路径约束条件下，进行车辆运动属性分析；

步骤3：通过对车辆运行的空间属性和时间属性的分析，建立时空关联模型，从而为其时间域检索建立基础；

步骤4：车辆行驶时间域的估计；

步骤5：在对应行驶时间域的视频中对车辆进行测速、提取操作，如果在估计的时间域中没有目标车辆，将进行时间域的扩展，直到出现目标为止；

步骤6：车辆对象的提取；

步骤7：视屏测速；

步骤8：多特征的同一性分析；选定车型、车辆颜色和车标作为检索特征，采用深度学习的卷积神经网络识别，最终得到检索目标。

所述步骤1的具体步骤为：

将车辆运行空间状态抽象为Serret-Frenet标架上的空间曲线运动，对空间曲线作任意分割；设第N个时刻从点P_k沿空间曲线开始运动，于第i+1个时刻到达点P_i+1，其中0≤i≤N，N为不包0的正整数，P_i，P_i+1分别表示为曲线上的第i和i+1个点，s_i，s_i+1分别为曲线在P_i，P_i+1两点之间的弧长，

为曲线在点P_i的Serret-Frene标架，

为曲线在点P_i+1的Serret-Frene标架，则其运动空间特性描述为：

式中，α(s)为曲线在s处的单位切向量，β(s)为曲线在s处的单位主法向量，γ(s)为曲线s处的单位次法向量，α′(s)、β′(s)、γ′(s)分别为α(s)、β(s)和γ(s)对弧长参数s的导数；则空间曲线运动的速度和加速度的计算公式分别为：

其中k(s)表示在s处的曲率。

所述步骤2进行车辆运动属性分析的具体步骤为：

进行车辆运动属性分析：设S₀，S₁，…S_k，…S_n-1，S_n为路径中任意一段，任意两个路段之间的差值为路程(Δs)，令σ＝max{|Δs_k|，k＝0，1，2…n-1}，同时任意两个路段之间对应的平均速度为

则车辆行驶时间为：

车辆行驶时间域为：

上述公式中，将路程与速度看为已知量，在路径约束条件下，车辆行驶时间ΔT，则车辆的时间特性为：

t_k+1＝t_k+ΔT。

所述步骤4车辆行驶时间域估计的具体步骤为：

车辆行驶时间域估计：在空间的约束下，车辆的运行时间受到环境的影响，通过对影响因素的分析建立一个n元线性回归模型：y＝β₀x₁+β₁x₂+β₃x₃+…+β_nx_n+ε，然后将影响因素做为变量使用BP神经网络进行分析，最后得到一个时间预测的修正模型：

t_k+ΔT-Δt-μ≤t_k+1≤t_k+ΔT+Δt+μ

或者：

t_k+1∈[t_k+ΔT-Δt-μ,t_k+ΔT+Δt+μ]

其中，μ表示对于阈值外的车辆行驶时间通过人工时间修正，因为车辆在行驶的过程受到多因素的影响，如路况，天气，时间段，其中一些是不确定的，所以需要对模型进行人工的修正。

所述步骤6车辆对象的提取的具体步骤为：

车辆对象的提取：车辆对象的提取方法，采用改进后的高斯模型，以图像的纹理特征为建模单位，每个像素的高斯模型个数为K个，每个模型包括7个参数，分别为μ_μ、σ_μ、μ_σ、σ_σ、μ_c、σ_c、ω，前6个参数分别表示图像块的均值、标准差、当前值的均值和标准差、计算后的均值和标准差，ω为每个高斯模型的权重，先运用以下公式求出像素的纹理特征值：

μ_μ＝g_μ，μ_σ＝g_μ，μ_c＝g_c，

σ_u＝σ_σ＝σ_c＝50

ω＝1.0

K个高斯模型的优先级排序：

|μ_μ，i/σ_μ，i+μ_σ，i/σ_σ，i+μ_c，i/σ_c，i|

匹配条件为：

|(g_u，t-μ_u，t-1)/σ_μ，t-1+(g_σ，t-μ_σ，t-1)/σ_σ，t-1+(g_c，t-μ_c，t-1)/σ_c，t-1|≤C

通过上述公式将每个像素转化为K个高斯模型；其参数更新为：

μ_μ，i，t＝(1-θ)·μ_μ，i，t-1+θ·g_μ，i，t

μ_σ，i，t＝(1-θ)·μ_σ，i，t-1+θ·g_σ，i，t

μ_c，i，t＝(1-θ)·μ_c，i，t-1+θ·g_c，i，t

式中θ为学习速率，且0≤θ≤1，θ值决定了更新速度。

所述步骤7视屏测速的具体步骤为：

视屏测速；视频测速方法采用基于虚拟区域内特征点跟踪的高速视频测速算法，结合Shi-Tomasi角点、金字塔Lucas-Kanade法和PAM聚类算法技术手段，能有效的测量出视频中目标车辆的速度信息；选取两条相邻的车道线和两个间隔组成一个30M*3.75M的矩形虚拟测速区域，分别用p1，p2，p3，p4表示ROI区域的四个角点，使用上述算法检测到的特征点在虚拟测速区域R中停留帧数的集合T＝(z1，z2，....，zm)，m为检测到的特征点的个数，则测速的时间信息为：

S为运动目标F在虚拟测速区域中停留的帧数，B为目标视频的帧率；

速度信息为：

其中D表示测速区域的长度。

本发明的有益效果是：

1.本发明建立的时空模型，以缩小目标车辆的检索范围；

2.本发明通过BP神经网络对车辆行驶时间域的估算，再经过人工修正，以提高其检索精度；

3.本发明对于在检索的时间域内，会提取到多辆类似的目标车辆，通过车辆特征的同一性分析确定目标车辆。

附图说明

图1是弗莱纳标架空间曲线上车辆运行状态图；

图2是车辆行驶时间预测流程图；

图3是车辆对象提取图；

图4是车辆多特征的同一性检索图；

图5是测试结果图。

具体实施方式

实施例1：一种基于交通视频的目标车辆检索方法，如图1所示为本发明的流程图；

所述方法的具体步骤如下所示：

步骤1：将车辆运行空间状态抽象为Serret-Frenet标架上的空间曲线运动，得到车辆运行的空间特性；如图1所示是弗莱纳标架空间曲线上车辆运行状态图；

所述步骤1的具体步骤为：

将车辆运行空间状态抽象为Serret-Frenet标架上的空间曲线运动，对空间曲线作任意分割；设第N个时刻从点P_k沿空间曲线开始运动，于第i+1个时刻到达点P_i+1，其中0≤i≤N，N为不包0的正整数，P_i，P_i+1分别表示为曲线上的第i和i+1个点，s_i，s_i+1分别为曲线在P_i，P_i+1两点之间的弧长，

为曲线在点P_i的Serret-Frene标架，

为曲线在点P_i+1的Serret-Frene标架，则其运动空间特性描述为：

式中，α(s)为曲线在s处的单位切向量，β(s)为曲线在s处的单位主法向量，γ(s)为曲线s处的单位次法向量，α′(s)、β′(s)、γ′(s)分别为α(s)、β(s)和γ(s)对弧长参数s的导数；则空间曲线运动的速度和加速度的计算公式分别为：

其中k(s)表示在s处的曲率。

步骤2：在路径约束条件下，进行车辆运动属性分析；

所述步骤2进行车辆运动属性分析的具体步骤为：

进行车辆运动属性分析：设S₀，S₁，…S_k，…S_n-1，S_n为路径中任意一段，任意两个路段之间的差值为路程(Δs)，令σ＝max{|Δs_k|，k＝0，1，2…n-1}，同时任意两个路段之间对应的平均速度为

则车辆行驶时间为：

车辆行驶时间域为：

上述公式中，将路程与速度看为已知量，在路径约束条件下，车辆行驶时间ΔT，则车辆的时间特性为：

t_k+1＝t_k+ΔT。

步骤3：通过对车辆运行的空间属性和时间属性的分析，建立时空关联模型，从而为其时间域检索建立基础；

步骤4：车辆行驶时间域的估计；通过对预测目标进行资料收集分析(主要是其在空间和时间上的影响因素分析)，得到的数据经过BP神经网络预测，由于BP神经网络对目标行驶时间预测的模型存在误差，所以对模型预测误差做出了分析，在了解其误差特性的基础上进行模型修正。如图2所示；

所述步骤4车辆行驶时间域估计的具体步骤为：

车辆行驶时间域估计：在空间的约束下，车辆的运行时间受到环境的影响，通过对影响因素的分析建立一个n元线性回归模型：y＝β₀x₁+β₁x₂+β₃x₃+…+β_nx_n+ε，然后将影响因素做为变量使用BP神经网络进行分析，最后得到一个时间预测的修正模型：

t_k+ΔT-Δt-μ≤t_k+1≤t_k+ΔT+Δt+μ

或者：

t_k+1∈[t_k+ΔT-Δt-μ，t_k+ΔT+Δt+μ]

其中，μ表示对于阈值外的车辆行驶时间通过人工时间修正，因为车辆在行驶的过程受到多因素的影响，如路况，天气，时间段，其中一些是不确定的，所以需要对模型进行人工的修正。

步骤5：在对应行驶时间域的视频中对车辆进行测速、提取操作，如果在估计的时间域中没有目标车辆，将进行时间域的扩展，直到出现目标为止；

步骤6：车辆对象的提取；在视频中划定一个感兴趣区域(ROI)，左键单击鼠标在选定的区域中确定四个坐标点，形成一个矩形用来框出目标。当视频中有车辆经过划定区域(ROI)的横线时，就进行运动目标的提取，如图3所示，提取到的目标车辆是被一个矩形框住。

所述步骤6车辆对象的提取的具体步骤为：

车辆对象的提取：车辆对象的提取方法，采用改进后的高斯模型，以图像的纹理特征为建模单位，每个像素的高斯模型个数为K个，每个模型包括7个参数，分别为μ_μ、σ_μ、μ_σ、σ_σ、μ_c、σ_c、ω，前6个参数分别表示图像块的均值、标准差、当前值的均值和标准差、计算后的均值和标准差，ω为每个高斯模型的权重，先运用以下公式求出像素的纹理特征值：

μ_μ＝g_μ，μ_σ＝g_μ，μ_c＝g_c，

σ_μ＝σ_σ＝σ_c＝50

ω＝1.0

K个高斯模型的优先级排序：

|μ_μ，i/σ_μ，i+μ_σ，i/σ_σ，i+μ_c，i/σ_c，i|

匹配条件为：

|(g_u，t-μ_u，t-1)/σ_μ，t-1+(g_σ，t-μ_σ，t-1)/σ_σ，t-1+(g_c，t-μ_c，t-1)/σ_c，t-1|≤C

通过上述公式将每个像素转化为K个高斯模型；其参数更新为：

μ_μ，i，t＝(1-θ)·μ_μ，i，t-1+θ·g_μ，i，t

μ_σ，i，t＝(1-θ)·μ_σ，i，t-1+θ·g_σ，i，t

μ_c，i，t＝(1-θ)·μ_c，i，t-1+θ·g_c，i，t

式中θ为学习速率，且0≤θ≤1，θ值决定了更新速度。

步骤7：视屏测速；

所述步骤7视屏测速的具体步骤为：

视屏测速；视频测速方法采用基于虚拟区域内特征点跟踪的高速视频测速算法，结合Shi-Tomasi角点、金字塔Lucas-Kanade法和PAM聚类算法技术手段，能有效的测量出视频中目标车辆的速度信息；选取两条相邻的车道线和两个间隔组成一个30M*3.75M的矩形虚拟测速区域，分别用p1，p2，p3，p4表示ROI区域的四个角点，使用上述算法检测到的特征点在虚拟测速区域R中停留帧数的集合T＝(z1，z2，....，zm)，m为检测到的特征点的个数，则测速的时间信息为：

S为运动目标F在虚拟测速区域中停留的帧数，B为目标视频的帧率；

速度信息为：

其中D表示测速区域的长度。

步骤8：多特征的同一性分析；采用深度学习的卷积神经网络方法，通过提取大量视频中的车辆，按照车型、颜色和车标的分类，进行三类模型的建立。其中车型分为卡车、客车、小车和面包车，将四种车型作为卷积神经网络的输入参数进行车型模型训练。同样，采用卷积神经网络对颜色和车标进行模型训练，通过所建立的三类模型(车型、车标、颜色)进行目标车辆的同一性识别，如图4所示，最终得到目标车辆，如图5所示。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (2)

1.一种基于交通视频的目标车辆检索方法，其特征在于：所述方法包括时空关联模型的建立、行驶时间域估计、车辆对象的提取、视频测速以及目标的多特征同一性分析方法的实现；时空关联模型的建立是基于Serret-Frenet标架上的空间曲线，将车辆的运行状态抽象为三维的空间运动，使其在空间约束下进行车辆运动属性分析，从而得到其运行时间域，目标车辆多特征检索是基于在行驶时间域中对车辆进行提取、测速以及车辆多特征同一性分析对比，实现对目标车辆的检索；

所述方法的具体步骤如下所示：

步骤1：将车辆运行空间状态抽象为Serret-Frenet标架上的空间曲线运动，得到车辆运行的空间特性；

步骤2：在路径约束条件下，进行车辆运动属性分析；

步骤3：通过对车辆运行的空间属性和时间属性的分析，建立时空关联模型，从而为其时间域检索建立基础；

步骤4：车辆行驶时间域的估计；

步骤5：在对应行驶时间域的视频中对车辆进行测速、提取操作，如果在估计的时间域中没有目标车辆，将进行时间域的扩展，直到出现目标为止；

步骤6：车辆对象的提取；

步骤7：视频测速；

步骤8：多特征的同一性分析；选定车型、车辆颜色和车标作为检索特征，采用深度学习的卷积神经网络识别，最终得到检索目标；

所述步骤2进行车辆运动属性分析的具体步骤为：

进行车辆运动属性分析：设S₀，S₁，…，S_k，…，S_n-1，S_n为路径中任意一段，任意两个路段之间的差值为路程Δs，令σ＝max{|Δs_k|，k＝0，1，2，…，n-1}，同时任意两个路段之间对应的平均速度为

则车辆行驶时间为：

车辆行驶时间域为：

上述公式中，将路程与速度看为已知量，在路径约束条件下，车辆行驶时间ΔT，则车辆的时间特性为：

t_k+1＝t_k+ΔT；

所述步骤4车辆行驶时间域估计的具体步骤为：

车辆行驶时间域估计：在空间的约束下，车辆的运行时间受到环境的影响，通过对影响因素的分析建立一个n元线性回归模型：y＝β₀x₁+β₁x₂+β₃x₃+…+β_nx_n+ε，然后将影响因素做为变量使用BP神经网络进行分析，最后得到一个时间预测的修正模型：

t_k+ΔT-Δt-μ≤t_k+1≤t_k+ΔT+Δt+μ

或者：

t_k+1∈[t_k+ΔT-Δt-μ，t_k+ΔT+Δt+μ]

其中，μ表示对于阈值外的车辆行驶时间通过人工时间修正；

所述步骤6车辆对象的提取的具体步骤为：

车辆对象的提取：车辆对象的提取方法，采用改进后的高斯模型进行提取，以图像的纹理特征为建模单位，每个像素的高斯模型个数为K个，每个模型包括7个参数，分别为μ_μ、σ_μ、μ_σ、σ_σ、μ_c、σ_c、ω，前6个参数分别表示图像块的均值、标准差、当前值的均值和标准差、计算后的均值和标准差，ω为每个高斯模型的权重，先运用以下公式求出像素的纹理特征值：

μ_μ＝g_μ，μ_σ＝g_μ，μ_c＝g_c，

σ_μ＝σ_σ＝σ_c＝50

ω＝1.0

K个高斯模型的优先级排序：

|μ_μ，i/σ_μ，i+μ_σ，i/σ_σ，i+μ_c，i/σ_c，i|

匹配条件为：

|(g_u，t-μ_u，t-1)/σ_μ，t-1+(g_σ，t-μ_σ，t-1)/σ_σ，t-1+(g_c，t-μ_c，t-1)/σ_c，t-1|≤C

将每个像素转化为K个高斯模型；其参数更新为：

μ_μ，i，t＝(1-θ)·μ_μ，i，t-1+θ·g_μ，i，t

μ_σ，i，t＝(1-θ)·μ_σ，i，t-1+θ·g_σ，i，t

μ_c，i，t＝(1-θ)·μ_c，i，t-1+θ·g_c，i，t

式中θ为学习速率，且0≤θ≤1，θ值决定了更新速度；

所述步骤7视频测速的具体步骤为：

视频测速；视频测速方法采用基于虚拟区域内特征点跟踪的高速视频测速算法，结合Shi-Tomasi角点、金字塔Lucas-Kanade法和PAM聚类算法技术手段，能有效的测量出视频中目标车辆的速度信息；选取两条相邻的车道线和两个间隔组成一个30M*3.75M的矩形虚拟测速区域，分别用p1，p2，p3，p4表示ROI区域的四个角点，使用上述算法检测到的特征点在虚拟测速区域R中停留帧数的集合T＝(z1，z2，....，zm)，m为检测到的特征点的个数，则测速的时间信息为：

S为运动目标F在虚拟测速区域中停留的帧数，B为目标视频的帧率；

速度信息为：

其中D表示测速区域的长度。

2.根据权利要求1所述的基于交通视频的目标车辆检索方法，其特征在于：所述步骤1的具体步骤为：

将车辆运行空间状态抽象为Serret-Frenet标架上的空间曲线运动，对空间曲线作任意分割；设第N个时刻从点P_k沿空间曲线开始运动，于第i+1个时刻到达点P_i+1，其中0≤i≤N，N为不包含0的正整数，P_i，P_i+1分别表示为曲线上的第i和i+1个点，s_i，s_i+1分别为曲线在P_i，P_i+1两点之间的弧长，

为曲线在点P_i的Serret-Frene标架，

为曲线在点P_i+1的Serret-Frene标架，则其运动空间特性描述为：

式中，α(s)为曲线在s处的单位切向量，β(s)为曲线在s处的单位主法向量，γ(s)为曲线s处的单位次法向量，α′(s)、β′(s)、γ′(s)分别为α(s)、β(s)和γ(s)对弧长参数s的导数；则空间曲线运动的速度和加速度的计算公式分别为：

其中k(s)表示在s处的曲率。

Images