CN111666860A - 一种车牌信息与车辆特征融合的车辆轨迹跟踪方法 - Google Patents
一种车牌信息与车辆特征融合的车辆轨迹跟踪方法 Download PDFInfo
- Publication number
- CN111666860A CN111666860A CN202010484037.1A CN202010484037A CN111666860A CN 111666860 A CN111666860 A CN 111666860A CN 202010484037 A CN202010484037 A CN 202010484037A CN 111666860 A CN111666860 A CN 111666860A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- information
- license plate
- target
- association
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 13
- 239000002245 particle Substances 0.000 claims description 38
- 230000004927 fusion Effects 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及高速公路监控领域，特指一种车牌信息与车辆特征融合的车辆轨迹跟踪方法，首先在高速公路高清卡口处对车牌信息和车辆信息进行提取，存入数据库中进行关联；接着在全路段对车辆各个方面的特征进行提取，接着在全路段对车辆各个方面的特征进行提取，包括车辆的固有特征和运动特征；途中经过下一个车牌识别摄像机再次对车牌信息和车辆信息进行提取，并使用PSO算法与之前获取的信息进行优化；其次建立车辆在多摄像机间运动的时间和空间的约束；最后对摄像机观察到的所有车辆，使用车辆关联算法进行关联，在它们之中找到属于相同车辆的目标，从而实现通过输入车牌号进行多个摄像机间的车辆轨迹跟踪。
Description
技术领域
本发明涉及高速公路监控领域，特指一种车牌信息与车辆特征融合的车辆轨迹跟踪方法。
背景技术
随着人们对交通安全的逐渐重视，加之国家相关政策的制定与推进，智能视频监控技术得以快速发展。随着高速公路的快速发展和扩张，基于单摄像机以及车辆特征的车辆跟踪技术已经满足不了业务需求。而基于经济、资源利用和维护管理等方面考虑，且由于目前高速公路只有车牌识别摄像机能拍摄到车辆唯一特征——车牌，将该摄像机视域覆盖所有监控区域是不现实的，因而当前车辆跟踪系统准确率较低。针对以上问题，将车牌识别摄像机拍到的车牌信息与其他摄像机所获取的车辆特征信息进行融合，设计了车牌与车辆特征信息融合的车辆轨迹跟踪系统，实现了广域视频监控环境下的目标跟踪，只需要输入车牌即可显示目标车辆轨迹。
因此，本发明人对此做进一步研究，研发出一种车牌信息与车辆特征融合的车辆轨迹跟踪方法，本案由此产生。
发明内容
为了实现上述目的，本发明的技术方案如下：
一种车牌信息与车辆特征融合的车辆轨迹跟踪方法，包括如下步骤：
首先在高速公路高清卡口处对车牌信息和车辆信息进行提取，存入数据库中进行关联；
接着在全路段对车辆各个方面的特征进行提取，包括车辆的固有特征和运动特征；
途中经过下一个车牌识别摄像机再次对车牌信息和车辆信息进行提取，并使用PSO算法与之前获取的信息进行优化；
其次建立车辆在多摄像机间运动的时间和空间的约束；
最后对摄像机观察到的所有车辆，使用车辆关联算法进行关联，在它们之中找到属于相同车辆的目标，从而实现通过输入车牌号进行多个摄像机间的车辆轨迹跟踪。
只需要输入车牌号，即可调用由高清卡口处获取到的车牌信息为唯一特征值进行全路段的车辆轨迹跟踪。
进一步，PSO算法中，粒子每更新一次位置，就计算一次适应度值，并且通过比较新粒子的适应度值和个体极值、群体极值的适应度值来更新个体极值和群体极值位置，假设在一个D维的搜索空间中，由n个粒子组成的种群X＝(X1,X2,…,Xn),其中第i个粒子表示为一个D维的向量Xi＝(xi1,xi2,…,xiD)T,代表第i个粒子在D维的搜索空间中的位置，亦代表问题的一个潜在解，根据目标函数即可计算出每个粒子位置；
Xi对应的适应度值，第i个粒子的速度为Vi＝(Vi1,Vi2,…,ViD)T,其个体极值为Pi＝(Pi1,Pi2,…,PiD)T，种群的全局极值为Pg＝(Pg1,Pg2,…,PgD)T；
在每一次迭代过程中，粒子通过个体极值和全局极值更新自身的速度和位置，更新公式如下：
式中，ω为惯性权重；d＝1,2，…，D；i＝1，2，…，n；k为当前迭代次数；Vid为粒子的速度；c1和c2为非负的常数，称为加速度因子；r1和r2为分布于[0,1]之间的随机数；为防止粒子的盲目搜索，本系统将其位置和速度限制在[-Xmax,Xmax]、[-Vmax,Vmax]；
惯性权重ω体现的是粒子当前速度多大程度上继承先前的速度，为了更好的平衡算法的全局搜索与局部搜索能力，本系统通过实验选用惯性权重，采用线性递减惯性权重LDIW，即
ω(k)＝ωstart-(ωstart-ωend)*k/Tmax(3)
式中，ωstart为惯性权重；ωend为迭代至最大次数时的惯性权重；k为当前迭代代数；Tmax为最大迭代代数。
PSO算法即粒子群优化算法，上述的粒子即等同于车辆。
进一步，为了对目标的各种关联特征进行合理融合，定义一个相似度度量函数，相似度度量函数将可以数值化的关联特征结合起来，并对每一个关联特征指定权值，由此来描述目标之间的相似程度从而确定目标之间的关联性；对于在任意摄像机中观察到的两个目标1和2，它们之间关联性由相似度函数Y(Xi,1,Xj,2)度量，相似度函数的定义如公式所示：
Y(Xi,1,Xj,2)＝ωtT(ti,1,tj,2)ωtH(hi,1,hj,2)ωtE(ei,1,ej,2)ωtB(bi,1,bj,2) (4)，
权值ω来控制该特征的重要程度，基于摄像机捕获目标的特征值并非每次都一样，因而权值ω的大小取决于该特征的准确度；两个目标车辆的时间关联特征的对比值为T(ti,1，tj,2)，地点关联特征的对比值为H(hi,1，hj,2)、大小关联特征的对比值为E(ei,1，ej,2)、外观模型关联特征的对比值为B(bi,1，bj,2)。
进一步，把车辆关联求解建模为求MAP的问题，其具体实现如下：
1)假设间隔性高速公路摄像机网络包含h个摄像机，把它们分别记为C1,C2,…,Ch；
2)在一段时间里，摄像机Ci捕捉到mi个目标，将这些目标记为Oi＝{Oi,1,Oi,2,…,Oi,r}；
3)对捕获到的每个车辆Oi,a进行关联特征提取获，得到目标的表现特征Oi,a(T)；
4)对摄像机网络拓扑进行估计，得到目标的空间特征Oi,a(K)。
5)把车辆关联问题转换为一个寻找关联集合
的问题，令
表示一次关联，表示(Oi,1,Oj,2)为同一辆车，并且目标1先与目标2出现；
其需要满足的条件如下：
Oi,1和Oj,2是同一辆车且
每个目标至多拥有一个前继和后继目标，即对所有的
有
假设
为车辆关联算法得到的一个解，假定每次关联都是独立的，则有：
其中
是捕获目标Oi,a和Oj,b后，关联
发生的概率。根据贝叶斯理论有：
引入车辆的外观特征Oi,a(T)和车辆的空间特征Oi,a(K)，可得到：
这样，多摄像机间的目标关联问题就被建模为在解空间Δ内寻找最大的后验概率M*：
先验概率
定义为目标从摄像机Ci到Cj的概率,用p(Ci,Cj)表示，若假定目标的出现是均匀分布的，则全概率pi,j(Oi,a,Oj,b)为一个不变的尺度参数。
由于高速公路的封闭性和单向性，采用贝叶斯定理可以极大的提高目标车辆的关联准确性。
进一步，车辆的固有特征包括车辆的颜色、形状、大小、挡风玻璃处的年检标志，以及车辆的品牌和型号；车辆的运动特征包括车辆的出现时间与位置、目标的消失时间与位置、目标的运动方向、目标的运动轨迹，其中，通过对车辆的头部信息进行提取建模，使用SURF算法将目标车辆的头部信息同数据库中的标准车型信息进行对比，从而获得车辆的品牌型号信息。
尽可能的提取目标车辆更多的信息，以及来区别高速路上同类型号的车辆。
进一步，对能构成车辆关联的特征进行提取，首先将车辆的两个图片中所包含的相关性特征进行分析，获得两个目标的相似度值；相似度值计算主要通过计算两个目标向量的余弦相似度来判别两个车辆图片的相似关系；本系统算法提取的关联特征为：HOG算子、LBP算子，使用HOG算子训练捕获目标边缘和形状信息，针对HOG算子在不同图像的不同区域的可能会产生类型的梯度直方图，使用LBP算子作为互补，最后使用SURF算法来计算车辆的特征相似度值。
进一步，HOG算子首先将摄像机监控画面的图像分割成小的连接区域，每个区域内生成各像素点的梯度或边缘的方向直方图，再采用了重叠的局部对比归一化技术把每个区域的局部直方图放在更大的区间范围内计算其密度，根据这个密度对更大区域范围中的其他区域进行归一化，使得HOG算子对光照变化和阴影拥有更好的鲁棒性，最后将直方图统计组合，即可构成了车辆的HOG特征描述算子。
进一步，LBP算子用来描述图像局部纹理特征，将车辆图片切割为多个3*3像素的窗口，计算每个窗口LBP的值，窗口中心点的像素是阈值，将周围8个像素点的灰度值与阈值做比较，如果小于阈值则将该点标记为0，否则记1，将这些标记值生成一个8位的二进制无符号数，该值就是这个窗口的LBP值，被用来描述该窗口区域的纹理特征。
采用上述方案后，本发明与现有技术相比，具有以下优点：
基于贝叶斯的车辆关联算法将车辆关联起来后，既可根据传统的单摄像机车辆轨迹跟踪结合高速公路摄像机网络拓扑进行融合，形成在多摄像机内的轨迹跟踪，只需要输入车牌号，即可调用由高清卡口处获取到的车牌信息为唯一特征值进行全路段的车辆轨迹跟踪。
附图说明
图1是车辆轨迹跟踪系统；
图2是车辆关联特征图；
图3是全路段摄像机网络拓扑图；
图4是关联数据自适应优化框架图；
图5是整体流程图
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
在实际应用中，高速公路的监控摄像机网络是无法捕获到车牌信息。加之摄像机的角度以及光线情况存在的差异，这都给传统的车辆轨迹跟踪的研究带来了巨大的难度。
因此本车辆轨迹跟踪主要需要解决五个方面的问题：
1.车牌信息与车辆信息关联；
2.信息更新优化；
3.目标匹配；
4.摄像机网络拓扑；
5.数据关联。
本车辆轨迹跟踪系统需要进行两次信息融合：
1.通过将高清卡口处拍摄的车牌信息与全路段拍摄的车辆特征信息进行融合，将车牌与车辆进行关联。并使用PSO算法将每个高清卡口获取的信息进行优化。从而实现通过输入车牌号对车辆在多个摄像机网络环境中进行准确有效的持续轨迹跟踪。
2.基于单个摄像机视频处理技术得到的车辆检测与跟踪结果，再对车辆的关联特征进行提取，再结合高速公路摄像机网络拓扑，使用高速公路的单向性来进行数据融合，把监控视频预处理后的车辆信息与高速公路摄像机网络拓扑信息进行融合，从而实现在多个摄像机之间的车辆轨迹跟踪。
系统组成
本车辆轨迹跟踪系统由以下三个部分组成，见图1：
1.数据存储层，存放原始视频数据、视频中提取出的车辆信息、视频中提取出的车牌信息、摄像机网络拓扑信息和用于车型匹配的数据库；
2.数据分析层，进行车牌识别、车辆检测、车辆关联特征提取、车牌与车辆特征信息融合、车型匹配和车辆关联的任务；
3.数据展现层，对摄像机监控画面、监控画面分析出的车辆信息和车辆的轨迹跟踪进行展示。
本车辆轨迹跟踪系统主要完成高速公路多个摄像机之间的目标关联。多个摄像机目标关联：
1.首先在高速公路高清卡口处对车牌信息和车辆信息进行提取，存入数据库中进行关联；
2.接着在全路段对车辆各个方面的特征进行提取，包括车辆的固有特征和运动特征；
3.途中经过下一个车牌识别摄像机再次对车牌信息和车辆信息进行提取，并使用算法与之前获取的信息进行优化；
4.其次建立车辆在多摄像机间运动的时间和空间的约束；
5.最后对摄像机观察到的所有车辆，使用车辆关联算法进行关联，在它们之中找到属于相同车辆的目标，从而实现通过输入车牌号进行多个摄像机间的车辆轨迹跟踪。
算法选用
基于单个摄像机视频处理技术即能获得车辆的基本信息，例如车辆颜色、车辆尺寸，车辆行进方向、车辆运动轨迹，但是由于对于其他摄像机而言这些信息都是独立的。本系统算法将处理目标图片，对能构成车辆关联的特征进行提取。首先将车辆的两个图片中所包含的相关性特征进行分析，就能获得两个目标的相似度值。相似度值计算主要通过计算两个目标向量的余弦相似度来判别两个车辆图片的相似关系。本系统算法提取的关联特征为：HOG算子、LBP算子。使用HOG算子训练捕获目标边缘和形状信息，针对HOG算子在不同图像的不同区域的可能会产生类型的梯度直方图，使用LBP算子作为互补。由于只在高速公路入口卡口处获取车牌识别信息，一旦出现小概率的误识别则会使得跟踪系统出错，因而利用龙门架处的车牌识别信息结合PSO算法进行优化信息融合，有助于车辆在行驶过程中发生特征改变情况下的自主学习识别。最后使用了SURF算法来计算车辆的特征相似度值。
1.车牌信息与车辆信息关联
在高清卡口处具备车牌识别与车辆特征信息提取，完成车辆识别和车牌识别，将这些信息连同监控点、监控时间等信息传入数据库。即可对车牌信息和车辆信息进行关联，在进入高速公路后，即进行全路段的车辆信息提取，无法对车牌信息进行提取，因此通过信息关联融合后即可以在获取车辆信息后关联出数据库中的车牌号，也可以通过输入车牌号来跟踪车辆。在途中的车牌识别摄像机处则具备车牌识别与车辆特征信息提取，此时提取到的信息也将连同监控点、监控时间等信息传入数据库。并结合PSO算法进行优化信息融合，有助于车辆在行驶过程中发生特征改变情况下的自主学习识别。
2.信息更新优化
因为在高速公路中对车牌信息和车辆信息同时提取的次数有限，且车辆在远距离行驶过程中可能会发生一些车辆信息的改变，因而本系统需要对车牌信息和车辆信息关联融合后的数据进行更新优化，有助于车辆在行驶过程中发生特征改变情况下的自主学习识别。
PSO算法，粒子每更新一次位置，就计算一次适应度值，并且通过比较新粒子的适应度值和个体极值、群体极值的适应度值来更新个体极值和群体极值位置。假设在一个D维的搜索空间中，由n个粒子组成的种群X＝(X1,X2,…,Xn),其中第i个粒子表示为一个D维的向量Xi＝(xi1,xi2,…,xiD)T,代表第i个粒子在D维的搜索空间中的位置，亦代表问题的一个潜在解。根据目标函数即可计算出每个粒子位置。
Xi对应的适应度值。第i个粒子的速度为Vi＝(Vi1,Vi2,…,ViD)T,其个体极值为Pi＝(Pi1,Pi2,…,PiD)T，种群的全局极值为Pg＝(Pg1,Pg2,…,PgD)T。
在每一次迭代过程中，粒子通过个体极值和全局极值更新自身的速度和位置，更新公式如下：
式中，ω为惯性权重；d＝1,2，…，D；i＝1，2，…，n；k为当前迭代次数；Vid为粒子的速度；c1和c2为非负的常数，称为加速度因子；r1和r2为分布于[0,1]之间的随机数。为防止粒子的盲目搜索，本系统将其位置和速度限制在[-Xmax,Xmax]、[-Vmax,Vmax]。
惯性权重ω体现的是粒子当前速度多大程度上继承先前的速度，为了更好的平衡算法的全局搜索与局部搜索能力，本系统通过实验选用惯性权重，采用线性递减惯性权重LDIW，即
ω(k)＝ωstart-(ωstart-ωend)*k/Tmax(3)
式中，ωstart为惯性权重；ωend为迭代至最大次数时的惯性权重；k为当前迭代代数；Tmax为最大迭代代数。
3.车辆信息提取
本系统将车辆的关联特征划分为两类：
1.直接信息；
2.特征向量信息。
所有的关联特征都会被用来判断两个目标的相似程度，同时语义信息会额外作为目标的选择或筛选条件。本系统使用的目标关联特征：为了对目标的各种关联特征进行合理融合，本文提出一个相似度度量函数的概念。相似度度量函数将可以数值化的关联特征结合起来，并对每一个关联特征指定权值，由此来描述目标之间的相似程度从而确定目标之间的关联性。对于在任意摄像机中观察到的两个目标1和2，它们之间关联性由相似度函数Y(Xi,1,Xj,2)度量，相似度函数的定义如公式1所示：
Y(Xi,1,Xj,2)＝ωtT(ti,1,tj,2)ωtH(hi,1,hj,2)ωtE(ei,1,ej,2)ωtB(bi,1,bj,2) (4)
权值ω来控制该特征的重要程度，基于摄像机捕获目标的特征值并非每次都一样，因而权值ω的大小取决于该特征的准确度。两个目标车辆的时间关联特征的对比值为T(ti,1，tj,2)，地点关联特征的对比值为H(hi,1，hj,2)、大小关联特征的对比值为E(ei,1，ej,2)、外观模型关联特征的对比值为B(bi,1，bj,2)。
3.1直接信息提取
直接信息又可分为两类：
1.车辆的外部信息，包括：车辆的颜色、形状、大小、挡风玻璃处的年检标志等特征，目标的出现时间与位置、目标的消失时间与位置、目标的运动方向、目标的运动轨迹等。目标的此类运动特征信息是基于单摄像机视频检测与跟踪技术获得的。为了得到上述运动信息，系统使用了运动目标跟踪算法来跟踪运动目标。其中通过对目标车辆在单摄像机视域内的运动轨迹进行持续跟踪纪录，可以获得目标的运动方向与具体轨迹。
2.车辆的内部信息，指的是车辆的品牌和型号，系统通过对车辆的头部信息进行提取建模，使用SURF算法将目标车辆的头部信息同数据库中的标准车型信息进行对比，从而获得车辆的品牌型号信息。
本系统使用高斯滤波和卡尔曼滤波。高斯滤波广泛应用于图像处理的减噪过程，使用高斯滤波后车辆图像被平滑的程度取决于标准差。它的输出是领域像素的加权平均，同时离中心越近的像素权重越高。它的平滑效果更柔和，而且边缘保留的也更好。卡尔曼滤波是根据车辆前一帧位置状态，预测其在当前帧所处的位置范围，并将该范围内的车辆与目标车辆进行匹配，从而得到车辆在当前帧所处的真实位置，同时用该位置对模型参数进行更新。通过对此过程的迭代，实现多车辆的轨迹跟踪。
在对目标车辆进行品牌和型号匹配的过程中，本系统首先针对车标和车灯边缘特征进行匹配。将提取出的目标车辆的车标与车灯边缘特征与特征库中的所有基准样本分别对比，本系统将选取一个对比结果远大于其他的对比值，则将此目标车辆认定为该匹配结果最大值对应的车辆类型。如果并无远大于的情况，本系统将再次进行对比，选取对比结果值最大的车辆类型，再认定为最有匹配结果。
3.2特征值信息提取
本系统中使用到用于标识目标的特征向量有：SURF算法、HOG算子、LBP算子。本系统将LBP算子和HOG算子融合起来使用，可以很好地对车辆特征进行标识。
1.SURF算法用于对比两个目标车辆之间相似程度；
2.HOG算子首先将摄像机监控画面的图像分割成小的连接区域。每个区域内生成各像素点的梯度或边缘的方向直方图，再采用了重叠的局部对比归一化技术把每个区域的局部直方图放在更大的区间范围内计算其密度，根据这个密度对更大区域范围中的其他区域进行归一化，使得HOG算子对光照变化和阴影拥有更好的鲁棒性。最后将直方图统计组合，即可构成了车辆的HOG特征描述算子。
3.LBP算子用来描述图像局部纹理特征，将车辆图片切割为多个3*3像素的窗口，计算每个窗口LBP的值。窗口中心点的像素是阈值，将周围8个像素点的灰度值与阈值做比较，如果小于阈值则将该点标记为0，否则记1。将这些标记值生成一个8位的二进制无符号数，该值就是这个窗口的LBP值，被用来描述该窗口区域的纹理特征。
4.建立摄像机网络空间拓扑
本系统根据高速公路的单向性以及摄像机的安装位置和道路连通关构建空间拓扑关系，安装位置则依据实际道路图纸对应。由于高速公路摄像机视域是相对固定的且是全路段覆盖的，根据检测到的车辆出现与离开的位置信息，将它们看作不同的节点。对任意一对结点(wi,zj)，wi∈Cm，zj∈Cn，i≠j，Cm≠Cn，用变量Vi,j＝{0,1}表示摄像机间的物理连通关系，其中0表示这两个摄像机间物理上直接不可达，而1表示这两个摄像机间物理上是可以直达的。在真实的应用场景中，路况信息会对目标穿越相邻摄像机所用时间造成一定影响，由于高速公路的封闭性与单向性则无需考虑这些信息的干扰。
5.车辆关联算法
车辆关联算法是要把车辆关联特征和摄像机网络拓扑信息这两种信息进行融合以提高车辆关联的准确度。
传统的摄像机车辆关联算法最佳的选择是基于最大流原理和最短路的Floyd算法。但是其在算力上远不如基于贝叶斯框架的车辆关联算法，虽然贝叶斯框架的车辆关联算法无法考虑到目标被替换的问题。目标替换指的是从前一个摄像机视域中离开的目标被新出现的目标代替进入下一个摄像机视域中。但是由于高速公路的封闭性和单向性恰恰完美解决了这个缺陷。贝叶斯框架的车辆关联算法是计算目标在指定条件下出现的最大后验估计(MAP)，从而实现目标关联，将关联特征和网络拓扑信息进行融合。
5.1基于贝叶斯的车辆关联算法
系统要实现的功能就是在多摄像机捕获到的所有目标之中寻找，找到属于同一个车辆的目标，并将它们彼此关联起来。把车辆关联求解建模为求MAP的问题，其具体实现如下：
1.假设高速公路摄像机网络包含h个摄像机，把它们分别记为C1,C2,…,Ch；
2.在一段时间里，摄像机Ci捕捉到mi个目标，将这些目标记为Oi＝{Oi,1,Oi,2,…,Oi,r}；
3.对捕获到的每个车辆Oi,a进行关联特征提取获，得到目标的表现特征Oi,a(T)；
4.对摄像机网络拓扑进行估计，得到目标的空间特征Oi,a(K)。
5.把车辆关联问题转换为一个寻找关联集合
的问题，令
表示一次关联，表示(Oi,1,Oj,2)为同一辆车，并且目标1先与目标2出现。其需要满足的条件如下：
1)Oi,1和Oj,2是同一辆车且
2)每个目标至多拥有一个前继和后继目标，即对所有的
有
假设
为车辆关联算法得到的一个解，假定每次关联都是独立的，则有：
其中
是捕获目标Oi,a和Oj,b后，关联
发生的概率。根据贝叶斯理论有：
引入车辆的外观特征Oi,a(T)和车辆的空间特征Oi,a(K)，可得到：
这样，多摄像机间的目标关联问题就被建模为在解空间Δ内寻找最大的后验概率M*：
先验概率
定义为目标从摄像机Ci到Cj的概率,用p(Ci,Cj)表示。若假定目标的出现是均匀分布的，则全概率pi,j(Oi,a,Oj,b)为一个不变的尺度参数。
6.车辆轨迹跟踪
本系统基于贝叶斯的车辆关联算法将车辆关联起来后，既可根据传统的单摄像机车辆轨迹跟踪结合高速公路摄像机网络拓扑进行融合，形成在多摄像机内的轨迹跟踪。只需要输入车牌号，即可调用由高清卡口处获取到的车牌信息为唯一特征值进行全路段的车辆轨迹跟踪。
上述仅为本发明的具体实施例，同时凡本发明中所涉及的如“上、下、左、右、中间”等词，仅作参考用，并非绝对限定，凡利用本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。
Claims (8)
1.一种车牌信息与车辆特征融合的车辆轨迹跟踪方法，包括如下步骤：
首先在高速公路高清卡口处对车牌信息和车辆信息进行提取，存入数据库中进行关联；接着在全路段对车辆各个方面的特征进行提取，包括车辆的固有特征和运动特征；途中经过下一个车牌识别摄像机再次对车牌信息和车辆信息进行提取，并使用PSO算法与之前获取的信息进行优化；其次建立车辆在多摄像机间运动的时间和空间的约束；最后对摄像机观察到的所有车辆，使用车辆关联算法进行关联，在它们之中找到属于相同车辆的目标，从而实现通过输入车牌号进行多个摄像机间的车辆轨迹跟踪。
2.根据权利要求1所述的一种车牌信息与车辆特征融合的车辆轨迹跟踪方法，其特征在于：PSO算法中，粒子每更新一次位置，就计算一次适应度值，并且通过比较新粒子的适应度值和个体极值、群体极值的适应度值来更新个体极值和群体极值位置，假设在一个D维的搜索空间中，由n个粒子组成的种群X＝(X1,X2,…,Xn),其中第i个粒子表示为一个D维的向量Xi＝(xi1,xi2,…,xiD)T,代表第i个粒子在D维的搜索空间中的位置，亦代表问题的一个潜在解，根据目标函数即可计算出每个粒子位置；
Xi对应的适应度值，第i个粒子的速度为Vi＝(Vi1,Vi2,…,ViD)T,其个体极值为Pi＝(Pi1,Pi2,…,PiD)T，种群的全局极值为g＝(Pg1,Pg2,…,PgD)T；
在每一次迭代过程中，粒子通过个体极值和全局极值更新自身的速度和位置，更新公式如下：
式中，ω为惯性权重；d＝1,2，…，D；i＝1，2，…，n；k为当前迭代次数；Vid为粒子的速度；c1和c2为非负的常数，称为加速度因子；r1和r2为分布于[0,1]之间的随机数；为防止粒子的盲目搜索，本系统将其位置和速度限制在[-Xmax,Xmax]、[-Vmax,Vmax]；
惯性权重ω体现的是粒子当前速度多大程度上继承先前的速度，为了更好的平衡算法的全局搜索与局部搜索能力，本系统通过实验选用惯性权重，采用线性递减惯性权重LDIW，即
ω(k)＝ωstart-(ωstart-ωend)*k/Tmax (3)
式中，ωstart为惯性权重；ωend为迭代至最大次数时的惯性权重；k为当前迭代代数；Tmax为最大迭代代数。
3.根据权利要求1所述的一种车牌信息与车辆特征融合的车辆轨迹跟踪方法，其特征在于：为了对目标的各种关联特征进行合理融合，定义一个相似度度量函数，相似度度量函数将可以数值化的关联特征结合起来，并对每一个关联特征指定权值，由此来描述目标之间的相似程度从而确定目标之间的关联性；对于在任意摄像机中观察到的两个目标1和2，它们之间关联性由相似度函数Y(Xi,1,Xj,2)度量，相似度函数的定义如公式所示：
Y(Xi,1,Xj,2)＝ωtT(ti,1,tj,2)ωtH(hi,1,hj,2)ωtE(ei,1,ej,2)ωtB(bi,1,bj,2) (4)，
权值ω来控制该特征的重要程度，基于摄像机捕获目标的特征值并非每次都一样，因而权值ω的大小取决于该特征的准确度；两个目标车辆的时间关联特征的对比值为T(ti,1，tj,2)，地点关联特征的对比值为H(hi,1，hj,2)、大小关联特征的对比值为E(ei,1，ej,2)、外观模型关联特征的对比值为B(bi,1，bj,2)。
4.根据权利要求1所述的一种车牌信息与车辆特征融合的车辆轨迹跟踪方法，其特征在于：把车辆关联求解建模为求MAP的问题，其具体实现如下：
1)假设间隔性高速公路摄像机网络包含h个摄像机，把它们分别记为C1,C2,…,Ch；
2)在一段时间里，摄像机Ci捕捉到mi个目标，将这些目标记为Oi＝{Oi,1,Oi,2,…,Oi,r}；
3)对捕获到的每个车辆Oi,a进行关联特征提取获，得到目标的表现特征Oi,a(T)；
4)对摄像机网络拓扑进行估计，得到目标的空间特征Oi,a(K)。
5)把车辆关联问题转换为一个寻找关联集合
的问题，令
表示一次关联，表示(Oi,1,Oj,2)为同一辆车，并且目标1先与目标2出现；
其需要满足的条件如下：
Oi,1和Oj,2是同一辆车且
每个目标至多拥有一个前继和后继目标，即对所有的
有
假设
为车辆关联算法得到的一个解，假定每次关联都是独立的，则有：
其中
是捕获目标Oi,a和Oj,b后，关联
发生的概率；根据贝叶斯理论有：
引入车辆的外观特征Oi,a(T)和车辆的空间特征Oi,a(K)，可得到：
这样，多摄像机间的目标关联问题就被建模为在解空间Δ内寻找最大的后验概率M*：
先验概率
定义为目标从摄像机Ci到Cj的概率,用p(Ci,Cj)表示，若假定目标的出现是均匀分布的，则全概率pi,j(Oi,a,Oj,b)为一个不变的尺度参数。
5.根据权利要求1所述的一种车牌信息与车辆特征融合的车辆轨迹跟踪方法，其特征在于：车辆的固有特征包括车辆的颜色、形状、大小、挡风玻璃处的年检标志，以及车辆的品牌和型号；车辆的运动特征包括车辆的出现时间与位置、目标的消失时间与位置、目标的运动方向、目标的运动轨迹，其中，通过对车辆的头部信息进行提取建模，使用SURF算法将目标车辆的头部信息同数据库中的标准车型信息进行对比，从而获得车辆的品牌型号信息。
6.根据权利要求1所述的一种车牌信息与车辆特征融合的车辆轨迹跟踪方法，其特征在于：对能构成车辆关联的特征进行提取，首先将车辆的两个图片中所包含的相关性特征进行分析，获得两个目标的相似度值；相似度值计算主要通过计算两个目标向量的余弦相似度来判别两个车辆图片的相似关系；本系统算法提取的关联特征为：HOG算子、LBP算子，使用HOG算子训练捕获目标边缘和形状信息，针对HOG算子在不同图像的不同区域的可能会产生类型的梯度直方图，使用LBP算子作为互补，最后使用SURF算法来计算车辆的特征相似度值。
7.根据权利要求1所述的一种车牌信息与车辆特征融合的车辆轨迹跟踪方法，其特征在于：HOG算子首先将摄像机监控画面的图像分割成小的连接区域，每个区域内生成各像素点的梯度或边缘的方向直方图，再采用了重叠的局部对比归一化技术把每个区域的局部直方图放在更大的区间范围内计算其密度，根据这个密度对更大区域范围中的其他区域进行归一化，使得HOG算子对光照变化和阴影拥有更好的鲁棒性，最后将直方图统计组合，即可构成了车辆的HOG特征描述算子。
8.根据权利要求1所述的一种车牌信息与车辆特征融合的车辆轨迹跟踪方法，其特征在于：LBP算子用来描述图像局部纹理特征，将车辆图片切割为多个3*3像素的窗口，计算每个窗口LBP的值，窗口中心点的像素是阈值，将周围8个像素点的灰度值与阈值做比较，如果小于阈值则将该点标记为0，否则记1，将这些标记值生成一个8位的二进制无符号数，该值就是这个窗口的LBP值，被用来描述该窗口区域的纹理特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010484037.1A CN111666860A (zh) | 2020-06-01 | 2020-06-01 | 一种车牌信息与车辆特征融合的车辆轨迹跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010484037.1A CN111666860A (zh) | 2020-06-01 | 2020-06-01 | 一种车牌信息与车辆特征融合的车辆轨迹跟踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111666860A true CN111666860A (zh) | 2020-09-15 |
Family
ID=72385416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010484037.1A Pending CN111666860A (zh) | 2020-06-01 | 2020-06-01 | 一种车牌信息与车辆特征融合的车辆轨迹跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111666860A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112597830A (zh) * | 2020-12-11 | 2021-04-02 | 国汽(北京)智能网联汽车研究院有限公司 | 一种车辆追踪的方法、装置、设备及计算机存储介质 |
| CN113516054A (zh) * | 2021-06-03 | 2021-10-19 | 三峡大学 | 一种载木车辆检测识别及跟踪方法 |
| CN113870551A (zh) * | 2021-08-16 | 2021-12-31 | 清华大学 | 一种能够鉴别危险和非危险驾驶行为的路侧监控系统 |
| CN115600866A (zh) * | 2022-10-18 | 2023-01-13 | 南京莱斯信息技术股份有限公司（Cn） | 一种针对特定车辆拦截的警员调度方法及终端 |
| CN116866534A (zh) * | 2023-09-05 | 2023-10-10 | 南京隆精微电子技术有限公司 | 用于数字视频监控系统的处理方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722704A (zh) * | 2012-06-12 | 2012-10-10 | 厦门宸天电子科技有限公司 | 一种融合视频动态跟踪的车牌识别方法和系统 |
| CN103419750A (zh) * | 2012-05-15 | 2013-12-04 | 财团法人工业技术研究院 | 整合多摄影机影像的车辆追踪方法及系统 |
| CN106778648A (zh) * | 2016-12-26 | 2017-05-31 | 江苏盛世华安智能科技股份有限公司 | 车辆轨迹跟踪及车牌识别系统和识别方法 |
| CN110135470A (zh) * | 2019-04-24 | 2019-08-16 | 电子科技大学 | 一种基于多模态车辆特征识别的车辆特征融合系统 |
| CN110288634A (zh) * | 2019-06-05 | 2019-09-27 | 成都启泰智联信息科技有限公司 | 一种基于改进粒子群优化算法的目标跟踪方法 |
-
2020
- 2020-06-01 CN CN202010484037.1A patent/CN111666860A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103419750A (zh) * | 2012-05-15 | 2013-12-04 | 财团法人工业技术研究院 | 整合多摄影机影像的车辆追踪方法及系统 |
| CN102722704A (zh) * | 2012-06-12 | 2012-10-10 | 厦门宸天电子科技有限公司 | 一种融合视频动态跟踪的车牌识别方法和系统 |
| CN106778648A (zh) * | 2016-12-26 | 2017-05-31 | 江苏盛世华安智能科技股份有限公司 | 车辆轨迹跟踪及车牌识别系统和识别方法 |
| CN110135470A (zh) * | 2019-04-24 | 2019-08-16 | 电子科技大学 | 一种基于多模态车辆特征识别的车辆特征融合系统 |
| CN110288634A (zh) * | 2019-06-05 | 2019-09-27 | 成都启泰智联信息科技有限公司 | 一种基于改进粒子群优化算法的目标跟踪方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王继骥: "基于高清卡口的高速公路隧道行车安全管理系统" * |
| 肖畅: "非重叠域多摄像机网络车辆跟踪研究" * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112597830A (zh) * | 2020-12-11 | 2021-04-02 | 国汽(北京)智能网联汽车研究院有限公司 | 一种车辆追踪的方法、装置、设备及计算机存储介质 |
| CN113516054A (zh) * | 2021-06-03 | 2021-10-19 | 三峡大学 | 一种载木车辆检测识别及跟踪方法 |
| CN113870551A (zh) * | 2021-08-16 | 2021-12-31 | 清华大学 | 一种能够鉴别危险和非危险驾驶行为的路侧监控系统 |
| CN115600866A (zh) * | 2022-10-18 | 2023-01-13 | 南京莱斯信息技术股份有限公司（Cn） | 一种针对特定车辆拦截的警员调度方法及终端 |
| CN116866534A (zh) * | 2023-09-05 | 2023-10-10 | 南京隆精微电子技术有限公司 | 用于数字视频监控系统的处理方法及装置 |
| CN116866534B (zh) * | 2023-09-05 | 2023-11-28 | 南京隆精微电子技术有限公司 | 用于数字视频监控系统的处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111488795B (zh) | 应用于无人驾驶车辆的实时行人跟踪方法 | |
| Li et al. | Line-cnn: End-to-end traffic line detection with line proposal unit | |
| Wang et al. | Traffic light recognition with high dynamic range imaging and deep learning | |
| CN103914702B (zh) | 用于提高视频中的对象检测性能的系统和方法 | |
| CN111666860A (zh) | 一种车牌信息与车辆特征融合的车辆轨迹跟踪方法 | |
| Azevedo et al. | Automatic vehicle trajectory extraction by aerial remote sensing | |
| US9323991B2 (en) | Method and system for video-based vehicle tracking adaptable to traffic conditions | |
| US8983133B2 (en) | Multi-view object detection using appearance model transfer from similar scenes | |
| US20150063628A1 (en) | Robust and computationally efficient video-based object tracking in regularized motion environments | |
| EP2131328A2 (en) | Method for automatic detection and tracking of multiple objects | |
| CN111932583A (zh) | 一种基于复杂背景下的时空信息一体化智能跟踪方法 | |
| Ji et al. | RGB-D SLAM using vanishing point and door plate information in corridor environment | |
| Rezaei et al. | Traffic-Net: 3D traffic monitoring using a single camera | |
| Ali et al. | Vehicle detection and tracking in UAV imagery via YOLOv3 and Kalman filter | |
| Yabo et al. | Vehicle classification and speed estimation using computer vision techniques | |
| Hellert et al. | Using algorithm selection for adaptive vehicle perception aboard UAV | |
| CN114820765A (zh) | 图像识别方法、装置、电子设备及计算机可读存储介质 | |
| Kim et al. | Semantic point cloud-based adaptive multiple object detection and tracking for autonomous vehicles | |
| Bourja et al. | Real time vehicle detection, tracking, and inter-vehicle distance estimation based on stereovision and deep learning using YOLOv3 | |
| Wicaksono | Multi vehicle speed detection using euclidean distance based on video processing | |
| Börcs et al. | Dynamic 3D environment perception and reconstruction using a mobile rotating multi-beam Lidar scanner | |
| CN111667507A (zh) | 一种高速公路车辆轨迹跟踪方法 | |
| Zhang et al. | Vehicle detection and tracking in remote sensing satellite vidio based on dynamic association | |
| Annapareddy et al. | A robust pedestrian and cyclist detection method using thermal images | |
| Choe et al. | Globally optimal target tracking in real time using max-flow network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200915 |