CN110033477B - 一种适用于遮挡场景的道路车辆lbp特征相关滤波跟踪方法 - Google Patents

一种适用于遮挡场景的道路车辆lbp特征相关滤波跟踪方法 Download PDF

Info

Publication number
CN110033477B
CN110033477B CN201910273269.XA CN201910273269A CN110033477B CN 110033477 B CN110033477 B CN 110033477B CN 201910273269 A CN201910273269 A CN 201910273269A CN 110033477 B CN110033477 B CN 110033477B
Authority
CN
China
Prior art keywords
calculating
vehicle
tracking
lbp
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910273269.XA
Other languages
English (en)
Other versions
CN110033477A (zh
Inventor
章世祥
陆永泉
闫志刚
王晨
丁军华
蒋龙泉
张贵忠
成礼平
汪永兰
李波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Design Group Co Ltd
Original Assignee
China Design Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Design Group Co Ltd filed Critical China Design Group Co Ltd
Priority to CN201910273269.XA priority Critical patent/CN110033477B/zh
Publication of CN110033477A publication Critical patent/CN110033477A/zh
Application granted granted Critical
Publication of CN110033477B publication Critical patent/CN110033477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种适用于遮挡场景的道路车辆LBP特征相关滤波跟踪方法，包括以下步骤：通过视频拍摄采集路面车辆行驶视频数据；使用颜色空间变换，将RGB空间转化为HSV空间；利用LBP算法提取特征；得到训练样本；利用最小二乘法计算训练样本的回归值；计算核矩阵；计算相关滤波器与其限制变量；设计合适的尺度池，使得尺度与追踪目标车辆匹配，并计算响应值；对每一帧所得到的跟踪车辆的中心位置进行连线，画出视频中跟踪车辆的轨迹。本发明在相关滤波器学习上强制执行弹性网络约束，稀疏性可以通过对相关滤波器的相应条目进行零化来自适应地忽略干扰特征，如遮挡和杂乱背景，提高了相关滤波的鲁棒性。

Description

一种适用于遮挡场景的道路车辆LBP特征相关滤波跟踪方法
技术领域
本发明属于视觉跟踪技术领域，具体涉及一种适用于遮挡场景的道路车辆LBP特征相关滤波跟踪方法。
背景技术
视觉跟踪在信号处理和计算机视觉中起着重要的作用，其具有多种应用，例如视频处理、运动分析和无人机控制系统。视觉跟踪一般分为单目标跟踪和多目标跟踪。它们与不同的应用场所以及研究方法有关。近年来，视觉跟踪技术发展迅速，视觉跟踪器的性能在精确度、鲁棒性和运行速度方面得到了显著的提高。然而，一些因素，如严重闭塞、非刚性变形、照明变化、比例变化、背景杂波和平面内/平面外旋转，仍然阻碍了视觉跟踪的实际应用。
近年来，相关滤波器在计算机视觉领域得到了广泛的应用。基于卷积定理，时间域中的相关对应于傅里叶域中的逐元相乘。因此，相关滤波器的本质思想是在傅里叶域中计算相关。同时，将相关滤波器看作是信号处理中的两个信号之间的相似性度量。大多数现有的基于相关滤波器的跟踪器要么使用固定比例，要么使用唯一的过滤模板来表示目标对象，使其不能有效地捕获目标外观的变化。
现有的相关滤波器算法主要存在如下缺点：
(1)使用简单的线性插值更新模型，当目标外观发生尺度放大、缩小等变化时，跟踪算法容易产生漂移；
(2)使用方向梯度直方图(Histogram of Oriented Gradient,HOG)的相关滤波方法，没有尺寸和旋转不变性；
(3)使用颜色命名等特征检测算法，对于线条、纹理等特征不能很好地进行检测。
(4)当产生部分遮挡时，模型容易被破坏，从而使得跟踪漂移。
发明内容
本发明的目的在于提供一种适用于遮挡场景的道路车辆LBP特征相关滤波跟踪方法。
实现本发明目的的技术解决方案为：一种适用于遮挡场景的道路车辆LBP特征相关滤波跟踪方法，包括以下步骤：
步骤1，通过视频拍摄采集路面车辆行驶视频数据；
步骤2，使用图像的颜色空间变换，将RGB空间转化为HSV空间；
步骤3，利用LBP算法提取特征；
步骤4，将图像第一帧中提取的车辆LBP特征作为跟踪部分叠加到一个列向量中，移位循环得到训练样本；
步骤5，利用最小二乘法计算训练样本的回归值；
步骤6，计算核矩阵；
步骤7，计算相关滤波器与其限制变量；
步骤8，设计尺度池，使得尺度与追踪目标车辆匹配，并计算响应值；
步骤9，重复步骤2至步骤8，直至视频结束；
步骤10，对每一帧所得到的跟踪车辆的中心位置进行连线，画出视频中跟踪车辆的轨迹。
与现有技术相比，本发明的显著优点为：(1)在相关滤波器学习上强制执行弹性网络约束，稀疏性可以通过对相关滤波器的相应条目进行零化来自适应地忽略干扰特征，如遮挡和杂乱背景，提高了相关滤波的鲁棒性；(2)LBP具有旋转不变性与灰度不变性的优点，对于跟踪目标的旋转等形变具有良好的检测效果；(3)HSV空间有利于粗估车辆区域，以减少车辆的搜索面积；(4)加入对相关滤波器的限制变量，以提高滤波器对遮挡等场景的鲁棒性；加入尺度池，以解决核相关滤波不能自适应跟踪目标尺度大小变化的问题。
附图说明
图1为本发明适用于遮挡场景的道路车辆LBP特征相关滤波车辆跟踪方法流程图。
图2为一段视频中的三帧图像。
图3为图2中目标车辆的跟踪效果图。
图4为图2中目标车辆行驶轨迹图。
具体实施方式
结合图1，一种适用于遮挡场景的道路车辆LBP特征相关滤波跟踪方法，包括以下步骤：
S1：通过视频拍摄采集路面车辆行驶视频数据；
S2：使用图像的颜色空间变换，将RGB空间转化为HSV空间；
S3：利用LBP算法提取特征；
(1)首先将检测窗口划分为16×16的区域，称为cell；
(2)对于每个cell中的一个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0；3*3邻域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值；
(3)计算每个cell的直方图，即每个数字出现的频率；然后对该直方图进行归一化处理。
(4)将得到的每个cell的统计直方图连接成为一个特征向量，也就是整幅图的LBP纹理特征向量。
S4：将图像第一帧中提取的车辆LBP特征作为跟踪部分叠加到一个列向量中，用x表示，x＝[x1,x2,…,xC]，由x移位循环得到训练样本X；
S5：利用最小二乘法计算训练样本X的回归值y，即求解
Figure BDA0002019100190000031
其中‘||.||2’表示所有元素的绝对值之和的l2范数，w表示线性系数。
S6：计算
Figure BDA0002019100190000032
其中
Figure BDA0002019100190000033
表示非线性函数，上标‘T’表示矩阵的转置。得到核矩阵K，其大小为C×C；
S7：计算相关滤波器
Figure BDA0002019100190000034
与其限制变量
Figure BDA0002019100190000035
直到
Figure BDA0002019100190000036
不收敛；
Figure BDA0002019100190000037
Figure BDA0002019100190000038
其中°表示阿达玛积，τ、
Figure BDA0002019100190000039
μ>0为权重参数，k1表示K的第一行，上标‘^’表示离散傅里叶变换，‘*’表示共轭运算，‘||.||1’表示所有元素的绝对值之和的l1范数，上标‘T’表示矩阵的转置；
S8：设计尺度池S＝{t1,t2,…,tk}，将当前尺寸ST＝(sx,sy)与尺度池S相乘：
ST*S＝{ti ST|ti∈S}，即使得追踪的尺度与追踪目标车辆的大小相匹配；
将下一帧中同一位置的补丁区域z作为待检测区域，计算傅里叶域的响应：
Figure BDA0002019100190000041
其中
Figure BDA0002019100190000042
表示模型中要学习的数据，“·”表示点积；
并找到最大响应的检测区域：
Figure BDA0002019100190000043
即视为目标车辆新的位置；
S9：重复步骤S2至S8，直至视频结束；
S10：对每一帧所得到的跟踪车辆的中心位置进行连线，画出视频中跟踪车辆的轨迹。
本发明中出现的术语解释如下：
LBP(Local Binary Pattern，局部二值模式)是一种通过比较相邻像素的灰度值，来描述图像局部特征的算子。
RGB空间：以红(Red)、绿(Green)、蓝(Blue)三种基本色为基础，进行不同程度的叠加，得到的图像空间。
HSV图像：以色调(Hue)、饱和度(Saturation)、亮度(Value)这三种颜色的直观特性组成的颜色空间。
下面结合具体实施例对本发明作进一步详细地描述。
实施例
结合图1，一种适用于遮挡场景的道路车辆LBP特征相关滤波跟踪方法，通过视频拍摄采集路面车辆行驶视频数据；使用颜色空间变换，将RGB空间转化为HSV空间，其有利于粗估车辆区域，以减少车辆的搜索面积；利用LBP算法提取特征，使得其对于跟踪目标的旋转等形变具有良好的检测效果；得到训练样本；利用最小二乘法计算训练样本X的回归值y；计算核矩阵K；计算相关滤波器
Figure BDA0002019100190000044
与其限制变量
Figure BDA0002019100190000045
提高相关滤波器对于部分遮挡等问题的鲁棒性；设计合适的尺度池，使得尺度与追踪目标车辆匹配，并计算响应值；对每一帧所得到的跟踪车辆的中心位置进行连线，画出视频中跟踪车辆的轨迹。
如图2所示，取一段视频中的三帧，取
Figure BDA0002019100190000046
μ＝10-5、
Figure BDA0002019100190000047
并取尺度池为[0.9800.985 0.99 0.995 1.00 1.005 1.010 1.015 1.020]，其跟踪效果如图3所示。跟踪区域尺度自适应，且在经历树木阴影的部分遮挡时，其目标车辆依然能够实现跟踪。该目标车辆行驶轨迹如图4所示。

Claims (2)

1.一种适用于遮挡场景的道路车辆LBP特征相关滤波车辆跟踪方法，其特征在于，包括以下步骤：
步骤1，通过视频拍摄采集路面车辆行驶视频数据；
步骤2，使用图像的颜色空间变换，将RGB空间转化为HSV空间；
步骤3，利用LBP算法提取特征；
步骤4，将图像第一帧中提取的车辆LBP特征作为跟踪部分叠加到一个列向量中，用x表示，x＝[x1,x2,...,xC]，由x移位循环得到训练样本X；
步骤5，利用最小二乘法计算训练样本X的回归值y，即求解
Figure FDA0002910371540000011
其中‘||·||2’表示所有元素的绝对值之和的l2范数，w表示线性系数；
步骤6，计算核矩阵；具体步骤为：计算
Figure FDA0002910371540000012
其中
Figure FDA0002910371540000013
表示非线性函数，上标‘T’表示矩阵的转置，得到核矩阵K，其大小为C×C；
步骤7，计算相关滤波器
Figure FDA0002910371540000014
与其限制变量
Figure FDA0002910371540000015
直到
Figure FDA0002910371540000016
不收敛；
Figure FDA0002910371540000017
Figure FDA0002910371540000018
其中
Figure FDA0002910371540000019
表示阿达玛积，τ>0、λ>0、μ>0为权重参数，k1表示K的第一行，上标“^”表示离散傅里叶变换，“*”表示共轭运算，‘||·||1’表示所有元素的绝对值之和的l1范数，上标‘T’表示矩阵的转置；
步骤8，设计尺度池，使得尺度与追踪目标车辆匹配，并计算响应值；
步骤9，重复步骤2至步骤 8，直至视频结束；
步骤10，对每一帧所得到的跟踪车辆的中心位置进行连线，画出视频中跟踪车辆的轨迹。
2.根据权利要求1所述的适用于遮挡场景的道路车辆LBP特征相关滤波车辆跟踪方法，其特征在于，步骤8具体方法为：
设计尺度池S＝{t1,t2,...,tk}，将当前尺寸ST＝(sx,sy)与尺度池S相乘：
ST*S＝{ti ST|ti∈S}，即使得追踪的尺度与追踪目标车辆的大小相匹配；
将下一帧中同一位置的补丁区域z作为待检测区域，计算傅里叶域的响应：
Figure FDA0002910371540000021
其中
Figure FDA0002910371540000022
表示模型中要学习的数据，并找到最大响应的检测区域：
Figure FDA0002910371540000023
即为目标车辆新的位置。
CN201910273269.XA 2019-04-04 2019-04-04 一种适用于遮挡场景的道路车辆lbp特征相关滤波跟踪方法 Active CN110033477B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910273269.XA CN110033477B (zh) 2019-04-04 2019-04-04 一种适用于遮挡场景的道路车辆lbp特征相关滤波跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910273269.XA CN110033477B (zh) 2019-04-04 2019-04-04 一种适用于遮挡场景的道路车辆lbp特征相关滤波跟踪方法

Publications (2)

Publication Number Publication Date
CN110033477A CN110033477A (zh) 2019-07-19
CN110033477B true CN110033477B (zh) 2021-05-11

Family

ID=67237555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910273269.XA Active CN110033477B (zh) 2019-04-04 2019-04-04 一种适用于遮挡场景的道路车辆lbp特征相关滤波跟踪方法

Country Status (1)

Country Link
CN (1) CN110033477B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097383A (zh) * 2016-05-30 2016-11-09 海信集团有限公司 一种针对遮挡问题的目标跟踪方法及设备
US20160342837A1 (en) * 2015-05-19 2016-11-24 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for object tracking
CN108734151A (zh) * 2018-06-14 2018-11-02 厦门大学 基于相关滤波以及深度孪生网络的鲁棒长程目标跟踪方法
CN108776975A (zh) * 2018-05-29 2018-11-09 安徽大学 一种基于半监督特征和滤波器联合学习的视觉跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160342837A1 (en) * 2015-05-19 2016-11-24 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for object tracking
CN106097383A (zh) * 2016-05-30 2016-11-09 海信集团有限公司 一种针对遮挡问题的目标跟踪方法及设备
CN108776975A (zh) * 2018-05-29 2018-11-09 安徽大学 一种基于半监督特征和滤波器联合学习的视觉跟踪方法
CN108734151A (zh) * 2018-06-14 2018-11-02 厦门大学 基于相关滤波以及深度孪生网络的鲁棒长程目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
快速多尺度目标跟踪算法研究;王力;《中国优秀硕士学位论文全文数据库信息科技辑》;20190115;第15-48页 *

Also Published As

Publication number Publication date
CN110033477A (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
Ma et al. Infrared and visible image fusion via gradientlet filter
Wang et al. Infrared dim target detection based on total variation regularization and principal component pursuit
Zhang et al. A fusion algorithm for infrared and visible images based on saliency analysis and non-subsampled Shearlet transform
US9483709B2 (en) Visual saliency estimation for images and video
Zhao et al. Infrared image enhancement through saliency feature analysis based on multi-scale decomposition
CN103020965B (zh) 一种基于显著性检测的前景分割方法
CN111079556A (zh) 一种多时相无人机视频图像变化区域检测及分类方法
CN110782477A (zh) 基于序列图像的运动目标快速检测方法、计算机视觉系统
Fei et al. Visual tracking based on improved foreground detection and perceptual hashing
CN104809731B (zh) 一种基于梯度二值化的旋转尺度不变场景匹配方法
CN104616308A (zh) 一种基于核模糊聚类的多尺度水平集图像分割方法
CN105405138B (zh) 基于显著性检测的水面目标跟踪方法
CN111027497B (zh) 基于高分辨率光学遥感影像的弱小目标快速检测方法
CN106991689A (zh) 基于fhog和颜色特征的目标跟踪方法及gpu加速
CN112364865B (zh) 一种复杂场景中运动小目标的检测方法
CN113111878B (zh) 一种复杂背景下的红外弱小目标检测方法
CN113177467A (zh) 火焰识别方法及系统、装置、介质
CN110033006B (zh) 基于颜色特征非线性降维的车辆检测跟踪方法
Li et al. Infrared and visible image fusion based on domain transform filtering and sparse representation
Xu et al. COCO-Net: A dual-supervised network with unified ROI-loss for low-resolution ship detection from optical satellite image sequences
CN109241981B (zh) 一种基于稀疏编码的特征检测方法
CN113205494B (zh) 基于自适应尺度图像块加权差测量的红外小目标检测方法和系统
Zhang et al. Single image dehazing using fixed points and nearest-neighbor regularization
Kumari et al. A new fast and efficient dehazing and defogging algorithm for single remote sensing images
Li et al. Grain depot image dehazing via quadtree decomposition and convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 210014 No. 9, Ziyun Avenue, Qinhuai District, Jiangsu, Nanjing

Applicant after: China Design Group Co.,Ltd.

Address before: 210014 No. 9, Ziyun Avenue, Qinhuai District, Jiangsu, Nanjing

Applicant before: CHINA DESIGN GROUP Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant