CN107977982B - 一种基于压缩正则化块差分的视频目标跟踪方法 - Google Patents

一种基于压缩正则化块差分的视频目标跟踪方法 Download PDF

Info

Publication number
CN107977982B
CN107977982B CN201711235654.2A CN201711235654A CN107977982B CN 107977982 B CN107977982 B CN 107977982B CN 201711235654 A CN201711235654 A CN 201711235654A CN 107977982 B CN107977982 B CN 107977982B
Authority
CN
China
Prior art keywords
target
candidate
candidate target
cnbd
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711235654.2A
Other languages
English (en)
Other versions
CN107977982A (zh
Inventor
高赟
张登卓
周浩
张晋
林宇
兰戈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Kunming Institute of Physics
Original Assignee
Yunnan University YNU
Kunming Institute of Physics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU, Kunming Institute of Physics filed Critical Yunnan University YNU
Priority to CN201711235654.2A priority Critical patent/CN107977982B/zh
Publication of CN107977982A publication Critical patent/CN107977982A/zh
Application granted granted Critical
Publication of CN107977982B publication Critical patent/CN107977982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于压缩正则化块差分的视频目标跟踪方法，实现步骤如下：步骤一.选定跟踪区域；步骤二.初始化测量矩阵；步骤三.初始化目标分类器；步骤四.更新目标分类器；步骤五.输入新视频帧；步骤六.生成粗略候选目标集合；步骤七.计算粗略候选目标集合中所有候选目标的CNBD特征向量；步骤八.判别粗略跟踪结果；步骤九.生成细致候选目标集合；步骤十.计算细致候选目标集合中所有候选目标的CNBD特征向量；步骤十一.判别本帧跟踪结果；步骤十二.如果当前帧是最后一帧，跟踪结束；否则，转至步骤四。该方法采用压缩正则化块差分特征对被跟踪目标或候选目标进行表述，采用由粗到细的滑动窗口方式生成候选目标集合。

Description

一种基于压缩正则化块差分的视频目标跟踪方法
技术领域
本发明涉及视频目标跟踪方法领域，特别涉及一种基于压缩正则化块差分的视频目标跟踪方法。
背景技术
视频目标跟踪即借助具有辨识力的特征对视频帧序列中运动目标进行跟踪，以分析其运动参数及轨迹。然而，实际场景中目标形变、光照变化、遮挡、背景混乱等因素给视频目标跟踪技术带来了极大的挑战。智能视频监控、机器人导航、人机交互等众多应用领域要求视频目标跟踪方法既准确又快速。
在视频目标跟踪方法的整个流程中，现有技术1Wang N,Shi J,Yeung D Y,etal.Understanding and diagnosing visual tracking systems[C]//Proceedings ofthe IEEE International Conference on Computer Vision.2015:3101-3109.指出特征提取对跟踪方法的准确性和快速性至关重要。在已有快速视频目标跟踪方法中，现有技术2：Zhang K,Zhang L,Yang M H.Fast compressive tracking[J].IEEE transactions onpattern analysis and machine intelligence,2014,36(10):2002-2015.提出的压缩跟踪方法是主流的快速跟踪方法之一，然而，其采用的Haar-like特征限制了跟踪的准确性。发明专利一种基于压缩不规则分块LBP的视频目标跟踪方法,申请号:201611185481.3，采用压缩不规则分块LBP特征进行特征提取，促进了现有技术2的跟踪准确性。现有技术4：Liao S,Jain A K,Li S Z.A fast and accurate unconstrained face detector[J].IEEE transactions on pattern analysis and machine intelligence,2016,38(2):211-223.提出的正则化像素差分(Normalized Pixel Difference,NPD)特征在人脸检测应用中取得了优于Haar-like、LBP等特征的性能，然而，NPD特征易受噪声干扰且维度过高限制了跟踪的准确性和快速性。
上述现有技术存在如下不足：
(1)在复杂场景下Haar-like特征和LBP特征的性能不及NPD特征
在压缩跟踪框架中，压缩特征向量性能的优劣对跟踪方法的准确性至关重要。现有技术2基于高维Haar-like特征生成压缩Haar-like特征向量，发明专利申请201611185481.3基于分块LBP特征生成压缩不规则分块LBP特征向量。然而，现有技术4指出，在光照变化、姿势变化、遮挡、模糊、低分辨率等多种复杂场景下，以人脸检测应用为例，正则化像素差分(Normalized Pixel Difference,NPD)特征已被验证能够取得优于Haar-like、LBP等特征的性能。因此，本发明可以将性能更优的NPD特征引入到压缩跟踪中。
(2)NPD特征易受噪声干扰且维度过高
NPD特征向量中每个元素是图像区域中某两个像素值的正则化差分值。然而，由于成像设备或数字化过程所限，单个像素值极易受到噪声的干扰，若直接将其引入视频目标跟踪过程将导致NPD特征向量的不可靠性。再者，NPD特征的维数过高将影响视频目标跟踪的快速性。以W×H＝50×50目标区域为例，NPD特征向量维数为
Figure BDA0001488920890000021
基于以上原因，从特征提取的角度，本发明对NPD特征进行了改进，并采用压缩感知理论对其进行了无损降维，提出了一种基于压缩正则化块差分的视频目标跟踪方法，其取得了比现有技术2和发明专利申请一种基于压缩不规则分块LBP的视频目标跟踪方法,发明专利,申请号:201611185481.3更为准确且不失快速的跟踪效果。
发明内容
为解决上述现有技术存在的问题，本发明的目的在于提供一种基于压缩正则化块差分的视频目标跟踪方法，该方法采用压缩正则化块差分特征对被跟踪目标或候选目标进行表述，采用由粗到细的滑动窗口方式生成候选目标集合，采用朴素贝叶斯分类器对候选目标的压缩特征向量是否目标跟踪结果进行判别。该方法在重度光照改变和姿势变化、视角旋转和突然运动、背景混乱、相似目标干扰等多种复杂场景下都能保持快速准确的跟踪效果。以下用“NBD”表示“正则化块差分(Normalized Block Difference,NBD)特征”，用“CNBD”表示“压缩正则化块差分(Compressed Normalized Block Difference,CNBD)特征”。
为达到上述目的，本发明的技术方案为：
一种基于压缩正则化块差分的视频目标跟踪方法，实现步骤如下：
步骤一.选定跟踪区域；
步骤二.初始化测量矩阵；
步骤三.初始化目标分类器；
步骤四.更新目标分类器；
步骤五.输入新视频帧；
步骤六.生成粗略候选目标集合；
步骤七.计算粗略候选目标集合中所有候选目标的CNBD特征向量；
步骤八.判别粗略跟踪结果；
步骤九.生成细致候选目标集合；
步骤十.计算细致候选目标集合中所有候选目标的CNBD特征向量；
步骤十一.判别本帧跟踪结果；
步骤十二.如果当前帧是最后一帧，跟踪结束；否则，转至步骤四。
进一步的，所述一种基于压缩正则化块差分的视频目标跟踪方法，实现步骤如下：
步骤一.选定跟踪区域
设视频帧序列中每一帧左上角为坐标原点(1,1)，在视频帧序列的第一帧，手工或自动选定待跟踪目标的矩形区域(x0,y0,W,H)，即左上角坐标为(x0,y0)，宽高分别为W和H，该矩形位置作为选定的跟踪区域，也是第一帧跟踪结果的位置；
步骤二.初始化测量矩阵
压缩采样过程中使用的压缩测量矩阵
Figure BDA0001488920890000031
是一个稀疏随机高斯矩阵，矩阵形式如下：
Figure BDA0001488920890000032
其中，m×n表示测量矩阵的维数，R的列数n，也是NBD特征向量
Figure BDA0001488920890000033
的维数，其计算方法如下：
Figure BDA0001488920890000034
R的行数m，也是压缩特征
Figure BDA0001488920890000041
的维数，m设置为m＝100，
矩阵R的(i,j)位置元素计算公式为：
Figure BDA0001488920890000042
其中，s＝n/ln n表示测量矩阵的稀疏程度，R每行中非零元素的个数为
Figure BDA0001488920890000043
R中所有非零元素的个数为
Figure BDA0001488920890000044
其余元素皆为零，
为了后续计算NBD特征元素值，R中每一个非零元素值rij与两个随机偏移块A和B相对应，令两个随机偏移块A和B对应的区域分别为(xA,yA,wA,hA)和(xB,yB,wB,hB)，其中，(xA,yA)和(xB,yB)分别表示A块和B块相对于被跟踪目标或候选目标矩形区域左上角的偏移坐标，(wA,hA)和(wB,hB)分别表示A块和B块的宽高，A和B的偏移坐标和大小皆随机取得，且皆位于被跟踪目标或候选目标矩形区域内，
矩阵R生成后，在整个跟踪过程中R的非零元素值及每个非零元素对应两个随机偏移块的位置和大小均不再发生变化，即后续每一个候选目标的压缩特征向量都要根据此时生成的R进行计算；
步骤三.初始化目标分类器；
步骤四.更新目标分类器；
步骤五.输入新视频帧；
步骤六.生成粗略候选目标集合；
步骤七.计算粗略候选目标集合中所有候选目标的CNBD特征向量；
步骤八.判别粗略跟踪结果；
步骤九.生成细致候选目标集合；
步骤十.计算细致候选目标集合中所有候选目标的CNBD特征向量；
步骤十一.判别本帧跟踪结果；
步骤十二.如果当前帧是最后一帧，跟踪结束；否则，转至步骤四。
进一步的，所述步骤七的具体操作为：
步骤七.计算粗略候选目标集合中所有候选目标的CNBD特征向量
对于粗略候选目标集合，每个候选目标对应的CNBD特征向量计算方法方法如下：
对于一个特定的被跟踪目标或候选目标的矩形区域，令
Figure BDA0001488920890000051
表示该矩形区域的CNBD特征向量，m×1表示CNBD特征向量的维数，
Figure BDA0001488920890000052
表示该矩形区域的NBD特征向量，n×1表示NBD特征向量的维数，x中每一个元素xj,j＝1～n对应一个NBD特征元素，则该矩形区域的CNBD特征向量y的计算方法如下：
Figure BDA0001488920890000053
其中，R采用步骤二初始化测量矩阵的方法可以计算得到，因此，只需要计算x向量；CNBD特征向量中每一个元素
Figure BDA0001488920890000054
由于R是一个稀疏随机高斯矩阵，多数元素为零元素；在计算
Figure BDA0001488920890000055
的过程中，当rij＝0，则必然rijxj＝0，因此，当rij＝0，则直接令xj＝0，如此xj可以省略计算；如此只需要计算rij≠0(i＝1～m,j＝1～n)的情况下对应的xj，即计算R中每一个非零元素对应的NBD特征元素值xj，x向量中总共需要计算的元素个数仅为
Figure BDA0001488920890000056
即可得到一个被跟踪目标或候选目标矩形区域对应的CNBD特征向量y；
对于一个特定的NBD特征元素值xj，其与一个特定的rij相对应；根据步骤二中生成的与该rij对应的两个随机偏移块A和B即可计算出xj，计算方法如下：
Figure BDA0001488920890000061
Figure BDA0001488920890000062
其中aA和aB分别表示A块和B块内的像素平均值，
Figure BDA0001488920890000068
Figure BDA0001488920890000069
进一步的，一种基于压缩正则化块差分的视频目标跟踪方法，详细的实现步骤如下：
步骤一.选定跟踪区域
设视频帧序列中每一帧左上角为坐标原点(1,1)，在视频帧序列的第一帧，手工或自动选定待跟踪目标的矩形区域(x0,y0,W,H)，即左上角坐标为(x0,y0)，宽高分别为W和H，该矩形位置作为选定的跟踪区域，也是第一帧跟踪结果的位置；
步骤二.初始化测量矩阵
压缩采样过程中使用的压缩测量矩阵
Figure BDA0001488920890000063
是一个稀疏随机高斯矩阵，矩阵形式如下：
Figure BDA0001488920890000064
其中，m×n表示测量矩阵的维数，R的列数n，也是NBD特征向量
Figure BDA0001488920890000067
的维数，其计算方法如下：
Figure BDA0001488920890000065
R的行数m，也是压缩特征
Figure BDA0001488920890000066
的维数，m设置为m＝100，
矩阵R的(i,j)位置元素计算公式为：
Figure BDA0001488920890000071
其中，s＝n/ln n表示测量矩阵的稀疏程度，R每行中非零元素的个数为
Figure BDA0001488920890000072
R中所有非零元素的个数为
Figure BDA0001488920890000073
其余元素皆为零，
为了后续计算NBD特征元素值，R中每一个非零元素值rij与两个随机偏移块A和B相对应，令两个随机偏移块A和B对应的区域分别为(xA,yA,wA,hA)和(xB,yB,wB,hB)，其中，(xA,yA)和(xB,yB)分别表示A块和B块相对于被跟踪目标或候选目标矩形区域左上角的偏移坐标，(wA,hA)和(wB,hB)分别表示A块和B块的宽高，A和B的偏移坐标和大小皆随机取得，且皆位于被跟踪目标或候选目标矩形区域内，
矩阵R生成后，在整个跟踪过程中R的非零元素值及每个非零元素对应两个随机偏移块的位置和大小均不再发生变化，即后续每一个候选目标的压缩特征向量都要根据此时生成的R进行计算，
步骤三.初始化目标分类器
采用朴素贝叶斯分类器H(y)对后续帧序列中候选目标是否被跟踪目标进行判别，H(y)定义如下：
Figure BDA0001488920890000074
其中，y是采用步骤七特征向量计算方法得到的被跟踪目标或候选目标区域的CNBD特征向量，p(v＝1)和p(v＝0)分别表示y符合正样本分布和符合负样本分布的概率，p(v＝1)＝p(v＝0)＝0.5，v∈{0,1}。假设条件分布p(yi|v＝1)和p(yi|v＝0)符合四个参数
Figure BDA0001488920890000075
的高斯分布，即
Figure BDA0001488920890000076
初始化四个参数的值为：
Figure BDA0001488920890000081
i＝1～m；
步骤四.更新目标分类器
如果是第一帧，以当前选定的被跟踪目标矩形区域作为基准区域，否则，以当前帧跟踪结果的矩形区域作为基准区域，依据基准区域产生正样本和负样本，进而对目标分类器的各个参数进行更新，具体方法如下：
对于正样本而言，与基准区域尺寸相同、与基准区域中心点距离在α＝4范围内所有的矩形区域构成了正样本待选集合，从正样本待选集合中随机选择q1＝45个矩形区域作为目标正样本，根据步骤七可以分别计算得到q1＝45个正样本矩形区域对应的CNBD特征向量，假设这里q1＝45个特征向量的第i个测量元素符合参数为μ1和δ1的高斯分布，其计算方法如下，
Figure BDA0001488920890000082
Figure BDA0001488920890000083
λ＞0是更新速率，取λ＝0.85，
Figure BDA0001488920890000084
和
Figure BDA0001488920890000085
的更新方法如下：
Figure BDA0001488920890000086
Figure BDA0001488920890000087
对于负样本而言，与基准区域尺寸相同、与基准区域中心点距离在β＝8～30范围内所有的矩形区域构成了负样本待选集合，从负样本待选集合中随机选择q0＝50个矩形区域作为目标负样本，根据步骤七可以分别计算得到q0＝50个负样本矩形区域对应的CNBD特征向量，假设这里q0＝50个特征向量的第i个测量元素符合参数为μ0和δ0的高斯分布，其计算方法如下，
Figure BDA0001488920890000088
Figure BDA0001488920890000089
λ＞0是更新速率，取λ＝0.85，
Figure BDA00014889208900000810
和
Figure BDA00014889208900000811
的更新方法如公式下：
Figure BDA0001488920890000091
Figure BDA0001488920890000092
步骤五.输入新视频帧
步骤六.生成粗略候选目标集合
在上一视频帧跟踪结果周围，以上一视频帧跟踪结果矩形区域的中心点为圆心，γc＝25为搜索半径，Δc＝4为搜索步长，可以得到一组网格点，与上一帧跟踪结果矩形区域尺寸相同，以该组网格点为中心可以得到一组候选目标，即粗略候选目标集合；
步骤七.计算粗略候选目标集合中所有候选目标的CNBD特征向量
对于粗略候选目标集合，每个候选目标对应的CNBD特征向量计算方法方法如下：
对于一个特定的被跟踪目标或候选目标的矩形区域，令
Figure BDA0001488920890000093
表示该矩形区域的CNBD特征向量，m×1表示CNBD特征向量的维数，
Figure BDA0001488920890000094
表示该矩形区域的NBD特征向量，n×1表示NBD特征向量的维数，x中每一个元素xj,j＝1～n对应一个NBD特征元素，则该矩形区域的CNBD特征向量y的计算方法如下：
Figure BDA0001488920890000095
其中，R采用步骤二初始化测量矩阵的方法可以计算得到，因此，只需要计算x向量；CNBD特征向量中每一个元素
Figure BDA0001488920890000096
由于R是一个稀疏随机高斯矩阵，多数元素为零元素；在计算
Figure BDA0001488920890000097
的过程中，当rij＝0，则必然rijxj＝0，因此，当rij＝0，则直接令xj＝0，如此xj可以省略计算；如此只需要计算rij≠0(i＝1～m,j＝1～n)的情况下对应的xj，即计算R中每一个非零元素对应的NBD特征元素值xj，x向量中总共需要计算的元素个数仅为
Figure BDA0001488920890000101
即可得到一个被跟踪目标或候选目标矩形区域对应的CNBD特征向量y；
对于一个特定的NBD特征元素值xj，其与一个特定的rij相对应；根据步骤二中生成的与该rij对应的两个随机偏移块A和B即可计算出xj，计算方法如下：
Figure BDA0001488920890000102
Figure BDA0001488920890000103
其中aA和aB分别表示A块和B块内的像素平均值，
Figure BDA0001488920890000104
Figure BDA0001488920890000105
步骤八.判别粗略跟踪结果
根据步骤三中H(y)的计算公式可以计算出一个候选目标的CNBD特征向量y的评价值；粗略候选目标集合中评价值最高的候选目标对应的位置即为粗略跟踪结果；
步骤九.生成细致候选目标集合
在粗略跟踪结果周围，以粗略跟踪结果矩形区域的中心点为圆心，γf＝10为搜索半径，Δf＝1为搜索步长，可以得到一组网格点。与粗略跟踪结果矩形区域尺寸相同，以该组网格点为中心可以得到一组候选目标，即细致候选目标集合；
步骤十.计算细致候选目标集合中所有候选目标的CNBD特征向量
对于细致候选目标集合，每个候选目标对应的CNBD特征向量计算方法与步骤七中每个候选目标特征向量计算方法相同；
步骤十一.判别本帧跟踪结果
根据步骤三中H(y)的计算公式可以计算出一个候选目标的CNBD特征向量y的评价值；细致候选目标集合中评价值最高的候选目标对应的位置即为本帧跟踪结果；
步骤十二.如果当前帧是最后一帧，跟踪结束；否则，转至步骤四。
相对于现有技术，本发明的有益效果为：
为了取得准确性更高的跟踪方法，本发明将性能更优的NPD特征引入到压缩跟踪中实现跟踪目标的特征提取。
为了降低噪声干扰以促进跟踪方法的准确性，本发明将NPD特征向量中每个元素的计算方法改进为某两块的正则化差分值，改进特征称为正则化块差分(NormalizedBlock Difference,NBD)特征，其块区域比单个像素更不易被噪声干扰。为了进一步降低NBD特征的维数以促进跟踪方法的快速性，本发明采用压缩感知理论对高维NBD特征进行了无损降维，降维后的特征称为压缩正则化块差分(Compressed Normalized BlockDifference,CNBD)特征。仍然以W×H＝50×50目标区域为例，本发明中CNBD特征向量维数仅为100维。
附图说明
图1为本发明方法的步骤原理框图。
图2为本发明实施例中利用本发明方法进行视频目标跟踪的测试效果图。
具体实施方式
下面结合附图和具体实施方式对本发明技术方案做进一步详细描述：
如图1所示，按照本发明技术方案，以下对一段视频帧序列Basketball中的目标进行跟踪，场景特点为视角变化、相似干扰、遮挡等。
步骤一.选定跟踪区域
视频帧宽高分别为W＝576和H＝432。第一帧待跟踪目标的矩形区域(198,214,34,81)，即左上角坐标为(198,214)，宽高分别为(34,81)。
步骤二.初始化测量矩阵
压缩测量矩阵
Figure BDA0001488920890000111
的行数即CNBD特征向量维数为m＝100，列数即NBD特征向量维数为n＝1.6519e+12，每行非零元素个数为
Figure BDA0001488920890000112
其稀疏程度为s＝n/ln n＝5.8718e+10。R中只有
Figure BDA0001488920890000113
个非零元素，因此高维NBD特征向量(n＝1.6519e+12)中只有2800个元素需要计算，计算量极度下降，且压缩后的CNBD特征向量只有m＝100维。R每行非零元素计算方法相同，在此以R第一行为例，有
Figure BDA0001488920890000121
个非零元素，每个非零元素在R行中的位置坐标被忽略。其元素值如下表所示，2.42E+05或-2.42E+05的正负号随机取得，其概率相同。
第1～7个 -2.42E+05 -2.42E+05 -2.42E+05 2.42E+05 -2.42E+05 -2.42E+05 -2.42E+05
第8～14个 2.42E+05 2.42E+05 2.42E+05 -2.42E+05 2.42E+05 -2.42E+05 -2.42E+05
第15～21个 -2.42E+05 -2.42E+05 2.42E+05 2.42E+05 -2.42E+05 2.42E+05 -2.42E+05
第22～28个 2.42E+05 2.42E+05 -2.42E+05 -2.42E+05 2.42E+05 2.42E+05 -2.42E+05
R中每一个非零元素与两个随机偏移块对应，每个非零元素对应两个偏移块的位置和大小都是随机取得，且偏移块都位于目标矩形框的内部。在此仍然以R第一行非零元素为例，偏移块的位置和大小随机取得，且偏移块在目标矩形框的内部。R第一行前7个非零元素与被跟踪目标区域内随机取得的A和B两个偏移块对应关系如下表所示，即第1个非零元素与(6,10,15,15)和(4,47,6,20)两个随机偏移块对应，以此类推。
Figure BDA0001488920890000122
矩阵R生成后，在整个跟踪过程中R的非零元素值及每个非零元素对应两个随机偏移块的位置和大小均不再发生变化，即后续每一个候选目标的压缩特征向量都要根据此时生成的R进行计算。
步骤三.初始化目标分类器
采用朴素贝叶斯分类器H(y)对后续帧序列中候选目标是否被跟踪目标进行判别，初始化H(y)四个参数的值为：
Figure BDA0001488920890000123
i＝1～8。
步骤四.更新目标分类器
如果是第一帧，以当前选定的被跟踪目标矩形区域作为基准区域，否则，以当前最佳候选目标即跟踪结果的矩形区域作为基准区域。依据基准区域产生正样本和负样本，进而对目标分类器的各个参数进行更新。
步骤五.输入新视频帧
步骤六.生成粗略候选目标集合
在上一视频帧跟踪结果周围，以上一视频帧跟踪结果矩形区域的中心点为圆心，γc＝25为搜索半径，Δc＝4为搜索步长，可以得到一组网格点。与上一帧跟踪结果矩形区域尺寸相同，以该组网格点为中心可以得到一组候选目标，即粗略候选目标集合。在此以第二帧为例，在第一帧初始位置周围以25像素为半径，水平和垂直方向都以4像素为步长，生成了44个候选目标，其前10个候选目标的矩形块位置信息如下表所示。
序号 1 2 3 4 5 6 7 8 9 10
坐标x 196 200 188 192 196 200 204 208 188 192
坐标y 200 200 204 204 204 204 204 204 208 208
宽度w 34 34 34 34 34 34 34 34 34 34
高度h 81 81 81 81 81 81 81 81 81 81
步骤七.计算粗略候选目标集合中所有候选目标的CNBD特征向量
在粗略候选目标集合中，对于一个特定的被跟踪目标或候选目标的矩形区域，CNBD特征向量为m＝100维，每一个CNBD特征元素的计算方法为
Figure BDA0001488920890000131
每个候选目标的CNBD特征向量计算方法相同，以下以第二帧第一个候选目标为例，其在视频帧中的位置即步骤六中粗略候选目标集合中第一个候选目标的位置(196,200,34,81)。
CNBD特征向量中每个压缩特征元素的计算方法相同。在此以计算第一个候选目标CNBD特征向量的第一个特征元素为例，其值是R第一行非零元素与对应NBD特征元素构成向量的内积。R第一行28个非零元素在步骤二中已计算得到，因此，只需要计算对应的28个NBD元素，即可得到CNBD特征向量的第一个特征元素。
每个NBD特征元素的计算方法也相同，都是根据与其对应的两个偏移块得到。在此以计算R第一行第一个非零元素对应的NBD元素为例，根据步骤二中该非零元素对应的A和B两个随机偏移块的偏移位置和宽高为(xA,yA,wA,hA)＝(6,10,15,15)和(xB,yB,wB,hB)＝(4,47,6,20)。
首先，计算两个随机块在当前视频帧中实际的位置和宽高。对于第一个随机块而言，偏移量x为6，即x方向上的位置坐标是候选目标x方向上第6个像素。由于候选目标x方向上第1个像素是视频帧的第196像素，因此第一个随机块x方向上坐标是视频帧的第201像素(＝196+6-1)。第一个随机块偏移量y为10，即y方向上的位置坐标是候选目标y方向上第10个像素。由于候选目标y方向上第1个像素是视频帧的第200像素，因此第一个随机块y方向上坐标是视频帧的第209像素(＝200+10-1)。随机块的宽高保持不变。由此得到，第一个随机块在视频帧中的实际坐标位置和宽高为(201,209,15,15)。同理，第二个随机块在视频帧中的实际坐标位置和宽高为(208,246,6,20)。
其次，计算两个随机块对应像素集合的像素平均值。第一个随机块(201,209,15,15)对应视频帧中相应区域中所有像素的平均值为aA＝40，第二个随机块(208,246,6,20)对应视频帧中相应区域中所有像素的平均值为aB＝46。
最后，依据步骤七中一个特定NBD特征元素值xj的计算公式，可以计算得到R第一行第一个非零元素对应的NBD特征元素为118。
Figure BDA0001488920890000141
至此，R第一行第一个非零元素对应的NBD元素计算完成。R第一行28个非零元素对应的NBD元素如下表所示。
第1～7个 118 82 162 201 138 189 71
第8～14个 166 117 93 152 155 107 78
第15～21个 96 133 195 118 129 135 150
第22～28个 123 144 176 92 96 129 82
根据公式
Figure BDA0001488920890000142
可以得到第一个候选目标(196,200,34,81)对应的CNBD特征向量中第一个元素为-2.06E+08。采用同样的方法可以得到第一个候选目标其余CNBD特征元素形成100维的CNBD向量。同理，44个候选目标的CNBD特征向量也可以计算得到。
步骤八.判别粗略跟踪结果
根据步骤三中H(y)的计算公式，可以得到44个粗略候选目标的评价值。仍然以第二帧为例，其44个候选目标评价值如下表所示。
第1～11个 -124.81 -136.04 -188.21 -143.43 -106.49 -121.14 -151.44 -177.39 -163.66 -113.34 -90.02
第12～22个 -110.38 -149.39 -177.98 -177.38 -153.98 -107.72 -77.38 -106.68 -144.86 -167.56 -171.77
第23～33个 -173.70 -150.66 -114.93 -83.36 -103.73 -152.12 -159.82 -172.55 -149.46 -132.59 -95.34
第34～44个 -106.83 -163.43 -172.41 -167.52 -150.97 -109.55 -116.47 -163.97 -175.29 -104.52 -116.95
最大的评价值-77.38对应第18个候选目标，因此，第18个候选目标对应矩形区域(196,212,34,81)为第二帧粗略跟踪结果。
步骤九.生成细致候选目标集合
在粗略跟踪结果周围，以粗略跟踪结果矩形区域的中心点为圆心，γf＝10为搜索半径，Δf＝1为搜索步长，可以得到一组网格点。与粗略跟踪结果矩形区域尺寸相同，以该组网格点为中心可以得到一组候选目标，即细致候选目标集合。在此仍然以第二帧为例，在第二帧粗略跟踪结果周围以10像素为半径，水平和垂直方向都以1像素为步长，生成了305个候选目标，其前10个候选目标的矩形块位置信息如下表所示。
序号 1 2 3 4 5 6 7 8 9 10
坐标x 192 193 194 195 196 197 198 199 200 191
坐标y 203 203 203 203 203 203 203 203 203 204
宽度w 34 34 34 34 34 34 34 34 34 34
高度h 81 81 81 81 81 81 81 81 81 81
步骤十.计算细致候选目标集合中所有候选目标的CNBD特征向量
对于细致候选目标集合，每个候选目标对应的CNBD特征向量计算方法与步骤七中每个候选目标特征向量计算方法相同。
步骤十一.判别本帧跟踪结果
判别方法与步骤八相同。在此仍然以第二帧为例，在细致候选目标集合中，最大的评价值-74.95对应第173个候选目标，因此，第173个候选目标对应矩形区域(197,213,34,81)为第二帧最终跟踪结果。
步骤十二.如果当前帧是最后一帧，跟踪结束；否则，转至步骤四。
以上跟踪过程运行在CPU:Intel Core i5-4590CPU 3.3GHz,内存：16GB的硬件平台上，可以达到每秒钟80帧的处理速度，达到了实时快速的跟踪。部分跟踪结果截图如图2所示。从图2可以看出，在目标遮挡、相似干扰、表观变化、噪声干扰等场景下，利用本发明视频目标跟踪方法均能够实现稳定的跟踪。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims (2)

1.一种基于压缩正则化块差分的视频目标跟踪方法，其特征在于，
实现步骤如下：
步骤一.选定跟踪区域
设视频帧序列中每一帧左上角为坐标原点(1,1)，在视频帧序列的第一帧，手工或自动选定待跟踪目标的矩形区域(x0,y0,W,H)，即左上角坐标为(x0,y0)，宽高分别为W和H，该矩形位置作为选定的跟踪区域，也是第一帧跟踪结果的位置；
步骤二.初始化测量矩阵
压缩采样过程中使用的压缩测量矩阵
Figure FDA0003218820290000011
是一个稀疏随机高斯矩阵，矩阵形式如下：
Figure FDA0003218820290000012
其中，m×n表示测量矩阵的维数，R的列数n，也是NBD特征向量
Figure FDA0003218820290000013
的维数，其计算方法如下：
Figure FDA0003218820290000014
R的行数m，也是压缩特征
Figure FDA0003218820290000015
的维数，m设置为m＝100，
矩阵R的(i,j)位置元素计算公式为：
Figure FDA0003218820290000021
其中，s＝n/lnn表示测量矩阵的稀疏程度，R每行中非零元素的个数为
Figure FDA0003218820290000022
R中所有非零元素的个数为
Figure FDA0003218820290000023
其余元素皆为零，
为了后续计算NBD特征元素值，R中每一个非零元素值rij与两个随机偏移块A和B相对应，令两个随机偏移块A和B对应的区域分别为(xA,yA,wA,hA)和(xB,yB,wB,hB)，其中，(xA,yA)和(xB,yB)分别表示A块和B块相对于待跟踪目标或候选目标矩形区域左上角的偏移坐标，(wA,hA)和(wB,hB)分别表示A块和B块的宽高，A和B的偏移坐标和大小皆随机取得，且皆位于待跟踪目标或候选目标矩形区域内，
矩阵R生成后，在整个跟踪过程中R的非零元素值及每个非零元素对应两个随机偏移块的位置和大小均不再发生变化，即后续每一个候选目标的压缩特征向量都要根据此时生成的R进行计算；
步骤三.初始化目标分类器；
步骤四.更新目标分类器；
步骤五.输入新视频帧；
步骤六.生成粗略候选目标集合；
步骤七.计算粗略候选目标集合中所有候选目标的CNBD特征向量；
步骤八.判别粗略跟踪结果；
步骤九.生成细致候选目标集合；
步骤十.计算细致候选目标集合中所有候选目标的CNBD特征向量；
步骤十一.判别本帧跟踪结果；
步骤十二.如果当前帧是最后一帧，跟踪结束；否则，转至步骤四继续；
所述步骤七的具体操作为：
步骤七.计算粗略候选目标集合中所有候选目标的CNBD特征向量
对于粗略候选目标集合，每个候选目标对应的CNBD特征向量计算方法如下：
对于一个特定的待跟踪目标或候选目标的矩形区域，令
Figure FDA0003218820290000031
表示该矩形区域的CNBD特征向量，m×1表示CNBD特征向量的维数，
Figure FDA0003218820290000032
表示该矩形区域的NBD特征向量，n×1表示NBD特征向量的维数，x中每一个元素xj,j＝1～n对应一个NBD特征元素，则该矩形区域的CNBD特征向量y的计算方法如下：
Figure FDA0003218820290000033
其中，R采用步骤二初始化测量矩阵的方法计算得到，因此，只需要计算x向量；CNBD特征向量中每一个元素
Figure FDA0003218820290000034
由于R是一个稀疏随机高斯矩阵，多数元素为零元素；在计算
Figure FDA0003218820290000035
的过程中，当rij＝0，则必然rijxj＝0，因此，当rij＝0，则直接令xj＝0，如此xj可以省略计算；如此只需要计算rij≠0，i＝1～m，j＝1～n的情况下对应的xj，即计算R中每一个非零元素对应的NBD特征元素值xj，x向量中总共需要计算的元素个数仅为
Figure FDA0003218820290000036
即可得到一个待跟踪目标或候选目标矩形区域对应的CNBD特征向量y；
对于一个特定的NBD特征元素值xj，其与一个特定的rij相对应；根据步骤二中生成的与该rij对应的两个随机偏移块A和B即可计算出xj，计算方法如下：
Figure FDA0003218820290000041
Figure FDA0003218820290000042
其中aA和aB分别表示A块和B块内的像素平均值，aA∈[0，255]，aB∈[0，255]，f(A，B)∈[-1，1]，xj∈[0，255]。
2.根据权利要求1所述的一种基于压缩正则化块差分的视频目标跟踪方法，其特征在于，所述
步骤三.初始化目标分类器
采用朴素贝叶斯分类器H(y)对后续帧序列中候选目标是否为待跟踪目标进行判别，H(y)定义如下：
Figure FDA0003218820290000043
其中，y是采用步骤七特征向量计算方法得到的待跟踪目标或候选目标区域的CNBD特征向量，p(v＝1)和p(v＝0)分别表示y符合正样本分布和符合负样本分布的概率，p(v＝1)＝p(v＝0)＝0.5，v∈{0,1}；假设条件分布p(yi|v＝1)和p(yi|v＝0)符合四个参数
Figure FDA0003218820290000044
的高斯分布，即
Figure FDA0003218820290000045
初始化四个参数的值为：
Figure FDA0003218820290000046
步骤四.更新目标分类器
如果是第一帧，以当前选定的待跟踪目标矩形区域作为基准区域，否则，以当前帧跟踪结果的矩形区域作为基准区域，依据基准区域产生正样本和负样本，进而对目标分类器的各个参数进行更新，具体方法如下：
对于正样本而言，与基准区域尺寸相同、与基准区域中心点距离在α＝4范围内所有的矩形区域构成了正样本待选集合，从正样本待选集合中随机选择q1＝45个矩形区域作为目标正样本，根据步骤七可以分别计算得到q1＝45个正样本矩形区域对应的CNBD特征向量，假设这里q1＝45个特征向量的第i个测量元素符合参数为μ1和δ1的高斯分布，其计算方法如下，
Figure FDA0003218820290000051
Figure FDA0003218820290000052
λ＞0是更新速率，取λ＝0.85，
Figure FDA0003218820290000053
和
Figure FDA0003218820290000054
的更新方法如下：
Figure FDA0003218820290000055
Figure FDA0003218820290000056
对于负样本而言，与基准区域尺寸相同、与基准区域中心点距离在β＝8～30范围内所有的矩形区域构成了负样本待选集合，从负样本待选集合中随机选择q0＝50个矩形区域作为目标负样本，根据步骤七可以分别计算得到q0＝50个负样本矩形区域对应的CNBD特征向量，假设这里q0＝50个特征向量的第i个测量元素符合参数为μ0和δ0的高斯分布，其计算方法如下，
Figure FDA0003218820290000057
Figure FDA0003218820290000058
λ＞0是更新速率，取λ＝0.85，
Figure FDA0003218820290000059
和
Figure FDA00032188202900000510
的更新方法如公式下：
Figure FDA00032188202900000511
Figure FDA00032188202900000512
步骤六.生成粗略候选目标集合
在上一视频帧跟踪结果周围，以上一视频帧跟踪结果矩形区域的中心点为圆心，γc＝25为搜索半径，Δc＝4为搜索步长，得到一组网格点，与上一视频帧跟踪结果矩形区域尺寸相同，以该组网格点为中心得到一组候选目标，即粗略候选目标集合；
步骤八.判别粗略跟踪结果
根据步骤三中H(y)的计算公式可以计算出一个候选目标的CNBD特征向量y的评价值；粗略候选目标集合中评价值最高的候选目标对应的位置即为粗略跟踪结果；
步骤九.生成细致候选目标集合
在粗略跟踪结果周围，以粗略跟踪结果矩形区域的中心点为圆心，γf＝10为搜索半径，Δf＝1为搜索步长，得到一组网格点；与粗略跟踪结果矩形区域尺寸相同，以该组网格点为中心得到一组候选目标，即细致候选目标集合；
步骤十.计算细致候选目标集合中所有候选目标的CNBD特征向量
对于细致候选目标集合，每个候选目标对应的CNBD特征向量计算方法与步骤七中每个候选目标CNBD特征向量计算方法相同；
步骤十一.判别本帧跟踪结果
根据步骤三中H(y)的计算公式计算出一个候选目标的CNBD特征向量y的评价值；细致候选目标集合中评价值最高的候选目标对应的位置即为本帧跟踪结果。
CN201711235654.2A 2017-11-30 2017-11-30 一种基于压缩正则化块差分的视频目标跟踪方法 Active CN107977982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711235654.2A CN107977982B (zh) 2017-11-30 2017-11-30 一种基于压缩正则化块差分的视频目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711235654.2A CN107977982B (zh) 2017-11-30 2017-11-30 一种基于压缩正则化块差分的视频目标跟踪方法

Publications (2)

Publication Number Publication Date
CN107977982A CN107977982A (zh) 2018-05-01
CN107977982B true CN107977982B (zh) 2021-11-02

Family

ID=62008499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711235654.2A Active CN107977982B (zh) 2017-11-30 2017-11-30 一种基于压缩正则化块差分的视频目标跟踪方法

Country Status (1)

Country Link
CN (1) CN107977982B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096345A (zh) * 2015-09-15 2015-11-25 电子科技大学 一种基于动态测量矩阵的目标跟踪方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104299247B (zh) * 2014-10-15 2017-06-06 云南大学 一种基于自适应测量矩阵的视频目标跟踪方法
CN104850865B (zh) * 2015-06-05 2017-11-07 三峡大学 一种多特征迁移学习的实时压缩跟踪方法
CN106780568B (zh) * 2016-12-20 2019-08-13 云南大学 一种基于压缩不规则分块lbp的视频目标跟踪方法
CN106980825B (zh) * 2017-03-15 2020-11-13 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于归一化像素差特征的人脸姿势分类方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096345A (zh) * 2015-09-15 2015-11-25 电子科技大学 一种基于动态测量矩阵的目标跟踪方法及系统

Also Published As

Publication number Publication date
CN107977982A (zh) 2018-05-01

Similar Documents

Publication Publication Date Title
CN108549873B (zh) 三维人脸识别方法和三维人脸识别系统
CN106709950B (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
CN104835175B (zh) 一种基于视觉注意机制的核环境中目标检测方法
KR101409810B1 (ko) 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법
Wang et al. Recognition and location of the internal corners of planar checkerboard calibration pattern image
CN110910421B (zh) 基于分块表征和可变邻域聚类的弱小运动目标检测方法
CN108182381B (zh) 基于快速Adaboost训练算法的自动扶梯乘客检测方法
CN111046843B (zh) 一种智能驾驶环境下的单目测距方法
Xu et al. Human detection and tracking based on HOG and particle filter
CN105930790A (zh) 基于核稀疏编码的人体行为识别方法
CN110660089A (zh) 一种卫星图像的配准方法及装置
Chen et al. Real-time object tracking via CamShift-based robust framework
CN113379777A (zh) 一种基于最小外接矩形垂直内距离比例的形状描述与检索方法
CN115760893A (zh) 一种基于核相关滤波算法的单雾滴粒径和速度测量方法
US11475595B2 (en) Extrinsic calibration of multi-camera system
CN105913084A (zh) 一种基于密集轨迹和dhog的超声心动视频影像分类方法
CN107977982B (zh) 一种基于压缩正则化块差分的视频目标跟踪方法
CN109800771B (zh) 混合时空平面局部二值模式的自发微表情定位方法
Wang et al. Face detection based on color template and least square matching method
Qian et al. Object tracking method based on joint global and local feature descriptor of 3D LIDAR point cloud
CN115240269A (zh) 基于体型变换的步态识别方法、设备及存储介质
Lugo et al. Semi-supervised learning approach for localization and pose estimation of texture-less objects in cluttered scenes
Huang et al. ICA-ASIFT-based multi-temporal matching of high-resolution remote sensing urban images
Jinze et al. 3D laser point cloud clustering method based on image information constraints
Cheng et al. Target-tools recognition method based on an image feature library for space station cabin service robots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant