CN107886525A - 一种冗余数据数据字典压缩感知视频目标跟踪方法 - Google Patents

一种冗余数据数据字典压缩感知视频目标跟踪方法 Download PDF

Info

Publication number
CN107886525A
CN107886525A CN201711212930.3A CN201711212930A CN107886525A CN 107886525 A CN107886525 A CN 107886525A CN 201711212930 A CN201711212930 A CN 201711212930A CN 107886525 A CN107886525 A CN 107886525A
Authority
CN
China
Prior art keywords
target
data dictionary
tracking
compressed sensing
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711212930.3A
Other languages
English (en)
Inventor
何亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing LES Information Technology Co. Ltd
Original Assignee
Nanjing LES Information Technology Co. Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing LES Information Technology Co. Ltd filed Critical Nanjing LES Information Technology Co. Ltd
Priority to CN201711212930.3A priority Critical patent/CN107886525A/zh
Publication of CN107886525A publication Critical patent/CN107886525A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种冗余数据数据字典压缩感知视频目标跟踪方法,将视频监控中的目标描述为红外和可见光双通道多特征构成的冗余数据字典子空间下的线性表示,提高了信号逼近的灵活性,结合压缩感知的方法,对冗余数据字典子空间进行稀疏性采样,在考虑噪声的情况下,利用粒子滤波方法框架对刚性运动目标进行跟踪。能够在提升光照条件变化、环境遮蔽等复杂环境下视频跟踪的鲁棒性的同时,降低对存储、计算等资源的要求,增强安防监控的无人化程度,并以更廉价的方式部署安防视频监控。

Description

一种冗余数据数据字典压缩感知视频目标跟踪方法
技术领域
本发明属于安全生产系统技术领域。
背景技术
信息技术的高速发展推动了城市由信息化向智慧化发展,截至目前,我国政府已颁布了多批智慧城市建设的试点,国内掀起了智慧城市规划、布局、建设的高潮,为避免建设初期涌现出来的大量同质化问题,当前智慧城市、智慧小镇的建设越来越偏向于体现地区文化产业特色,各种特色园区建设已成燎原之势;同时,在国家大力发展战略性新兴产业,全力加快转变经济发展方式、调整经济结构的背景下,聚集式发展产业成为各地政府的重要工作,在已建园区继续转型升级的同时,大量新建园区不断涌现。
随着园区建设、运行不断铺开,如偷盗、践踏、人身侵害等园区治安事件越来越引起各方关注,对园区安防提出了越来越高的要求,安防手段逐步由人防向人防、物防、技防结合的整体防控体系倾斜,视频监控是其中的主要手段。然而,园区管理范围广阔,点位庞大,网络结构复杂,受环境、资金、技术、服务、标准等方面的制约,不同地域物理环境、人文环境不同,建立全面、有效、无盲区的视频安防监控系统对于各园区来说难易程度不同,对系统的经济性和实用性提出了更高的要求;出于减少劳动强度的考虑以及全程全时动态监视的需要,要求视频监控系统具备自动检测、跟踪嫌疑人员的能力,而在实际运行过程中,受环境遮蔽、光照条件等因素的影响,对视频目标的自动识别、跟踪的鲁棒性提出了严峻的考验,对于低成本部署、高鲁棒性、7x24小时不间断运行的自主视频监控跟踪方法的需求愈加强烈。
现有技术中大多使用粒子滤波作为一种具有处理非线性函数和非高斯分布系统能力的强适应性方法,被广泛应用于视觉跟踪领域,随着稀疏化方法的蓬勃发展,大量研究开始使用压缩感知等稀疏理论改进粒子滤波计算量过大的问题,以取得鲁棒性与算法负载间的平衡。采用类Haar特征组成数据字典的方法将当前帧跟踪对象看成之前帧目标集合的稀疏表示,通过求解规范化l1最小平方问题获得各粒子相似度的度量,从而解算出跟踪目标的位置,多尺度压缩感知跟踪方法和基于压缩感知特征选择的实时检测跟踪框架则将压缩感知作为一种特征降维手段,使用目标图像的正负两类特征构造数据字典,这些方法基于目标图像或小波特征,未脱离数据字典为一紧致框架的限制,限制了图像特征的使用,在处理昼夜光照条件变化或者图像遮挡等问题时表现出一定的局限性。部分方法,如多模板时空关联的局部反联合稀疏表示目标跟踪方法,通过构造过完备数据字典的方式,加强了信号逼近的灵活性,但其在粒子的相似度解算过程中需多次重复求解含参数高斯函数的优化问题或压缩感知的重构问题,增加了额外的算法负担。
在实际应用中,图像的颜色、纹理等特征已被广泛证明在许多场合下可以更好地体现目标图像的可区分特性,采用符合紧致框架的数据字典进行目标跟踪,限制了数据字典的扩展性,也限制了使用各种经典图像特征构成特征数据字典,影响到相应跟踪方法在复杂环境下的鲁棒性。过完备数据字典方法加强了信号逼近的灵活性,但是由于相似度比较过程中涉及大量信号重构解算,使得算法负载大为增加。
发明内容
本发明主要针对周边环境中存在光照变化、背景干扰和目标遮挡情况下动态目标的视频跟踪问题,提出了一种基于冗余数据字典的压缩感知视频目标跟踪方法,可降低对视频图像清晰度以及监控服务设备计算、存储能力的要求。
为达到上述目的,本发明可采用如下技术方案:
一种冗余数据数据字典压缩感知视频目标跟踪方法,包括以下步骤:
(1)、提取视频目标特征;
(2)、根据视频目标特征对数据字典初始化;
(3)、根据数据字典对视频目标建模;
(4)、冗余数据字典下的压缩感知观测;
(5)、压缩感知跟踪;
(6)、数据字典更新;
(7)、输出结果。
进一步的,步骤(1)中的目标特征包括目标可见光与红外图像的局部二值模式特征,红外图像的灰度直方图、可见光图像的hsv直方图、以及红外与可见光双通道图像的低阶不变矩和紧密性特征。
进一步的,步骤(2)中的数据字典初始化方法为:
以弹性矩形区域描述动态刚性目标,记第一帧目标矩形区域的中心点坐标为 g1,与此对应,根据此矩形区域提取的图像特征按列堆叠形成的特征向量记为
t(g1)=[p1(g1),p2(g1),…,pk(g1)]T,k=1,…m
其中pk(g1)为第k个特征,m为所采用的特征的个数,随后,在目标中心g1的基础上加上一个[0,1]上正态分布的随机值以产生Nt-1个摄动中心 gi,i=2,…,Nt-1,其中Nt是目标模板集中包含的特征向量的个数,以这些摄动中心为中心,提取相同大小矩形区域的特征值,与t(g1)一起组成初始目标模板集并引入单位矩阵I=[i1,i2,…im]∈Rm×m来跟踪干扰,与初始目标模板集组成矩阵T'=[T,I],对该矩阵进行奇异值分解得到初始数据字典 D=[d1…dn]∈Rm×n(m>>n),d1…dn为字典的列向量,n为字典的行维,即字典中列向量的个数,Rm×m表示m×m的实数矩阵。
进一步的,步骤(3)中,使跟踪目标y∈Rm,基于初始数据字典得到
其中x1,x2,…xn为各分量的表示系数,x=[x1,x2,…xn]即目标y在字典D张成子空间下的系数表示,这些表示系数可分为xt和xe两个类别,(Nt维实数矩阵)称为目标系数向量,xe∈Rm为噪声系数向量。
进一步的,步骤(4)中压缩感知观测的方法为,在数据字典D中,对一个索引集令DΛ表示从D中按索引Λ抽取相应列向量组成的m×|Λ|的子矩阵,Ω(DΛ)是由DΛ的列向量张成的子空间,PΛ为一个正交投影,定义支撑集以提取原信号x中的s列,使这s列最大化程度近似原信号,并记录构成此s列的索引值;通过定义一个势为s的集合SD(x,s)来近似这个支撑集,|SD(x,s)|=s且仅需满足
其中ε12≥0为足够小的常数。
进一步的,步骤(5)中的压缩感知跟踪的方法为,基于粒子滤波框架,取状态转移分布函数p(st|st-1)服从高斯分布,并以图像的仿射变换来描述连续两帧中目标的运动,目标的状态变量定义为st=(α1234,tx,ty),其中(α1234)是形变参数,(tx,ty)是2D平移参数,st表示当前帧的状态,st-1为前一帧的状态,粒子的相似度通过压缩感知观测值之间的范式距离来度量,对于视频的每一帧,基于冗余数据字典的压缩感知跟踪算法的流程包括以下步骤:
基于可见光与红外帧图像,高斯随机观测矩阵Φ∈Rd×m,数据字典D
(5.1)获得前一帧目标压缩感知观测值
(5.2)根据状态传输方程产生粒子Ns为粒子的个数,本方法取Ns=300,表示第k帧中产生的第i个粒子;
(5.3)对于每个粒子,按照下述方法计算相似度:
1>根据粒子得到候选目标,提取候选目标的特征向量;
2>以高斯随机矩阵采样获得各候选目标的压缩感知观测值zi=Θxi,Θ=ΦD为观测矩阵与字典的乘积矩阵;
3>计算残差
4>根据残差得到各粒子的观测相似度li=exp(-λri);
(5.4)根据相似度li对粒子重采样;
(5.5)采用均方差(MSE)方法估计当前帧状态
(5.6)压缩采样对应区域的特征,得到
(5.7)使用信号空间压缩感知基追踪算法重新解算获得跟踪结果
(5.8)更新数据字典;
(5.9)输出跟踪结果更新的状态更新后的数据字典D'k
进一步的,步骤(6)中的数据字典更新方法为,引入Bhattacharyya系数,跟踪结果与数据字典原子tk间的Bhattacharyya系数为
其典型取值一般落于(0,1)区间内,值越大与tk的相似度越高,将目标与数据字典中各原子之间的Bhattacharyya系数按从大到小的顺序排名,并记最小值对应的原子为tm,界定两个阈值τ12,当时,跟踪结果与现有模板间的相似度过高,为降低数据字典维度,不启用模板更新;若认为本次跟踪过程受到严重干扰,更新过程不执行,并重新求解目标;当时,使用替换tm,并进行奇异值分解构成更新后的数据字典D'。
有益效果:本发明提供一种冗余数据字典下视频目标的压缩感知跟踪方法,支持红外与可见光双通道图像多特征冗余数据字典构造方式,在粒子滤波跟踪框架下,利用压缩感知方法对特征空间进行降维,结合信号级压缩感知信号重构方法,实现复杂环境下动态刚性目标的跟踪。并且,结合矩阵D-RIP性质以及数据字典的框架定义,证得当观测矩阵满足D-RIP性质,且信号可稀疏表示的数据字典构成一个框架时,压缩感知观测值之间的范式距离可以高概率逼近原信号之间的相似度,从而可以减少粒子相似度评估过程中的重构结算过程,实现算法提速。本发明将实现一种支持灵活扩展的动态刚性目标跟踪方法,在提升光照条件变化、环境遮蔽等复杂环境下视频跟踪的鲁棒性的同时,降低对存储、计算等资源的要求,增强安防监控的无人化程度,并以更廉价的方式部署安防视频监控。
具体实施方式
本发明主要针对周边环境中存在光照变化、背景干扰和目标遮挡情况下动态目标的视频跟踪问题,提出了一种基于冗余数据字典的压缩感知视频目标跟踪方法,可降低对视频图像清晰度以及监控服务设备计算、存储能力的要求,提升系统在处理遮挡以及光照条件突变时鲁棒性,可用于低成本部署园区安防监控,实现园区周边嫌疑人员、车辆等的自动目标跟踪。
本发明提供的视频目标跟踪方法将视频监控中的目标描述为红外和可见光双通道多特征构成的冗余数据字典子空间下的线性表示,提高了信号逼近的灵活性,结合压缩感知的方法,对冗余数据字典子空间进行稀疏性采样,在考虑噪声的情况下,利用粒子滤波方法框架对刚性运动目标进行跟踪。本发明包括以下主要环节:
a)特征提取:数据字典的选择一般是尽可能好地符合被逼近信号的结构,其构成没有硬性限制,既可以经过精心设计后得到的结构化数据字典空间,也可以是任意的随机信号空间,本方法选用了图像处理中的常用特征,包括目标可见光与红外图像的局部二值模式(Local Binary Pattern,LBP)特征,红外图像的灰度直方图,可见光图像的hsv直方图,以及红外与可见光双通道图像的低阶不变矩和紧密性特征。
b)数据字典的初始化:以弹性矩形区域描述动态刚性目标,记第一帧目标矩形区域的中心点坐标为g1,与此对应,根据此矩形区域提取的图像特征按列堆叠形成的特征向量记为
t(g1)=[p1(g1),p2(g1),…,pk(g1)]T,k=1,…m (1)
其中pk(g1)为第k个特征,随后,在目标中心g1的基础上加上一个[0,1]上正态分布的随机值以产生Nt-1个摄动中心gi,i=2,…,Nt-1,以这些摄动中心为中心,提取相同大小矩形区域的特征值,与t(g1)一起组成初始目标模板集 T=[t(g1),t(g2),…t(gNt)]。考虑环境噪声或部分遮挡的情况,引入单位矩阵 I=[i1,i2,…im]∈Rm×m来跟踪干扰,与初始目标模板集组成矩阵T'=[T,I],对该矩阵进行奇异值分解得到初始数据字典D=[d1…dn]∈Rm ×n(m>>n)。进行奇异值分解的意义在于:其一,具有良好的抗扰动性,对噪声引起的变化不敏感;其二,比例和旋转不变性,即对矩阵的旋转和置换运算不会改变其奇异值特征;其三,通过奇异值分解可以达到降维目的,降低存储需求的同时进一步增强了信号在数据字典空间中的稀疏度。
c)目标建模:在上述数据字典构成下,光照不均或部分遮蔽等情况对跟踪目标 y∈Rm的外观特征影响不大,可以近似地认为目标包含于由D生成的线性低维子空间中,即
其中称为目标系数向量,xe∈Rm为噪声系数向量。
d)冗余数据字典下的压缩感知观测:E.J.Candes等给出了冗余数据字典下D-RIP性质的定义:
定义1令Σs表示由词典D的所有s列张成的子空间的集合,如果对于任意的v∈Σs,均存在常数δs,使得感知矩阵A满足
则称矩阵A满足D-RIP性质。
记感知矩阵Φ∈Rd×m为高斯随机矩阵,当采样值的维数d满足阶数 d~O(slog(n/s))时,高斯随机矩阵Φ将以高概率满足D-RIP性质,其中n是冗余数据字典D列的维数,s为信号y在其上的稀疏度。此时对于跟踪目标的观测为
z=Φy=ΦDx=Θx (4)
相应地,从观测值z∈Rd×1中恢复原信号等价于下面所示的l1分解问题
其中D*是数据字典D的对偶。M.A.Davenport等提出的信号空间压缩感知基追踪算法给出了上述问题的求解方案。对一个索引集令DΛ表示从D中按索引Λ抽取相应列向量组成的m×|Λ|的子矩阵,Ω(DΛ)是由DΛ的列向量张成的子空间,PΛ为一个正交投影,定义支撑集其作用是提取原信号x中的s列,使这s列能最大化程度近似原信号,并记录构成此s列的索引值。Λopt(x,s)的直接计算比较困难,可以通过定义一个势为s的集合SD(x,s)来近似这个支撑集,|SD(x,s)|=s且仅需满足
其中ε12≥0为足够小的常数。信号空间压缩感知基追踪算法的流程包括:
(4.1)初始化,用观测值z初始化残差r,跟踪结果(即目标)集合y的势(即集合中元素的个数)y0=0,索引支撑集(空集),迭代步长l=0;
(4.2)以迭代方式求取解码过程,即根据压缩感知观测值重构原信号,退出条件为系统是否收敛,即残差是否足够小:
1>给定临时中间变量Φ为观测矩阵;
2>利用基追踪方法求得关于中间变量的稀疏度为2s的解,记录其索引值集合为简便起见,记
3>合并得索引支撑集T=Ω∪Γ;
4>利用CoSaMP算法求解其中R(DT) 表示由字典D中按集合T的索引抽取出来的子向量张成的空间,得到原信号的初始估计值并将解集的索引记录到索引支撑集Γ;
5>得到当前迭代中对于原信号的估计PΓ为投影算子,表示按照索引集Γ抽取初始估计值中对应子向量构成新向量;
6>更新残差r=z-Φyl+1,判断残差是否足够小(小于指定常数),如是,则退出迭代,如否,则步长l=l+1,并继续迭代(4.2)所述各步骤。
(4.3)输出估计结果
e)压缩感知跟踪:基于粒子滤波框架,取状态转移分布函数p(st|st-1)服从高斯分布,并以图像的仿射变换来描述连续两帧中目标的运动,目标的状态变量定义为st=(α1234,tx,ty),其中(α1234)是形变参数,(tx,ty)是2D平移参数,粒子的相似度通过压缩感知观测值之间的范式距离来度量,对于视频的每一帧,基于冗余数据字典的压缩感知跟踪算法的流程如算法2所示:
根据各粒子解算出来的目标称为候选目标,对于好的候选目标,其应满足两个条件,一是具有与前一帧跟踪结果相似的形态和外观,二是其表示系数x 应尽可能稀疏。由于目标y在D域与其稀疏表示系数x是等价的,因此可以用目标表示系数之间的欧氏距离来度量相邻两帧中目标之间的差异。记为第k帧中候选目标的稀疏表示,xk-1为第k-1帧跟踪结果的稀疏表示系数,则第k帧的跟踪结果使取得最小值,根据观测矩阵的D-RIP性质,给出命题1:
命题1假定和x∈Rn是S-稀疏的,和z∈Rd是对应的压缩感知观测值,Φ∈Rd×m是满足D-RIP性质的观测矩阵,当数据字典D是平方可求和空间中的一个框架时,将以高概率成立。
证明:由于和x∈Rn是S-稀疏信号,故是2S-sparse信号。令RIP 常数为δ2s,根据矩阵的D-RIP性质,有
当数据字典D为一个框架时,存在正常数0<A<∞,使得
由于1-δ2s>0,综合(7)和(8)可得以高概率成立。
经奇异值分解后构成的数据字典D组成了希尔伯特空间中的一个框架,故可直接用压缩感知的观测值之间的范式距离来反映候选目标与之前帧跟踪结果间的相似程度。
f)数据字典更新:为及时捕捉目标由光照或姿态变化等引起的外观和形态的改变,同时避免数据字典因原子加入而不断扩大,需对数据字典进行动态更新。为此引入Bhattacharyya系数,跟踪结果与数据字典原子tk间的Bhattacharyya 系数为
其典型取值一般落于(0,1)区间内,值越大与tk的相似度越高,将目标与数据字典中各原子之间的Bhattacharyya系数按从大到小的顺序排名,并记最小值对应的原子为tm,界定两个阈值τ12,当时,跟踪结果与现有模板间的相似度过高,为降低数据字典维度,不启用模板更新;若认为本次跟踪过程受到严重干扰,更新过程不执行,并重新求解目标;当时,使用替换tm,并进行奇异值分解构成更新后的数据字典D'。
术语说明:
K-稀疏(K-sparse):如果一个实值、有限长的一维离散信号y∈RN的线性表示只包含K个基,则称此信号y是K-稀疏的,K称为信号y的稀疏度。
压缩感知(Compressed sensing):也称压缩采样(Compressive sampling)或稀疏采样(Sparse sampling),它通过开发信号的稀疏特性,在远小于Nyquist 采样率的条件下,使用随机采样获取信号的离散样本,然后通过非线性重构算法完美重建信号。
冗余数据字典:令实值、有限长一维离散信号y的线性表示为y=Dx,D∈Rm×n称为一个数据字典(或者称为词典),其列向量称为数据字典的原子。如果数据字典D中的原子刚好能够张成n维欧式空间,则数据字典D是完备的,称D为完备数据字典;如果m≥n,则称数据字典D为冗余数据字典,此时线性方程组y=Dx中方程的个数小于未知数的个数,方程是欠定的。
框架:在平方可求和空间l2(Z2)中的序列集合{ψmn}组成一个框架,若存在两个正的常数A和B(0<A≤B<∞)使得对于所有 f(t)∈L2(R)恒成立。其中<f,ψmn>表示函数f(t)与ψmn(t)的内积,正常数A和B分别称为框架的下边界和上边界。令B/A≈1组成一框架,若B/A≈1,则称ψmn为紧凑框架(snug frame),特别地,当A=B时,称ψmn为紧致框架(tight frame)。框架是影响稀疏矩阵重构的重要概念。

Claims (7)

1.一种冗余数据数据字典压缩感知视频目标跟踪方法,其特征在于:包括以下步骤:
(1)、提取视频目标特征;
(2)、根据视频目标特征对数据字典初始化;
(3)、根据数据字典对视频目标建模;
(4)、冗余数据字典下的压缩感知观测;
(5)、压缩感知跟踪;
(6)、数据字典更新;
(7)、输出结果。
2.根据权利要求1所述的跟踪方法,其特征在于:步骤(1)中的目标特征包括目标可见光与红外图像的局部二值模式特征,红外图像的灰度直方图、可见光图像的hsv直方图、以及红外与可见光双通道图像的低阶不变矩和紧密性特征。
3.根据权利要求2所述的跟踪方法,其特征在于:步骤(2)中的数据字典初始化方法为:
以弹性矩形区域描述动态刚性目标,记第一帧目标矩形区域的中心点坐标为g1,与此对应,根据此矩形区域提取的图像特征按列堆叠形成的特征向量记为
t(g1)=[p1(g1),p2(g1),…,pk(g1)]T,k=1,…m
其中pk(g1)为第k个特征,m为所采用的特征的个数,随后,在目标中心g1的基础上加上一个[0,1]上正态分布的随机值以产生Nt-1个摄动中心gi,i=2,…,Nt-1,其中Nt是目标模板集中包含的特征向量的个数,以这些摄动中心为中心,提取相同大小矩形区域的特征值,与t(g1)一起组成初始目标模板集并引入单位矩阵I=[i1,i2,…im]∈Rm×m来跟踪干扰,与初始目标模板集组成矩阵T'=[T,I],对该矩阵进行奇异值分解得到初始数据字典D=[d1…dn]∈Rm×n(m>>n),d1…dn为字典的列向量,n为字典的行维,即字典中列向量的个数,Rm×m表示m×m的实数矩阵。
4.根据权利要求3所述的跟踪方法,其特征在于:步骤(3)中,使跟踪目标y∈Rm,基于初始数据字典得到
<mrow> <mi>y</mi> <mover> <mo>=</mo> <mo>^</mo> </mover> <mi>D</mi> <mi>x</mi> <mo>=</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> <msub> <mi>d</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <msub> <mi>d</mi> <mn>2</mn> </msub> <mo>+</mo> <mo>...</mo> <mo>+</mo> <msub> <mi>x</mi> <mi>n</mi> </msub> <msub> <mi>d</mi> <mi>n</mi> </msub> <mo>=</mo> <mo>&amp;lsqb;</mo> <mi>T</mi> <mo>,</mo> <mi>I</mi> <mo>&amp;rsqb;</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>x</mi> <mi>t</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>x</mi> <mi>e</mi> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>
其中x1,x2,…xn为各分量的表示系数,x=[x1,x2,…xn]即目标y在字典D张成子空间下的系数表示,这些表示系数可分为xt和xe两个类别,(Nt维实数矩阵)称为目标系数向量,xe∈Rm为噪声系数向量。
5.根据权利要求4所述的跟踪方法,其特征在于:
步骤(4)中压缩感知观测的方法为,在数据字典D中,对一个索引集令DΛ表示从D中按索引Λ抽取相应列向量组成的m×|Λ|的子矩阵,Ω(DΛ)是由DΛ的列向量张成的子空间,PΛ为一个正交投影,定义支撑集以提取原信号x中的s列,使这s列最大化程度近似原信号,并记录构成此s列的索引值;通过定义一个势为s的集合SD(x,s)来近似这个支撑集,|SD(x,s)|=s且仅需满足
<mrow> <mo>|</mo> <mo>|</mo> <msub> <mi>P</mi> <mrow> <msub> <mi>&amp;Lambda;</mi> <mrow> <mi>o</mi> <mi>p</mi> <mi>t</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>s</mi> <mo>)</mo> </mrow> </mrow> </msub> <mi>x</mi> <mo>-</mo> <msub> <mi>P</mi> <mrow> <mo>|</mo> <msub> <mi>S</mi> <mi>D</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>s</mi> <mo>)</mo> </mrow> <mo>|</mo> </mrow> </msub> <mi>x</mi> <mo>|</mo> <msub> <mo>|</mo> <mn>2</mn> </msub> <mo>&amp;le;</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;epsiv;</mi> <mn>1</mn> </msub> <mo>|</mo> <mo>|</mo> <msub> <mi>P</mi> <mrow> <msub> <mi>&amp;Lambda;</mi> <mrow> <mi>o</mi> <mi>p</mi> <mi>t</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>s</mi> <mo>)</mo> </mrow> </mrow> </msub> <mi>x</mi> <mo>|</mo> <msub> <mo>|</mo> <mn>2</mn> </msub> <mo>,</mo> <msub> <mi>&amp;epsiv;</mi> <mn>2</mn> </msub> <mo>|</mo> <mo>|</mo> <mi>x</mi> <mo>-</mo> <msub> <mi>P</mi> <mrow> <msub> <mi>&amp;Lambda;</mi> <mrow> <mi>o</mi> <mi>p</mi> <mi>t</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>s</mi> <mo>)</mo> </mrow> </mrow> </msub> <mi>x</mi> <mo>|</mo> <msub> <mo>|</mo> <mn>2</mn> </msub> <mo>)</mo> </mrow> </mrow>
其中ε12≥0为足够小的常数。
6.根据权利要求5所述的跟踪方法,其特征在于:
步骤(5)中的压缩感知跟踪的方法为,基于粒子滤波框架,取状态转移分布函数p(st|st-1)服从高斯分布,并以图像的仿射变换来描述连续两帧中目标的运动,目标的状态变量定义为st=(α1234,tx,ty),其中(α1234)是形变参数,(tx,ty)是2D平移参数,st表示当前帧的状态,st-1为前一帧的状态,粒子的相似度通过压缩感知观测值之间的范式距离来度量,对于视频的每一帧,基于冗余数据字典的压缩感知跟踪算法的流程包括以下步骤:
基于可见光与红外帧图像,高斯随机观测矩阵Φ∈Rd×m,数据字典D
(5.1)获得前一帧目标压缩感知观测值
(5.2)根据状态传输方程产生粒子Ns为粒子的个数,本方法取Ns=300,表示第k帧中产生的第i个粒子;
(5.3)对于每个粒子,按照下述方法计算相似度:
1>根据粒子得到候选目标,提取候选目标的特征向量;
2>以高斯随机矩阵采样获得各候选目标的压缩感知观测值zi=Θxi
Θ=ΦD为观测矩阵与字典的乘积矩阵;
3>计算残差
4>根据残差得到各粒子的观测相似度
(5.4)根据相似度li对粒子重采样;
(5.5)采用均方差(MSE)方法估计当前帧状态
(5.6)压缩采样对应区域的特征,得到
(5.7)使用信号空间压缩感知基追踪算法重新解算获得跟踪结果
(5.8)更新数据字典;
(5.9)输出跟踪结果更新的状态更新后的数据字典D'k
7.根据权利要求6所述的跟踪方法,其特征在于:
步骤(6)中的数据字典更新方法为,引入Bhattacharyya系数,跟踪结果与数据字典原子tk间的Bhattacharyya系数为
<mrow> <mi>&amp;rho;</mi> <mrow> <mo>(</mo> <mover> <mi>y</mi> <mo>^</mo> </mover> <mo>,</mo> <msub> <mi>t</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msqrt> <mrow> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mi>i</mi> </msub> <msub> <mi>k</mi> <msub> <mi>k</mi> <mi>i</mi> </msub> </msub> </mrow> </msqrt> </mrow>
其典型取值一般落于(0,1)区间内,值越大与tk的相似度越高,将目标与数据字典中各原子之间的Bhattacharyya系数按从大到小的顺序排名,并记最小值对应的原子为tm,界定两个阈值τ12,当时,跟踪结果与现有模板间的相似度过高,为降低数据字典维度,不启用模板更新;若认为本次跟踪过程受到严重干扰,更新过程不执行,并重新求解目标;当时,使用替换tm,并进行奇异值分解构成更新后的数据字典D'。
CN201711212930.3A 2017-11-28 2017-11-28 一种冗余数据数据字典压缩感知视频目标跟踪方法 Pending CN107886525A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711212930.3A CN107886525A (zh) 2017-11-28 2017-11-28 一种冗余数据数据字典压缩感知视频目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711212930.3A CN107886525A (zh) 2017-11-28 2017-11-28 一种冗余数据数据字典压缩感知视频目标跟踪方法

Publications (1)

Publication Number Publication Date
CN107886525A true CN107886525A (zh) 2018-04-06

Family

ID=61775588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711212930.3A Pending CN107886525A (zh) 2017-11-28 2017-11-28 一种冗余数据数据字典压缩感知视频目标跟踪方法

Country Status (1)

Country Link
CN (1) CN107886525A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272533A (zh) * 2018-10-12 2019-01-25 山东大学 一种基于紧致表达的物体鲁棒跟踪装置及跟踪方法
CN110604547A (zh) * 2019-08-07 2019-12-24 王满 一种基于心脏功能动态监测与分析的数据压缩系统及方法
CN111368992A (zh) * 2018-12-26 2020-07-03 阿里巴巴集团控股有限公司 数据处理方法、装置及电子设备
CN116916033A (zh) * 2022-06-24 2023-10-20 澳门大学 一种基于随机自适应傅里叶分解的联合时空视频压缩方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722702A (zh) * 2012-05-28 2012-10-10 河海大学 多特征融合的粒子滤波视频目标跟踪方法
CN104299247A (zh) * 2014-10-15 2015-01-21 云南大学 一种基于自适应测量矩阵的视频目标跟踪方法
CN104392467A (zh) * 2014-11-18 2015-03-04 西北工业大学 一种基于压缩感知的视频目标跟踪方法
CN105631895A (zh) * 2015-12-18 2016-06-01 重庆大学 结合粒子滤波的时空上下文视频目标跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722702A (zh) * 2012-05-28 2012-10-10 河海大学 多特征融合的粒子滤波视频目标跟踪方法
CN104299247A (zh) * 2014-10-15 2015-01-21 云南大学 一种基于自适应测量矩阵的视频目标跟踪方法
CN104392467A (zh) * 2014-11-18 2015-03-04 西北工业大学 一种基于压缩感知的视频目标跟踪方法
CN105631895A (zh) * 2015-12-18 2016-06-01 重庆大学 结合粒子滤波的时空上下文视频目标跟踪方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
LIANG HE ET AL.: "Accelerated multi-feature based compressive sensing tracking", 《INFRARED PHYSICS & TECHNOLOGY》 *
LIANG HE ET AL.: "Multifeatures Based Compressive Sensing Tracking", 《MATHEMATICAL PROBLEMS IN ENGINEERING》 *
MARK A. DAVENPORT ET AL.: "Signal Space CoSaMP for Sparse Recovery With Redundant Dictionaries", 《IEEE TRANSACTIONS ON INFORMATION THEORY》 *
朱甦 等: "基于冗余字典的多特征压缩感知目标跟踪算法", 《兵工学报》 *
朱甦 等: "基于红外与可见光的鲁棒压缩感知跟踪方法", 《电光与控制》 *
石光明 等: "《压缩感知理论的工程应用方法》", 31 March 2017, 西安电子科技大学出版社 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272533A (zh) * 2018-10-12 2019-01-25 山东大学 一种基于紧致表达的物体鲁棒跟踪装置及跟踪方法
CN109272533B (zh) * 2018-10-12 2021-08-17 山东大学 一种基于紧致表达的物体鲁棒跟踪装置及跟踪方法
CN111368992A (zh) * 2018-12-26 2020-07-03 阿里巴巴集团控股有限公司 数据处理方法、装置及电子设备
CN111368992B (zh) * 2018-12-26 2023-08-22 阿里巴巴集团控股有限公司 数据处理方法、装置及电子设备
CN110604547A (zh) * 2019-08-07 2019-12-24 王满 一种基于心脏功能动态监测与分析的数据压缩系统及方法
CN110604547B (zh) * 2019-08-07 2021-12-21 王满 一种基于心脏功能动态监测与分析的数据压缩系统及方法
CN116916033A (zh) * 2022-06-24 2023-10-20 澳门大学 一种基于随机自适应傅里叶分解的联合时空视频压缩方法
CN116916033B (zh) * 2022-06-24 2024-05-10 澳门大学 一种基于随机自适应傅里叶分解的联合时空视频压缩方法

Similar Documents

Publication Publication Date Title
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
Tang et al. Compressed-domain ship detection on spaceborne optical image using deep neural network and extreme learning machine
Bashar et al. Exploring duplicated regions in natural images
Touati et al. Anomaly feature learning for unsupervised change detection in heterogeneous images: A deep sparse residual model
CN107886525A (zh) 一种冗余数据数据字典压缩感知视频目标跟踪方法
Ozkan et al. Cloud detection from RGB color remote sensing images with deep pyramid networks
CN110598613B (zh) 一种高速公路团雾监测方法
CN112990314B (zh) 基于改进孤立森林算法的高光谱图像异常检测方法及装置
CN112633202B (zh) 一种基于双重去噪联合多尺度超像素降维的高光谱图像分类算法
Sheng et al. Automatic smoke detection based on SLIC-DBSCAN enhanced convolutional neural network
CN112036381B (zh) 视觉跟踪方法、视频监控方法及终端设备
Vasamsetti et al. Automatic underwater moving object detection using multi‐feature integration framework in complex backgrounds
CN111368742A (zh) 基于视频分析的双黄交通标线的重建识别方法及系统
Sharifzadeh et al. Farm area segmentation in satellite images using deeplabv3+ neural networks
Thakur et al. Hybrid deep learning and machine learning approach for passive image forensic
Venu Object Detection in Motion Estimation and Tracking analysis for IoT devices
CN113449784B (zh) 基于先验属性图谱的图像多分类方法、装置、设备及介质
Sun et al. Vehicle classification approach based on the combined texture and shape features with a compressive DL
Ettabaa et al. Anomaly detection in hyperspectral imagery: an overview
Li et al. A fast foreground object detection algorithm using kernel density estimation
Gao et al. Robust background subtraction in traffic video sequence
Rezvanian et al. Patch-based sparse and convolutional autoencoders for anomaly detection in hyperspectral images
Attioui et al. Unsupervised change detection method in SAR images based on deep belief network using an improved fuzzy C‐means clustering algorithm
Kharchenko et al. Kernel density estimation for foreground detection in dynamic video processing for unmanned aerial vehicle application
CN112949422A (zh) 一种基于自监督光谱匹配框架的高光谱目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180406

RJ01 Rejection of invention patent application after publication