CN106815863B - 一种基于双向鉴别信息的目标跟踪方法 - Google Patents

一种基于双向鉴别信息的目标跟踪方法 Download PDF

Info

Publication number
CN106815863B
CN106815863B CN201710034876.1A CN201710034876A CN106815863B CN 106815863 B CN106815863 B CN 106815863B CN 201710034876 A CN201710034876 A CN 201710034876A CN 106815863 B CN106815863 B CN 106815863B
Authority
CN
China
Prior art keywords
target
tracking
rectangle
particle
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710034876.1A
Other languages
English (en)
Other versions
CN106815863A (zh
Inventor
向北海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Youxiang Technology Co Ltd
Original Assignee
Hunan Youxiang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Youxiang Technology Co Ltd filed Critical Hunan Youxiang Technology Co Ltd
Priority to CN201710034876.1A priority Critical patent/CN106815863B/zh
Publication of CN106815863A publication Critical patent/CN106815863A/zh
Application granted granted Critical
Publication of CN106815863B publication Critical patent/CN106815863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提出了一种基于双向鉴别信息的目标跟踪方法，通过一种改进的粒子滤波方法对跟踪参数进行精确估计，对每个粒子进行操作时，采用了目标和背景的双向鉴别信息，因此每个粒子能够提供更多的信息，本发明方法在不需要太多数目粒子的条件下依然可以达到很好的跟踪效果。本发明提出的方法复杂度小，实时性强，能够有效的对目标视频进行跟踪，适用于各种视频监控系统。

Description

一种基于双向鉴别信息的目标跟踪方法
技术领域
本发明属于图像处理、视频监控和计算机视觉的技术领域，特指一种基于双向鉴别信息的目标跟踪方法。
背景技术
随着智能交通、平安城市等一系列智能化概念的提出，智能视频监控技术成为计算机视觉领域一个新兴的应用方向和备受关注的前沿课题。其中在视频图像序列中对运动目标进行精确跟踪已成为该领域的一个热点研究方向。
在视频图像中进行目标频跟踪是指在连续相关的视频图像间，基于形状、纹理、色彩等有关特征对指定目标创建对应的匹配关系。目前常用的跟踪方法主要有基于区域信息的跟踪方法、基于特征信息的跟踪方法、基于形变模板的跟踪方法以及基于贝叶斯推断滤波技术的跟踪方法。其中基于滤波技术的跟踪方法可以通过预学习的状态模型很好的适应各种不同复杂环境的变化问题，并且采用了递归的迭代运算处理，计算效率有了很大提高。因此基于滤波技术的方法受到了各国学者广泛且深入的研究，成为目标跟踪领域的主流方法之一。
目前基于滤波技术的跟踪方法主要包括均值滤波跟踪、粒子滤波跟踪、卡尔曼滤波跟踪等，虽然各种方法很多，但在一些智能视频的实际应用场景下，跟踪效果依然差强人意，无法满足实际需求。
发明内容
本发明的目的在于提出一种基于双向鉴别信息的目标跟踪方法，其创新性在于通过一种改进的粒子滤波方法对跟踪参数进行精确估计，对每个粒子进行操作时，采用了目标和背景的双向鉴别信息，因此每个粒子能够提供更多的信息，本发明方法在不需要太多数目粒子的条件下依然可以达到很好的跟踪效果。
为实现上述技术目的，本发明的技术方案是，
一种基于双向鉴别信息的目标跟踪方法，包括以下步骤：
S1对目标进行视频拍摄，得到目标的视频序列图像{Pn(x,y)|n＝1,2,…N}。
S2在第一帧图像对目标跟踪进行初始化。
手动选择包含目标的一个矩形，记为目标矩形A(x,y)，目标矩形大小为a×b。然后以目标矩形A(x,y)的中心像素(x0,y0)为中心，再选择一个大小为(2a)×(2b)的矩形，这个矩形区域包含目标矩形A(x,y)，记属于这个矩形区域且不属于目标矩形的区域为B(x,y)，B(x,y)表示周围的背景信息。
S3在下一帧图像进行基于双向鉴别信息的目标跟踪；
S31选取M个粒子，每个粒子表示一个跟踪矩形，且第n+1帧的跟踪矩形的大小和第n帧的目标矩形的大小完全相同，所以每个粒子通过3个参数表示，其中表示跟踪矩形的权重，表示跟踪矩形的中心坐标，标号m∈{1,…,M}表示粒子的序号。
S32已知第n帧的目标矩形A(x,y)，中心像素为(x0,y0)以及周围的背景区域B(x,y)；接下来在第n+1帧图像上，以(x0,y0)为中心，随机选取50个位置作为粒子的中心坐标：
其中ε1,ε2均为[-1,1]内的随机数，β是一个常数，表示单帧像素偏移的范围。然后给每个粒子的权重赋初值，初始权重设为1/M。
S33计算每个粒子代表的跟踪矩形和前一帧的目标矩形的相似程度。
记此粒子所表示的跟踪矩形为TA(x,y)，采用S2中相同的方法可以得到其周围的背景区域，记为TB(x,y)。
首先通过直方图计算A(x,y)和TA(x,y)的相似度corrA，方法为：将灰度空间划分成32份，分别计算A(x,y)和TA(x,y)的直方图，记为Hist1和Hist2；Hist1和Hist2均为长度为32的一维的向量，然后采用巴氏系数(Bhattacharyya系数)计算Hist1和Hist2相似度。
然后通过上述计算A(x,y)和TA(x,y)的相似度corrA相同的方法可以计算出B(x,y)和TB(x,y)的相似度，记为corrB。
corrA和corrB两个相似度分别代表目标和背景的信息度，融合两者的信息，得到一个最终的相似度信息：corrF＝corrA-corrB。
接着根据相似度计算当前粒子的观测概率密度其中δ是个常数；然后更新当前粒子的权重：
S34对于所有的M个粒子都进行S31至S33的操作，计算出新的权重，然后再进行归一化得到最终权重
S35所有粒子的权重都进行更新后，通过权重对每个粒子所代表的跟踪矩形中心进行加权，可以得到最终的跟踪矩形中心：
也即获得目标在第n+1帧图像的位置。
S4从第2帧开始，每一帧都通过S3中的方法计算出与之相邻的前一帧对应的跟踪参数{(Txn,Tyn)|n＝1,…,N-1},这样可以获得目标在每一帧的跟踪结果。
在S31中，选取粒子数量M＝50。
在S32中，β取值50。
在S33中，采用巴氏系数(Bhattacharyya系数)计算Hist1和Hist2相似度，方法如下：
其中，Hist1和Hist2均为长度为32的一维的向量，所以Hist1(u)表示里面的每个向量。
本发明的有益效果是：
本发明提出了一种基于双向鉴别信息的目标跟踪方法，通过一种改进的粒子滤波方法对跟踪参数进行精确估计，对每个粒子进行操作时，采用了目标和背景的双向鉴别信息，因此每个粒子能够提供更多的信息，本发明方法在不需要太多数目粒子的条件下依然可以达到很好的跟踪效果。本发明提出的方法复杂度小，实时性强，能够有效的对目标视频进行跟踪，适用于各种视频监控系统。
附图说明
图1本发明的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
参照图1，本发明提出了一种基于双向鉴别信息的目标跟踪方法，具体步骤如下：
S1，通过某种摄像工具如摄像机对目标进行视频拍摄，得到目标的视频序列图像{Pn(x,y)|n＝1,2,…N}；
S2，在第一帧图像对目标跟踪进行初始化，告之被跟踪目标的初始位置。
该步骤通过手工指定的方式完成。手工选择包含目标的一个矩形，记为目标矩形A(x,y)，目标矩形大小为a×b。然后以目标矩形A(x,y)的中心像素(x0,y0)为中心，再选择一个大小为(2a)×(2b)的矩形，这个矩形区域明显更大且包含目标矩形A(x,y)，记属于这个矩形区域且不属于目标矩形的区域为B(x,y)。那么矩形B(x,y)表示周围的背景信息。
一般跟踪算法里面只使用目标矩形A(x,y)的信息，不考虑其他相关信息。而本发明不仅对目标矩形A(x,y)进行建模，也使用周围的背景信息B(x,y)。同时采用目标和非目标(即背景)信息，可以有效的鉴别双方的差异信息，得到更好的跟踪效果。
基于粒子滤波的跟踪方法是一个常用的跟踪框架，粒子滤波器具有较好的平滑性、收敛性和鲁棒性，能逼近状态的最优估计。理论上，当粒子的数目为无穷多时，精度达到最优。但与此同时，粒子的数目太多会严重影响计算的效率。本发明借鉴了粒子滤波跟踪框架的思想，对其进行一定的改进，同时采用目标和非目标(背景)的双向鉴别信息，因此在不需要太多数目的粒子的条件下依然可以达到很好的跟踪效果。
下面以相邻两帧图像第n(≥1)帧和第n+1帧为例，详细介绍如何用粒子滤波的思想进行目标跟踪，也即根据第n帧的目标矩形的位置，计算第n+1帧的跟踪矩形的位置。
S31为了提高效率，选取粒子数量M＝50，每个粒子表示一个跟踪矩形，且第n+1帧的跟踪矩形的大小和第n帧的目标矩形的大小完全相同，所以每个粒子通过3个参数表示，其中表示跟踪矩形的权重，表示跟踪矩形的中心坐标，标号m∈{1,…,M}表示粒子的序号。
S32已知第n帧的目标矩形A(x,y)，中心像素为(x0,y0)以及周围的背景区域B(x,y)。接下来在第n+1帧图像上，以(x0,y0)为中心，随机选取50个位置作为粒子的中心坐标：
其中ε1,ε2均为[-1,1]内的随机数，β是一个常数，表示单帧像素偏移的范围，这里取值50。然后给每个粒子的权重赋初值，初始权重设为1/M；
根据上述步骤，每个粒子的初始权重和位置信息都已经得到。
S33接下来计算每个粒子代表的跟踪矩形和前一帧(即第n帧)的目标矩形的相似程度。相似程度越高的粒子赋予较大的权值，反之权值较小。下面任取一个粒子为例说明本发明的具体求得相似程度和权重的步骤。
记此粒子所表示的跟踪矩形为TA(x,y)，采用S2中相同的方法可以得到周围的背景区域，记为TB(x,y)。
首先通过直方图计算A(x,y)和TA(x,y)的相似度corrA。为了简化计算，将灰度空间划分成32份，分别计算A(x,y)和TA(x,y)的直方图，记为Hist1和Hist2。Hist1和Hist2均为长度为32的一维的向量，然后采用Bhattacharyya系数计算它们的相似度，定义如下：
然后通过相同的方法可以计算出B(x,y)和TB(x,y)的相似度，记为corrB。
corrA和corrB两个相似度分别代表目标和背景的信息度，融合两者的信息，可以得到一个最终的相似度信息：corrF＝corrA-corrB。由于相似度是通过目标和背景的信息融合而成，含有双向鉴别信息，所以准确度较高，使得单个粒子能够表征更多的信息，这样使得本发明在不需要太多数目的粒子的条件下依然可以达到很好的跟踪效果。
接着根据相似度计算当前粒子的观测概率密度其中δ是个常数。然后更新当前粒子的权重：
S34对于所有的50个粒子都进行上述操作，计算出新的权重，然后再进行归一化得到最终权重
S35所有粒子的权重都进行更新后，通过权重对每个粒子所代表的跟踪矩形中心进行加权，可以得到最终的跟踪矩形中心：
也即获得目标在第n+1帧图像的位置。
通过上述方法，可以计算出相邻两帧图像之间的跟踪结果。这样从第2帧开始，每一帧都通过上述步骤计算出与之相邻的前一帧对应的跟踪参数{(Txn,Tyn)|n＝1,…,N-1}。这样可以获得目标在每一帧的跟踪结果。
以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非由实施例的具体描述所界定。

Claims (4)

1.一种基于双向鉴别信息的目标跟踪方法，其特征在于，包括以下步骤：
S1对目标进行视频拍摄，得到目标的视频序列图像{Pn(x,y)|n＝1,2,…N}；
S2在第一帧图像对目标跟踪进行初始化；
手动选择包含目标的一个矩形，记为目标矩形A(x,y)，目标矩形大小为a×b；然后以目标矩形A(x,y)的中心像素(x0,y0)为中心，再选择一个大小为(2a)×(2b)的矩形，这个矩形区域包含目标矩形A(x,y)，记属于这个矩形区域且不属于目标矩形的区域为B(x,y)，B(x,y)表示周围的背景信息；
S3在下一帧图像进行基于双向鉴别信息的目标跟踪；
S31选取M个粒子，每个粒子表示一个跟踪矩形，且第n+1帧的跟踪矩形的大小和第n帧的目标矩形的大小完全相同，所以每个粒子通过3个参数表示，其中表示跟踪矩形的权重，表示跟踪矩形的中心坐标，标号m∈{1,…,M}表示粒子的序号；
S32已知第n帧的目标矩形A(x,y)，中心像素为(x0,y0)以及周围的背景区域B(x,y)；接下来在第n+1帧图像上，以(x0,y0)为中心，随机选取50个位置作为粒子的中心坐标：
其中ε1,ε2均为[-1,1]内的随机数，β是一个常数，表示单帧像素偏移的范围；然后给每个粒子的权重赋初值，初始权重设为1/M；
S33计算每个粒子代表的跟踪矩形和前一帧的目标矩形的相似程度；
记此粒子所表示的跟踪矩形为TA(x,y)，采用S2中相同的方法可以得到其周围的背景区域，记为TB(x,y)；
首先通过直方图计算A(x,y)和TA(x,y)的相似度corrA，方法为：将灰度空间划分成32份，分别计算A(x,y)和TA(x,y)的直方图，记为Hist1和Hist2；Hist1和Hist2均为长度为32的一维的向量，然后采用巴氏系数计算Hist1和Hist2相似度；
然后通过上述计算A(x,y)和TA(x,y)的相似度corrA相同的方法可以计算出B(x,y)和TB(x,y)的相似度，记为corrB；
corrA和corrB两个相似度分别代表目标和背景的信息度，融合两者的信息，得到一个最终的相似度信息：corrF＝corrA-corrB；
接着根据相似度计算当前粒子的观测概率密度其中δ是个常数；然后更新当前粒子的权重：
S34对于所有的M个粒子都进行S31至S33的操作，计算出新的权重，然后再进行归一化得到最终权重
S35所有粒子的权重都进行更新后，通过权重对每个粒子所代表的跟踪矩形中心进行加权，可以得到最终的跟踪矩形中心：
也即获得目标在第n+1帧图像的位置；
S4从第2帧开始，每一帧都通过S3中的方法计算出与之相邻的前一帧对应的跟踪参数{(Txn,Tyn)|n＝1,…,N-1},这样可以获得目标在每一帧的跟踪结果。
2.根据权利要求1所述的基于双向鉴别信息的目标跟踪方法，其特征在于，S31中，选取粒子数量M＝50。
3.根据权利要求1所述的基于双向鉴别信息的目标跟踪方法，其特征在于，S32中，β取值50。
4.根据权利要求1所述的基于双向鉴别信息的目标跟踪方法，其特征在于，S33中，采用巴氏系数计算Hist1和Hist2相似度，方法如下：
CN201710034876.1A 2017-01-17 2017-01-17 一种基于双向鉴别信息的目标跟踪方法 Active CN106815863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710034876.1A CN106815863B (zh) 2017-01-17 2017-01-17 一种基于双向鉴别信息的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710034876.1A CN106815863B (zh) 2017-01-17 2017-01-17 一种基于双向鉴别信息的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN106815863A CN106815863A (zh) 2017-06-09
CN106815863B true CN106815863B (zh) 2019-05-31

Family

ID=59111376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710034876.1A Active CN106815863B (zh) 2017-01-17 2017-01-17 一种基于双向鉴别信息的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN106815863B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4991595B2 (ja) * 2008-02-21 2012-08-01 株式会社東芝 パーティクルフィルタを使用する追跡システム
CN101877134B (zh) * 2010-05-07 2012-11-14 北京航空航天大学 一种机场监视视频目标鲁棒跟踪方法
CN102982555B (zh) * 2012-11-01 2016-12-21 江苏科技大学 基于自适应流形粒子滤波的制导红外小目标跟踪方法
CN103440645B (zh) * 2013-08-16 2016-04-27 东南大学 一种基于自适应粒子滤波和稀疏表示的目标跟踪算法
CN106204648B (zh) * 2016-07-05 2019-02-22 西安电子科技大学 一种基于背景剔除的目标跟踪方法及装置

Also Published As

Publication number Publication date
CN106815863A (zh) 2017-06-09

Similar Documents

Publication Publication Date Title
Xiong et al. Spatiotemporal modeling for crowd counting in videos
CN108876723B (zh) 一种灰度目标图像的彩色背景的构建方法
CN110188835B (zh) 基于生成式对抗网络模型的数据增强行人再识别方法
CN108198201A (zh) 一种多目标跟踪方法、终端设备及存储介质
CN107256225A (zh) 一种基于视频分析的热度图生成方法及装置
CN105279769B (zh) 一种联合多特征的层次粒子滤波跟踪方法
CN103735269B (zh) 一种基于视频多目标跟踪的高度测量方法
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
CN110163818A (zh) 一种用于海事无人机的低照度视频图像增强方法
CN108280844B (zh) 一种基于区域候选框跟踪的视频目标定位方法
CN104598883A (zh) 一种多摄像机监控网络中目标再识别的方法
Zhu et al. Multi-drone-based single object tracking with agent sharing network
CN111199556A (zh) 基于摄像头的室内行人检测和跟踪方法
Lee et al. Depth estimation from light field by accumulating binary maps based on foreground–background separation
CN103065282A (zh) 一种基于稀疏线性系统的图像融合方法
CN107609571A (zh) 一种基于lark特征的自适应目标跟踪方法
Zou et al. Microarray camera image segmentation with Faster-RCNN
CN112465021A (zh) 基于图像插帧法的位姿轨迹估计方法
Ubina et al. Intelligent underwater stereo camera design for fish metric estimation using reliable object matching
Guo et al. Asynchronous trajectory matching-based multimodal maritime data fusion for vessel traffic surveillance in inland waterways
CN111582036A (zh) 可穿戴设备下基于形状和姿态的跨视角人物识别方法
Guo et al. Heterogeneous twin dehazing network for visibility enhancement in maritime video surveillance
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN106815863B (zh) 一种基于双向鉴别信息的目标跟踪方法
CN104200473B (zh) 一种基于图像背景剪除的动态视觉测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant