CN107424172B - 基于前景判别和圆形搜索方法的运动目标跟踪方法 - Google Patents

基于前景判别和圆形搜索方法的运动目标跟踪方法 Download PDF

Info

Publication number
CN107424172B
CN107424172B CN201710607532.5A CN201710607532A CN107424172B CN 107424172 B CN107424172 B CN 107424172B CN 201710607532 A CN201710607532 A CN 201710607532A CN 107424172 B CN107424172 B CN 107424172B
Authority
CN
China
Prior art keywords
target
search
tracking
circle
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710607532.5A
Other languages
English (en)
Other versions
CN107424172A (zh
Inventor
黄添强
林玲鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Normal University
Original Assignee
Fujian Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Normal University filed Critical Fujian Normal University
Priority to CN201710607532.5A priority Critical patent/CN107424172B/zh
Publication of CN107424172A publication Critical patent/CN107424172A/zh
Application granted granted Critical
Publication of CN107424172B publication Critical patent/CN107424172B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术领域，提出了一种基于前景判别和圆形搜索方法的运动目标跟踪方法。首先，采用前景判别PBAS方法搜索当前帧所有前景目标，利用图像感知哈希技术来描述目标特征与进行目标匹配，得到全局最优目标前景；然后，根据目标运动方向的不确定性和帧间目标运动的缓慢性，通过本发明提出的圆形搜索CS方法搜索当前帧目标周围局部最佳匹配位置；最后选取两者与目标模板相似度更高者为跟踪结果，并根据相似度阈值和重叠率阈值判断是否更新目标模板。本发明能有效的使用于跟踪各类目标,特别对非快速单目标的跟踪有较好的跟踪效果，在精度、准确率和实时性都有较好的跟踪优势。

Description

基于前景判别和圆形搜索方法的运动目标跟踪方法
技术领域
本发明涉及的是一种计算机视觉技术领域的目标跟踪方法，特别是一种基于前景判别(PBAS)和圆形搜索(CS)方法的运动目标跟踪方法。
背景技术
如今网络技术与数字图像技术日新月异，目标跟踪的应用范围越来越广，比如，在智能视频监控、人机交互、机器人视觉导航、虚拟现实、医学图像分析和视频压缩等领域中都有很大的理论意义和应用价值。所以，一种鲁棒的目标跟踪方法在其应用上占据了至关重要的作用。
根据以往学者的研究，视频目标跟踪可以依据不同条件进行对应的分类。按照目标个数可以将其分类为单目标跟踪和多目标跟踪。按照视频的帧图像性质不同，可以分为灰度视频跟踪和彩色视频跟踪。在目标跟踪过程中，所要面临的问题也是多种多样。如要处理目标外观的一系列变化，如尺度变化、旋转、超平面旋转、光照变化引起的目标颜色变化、非刚体形变、视角变化引起的外观变化等；当背景复杂多变时，要处理因背景复杂导致的建模难度增大的问题；当进行多目标跟踪时，要处理跟踪过程中多目标咬合阻塞的问题；也要处理由于相机不稳、相机帧频、传感器等原因造成运动目标模糊的问题等等。同时，依据运动目标的表达和相似性度量，可以对运动目标跟踪算法大致上分为四类：基于主动轮廓的跟踪、基于特征的跟踪、基于区域的跟踪和基于模型的跟踪。此四类跟踪算法的精度和鲁棒性很大程度上取决于对运动目标的表达和相似性度量的定义，跟踪算法的实时性取决于匹配搜索策略和滤波预测算法。
发明内容
本发明的目的是克服运动目标在发生遮挡、形变、旋转和光照等变化时会导致跟踪误差大甚至丢失以及传统跟踪算法实时性差的问题，提出了一种基于前景判别(PBAS)和圆形搜索(CS)方法的运动目标跟踪方法。本发明基于前景判别(PBAS，Pixel-BasedAdaptive Segmenter)的方法和圆形搜索(CS，Circular Search)方法相结合的策略，能够有效地应用于非快速单目标的跟踪，在精度、准确率和实时性都有较好的跟踪优势。
为实现本发明的目的采用的技术方案包括以下步骤：
步骤1，将视频转化为帧序列图像，并将转换后的帧图像灰度化，减少计算量；
步骤2，手动划定跟踪目标区域，建立目标模板的哈希特征描述算子；
步骤3，读取下一帧，并使用前景判别(PBAS)方法获取当前帧目标所在位置，作为匹配跟踪结果，并计算其哈希(Hash)值与目标模板哈希(Hash)值的相似度；
步骤4，使用圆形搜索(CS)方法获取当前帧目标所在位置，作为搜索跟踪结果，并计算其哈希(Hash)值与目标模板哈希(Hash)值的相似度；
步骤5，将匹配跟踪结果和搜索跟踪结果进行比较，取其与目标模板相似度更高者为当前帧目标位置；并计算跟踪结果的匹配相似度σframe和重叠率δ。若(δ>Tδ)∩(σframe<Tσ)，进行目标模板更新，其中，Tδ表示重叠率阈值，Tσ表示相似度阈值；若当前帧不是视频最后一帧，返回步骤3。
上述步骤1中，图像灰度化计算如下：
设每帧图像高为M，宽为N，在三维RGB颜色空间下，图像帧可表示为：
I(x,y)＝[R(x,y),G(x,y),B(x,y)]
x＝1,2,...,M；y＝1,2,...,N；
图像灰度化计算公式为：
I(x,y)＝0.299R(x,y)+0.587G(x,y)+0.114B(x,y)
x＝1,2,...,M；y＝1,2,...,N。
上述步骤2中，建立目标模板的哈希特征描述算子的步骤如下：
步骤2.1，将图像进行灰度处理，转化为256阶的灰度图，并采用中值滤波法去除图像噪声；
步骤2.2，通过采样处理，将图像分辨率置为32*32；
步骤2.3，将得到的32*32图片分成4个16*16小块；
步骤2.4，计算4个小块经过离散余弦变换(DCT变换)得到的DCT系数，分别选择各个系数矩阵的左上角4*4的低频系数，组成8*8的矩阵；其中，DCT变换计算公式如下：
Figure BDA0001358719770000021
0≤p≤M-1,0≤q≤N-1
Figure BDA0001358719770000022
上式中，Bpq称为矩阵Amn的DCT系数矩阵，图像矩阵的大小为M×N；
步骤2.5，计算8*8系数矩阵的均值，将大于或等于均值的矩阵元素置为1，否则置为0，得到量化后的8*8二维二进制矩阵；
步骤2.6，逐行读取8*8二维矩阵，得到长度为64的哈希二进制比特串。
上述步骤3中，所采取的前景判别算法使用的是基于像素的无参数模型(PBAS,Pixel-Based Adaptive Segmenter)方法。
上述步骤4中，所提出的CS方法步骤如下：
步骤4.1，以上一次目标中心为圆心，半径为2作圆，分别计算圆内13个搜索点代表的矩形框与目标模板的相似度，若最大相似度搜索点(MSP,Max Similar Point)属于内圆搜索点(ICSP,Inner Circle Search Point)，则进行步骤4.3；若MSP属于圆环搜索点(CRSP,Circular Ring Search Point)，进行步骤4.2；
步骤4.2，以当前找到的MSP所在位置作为新的圆心，得到新的搜索区域的13个搜索点，分别计算它们与目标模板的相似度，若MSP属于ICSP，则进行步骤4.3；若MSP属于CRSP，重复步骤4.2；
步骤4.3，以找到的MSP所在位置作为此次跟踪结果，即MSP所在位置为当前目标中心。
上述步骤5中，采用汉明距离计算匹配相似度，计算公式如下：
σframe＝HamDis(hi,hj)
其中，σframe表示相似度，hi,hj表示两个哈希值。
并采用以下公式计算重叠率，公式如下：
Figure BDA0001358719770000031
其中，δ表示重叠率，Rsearch表示搜索跟踪的结果，Rmatch表示搜索跟踪的结果，S代表包含跟踪结果的最小矩形框。
附图说明
图1为本发明的跟踪方法流程图；
图2为本发明的跟踪方法框架图；
图3为本发明中的图像哈希生成流程图；
图4为本发明中圆形搜索(CS)的13个搜索点位置及其搜索点分类示意图。
具体实施方式
下面将结合本发明实施例中的附图，详细叙述本发明的具体步骤和实施例。
图1，首先将视频转化为帧图像，在视频初始帧手动划定的跟踪目标区域，并建立目标模板的哈希特征描述算子；其次，使用PBAS方法作为匹配跟踪方法，获取当前帧中目标的匹配跟踪结果，并计算跟踪得到的目标Hash值与目标模板Hash值的相似度；再次，使用CS算法作为搜索跟踪算法，得到当前帧中目标的搜索跟踪结果，并计算跟踪得到的目标Hash值与目标模板Hash值的相似度；然后，将匹配跟踪结果和搜索跟踪结果进行比较，取其与目标模板相似度更高者为当前帧目标位置；最后，计算匹配跟踪与搜索跟踪的重叠率δ，并结合跟踪得到的目标与目标模板的相似度σframe，根据阈值判断条件(δ>Tδ)∩(σframe<Tσ)，更新目标模板，其中，Tδ＝0.7，Tσ＝10。
图2，描述了本发明根据搜索跟踪策略和匹配跟踪策略相结合的方法，并使用图像感知哈希描述目标特征，其中，搜索跟踪策略采用本发明提出的圆形搜索CS方法，其思想是根据目标运动方向的不确定性和帧间目标运动的缓慢性，对跟踪目标周边区域(以目标为中心半径为2的圆)的13个跟踪点进行判断搜索；匹配跟踪策略使用的是PBAS方法，它引入了控制论的思想和背景复杂程度的度量方法，使得前景判断阈值和背景模型更新率可以根据背景复杂程度自适应调整，保证了前景提取的正确率和鲁棒性。
图3，描述了图像感知哈希的生成流程，首先，将要处理的图片进行灰度化处理，并用中值滤波去除图像噪声，达到预处理的效果；其次，将图片通过采样处理置为大小为32*32的图像；然后，将32*32的图像分割得到4个16*16的小块，提取4个小块经过DCT变换得到的DCT系数，选取左上角4*4的低频系数，组成8*8的系数矩阵；再次，量化8*8矩阵得到二维二进制矩阵，逐行读取此矩阵得到长度为64的哈希二进制比特串，即为此图片的图像感知Hash值。
图4，CS方法对13个搜索点进行归类：圆环搜索点(CRSP,Circular Ring SearchPoint)和内圆搜索点(ICSP,Inner Circle Search Point)，△表示CRSP，□表示ICSP。同时，它们具备以下两个性质：
性质1.CRSP的四连通区域上的搜索点不全在大圆内。
性质2.ICSP的四连通区域上的搜索点全在大圆内。
实例1
本实例应用基于PBAS和CS的运动目标跟踪方法对《Girl》视频进行跟踪，图1给出了本发明所述的跟踪流程图，现参照图1介绍具体操作过程：
第一步，将待跟踪视频《Girl》转换为图像序列，共472帧，图像分辨率为128×96。为了减少计算量，将待跟踪视频转化为帧序列图像，并将转换后的帧图像灰度化。
第二步，使用鼠标手动标定要跟踪的目标区域，将此作为目标模板，并使用图像感知哈希方法计算目标模板的Hash值，如图3所示。
第三步，读入下一帧，使用前景判别PBAS方法获取当前帧的前景，分别计算这些前景的Hash值，并与目标模板的Hash进行比较，取汉明距离最小的前景为当前帧匹配跟踪的结果。
第四步，以上一帧目标中心位置为圆心，使用本发明提出的CS方法，计算半径为2的圆内13个搜索点对应的目标区域的Hash值，若MSP属于CRSP，则以找到的MSP所在位置作为新的圆心，计算新的CS搜索区域的13个搜索点，直到MSP属于ICSP，则停止循环，并将该位置作为CS的跟踪结果，计算该搜索跟踪结果的Hash值。
第五步，将匹配跟踪结果和搜索跟踪结果的Hash值与目标模板Hash进行汉明距离计算，取汉明距离更小者为当前帧目标位置；并计算包含匹配跟踪结果和搜索跟踪结果的最小矩形框的重叠率，若汉明距离小于10并且重叠率大于0.7，进行目标模板更新。若视频帧未结束，则返回第三步，并实时输出本次跟踪结果。

Claims (1)

1.一种基于前景判别和圆形搜索方法的运动目标跟踪方法，其特征在于，包括以下步骤：
步骤1，将视频转化为帧序列图像，并将转换后的帧图像灰度化；
步骤2，手动划定跟踪目标区域，建立目标模板的哈希特征描述算子；
步骤3，读取下一帧，并使用前景判别PBAS方法获取当前帧目标所在位置，作为匹配跟踪的结果，并计算其Hash值与目标模板Hash值的相似度；
步骤4，使用圆形搜索方法获取当前帧目标所在位置，作为搜索跟踪的结果，并计算其Hash值与目标模板Hash值的相似度，其中，所提出的圆形搜索方法步骤如下：
步骤4.1，以上一帧目标中心为圆心，半径为2作圆，圆内包含13个搜索点；对13个搜索点进行分类，再以目标为圆心，半径为1作圆，此圆包含的5个点为内圆搜索点，其它8个在圆环中的点为圆环搜索点；
步骤4.2，分别计算圆内13个搜索点代表的矩形框与目标模板的相似度，若最大相似度搜索点属于内圆搜索点，则进行步骤4.4；若最大相似度搜索点属于圆环搜索点，进行步骤4.3；
步骤4.3，以当前找到的最大相似度搜索点所在位置作为新的圆心，得到新的搜索区域的13个搜索点，分别计算它们与目标模板的相似度，若最大相似度搜索点属于内圆搜索点，则进行步骤4.4；若最大相似度搜索点属于圆环搜索点，重复步骤4.3；
步骤4.4，以找到的最大相似度搜索点所在位置作为此次搜索跟踪的结果，即最大相似度搜索点所在位置为当前目标新的中心；
步骤5，将匹配跟踪结果和搜索跟踪结果进行比较，取其与目标模板相似度更高者为当前帧目标位置；并计算跟踪结果的匹配相似度σframe和重叠率δ；若(δ＞Tδ)∩(σframe＜Tσ)，进行目标模板更新，其中，Tδ表示重叠率阈值，Tσ表示相似度阈值；若当前帧不是视频最后一帧，返回步骤3。
CN201710607532.5A 2017-07-24 2017-07-24 基于前景判别和圆形搜索方法的运动目标跟踪方法 Expired - Fee Related CN107424172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710607532.5A CN107424172B (zh) 2017-07-24 2017-07-24 基于前景判别和圆形搜索方法的运动目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710607532.5A CN107424172B (zh) 2017-07-24 2017-07-24 基于前景判别和圆形搜索方法的运动目标跟踪方法

Publications (2)

Publication Number Publication Date
CN107424172A CN107424172A (zh) 2017-12-01
CN107424172B true CN107424172B (zh) 2020-09-25

Family

ID=60430360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710607532.5A Expired - Fee Related CN107424172B (zh) 2017-07-24 2017-07-24 基于前景判别和圆形搜索方法的运动目标跟踪方法

Country Status (1)

Country Link
CN (1) CN107424172B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3884466A4 (en) 2018-12-25 2021-12-08 Zhejiang Dahua Technology Co., Ltd. IMAGE SEGMENTATION SYSTEMS AND METHODS
CN109766953B (zh) * 2019-01-22 2021-07-13 中国人民公安大学 对象识别方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000222574A (ja) * 1999-01-28 2000-08-11 Hitachi Ltd ディジタル画像の線状領域抽出方法および画像処理装置
CN105741325A (zh) * 2016-03-15 2016-07-06 上海电气集团股份有限公司 一种跟踪移动目标的方法及移动目标跟踪设备
CN105989611A (zh) * 2015-02-05 2016-10-05 南京理工大学 带有阴影去除的分块感知哈希跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000222574A (ja) * 1999-01-28 2000-08-11 Hitachi Ltd ディジタル画像の線状領域抽出方法および画像処理装置
CN105989611A (zh) * 2015-02-05 2016-10-05 南京理工大学 带有阴影去除的分块感知哈希跟踪方法
CN105741325A (zh) * 2016-03-15 2016-07-06 上海电气集团股份有限公司 一种跟踪移动目标的方法及移动目标跟踪设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Real-time visual tracking using compressive sensing;H.Li et al;《CVPR 2011》;20110822;全文 *
图像感知哈希算法及应用;曾勇;《中国优秀硕士学位论文全文数据库信息科技辑》;20150630(第9期);第30-32页 *
基于图像感知哈希的行人跟踪算法;方正涛等;《电子科技》;20161206;第29卷(第11期);全文 *
基于计算机视觉的复杂场景下目标跟踪研究;贺文骅;《中国博士学位论文全文数据库信息科技辑》;20160315(第3期);第43-48页 *
融合图像感知哈希技术的运动目标追踪;李子印等;《中国图象图形学报》;20150630;第20卷(第6期);引言、第1-4节和图1-4 *

Also Published As

Publication number Publication date
CN107424172A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
CN109377530B (zh) 一种基于深度神经网络的双目深度估计方法
CN108090919B (zh) 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法
CN106780576B (zh) 一种面向rgbd数据流的相机位姿估计方法
CN109949255B (zh) 图像重建方法及设备
CN107358623B (zh) 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪方法
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN110232389B (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
Ding et al. Spatio-temporal recurrent networks for event-based optical flow estimation
CN110782477A (zh) 基于序列图像的运动目标快速检测方法、计算机视觉系统
CN107169994B (zh) 基于多特征融合的相关滤波跟踪方法
CN111028292B (zh) 一种亚像素级图像匹配导航定位方法
CN105405138B (zh) 基于显著性检测的水面目标跟踪方法
CN110930411B (zh) 一种基于深度相机的人体分割方法及系统
CN106408597A (zh) 基于邻域熵和一致性检测的sar图像配准方法
CN112364865B (zh) 一种复杂场景中运动小目标的检测方法
CN107358189B (zh) 一种基于多视目标提取的室内环境下物体检测方法
KR20140138576A (ko) 이미지 윤곽 묘사 시스템 및 방법
CN110751635A (zh) 一种基于帧间差分和hsv颜色空间的口腔检测方法
CN107798329B (zh) 基于cnn的自适应粒子滤波目标跟踪方法
CN107424172B (zh) 基于前景判别和圆形搜索方法的运动目标跟踪方法
CN116612468A (zh) 基于多模态融合与深度注意力机制的三维目标检测方法
CN112163990A (zh) 360度图像的显著性预测方法及系统
CN109241981B (zh) 一种基于稀疏编码的特征检测方法
CN102324043B (zh) 基于dct的特征描述算子及优化空间量化的图像匹配方法
CN108062523B (zh) 一种红外远小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200925