CN107527370B - 一种基于camshift的目标跟踪方法 - Google Patents

一种基于camshift的目标跟踪方法 Download PDF

Info

Publication number
CN107527370B
CN107527370B CN201710618186.0A CN201710618186A CN107527370B CN 107527370 B CN107527370 B CN 107527370B CN 201710618186 A CN201710618186 A CN 201710618186A CN 107527370 B CN107527370 B CN 107527370B
Authority
CN
China
Prior art keywords
window
hist
win
mean
camnew
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710618186.0A
Other languages
English (en)
Other versions
CN107527370A (zh
Inventor
李宝
秦华旺
赵玉鑫
金钰
田杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou Xizhong Technology Co ltd
Nanjing University of Science and Technology
Original Assignee
Yangzhou Xizhong Technology Co ltd
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangzhou Xizhong Technology Co ltd, Nanjing University of Science and Technology filed Critical Yangzhou Xizhong Technology Co ltd
Priority to CN201710618186.0A priority Critical patent/CN107527370B/zh
Publication of CN107527370A publication Critical patent/CN107527370A/zh
Application granted granted Critical
Publication of CN107527370B publication Critical patent/CN107527370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于camshift的目标跟踪方法。初始化搜索窗；计算搜索区域内的颜色概率分布图，即反向投影图；使用meanshift方法，获得目标新的大小和位置，即新的窗口；在下一帧视频图像中用前述获得的窗口作为新的搜索窗；以meanshift方法获得的窗口为中心，自适应的调整搜索窗的大小，并通过颜色直方图估算理想状况下实际的目标窗口，最后比较meanshift方法结果、调整后的搜索窗以及估算的目标窗口内的模型与实际目标模型的相似性，选择最相似的模型所对应的窗口作为结果。本发明提高了目标跟踪的稳定性。

Description

一种基于camshift的目标跟踪方法
技术领域
本发明属于图像处理与目标跟踪技术领域，具体涉及一种基于camshift的目标跟踪方法。
背景技术
目标识别与跟踪一直是计算机视觉领域的热点研究问题，其在军事、安防、交通等领域具有重要的价值。在实际环境中，运动目标的姿态通常是变化的，另外目标周围环境通常是复杂的，这些都会对跟踪结果产生较大的干扰。
均值漂移(meanshift)算法以及在此基础上提出的camshift(continuouslyadaptive mean-shift)算法由于其快速性而得到广泛的应用。尤其是camshift算法能很好的适应目标的形变问题。但是当目标周围的环境比较复杂时，将会对camshift算法的结果造成干扰，通常会导致跟踪窗口发散，进而造成目标丢失。
发明内容
本发明提出一种基于camshift的目标跟踪方法，提高了目标跟踪的稳定性。
为了解决上述技术问题，本发明提供一种基于camshift的目标跟踪方法，步骤如下：
步骤1，初始化搜索窗；
步骤2，计算搜索区域内的颜色概率分布图，即反向投影图；
步骤3，使用meanshift方法，获得目标新的大小和位置，即新的窗口；
步骤4，在下一帧视频图像中用步骤3获得的窗口作为新的搜索窗。
本发明与现有技术相比，其显著优点在于，本发明基于现有的camshift方法设计一种稳定性更好的改进的camshift跟踪方法，提高了camshift方法的稳定性，从而提高了目标跟踪能力。
附图说明
图1是传统的基于camshift的目标跟踪方法流程图。
图2是本发明改进后基于camshift的目标跟踪方法流程图。
具体实施方式
容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明基于camshift的目标跟踪方法的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。
结合图2，本发明改进后基于camshift的目标跟踪方法步骤如下：
步骤1，初始化搜索窗。
在HSV颜色空间内对目标进行建模，目标采用色度(Hue)直方图进行描述，具体步骤如下。
(1.1)将搜索窗内图像转换为HSV空间图像。
(1.2)从HSV空间图像中提取色度(Hue)分量。
(1.3)对色度(Hue)分量进行统计，建立色度(Hue)的颜色直方图hist_target，具体是：将颜色空间均分为若干个颜色区间，每个小区间成为直方图的一个组(bin)，统计落在每一个组(bin)中的像素点的个数。
步骤2，计算搜索窗的颜色概率分布图，即反向投影图。
具体包括以下步骤：
(2.1)将待搜索区域(通常为整个画面)内图像转换为HSV空间图像。
(2.2)建立一个与待搜索区域同样大小的单通道图像用于保存得到的反向投影图。
(2.3)获取HSV空间图像中每个像素点的色度(Hue)值，根据色度(Hue)值找到该值在颜色直方图hist_target中所在的组(bin)，将反向投影图中与HSV空间图像相同位置处的值用该组(bin)对应的值替代。将值归一化到[0,255]之间，最终可以得到反向投影图。
步骤3，使用meanshift方法，获得目标新的大小和位置(窗口)。
具体包括以下步骤：
(3.1)根据传统的camshift算法将得到两个窗口，其一为传统camshift中meanshift算法运行后得到的窗口win_mean，其二为传统camshift算法得到的最终窗口win_cam。
(3.2)移动最终窗口win_cam使该窗口中心与窗口win_mean的中心重合得到窗口win_camNew，即窗口win_camNew的中心和窗口win_mean的中心相同，窗口win_camNew的大小和窗口win_cam大小相等。
(3.3)判断窗口win_mean和窗口win_camNew两者之间的关系(包含或者相交)，若为包含关系则计算待搜索区域内色度(Hue)图像中与窗口win_mean相同区域的颜色直方图hist_mean，计算待搜索区域内色度(Hue)图像中与win_camNew相同区域的颜色直方图hist_camNew，并跳转步骤(3.4)；若为相交关系则，得到相交区域窗口win_intersection，计算待搜索区域内色度(Hue)图像中与窗口win_intersection相同区域的颜色直方图hist_intersection，跳转步骤(3.6)。以上所建直方图均和目标直方图hist_target具有相同的组(bin)数、组距和范围。
(3.4)计算颜色直方图hist_mean和颜色直方图hist_camNew的差(对应组(bin)的值相减)得到颜色直方图hist_camsubmean或者颜色直方图hist_meansubcam，若win_mean包含于win_camNew则为颜色直方图hist_camsubmean，反之则为颜色直方图hist_meansubcam，以保证直方图中所有组(bin)的值均为正。
(3.5)根据步骤(3.4)所得到的颜色直方图估计理想状态下目标的大小，从而得到窗口win_estimation，并计算待搜索区域内色度(Hue)图像中和窗口win_estimation相同区域的颜色直方图hist_estimation。具体步骤如下：
选择窗口win_mean和窗口win_camNew中较小的一个矩形窗口对应的直方图作为基准直方图，将其命名为hist1，将步骤(3.4)得到的直方图命名为hist2，设n为直方图对应的组(bin)数，hist1k，hist2k分别为直方图hist1和hist2对应的第k组(bin)的值。则有对应于第k组(bin)的特征的密度：
Figure BDA0001361047610000031
设对应于第k组(bin)的密度比为Retiok，则有：
Figure BDA0001361047610000032
式中可分为2部分
Figure BDA0001361047610000033
和
Figure BDA0001361047610000034
中k值对应于{k|bin1k！＝0},
Figure BDA0001361047610000035
对应于k＝0,1，...，n-1。设S_mean和S_camNew分别对应于窗口win_mean和win_camNew的面积，Retiokmax为Retiok所能取得的最大值，min(x,y)表示x,y中较小的值，max(x,y)表示x,y中较大的值则有:
Figure BDA0001361047610000036
令：
Figure BDA0001361047610000041
设nk为所有满足bin1k！＝0的k值的数目则有：
Figure BDA0001361047610000042
设窗口win_small为窗口win_mean和窗口win_camNew中较小的一个，其左上角坐标为(win_small.x,win_small.y)，宽和高分别为win_small.width、win_small.height。设窗口win_search为待搜索区域，其左上角坐标为(win_search.x,win_search.y)，宽和高分别为win_search.width、win_search.height。设矩形窗口win_estimation和窗口win_small相似(具有相同的长宽比)，其左上角坐标为(win_estimation.x,win_estimation.y)，宽和高分别为win_estimation.width、win_estimation.height，又设center为窗口win_small的中心点，坐标为(center.x,center.y)则有：
center.x＝win_small.x+win_small.width*0.5
center.y＝win_small.y+win_small.height*0.5
Figure BDA0001361047610000043
Figure BDA0001361047610000044
Figure BDA0001361047610000045
Figure BDA0001361047610000046
(3.6)若窗口win_mean和窗口win_camNew两者为包含关系时，比较颜色直方图hist_mean，hist_camNew，hist_estimation选择三者中的最大值对应的窗口作为改进的camshift算法的结果。若窗口win_mean和窗口win_camNew两者为相交关系时，比较颜色直方图hist_mean，hist_camNew，hist_intersection选择三者中的最大值对应的窗口作为改进的camshift算法的结果
步骤4，在下一帧视频图像中用步骤3的结果(窗口)重新初始化搜索窗的大小和位置，再跳转到步骤2继续进行。

Claims (3)

1.一种基于camshift的目标跟踪方法，其特征在于，步骤如下：
步骤1，初始化搜索窗；
步骤2，计算搜索区域内的颜色概率分布图，即反向投影图；
步骤3，使用meanshift方法，获得目标新的大小和位置，即新的窗口；
步骤4，在下一帧视频图像中用步骤3获得的窗口作为新的搜索窗；
步骤3所述使用meanshift方法，获得目标新的大小和位置的过程为：
(4.1)根据camshift方法获得窗口win_mean和窗口win_cam；
(4.2)移动窗口win_cam使该窗口中心与窗口win_mean的中心重合得到窗口win_camNew，即窗口win_camNew的中心和窗口win_mean的中心相同，窗口win_camNew的大小和窗口win_cam大小相等；
(4.3)判断窗口win_mean与窗口win_camNew两者之间的关系，
若为包含关系，则计算待搜索区域内色度Hue图像中与窗口win_mean相同区域的颜色直方图hist_mean，计算待搜索区域内色度Hue图像中与窗口win_camNew相同区域的颜色直方图hist_camNew，并跳转至步骤(4.4)；
若为相交关系，则得到相交区域窗口win_intersection，计算待搜索区域内色度Hue图像中与窗口win_intersection相同区域的颜色直方图hist_intersection，跳转至步骤(4.6)；
(4.4)计算颜色直方图hist_mean与颜色直方图hist_camNew的差得到颜色直方图hist_camsubmean或者颜色直方图hist_meansubcam，若win_mean包含于win_camNew，则为颜色直方图hist_camsubmean，反之则为颜色直方图hist_meansubcam；
(4.5)根据步骤(4.4)所得到的颜色直方图估计理想状态下目标的大小，从而得到窗口win_estimation，并计算待搜索区域内色度Hue图像中和窗口win_estimation相同区域的颜色直方图hist_estimation；
(4.6)若窗口win_mean与窗口win_camNew两者为包含关系，比较颜色直方图hist_mean、hist_camNew以及hist_estimation，从中选择最大值对应的窗口作为camshift方法运行的结果；若窗口win_mean和窗口win_camNew两者为相交关系，比较颜色直方图hist_mean、hist_camNew以及hist_intersection，从中选择最大值对应的窗口作为camshift方法运行的结果。
2.根据权利要求1所述基于camshift的目标跟踪方法，其特征在于，步骤1的具体步骤为：
(2.1)将搜索窗内的图像转换为HSV空间图像；
(2.2)从所述HSV空间图像中提取色度Hue分量；
(2.3)对色度Hue分量进行统计，建立色度Hue的颜色直方图hist_target，具体为：将颜色空间均分为若干个颜色区间，每个区间成为直方图的一个组bin，统计落在每一个组bin中的像素点的个数。
3.根据权利要求2所述基于camshift的目标跟踪方法，其特征在于，步骤2所述计算搜索区域内的颜色概率分布图的过程为：
(3.1)将待搜索区域内图像转换为HSV空间图像；
(3.2)建立一个与待搜索区域同样大小的单通道图像用于保存得到的反向投影图；
(3.3)获取HSV空间图像中每个像素点的色度Hue值，根据色度Hue值找到该值在颜色直方图hist_target中所在的组bin，将反向投影图中与HSV空间图像相同位置处的值用该组bin对应的值替代，将该值归一化到[0,255]之间得到反向投影图。
CN201710618186.0A 2017-07-26 2017-07-26 一种基于camshift的目标跟踪方法 Active CN107527370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710618186.0A CN107527370B (zh) 2017-07-26 2017-07-26 一种基于camshift的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710618186.0A CN107527370B (zh) 2017-07-26 2017-07-26 一种基于camshift的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN107527370A CN107527370A (zh) 2017-12-29
CN107527370B true CN107527370B (zh) 2021-02-23

Family

ID=60680079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710618186.0A Active CN107527370B (zh) 2017-07-26 2017-07-26 一种基于camshift的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN107527370B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804929B (zh) * 2018-03-03 2019-02-26 环玺信息科技（上海）有限公司 涉密计算机文件内容维护系统
CN108460264B (zh) * 2018-03-03 2018-12-28 南京锐艺网络传媒有限公司 涉密计算机文件内容维护方法
US11205274B2 (en) * 2018-04-03 2021-12-21 Altumview Systems Inc. High-performance visual object tracking for embedded vision systems
CN108846789A (zh) * 2018-05-31 2018-11-20 中国科学院合肥物质科学研究院 一种基于GPU的高速CAMShift方法
CN109345566A (zh) * 2018-09-28 2019-02-15 上海应用技术大学 运动目标跟踪方法及系统
CN113313734B (zh) * 2021-05-21 2022-07-19 武汉工程大学 一种基于线性外推预测的运动目标跟踪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860729A (zh) * 2010-04-16 2010-10-13 天津理工大学 一种用于全方位视觉的目标跟踪方法
US8374388B2 (en) * 2007-12-28 2013-02-12 Rustam Stolkin Real-time tracking of non-rigid objects in image sequences for which the background may be changing
CN104866821A (zh) * 2015-05-04 2015-08-26 南京大学 基于机器学习的视频物体跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8280158B2 (en) * 2009-10-05 2012-10-02 Fuji Xerox Co., Ltd. Systems and methods for indexing presentation videos

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8374388B2 (en) * 2007-12-28 2013-02-12 Rustam Stolkin Real-time tracking of non-rigid objects in image sequences for which the background may be changing
CN101860729A (zh) * 2010-04-16 2010-10-13 天津理工大学 一种用于全方位视觉的目标跟踪方法
CN104866821A (zh) * 2015-05-04 2015-08-26 南京大学 基于机器学习的视频物体跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于 Camshift 算法的运动目标检测;丁志辉;《电脑知识与技术》;20091225;10532-10533 *

Also Published As

Publication number Publication date
CN107527370A (zh) 2017-12-29

Similar Documents

Publication Publication Date Title
CN107527370B (zh) 一种基于camshift的目标跟踪方法
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
CN110414559B (zh) 智能零售柜商品目标检测统一框架的构建方法及商品识别方法
CN105678310A (zh) 红外热图像轮廓提取方法及装置
CN110782477A (zh) 基于序列图像的运动目标快速检测方法、计算机视觉系统
CN112184759A (zh) 一种基于视频的运动目标检测与跟踪方法及系统
KR101409810B1 (ko) 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법
Bagheri et al. Real time object detection using a novel adaptive color thresholding method
CN109903265B (zh) 一种图像变化区域侦测阀值设定方法、系统及其电子装置
Zhou et al. A robust object tracking algorithm based on SURF
CN105184771A (zh) 一种自适应运动目标检测系统及检测方法
CN112364865A (zh) 一种复杂场景中运动小目标的检测方法
CN104715476A (zh) 一种基于直方图幂函数拟合的显著目标检测方法
Phadke et al. Illumination invariant mean-shift tracking
CN110322479B (zh) 一种基于时空显著性的双核kcf目标跟踪方法
CN111161219B (zh) 一种适用于阴影环境的鲁棒单目视觉slam方法
CN113205494A (zh) 基于自适应尺度图像块加权差测量的红外小目标检测方法和系统
Yang et al. Contrast limited adaptive histogram equalization for an advanced stereo visual slam system
CN111860161B (zh) 一种目标遮挡检测方法
CN114820718A (zh) 一种视觉动态定位跟踪算法
CN108389219B (zh) 一种基于多峰值判定的弱小目标跟踪丢失重检方法
CN106960418A (zh) 视频图像中雨雪去除的算法
Hu et al. Motion objects detection based on higher order statistics and hsv color space
CN110796050A (zh) 一种无人机巡检过程中目标物体的识别方法及相关装置
Takada et al. Human tracking in crowded scenes using target information at previous frames

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant