CN105046721B - 基于Grabcut及LBP跟踪质心矫正模型的Camshift算法 - Google Patents

基于Grabcut及LBP跟踪质心矫正模型的Camshift算法 Download PDF

Info

Publication number
CN105046721B
CN105046721B CN201510464986.2A CN201510464986A CN105046721B CN 105046721 B CN105046721 B CN 105046721B CN 201510464986 A CN201510464986 A CN 201510464986A CN 105046721 B CN105046721 B CN 105046721B
Authority
CN
China
Prior art keywords
lbp
camshift
grabcut
tracking
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510464986.2A
Other languages
English (en)
Other versions
CN105046721A (zh
Inventor
洪向共
郑熙映
薛志毅
肖惠梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang University
Original Assignee
Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang University filed Critical Nanchang University
Priority to CN201510464986.2A priority Critical patent/CN105046721B/zh
Publication of CN105046721A publication Critical patent/CN105046721A/zh
Application granted granted Critical
Publication of CN105046721B publication Critical patent/CN105046721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

一种基于Grabcut及LBP跟踪质心矫正模型的Camshift算法,通过定值增强跟踪视频流和Grabcut前景分割将目标物体从环境中分离出来,使Camshift得到纯净的直方图。同时,Kalman滤波器辅助Camshift,对目标运动轨迹进行预测。在跟踪期间,对目标框内图像进行LBP变换,得到模板以及当前LBP直方图数据,通过比对得到判断系数和框体变化情况,若判定为相近色物体遮挡,则执行S‑Grabcut算法,将质心进行搬移,然后继续正常跟踪。此算法与传统Camshift算法相比很大程度减小了背景噪声的干扰,并且加入Kalman滤波器解决了快速移动和遮挡问题。同时,质心矫正模型很好地解决了相近色物体遮挡带来的干扰。实验结果表明,该算法的鲁棒性优良,满足实时性及准确跟踪的要求,使复杂环境下对目标的跟踪更加稳定。

Description

基于Grabcut及LBP跟踪质心矫正模型的Camshift算法
技术领域
本发明属于计算机视觉实时跟踪领域。
背景技术
视觉跟踪在图像处理和计算机视觉具有非常重要的作用,是目前研究的热门方向之一。运动目标跟踪广泛应用于军事和民用等许多领域,例如视觉制导、无人机追踪、安全监测、公共场景监控、智能交通等。但摄像头采集图片非常容易受到光照变化、物体运动速度、遮挡以及相近色等诸多因素的干扰。目前对于运动目标的跟踪常用的方法有粒子滤波、压缩感知、背景差法、相邻帧差法、光流法以及自适应均值漂移算法(Camshift)等。但这些方法各有优缺点,例如:光流法运用差分但算法实时性差,在复杂环境中容易跟踪失败;粒子滤波的抗干扰能力显著,但存在粒子退化现象,稳定性差,背景及相邻帧差法则不适用于背景变换的情况。自适应均值漂移算法(Camshift)是利用概率密度的梯度爬升来寻找局部最优,具有无需参数、高效、快速模板匹配的特性,以及在此基础上拓展的优越性。但是基于颜色直方图抗干扰能力差,检测目标有限,使得Camshift算法在面对复杂背景、遮挡问题及相似颜色背景时,容易出现目标跟踪丢失以及识别错误等情况。
发明内容
本发明的目的是提出一种基于Grabcut(图像分割)及LBP(局部二值模式)跟踪质心矫正模型的Camshift算法,以解决跟踪过程中背景噪声以及相近色物体干扰问题,本算法可以进行实时性跟踪并且大幅提高传统Camshift算法跟踪的稳定性及准确性。
所述算法基于Grabcut及LBP,在图像定值增强基础上通过Grabcut目标分割来得到目标纯净的直方图,并通过LBP跟踪质心矫正模型,将相近色混合后的质心进行搬移至目标未重叠区域,作为下一帧迭代计算的依据。
本发明包括以下步骤。
(S01)选定目标物体,提取目标物体实时图像的RGB三通道均值,计算后得到增强系数z对跟踪视频当前帧图像进行增强,增加目标与背景的对比度,便于在Grabcut分割后,Camshift得到的直方图能有效排除大部分的背景噪声。
(S02)加入Grabcut前景分割将目标物体分离出来,单独对目标物体进行框选,得到目标物体纯净的颜色直方图。
(S03)开始执行Camshift跟踪算法并通过Kalman滤波器辅助跟踪。
(S04)对当前标记框内图像进行LBP处理,并待标记框稳定后,长度和宽度变化范围在第一帧长宽0.2倍大小之内,提取稳定后的第三帧框内图片作为跟踪目标的模板,并得到对应的LBP直方图数据。
(S05)通过对模板以及当前框内LBP直方图数据比对,得到判别系数a,若a为0且框体变大,长度和宽度大于稳定条件下长宽的1.2倍,则表明当前框内LBP纹理与模板有较大出入,认为有相近色物体遮挡,此时执行质心矫正程序(S06);若不满足此条件则表明当前框内LBP纹理与模板近似相等,目标无遮挡,跟踪正常进行,程序转入(S03)。
(S06)利用S-Grabcut算法得到目标未被相近色物体覆盖的区域,计算未被相近色物体覆盖的区域质心,将其定义为下一帧Camshift迭代的目标质心,然后程序转入(S03)。
本发明提出一种基于Grabcut及LBP跟踪质心矫正模型的Camshift算法,进行运动目标的跟踪检测。通过定值增强跟踪视频流,并在Grabcut前景分割下得到目标纯净的彩色直方图,以此减小一定程度的背景噪声干扰。建立LBP跟踪质心矫正模型,通过识别相近色物体干扰,运用S-Grabcut算法将下一帧Camshift迭代的目标质心搬移至当前帧目标的未重叠区域。通过实验证明此模型在防止相近色干扰方面收到很好的效果,不仅在跟踪的稳健性方面效果较好,而且也能满足实时性跟踪的要求。最后引入Kalman滤波器,来预测目标的运动轨迹,保证目标严重遮挡或运动速度过快时,仍可以实现有效跟踪,提高了整个系统的鲁棒性。
附图说明
图1是本发明算法的步骤流程图。
图2是增强效果对比示意图,其中(a)是增强前的图像,(b)是增强后的图像。
图3是Grabcut处理映射流程以及同原始框选方法对比图,其中(a)是传统Camshift提取目标直方图,(b)是传统框选效果。
图4是矫正模型的模板提取过程,其中(a)是干扰色未进入时提取模板,(b)是提取框选目标,(c)是LBP处理,(d)是得到模板直方图。
图5是矫正模型的实时处理过程,其中(a)是干扰色进入,(b)是LBP处理,(c)是对应直方图,(d)是特征点匹配及连线,(e)是S-Grabcut分割。
具体实施方式
结合附图,通过下文的述详细说明,可更清楚地理解本发明的上述及其他特征和优点。
本发明算法主要针对Camshift与Kalman融合算法在背景噪声影响和相近色干扰问题上无法稳定达到准确实时跟踪效果的基础上进行研究及改进。
采用Grabcut分割算法在增强后的视频流中分割出目标得到目标纯净直方图,减小跟踪偏差。而为基础的Camshift算法将图像由RGB颜色空间转化到HSV颜色空间(H表示色度,S表示饱和度,V表示亮度),我们采用H分量(对光照的鲁棒性强)的直方图建立颜色概率目标模型,将原始图像的像素值用直方图中相应像素的统计量代替,就得到颜色概率分布图。
Camshift算法主要分为以下三个步骤back projection算法、meanshift算法、自适应调整算法。在本算法中进行如下处理(为上述步骤S03部分):
(1)在当前帧增强的基础上,Camshift在Grabcut分割的目标物体上得到纯净直方图。
(2)利用Camshift算法反向投影图生成根据反向投影图并作为Camshift初始化的跟踪模板。
(3)进行Meanshift算法来寻找质心,Camshift自适应调整。
(4)Camshift与Kalman根据此直方图进行迭代计算,并直接在增强后的视频中进行跟踪而后将得到的标记框位置映射到原始视频中去。
图1是本发明算法的步骤流程图,本算法是按照此流程进行的。
首先选定需要跟踪的目标物体,先提取目标物体的RGB三通道均值,计算后得到增强系数对跟踪视频当前帧图像进行增强。
R(i,j)=Z*r(i,j)
G(i,j)=Z*g(i,j)
B(i,j)=Z*b(i,j)
i≤W
j≤H
其中,Z代表增强系数,r1,g1,b1代表目标物体RGB三通道分量均值,W与H分别代表整体图片的宽高,r(i,j),g(i,j),b(i,j)分别代表原始图像对应点的灰度值。增强效果对比图如图2所示。
然后,在当前帧增强的基础上人为选定目标物体通过Grabcut进行前景分割操作,通过直接框选目标来得到目标初始的T,背景像素Tb,前景像素为Tu,并初始化αn的值,若αn=1,αn∈Tu为前景区域像素,若αn=0,为背景色αn∈Tb。以此建立高斯混合模型GMM。
(1)得到Tu中每个像素n的GMM参数Kn:
(2)根据像素Z获得高斯混合模型参数GMM
θ=argminθU(αn,kn,θ,zn)
(3)进行分割使得能量函数E最小达到参数估计:
(4)返回迭代步骤1中直到能量函数E收敛为止。
目标物体分割出来后,得到目标纯净直方图,并作为Camshift初始化的跟踪模板。接着Camshift与Kalman根据此直方图进行迭代计算,并直接在增强后的视频中进行跟踪而后将得到的标记框位置映射到原始视频中去。图3为Grabcut处理映射流程,其中图3(a)是传统Camshift提取目标直方图,(b)是传统框选效果。
在跟踪目标过程中,难免会遇到相近色的干扰,而原始的Camshift无法对相近色物体干扰做出判断,因而会导致跟踪物体错乱的现象,降低了跟踪的准确性。为了解决此问题,我们构建一个LBP跟踪质心矫正模型。LBP纹理特征具有旋转不变性、灰度不变性以及对光照变化的鲁棒性,是继Camshift依靠的H色调分量之后的又一个稳定的度量。下面是模型建立的过程:
首先,在增强视频流中检测标记框大小何时趋于稳定,检测到三帧内框体大小变化在误差范围内(长度和宽度变化范围在第一帧长宽0.2倍大小之内)后提取稳定后的第三帧作为跟踪目标的LBP模板,并得到对应的直方图,每一个特征的统计量会按值大小的不同存放在不同的bin中,接着统计出不同bin对应的数值。然后我们实时对当前帧所得到标记框内的目标物体进行与模板相同的处理,得到每一帧框内图像LBP直方图及对应不同bin的数值。
Bmax=Max(B0i)
Δbi=|B0i-Bni|
i≤N
其中,N代表bin的个数,i代表第几个bin,B代表对应bin的数值,a为判决系数,B0i代表第i帧图像框选LBP直方图第0个bin对应的数值;Bmax代表所有帧图像框选LBP直方图第0个bin对应的数值的最大值。
S-Grabcut分割算法是指根据Surf算法对模版和当前框选图像的匹配特征点,而后将匹配点连接成曲线,同当前框选一起作为Grabcut初始化分割的参数,最后通过Grabcut将目标未重叠区域作为前景分割出来,并计算得到质心。
根据传统Camshift与Kalman融合算法特性分析,当出现相近色物体非完全遮挡并慢速移动时,框体并没有阻止它进入,反而将其判决成目标物体的一部分。根据这一现象,我们通过以上计算,在获取目标稳定LBP模板以后,通过实时对框选图像LBP直方图相似度分析得到判决系数a的值,为1则判断无遮挡且跟踪正常,为0则认为有物体遮挡。当判决系数为0时,如果直接对此后每一帧框选图像做S-Grabcut分割操作,则会大大增加算法的复杂度,增加计算量,在实际测试时会占用大量的内存,影响实时性。为了解决这个问题并且降低功耗,我们通过对三帧内框体大小的变化来判断是否执行S-Grabcut分割。
在实验中我们知道,当非相近色物体进入时,框体随着遮挡物进入而缩小,而相近色物体进入时,呈包容状态,框体变大。这样我们设定当a值为0且三帧内框体缩小,则模型无反馈,跟踪按照原有Camshift流程进行。当a值为0且三帧内框体变大(长度和宽度大于稳定条件下长宽的1.2倍),则认为需执行S-Grabcut分割,此时对当前帧框选图片与之前保存的目标物体模板进行S-Grabcut分割,将相近色未重叠的部分提取出来并计算出该部分的质心位置(x1,y1),而后将当前帧原本Camshift与Kalman计算出质心点(x0,y0)用求出来的坐标(x1,y1)进行矫正替换,作为下一帧迭代的起始点。图4所示即为矫正模型的模板提取过程。图5则是矫正模型的实时处理过程。对于整个过程,简言之,就是将混合后的质心矫正调整至未重叠目标区域,以此消除相近色物体的干扰并很大程度上减少多次图片匹配分割所带来的内存消耗,提升算法的实时性和准确性。

Claims (6)

1.基于Grabcut及LBP跟踪质心矫正模型的Camshift方法,其特征是包括以下步骤:
(S01):选定目标物体,提取目标物体实时图像的RGB三通道均值,计算后得到增强系数Z对跟踪视频当前帧图像进行增强;
(S02):加入Grabcut前景分割将目标物体分离出来,单独对目标物体进行框选,得到目标物体纯净的颜色直方图;
(S03):开始执行Camshift跟踪算法并通过Kalman滤波器辅助跟踪;
(S04):对当前标记框内图像进行LBP处理,并待标记框稳定后,长度和宽度变化范围在第一帧长宽0.2倍大小之内,提取稳定后的第三帧框内图片作为跟踪目标的模板,并得到对应的LBP直方图数据;
(S05):通过对模板以及当前框内LBP直方图数据比对,得到判别系数a,若a为0且框体变大,长度和宽度大于稳定条件下长宽的1.2倍,则表明当前框内LBP纹理与模板有较大出入,认为有相近色物体遮挡,此时执行质心矫正步骤(S06);若不满足此条件则表明当前框内LBP纹理与模板近似相等,目标无遮挡,跟踪正常进行,程序转入步骤(S03);
(S06):利用S-Grabcut算法得到目标未被相近色物体覆盖的区域,计算出未被相近色物体覆盖的区域质心,将其定义为下一帧Camshift迭代的目标质心,然后程序转入步骤(S03)。
2.根据权利要求1所述的基于Grabcut及LBP跟踪质心矫正模型的Camshift方法,其特征是步骤(S01)所述的增强方法是首先提取目标物体实时图像的RGB三通道均值,计算后得到增强系数Z对跟踪视频当前帧图像进行增强,通过增强系数来增加目标物体与背景的对比度,计算公式如下:
R(i,j)=Z*r(i,j)
G(i,j)=Z*g(i,j)
B(i,j)=Z*b(i,j)
i≤W
j≤H
其中,Z代表增强系数,r1,g1,b1代表目标物体RGB三通道分量均值,W与H分别代表整体图片的宽高,r(i,j),g(i,j),b(i,j)分别代表原始图像对应点的灰度值。
3.根据权利要求1所述的基于Grabcut及LBP跟踪质心矫正模型的Camshift方法,其特征是步骤(S02)所述的Grabcut前景分割是引入GMM模型,在之前增强的基础上人工先给定一定区域的目标或者背景,然后执行分割;得到目标物体再提取颜色直方图。
4.根据权利要求1所述的基于Grabcut及LBP跟踪质心矫正模型的Camshift方法,其特征是步骤(S03)所述的Kalman滤波器辅助Camshift跟踪算法是针对Camshift跟踪容易丢失目标问题,加入了Kalman滤波来预测下一个可能存在的位置,对Camshift形成标记框的运动轨迹进行预测,跟踪丢失的几率降低。
5.根据权利要求1所述的基于Grabcut及LBP跟踪质心矫正模型的Camshift方法,其特征是步骤(S05)所述的判别系数a的计算方法如下:
Bmax=Max(B0i)
Δbi=|B0i-Bni|
i≤N
其中,N代表bin的个数,i代表第几个bin,B代表对应bin的数值,a为判决系数,B0i代表第i帧图像框选LBP直方图第0个bin对应的数值;Bmax代表所有帧图像框选LBP直方图第0个bin对应的数值的最大值。
6.根据权利要求1所述的基于Grabcut及LBP跟踪质心矫正模型的Camshift方法,其特征是步骤(S06)所述的S-Grabcut算法是通过Surf得到模板与当前框选图像的匹配特征点,而后将匹配点连接成曲线,然后Grabcut根据这些曲线定义目标未重叠区域为前景进行分割,进而得到其质心。
CN201510464986.2A 2015-08-03 2015-08-03 基于Grabcut及LBP跟踪质心矫正模型的Camshift算法 Active CN105046721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510464986.2A CN105046721B (zh) 2015-08-03 2015-08-03 基于Grabcut及LBP跟踪质心矫正模型的Camshift算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510464986.2A CN105046721B (zh) 2015-08-03 2015-08-03 基于Grabcut及LBP跟踪质心矫正模型的Camshift算法

Publications (2)

Publication Number Publication Date
CN105046721A CN105046721A (zh) 2015-11-11
CN105046721B true CN105046721B (zh) 2018-08-17

Family

ID=54453238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510464986.2A Active CN105046721B (zh) 2015-08-03 2015-08-03 基于Grabcut及LBP跟踪质心矫正模型的Camshift算法

Country Status (1)

Country Link
CN (1) CN105046721B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952295A (zh) * 2017-03-17 2017-07-14 公安部第三研究所 一种基于视觉的旋翼无人机跟踪运动目标的实现方法
CN107767402A (zh) * 2017-10-26 2018-03-06 五邑大学 一种基于Camshift算法的视频跟踪小车系统及方法
CN110120062B (zh) * 2018-02-06 2023-07-07 广东虚拟现实科技有限公司 图像处理方法及装置
CN110348277A (zh) * 2018-11-30 2019-10-18 浙江农林大学 一种基于自然背景下的树种图像识别方法
CN110298298B (zh) * 2019-06-26 2022-03-08 北京市商汤科技开发有限公司 目标检测及目标检测网络的训练方法、装置及设备
CN110675428B (zh) * 2019-09-06 2023-02-28 鹏城实验室 面向人机交互的目标跟踪方法、装置、计算机设备
CN111479062B (zh) * 2020-04-15 2021-09-28 上海摩象网络科技有限公司 目标对象的跟踪框显示方法、设备及手持相机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101324956A (zh) * 2008-07-10 2008-12-17 上海交通大学 基于均值漂移的抗遮挡运动目标跟踪方法
CN101968886A (zh) * 2010-09-09 2011-02-09 西安电子科技大学 基于质心跟踪框架的粒子滤波与均值漂移的细胞跟踪方法
CN102129695A (zh) * 2010-01-19 2011-07-20 中国科学院自动化研究所 基于遮挡物建模的有遮挡情况下的目标跟踪方法
CN103268616A (zh) * 2013-04-18 2013-08-28 北京工业大学 多特征多传感器的移动机器人运动人体跟踪方法
US8948450B2 (en) * 2009-08-23 2015-02-03 IAD Gesellschaft für Informatik, Automatisierung und Datenverarbeitung mbH Method and system for automatic object detection and subsequent object tracking in accordance with the object shape

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101324956A (zh) * 2008-07-10 2008-12-17 上海交通大学 基于均值漂移的抗遮挡运动目标跟踪方法
US8948450B2 (en) * 2009-08-23 2015-02-03 IAD Gesellschaft für Informatik, Automatisierung und Datenverarbeitung mbH Method and system for automatic object detection and subsequent object tracking in accordance with the object shape
CN102129695A (zh) * 2010-01-19 2011-07-20 中国科学院自动化研究所 基于遮挡物建模的有遮挡情况下的目标跟踪方法
CN101968886A (zh) * 2010-09-09 2011-02-09 西安电子科技大学 基于质心跟踪框架的粒子滤波与均值漂移的细胞跟踪方法
CN103268616A (zh) * 2013-04-18 2013-08-28 北京工业大学 多特征多传感器的移动机器人运动人体跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"GrabCut"-Interactive Foreground Extraction using Interated Graph Cuts;Carsten Rother et al.;《ACM Transactions on Graphics》;20080831;第23卷(第3期);第309-314页 *
The study of Moving Target Based on Kalman-Camshift in the video;X wang et al.;《2010 2nd International conference on Information Science and Engineering (ICISE)》;20110131;论文第1-4页 *

Also Published As

Publication number Publication date
CN105046721A (zh) 2015-11-11

Similar Documents

Publication Publication Date Title
CN105046721B (zh) 基于Grabcut及LBP跟踪质心矫正模型的Camshift算法
CN106355602B (zh) 一种多目标定位跟踪视频监控方法
CN103077521B (zh) 一种用于视频监控的感兴趣区域提取方法
Amato et al. Accurate moving cast shadow suppression based on local color constancy detection
CN108537239B (zh) 一种图像显著性目标检测的方法
CN106204643A (zh) 基于多特征联合与Mean Shift算法的多目标跟踪方法
CN106529432B (zh) 一种深度融合显著性检测与先验知识的手部区域分割方法
CN106952294B (zh) 一种基于rgb-d数据的视频跟踪方法
CN110176016B (zh) 一种基于人体轮廓分割与骨骼识别的虚拟试衣方法
Hidayatullah et al. CAMSHIFT improvement on multi-hue and multi-object tracking
Mo et al. Hand gesture segmentation based on improved kalman filter and TSL skin color model
Hidayatullah et al. CAMSHIFT improvement on multi-hue object and multi-object tracking
CN108876820A (zh) 一种基于均值漂移的遮挡条件下移动目标追踪方法
CN107527370A (zh) 一种基于camshift的目标跟踪方法
CN106203439B (zh) 基于标志物多特征融合的无人机自动寻的着陆方法
CN106296732A (zh) 一种复杂背景下的运动目标追踪方法
CN107103301B (zh) 视频目标时空最大稳定性判别性颜色区域匹配方法和系统
CN109102528A (zh) 一种船舶跟踪方法及系统
CN103578121B (zh) 干扰运动环境下基于共享高斯模型的运动检测方法
CN109978916A (zh) 基于灰度图像特征匹配的Vibe运动目标检测方法
CN116563327A (zh) 基于箱线图的动态场景背景建模方法
Wu et al. Traffic lights detection and recognition algorithm based on multi-feature fusion
CN114820718A (zh) 一种视觉动态定位跟踪算法
Kassir et al. A region based CAMShift tracking with a moving camera
CN104680551B (zh) 一种基于肤色检测的跟踪方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant