CN110211160A - 一种基于改进Camshift算法的人脸跟踪方法 - Google Patents

一种基于改进Camshift算法的人脸跟踪方法 Download PDF

Info

Publication number
CN110211160A
CN110211160A CN201910460328.4A CN201910460328A CN110211160A CN 110211160 A CN110211160 A CN 110211160A CN 201910460328 A CN201910460328 A CN 201910460328A CN 110211160 A CN110211160 A CN 110211160A
Authority
CN
China
Prior art keywords
target
window
center
tracking
camshift
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910460328.4A
Other languages
English (en)
Other versions
CN110211160B (zh
Inventor
姜立标
李静轩
张俊伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kaizeli Technology Co ltd
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910460328.4A priority Critical patent/CN110211160B/zh
Publication of CN110211160A publication Critical patent/CN110211160A/zh
Application granted granted Critical
Publication of CN110211160B publication Critical patent/CN110211160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进Camshift算法的人脸跟踪方法,所述方法包括以下步骤:1)以视频图像初始帧中的人脸为初始人脸窗口,作为跟踪目标;2)以跟踪目标的质心位置和窗口大小对改进的Camshift跟踪算法进行建模,在当前帧图像中利用该跟踪算法计算得到最优候选窗口;3)计算当前帧图像遮挡干扰是否超过给定阈值;4)干扰小于给定阈值,使用步骤2得到的候选窗口作为目标窗口,并返回目标窗口;5)若干扰不小于给定阈值,引入Kalman滤波器,将得到的目标质心作为观测向量进行预测,返回预测结果作为目标窗口;6)使用Kalman滤波器得到的输出预测向量作为搜索窗口中心,继续下一帧的目标跟踪。

Description

一种基于改进Camshift算法的人脸跟踪方法
技术领域
本技术涉及一种视频目标跟踪技术领域,尤其涉及一种基于改进Camshift算法的人脸跟踪方法。
背景技术
在现代交通运输作业中,由于运输路程长、工作强度高,驾驶员易出现疲劳驾驶现象,从而导致各类交通事故。在利用卷积神经网络完成背景与人脸的分离,框出人脸窗口后,需要对人脸窗口进行跟踪,以进行后续通过面部特征对疲劳情况的判定。目标跟踪算法决定了目标跟踪的实时性和准确性,而现有的Camshift跟踪算法计算计算量大,保证了人脸窗口追踪的实时性,由于搜索窗口尺寸不固定,导致跟踪窗口不断扩大,相近颜色容易受到干扰的同时更新尺寸参数调制搜索框的计算量大。
发明内容
本发明所要解决的技术问题是:提供一种基于改进Camshift算法的人脸跟踪方法,在识别车辆驾驶员人脸后实现对人脸窗口的实时跟踪,可以通过视频第一帧图像检测到的人脸窗口,根据图像中干扰的大小,选择跟踪算法,获取人脸目标窗口。
本发明至少通过如下技术方案之一实现。
一种基于改进Camshift算法的人脸跟踪方法,在识别车辆驾驶员人脸后实现对人脸窗口的实时跟踪,通过视频第一帧图像检测到的初始人脸窗口,跟踪得到后续帧图像中的人脸目标窗口,所述方法包括以下步骤:
1)以视频图像初始帧中的驾驶员人脸为初始人脸窗口,作为跟踪目标;
2)以跟踪目标的质心位置和窗口大小对改进的Camshift跟踪算法进行建模,在当前帧图像中利用改进的Camshift跟踪算法计算得到最优候选窗口;
3)计算当前帧图像是否被干扰;
4)干扰小于给定阈值,使用步骤2)得到的最优候选窗口作为目标窗口,并返回目标窗口;
5)若干扰不小于给定阈值,引入Kalman滤波器,将改进的Camshift跟踪算法搜索得到的目标质心输入到Kalman滤波器作为观测向量进行预测,得到的输出预测向量作为目标窗口中心,并返回目标窗口;
6)使用Kalman滤波器得到的输出预测向量作为改进的Camshift跟踪算法的搜索窗口质心,返回步骤2)继续进行下一帧的目标跟踪。
进一步的,步骤2)所述的改进的Camshift跟踪算法的运算步骤为:
(1)将图像转换到HSV颜色空间,得到图像的颜色概率分布,转换过程如下:
将图像的颜色由RGB空间转为HSV空间,再提取出H分量,其中H分量和RGB各分量的映射关系为:
然后对图像进行反向投影的运算,也就是将观测图像的每一个像素值用其分量在直方图中对应的值替代;所得到的输出图像就是颜色概率分布图像;
(2)初始化一个跟踪窗口,窗口的大小为S,采用Meanshift算法进行搜索,找到最匹配的区域;
(3)更新搜索窗口的位置并计算跟踪目标的质心位置大小。
进一步的,所述Meanshift算法的计算过程如下:
以视频图像初始帧中的驾驶员人脸为初始人脸窗口,作为跟踪目标,这个窗口称为Meanshift算法的目标区域。设目标区域的中心像素的坐标为x0,其中有n个像素点xi,i=1~n,则在选定的目标窗口中,初始帧的第u个特征值的概率为:
式中,k为核函数,采用Epanechikov核函数;h是核函数的带宽,C是归一化常数,使得δ是单位脉冲函数;b(xi)为第i个像素位置的目标索引。
以起始帧以后的各帧中目标可能存在的区域为候选区域。设候选区域的中心像素的坐标为y,其中有nh个像素点{xi}i=1,2,…,nh,候选区域特征值为u的概率为:
其中归一化常数
采用巴氏距离来计算目标区域与候选区域之间的相似程度,设目标区域的中心像素的坐标为x,候选区域的中心像素的坐标为y;设目标区域与候选区域的直方图分别为qu(x)和pu(y),则相似性为:
ρ(y)的值在0-1之间,值越大表示目标区域与候选区域越相近。
目标跟踪的过程为计算目标区域与候选区域相似度的大小,并在当前帧选择最优候选区域为目标在本帧中的位置。
定义目标区域的直方图分布为:{qu},u=1,2,…,m,m为特征值的个数,目标可能在的位置为y0
初始化当前帧的目标区域,先将前一帧的目标区域的中心位置定为当前帧的候选区域的中心位置,加权直方图,计算
其中,pu(y0)为候选区域直方图,qu(x0)为目标区域直方图,x0为目标区域的中心位置,ρ[pu(y0),qu]为当前帧候选区域与目标区域的相似性;
更新权值{wi},i=1,2,...,nh
计算目标可能位置y1更新{pu(y1)},u=1,2,…,m;
计算若ρ[pu(y1),qu]<ρ[pu(y0),qu],使再计算ρ[pu(y1),qu]。
当||y1-y0||<θ结束,θ为预设的阈值,y1为最匹配的候选区域中心位置,否则使y0=y1,更新初始化当前帧目标可能存在的区域,然后重复此步骤直到得到的最匹配的候选区域中心位置y1
将Meanshift算法应用于视频图像的每一帧即可找到目标的新位置,以实现目标的跟踪。
所述改进的Camshift跟踪算法在对每一帧图像分别采用步骤2)Meanshift算法寻找与目标最匹配的候选区域后,根据不变矩估计运动目标的中心,并将跟踪结果作为下一针的初始搜索窗口,如此循环,实现对运动目标的连续跟踪,具体的,根据搜索窗口的大小和初始位置,搜索窗口尺寸固定不变,利用跟踪窗口的零阶矩M00和坐标(x,y)的一阶矩(M10,M01)间的关系得到窗口的质心(xc,yc),质心(xc,yc)的计算为:
xc=M10/M00,yc=M01/M00
式中Ic(x,y)是坐标(x,y)的像素值,将跟踪窗口的中心调整到质心,并不断重复以上步骤,直到跟踪窗口的中心和质心小于阈值,则该跟踪窗口为最优候选窗口。
进一步的,步骤2)以跟踪目标的质心位置和窗口大小对传统的Camshift跟踪算法进行建模时,考虑到驾驶过程中驾驶员座椅固定,身系安全带,人脸窗口尺寸变动小,仅搜索窗口中心位置有变动,因此改进的Camshift跟踪算法是固定搜索窗口尺寸为跟踪目标窗口大小,避免当目标与背景颜色接近时,Camshift跟踪算法自动将其包括在内,导致跟踪窗口不断扩大避免相近颜色干扰的同时减少更新尺寸参数调制搜索框的计算量。
进一步的,步骤3)所述的图像遮挡干扰计算方法为:
步骤3)通过巴氏距离(巴塔恰里雅距离,Bhattacharyya distance)来判断目标是否被干扰,其计算如下:
其中,y为y0、y1统称,代表目标区域的位置,ρ(y)表示巴氏(Bhattacharyya)系数,pu(y)为目标区域的颜色直方图,qu为候选区域的颜色直方图,计算两者的巴氏距离d(y):
设定一个阈值T,若满足d(y)>T,说明目标已经被严重遮挡。
进一步的,步骤5)若干扰不小于给定阈值,引入Kalman滤波器,并将改进的Camshift跟踪算法搜索得到的目标质心输入到Kalman滤波器作为观测向量进行预测,得到的输出预测向量作为目标窗口质心,并返回目标窗口。Kalman滤波器的两个公式分别为:
状态方程:Xk=Ak,k-1Xk-1+Vk-1
观测方程:Yk=HXk+Wk
式中:Xk和Xk-1分别为k时刻和k-1时刻的状态向量;Yk表示k时刻观测向量;Ak,k-1为相应的状态转移矩阵;H表示观测矩阵;Vk-1和Wk分别为k-1时刻和k时刻的噪声,相应的方差矩阵分别为Q和R。
设状态向量为Xk=[xsk,ysk,xvk,yvk],变量xsk,xvk,ysk,yvk分别表示目标在x与y轴上的位置与速度;观测向量为Yk=[xtk,ytk],变量xtk,ytk均表示目标的观测位置,具体的计算公式为:
Xk,k-1=Ak,k-1Xk
Xk=Xk,k-1+Kk[Yk-HkXk,k-1]
Pk=(I-KkHk)Pk,k-1
式中,Xk,k-1为状态预测值;Xk为先验估计Xk,k-1的修正值;Kk为卡尔曼滤波增益矩阵;Pk,k-1为Xk,k-1的协方差矩阵;Pk为Xk的协方差矩阵,I离散的反向投影图。
进一步的,步骤6)当干扰超过阈值引入Kalman滤波器时估算目标人脸窗口时,同时使用Kalman滤波器的预测结果作为新的目标位置,调整改进的Camshift跟踪算法的初始搜窗口质心位置,继续进行下一帧的目标跟踪。
相对于现有技术,具有如下的优点及效果:
本发明对传统Camshift跟踪算法进行改进,固定搜索窗口尺寸,避免当目标与背景颜色接近时,Camshift跟踪算法自动将其包括在内,导致跟踪窗口不断扩大,避免相近颜色干扰的同时减少更新尺寸参数调制搜索框的计算量。
本发明根据当前帧图像中遮挡干扰是否超过给定阈值,判断是否引入Kalman滤波器及模型,获取更加精确的目标窗口。
本发明在干扰小于阈值时采用改进的Camshift跟踪算法计算得到的最优结果作为目标窗口,不启动引入Kalman滤波器,减少计算量,保证了人脸窗口追踪的实时性。
本发明在遮挡干扰不小于给定阈值时,不返回改进的Camshift跟踪算法搜索到的目标位置作为目标窗口,而是将由改进的Camshift跟踪算法搜索得到的目标质心输入到Kalman滤波器作为观测向量进行预测,得到的输出预测向量作为目标窗口质心,并返回目标窗口。以保证后续跟踪过程的准确性。
本发明在当干扰超过阈值引入Kalman滤波器时估算目标人脸窗口时,同时使用Kalman滤波器的预测结果作为新的目标位置,调整改进的Camshift跟踪算法的初始搜窗口质心位置,继续进行下一帧的目标跟踪。
本发明将改进Camshift跟踪算法和Kalman滤波器应用于驾驶员疲劳检测系统的人脸追踪中,实现了实时准确的人脸追踪,可保证后续疲劳判定的实时准确性,对疲劳检测技术有实践借鉴意义。
附图说明
图1为本实施例一种基于改进Camshift算法的人脸跟踪方法的流程图。
具体实施方式
以下将结合附图对本发明进行详细说明。
本发明提供了一种基于改进Camshift算法的人脸跟踪方法。针对Camshift跟踪算法容易被相似背景特征干扰、无法跟踪快速无规则运动物体以及抗遮挡能力差等情况,提出了一种基于改进Camshift并引入Kalman滤波的预测型人脸跟踪方法。此方法具有高实时性,对背景颜色干扰等有较强的鲁棒性。
如图1所示的一种基于改进Camshift算法的人脸跟踪方法,具体包括以下步骤:
步骤1、以视频图像初始帧中的驾驶员人脸为初始人脸窗口,作为跟踪目标;。
步骤2、以跟踪目标的质心位置和窗口大小对改进的Camshift跟踪算法进行建模,在当前帧图像中利用改进的Camshift跟踪算法计算得到最优候选窗口;
具体的,传统的Camshift跟踪算法采用不变矩来估计目标的大小,能持续自动的改变跟踪窗口的位置和尺寸,当目标的尺寸发生变化时也能准确的跟踪。传统Camshift跟踪算法的思想是先将序列图像转换成颜色概率分布图像,并且选择一个矩形窗口作为初始跟踪窗,然后对每一顿图像采用算法寻找与目标最相似的区域,并且根据跟踪窗口的不变矩估计运动目标的中心与尺寸,将跟踪结果作为下一倾的初始搜索窗口。如此循环就可以实现对运动目标持续跟踪。本发明采用改进的Camshift跟踪算法,具体的,在初始化跟踪窗口时,固定窗口的大小S为步骤1确定的跟踪目标的窗口大小。考虑到驾驶过程中驾驶员座椅固定,身系安全带,人脸窗口尺寸变动小,仅窗口中心位置有变动,因此对Camshift跟踪算法进行改进,固定搜索窗口尺寸为跟踪目标窗口大小,避免当目标与背景颜色接近时,搜索框自动将其包括在内,导致跟踪窗口不断扩大,避免相近颜色干扰的同时减少更新尺寸参数调制搜索框的计算量。
改进的Camshift跟踪算法运算步骤为:
(1)将图像转换到HSV颜色空间,得到图像的颜色概率分布;
(2)初始化一个跟踪窗口,窗口的大小为S,采用Meanshift算法进行搜索,找到最匹配的区域;
(3)更新搜索窗口的位置并计算跟踪目标的质心位置大小。
具体的,首先将图像的颜色由RGB空间转为HSV空间,再提取出H分量,其中H分量和RGB各分量的映射关系为:
然后对图像进行反向投影的运算,也就是将观测图像的每一个像素值用其分量在直方图中对应的值替代;所得到的输出图像就是颜色概率分布图像。
以步骤1)得到视频图像初始帧中的驾驶员人脸为初始人脸窗口,作为跟踪目标,这个窗口称为Meanshift算法的目标区域。设目标区域的中心像素的坐标为x0,其中有n个像素点xi,i=1~n,有m个特征值,分别为u=1~m,则在选定的目标窗口中,初始帧的第u个特征值的概率为:
式中,k为核函数,采用Epanechikov核函数;h是核函数的带宽,C是归一化常数,使得δ是单位脉冲函数;b(xi)为第i个像素位置的目标索引。
以起始帧以后的各帧中目标可能存在的区域为候选区域。设候选区域的中心像素的坐标为y,其中有nh个像素点{xi}i=1,2,…,nh,候选区域特征值为u的概率为:
其中归一化常数
采用用巴氏距离来计算目标区域与候选区域之间的相似程度,设目标区域与候选区域的直方图分别为qu(x)和pu(x),则相似性为:
其值在0-1之间,值越大表示目标区域与候选区域中心位置越相近。
目标跟踪的过程为计算目标区域与候选区域相似度的大小,并在当前帧选择最优候选区域为目标在本帧中的位置。
定义目标区域的直方图分布为:{qu}u=1,2,…,m,目标可能在的位置为y0
初始化当前帧的目标区域,先将前一帧的目标区域的中心位置定为当前帧的候选区域的中心位置,加权直方图,计算
其中,pu(y0)为候选区域直方图,qu(x0)为目标区域直方图,ρ[pu(y0),qu]为当前帧候选区域与目标区域的相似性;
更新权值{wi},i=1,2,...,nh
计算目标可能位置y1更新{pu(y1)},u=1,2,…,m;
计算若ρ[pu(y1),qu]<ρ[pu(y0),qu],使再计算ρ[pu(y1),qu]。
当||y1-y0||<θ结束,θ为预设的阈值,y1为最匹配的候选区域中心位置。否则使y0=y1,更新初始化当前帧目标可能存在的区域,然后重复此步骤直到得到的最匹配的候选区域中心位置y1
将Meanshift算法应用于视频图像的每一帧即可找到目标的新位置,以实现目标的跟踪。
所述改进的Camshift跟踪算法是在传统的Meanshift算法的基础上,采用与特征匹配相结合进行目标跟踪,具体的,根据搜索窗口的大小和初始位置,搜索窗口尺寸固定不变,利用跟踪窗口的零阶矩M00和坐标(x,y)的一阶矩(M10,M01)间的关系得到窗口的质心(xc,yc),质心(xc,yc)的计算为:
xc=M10/M00,yc=M01/M00
式中Ic(x,y)是坐标(x,y)的像素值,将跟踪窗口的中心调整到质心,并不断重复以上步骤,直到跟踪窗口的中心和质心小于阈值,则该跟踪窗口为最优候选窗口。
步骤3、计算当前帧图像遮挡干扰是否超过给定阈值;
具体的,图像遮挡干扰计算方法为:
用巴氏距离来判断目标是否有遮挡,其定义如下:
其中,ρ(y)表示巴氏(Bhattacharyya)系数,pu(y)为目标区域的颜色直方图,qu为候选区域的颜色直方图,计算两者的巴氏距离d(y):
设定一个阈值T,若满足d(y)>T,说明目标已经被严重遮挡。
步骤4、干扰小于给定阈值,使用步骤2得到的最优候选窗口作为目标窗口,并返回目标窗口;
步骤5、若干扰不小于给定阈值,将改进的Camshift跟踪算法搜索得到的目标质心输入到Kalman滤波器作为观测向量进行预测,得到的输出预测向量作为目标窗口质心,并返回目标窗口。
Kalman滤波器进行预测的计算过程如下:
状态方程:Xk=Ak,k-1Xk-1+Vk-1
观测方程:Yk=HXk+Wk
式中:Xk和Xk-1分别为k时刻和k-1时刻的状态向量;Hk表示k时刻的观测向量;Ak,k-1为相应的状态转移矩阵;Hk为k时刻的观测矩阵;V和W是噪声,相应的方差矩阵分别为Q和R。设状态向量为Xk=[xsk,ysk,xvk,yvk],变量分别表示目标在x与y轴上的位置与速度;观测向量为Yk=[xtk,ytk],变量分别表示目标的观测位置,其中
Xk,k-1=Ak,k-1Xk
Xk=Xk,k-1+Kk[Yk-HkXk,k-1]
Pk=(I-KkHk)Pk,k-1
式中,Xk,k-1为状态预测值;Xk为先验估计Xk,k-1的修正值;Kk为卡尔曼滤波增益矩阵;Pk,k-1为Xk,k-1的协方差矩阵;Pk为Xk的协方差矩阵,I为离散的反向投影图。
步骤6、使用Kalman滤波器得到的输出预测向量Xk作为改进的Camshift跟踪算法的搜索窗口中心,继续进行下一帧的目标跟踪。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (8)

1.一种基于改进Camshift算法的人脸跟踪方法,其特征在于,在识别车辆驾驶员人脸后实现对人脸窗口的实时跟踪,通过视频初始帧图像检测到的初始人脸窗口,跟踪得到后续帧图像中的人脸目标窗口,所述方法包括以下步骤:
1)以视频图像初始帧中的驾驶员人脸为初始人脸窗口,作为跟踪目标;
2)以跟踪目标的质心位置和窗口大小对改进的Camshift跟踪算法进行建模,在当前帧图像中利用改进的Camshift跟踪算法计算得到最优候选窗口;
3)计算当前帧图像是否被干扰;
4)干扰小于给定阈值,使用步骤2)得到的最优候选窗口作为目标窗口,并返回目标窗口;
5)若干扰不小于给定阈值,引入Kalman滤波器,将由步骤2)得到的最优候选窗口的质心输入到Kalman滤波器作为观测向量进行预测,得到的输出预测向量作为目标窗口中心,并返回目标窗口;
6)使用Kalman滤波器得到的输出预测向量作为改进的Camshift跟踪算法的搜索窗口质心,返回步骤2)继续进行下一帧的目标跟踪。
2.根据权利要求书1所述一种基于改进Camshift算法的人脸跟踪方法,其特征在于,步骤2)所述的改进的Camshift跟踪算法是在Camshift跟踪算法的基础上固定搜索窗口尺寸,并将搜索窗口尺寸作为跟踪目标窗口大小。
3.根据权利要求书1所述一种基于改进Camshift算法的人脸跟踪方法,其特征在于,步骤2)所述的改进的Camshift跟踪算法的运算步骤为:
(1)将图像转换到HSV颜色空间,得到图像的颜色概率分布,转换过程如下:
将图像的颜色由RGB空间转为HSV空间,再提取出H分量,其中H分量和RGB各分量的映射关系为:
然后对图像进行反向投影的运算,也就是将观测图像的每一个像素值用其分量在直方图中对应的值替代;所得到的输出图像就是颜色概率分布图像;
(2)初始化一个跟踪窗口,窗口的大小为S,采用Meanshift算法进行搜索,找到最匹配的区域;
(3)更新搜索窗口的位置并计算跟踪目标的质心位置大小。
4.根据权利要求书3所述一种基于改进Camshift算法的人脸跟踪方法,其特征在于,所述Meanshift算法的计算过程如下:
设目标区域的中心像素的坐标为x0,其中有n个像素点xi,i=1~n,在选定的目标窗口中,初始帧的第u个特征值的概率为:
式中,k为核函数,采用Epanechikov核函数;h是核函数的带宽,C是归一化常数,使得δ是单位脉冲函数;b(xi)为第i个像素位置的目标索引;
以起始帧以后的各帧中目标可能存在的区域为候选区域,设候选区域的中心像素的坐标为y,其中有nh个像素点{xi},i=1,2,…,nh,候选区域特征值为u的概率为:
其中归一化常数
采用巴氏距离来计算目标区域与候选区域之间的相似程度,设目标区域的中心像素的坐标为x,候选区域的中心像素的坐标为y,目标区域与候选区域的直方图分别为qu(x)和pu(y),则相似性为:
ρ(y)的值在0-1之间,值越大表示目标区域与候选区域中心位置越相近;
定义目标区域的直方图分布为:{qu},u=1,2,…,m,m为特征值的个数,目标可能在的位置为y0
初始化当前帧的目标区域,先将前一帧的目标区域的中心位置定为当前帧的候选区域的中心位置,加权直方图,计算
其中,pu(y0)为候选区域直方图,qu(x0)为目标区域直方图,x0为目标区域的中心位置,ρ[pu(y0),qu]为当前帧候选区域与目标区域的相似性;
更新权值{wi},i=1,2,...,nh
计算目标可能位置y1更新{pu(y1)},u=1,2,…,m;
计算若ρ[pu(y1),qu]<ρ[pu(y0),qu],使再计算ρ[pu(y1),qu];
当||y1-y0||<θ结束,θ为预设的阈值,y1为最匹配的候选区域中心位置,否则使y0=y1,更新初始化当前帧目标可能存在的区域,然后重复此步骤直到得到的最匹配的候选区域中心位置y1
5.根据权利要求书1所述一种基于改进Camshift算法的人脸跟踪方法,其特征在于,所述改进的Camshift跟踪算法在对每一帧图像分别采用步骤2)Meanshift算法寻找与目标最匹配的候选区域后,根据不变矩估计运动目标的中心,并将跟踪结果作为下一针的初始搜索窗口,如此循环,实现对运动目标的连续跟踪,具体的,根据搜索窗口的大小和初始位置,搜索窗口尺寸固定不变,利用跟踪窗口的零阶矩M00和坐标(x,y)的一阶矩(M10,M01)间的关系得到窗口的质心(xc,yc),质心(xc,yc)的计算为:
xc=M10/M00,yc=M01/M00
式中Ic(x,y)是坐标(x,y)的像素值,将跟踪窗口的中心调整到质心,并不断重复以上步骤,直到跟踪窗口的中心和质心小于阈值,则该跟踪窗口为最优候选窗口。
6.根据权利要求书1所述一种基于改进Camshift算法的人脸跟踪方法,其特征在于,步骤3)通过巴氏距离来判断目标是否被干扰,其计算如下:
其中,ρ(y)表示巴氏系数,pu(y)为目标区域的颜色直方图,qu为候选区域的颜色直方图,u为第u个特征值,y表示目标区域的位置,计算两者的巴氏距离d(y):
设定一个阈值T,若满足d(y)>T,说明目标被干扰。
7.根据权利要求书1所述一种基于改进Camshift算法的人脸跟踪方法,其特征在于,步骤4)当干扰小于阈值时采用改进的Camshift跟踪算法计算得到的最优结果作为目标窗口。
8.根据权利要求书1所述一种基于改进Camshift算法的人脸跟踪方法,其特征在于,步骤5)所述的Kalman滤波器的计算公式为:
状态方程:Xk=Ak,k-1Xk-1+Vk-1
观测方程:Yk=HXk+Wk
式中:Xk和Xk-1分别为k时刻和k-1时刻的状态向量;Yk为k时刻观测向量;Ak,k-1为相应的状态转移矩阵;H为观测矩阵;Vk-1和Wk分别为k-1时刻和k时刻的噪声,相应的方差矩阵分别为Q和R;
设状态向量为Xk=[xsk,ysk,xvk,yvk],变量xsk,xvk,ysk,yvk分别表示目标在x与y轴上的位置与速度;观测向量为Yk=[xtk,ytk],变量xtk,ytk均表示目标的观测位置,具体的计算公式为:
Xk,k-1=Ak,k-1Xk
Xk=Xk,k-1+Kk[Yk-HkXk,k-1]
Pk=(I-KkHk)Pk,k-1
式中,Xk,k-1为状态预测值;Xk为先验估计Xk,k-1的修正值;Kk为卡尔曼滤波增益矩阵;Pk,k-1为Xk,k-1的协方差矩阵;Pk为Xk的协方差矩阵;I为离散的反向投影图。
CN201910460328.4A 2019-05-30 2019-05-30 一种基于改进Camshift算法的人脸跟踪方法 Active CN110211160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910460328.4A CN110211160B (zh) 2019-05-30 2019-05-30 一种基于改进Camshift算法的人脸跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910460328.4A CN110211160B (zh) 2019-05-30 2019-05-30 一种基于改进Camshift算法的人脸跟踪方法

Publications (2)

Publication Number Publication Date
CN110211160A true CN110211160A (zh) 2019-09-06
CN110211160B CN110211160B (zh) 2022-03-25

Family

ID=67789507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910460328.4A Active CN110211160B (zh) 2019-05-30 2019-05-30 一种基于改进Camshift算法的人脸跟踪方法

Country Status (1)

Country Link
CN (1) CN110211160B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085764A (zh) * 2020-09-17 2020-12-15 北京华严互娱科技有限公司 一种基于视频的实时面部跟踪方法和系统
CN112614154A (zh) * 2020-12-08 2021-04-06 深圳市优必选科技股份有限公司 目标跟踪轨迹的获取方法、装置及计算机设备
CN113240712A (zh) * 2021-05-11 2021-08-10 西北工业大学 一种基于视觉的水下集群邻居跟踪测量方法
CN115797411A (zh) * 2023-01-17 2023-03-14 长江勘测规划设计研究有限责任公司 一种利用机器视觉在线识别水电站电缆桥架形变的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463914A (zh) * 2014-12-25 2015-03-25 天津工业大学 一种改进的Camshift目标跟踪方法
US20150178568A1 (en) * 2013-12-23 2015-06-25 Canon Kabushiki Kaisha Method for improving tracking using dynamic background compensation with centroid compensation
CN106529496A (zh) * 2016-11-24 2017-03-22 广西大学 一种机车乘务员实时视频疲劳检测的方法
KR101741758B1 (ko) * 2016-01-21 2017-05-30 광운대학교 산학협력단 가려짐에 강인한 깊이정보 사용 캠쉬프트 기반의 실시간 얼굴추적 방법
CN107403439A (zh) * 2017-06-06 2017-11-28 沈阳工业大学 基于Cam‑shift的预测跟踪方法
CN109102523A (zh) * 2018-07-13 2018-12-28 南京理工大学 一种运动目标检测和跟踪方法
CN109359536A (zh) * 2018-09-14 2019-02-19 华南理工大学 基于机器视觉的乘客行为监控方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150178568A1 (en) * 2013-12-23 2015-06-25 Canon Kabushiki Kaisha Method for improving tracking using dynamic background compensation with centroid compensation
CN104463914A (zh) * 2014-12-25 2015-03-25 天津工业大学 一种改进的Camshift目标跟踪方法
KR101741758B1 (ko) * 2016-01-21 2017-05-30 광운대학교 산학협력단 가려짐에 강인한 깊이정보 사용 캠쉬프트 기반의 실시간 얼굴추적 방법
CN106529496A (zh) * 2016-11-24 2017-03-22 广西大学 一种机车乘务员实时视频疲劳检测的方法
CN107403439A (zh) * 2017-06-06 2017-11-28 沈阳工业大学 基于Cam‑shift的预测跟踪方法
CN109102523A (zh) * 2018-07-13 2018-12-28 南京理工大学 一种运动目标检测和跟踪方法
CN109359536A (zh) * 2018-09-14 2019-02-19 华南理工大学 基于机器视觉的乘客行为监控方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIANGYU WANG ET AL.: "The study of MovingTarget tracking based on Kalman-CamShift in the video", 《THE 2ND INTERNATIONAL CONFERENCE ON INFORMATION SCIENCE AND ENGINEERING》 *
刘超 等: "基于改进CAMShift的运动目标跟踪算法", 《计算机工程与应用》 *
胡章芳 等: "混合Kalman滤波器与Chamshift人脸跟踪算法的研究", 《重庆文理学院学报(社会科学版)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085764A (zh) * 2020-09-17 2020-12-15 北京华严互娱科技有限公司 一种基于视频的实时面部跟踪方法和系统
CN112614154A (zh) * 2020-12-08 2021-04-06 深圳市优必选科技股份有限公司 目标跟踪轨迹的获取方法、装置及计算机设备
CN112614154B (zh) * 2020-12-08 2024-01-19 深圳市优必选科技股份有限公司 目标跟踪轨迹的获取方法、装置及计算机设备
CN113240712A (zh) * 2021-05-11 2021-08-10 西北工业大学 一种基于视觉的水下集群邻居跟踪测量方法
CN115797411A (zh) * 2023-01-17 2023-03-14 长江勘测规划设计研究有限责任公司 一种利用机器视觉在线识别水电站电缆桥架形变的方法

Also Published As

Publication number Publication date
CN110211160B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN110211160A (zh) 一种基于改进Camshift算法的人脸跟踪方法
US7706571B2 (en) Flexible layer tracking with weak online appearance model
US7590262B2 (en) Visual tracking using depth data
JP7263216B2 (ja) ワッサースタイン距離を使用する物体形状回帰
JP4372411B2 (ja) アピアランスモデルの生成方法
CN109271914A (zh) 检测视线落点的方法、装置、存储介质和终端设备
CN109145864A (zh) 确定视线区域的方法、装置、存储介质和终端设备
CN102142085B (zh) 一种林区监控视频中运动火焰目标的鲁棒跟踪方法
CN109816692A (zh) 一种基于Camshift算法的运动目标跟踪方法
CN106210447B (zh) 基于背景特征点匹配的视频稳像方法
CN106780542A (zh) 一种基于嵌入卡尔曼滤波器的Camshift的机器鱼跟踪方法
CN101916446A (zh) 基于边缘信息和均值移位的灰度目标跟踪算法
CN110175649A (zh) 一种关于重新检测的快速多尺度估计目标跟踪方法
CN109448023B (zh) 一种卫星视频小目标实时跟踪方法
CN108876820A (zh) 一种基于均值漂移的遮挡条件下移动目标追踪方法
CN109902565A (zh) 多特征融合的人体行为识别方法
CN111192296A (zh) 一种基于视频监控的行人多目标检测与跟踪方法
CN101794387B (zh) 一种智能康复系统及运用该系统进行肢体运动跟踪的方法
CN109801309A (zh) 一种基于rgb-d相机的障碍物感知方法
KR101942759B1 (ko) 근적외선 영상에서 랜덤 포레스트와 고속 반경 대칭 변환의 결합을 이용한 눈동자 검출 방법 및 시스템
CN109102520A (zh) 基于模糊均值聚类与卡尔曼滤波跟踪相结合的运动目标检测方法
Jeyakar et al. Robust object tracking using local kernels and background information
JP5872401B2 (ja) 領域分割装置
Bernier et al. Real-Time 3D Articulated Pose Tracking using Particle Filtering and Belief Propagation on Factor Graphs.
Sim et al. Human motion tracking of athlete using optical flow & artificial markers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221104

Address after: Room 27H, North Tower, No. 267, Wushan Road, Tianhe District, Guangzhou, Guangdong 510630 (office only)

Patentee after: Guangzhou kaizeli Technology Co.,Ltd.

Address before: 510640 No. five, 381 mountain road, Guangzhou, Guangdong, Tianhe District

Patentee before: SOUTH CHINA University OF TECHNOLOGY