CN104933735A - 一种基于时空上下文学习的实时人脸跟踪方法及系统 - Google Patents

一种基于时空上下文学习的实时人脸跟踪方法及系统 Download PDF

Info

Publication number
CN104933735A
CN104933735A CN201510387826.2A CN201510387826A CN104933735A CN 104933735 A CN104933735 A CN 104933735A CN 201510387826 A CN201510387826 A CN 201510387826A CN 104933735 A CN104933735 A CN 104933735A
Authority
CN
China
Prior art keywords
face
target
target face
time
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510387826.2A
Other languages
English (en)
Inventor
吴佳芸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 2 Research Institute
Southwest China Research Institute Electronic Equipment
Original Assignee
CETC 2 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 2 Research Institute filed Critical CETC 2 Research Institute
Priority to CN201510387826.2A priority Critical patent/CN104933735A/zh
Publication of CN104933735A publication Critical patent/CN104933735A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/207Analysis of motion for motion estimation over a hierarchy of resolutions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉处理技术领域,本发明公开了一种基于时空上下文学习的实时人脸跟踪方法,其具体包括以下的步骤:步骤一、初始帧人脸检测与目标人脸确定:通过人脸检测器检测得到初始帧内所有人脸的位置,并将确定的目标人脸位置传递给跟踪器,开启跟踪;步骤二、历史帧信息学习与模块更新;步骤三、当前帧候选目标人脸确定:步骤四、当前帧目标位置确定:从第2帧开始,对于第n帧,n>1,将候选目标人脸与更新后的跟踪结果进行融合,得到目标人脸在当前帧的最终位置。通过上述方法更新跟踪器和效判器,从而使得跟踪与人脸检测结果在学习的构架下进行有效融合,使得跟踪适应长时间跟踪面临的典型问题,同时解决干扰人脸造成的跟踪漂移或失效问题。

Description

一种基于时空上下文学习的实时人脸跟踪方法及系统
技术领域
本发明涉及人脸跟踪技术领域,本发明公开了一种基于时空上下文学习的实时人脸跟踪方法及系统。
背景技术
人脸跟踪包括基于特征匹配的跟踪,基于区域匹配的跟踪和基于模型匹配的跟踪。基于特征匹配的跟踪:选择一帧图像中的人脸作为需要跟踪的人脸,并提取出需要跟踪人脸的特征,同时在序列图像的下一帧中提取图像特征,将提取到的当前帧的图像特征同需要跟踪的人脸特征进行比较,根据比较结果判断是否是对应人脸,从而完成跟踪过程。这样的方法由于遮挡或者光线的变化会导致跟踪失败。基于区域匹配的跟踪:该方法把图像中目标物体的连通区域的共同特征信息作为跟踪检测,这样的方法不能根据目标的整体形状来对跟踪结果进行调整,在长时间连续跟踪时,容易因误差累计而发生目标丢失。基于模型匹配的跟踪:通过建立模型的方法来表示需要跟踪的目标物体,然后在序列图像中跟踪模型来达到跟踪的目的。
在非控制环境下对人脸进行长时间实时跟踪是计算机视觉模式识别领域的一个难点,其面临的主要问题表现在人脸外观的突然变化,长时间遮挡等情况下跟踪的失效。现有的目标跟踪技术主要有两大类,即静态跟踪和适应性跟踪。静态跟踪模型假设目标外观变化有限且已知,一旦物体外观的非预见性变化将极易造成跟踪失效。为了克服这种缺陷,适应性跟踪技术在跟踪过程中对物体的外观模型进行了更新,外观模型更新的正确性直接影响了该类跟踪的有效性。非正确更新对目标模型来说是引入了噪声,通过一定时间的累积效应,可能会造成跟踪漂移增加甚至失效。针对人脸这一特殊跟踪对象,M.Kim等人提出了融合人脸检测与跟踪,通过引入视觉限制试图解决适应性跟踪的漂移问题,该方法适用于人脸目标保持在视场范围内的应用场景。在长效跟踪场景中,人脸目标可能随时移入或移出视场范围,在这种跟踪应用场合中人脸的再检测就表现得尤为重要了。已知的成熟人脸检测技术使得跟踪(tracking by detection)成为现实,但针对人脸的跟踪具有明显的劣势:(1)所有的人脸均响应检测模型,从而造成了目标人脸与干扰人脸之间的区分困难。(2)通过引入特殊人脸检测模型来区分干扰人脸的算法耗时严重且不适用于目标长时间消失情况。(3)目标外观模型更新完全取决于跟踪结果,对于噪声无判定手段,漂移量随时间累积增加。
发明内容
针对现有技术的跟踪方法在长时间跟踪时容易产生漂移的技术问题,本发明公开了一种基于时空上下文学习的实时人脸跟踪方法。本发明还公开了基于时空上下文学习的实时人脸跟踪系统。
本发明的具体实现方式如下:
一种基于时空上下文学习的实时人脸跟踪方法,其具体包括:目标人脸确定,并将确定的目标人脸位置传递给跟踪器,开启跟踪;从第2帧开始,学习模块分别完成对跟踪器的更新和对效判器的更新;然后确定当前帧中的候选目标人脸;最后将候选目标人脸与更新后的跟踪结果进行融合,得到目标人脸在当前帧的最终位置。
更进一步地,上述方法具体包括以下的步骤:步骤一、初始帧人脸检测与目标人脸确定:通过人脸检测器检测得到初始帧内所有人脸的位置,并将确定的目标人脸位置传递给跟踪器,开启跟踪;步骤二、历史帧信息学习与模块更新:从第2帧开始,对于第n帧,其中n>1,学习模块分别完成对跟踪器的更新和对效判器的更新;所述对跟踪器的更新是指对时空上下文模型的更新,所述时空上下文模型是指利用了时间的上下文信息和空间上的局部上下文信息建立的时空上下文模型,所述时间的上下文信息是指邻近帧间目标人脸的外观和位置不会发生突变,所述空间上的局部上下文信息是指目标人脸和目标人脸周围的背景存在的短时或长时的某种特定关系;所述对效判器的更新是指通过收集前n-1帧目标人脸正负样本{xi,i∈(1,…,n-1)}更新目标人脸的外观模型;步骤三、当前帧候选目标人脸确定:从第2帧开始,对于第n帧,n>1,采用人脸检测器检测得到人脸,将检测结果与更新后的目标人脸的外观模型通过效判器进行关联,在多个人脸检测位置中确定与目标外观模型最为接近的人脸位置,作为候选目标人脸;步骤四、当前帧目标位置确定:从第2帧开始,对于第n帧,n>1,将候选目标人脸与更新后的跟踪结果进行融合,得到目标人脸在当前帧的最终位置。
更进一步地,上述对时空上下文模型的更新具体为:利用目标局部空间上下文信息在时间上的连续性建立时空上下文模型,将目标人脸位置出现概率分解为目标人脸与其周围的局部上下文空间关系的条件概率和局部上下文内各点的先验概率,条件概率通过在线学习更新。
更进一步地,上述对目标人脸的外观模型的更新的学习策略为接受与初始目标相似的当前跟踪结果之前所形成轨迹所包含的所有目标。
更进一步地,上述融合器的融合策略具体为:当检测与跟踪均有输出,则通过判效器关联检测结果与目标人脸,如只有一个候选目标则用其重新初始化跟踪器;如存在大于一个候选目标则采用其平均位置修正跟踪器;当检测器有输出,跟踪器无输出,则通过判效器关联检测结果与目标外观模型后,重新初始化跟踪器;当检测器无输出,跟踪器有输出,则通过学习更新判效器。
本发明还公开了一种基于时空上下文学习的实时人脸跟踪系统,其具体包括人脸检测器、跟踪器、效判器、融合器和历史帧信息学习与更新模块;所述人脸检测器用于检测视频帧中的人脸,并将确定的目标人脸位置传递给跟踪器;所述跟踪器用于跟踪目标人脸;所述效判器用于将检测结果与跟踪到的目标人脸进行关联,在多个人脸检测位置中确定与跟踪到的目标人脸最为接近的人脸位置;所述融合器用于将候选目标人脸与跟踪结果进行融合,得到目标人脸在当前帧的最终位置;所述历史帧信息学习与更新模块分别完成对跟踪器的更新和对效判器的更新;所述对跟踪器的更新是指对时空上下文模型的更新,所述时空上下文模型是指利用了时间的上下文信息和空间上的局部上下文信息建立的时空上下文模型,所述时间的上下文信息是指邻近帧间目标人脸的外观和位置不会发生突变,所述空间上的局部上下文信息是指目标人脸和目标人脸周围的背景存在的短时或长时的某种特定关系;所述对效判器的更新是指通过收集前n-1帧目标人脸正负样本{xi,i∈(1,…,n-1)}更新目标人脸的外观模型。
通过采用以上的技术方案,本发明具有以下的有益效果:本发明克服了当前时空上下文学习跟踪方法不能满足长时间跟踪所要求的对目标再检测的需求,另一方面,也解决了目前的跟踪方法应用于人脸跟踪时,无法区分目标人脸与干扰人脸的问题。将人脸检测与跟踪方法在学习的架构下进行融合。利用目标人脸局部时空上下文模型学习,提高了跟踪对长期遮挡的鲁棒性。通过设计在线学习的判效器,将人脸检测结果与目标人脸的相似程度关联,提升了目标外观模型的正确更新能力。该方法在实时性和准确性上有了较好表现,在测试环境中达到20帧每秒的处理速度,同时很好的适用于目标移入移出视场,实现长效跟踪。
附图说明
图1为目标外观模型更新策略图。
图2为本发明的基于时空上下文学习的人脸检测跟踪方法的实现原理图。
具体实施方式
下面结合说明书附图,详细说明本发明的具体实施方式。
本发明公开了一种基于时空上下文学习的实时人脸跟踪方法,其具体包括以下的步骤:步骤一、初始帧人脸检测与目标人脸确定:通过人脸检测器检测得到初始帧内所有人脸的位置,并将确定的目标人脸位置传递给跟踪器,开启跟踪;步骤二、历史帧信息学习与模块更新:从第2帧开始,对于第n帧,其中n>1,学习模块分别完成对跟踪器的更新和对效判器的更新;所述对跟踪器的更新是指对时空上下文模型的更新,所述时空上下文模型是指利用了时间的上下文信息和空间上的局部上下文信息建立的时空上下文模型,所述时间的上下文信息是指邻近帧间目标人脸的外观和位置不会发生突变,所述空间上的局部上下文信息是指目标人脸和目标人脸周围的背景存在的短时或长时的某种特定关系;所述对效判器的更新是指通过收集前n-1帧目标人脸正负样本{xi,i∈(1,…,n-1)}更新目标人脸的外观模型;步骤三、当前帧候选目标人脸确定:从第2帧开始,对于第n帧,n>1,采用人脸检测器检测得到人脸,将检测结果与更新后的目标人脸的外观模型通过效判器进行关联,在多个人脸检测位置中确定与目标外观模型最为接近的人脸位置,作为候选目标人脸;步骤四、当前帧目标位置确定:从第2帧开始,对于第n帧,n>1,将候选目标人脸与更新后的跟踪结果进行融合,得到目标人脸在当前帧的最终位置。通过上述方法更新跟踪器和效判器,从而使得跟踪与人脸检测结果在学习的构架下进行有效融合,使得跟踪适应长时间跟踪面临的典型问题,同时解决干扰人脸造成的跟踪漂移或失效问题。
更进一步地,上述对时空上下文模型的更新具体为:利用目标局部空间上下文信息在时间上的连续性建立时空上下文模型,将目标人脸位置出现概率分解为目标人脸与其周围的局部上下文空间关系的条件概率和局部上下文内各点的先验概率,条件概率通过在线学习更新。其依据Kaihua Zhang等人提出的STC算法的思想,利用这种在目标局部空间上下文信息在时间上的连续性就可以建立时空上下文模型。
c ( x ) = P ( x | o ) = Σ c ( z ) ∈ X c P ( x , c ( z ) | o ) = Σ c ( z ) ∈ X c P ( x | c ( z ) , o ) P ( c ( z ) | o )
目标位置x出现概率c(x)分解为两个概率部分。一个是模拟目标与其周围的局部上下文空间关系的条件概率P(x|c(z),o),以及局部上下文内各点的先验概率P(c(z)|o)。其中条件概率需要通过在线学习更新,先验概率定义为:
P(c(z)|o)=I(z)ωσ(z-x*)
其中I(z)是点z的灰度值,ωσ(z)是高斯加权函数,z离x越近权值越大。x*表示当前跟踪到的目标位置。
ω σ ( z ) = αe - | z | 2 σ 2
其中α是归一化常数使得P(c(z)|o)值属于0到1之间,σ为尺度常数。
现有技术中一般的跟踪方法采用了时间的上下文信息(即邻近帧间目标变外观和位置不会发生突变),但是空间上的局部上下文信息(即目标和目标周围的背景存在某种特定关系,当目标外观发生较大改变时,这种关系可以帮助区分目标)却未有利用。事实上,如果目标人脸其周围信息比较突出,其在人群中被区分出来的可能性越大,跟踪更为有效和稳定。利用目标人脸与其周围场景之间的短时或长时的空间关系(即局部上下文信息),追踪该空间关系在连续帧间的一致性(即时间上下文信息),可以有效地区分目标人脸与干扰人脸。同时,当存在遮挡时,利用当前帧局部上下文可以帮助预测下一帧目标位置。
上下文空间关系模型也即是对上下文空间关系的条件概率进行更新。上下文空间关系的条件概率在STC算法中定义为:
P(x|c(z),o)=hsc(x-z)
hsc(x-z)是关于目标x与局部上下文位置z的相对距离和方向的函数,它体现了目标和它的空间上下文的空间关系。其非径向对称性有助于区分二义性。
结合两部分概率函数定义,上下文时空模型可以表示为:
c ( x ) = be - | x - x * α | β = Σ z ∈ Ω c ( x * ) h s c ( x - z ) I ( z ) ω σ ( z - x * ) = h s c ( x ) ⊗ ( I ( x ) ω σ ( x - x * ) )
通过FFT转换得到空间上下文模型:
h s c ( x ) = F - 1 ( F ( be - | x - x * α | β ) F ( I ( x ) ω σ ( x - x * ) ) )
用该模型去更新时空上下文模型得到:
H t + 1 s t c = ( 1 - ρ ) H t s t c + ρh t s c
当前目标出现位置的概率定义为:
c t + 1 ( x ) = F - 1 ( F ( H t + 1 s t c ) F ( I t + 1 ( x ) ω σ t ( x - x t * ) ) )
最后将当前目标的跟踪结果设定为在邻域Ωc内计算得到的最大概率的位置:
x t + 1 * = arg max x ∈ Ω c ( x t * ) c t + 1 ( x )
为以t时刻跟踪到的目标位置为中心定义的邻域。
更进一步地,上述对效判器的更新具体为将人脸检测结果与目标人脸进行关联,计算各检测结果与不断更新目标外观模型的相似程度,判效器学习在跟踪过程中收集到的正负样本X={xi,i∈(1,…,n)},其中每个样本由K维特征表示通过计算当前检测结果与正负两类样本的距离,由分类器决定其与目标外观模型的相似程度。可以将任意两个样本间的距离定义为:
S ( x i , x j ) = 1 K Σ k = 1 K ( [ x i k = x j k ] )
这里[·]为逻辑操作,如样本i与样本j的第k维特征相似,则否则 [ x i k = x j k ] = 1.
更进一步地,对目标人脸的外观模型的更新的学习策略为接受与初始目标相似的当前跟踪结果之前所形成轨迹所包含的所有目标。对目标人脸外观模型的更新主要在于确定跟踪结果附近正负样本的采集策略。简单地将跟踪结果与初始目标计算相似程度不适合应用于人脸跟踪,因为同一目标在不同时间的外观变化可能大于不同目标间的外观差异。如何在目标人脸的跟踪轨迹中寻找可能属于同一人脸的样本决定了目标外观模型能否正更新。本发明中采用的学习策略为:接受与初始目标相似的当前跟踪结果之前所形成轨迹所包含的所有目标模式。如图1所示,10和1(初始目标)相似,则接受10之前的所有目标,该种策略接受模式包括1-10。
更进一步地,上述融合器的融合策略具体为:当检测与跟踪均有输出,则通过判效器关联检测结果与目标人脸,如只有一个候选目标则用其重新初始化跟踪器;如存在大于一个候选目标则采用其平均位置修正跟踪器;当检测器有输出,跟踪器无输出,则通过判效器关联检测结果与目标外观模型后,重新初始化跟踪器;当检测器无输出,跟踪器有输出,则通过学习更新判效器。将逐帧的检测结果与跟踪结果进行融合判定,区别于传统的直接将检测结果与跟踪结果进行融合,减少外观模型中噪声引入造成跟踪漂移。
本发明提供的基于时空上下文学习的人脸跟踪方法,一方面,克服了当前时空上下文学习跟踪方法不能满足长时间跟踪所要求的对目标再检测的需求,另一方面,也解决了目前的跟踪方法应用于人脸跟踪时,无法区分目标人脸与干扰人脸的问题。将人脸检测与跟踪方法在学习的架构下进行融合。利用目标人脸局部时空上下文模型学习,提高了跟踪对长期遮挡的鲁棒性。通过设计在线学习的判效器,将人脸检测结果与目标人脸的相似程度关联,提升了目标外观模型的正确更新能力。本发明的方法在实时性和准确性上有了较好表现,在测试环境中达到20帧每秒的处理速度,同时很好的适用于目标移入移出视场,实现长效跟踪。
图2为本发明的基于时空上下文学习的人脸检测跟踪方法的实现原理图。首先对视频中目标人脸与其周围图像内容的关系建立跟踪器(tracker),在跟踪过程中对每帧图像进行人脸的检测(detector)与目标人脸跟踪(tracker)。在线学习(learning)主要完成跟踪器时空关系模型的更新,同时依据设定的策略采集存储外观模型样本,更新目标外观模型;通过有效性判定器(validator)将更新后的目标外观模型与检测到的人脸进行关联,确定候选目标。最后根据我们制定的融合准则,将通过判效器关联的检测结果与跟踪结果输入融合器(integrator)融合得到最终目标位置。
下面采用一个具体的试验来验证本发明方法的效果
视频采集设备:采用分辨率为200万像素的可见光摄像机;
测试场地:室内走廊,摄像机架设高度2.5米,正面走廊宽约2米,长约7米;
光线环境:室内灯光,可能出现人脸部明显阴影;
采用本发明的方法可实现对图像中不小于50*50像素大小的目标人脸跟踪,图像中干扰人脸数超过4个且与目标人脸间有交叉遮挡,每帧的跟踪耗时约为50毫秒,跟踪准确率达到99%。
本发明还公开了一种基于时空上下文学习的实时人脸检测跟踪系统,其具体包括人脸检测器、跟踪器、效判器、融合器和历史帧信息学习与更新模块;所述人脸检测器用于检测视频帧中的人脸,并将确定的目标人脸位置传递给跟踪器;所述跟踪器用于跟踪目标人脸;所述效判器用于将检测结果与跟踪到的目标人脸进行关联,在多个人脸检测位置中确定与跟踪到的目标人脸最为接近的人脸位置;所述融合器用于将候选目标人脸与跟踪结果进行融合,得到目标人脸在当前帧的最终位置;所述历史帧信息学习与更新模块分别完成对跟踪器的更新和对效判器的更新;所述对跟踪器的更新是指对时空上下文模型的更新,所述时空上下文模型是指利用了时间的上下文信息和空间上的局部上下文信息建立的时空上下文模型,所述时间的上下文信息是指邻近帧间目标人脸的外观和位置不会发生突变,所述空间上的局部上下文信息是指目标人脸和目标人脸周围的背景存在的短时或长时的某种特定关系;所述对效判器的更新是指通过收集前n-1帧目标人脸正负样本{xi,i∈(1,…,n-1)}更新目标人脸的外观模型。通过上述系统更新跟踪器和效判器,从而使得跟踪与人脸检测结果在学习的构架下进行有效融合,使得跟踪适应长时间跟踪面临的典型问题,同时解决干扰人脸造成的跟踪漂移或失效问题。
上述的实施例中所给出的系数和参数,是提供给本领域的技术人员来实现或使用发明的,发明并不限定仅取前述公开的数值,在不脱离发明的思想的情况下,本领域的技术人员可以对上述实施例作出种种修改或调整,因而发明的保护范围并不被上述实施例所限,而应该是符合权利要求书提到的创新性特征的最大范围。

Claims (6)

1.一种基于时空上下文学习的实时人脸跟踪方法,其具体包括:目标人脸确定,并将确定的目标人脸位置传递给跟踪器,开启跟踪;从第2帧开始,学习模块分别完成对跟踪器的更新和对效判器的更新;然后确定当前帧中的候选目标人脸;最后将候选目标人脸与更新后的跟踪结果进行融合,得到目标人脸在当前帧的最终位置。
2.如权利要求1所述的基于时空上下文学习的实时人脸跟踪方法,其特征在于所述方法具体包括以下的步骤:步骤一、初始帧人脸检测与目标人脸确定:通过人脸检测器检测得到初始帧内所有人脸的位置,并将确定的目标人脸位置传递给跟踪器,开启跟踪;步骤二、历史帧信息学习与模块更新:从第2帧开始,对于第n帧,其中n>1,学习模块分别完成对跟踪器的更新和对效判器的更新;所述对跟踪器的更新是指对时空上下文模型的更新,所述时空上下文模型是指利用了时间的上下文信息和空间上的局部上下文信息建立的时空上下文模型,所述时间的上下文信息是指邻近帧间目标人脸的外观和位置不会发生突变,所述空间上的局部上下文信息是指目标人脸和目标人脸周围的背景存在的短时或长时的某种特定关系;所述对效判器的更新是指通过收集前n-1帧目标人脸正负样本                                               更新目标人脸的外观模型;步骤三、当前帧候选目标人脸确定:从第2帧开始,对于第n帧,n>1,采用人脸检测器检测得到人脸,将检测结果与更新后的目标人脸的外观模型通过效判器进行关联,在多个人脸检测位置中确定与目标外观模型最为接近的人脸位置,作为候选目标人脸;步骤四、当前帧目标位置确定:从第2帧开始,对于第n帧,n>1,将候选目标人脸与更新后的跟踪结果进行融合,得到目标人脸在当前帧的最终位置。
3.如权利要求2所述的基于时空上下文学习的实时人脸跟踪方法,其特征在于所述对时空上下文模型的更新具体为: 利用目标局部空间上下文信息在时间上的连续性建立时空上下文模型,将目标人脸位置出现概率分解为目标人脸与其周围的局部上下文空间关系的条件概率和局部上下文内各点的先验概率,条件概率通过在线学习更新。
4.如权利要求2所述的基于时空上下文学习的实时人脸跟踪方法,其特征在于对目标人脸的外观模型的更新的学习策略为接受与初始目标相似的当前跟踪结果之前所形成轨迹所包含的所有目标。
5.如权利要求2所述的基于时空上下文学习的实时人脸跟踪方法,其特征在于所述融合器的融合策略具体为:当检测与跟踪均有输出,则通过判效器关联检测结果与目标人脸,如只有一个候选目标则用其重新初始化跟踪器;如存在大于一个候选目标则采用其平均位置修正跟踪器;当检测器有输出,跟踪器无输出,则通过判效器关联检测结果与目标外观模型后,重新初始化跟踪器;当检测器无输出,跟踪器有输出,则通过学习更新判效器。
6.一种基于时空上下文学习的实时人脸跟踪系统,其特征在于具体包括人脸检测器、跟踪器、效判器、融合器和历史帧信息学习与更新模块;所述人脸检测器用于检测视频帧中的人脸,并将确定的目标人脸位置传递给跟踪器;所述跟踪器用于跟踪目标人脸;所述效判器用于将检测结果与跟踪到的目标人脸进行关联,在多个人脸检测位置中确定与跟踪到的目标人脸最为接近的人脸位置;所述融合器用于将候选目标人脸与跟踪结果进行融合,得到目标人脸在当前帧的最终位置;所述历史帧信息学习与更新模块分别完成对跟踪器的更新和对效判器的更新;所述对跟踪器的更新是指对时空上下文模型的更新,所述时空上下文模型是指利用了时间的上下文信息和空间上的局部上下文信息建立的时空上下文模型,所述时间的上下文信息是指邻近帧间目标人脸的外观和位置不会发生突变,所述空间上的局部上下文信息是指目标人脸和目标人脸周围的背景存在的短时或长时的某种特定关系;所述对效判器的更新是指通过收集前n-1帧目标人脸正负样本更新目标人脸的外观模型。
CN201510387826.2A 2015-06-30 2015-06-30 一种基于时空上下文学习的实时人脸跟踪方法及系统 Pending CN104933735A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510387826.2A CN104933735A (zh) 2015-06-30 2015-06-30 一种基于时空上下文学习的实时人脸跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510387826.2A CN104933735A (zh) 2015-06-30 2015-06-30 一种基于时空上下文学习的实时人脸跟踪方法及系统

Publications (1)

Publication Number Publication Date
CN104933735A true CN104933735A (zh) 2015-09-23

Family

ID=54120888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510387826.2A Pending CN104933735A (zh) 2015-06-30 2015-06-30 一种基于时空上下文学习的实时人脸跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN104933735A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023246A (zh) * 2016-05-05 2016-10-12 江南大学 一种基于局部敏感直方图的时空上下文跟踪方法
CN106127766A (zh) * 2016-06-24 2016-11-16 国家新闻出版广电总局广播科学研究院 基于空间耦合关系和历史模型的目标跟踪方法
CN106446933A (zh) * 2016-08-31 2017-02-22 河南广播电视大学 基于上下文信息的多目标检测方法
CN108288020A (zh) * 2017-12-11 2018-07-17 上海交通大学 基于上下文信息的视频遮挡检测系统及方法
CN108932731A (zh) * 2017-05-24 2018-12-04 上海云从企业发展有限公司 基于先验信息的目标跟踪方法及系统
CN109583391A (zh) * 2018-12-04 2019-04-05 北京字节跳动网络技术有限公司 关键点检测方法、装置、设备及可读介质
CN115423844A (zh) * 2022-09-01 2022-12-02 北京理工大学 一种基于多模块联合的目标跟踪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020606A (zh) * 2012-12-27 2013-04-03 北京大学 一种基于时空上下文信息的行人检测方法
CN103150546A (zh) * 2012-12-26 2013-06-12 冉阳 视频人脸识别方法和装置
CN104537692A (zh) * 2014-12-30 2015-04-22 中国人民解放军国防科学技术大学 基于时空上下文信息辅助的关键点稳定跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150546A (zh) * 2012-12-26 2013-06-12 冉阳 视频人脸识别方法和装置
CN103020606A (zh) * 2012-12-27 2013-04-03 北京大学 一种基于时空上下文信息的行人检测方法
CN104537692A (zh) * 2014-12-30 2015-04-22 中国人民解放军国防科学技术大学 基于时空上下文信息辅助的关键点稳定跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAIHUA ZHANG ET AL.: "Face Visual Tracking via Dense Spatio-temporal Context Learning", 《ECCV 2014》 *
ZDENEK KALAL ET AL.: "FACE-TLD: TRACKING-LEARNING-DETECTION APPLIED TO FACES", 《IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023246A (zh) * 2016-05-05 2016-10-12 江南大学 一种基于局部敏感直方图的时空上下文跟踪方法
CN106127766A (zh) * 2016-06-24 2016-11-16 国家新闻出版广电总局广播科学研究院 基于空间耦合关系和历史模型的目标跟踪方法
CN106127766B (zh) * 2016-06-24 2018-12-25 国家新闻出版广电总局广播科学研究院 基于空间耦合关系和历史模型的目标跟踪方法
CN106446933A (zh) * 2016-08-31 2017-02-22 河南广播电视大学 基于上下文信息的多目标检测方法
CN106446933B (zh) * 2016-08-31 2019-08-02 河南广播电视大学 基于上下文信息的多目标检测方法
CN108932731A (zh) * 2017-05-24 2018-12-04 上海云从企业发展有限公司 基于先验信息的目标跟踪方法及系统
CN108932731B (zh) * 2017-05-24 2021-02-05 上海云从企业发展有限公司 基于先验信息的目标跟踪方法及系统
CN108288020A (zh) * 2017-12-11 2018-07-17 上海交通大学 基于上下文信息的视频遮挡检测系统及方法
CN109583391A (zh) * 2018-12-04 2019-04-05 北京字节跳动网络技术有限公司 关键点检测方法、装置、设备及可读介质
CN115423844A (zh) * 2022-09-01 2022-12-02 北京理工大学 一种基于多模块联合的目标跟踪方法
CN115423844B (zh) * 2022-09-01 2023-04-11 北京理工大学 一种基于多模块联合的目标跟踪方法

Similar Documents

Publication Publication Date Title
CN104933735A (zh) 一种基于时空上下文学习的实时人脸跟踪方法及系统
US10706285B2 (en) Automatic ship tracking method and system based on deep learning network and mean shift
CN105373135B (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
CN106408591B (zh) 一种抗遮挡的目标跟踪方法
Ellis Performance metrics and methods for tracking in surveillance
Lookingbill et al. Reverse optical flow for self-supervised adaptive autonomous robot navigation
CN106127204A (zh) 一种全卷积神经网络的多方向水表读数区域检测算法
CN109544592B (zh) 针对相机移动的运动目标检测算法
CN114299417A (zh) 一种基于雷视融合的多目标跟踪方法
CN108764167A (zh) 一种时空关联的目标重识别方法和系统
KR20200087347A (ko) Tsn을 이용한 도로 감시 카메라 영상의 강우량 인식방법 및 장치
CN110021034A (zh) 一种基于头肩检测的跟踪录播方法及系统
CN103593679A (zh) 一种基于在线机器学习的视觉人手跟踪方法
CN104092991A (zh) 针对目标跟踪控制的图像信号综合处理装置及实现方法
US20220148292A1 (en) Method for glass detection in real scenes
CN109118514A (zh) 一种目标跟踪方法
CN112261719B (zh) 一种slam技术结合深度学习的区域定位方法
CN108596117A (zh) 一种基于二维激光测距仪阵列的场景监控方法
CN116894855A (zh) 一种基于重叠视野下交叉路口多目标跨域跟踪方法
CN103323839A (zh) 一种获取低空飞行目标高度信息的方法、装置
CN106033548A (zh) 基于改进字典学习的拥挤人群异常检测方法
CN113947714B (zh) 一种视频监控和遥感的多模态协同优化方法及系统
CN114298163A (zh) 一种基于多源信息融合的在线路况检测系统及方法
CN113988228A (zh) 一种基于rfid和视觉融合的室内监控方法及系统
CN106127798A (zh) 基于自适应模型的稠密时空上下文目标跟踪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150923

WD01 Invention patent application deemed withdrawn after publication