CN105760826A - 一种人脸跟踪方法、装置和智能终端 - Google Patents
一种人脸跟踪方法、装置和智能终端 Download PDFInfo
- Publication number
- CN105760826A CN105760826A CN201610076493.6A CN201610076493A CN105760826A CN 105760826 A CN105760826 A CN 105760826A CN 201610076493 A CN201610076493 A CN 201610076493A CN 105760826 A CN105760826 A CN 105760826A
- Authority
- CN
- China
- Prior art keywords
- face
- feature points
- edge feature
- tracked
- reference frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
- H04W88/02—Terminal devices
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种人脸跟踪方法、装置和智能终端,该跟踪方法包括:采集视频流中的一帧图像并进行人脸检测和人脸识别,识别出目标人脸;根据识别出的目标人脸,确定参考帧中包括目标人脸的待跟踪窗口的位置,并提取参考帧待跟踪窗口中的边缘特征点;根据参考帧待跟踪窗口的位置,确定视频流中当前帧待跟踪窗口的初始位置,并提取当前帧待跟踪窗口中的边缘特征点;计算参考帧的边缘特征点与当前帧的边缘特征点间的相对位移;利用相对位移对当前帧待跟踪窗口的初始位置进行调整,实现人脸跟踪。与现有技术相比,本发明实施例的这种人脸跟踪方案基于人脸边缘特征点的位移实现跟踪,对环境具有较好的适应性,人脸跟踪更精确。
Description
技术领域
本发明涉及计算机视觉技术领域,具体涉及一种人脸跟踪方法、装置和智能终端。
背景技术
人脸跟踪是在人脸识别的基础上确定目标人脸运动轨迹的过程。人脸识别通常又可分为两部分,一是对图像进行人脸检测,二是对检测到的人脸区域进行特定人脸判定,即首先要在输入图像中检测出人脸,然后再将检测到的人脸与人脸库中的样本进行比对以识别出目标人脸。在识别出目标人脸后,如何对人脸的运动轨迹进行有效的跟踪是人脸跟踪需要解决的问题。
现有技术,人脸跟踪广泛应用的是基于肤色特征的Camshift(连续自适应均值移动,ContinuouslyAdaptiveMeanShift)算法,Camshift算法是均值移动(MeanShift)算法的改进,该算法的基本思想是将视频图像的所有帧作MeanShift运算,并将上一帧的计算结果(即搜索窗口的中心和大小)作为下一帧MeanShift算法的搜索窗口的初始值,如此迭代下去。Camshift算法能够根据当前帧的跟踪结果自适应地调整搜索窗口的位置和大小,实现人脸实时跟踪。
但是,Camshift算法采用肤色模型跟踪,对环境、背景等因素依赖大且抗干扰能力差,跟踪精度较低。
发明内容
本发明提供了一种人脸跟踪方法、装置和智能终端,以解决现有的人脸跟踪算法存在的跟踪精度低的问题。
根据本发明的一个方面,提供了一种人脸跟踪方法,该方法包括:
采集视频流中的一帧图像作为参考帧并对该参考帧进行人脸检测和人脸识别,识别出目标人脸;
根据识别出的目标人脸,确定参考帧中包括目标人脸的待跟踪窗口的位置,并提取参考帧待跟踪窗口中的边缘特征点;
根据参考帧待跟踪窗口的位置,确定视频流中当前帧图像上待跟踪窗口的初始位置,并提取当前帧待跟踪窗口中的边缘特征点;
计算参考帧的边缘特征点与当前帧的边缘特征点的相对位移;
利用相对位移对当前帧待跟踪窗口的初始位置进行调整,获得视频流中目标人脸的活动轨迹,实现人脸跟踪。
根据本发明的另一个方面,提供了一种人脸跟踪装置,该装置包括:
人脸识别模块,用于采集视频流中的一帧图像作为参考帧并对该参考帧进行人脸检测和人脸识别,识别出目标人脸;
参考帧窗口位置确定模块,用于根据识别出的目标人脸,确定参考帧中包括目标人脸的待跟踪窗口的位置,并提取参考帧待跟踪窗口中的边缘特征点;
当前帧窗口位置确定模块,用于根据参考帧待跟踪窗口的位置,确定视频流中当前帧图像上待跟踪窗口的初始位置,并提取当前帧待跟踪窗口中的边缘特征点;
相对位移计算模块,用于计算参考帧的边缘特征点与当前帧的边缘特征点的相对位移;
窗口位置调整模块,用于利用相对位移对当前帧待跟踪窗口的初始位置进行调整,获得视频流中目标人脸的活动轨迹,实现人脸跟踪。
根据本发明又一个方面,提供了一种智能终端,智能终端包括:如本发明另一个方面的人脸跟踪装置;
该智能终端利用人脸跟踪装置检测人脸运动状态,且该智能终端根据定位到的人脸运动状态自适应调整至少部分可移动部件的位置或至少部分部件所执行的功能。
本发明的有益效果是:与现有的基于肤色模型的Camshift算法等现有技术相比,本发明技术方案提供的这种人脸跟踪方法和装置,基于识别出的目标人脸的边缘特征点位移进行跟踪,通过利用分布在目标人脸的边缘特征点的运动特征(即位移)信息来确定下一帧图像中目标人脸的区域,降低待跟踪目标人脸的运动以及噪声对人脸跟踪检测的影响,从而提高了人脸跟踪的正确率和跟踪精度。另外,本发明还提供了一种智能终端,该智能终端利用人脸跟踪装置检测人脸运动状态,且该智能终端根据定位到的人脸运动状态自适应调整至少部分可移动部件的位置或至少部分部件所执行的功能。可以针对同一个目标人脸实现不间断的跟踪,提高了产品的用户体验和竞争力。
附图说明
图1是本发明一个实施例的一种人脸跟踪方法的流程示意图;
图2是本发明另一个实施例的一种人脸跟踪应用的实现流程图;
图3是本发明一个实施例的反向跟踪验证的原理示意图;
图4是本发明一个实施例的待跟踪窗口以及目标人脸边缘特征点的示意图;
图5是本发明一个实施例的一种人脸跟踪装置的结构框图;
图6是本发明一个实施例的一种智能终端的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例一
图1是本发明一个实施例的一种人脸跟踪方法的流程示意图,参见图1,该人脸跟踪方法包括如下步骤11至15:
步骤11,采集视频流中的一帧图像作为参考帧并对该参考帧进行人脸检测和人脸识别,识别出目标人脸;
步骤12,根据识别出的目标人脸,确定参考帧中包括目标人脸的待跟踪窗口的位置,并提取参考帧待跟踪窗口中的边缘特征点;
步骤13,根据参考帧待跟踪窗口的位置,确定视频流中当前帧图像上待跟踪窗口的初始位置,并提取当前帧待跟踪窗口中的边缘特征点;
这里的参考帧,是从视频流中选取的一帧,当前帧是在参考帧之后并且时间上尽量相邻的一帧。此外,本实施例视频流中图像也需要满足计算的前提条件(如,图像背景不变及光线稳定相邻两帧的边缘特征点位移远小于图像尺度)以保证图像的平移运动,以及当前帧中待跟踪窗口的初始位置与参考帧的待跟踪窗口的位置相同。如此,在确定出参考帧中待跟踪窗口的位置后,即可根据该位置确定出当前帧中待跟踪窗口的初始位置。
步骤14,计算参考帧的边缘特征点与当前帧的边缘特征点的相对位移;在此,相对位移为特征点在空间中的移动量,例如,分别将目标人脸的各边缘特征点投影到与目标人脸平行的平面上,根据所述当前帧和参考帧的待跟踪窗口,构建对应的包括四个区域的平面坐标系,将待跟踪窗口中的边缘特征点投影到所述平面坐标系中,得到每个边缘特征点对应的横坐标和纵坐标值,利用参考帧的边缘特征点的坐标与当前帧的边缘特征点的坐标之间的差值得到相对位移。
步骤15,利用相对位移对当前帧待跟踪窗口的初始位置进行调整,获得视频流中目标人脸的活动轨迹,实现人脸跟踪。
由图1可知,本实施例的人脸跟踪方法,基于参考帧中待跟踪窗口的位置确定当前帧中待跟踪窗口的位置,并基于两帧图像中目标人脸的边缘特征点的位移,调整当前帧的待跟踪窗口位置,以降低待跟踪目标人脸的运动以及噪声对人脸跟踪检测的影响,从而提高了人脸跟踪的正确率和跟踪精度。
人脸跟踪技术已经越来越多的应用到智能终端中,但是,目前人脸跟踪在智能终端上的实际应用仍然存在下列问题:
(1)如何克服人脸表情、环境光线及图像集合变化产生的影响,提取有效的特征来描述人脸。
(2)在目标快速移动的时候准确的跟踪,人脸在移动的时候会产生不同程度的角度变化,左右倾斜或前后转动,也会产生一定程度的表情变化。人前后移动也会令人脸在画面中的大小产生变化。如何克服这些变化,准确的定位和跟踪人脸。
(3)如何通过跟踪的人脸来判定目标的运动状态。在视频流中的人脸始终处于运动状态,如何通过提取的人脸信息判定用户的运动状态,这也是人机交互领域不得不解决的问题之一。
以下结合本发明的其他实施例,对本发明为了解决上述技术问题采取的技术手段进行具体说明。
实施例二
图2是本发明另一个实施例的一种人脸跟踪应用的实现流程图,参见图2,本实施例中将人脸跟踪方法应用到智能终端中,使得智能终端能够检测、识别出目标人脸,并实时跟踪识别出的目标人脸。本实施例通过截取视频流中的某一帧图像,利用Cascade算法对图像进行扫描检测,然后针对检测到的人脸区域进行Gabor小波变换来提取人脸特征,随后利用支持向量机(SupportVectorMachine,SVM)进行模式匹配识别,当匹配到确定目标后,采用基于特征点位移的跟踪算法对该特定目标进行跟踪。即本实施例中的人脸跟踪的流程大致为:首先,采用Cascade算法进行扫描检测人脸,其次,根据检测到的人脸区域利用Gabor小波变换提取人脸特征,最后,利用SVM来对提取的人脸特征进行识别比对。比对成功后,即可对该目标人脸进行跟踪。以下进行具体说明:
步骤21,流程开始后,由(智能)终端获取视频流中的一帧图像作为参考帧;
这里,智能终端中安装视频采集装置,能够实时采集图像得到视频流,从视频流中选取一帧图像(一般为彩色图像)作为参考帧,并将选取的一帧彩色图像转换为灰度图像,然后提取灰度图像的类Haar特征值。提取灰度图像的类Haar特征值时,本实施例中将简单矩形组合作为特征模板,特征模板内有白色和黑色两种矩形,并将此模板的特征值定义为白色矩形像素点的总和减去黑色矩形像素点的总和。
此外,为了提高计算速度,可以采用积分图像方法。而利用积分图像提取类Haar特征可以采用现有技术,更详细的操作步骤可以参见现有技术中的相关记载,这里不再赘述。
步骤22,人脸检测;
人脸检测的目的是在图像或者视频中正确地找到并标记出人脸的准确位置,是实现人脸识别、跟踪等工作的重要先决条件。
由于图像的复杂程度较高,仅利用单一特征信息往往不能得到准确的检测结果,需要融合多个特征信息进行检测。所以,本实施例中采用Cascade算法和肤色判别相结合的方法进行人脸检测。Cascade算法是基于类Haar特征(即矩形特征)的,然后采用Adaboost算法的级联分类器对类Haar特征进行选择判别。即本实施例中对参考帧图像进行人脸检测包括:利用训练好的Adaboost级联分类器对灰度图像的类Haar特征值进行选择,并利用选择的类Haar特征值对灰度图像进行检测得到初始人脸区域。基于类Haar特征的Adaboost检测算法,对系统自身的要求较低,运算速度快。
另外,进一步降低误检率,提高人脸跟踪的精度,可以利用预先构建的肤色模型对检测出的初始人脸区域进行肤色判别,得到标准人脸区域。
步骤23,人脸识别;
在对图像完成人脸检测后,需要对已检测到的人脸进行比对识别,以确认是否为目标人脸。人脸识别主要包括特征提取和分类两部分,本实施例中采用Gabor小波变换来提取人脸特征,并采用SVM特征向量机来进行分类。
具体的,对步骤22中得到的标准人脸区域,利用设定的Gabor滤波器提取人脸特征,然后将Gabor滤波器提取出的人脸特征送入训练好的SVM中进行匹配识别,以识别出目标人脸。
其中,Gabor小波变换可以取8个方向,每个方向下5个频率的一共40组特征值来描述人脸特征。然后,对提取的Gabor特征利用SVM进行匹配识别。接下来,就可以针对SVM匹配成功的人脸区域进行边缘特征点(如人脸区域的眼角、鼻梁、嘴角等特征点)提取,并对这些特征点的位置进行跟踪。相比以往人脸识别的技术,本实施例中Gabor小波变换选取了8个不同方向下的5个不同频率的总计40个图像纹理信息,更加全面的描述了图像纹理特征,可以有效的消除光照、表情等因素对人脸识别的影响。
人脸跟踪
本实施例中,人脸跟踪包括步骤24,根据识别出的目标人脸确定待跟踪窗口的位置,并进行边缘特征点提取;步骤25,获取视频流中当前帧图像,步骤26,确定当前帧的待跟踪窗口初始位置,并进行边缘特征点提取;步骤27计算边缘特征点之间的相对位移。下面结合步骤24至步骤27具体说明人脸跟踪流程:
步骤24和步骤26中出现的待跟踪窗口,待跟踪窗口是通过步骤23人脸识别步骤中识别出的目标人脸来确定的,具体的,待跟踪窗口是包括标准人脸区域一个矩形框。
人脸跟踪的实现是通过两帧图像的SSD(SumofSquaredintensityDifferences,灰度差平方和)来计算待跟踪窗口出现在下一帧的位置,这里所说的下一帧是两帧中的第二帧,两帧图像不是任意的两帧,而是满足计算的前提条件(如图像背景不变及光线稳定,保证相邻两帧的边缘特征点位移应远小于图像尺度),并且时间上尽量相近的两帧。
具体的,基于边缘特征点的人脸跟踪算法,是以待跟踪窗口W(W中包括识别出的人脸)在视频图像帧间SSD作为度量的跟踪算法。其中,边缘特征点是指人脸的边缘特征(如眼角、嘴边等)对应的像素点,这些特征对应的像素点在两帧图像间会出现像素值突变。
需要强调的是,本实施例的基于两帧图像的SSD确定位移的人脸跟踪需保证:亮度恒定,时间连续或者运动幅度相对较小,以及空间一致,临近点有相似运动,保持相邻。满足以上前提条件,可保证计算过程不受亮度变化影响,在待跟踪窗口间进行仿射变换,一般在这个过程中假设待跟踪窗口中所有边缘特征点的坐标偏移量相等。用偏移变量d来表示。因此,本实施例中两帧图像之间是平移运动,而不适用于图像翻转、折叠、扭曲等特征点运动特性不同的情况。
对于灰度图像,一个包含了特征纹理信息(即边缘特征)的待跟踪窗口W,在t时刻图像帧I(x,y,t)和在t+τ时刻图像帧I(x,y,t+τ)中的位置满足下列公式:
I(x,y,t+τ)=I(x-Δx,y-Δy,t)公式2.1
即,在I(x,y,t+τ)中的每个像素点,都可以由I(x,y,t)中相应窗口的像素点平移d=(Δx,Δy)得到。求出位移d,即可实现对两帧图像的特定目标的跟踪。
假设t+τ时刻的待跟踪窗口为B(X)=B(x,y,t+τ),其中X=(x,y)为视口坐标。t时刻的待跟踪窗口为A(X-d)=A(x-Δx,y-Δy,t)。考虑一般情况,有
B(X)=A(X-d)+n(X)公式2.2
其中,n(X)为在时间τ内由于光照条件变化产生的噪声,将n(X)平方并在整个窗口上积分,就得到了窗口图像的SSD:
ε=∫∫vn(X)2ω(X)dX=∫∫v[A(X-d)-B(X)]2ω(X)dX公式2.3
其中,X=[x,y]T,d=[dx,dy]T,ω(X)通常可取为1。如果强调中心部分特征点的作用,ω(X)可以采用高斯分布函数。当d为一个和X比起来可忽略的小量时,将A(X-d)进行泰勒展开,去除高次项,仅保留展开项的第一项,以降低计算量,得到下列算式:
A(X-d)=A(X)-g·d公式2.4
将公式2.4代入公式2.3,并对公式2.3的两边同时对d求导之后取零,可以得到: 公式2.5
此时ε取得极小值,公式2.5可变换为下面公式2.6:
(∫∫vggTωdX)d=∫∫v[A(X)-B(X)]gωdX公式2.6
若令
e=∫∫v[A(X)-B(X)]g(X)ω(X)dX
则,公式2.6可以简写为:Zd=e,
对于每两帧图像,解上式Zd=e,即可以求出待跟踪窗口中的边缘特征点的相对位移d=(Δx,Δy)。
至此,得到了边缘特征点的相对位移d,然后根据相对位移调整待跟踪窗口在下一帧的位置,即可得到目标人脸的运动轨迹,实现人脸跟踪。
由上可知,本实施例的人脸跟踪通过选取视频流中的某一帧图像作为参考帧,利用Cascade算法进行扫描检测,然后针对检测到的人脸区域进行Gabor小波变换来提取人脸特征,随后利用SVM进行模式匹配识别,当匹配到确定目标人脸后,采用基于边缘特征点位移的跟踪算法确定待跟踪窗口在当前帧的位置,实现对该目标人脸的跟踪。克服了人脸表情、环境光线及图像集合变化产生的影响,并提取到有效的边缘特征来描述人脸,提高了人脸跟踪的精度。
实施例三
在实际跟踪过程中,在目标快速移动的时候准确的跟踪,人脸在移动的时候会产生不同程度的角度变化,而左右倾斜或前后转动时,人脸会产生一定程度的表情变化,人前后移动也会令人脸在画面中的大小产生变化。如遇到边缘特征点被遮挡的情况,系统有可能将其他相似的边缘特征点误认为是该特征点而导致跟踪产生错误或跟踪失败的情况。为解决这一问题,本发明的一个实施例中采用逆时反向跟踪的手段来验证跟踪的准确性。以下结合本实施例对人脸跟踪的反向验证进行重点说明,其他内容参见本发明的其他实施例。
图3是本发明一个实施例的反向跟踪验证的原理示意图,本实施例中,对调整后的当前帧待跟踪窗口中的每个边缘特征点进行验证;当验证成功时,确认在当前帧成功跟踪到该边缘特征点,在后续跟踪过程中继续对该边缘特征点进行跟踪;当验证失败时,确认在当前帧中对该边缘特征点跟踪失败,舍弃该边缘特征点,不再对该边缘特征点进行跟踪。
参见图3,图3示出的是跟踪错误的情况。在人脸跟踪过程中,视频流中图像是按照顺时针排列的,即从前一帧跟踪到当前帧,并从当前帧跟踪到后一帧。但是在逆时验证时,视频流中的图像相当于按照逆时针排列,这样,逆时验证时的第一帧就可以是顺时跟踪到的最后一帧。反向跟踪验证即对于顺时跟踪到的一个t+k(k>1)时刻的图像It+k(当前帧)中的一个边缘特征点Xt+k,向前回溯跟踪至t+1时刻的图像It+1,并继续向前回溯跟踪至t时刻(参考帧),计算出t时刻边缘特征点Xt+k对应的位置为Yt,若Yt与t时刻时记录的位置Xt没有重合(表示跟踪错误),那么在从t+k时刻向后一帧顺时跟踪过程中,系统将抛弃该边缘特征点并利用验证通过的那些边缘特征点继续人脸跟踪。通过对It+k上的每个边缘特征点进行逆时方向跟踪计算和验证,即可判断出跟踪错误的所有边缘特征点。经实验结果证实,采用逆时验证的手段可以确保人脸跟踪的正确性。
具体实现时,是将当前帧待跟踪窗口中的边缘特征点的位置作为验证起始位置;利用验证起始位置及当前帧与参考帧之间边缘特征点的相对位移,确定边缘特征点在参考帧的待跟踪窗口,并在待跟踪窗口内搜索边缘特征点,得到边缘特征点在参考帧的位置;将验证出的边缘特征点在参考帧的位置与预先获取的参考帧图像中边缘特征点的位置进行比较,若比较结果相同,则验证成功;若比较结果不同,则验证失败。
由上可知,在人脸跟踪过程中,针对人脸运动可能存在的边缘特征被遮挡导致跟踪错误的问题,通过对跟踪到的边缘特征点进行验证,并将跟踪错误的边缘特征点及时排除,确保利用跟踪正确的边缘特征点进行后续顺时跟踪,克服了由边缘特征点的误判导致跟踪失败的问题,进一步提高了人脸跟踪的精度。
实施例四
本发明的这种基于边缘特征点的位移的人脸跟踪方法,还可以通过比对视频流中相邻两帧画面中同一边缘特征点的相对位置关系,判断出目标人脸的动作。这解决了在视频流中的人脸始终处于运动状态的情况,如何通过提取的人脸信息判定用户的运动状态的问题。以下结合实施例四进行具体说明:
图4是本发明一个实施例的待跟踪窗口以及目标人脸边缘特征点的示意图,参见图4,目标人脸的运动主要体现在倾斜和转动。倾斜的情况下可通过边缘特征点位移得到,当人脸发生向左或向右的倾斜时,待跟踪窗口W(即图4中包括人脸的矩形框40)也会随之产生倾斜。此时,根据矩形框的四个角点(角点,是二维图像亮度变化剧烈的点或图像边缘曲线上曲率极大值的点,这些点保留了图像的重要特征)的坐标即可得出人脸倾斜的方向和大小。
而转动的情况就比较复杂,人脸的转动主要包括上、下、左、右四个方向,其中又以左和右的转动为多数情况。转动时,边缘特征点的位移主要体现在间距的变化,因此,本实施例中根据边缘特征点之间的相对位移来判断人脸动作。参见图4,主要实现步骤是:对当前帧和参考帧,分别将目标人脸的各边缘特征点投影到与目标人脸平行的平面上,并监测各边缘特征点之间的间距;若相对于参考帧中边缘特征点的间距,当前帧的左半边脸的边缘特征点的间距变大且右半边脸的边缘特征点的间距变小,则确定目标人脸向右转;若相对于参考帧中边缘特征点的间距,当前帧的左半边脸的边缘特征点的间距变小且右半边脸的边缘特征点的间距变大,则确定目标人脸向左转;若相对于参考帧中边缘特征点的间距,当前帧的上半边脸的边缘特征点的间距变大且下半边脸的边缘特征点的间距变小,则确定目标人脸在抬头;若相对于参考帧中边缘特征点的间距,当前帧的上半边脸的边缘特征点的间距变小且下半边脸的边缘特征点的间距变大,则确定目标人脸在低头。
如图4所示,在选定的人脸区域矩形框内,以对角线交点为中点划出四个区域41、42、43、44,构建对应的包括四个区域41、42、43、44的平面坐标系,将待跟踪窗口中的边缘特征点投影到平面坐标系中,得到每个边缘特征点401对应的横坐标和纵坐标值(图4中人脸中的各点投影至包括四个区域的平面坐标系,得到人脸中各点的坐标,当人脸转动时,坐标会发生变化);具体的,四个区域是按照每帧图像待跟踪窗口所在图形的对角线的交点为中点划分而成,包括:区域一41、区域二42、区域三43和区域四44,区域一和区域三中边缘特征点的横坐标值小于等于区域二和区域四中边缘特征点的横坐标值,区域三和区域四中边缘特征点的纵坐标值小于等于区域一和区域二中边缘特征点的纵坐标值;
将投影到区域一和区域三中的边缘特征点根据横坐标X升序排列得到矩阵将投影到区域二和区域四中的边缘特征点根据横坐标X升序排成排列得到矩阵
将投影到区域一和区域二中的边缘特征点根据纵坐标Y值升序排列得到矩阵将投影到区域三和区域四中的边缘特征点根据纵坐标Y值升序排列得到矩阵
当判定左右转动时,对和进行计算;当判定抬头低头动作时,则对矩阵和进行计算。判定左右转动时,分别求得矩阵相邻两个边缘特征点的间距在X轴上的映射和并将其与上一帧(即参考帧)的间距相减。当区域一、三区域的所有特征点之间的距离在x轴上的投影全部减小并且区域二、四的所有特征点之间的距离在x轴上的投影全部增加时,即判定目标正在向右转;而当区域二、四的所有特征点之间的距离在x轴上的投影全部减小并且区域一、三的所有特征点之间的距离在x轴上的投影全部增加时,即判定目标正在向左转。
具体的:分别计算矩阵中每相邻两个元素的间距得到相应的间距矩阵和并依次将当前帧的间距矩阵和中的每个元素与参考帧的间距矩阵中的每个元素作差,根据计算结果判断目标人脸的左转或右转动作;分别计算矩阵中每相邻两个元素的间距得到相应的间距矩阵和并依次将当前帧的间距矩阵和中的每个元素与参考帧的间距矩阵中的每个元素作差,根据计算结果判断目标人脸的抬头或低头动作。
其中,当计算结果满足下列公式(1)和(2)时,确定目标人脸向右转动;
公式(1)
公式(2)
其中,表示当前帧左半边脸的边缘特征点的间距矩阵,表示参考帧左半边脸的边缘特征点的间距矩阵表示当前帧右半边脸的边缘特征点的间距矩阵,表示参考帧右半边脸的边缘特征点的间距矩阵;
当计算结果满足下列公式(3)和(4)时,确定目标人脸向左转动:
公式(3)
公式(4)
其中,表示当前帧左半边脸的边缘特征点的间距矩阵,表示参考帧左半边脸的边缘特征点的间距矩阵表示当前帧右半边脸的边缘特征点的间距矩阵,表示参考帧右半边脸的边缘特征点的间距矩阵;
根据计算结果判断目标人脸的抬头或低头动作包括:
当计算结果满足下列公式(5)和(6)时,确定目标人脸在抬头:
公式(5)
公式(6)
其中,表示当前帧上半边脸的边缘特征点的间距矩阵表示参考帧上半边脸的边缘特征点的间距矩阵表示当前帧下半边脸的边缘特征点的间距矩阵表示参考帧下半边脸的边缘特征点的间距矩阵
当计算结果满足下列公式(7)和(8)时,确定目标人脸在低头:
公式(7)
公式(8)
其中,表示当前帧上半边脸的边缘特征点的间距矩阵表示参考帧上半边脸的边缘特征点的间距矩阵表示当前帧下半边脸的边缘特征点的间距矩阵表示参考帧下半边脸的边缘特征点的间距矩阵
由上描述可知,本实施例针对人脸跟踪过程中,视频流中的人脸始终处于运动状态的情况下如何实时跟踪的问题,通过对参考帧和当前帧中待跟踪窗口中的边缘特征点的间距变化判断目标人脸的运动动作,判定目标的运动状态,同时保证了人脸跟踪的准确性和精度。
实施例五
图5是本发明一个实施例的一种人脸跟踪装置的结构框图,参见图5,该人脸跟踪装置人脸跟踪装置50包括:
人脸识别模块501,用于采集视频流中的一帧图像作为参考帧并对该参考帧进行人脸检测和人脸识别,识别出目标人脸;
参考帧窗口位置确定模块502,用于根据识别出的目标人脸,确定参考帧中包括目标人脸的待跟踪窗口的位置,并提取参考帧待跟踪窗口中的边缘特征点;
当前帧窗口位置确定模块503,用于根据参考帧待跟踪窗口的位置,确定视频流中当前帧图像上待跟踪窗口的初始位置,并提取当前帧待跟踪窗口中的边缘特征点;
相对位移计算模块504,用于计算参考帧的边缘特征点与当前帧的边缘特征点的相对位移;
人脸跟踪模块505,用于利用相对位移对当前帧待跟踪窗口的初始位置进行调整,获得视频流中目标人脸的活动轨迹,实现人脸跟踪。
本实施例中,装置50进一步包括:跟踪验证模块和人脸动作判断模块;
跟踪验证模块,用于在利用相对位移对当前帧待跟踪窗口的初始位置进行调整之后,对调整后的当前帧待跟踪窗口中的每个边缘特征点进行验证;当验证成功时,确认在当前帧成功跟踪到该边缘特征点,在后续跟踪过程中继续对该边缘特征点进行跟踪;当验证失败时,确认在当前帧中对该边缘特征点跟踪失败,舍弃该边缘特征点,不再对该边缘特征点进行跟踪;
人脸动作判断模块,用于利用待跟踪窗口中的边缘特征点在参考帧和当前帧之间的间距变化确定目标人脸的左右转动动作和抬头低头动作;以及,利用参考帧与当前帧之间边缘特征点的相对位移计算目标人脸的倾斜角度,由倾斜角度确定目标人脸的倾斜动作。
本实施例中,跟踪验证模块,具体用于将当前帧待跟踪窗口中的边缘特征点的位置作为验证起始位置;
利用验证起始位置及当前帧与参考帧之间边缘特征点的相对位移,确定边缘特征点在参考帧的待跟踪窗口,并在待跟踪窗口内搜索边缘特征点,得到边缘特征点在参考帧的位置;
将验证出的边缘特征点在参考帧的位置与预先获取的参考帧图像中边缘特征点的位置进行比较,若比较结果相同,则验证成功;若比较结果不同,则验证失败。
本实施例中,人脸动作判断模块,具体用于对当前帧和参考帧,分别将目标人脸的各边缘特征点投影到与目标人脸平行的平面上,并监测各边缘特征点之间的间距;若相对于参考帧中边缘特征点的间距,当前帧的左半边脸的边缘特征点的间距变大且右半边脸的边缘特征点的间距变小,则确定目标人脸向右转;若相对于参考帧中边缘特征点的间距,当前帧的左半边脸的边缘特征点的间距变小且右半边脸的边缘特征点的间距变大,则确定目标人脸向左转;若相对于参考帧中边缘特征点的间距,当前帧的上半边脸的边缘特征点的间距变大且下半边脸的边缘特征点的间距变小,则确定目标人脸在抬头;若相对于参考帧中边缘特征点的间距,当前帧的上半边脸的边缘特征点的间距变小且下半边脸的边缘特征点的间距变大,则确定目标人脸在低头。
其中,分别根据当前帧和参考帧的待跟踪窗口,构建对应的包括四个区域的平面坐标系,将待跟踪窗口中的边缘特征点投影到平面坐标系中,得到每个边缘特征点对应的横坐标和纵坐标值;具体的,四个区域是按照每帧图像待跟踪窗口所在图形的对角线的交点为中点划分而成,包括:区域一、区域二、区域三和区域四,区域一和区域三中边缘特征点的横坐标值小于等于区域二和区域四中边缘特征点的横坐标值,区域三和区域四中边缘特征点的纵坐标值小于等于区域一和区域二中边缘特征点的纵坐标值;
将投影到区域一和区域三中的边缘特征点根据横坐标升序排列得到矩阵将投影到区域二和区域四中的边缘特征点根据横坐标升序排成排列得到矩阵
将投影到区域一和区域二中的边缘特征点根据纵坐标值升序排列得到矩阵将投影到区域三和区域四中的边缘特征点根据纵坐标值升序排列得到矩阵
分别计算矩阵中每相邻两个元素的间距得到相应的间距矩阵和并依次将当前帧的间距矩阵和中的每个元素与参考帧的间距矩阵中的每个元素作差,根据计算结果判断目标人脸的左转或右转动作;
分别计算矩阵中每相邻两个元素的间距得到相应的间距矩阵和并依次将当前帧的间距矩阵和中的每个元素与参考帧的间距矩阵中的每个元素作差,根据计算结果判断目标人脸的抬头或低头动作。
其中,当计算结果满足下列公式(1)和(2)时,确定目标人脸向右转动;
公式(1)
公式(2)
其中,表示当前帧左半边脸的边缘特征点的间距矩阵,表示参考帧左半边脸的边缘特征点的间距矩阵表示当前帧右半边脸的边缘特征点的间距矩阵,表示参考帧右半边脸的边缘特征点的间距矩阵;
当计算结果满足下列公式(3)和(4)时,确定目标人脸向左转动:
公式(3)
公式(4)
其中,表示当前帧左半边脸的边缘特征点的间距矩阵,表示参考帧左半边脸的边缘特征点的间距矩阵表示当前帧右半边脸的边缘特征点的间距矩阵,表示参考帧右半边脸的边缘特征点的间距矩阵;
根据计算结果判断目标人脸的抬头或低头动作包括:
当计算结果满足下列公式(5)和(6)时,确定目标人脸在抬头:
公式(5)
公式(6)
其中,表示当前帧上半边脸的边缘特征点的间距矩阵表示参考帧上半边脸的边缘特征点的间距矩阵表示当前帧下半边脸的边缘特征点的间距矩阵表示参考帧下半边脸的边缘特征点的间距矩阵
当计算结果满足下列公式(7)和(8)时,确定目标人脸在低头:
公式(7)
公式(8)
其中,表示当前帧上半边脸的边缘特征点的间距矩阵表示参考帧上半边脸的边缘特征点的间距矩阵表示当前帧下半边脸的边缘特征点的间距矩阵表示参考帧下半边脸的边缘特征点的间距矩阵
如此,实现了视频流中目标人脸的动作检测。
本实施例中,人脸识别模块501,具体用于采集视频流中的一帧图像并转换为灰度图像,提取灰度图像的类Haar特征值;利用训练好的Adaboost级联分类器对灰度图像的类Haar特征值进行选择,并利用选择的类Haar特征值对灰度图像进行检测得到初始人脸区域;利用构建的肤色模型对初始人脸区域进行肤色判别,得到标准人脸区域;对标准人脸区域,利用设定的Gabor滤波器提取人脸特征;将Gabor滤波器提取出的人脸特征送入训练好的支持向量机SVM中进行匹配识别,以识别出目标人脸。
需要说明的是,本实施例中的人脸跟踪装置是和前述的人脸跟踪方法相对应的,因此,该人脸跟踪装置的工作过程可以参见本发明的人脸跟踪方法实施例中的相关描述,在此不再赘述。
实施例六
图6是本发明一个实施例的一种智能终端的结构框图,参见图6,本实施例的这种智能终端60包括实施例五中所示的人脸跟踪装置50。该智能终端60利用人脸跟踪装置50检测人脸运动状态,且该智能终端60根据定位到的人脸运动状态自适应调整至少部分可移动部件的位置(如转动显示屏的位置)或至少部分部件所执行的功能(如开启或关闭终端中某一些应用的功能)。
一般情况下,当人脸进行抬头和低头操作时,无需移动智能终端的可移动部件位置(或朝向),而当人脸进行左转和右转时,则可能需要对智能终端的可移动部件的位置进行移动操作。本实施例中,由于该智能终端60包括了人脸跟踪装置,所以当智能终端60的系统判定到有人脸转动动作后,定位到人脸的一次动作结束时,调整智能终端的可移动部件的位置,以使得智能终端跟随人脸的动作,更加人性化。
本实施例中,智能终端60计算相邻的t时刻和t-1时刻,当前帧的左半边脸或右半边脸的边缘特征点的间距矩阵的差值,即或即确定人脸转动动作接近结束,其中阈值为0,此时,控制将智能终端的可移动部件的位置按转动方向平移π/4弧度。智能终端60的可移动部件移动后,视频流中图像背景随之变化,因此重新对图像进行人脸检测步骤。如此,智能终端通过该人脸跟踪装置跟踪人脸的运动,使得可以针对同一个人实现不间断的跟踪,提高了智能终端的人机交互的能力。
本实施例中,智能终端60可以为检测人体活动的终端设备(如智能机器人),然后智能机器人根据检测出的目标人脸人体动作,做出对应的配合操作,提高了智能机器人的人机交互性能,优化了用户体验。
综上所述,相比于现有的基于肤色模型算法等人脸跟踪方法,本发明的这种人脸跟踪方法和跟踪装置,首先,克服了背景颜色干扰的问题,提高了人脸跟踪的正确性。其次,利用各个边缘特征点之间的相对位置关系,反推出人脸的姿态、运动方向等信息,方便了人机交互。最后,针对运动过程中可能存在的特征被遮挡导致跟踪出现错误的问题,采用时间反转验证,克服了由边缘特征点的误判导致跟踪失败的问题。另外,本发明的智能终端包括了人脸跟踪装置,在目标脸部运动时,智能终端可以自主跟随,实现不间断跟踪的效果,优化了人机交互体验,提升了产品的竞争力。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (12)
1.一种人脸跟踪方法,其特征在于,该方法包括:
采集视频流中的一帧图像作为参考帧并对参考帧进行人脸检测和人脸识别,识别出目标人脸;
根据识别出的目标人脸,确定参考帧中包括目标人脸的待跟踪窗口的位置,并提取参考帧待跟踪窗口中的边缘特征点;
根据参考帧待跟踪窗口的位置,确定视频流中当前帧图像上待跟踪窗口的初始位置,并提取当前帧待跟踪窗口中的边缘特征点;
计算参考帧的边缘特征点与当前帧的边缘特征点的相对位移;
利用所述相对位移对当前帧待跟踪窗口的初始位置进行调整,获得视频流中目标人脸的活动轨迹,实现人脸跟踪。
2.根据权利要求1所述的方法,其特征在于,在利用所述相对位移对当前帧待跟踪窗口的初始位置进行调整之后,该方法进一步包括:
对调整后的当前帧待跟踪窗口中的每个边缘特征点进行验证;
当验证成功时,确认在当前帧成功跟踪到该边缘特征点,在后续跟踪过程中继续对该边缘特征点进行跟踪;
当验证失败时,确认在当前帧中对该边缘特征点跟踪失败,舍弃该边缘特征点,不再对该边缘特征点进行跟踪。
3.根据权利要求2所述的方法,其特征在于,所述对调整后的当前帧待跟踪窗口中的每个边缘特征点进行验证包括:
将当前帧待跟踪窗口中的边缘特征点的位置作为验证起始位置;
利用验证起始位置及所述当前帧与所述参考帧之间边缘特征点的相对位移,确定边缘特征点在所述参考帧的待跟踪窗口,并在所述待跟踪窗口内搜索边缘特征点,得到边缘特征点在参考帧的位置;
将验证出的边缘特征点在参考帧的位置与预先获取的参考帧图像中边缘特征点的位置进行比较,若比较结果相同,则验证成功;若比较结果不同,则验证失败。
4.根据权利要求1所述的方法,其特征在于,该方法进一步包括:
利用待跟踪窗口中的边缘特征点在所述参考帧和当前帧之间的间距变化确定目标人脸的左右转动动作和抬头低头动作;
以及,利用所述参考帧与当前帧之间边缘特征点的相对位移计算目标人脸的倾斜角度,由所述倾斜角度确定目标人脸的倾斜动作。
5.根据权利要求4所述的方法,其特征在于,所述利用待跟踪窗口中的边缘特征点在参考帧和当前帧之间的间距变化判断目标人脸的左右转动动作和抬头低头动作包括:
对当前帧和参考帧,分别将目标人脸的各边缘特征点投影到与目标人脸平行的平面上,并监测各边缘特征点之间的间距;
若相对于参考帧中边缘特征点的间距,当前帧的左半边脸的边缘特征点的间距变大且右半边脸的边缘特征点的间距变小,则确定目标人脸向右转;
若相对于参考帧中边缘特征点的间距,当前帧的左半边脸的边缘特征点的间距变小且右半边脸的边缘特征点的间距变大,则确定目标人脸向左转;
若相对于参考帧中边缘特征点的间距,当前帧的上半边脸的边缘特征点的间距变大且下半边脸的边缘特征点的间距变小,则确定目标人脸在抬头;
若相对于参考帧中边缘特征点的间距,当前帧的上半边脸的边缘特征点的间距变小且下半边脸的边缘特征点的间距变大,则确定目标人脸在低头。
6.根据权利要求5所述的方法,其特征在于,所述对当前帧和参考帧,分别将目标人脸的各边缘特征点投影到与目标人脸平行的平面上,并监测各边缘特征点之间的间距包括:
分别根据所述当前帧和参考帧的待跟踪窗口,构建对应的包括四个区域的平面坐标系,将待跟踪窗口中的边缘特征点投影到所述平面坐标系中,得到每个边缘特征点对应的横坐标和纵坐标值;
其中,所述四个区域是按照每帧图像待跟踪窗口所在图形的对角线的交点为中点划分而成,包括:区域一、区域二、区域三和区域四,所述区域一和区域三中边缘特征点的横坐标值小于等于区域二和区域四中边缘特征点的横坐标值,区域三和区域四中边缘特征点的纵坐标值小于等于区域一和区域二中边缘特征点的纵坐标值;
将投影到所述区域一和区域三中的边缘特征点根据横坐标升序排列得到矩阵将投影到所述区域二和区域四中的边缘特征点根据横坐标升序排成排列得到矩阵
将投影到所述区域一和区域二中的边缘特征点根据纵坐标值升序排列得到矩阵将投影到所述区域三和区域四中的边缘特征点根据纵坐标值升序排列得到矩阵
分别计算所述矩阵中每相邻两个元素的间距得到相应的间距矩阵和并依次将当前帧的间距矩阵和中的每个元素与参考帧的间距矩阵中的每个元素作差,根据计算结果判断目标人脸的左转或右转动作;
分别计算所述矩阵中每相邻两个元素的间距得到相应的间距矩阵和并依次将当前帧的间距矩阵和中的每个元素与参考帧的间距矩阵中的每个元素作差,根据计算结果判断目标人脸的抬头或低头动作。
7.根据权利要求6所述的方法,其特征在于,所述根据计算结果判断目标人脸的左转或右转动作包括:
当计算结果满足下列公式(1)和(2)时,确定目标人脸向右转动;
公式(1)
公式(2)
其中,表示当前帧左半边脸的边缘特征点的间距矩阵,表示参考帧左半边脸的边缘特征点的间距矩阵 表示当前帧右半边脸的边缘特征点的间距矩阵,表示参考帧右半边脸的边缘特征点的间距矩阵;
当计算结果满足下列公式(3)和(4)时,确定目标人脸向左转动:
公式(3)
公式(4)
其中,表示当前帧左半边脸的边缘特征点的间距矩阵,表示参考帧左半边脸的边缘特征点的间距矩阵 表示当前帧右半边脸的边缘特征点的间距矩阵,表示参考帧右半边脸的边缘特征点的间距矩阵;
所述根据计算结果判断目标人脸的抬头或低头动作包括:
当计算结果满足下列公式(5)和(6)时,确定目标人脸在抬头:
公式(5)
公式(6)
其中,表示当前帧上半边脸的边缘特征点的间距矩阵 表示参考帧上半边脸的边缘特征点的间距矩阵 表示当前帧下半边脸的边缘特征点的间距矩阵 表示参考帧下半边脸的边缘特征点的间距矩阵
当计算结果满足下列公式(7)和(8)时,确定目标人脸在低头:
公式(7)
公式(8)
其中,表示当前帧上半边脸的边缘特征点的间距矩阵 表示参考帧上半边脸的边缘特征点的间距矩阵 表示当前帧下半边脸的边缘特征点的间距矩阵 表示参考帧下半边脸的边缘特征点的间距矩阵
8.根据权利要求1所述的方法,其特征在于,所述采集视频流中的一帧图像并对参考帧进行人脸检测和人脸识别,识别出目标人脸包括:
采集视频流中的一帧图像并转换为灰度图像,提取所述灰度图像的类Haar特征值;
利用训练好的Adaboost级联分类器对所述灰度图像的类Haar特征值进行选择,并利用选择的类Haar特征值对所述灰度图像进行检测得到初始人脸区域;
利用构建的肤色模型对所述初始人脸区域进行肤色判别,得到标准人脸区域;
对所述标准人脸区域,利用设定的Gabor滤波器提取人脸特征;
将所述Gabor滤波器提取出的人脸特征送入训练好的支持向量机SVM中进行匹配识别,以识别出目标人脸。
9.一种人脸跟踪装置,其特征在于,该装置包括:
人脸识别模块,用于采集视频流中的一帧图像作为参考帧并对该参考帧进行人脸检测和人脸识别,识别出目标人脸;
参考帧窗口位置确定模块,用于根据识别出的目标人脸,确定参考帧中包括目标人脸的待跟踪窗口的位置,并提取参考帧待跟踪窗口中的边缘特征点;
当前帧窗口位置确定模块,用于根据参考帧待跟踪窗口的位置,确定视频流中当前帧图像上待跟踪窗口的初始位置,并提取当前帧待跟踪窗口中的边缘特征点;
相对位移计算模块,用于计算参考帧的边缘特征点与当前帧的边缘特征点的相对位移;
人脸跟踪模块,用于利用所述相对位移对当前帧待跟踪窗口的初始位置进行调整,获得视频流中目标人脸的活动轨迹,实现人脸跟踪。
10.根据权利要求9所述的人脸跟踪装置,其特征在于,该装置进一步包括:跟踪验证模块和人脸动作判断模块;
所述跟踪验证模块,用于在利用所述相对位移对当前帧待跟踪窗口的初始位置进行调整之后,对调整后的当前帧待跟踪窗口中的每个边缘特征点进行验证;当验证成功时,确认在当前帧成功跟踪到该边缘特征点,在后续跟踪过程中继续对该边缘特征点进行跟踪;当验证失败时,确认在当前帧中对该边缘特征点跟踪失败,舍弃该边缘特征点,不再对该边缘特征点进行跟踪;
所述人脸动作判断模块,用于利用待跟踪窗口中的边缘特征点在所述参考帧和当前帧之间的间距变化确定目标人脸的左右转动动作和抬头低头动作;以及,利用所述参考帧与当前帧之间边缘特征点的相对位移计算目标人脸的倾斜角度,由所述倾斜角度确定目标人脸的倾斜动作。
11.一种智能终端,其特征在于,所述智能终端包括:如权利要求9或10所述的人脸跟踪装置;
该智能终端利用所述人脸跟踪装置检测人脸运动状态,且该智能终端根据定位到的人脸运动状态自适应调整至少部分可移动部件的位置或至少部分部件所执行的功能。
12.根据权利要求11所述的智能终端,其特征在于,所述该智能终端根据定位到的人脸运动状态自适应调整至少部分可移动部件的位置或至少部分部件所执行的功能包括:
在人脸转动时,计算左半边脸或右半边脸的相邻时刻当前帧图像中边缘特征点的间距矩阵的差值,当该差值小于一阈值时,确定人脸的一次转动动作结束,则智能终端相应于该转动动作,自适应调整至少部分可移动部件的位置或至少部分部件所执行的功能。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610076493.6A CN105760826B (zh) | 2016-02-03 | 2016-02-03 | 一种人脸跟踪方法、装置和智能终端 |
US16/068,953 US10747988B2 (en) | 2016-02-03 | 2017-01-25 | Method and device for face tracking and smart terminal |
PCT/CN2017/072545 WO2017133605A1 (zh) | 2016-02-03 | 2017-01-25 | 一种人脸跟踪方法、装置和智能终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610076493.6A CN105760826B (zh) | 2016-02-03 | 2016-02-03 | 一种人脸跟踪方法、装置和智能终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105760826A true CN105760826A (zh) | 2016-07-13 |
CN105760826B CN105760826B (zh) | 2020-11-13 |
Family
ID=56330098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610076493.6A Active CN105760826B (zh) | 2016-02-03 | 2016-02-03 | 一种人脸跟踪方法、装置和智能终端 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10747988B2 (zh) |
CN (1) | CN105760826B (zh) |
WO (1) | WO2017133605A1 (zh) |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106203370A (zh) * | 2016-07-19 | 2016-12-07 | 成都通甲优博科技有限责任公司 | 一种基于计算机视觉技术的视力测定方法及系统 |
CN106214163A (zh) * | 2016-07-18 | 2016-12-14 | 北京科技大学 | 一种下肢畸形矫正术后康复的人工心理辅导装置 |
CN106295511A (zh) * | 2016-07-26 | 2017-01-04 | 北京小米移动软件有限公司 | 人脸跟踪方法及装置 |
CN106550136A (zh) * | 2016-10-26 | 2017-03-29 | 努比亚技术有限公司 | 一种人脸提示框的追踪显示方法及移动终端 |
CN106650965A (zh) * | 2016-12-30 | 2017-05-10 | 触景无限科技(北京)有限公司 | 一种远程视频处理方法及装置 |
CN106650682A (zh) * | 2016-12-29 | 2017-05-10 | Tcl集团股份有限公司 | 一种人脸追踪的方法及装置 |
CN106875422A (zh) * | 2017-02-06 | 2017-06-20 | 腾讯科技(上海)有限公司 | 人脸跟踪方法和装置 |
WO2017133605A1 (zh) * | 2016-02-03 | 2017-08-10 | 歌尔股份有限公司 | 一种人脸跟踪方法、装置和智能终端 |
CN107358146A (zh) * | 2017-05-22 | 2017-11-17 | 深圳云天励飞技术有限公司 | 视频处理方法、装置及存储介质 |
CN107506737A (zh) * | 2017-08-29 | 2017-12-22 | 四川长虹电器股份有限公司 | 人脸性别识别方法 |
CN108170282A (zh) * | 2018-01-19 | 2018-06-15 | 百度在线网络技术(北京)有限公司 | 用于控制三维场景的方法和装置 |
CN108304758A (zh) * | 2017-06-21 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 人脸特征点跟踪方法及装置 |
CN108596067A (zh) * | 2018-04-15 | 2018-09-28 | 中少科普(北京)教育科技有限公司 | 一种少先队员敬礼姿势检测校正方法 |
CN108875460A (zh) * | 2017-05-15 | 2018-11-23 | 腾讯科技(深圳)有限公司 | 增强现实处理方法及装置、显示终端及计算机存储介质 |
CN108960206A (zh) * | 2018-08-07 | 2018-12-07 | 北京字节跳动网络技术有限公司 | 视频帧处理方法和装置 |
CN109523573A (zh) * | 2018-11-23 | 2019-03-26 | 上海新世纪机器人有限公司 | 目标对象的跟踪方法和装置 |
CN109670451A (zh) * | 2018-12-20 | 2019-04-23 | 天津天地伟业信息系统集成有限公司 | 自动人脸识别跟踪方法 |
CN110210276A (zh) * | 2018-05-15 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 一种移动轨迹获取方法及其设备、存储介质、终端 |
CN110393513A (zh) * | 2018-04-25 | 2019-11-01 | 财团法人交大思源基金会 | 非接触式心跳量测系统、方法及其装置 |
CN110544272A (zh) * | 2019-09-06 | 2019-12-06 | 腾讯科技(深圳)有限公司 | 脸部跟踪方法、装置、计算机设备及存储介质 |
CN110795975A (zh) * | 2018-08-03 | 2020-02-14 | 浙江宇视科技有限公司 | 人脸误检优化方法及装置 |
WO2020052476A1 (zh) * | 2018-09-14 | 2020-03-19 | 腾讯科技(深圳)有限公司 | 特征点定位方法、存储介质和计算机设备 |
CN110991250A (zh) * | 2019-11-06 | 2020-04-10 | 江苏科技大学 | 融合颜色干扰模型与遮挡模型的人脸跟踪方法和跟踪系统 |
CN111523467A (zh) * | 2020-04-23 | 2020-08-11 | 北京百度网讯科技有限公司 | 人脸跟踪方法和装置 |
CN111626240A (zh) * | 2020-05-29 | 2020-09-04 | 歌尔科技有限公司 | 一种人脸图像识别方法、装置、设备及可读存储介质 |
CN112053381A (zh) * | 2020-07-13 | 2020-12-08 | 北京迈格威科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
US10922818B1 (en) | 2019-08-16 | 2021-02-16 | Wistron Corporation | Method and computer system for object tracking |
CN113242428A (zh) * | 2021-04-15 | 2021-08-10 | 中南大学 | 视频会议场景下基于roi区域的后处理加速方法 |
CN113793283A (zh) * | 2021-11-15 | 2021-12-14 | 江苏游隼微电子有限公司 | 一种车载影像降噪方法 |
CN115297313A (zh) * | 2022-10-09 | 2022-11-04 | 南京芯视元电子有限公司 | 微显示动态补偿方法及系统 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7138199B2 (ja) * | 2019-01-30 | 2022-09-15 | 富士フイルム株式会社 | 顔領域検出装置、撮像装置、顔領域検出方法、及び顔領域検出プログラム |
US11191342B2 (en) * | 2019-07-18 | 2021-12-07 | L'oreal | Techniques for identifying skin color in images having uncontrolled lighting conditions |
KR20210024859A (ko) | 2019-08-26 | 2021-03-08 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
WO2021106696A1 (ja) * | 2019-11-26 | 2021-06-03 | 富士フイルム株式会社 | 情報処理装置及び方法並びに誘導システム及び方法 |
CN111105444B (zh) * | 2019-12-31 | 2023-07-25 | 哈尔滨工程大学 | 一种适用于水下机器人目标抓取的连续跟踪方法 |
CN111179315A (zh) * | 2019-12-31 | 2020-05-19 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种视频目标区域跟踪方法和视频平面广告植入方法 |
CN111814590B (zh) * | 2020-06-18 | 2023-09-29 | 浙江大华技术股份有限公司 | 人员安全状态监测方法、设备及计算机可读存储介质 |
CN111783618A (zh) * | 2020-06-29 | 2020-10-16 | 联通(浙江)产业互联网有限公司 | 一种基于视频内容分析的园区大脑感知方法和系统 |
CN112489086A (zh) * | 2020-12-11 | 2021-03-12 | 北京澎思科技有限公司 | 目标跟踪方法、目标跟踪装置、电子设备及存储介质 |
CN112733719B (zh) * | 2021-01-11 | 2022-08-02 | 西南交通大学 | 一种融合人脸及人体特征的跨境行人轨迹检测方法 |
CN112927268B (zh) * | 2021-03-17 | 2022-08-05 | 清华大学 | 角点跟踪方法、装置、计算机设备及可读存储介质 |
CN113034458B (zh) * | 2021-03-18 | 2023-06-23 | 广州市索图智能电子有限公司 | 室内人员轨迹分析方法、装置及存储介质 |
CN113052119B (zh) * | 2021-04-07 | 2024-03-15 | 兴体(广州)智能科技有限公司 | 球类运动跟踪摄像方法及系统 |
CN113283430B (zh) * | 2021-07-23 | 2022-12-27 | 深圳市赛菲姆科技有限公司 | 目标检测的方法、装置、电子设备及计算机可读存储介质 |
CN114359773A (zh) * | 2021-11-10 | 2022-04-15 | 中国矿业大学 | 复杂地下空间轨迹融合的视频人员重识别方法 |
CN115114466B (zh) * | 2022-08-30 | 2022-12-13 | 成都实时技术股份有限公司 | 一种打靶信息图像的查找方法、系统、介质及电子设备 |
CN116912923B (zh) * | 2023-09-12 | 2024-01-05 | 深圳须弥云图空间科技有限公司 | 一种图像识别模型训练方法和装置 |
CN117132506B (zh) * | 2023-10-23 | 2024-01-19 | 深圳市高进实业有限公司 | 基于视觉技术的钟表零配件质量检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101477690A (zh) * | 2008-12-30 | 2009-07-08 | 清华大学 | 一种视频帧序列中物体轮廓跟踪的方法和装置 |
CN102054159A (zh) * | 2009-10-28 | 2011-05-11 | 腾讯科技(深圳)有限公司 | 一种人脸跟踪的方法和装置 |
CN103514441A (zh) * | 2013-09-21 | 2014-01-15 | 南京信息工程大学 | 基于移动平台的人脸特征点定位跟踪方法 |
CN103646406A (zh) * | 2013-12-18 | 2014-03-19 | 中安消技术有限公司 | 一种基于视频的运动模式检测方法及其装置 |
CN104866805A (zh) * | 2014-02-20 | 2015-08-26 | 腾讯科技(深圳)有限公司 | 人脸实时跟踪的方法和装置 |
CN105069408A (zh) * | 2015-07-24 | 2015-11-18 | 上海依图网络科技有限公司 | 一种复杂场景下基于人脸识别的视频人像跟踪方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6028960A (en) * | 1996-09-20 | 2000-02-22 | Lucent Technologies Inc. | Face feature analysis for automatic lipreading and character animation |
TW413795B (en) * | 1999-02-26 | 2000-12-01 | Cyberlink Corp | An image processing method of 3-D head motion with three face feature points |
US7130446B2 (en) * | 2001-12-03 | 2006-10-31 | Microsoft Corporation | Automatic detection and tracking of multiple individuals using multiple cues |
JP4546956B2 (ja) * | 2003-06-12 | 2010-09-22 | 本田技研工業株式会社 | 奥行き検出を用いた対象の向きの推定 |
KR20080073933A (ko) * | 2007-02-07 | 2008-08-12 | 삼성전자주식회사 | 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치 |
US9478033B1 (en) * | 2010-08-02 | 2016-10-25 | Red Giant Software | Particle-based tracking of objects within images |
US20120321134A1 (en) * | 2011-06-15 | 2012-12-20 | Samsung Electornics Co., Ltd | Face tracking method and device |
KR101381439B1 (ko) * | 2011-09-15 | 2014-04-04 | 가부시끼가이샤 도시바 | 얼굴 인식 장치 및 얼굴 인식 방법 |
JP5795979B2 (ja) * | 2012-03-15 | 2015-10-14 | 株式会社東芝 | 人物画像処理装置、及び人物画像処理方法 |
JP5895703B2 (ja) * | 2012-05-22 | 2016-03-30 | ソニー株式会社 | 画像処理装置及び画像処理方法、並びにコンピューター・プログラム |
CN103093212B (zh) * | 2013-01-28 | 2015-11-18 | 北京信息科技大学 | 基于人脸检测和跟踪截取人脸图像的方法和装置 |
US9934423B2 (en) * | 2014-07-29 | 2018-04-03 | Microsoft Technology Licensing, Llc | Computerized prominent character recognition in videos |
CN105760826B (zh) * | 2016-02-03 | 2020-11-13 | 歌尔股份有限公司 | 一种人脸跟踪方法、装置和智能终端 |
US9990780B2 (en) * | 2016-10-03 | 2018-06-05 | Ditto Technologies, Inc. | Using computed facial feature points to position a product model relative to a model of a face |
US10319412B2 (en) * | 2016-11-16 | 2019-06-11 | Adobe Inc. | Robust tracking of objects in videos |
US10068135B2 (en) * | 2016-12-22 | 2018-09-04 | TCL Research America Inc. | Face detection, identification, and tracking system for robotic devices |
-
2016
- 2016-02-03 CN CN201610076493.6A patent/CN105760826B/zh active Active
-
2017
- 2017-01-25 WO PCT/CN2017/072545 patent/WO2017133605A1/zh active Application Filing
- 2017-01-25 US US16/068,953 patent/US10747988B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101477690A (zh) * | 2008-12-30 | 2009-07-08 | 清华大学 | 一种视频帧序列中物体轮廓跟踪的方法和装置 |
CN102054159A (zh) * | 2009-10-28 | 2011-05-11 | 腾讯科技(深圳)有限公司 | 一种人脸跟踪的方法和装置 |
CN103514441A (zh) * | 2013-09-21 | 2014-01-15 | 南京信息工程大学 | 基于移动平台的人脸特征点定位跟踪方法 |
CN103646406A (zh) * | 2013-12-18 | 2014-03-19 | 中安消技术有限公司 | 一种基于视频的运动模式检测方法及其装置 |
CN104866805A (zh) * | 2014-02-20 | 2015-08-26 | 腾讯科技(深圳)有限公司 | 人脸实时跟踪的方法和装置 |
CN105069408A (zh) * | 2015-07-24 | 2015-11-18 | 上海依图网络科技有限公司 | 一种复杂场景下基于人脸识别的视频人像跟踪方法 |
Cited By (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10747988B2 (en) | 2016-02-03 | 2020-08-18 | Goertek Inc | Method and device for face tracking and smart terminal |
WO2017133605A1 (zh) * | 2016-02-03 | 2017-08-10 | 歌尔股份有限公司 | 一种人脸跟踪方法、装置和智能终端 |
CN106214163A (zh) * | 2016-07-18 | 2016-12-14 | 北京科技大学 | 一种下肢畸形矫正术后康复的人工心理辅导装置 |
CN106203370A (zh) * | 2016-07-19 | 2016-12-07 | 成都通甲优博科技有限责任公司 | 一种基于计算机视觉技术的视力测定方法及系统 |
CN106203370B (zh) * | 2016-07-19 | 2019-07-09 | 成都通甲优博科技有限责任公司 | 一种基于计算机视觉技术的视力测定系统 |
CN106295511A (zh) * | 2016-07-26 | 2017-01-04 | 北京小米移动软件有限公司 | 人脸跟踪方法及装置 |
CN106295511B (zh) * | 2016-07-26 | 2019-05-21 | 北京小米移动软件有限公司 | 人脸跟踪方法及装置 |
CN106550136A (zh) * | 2016-10-26 | 2017-03-29 | 努比亚技术有限公司 | 一种人脸提示框的追踪显示方法及移动终端 |
CN106650682A (zh) * | 2016-12-29 | 2017-05-10 | Tcl集团股份有限公司 | 一种人脸追踪的方法及装置 |
CN106650965B (zh) * | 2016-12-30 | 2020-11-06 | 触景无限科技(北京)有限公司 | 一种远程视频处理方法及装置 |
CN106650965A (zh) * | 2016-12-30 | 2017-05-10 | 触景无限科技(北京)有限公司 | 一种远程视频处理方法及装置 |
CN106875422B (zh) * | 2017-02-06 | 2022-02-25 | 腾讯科技(上海)有限公司 | 人脸跟踪方法和装置 |
CN106875422A (zh) * | 2017-02-06 | 2017-06-20 | 腾讯科技(上海)有限公司 | 人脸跟踪方法和装置 |
CN108875460A (zh) * | 2017-05-15 | 2018-11-23 | 腾讯科技(深圳)有限公司 | 增强现实处理方法及装置、显示终端及计算机存储介质 |
CN107358146A (zh) * | 2017-05-22 | 2017-11-17 | 深圳云天励飞技术有限公司 | 视频处理方法、装置及存储介质 |
CN108304758A (zh) * | 2017-06-21 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 人脸特征点跟踪方法及装置 |
CN108304758B (zh) * | 2017-06-21 | 2020-08-25 | 腾讯科技(深圳)有限公司 | 人脸特征点跟踪方法及装置 |
CN107506737A (zh) * | 2017-08-29 | 2017-12-22 | 四川长虹电器股份有限公司 | 人脸性别识别方法 |
CN108170282A (zh) * | 2018-01-19 | 2018-06-15 | 百度在线网络技术(北京)有限公司 | 用于控制三维场景的方法和装置 |
CN108596067A (zh) * | 2018-04-15 | 2018-09-28 | 中少科普(北京)教育科技有限公司 | 一种少先队员敬礼姿势检测校正方法 |
CN110393513A (zh) * | 2018-04-25 | 2019-11-01 | 财团法人交大思源基金会 | 非接触式心跳量测系统、方法及其装置 |
CN110210276A (zh) * | 2018-05-15 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 一种移动轨迹获取方法及其设备、存储介质、终端 |
CN110795975A (zh) * | 2018-08-03 | 2020-02-14 | 浙江宇视科技有限公司 | 人脸误检优化方法及装置 |
CN110795975B (zh) * | 2018-08-03 | 2023-07-21 | 浙江宇视科技有限公司 | 人脸误检优化方法及装置 |
CN108960206A (zh) * | 2018-08-07 | 2018-12-07 | 北京字节跳动网络技术有限公司 | 视频帧处理方法和装置 |
CN108960206B (zh) * | 2018-08-07 | 2021-01-22 | 北京字节跳动网络技术有限公司 | 视频帧处理方法和装置 |
WO2020052476A1 (zh) * | 2018-09-14 | 2020-03-19 | 腾讯科技(深圳)有限公司 | 特征点定位方法、存储介质和计算机设备 |
US11200404B2 (en) | 2018-09-14 | 2021-12-14 | Tencent Technology (Shenzhen) Company Limited | Feature point positioning method, storage medium, and computer device |
CN109523573A (zh) * | 2018-11-23 | 2019-03-26 | 上海新世纪机器人有限公司 | 目标对象的跟踪方法和装置 |
CN109670451A (zh) * | 2018-12-20 | 2019-04-23 | 天津天地伟业信息系统集成有限公司 | 自动人脸识别跟踪方法 |
US10922818B1 (en) | 2019-08-16 | 2021-02-16 | Wistron Corporation | Method and computer system for object tracking |
TWI719591B (zh) * | 2019-08-16 | 2021-02-21 | 緯創資通股份有限公司 | 物件追蹤方法及其電腦系統 |
CN112396631A (zh) * | 2019-08-16 | 2021-02-23 | 纬创资通股份有限公司 | 物件追踪方法及其电脑系统 |
CN112396631B (zh) * | 2019-08-16 | 2023-08-25 | 纬创资通股份有限公司 | 物件追踪方法及其电脑系统 |
CN110544272A (zh) * | 2019-09-06 | 2019-12-06 | 腾讯科技(深圳)有限公司 | 脸部跟踪方法、装置、计算机设备及存储介质 |
CN110544272B (zh) * | 2019-09-06 | 2023-08-04 | 腾讯科技(深圳)有限公司 | 脸部跟踪方法、装置、计算机设备及存储介质 |
CN110991250B (zh) * | 2019-11-06 | 2023-04-25 | 江苏科技大学 | 融合颜色干扰模型与遮挡模型的人脸跟踪方法和跟踪系统 |
CN110991250A (zh) * | 2019-11-06 | 2020-04-10 | 江苏科技大学 | 融合颜色干扰模型与遮挡模型的人脸跟踪方法和跟踪系统 |
CN111523467A (zh) * | 2020-04-23 | 2020-08-11 | 北京百度网讯科技有限公司 | 人脸跟踪方法和装置 |
CN111523467B (zh) * | 2020-04-23 | 2023-08-08 | 北京百度网讯科技有限公司 | 人脸跟踪方法和装置 |
CN111626240B (zh) * | 2020-05-29 | 2023-04-07 | 歌尔科技有限公司 | 一种人脸图像识别方法、装置、设备及可读存储介质 |
CN111626240A (zh) * | 2020-05-29 | 2020-09-04 | 歌尔科技有限公司 | 一种人脸图像识别方法、装置、设备及可读存储介质 |
CN112053381A (zh) * | 2020-07-13 | 2020-12-08 | 北京迈格威科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN113242428A (zh) * | 2021-04-15 | 2021-08-10 | 中南大学 | 视频会议场景下基于roi区域的后处理加速方法 |
CN113242428B (zh) * | 2021-04-15 | 2024-03-15 | 中南大学 | 视频会议场景下基于roi区域的后处理加速方法 |
CN113793283A (zh) * | 2021-11-15 | 2021-12-14 | 江苏游隼微电子有限公司 | 一种车载影像降噪方法 |
CN115297313A (zh) * | 2022-10-09 | 2022-11-04 | 南京芯视元电子有限公司 | 微显示动态补偿方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
US20190034700A1 (en) | 2019-01-31 |
US10747988B2 (en) | 2020-08-18 |
CN105760826B (zh) | 2020-11-13 |
WO2017133605A1 (zh) | 2017-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105760826A (zh) | 一种人脸跟踪方法、装置和智能终端 | |
Sridhar et al. | Fast and robust hand tracking using detection-guided optimization | |
Zhu et al. | Controlled human pose estimation from depth image streams | |
US6788809B1 (en) | System and method for gesture recognition in three dimensions using stereo imaging and color vision | |
Licsár et al. | User-adaptive hand gesture recognition system with interactive training | |
CN105849673A (zh) | 基于自然三维手势的人机导览方法 | |
US9922245B2 (en) | Method and system for recognizing an object | |
CN112001859B (zh) | 一种人脸图像的修复方法及系统 | |
Llorca et al. | A vision-based system for automatic hand washing quality assessment | |
US20210056291A1 (en) | Method for analysis of an intrinsic facial feature of a face | |
Bergasa et al. | Analysing driver's attention level using computer vision | |
KR101350387B1 (ko) | 깊이 정보를 이용한 손 검출 방법 및 그 장치 | |
CN108694348B (zh) | 一种基于自然特征的跟踪注册方法及装置 | |
Hansen et al. | Eye typing off the shelf | |
CN111291607A (zh) | 驾驶员分神检测方法、装置、计算机设备和存储介质 | |
Cao et al. | Gaze tracking on any surface with your phone | |
JP5829155B2 (ja) | 歩行者検出装置及びプログラム | |
Liao et al. | Robust, real-time 3D face tracking from a monocular view | |
CN113920155A (zh) | 一种基于核相关滤波的动目标跟踪算法 | |
Quesada et al. | Unsupervised markerless 3-DOF motion tracking in real time using a single low-budget camera | |
Kumar et al. | Vision based human interaction system for disabled | |
Tang et al. | Visual adaptive tracking for monocular omnidirectional camera | |
Asteriadis et al. | Non-verbal feedback on user interest based on gaze direction and head pose | |
Kim et al. | ThunderPunch: A bare-hand, gesture-based, large interactive display interface with upper-body-part detection in a top view | |
Hannuksela | Facial feature based head tracking and pose estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 261031 Dongfang Road, Weifang high tech Industrial Development Zone, Shandong, China, No. 268 Applicant after: Goertek Inc. Address before: 261031 Dongfang Road, Weifang high tech Industrial Development Zone, Shandong, China, No. 268 Applicant before: Goertek Inc. |
|
COR | Change of bibliographic data | ||
GR01 | Patent grant | ||
GR01 | Patent grant |