CN106875422B - 人脸跟踪方法和装置 - Google Patents

人脸跟踪方法和装置 Download PDF

Info

Publication number
CN106875422B
CN106875422B CN201710068185.3A CN201710068185A CN106875422B CN 106875422 B CN106875422 B CN 106875422B CN 201710068185 A CN201710068185 A CN 201710068185A CN 106875422 B CN106875422 B CN 106875422B
Authority
CN
China
Prior art keywords
frame image
face
current frame
information
face tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710068185.3A
Other languages
English (en)
Other versions
CN106875422A (zh
Inventor
梁亦聪
汪铖杰
李绍欣
赵艳丹
李季檩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shanghai Co Ltd
Original Assignee
Tencent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shanghai Co Ltd filed Critical Tencent Technology Shanghai Co Ltd
Priority to CN201710068185.3A priority Critical patent/CN106875422B/zh
Publication of CN106875422A publication Critical patent/CN106875422A/zh
Priority to PCT/CN2018/074953 priority patent/WO2018141252A1/zh
Priority to EP18747939.9A priority patent/EP3579187B1/en
Priority to US16/356,924 priority patent/US10909356B2/en
Application granted granted Critical
Publication of CN106875422B publication Critical patent/CN106875422B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明公开了一种人脸跟踪方法和装置。该方法包括：获取序列图像中当前帧图像的人脸特征信息和序列图像中前序帧图像的人脸跟踪信息，其中，前序帧图像为在序列图像中位于当前帧图像之前的帧图像，人脸特征信息中记录有当前帧图像中人脸特征点的信息，人脸跟踪信息用于记录前序帧图像的人脸跟踪结果；基于当前帧图像的人脸特征信息和前序帧图像的人脸跟踪信息，从前序帧图像中选取调整帧图像；利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息拟合出当前帧图像的调整参数；基于调整参数和前序帧图像的人脸跟踪信息，确定当前帧图像的人脸跟踪信息。本发明解决了现有的人脸配准点跟踪算法难以同时保证高准确度与低复杂度的技术问题。

Description

人脸跟踪方法和装置
技术领域
本发明涉及信息处理领域，具体而言，涉及一种人脸跟踪方法和装置。
背景技术
人脸配准算法作为人脸识别的一个重要处理环节，通过人脸配准算法可以确定人脸照片上各关键点位置的信息，利用该关键点位置的信息，一方面可以在自动P图、自动美妆等应用中实现更加智能化的功能，另一方面也可以准确判断用户的动作信息，如用户是否闭眼、是否张嘴等动作信息，对活体检测、疲劳驾驶检测等应用有巨大的帮助。
现有技术中，通常通过单张照片进行人脸配准点跟踪实现人脸识别等上述功能，然而单张照片提供的信息有限，难以获得准确、稳定的配准点。为了解决该问题，现有技术中利用视频中邻近帧包含的信息具有高度相关性的特点，通过相邻帧提供的辅助信息，有效提高当前帧图像配准结果的准确性和稳定性。
具体地，利用前后多帧配准结果求平均的方法提高配准点稳定性，采用该方案对于变化剧烈的视频序列，配准点准确性会严重降低，并且，利用后帧配准结果会使跟踪结果产生时延，无法保证实时性；设定防抖动规则，控制前后帧配准点结果的抖动幅度，以提高配准点稳定性，然而，由于防抖动规则非常复杂，难以将各种可能情形考虑周全，在某些特例情形下，跟踪结果的准确性和稳定性都会明显降低；直接以视频作为输入，用3DCNN(即3D卷积神经网络，用于运动识别)或LSTM(即Long Short-Term Memory，时间递归神经网络)等深度学习网络直接训练视频配准点结果，在该方案中，需要大量的标注训练样本视频，实际应用时代价很高。此外该类算法的耗时与内存开销往往都会较大。
针对上述现有的人脸配准点跟踪算法难以同时保证高准确度与低复杂度的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种人脸跟踪方法和装置，以至少解决现有的人脸配准点跟踪算法难以同时保证高准确度与低复杂度的技术问题。
根据本发明实施例的一个方面，提供了一种人脸跟踪方法，包括：获取序列图像中当前帧图像的人脸特征信息和序列图像中前序帧图像的人脸跟踪信息，其中，前序帧图像为在序列图像中位于当前帧图像之前的帧图像，人脸特征信息中记录有当前帧图像中人脸特征点的信息，人脸跟踪信息用于记录前序帧图像的人脸跟踪结果；基于所述当前帧图像的人脸特征信息和所述前序帧图像的人脸跟踪信息，从所述前序帧图像中选取调整帧图像；利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数；基于调整参数和前序帧图像的人脸跟踪信息，确定当前帧图像的人脸跟踪信息。
根据本发明实施例的另一方面，还提供了一种人脸跟踪装置，包括：第一获取单元，用于获取序列图像中当前帧图像的人脸特征信息和序列图像中前序帧图像的人脸跟踪信息，其中，前序帧图像为在序列图像中位于当前帧图像之前的帧图像，人脸特征信息中记录有当前帧图像中人脸特征点的信息，人脸跟踪信息用于记录前序帧图像的人脸跟踪结果；第一选取模块，用于基于所述当前帧图像的人脸特征信息和所述前序帧图像的人脸跟踪信息，从所述前序帧图像中选取调整帧图像；拟合模块，用于利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数；第二确定单元，用于基于调整参数和前序帧图像的人脸跟踪信息，确定当前帧图像的人脸跟踪信息。
在本发明实施例中，基于当前帧图像的人脸特征信息和前序帧图像的人脸跟踪信息，从前序帧图像中选取调整帧图像，并利用调整帧图像的信息确定用于减小当前帧图像的人脸跟踪信息的误差的调整参数，利用该调整参数可以准确地确定当前帧图像的人脸跟踪信息。通过上述实施例，使用前序帧图像的信息确定调整参数，而不使用后续帧图像的信息，不会产生时延，可以保证实时性；并且，在该方案中无需配置复杂的防抖规则，跟踪信息的获取方式简单；进一步地，上述方案无需标注大量即可确定准确的人脸跟踪信息，解决了现有技术中人脸配准点跟踪算法难以同时保证高准确度与低复杂度的问题，实现了使用简单的处理方式保证人脸跟踪信息的高准确度的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的定义的人脸特征点的位置示意图；
图2是根据本发明实施例的人脸跟踪方法的硬件环境的示意图；
图3是根据本发明实施例的一种可选的人脸跟踪方法的流程图；
图4是根据本发明实施例的又一种可选的人脸跟踪方法的流程图；
图5是根据本发明实施例的再一种可选的人脸跟踪方法的流程图；
图6是根据本发明实施例的一种可选的人脸跟踪装置的示意图；
图7是根据本发明实施例的另一种可选的人脸跟踪装置的示意图；以及
图8是根据本发明实施例的一种终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本发明实施例进行描述的过程中出现的部分名词或者术语适用于如下解释：
人脸关键点：人脸上具有语义特征的位置点，也可以称之为特征点。如图1所示，在该申请实施例中可以预先定义多个人脸区域的多个人脸关键点，可选地，每个人脸区域可以对应多个人脸关键点，可以通过每个人脸关键点在图像中的位置信息来记录每个人脸关键点的信息。
具体地，如图1所示，可以将人脸区域划分为下颚轮廓、左眉毛、右眉毛、左眼、鼻子和嘴巴，可以定义90个人脸关键点，如定义的第一至第七个人脸关键点位于左眉毛的区域，定义的第八个至第十六个人脸关键点位于右眉毛的区域、定义的第十七个至第二十四个人脸关键点位于左眼的区域内，定义的第二十五至第三十二个人脸关键点位于右眼的区域，定义的第三十三个至第四十五个人脸关键点位于鼻子的区域、定义的第四十六个至第六十七个人脸关键点位于嘴巴的区域，定义的第六十八个至第九十个人脸关键点位于下颚轮廓的区域。
可选地，还可以将人脸区域划分为左右瞳孔、鼻尖以及左右嘴角。本申请对人脸区域的划分方式不做具体限定。
人脸配准算法：是一种图像预处理方法，主要用于人脸识别，主要用于从人脸图像中得到人脸关键点，可选地，可以将人脸图像的尺度、旋转和平移等变化去除。
配准点准确度：人脸配准结果与配准点真值的接近程度。
配准点稳定度：人脸视频邻近帧配准结果的抖动程度。
人脸配准点跟踪算法：利用人脸视频中多帧的信息改善各帧配准点准确度与稳定度的算法。
根据本发明实施例，提供了一种人脸跟踪的方法实施例。可选地，在本实施例中，上述人脸跟踪方法可以应用于如图2所示的由服务器102和终端104所构成的硬件环境中。如图2所示，服务器102通过网络与终端104进行连接，上述网络包括但不限于：广域网、城域网或局域网，终端104并不限定于PC、手机、平板电脑等。本发明实施例的人脸跟踪方法可以由服务器102来执行，也可以由终端104来执行，还可以是由服务器102和终端104共同执行。其中，终端104执行本发明实施例的人脸跟踪方法也可以是由安装在其上的客户端来执行。
可选地，上述实施例可以应用在服务器上，服务器在获取到序列图像，如视频之后，依序对序列图像中的每帧图像依次执行上述人脸跟踪方式，得到每帧的人脸跟踪信息，得到该序列图像的人脸跟踪结果。
其中，帧是指不分场的图像，序列图像可以为时间上连续的多幅图像，序列图像中的一幅图像为一帧图像，在序列图像中一般包括多帧图像，在序列图像中位于当前帧图像之前的帧图像为前序帧图像，在序列图像中位于当前帧图像之后的帧图像为后续帧图像，例如，播放时间早于第K帧图像的帧图像为第K帧图像的前序帧图像，播放时间晚于第K帧的帧为第K帧图像的后续帧图像。也即，第K帧图像的前序帧图像的播放顺序或者展示顺序早于第K帧，第K帧图像的后续帧图像的播放顺序或展示顺序晚于第K帧图像。
可选地，序列图像可以为视频，在该实施例中，帧与帧图像相同。
在一个可选的实施例中，服务器可以在接收到人脸识别请求或者在需进行人脸识别的情况下，获取请求识别的序列图像(如，视频)，逐帧进行分析，具体地，对当前帧图像进行人脸配准处理，得到人脸配准信息(即人脸特征信息)，可选地，利用人脸配准算法对的当前帧图像进行人脸配准处理，得到预先定义的多个人脸关键点(即人脸特征点)的坐标向量，如，点A(x1，y1)，若定义了B个点，则得到的人脸配准信息中包括2B维向量，将得到的人脸配准信息作为人脸特征信息。
服务器获取前序帧图像的人脸跟踪信息，该人脸跟踪信息用于记录通过本申请的人脸跟踪方法实施例最终确定的跟踪结果。
利用该当前帧图像的人脸特征信息和前序帧图像的人脸跟踪信息确定当前帧图像的人脸跟踪信息。
图3是根据本发明实施例的一种可选的人脸跟踪方法的流程图，如图2所示，该方法可以包括以下步骤：
步骤S302：获取序列图像中当前帧图像的人脸特征信息和序列图像中前序帧图像的人脸跟踪信息，其中，前序帧图像为在序列图像中位于当前帧图像之前的帧图像，人脸特征信息中记录有当前帧图像中人脸特征点的信息，人脸跟踪信息用于记录前序帧图像的人脸跟踪结果；
步骤S304：基于当前帧图像的人脸特征信息和前序帧图像的人脸跟踪信息，从前序帧图像中选取调整帧图像；
步骤S305：利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息拟合出当前帧图像的调整参数；
步骤S306：基于调整参数和前序帧图像的人脸跟踪信息，确定当前帧图像的人脸跟踪信息。
通过上述实施例，基于当前帧图像的人脸特征信息和前序帧图像的人脸跟踪信息，从前序帧图像中选取调整帧图像，并利用调整帧图像的信息确定用于减小当前帧图像的人脸跟踪信息的误差的调整参数，利用该调整参数可以准确地确定当前帧图像的人脸跟踪信息。通过上述实施例，使用前序帧图像的信息确定调整参数，而不使用后续帧图像的信息，不会产生时延，可以保证实时性；并且，在该方案中无需配置复杂的防抖规则，跟踪信息的获取方式简单；进一步地，上述方案无需标注大量即可确定准确的人脸跟踪信息，解决了现有技术中人脸配准点跟踪算法难以同时保证高准确度与低复杂度的问题，实现了使用简单的处理方式保证人脸跟踪信息的高准确度的效果。
在步骤S302提供的技术方案中，服务器获取序列图像中当前帧图像的人脸特征信息。服务器可以对当前帧图像进行人脸配准处理，得到人脸特征信息，可选地，利用人脸配准算法对的当前帧图像进行人脸配准处理，得到预先定义的多个人脸关键点(即人脸特征点)的坐标向量，如，点A(x1，y1)，若定义了B个点，则得到的人脸配准信息中包括2B维向量，将得到的人脸配准信息作为人脸特征信息，例如，在预定定义使用90个特征点识别人脸，则人脸特征信息中可以包括180维向量，通过该180维向量表示90个特征点的横纵坐标。
服务器获取序列图像中位于当前帧图像之前的前序帧图像的人脸跟踪信息，该人脸跟踪信息用于记录前序帧图像的人脸跟踪结果，该人脸跟踪结果为前序帧图像基于本申请实施例的人脸跟踪方法确定出的人脸跟踪结果。
其中，序列图像可以包括时间上连续的多幅图像，在序列图像中位于当前帧图像之前的帧图像为前序帧图像，在序列图像中位于当前帧图像之后的帧图像为后续帧图像，第K帧图像的前序帧图像的播放顺序或者展示顺序早于第K帧，第K帧图像的后续帧图像的播放顺序或展示顺序晚于第K帧图像。
可选地，序列图像可以为视频。
在步骤S304提供的技术方案中，在获取到当前帧图像的人脸特征信息和前序帧图像的人脸跟踪信息之后，利用该获取到的当前帧图像的人脸特征信息和前序帧图像的人脸跟踪信息确定当前帧图像的调整参数。
可选地，将人脸视频两不同帧间人脸配准点(即对人脸特征点进行配准得到的信息)与真实关键点位置之间的误差分为系统误差与随机误差两类。其中，系统误差为两帧中人脸位置变化所带来的误差；而随机误差为人脸配准算法本身所造成的误差。
在上述实施例中，通过前序帧图像的人脸跟踪信息确定当前帧图像的误差调整参数，如使用过去N帧配准点位置拟合当前帧配准点位置，尽可能消除系统误差。进一步地，可以在控制拟合误差的前提下最小化拟合系数的平方和，尽可能消除随机误差。
可选地，在获取序列图像中当前帧图像的人脸特征信息和所述序列图像中前序帧图像的人脸跟踪信息之后，基于当前帧图像的人脸特征信息和前序帧图像的人脸跟踪信息，从前序帧图像中选取调整帧图像。
可选地，从前序帧图像中选取部分侦图像，利用选取出来的调整帧图像进行后续处理，而不是使用全部前序帧图像，一方面可以减小数据处理量，另一方面，可以从前序帧图像中选取当前侦图像中人脸位置变化较小的帧图像作为调整帧图像，以减小系统误差(即造成当前帧图像的人脸跟踪信息的误差的一种)。
基于当前帧图像的人脸特征信息和前序帧图像的人脸跟踪信息，从前序帧图像中选取调整帧图像，可以包括：从前序帧图像中选取出与当前帧图像中特征点位置距离较近的调整帧图像。
在一个可选的实施例中，第K帧图像有K-1帧前序帧图像，以该K-1帧图像中的部分帧图像中，如，M帧图像，从该M帧图像中选取调整帧图像。
可选地，该M帧图像可以为从时间维度上讲，与当前帧图像距离最近的M帧图像，例如，序列图像包括Y帧图像，该Y帧图像分别为：第1帧，第2帧，……，第K-M帧，……，第K-1帧，第K帧，……，第Y帧，则采用上述实施例，从第K-M帧至第K-1帧中选取调整帧图像。
进一步可选地，可以基于M个前序帧图像的人脸跟踪信息和当前帧图像的人脸特征信息，确定M个前序帧图像中各个前序帧图像与当前帧图像的距离，并从M个前序帧图像中，选取与当前帧图像距离最小的N个调整帧图像。
在一个可选的实施例中，计算的上述距离为欧式距离，可选地，人脸跟踪信息和人脸特征信息利用向量来记录对应的信息，分别计算各个帧的人脸跟踪信息与人脸特征信息的欧式距离，从M帧前序帧图像中获取欧式距离最小的N个帧，得到N个调整帧图像。
进一步可选地，在获取到各帧图像的人脸跟踪信息与当前帧图像的人脸特征信息的欧式距离之后，对计算得到的欧式距离进行排序，得到距离序列，可以按照值的大小排序，若按照值从大到小的顺序，则可以选取距离序列中的后N个距离对应的帧图像；若按照值从小到大的顺序，则可以选取距离序列中的前N个距离对应的帧图像。
另一种可选地，在获取到各帧图像的人脸跟踪信息与当前帧图像的人脸特征信息的欧式距离之后，对计算得到的欧式距离依次两两比较，得到距离值较小的N个值，将该N个值对应的帧图像确定为调整帧图像。
在该实施例中，通过排序选取或者通过两两比较最终确定的调整帧图像的处理方式仅作为示例说明，本申请对选取方式不做具体限定。
通过上述实施例，从前序帧图像中选取N个与当前帧距离最近的调整帧图像，由于两帧中人脸位置变化会带来误差，在该示例中选取与当前帧距离最近的N个调整帧图像(即与当前帧图像中人脸位置距离越近，系统误差越小)，利用该选取出的调整帧图像确定当前帧图像的调整参数，可以准确确定出该调整参数。
在步骤S306提供的技术方案中，基于调整参数和前序帧图像的人脸跟踪信息，确定当前帧图像的人脸跟踪信息。利用用于减小当前帧图像的人脸跟踪信息的调整参数，准确确定当前帧图像的人脸跟踪信息。
通过上述实施例，将当前帧配准结果与其它帧提供的信息有效融合，同时提高配准结果的准确度与稳定度，且运算复杂度极低，可用单核CPU实时实现。
上述实施例中的拟合，是指已知某函数的若干离散函数值，通过调整该函数中若干待定系数，使得该函数与已知点集的差别最小。
在该实施例中，该调整帧图像的人脸跟踪信息即为已知的若干离散函数值，该当前帧图像的人脸特征信息即为已知点集，该调整参数即为若干待定系数，也即，在该实施例中，通过调整该调整参数的值，使得各个调整帧图像的人脸跟踪信息与当前帧图像的人脸特征信息的差异最小，通过上述实施例，可以确定出使得系统误差和随机误差最小的调整参数，利用该调整参数确定当前帧图像的人脸跟踪信息，可以使得确定的当前帧的人脸跟踪信息的准确度高。
在一个可选的实施例中，利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息拟合出当前帧图像的调整参数包括下述至少之一：
利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息，确定使得当前帧图像的人脸跟踪信息与人脸特征信息的误差最小的调整参数；
利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息，确定使得调整参数的平方和最小的调整参数。
其中，将两帧图像中人脸位置配准点与真实特征点位置之间的误差分为系统误差和随机误差，通过该实施例确定的调整参数可以用于减小上述系统误差和/或随机误差。
可选地，系统误差为两帧中人脸位置变化所带来的误差，在上述实施例中，通过最小化拟合当前帧图像的人脸跟踪信息与当前帧图像的人脸特征信息的差异来控制系统误差。
另一种可选地，随机误差为人脸配准算法本身所造成的误差，在上述实施例中，通过最小化拟合调整参数(如优化系数)的平方和来控制随机误差。
根据上述实施例，可以通过岭回归算法有效实现拟合，不仅可以提高计算准确度和稳定性，并且可以降低运算复杂度。可选地，利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息拟合出当前帧图像的调整参数包括：利用预定函数L(q1,…,qN)拟合出当前帧图像的回归系数，其中，调整参数包括回归系数，
Figure BDA0001221045790000111
其中，qi表示回归系数，Ci表示调整帧图像i的人脸跟踪信息，PK表示当前帧图像的人脸特征信息，S为第一预设参数，λ为第二预设参数，K、i和N为自然数。可选地，在拟合过程中，确定的回归系数可以使得L(q1,…,qN)的值最小。
其中，通过
Figure BDA0001221045790000112
可以利用各帧的人脸跟踪信息，最小化拟合当前帧的人脸跟踪信息与当前帧的人脸特征信息的差异，以控制系统误差；通过
Figure BDA0001221045790000113
可以最小化拟合回归系数的平方和，以控制随机误差，通过该岭回归算法，使用过去N帧配准点位置拟合当前帧配准点位置，尽可能消除系统误差；并在控制拟合误差的前提下最小化拟合系数的平方和，尽可能消除随机误差，从而可以简单、快速确定出回归系数。
可选地，该回归系数为多个，每个调整帧对应一个回归系数，例如选取出10帧调整帧，则确定10个回归系数。
根据本申请的上述实施例，基于调整参数和前序帧图像的人脸跟踪信息，确定当前帧图像的人脸跟踪信息可以包括：利用调整参数调整每个前序帧图像的人脸跟踪信息；将各个前序帧图像的人脸跟踪信息进行累加，得到当前帧图像的人脸跟踪信息Qk。
可选地，根据
Figure BDA0001221045790000121
计算当前帧图像的人脸跟踪信息。
根据本发明上述实施例，利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息拟合出当前帧图像的调整参数可以包括如图4所示的：
步骤S401：计算多个调整帧图像的人脸跟踪信息的均值，其中，人脸跟踪信息利用多维向量记录对应帧的人脸跟踪结果；
步骤S403：将调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息分别减去均值，得到处理后的调整帧图像的人脸跟踪信息和处理后的当前帧图像的人脸特征信息；
步骤S405：利用处理后的调整帧图像的人脸跟踪信息和处理后的当前帧图像的人脸特征信息拟合出当前帧图像的调整参数。
在该实施例中，在确定调整参数之前，确定出对确定调整参数没有影响的均值，并分别将各个调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息减去均值，利用处理后的调整帧图像的人脸跟踪信息和处理后的当前帧图像的人脸特征信息拟合出当前帧图像的调整参数。在该示例中，由于不影响调整参数的均值未参与计算，仅将可能影响调整参数的信息进行拟合，也即，无影响信息未参与拟合操作，一方面可以减少计算量，另一方面，可以提高拟合结果的准确性。
可选地，在该示例中，通过预定函数确定调整参数可以通过如下方式实现：
Figure BDA0001221045790000122
其中，C’1,...,C’N为减去了均值
Figure BDA0001221045790000124
各调整帧的人脸跟踪信息，P’k为减去了均值
Figure BDA0001221045790000123
的当前帧的人脸特征信息。
进一步需要说明的是，上述第一预设参数和第二预设参数可以为常数，也可以根据序列图像的特征预先设置，可选地，在利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息拟合出当前帧图像的调整参数之前，可以预先设置上述的第一预设参数S和第二预设参数λ。
可选地，通过获取当前帧图像的人脸特征信息中特征点的坐标尺度；并基于特征点的坐标尺度设置第一预设参数S。
进一步可选地，基于特征点的坐标尺度确定第一预设参数S包括：从特征点的横坐标尺度和纵坐标尺度中选取值大的坐标尺度；将选取出的值大的坐标尺度的平方确定为第一预设参数S。
其中，坐标尺度可以为用于考量特征点的横纵坐标的空间范围，例如，该尺度可以为坐标轴上的计数单位，在同一个坐标系中横坐标尺度和纵坐标尺度可以相同或不同。
在一个可选的实施例中，若横坐标尺度和纵坐标尺度不同，可以从两者之间选取值大的坐标尺度，基于该值较大的坐标尺度确定第一预设参数，可选地，可以直接将该值大的坐标尺度的平方作为第一预设参数，也可以将该值大的坐标尺度的平方的整数倍作为第一预设参数S。
根据上述实施例，在利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息拟合出当前帧图像的调整参数之前，可以至少根据序列图像中记录内容的变化程度设置第二预设参数λ的值。
一种可选地，至少根据序列图像中记录内容的变化程度设置第二预设参数λ的值可以包括：若序列图像中记录内容的变化程度高于第一预定阈值，则在默认值的基础上，调高第二预设参数λ的值，以设置第二预设参数λ的值；若序列图像中记录内容的变化程度低于第二预定阈值，则在默认值的基础上，调低第二预设参数λ的值，以设置第二预设参数λ的值。
在该实施例中，可以预先设置第二预设参数的默认值，可以通过调整默认值实现对第二预设参数λ的值的设置。
可选地，预先确定序列图像中记录内容的变化程度，该变化程度可以表示序列图像中记录内容的剧烈程度，若变化剧烈，则变化程度大；若变化平缓，则变化程度小。在该实施例中可以将变化程度进行量化处理，若序列图像中记录内容的变化程度高于第一预定阈值，则调高第二预设参数λ的默认值，以设置第二预设参数λ的值；若序列图像中记录内容的变化程度低于第二预定阈值，则调低默认值，以设置第二预设参数λ的值。
另一种可选地，根据人脸配准算法的准确度设置第二预设参数λ的值。其中，若人脸配准算法准确度高于第一预定准确度，则调低第二预设参数的默认值，若人脸配准算法准确度低于第二预定准确度，则调高第二预设参数的默认值。
在上述实施例中，若人脸配准算法准确度高于第一预定准确度，则确定随机误差较小，优化问题系统误差更重要，因此λ较小；反之，若人脸配准算法准确度较低，则λ应较大。实际应用中，可设λ初值为1，并根据人脸配准算法在序列图像(如视频)上的表现按如上原则调整至合适值。
再一种可选地，根据人脸配准算法的准确度和序列图像中记录内容的变化程度来设置第二预设参数λ的值。其中，设置人脸配准算法的准确度和序列图像中记录内容的变化程度的权重，对人脸配准算法的准确度和序列图像中记录内容的变化程度进行归一化处理，利用设置的权重对归一化得到的准确度和变化程度进行加权计算，若加权计算得到的值属于第一预设区间，则调高第二预设参数的默认值，若加权计算得到的值属于第二预设区间，则使用第二预设参数的默认值设置第二预设参数的值；若加权计算得到的值属于第三预设区间，则调低第二预设参数的默认值。
其中，第一预设区间、第二预设区间和第三预设区间为连续的区间。可以根据人脸跟踪算法的准确度和稳定性调整三个预设区间的端点。可选地，第一预设区间的左端点为六个区间端点中的最小值或最大值。
在一种可选的实施例中，基于调整参数和前序帧图像的人脸跟踪信息，确定当前帧图像的人脸跟踪信息可以包括：利用如下公式确定当前帧图像的人脸跟踪信息Qk，其中，公式为：
Figure BDA0001221045790000151
其中，qi表示调整参数，Ci'表示处理后的调整帧图像的人脸跟踪信息，
Figure BDA0001221045790000152
表示均值。
下面结合图5，以序列图像为视频、视频中的第K帧图像作为当前帧图像为例，对本申请的一种可选的实施例进行详细说明，实际应用中下述这些步骤将对视频的第1帧至最后1帧依次使用。在该示例中，已知第1至K帧的人脸配准点结果(即上述的人脸特征信息)P1，...，Pk；以及第1至K-1帧的跟踪后人脸配准点结果(即上述的人脸跟踪信息)Q1，...，Qk-1，在预先定义的人脸特征点为90个的情况下，所有Pi与Qi均可以为180维向量(每个特征点包括横纵两个向量)，包含90个关键点的横、纵坐标。
如图5所示，该实施例可以通过如下步骤实现：
步骤S501：选取调整帧图像。
可选地，从第Qk-M到第Qk-1这M帧图像中，选取与当前帧图像Pk的欧氏距离最小的N帧(即上述的N帧调整帧)，将调整帧的人脸跟踪信息记为C1，...，CN。优选地，M可取50，N可取10，本申请对此不做限定。
进一步地，若上述的下标中出现小于1的情形，下标全部使用1来代替，例如，得到Q-1则用Q1代替，例如，将第2帧作为当前帧，则K-1为1，K-M＝K-50＝-49，则全部使用Q1代替。
步骤S502：计算调整帧的人脸跟踪信息的均值，并利用均值对调整帧的人脸跟踪信息和当前帧的人脸特征信息进行处理。
可选地，计算C1,...,CN的均值
Figure BDA0001221045790000153
将C1，...，CN与Pk均减去
Figure BDA0001221045790000154
计算结果分别记为C’1，...，C’N和P’k。
步骤S503：利用处理后的调整帧的人脸跟踪信息和当前帧的人脸特征信息计算回归系数。
可选地，通过确定
Figure BDA0001221045790000161
的最小值确定回归系数。其中，S为与Pk尺度(即上述实施例中的坐标尺度)的平方成正比的量，可选地，将Pk横坐标跨度(即上述实施例中的横坐标尺度)与纵坐标跨度(即上述实施例中的纵坐标尺度)中较大者的平方作为S的取值，λ可以为设定参数。
其中，λ的选择原则如下：该参数主要控制系统误差与随机误差在优化问题中所占的权重。若视频变化剧烈，系统误差较大，优化问题前一项更重要，因此λ应较小；反之若视频变化平缓，则λ应较大。另一方面，若人脸配准算法准确度较高，则随机误差较小，优化问题前一项更重要，因此λ较小；反之若人脸配准算法准确度较低，则λ应较大。实际应用中，可设λ初值为1，并根据实际算法在视频上的表现按如上原则调整至合适值。
上述实施例中的第一项
Figure BDA0001221045790000162
最小化拟合当前帧的人脸跟踪结果与当前帧的人脸配准结果Pk(即人脸特征信息)的差异，可控制系统误差；第二项
Figure BDA0001221045790000163
最小化拟合系数的平方和，可控制随机误差。通过上式的岭回归算法，可简单、快速地求解回归系数。
步骤S504：计算当前帧的人脸跟踪结果。
可选地，上述q1，...，qN计算出结果以后，Qk可采用如下公式计算：
Figure BDA0001221045790000164
通过上述实施例利用岭回归方法对视频人脸配准点进行跟踪，可同时满足稳定性、准确性以及高速实时计算的要求。
需要进一步说明的是，在一种可选的实施例中，可以将当前帧的配准点结果Pi与Qi划分成多组；每组按其各自特点选用不同的λ各自独立地进行跟踪，得到的结果再合并成整体的跟踪结果。
具体地，至少根据所述序列图像中记录内容的变化程度设置所述第二预设参数λ的值包括：将所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息划分为多组信息；根据所述序列图像中记录内容的变化程度设置各组信息的所述第二预设参数λ的值，其中，至少两组信息对应的第二预设参数的值不同。
可选地，每组信息中包含当前帧的人脸特征信息和部分调整帧图像的人脸跟踪信息，如按照序列图像记录的内容的变化程度来分组，或者，按照调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息的欧式距离进行分组。
可选地，不同组之间设置的第二预设参数λ可以不同，可以按照序列图像记录的内容的变化程度来分组，例如，可以将序列图像记录的内容的变化剧烈的转折点为基准，进行分组；或者，按照调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息的欧式距离进行分组，进一步地，预设距离区间，将属于同一预设距离区间的欧式距离对应的调整帧分为一组。
又一种可选地，每组信息中包含当前帧的部分人脸特征信息和各个调整帧图像的部分人脸跟踪信息，例如，按照预先划分的人脸区域将每帧的信息进行划分，如，预先将人脸的区域划分为5个区域，则可以将所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息划分为五组信息，每组信息对应一个区域。
根据上述实施例，分别对各组执行利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数、以及基于调整参数和调整帧的人脸跟踪信息，确定当前帧图像的人脸跟踪信息(在该示例中，基于各组的调整参数和调整帧的人脸跟踪信息，确定的是该组信息对应的人脸跟踪信息)的操作，在得到各组的组人脸跟踪信息之后，将各组对应的组跟踪信息进行整合得到所述当前帧的人脸跟踪信息。
通过上述实施例，可以更加准确地确定当前帧的人脸跟踪结果。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
根据本发明实施例，还提供了一种用于实施上述人脸跟踪方法的人脸跟踪装置。图6是根据本发明实施例的一种可选的人脸跟踪装置的示意图，如图6所示，该装置可以包括：
第一获取单元61，用于获取序列图像中当前帧图像的人脸特征信息和序列图像中前序帧图像的人脸跟踪信息，其中，前序帧图像为在序列图像中位于当前帧图像之前的帧图像，人脸特征信息中记录有当前帧图像中人脸特征点的信息，人脸跟踪信息用于记录前序帧图像的人脸跟踪结果；
第一选取模块71，用于基于当前帧图像的人脸特征信息和前序帧图像的人脸跟踪信息，从前序帧图像中选取调整帧图像；
拟合模块73，用于利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息拟合出当前帧图像的调整参数；
第二确定单元65，用于基于调整参数和前序帧图像的人脸跟踪信息，确定当前帧图像的人脸跟踪信息。
可选地，拟合模块包括如图7所示的第一拟合子模块731，用于利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息，确定使得当前帧图像的人脸跟踪信息与人脸特征信息的误差最小的调整参数；第二拟合子模块，用于利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息，确定使得调整参数的平方和最小的调整参数。
可选地，拟合模块包括：第三拟合子模块，用于利用预定函数L(q1,…,qN)拟合出当前帧图像的回归系数，其中，调整参数包括回归系数，
Figure BDA0001221045790000191
其中，qi表示回归系数，Ci表示调整帧图像i的人脸跟踪信息，PK表示当前帧图像的人脸特征信息，S为第一预设参数，λ为第二预设参数，K、i和N为自然数。
可选地，装置还包括：第二获取单元，用于在利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息拟合出当前帧图像的调整参数之前，获取当前帧图像的人脸特征信息中特征点的坐标尺度；第一设置单元，用于基于特征点的坐标尺度设置第一预设参数S。
可选地，第一设置单元包括：第二选取模块，用于从特征点的横坐标尺度和纵坐标尺度中选取值大的坐标尺度；第一确定模块，用于将选取出的值大的坐标尺度的平方确定为第一预设参数S。
可选地，装置还包括：第二设置单元，用于在利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息拟合出当前帧图像的调整参数之前，至少根据序列图像中记录内容的变化程度设置第二预设参数λ的值。
可选地，第二设置单元包括：第一调整模块，用于若序列图像中记录内容的变化程度高于第一预定阈值，则在默认值的基础上，调高第二预设参数λ的值，以设置第二预设参数λ的值；第二调整模块，用于若序列图像中记录内容的变化程度低于第二预定阈值，则在默认值的基础上，调低第二预设参数λ的值，以设置第二预设参数λ的值。
可选地，第二设置单元包括：分组模块，用于将调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息划分为多组信息；第一设置模块，用于根据序列图像中记录内容的变化程度设置各组信息的第二预设参数λ的值，其中，至少两组信息对应的第二预设参数的值不同；拟合模块包括：第四拟合子模块，用于分别拟合出各组信息的调整参数；第二确定单元包括：第二确定模块，用于确定各组信息对应的组跟踪信息，将各组对应的组跟踪信息进行整合得到当前帧的人脸跟踪信息。
可选地，拟合模块包括：第一计算子模块，用于计算多个调整帧图像的人脸跟踪信息的均值，其中，人脸跟踪信息利用多维向量记录对应帧的人脸跟踪结果；第二计算子模块，用于将调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息分别减去均值，得到处理后的调整帧图像的人脸跟踪信息和处理后的当前帧图像的人脸特征信息；第五拟合子模块，用于利用处理后的调整帧图像的人脸跟踪信息和处理后的当前帧图像的人脸特征信息拟合出当前帧图像的调整参数。
可选地，第一选取模块包括：第一获取子模块，用于从前序帧图像中，获取时间距离当前帧图像最近的M个前序帧图像；第一确定子模块，用于基于M个前序帧图像的人脸跟踪信息和当前帧图像的人脸特征信息，确定M个前序帧图像中各个前序帧图像与当前帧图像的距离；选取子模块，用于从M个前序帧图像中，选取与当前帧图像距离最小的N个调整帧图像。
可选地，第二确定单元包括：调整模块，用于利用调整参数调整每个前序帧图像的人脸跟踪信息；累加模块，用于将各个前序帧图像的人脸跟踪信息进行累加，得到当前帧图像的人脸跟踪信息。
可选地，第二确定单元包括：第三确定模块，用于利用如下公式确定当前帧图像的人脸跟踪信息Qk，其中，公式为：
Figure BDA0001221045790000211
其中，qi表示调整参数，Ci'表示处理后的调整帧图像的人脸跟踪信息，
Figure BDA0001221045790000212
表示均值。
通过上述实施例，基于当前帧图像的人脸特征信息和前序帧图像的人脸跟踪信息，确定用于减小当前帧图像的人脸跟踪信息的误差的调整参数，利用该调整参数可以准确地确定当前帧图像的人脸跟踪信息。通过上述实施例，使用前序帧图像的信息确定调整参数，而不使用后续帧图像的信息，不会产生时延，可以保证实时性；并且，在该方案中无需配置复杂的防抖规则，跟踪信息的获取方式简单；进一步地，上述方案无需标注大量即可确定准确的人脸跟踪信息，解决了现有技术中人脸配准点跟踪算法难以同时保证高准确度与低复杂度的问题，实现了使用简单的处理方式保证人脸跟踪信息的高准确度的效果。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图2所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
根据本发明实施例，还提供了一种用于实施上述人脸跟踪方法的终端。
图8是根据本发明实施例的一种终端的结构框图，如图8所示，该终端可以包括：一个或多个(图中仅示出一个)处理器201、存储器203、以及传输装置205，如图8所示，该终端还可以包括输入输出设备207。
其中，存储器203可用于存储软件程序以及模块，如本发明实施例中的人脸跟踪方法和装置对应的程序指令/模块，处理器201通过运行存储在存储器203内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的人脸跟踪方法。存储器203可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器203可进一步包括相对于处理器201远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置205用于经由一个网络接收或者发送数据，还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置205包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置205为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
其中，具体地，存储器203用于存储应用程序。
处理器201可以通过传输装置205调用存储器203存储的应用程序，以执行下述步骤：获取序列图像中当前帧图像的人脸特征信息和序列图像中前序帧图像的人脸跟踪信息，其中，前序帧图像为在序列图像中位于当前帧图像之前的帧图像，人脸特征信息中记录有当前帧图像中人脸特征点的信息，人脸跟踪信息用于记录前序帧图像的人脸跟踪结果；基于当前帧图像的人脸特征信息和前序帧图像的人脸跟踪信息，从前序帧图像中选取调整帧图像；利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息拟合出当前帧图像的调整参数；基于调整参数和前序帧图像的人脸跟踪信息，确定当前帧图像的人脸跟踪信息。
处理器201还用于执行下述至少之一的步骤：利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息，确定使得当前帧图像的人脸跟踪信息与人脸特征信息的误差最小的调整参数；利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息，确定使得调整参数的平方和最小的调整参数，以利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息拟合出当前帧图像的调整参数。
处理器201还用于执行下述步骤：利用预定函数L(q1,…,qN)拟合出当前帧图像的回归系数，以利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息拟合出当前帧图像的调整参数，其中，调整参数包括回归系数，
Figure BDA0001221045790000231
其中，qi表示回归系数，Ci表示调整帧图像i的人脸跟踪信息，PK表示当前帧图像的人脸特征信息，S为第一预设参数，λ为第二预设参数，K、i和N为自然数。
处理器201还用于执行下述步骤：在利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息拟合出当前帧图像的调整参数之前，获取当前帧图像的人脸特征信息中特征点的坐标尺度；基于特征点的坐标尺度设置第一预设参数S。
处理器201还用于执行下述步骤：从特征点的横坐标尺度和纵坐标尺度中选取值大的坐标尺度；将选取出的值大的坐标尺度的平方确定为第一预设参数S，以基于特征点的坐标尺度确定第一预设参数S。
处理器201还用于执行下述步骤：在利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息拟合出当前帧图像的调整参数之前，至少根据序列图像中记录内容的变化程度设置第二预设参数λ的值。
处理器201还用于执行下述步骤：若序列图像中记录内容的变化程度高于第一预定阈值，则在默认值的基础上，调高第二预设参数λ的值，以设置第二预设参数λ的值；若序列图像中记录内容的变化程度低于第二预定阈值，则在默认值的基础上，调低第二预设参数λ的值，以设置第二预设参数λ的值，以至少根据序列图像中记录内容的变化程度设置第二预设参数λ的值。
处理器201还用于执行下述步骤：将调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息划分为多组信息；根据序列图像中记录内容的变化程度设置各组信息的第二预设参数λ的值，其中，至少两组信息对应的第二预设参数的值不同，以至少根据序列图像中记录内容的变化程度设置第二预设参数λ的值；分别拟合出各组信息的调整参数，以利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息拟合出当前帧图像的调整参数；确定各组信息对应的组跟踪信息，将各组对应的组跟踪信息进行整合得到当前帧的人脸跟踪信息，以确定当前帧图像的人脸跟踪信息。
处理器201还用于执行下述步骤：计算多个调整帧图像的人脸跟踪信息的均值，其中，人脸跟踪信息利用多维向量记录对应帧的人脸跟踪结果；将调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息分别减去均值，得到处理后的调整帧图像的人脸跟踪信息和处理后的当前帧图像的人脸特征信息；利用处理后的调整帧图像的人脸跟踪信息和处理后的当前帧图像的人脸特征信息拟合出当前帧图像的调整参数，以利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息拟合出当前帧图像的调整参数。
处理器201还用于执行下述步骤：从前序帧图像中，获取时间距离当前帧图像最近的M个前序帧图像；基于M个前序帧图像的人脸跟踪信息和当前帧图像的人脸特征信息，确定M个前序帧图像中各个前序帧图像与当前帧图像的距离；从M个前序帧图像中，选取与当前帧图像距离最小的N个调整帧图像，以基于当前帧图像的人脸特征信息和前序帧图像的人脸跟踪信息，从前序帧图像中选取调整帧图像。
处理器201还用于执行下述步骤：利用调整参数调整每个前序帧图像的人脸跟踪信息；将各个前序帧图像的人脸跟踪信息进行累加，得到当前帧图像的人脸跟踪信息，基于调整参数和前序帧图像的人脸跟踪信息，确定当前帧图像的人脸跟踪信息。
处理器201还用于执行下述步骤：利用如下公式确定当前帧图像的人脸跟踪信息Qk，以基于调整参数和前序帧图像的人脸跟踪信息，确定当前帧图像的人脸跟踪信息，其中，公式为：
Figure BDA0001221045790000251
其中，qi表示调整参数，Ci'表示处理后的调整帧图像的人脸跟踪信息，
Figure BDA0001221045790000252
表示均值。
通过上述实施例，基于当前帧图像的人脸特征信息和前序帧图像的人脸跟踪信息，确定用于减小当前帧图像的人脸跟踪信息的误差的调整参数，利用该调整参数可以准确地确定当前帧图像的人脸跟踪信息。通过上述实施例，使用前序帧图像的信息确定调整参数，而不使用后续帧图像的信息，不会产生时延，可以保证实时性；并且，在该方案中无需配置复杂的防抖规则，跟踪信息的获取方式简单；进一步地，上述方案无需标注大量即可确定准确的人脸跟踪信息，解决了现有技术中人脸配准点跟踪算法难以同时保证高准确度与低复杂度的问题，实现了使用简单的处理方式保证人脸跟踪信息的高准确度的效果。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图8所示的结构仅为示意，终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile InternetDevices，MID)、PAD等终端设备。图8其并不对上述电子装置的结构造成限定。例如，终端还可包括比图8中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图8所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行人脸跟踪方法的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
处理器201可以通过传输装置205调用存储器203存储的应用程序，以执行下述步骤：获取序列图像中当前帧图像的人脸特征信息和序列图像中前序帧图像的人脸跟踪信息，其中，前序帧图像为在序列图像中位于当前帧图像之前的帧图像，人脸特征信息中记录有当前帧图像中人脸特征点的信息，人脸跟踪信息用于记录前序帧图像的人脸跟踪结果；基于当前帧图像的人脸特征信息和前序帧图像的人脸跟踪信息，从前序帧图像中选取调整帧图像；利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息拟合出当前帧图像的调整参数；基于调整参数和前序帧图像的人脸跟踪信息，确定当前帧图像的人脸跟踪信息。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：基于当前帧图像的人脸特征信息和前序帧图像的人脸跟踪信息，从前序帧图像中选取调整帧图像；利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息拟合出当前帧图像的调整参数，以基于当前帧图像的人脸特征信息和前序帧图像的人脸跟踪信息，确定当前帧图像的调整参数。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (22)

1.一种人脸跟踪方法，其特征在于，包括：
获取序列图像中当前帧图像的人脸特征信息和所述序列图像中前序帧图像的人脸跟踪信息，其中，所述前序帧图像为在所述序列图像中位于所述当前帧图像之前的帧图像，所述人脸特征信息中记录有所述当前帧图像中人脸特征点的信息，所述人脸跟踪信息用于记录所述前序帧图像的人脸跟踪结果；
基于所述当前帧图像的人脸特征信息和所述前序帧图像的人脸跟踪信息，从所述前序帧图像中选取调整帧图像；
利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数；
基于所述调整参数和所述前序帧图像的人脸跟踪信息，确定所述当前帧图像的人脸跟踪信息；
所述基于所述调整参数和所述前序帧图像的人脸跟踪信息，确定所述当前帧图像的人脸跟踪信息包括：
利用所述调整参数调整每个所述前序帧图像的人脸跟踪信息；
将各个前序帧图像的人脸跟踪信息进行累加，得到所述当前帧图像的人脸跟踪信息。
2.根据权利要求1所述的方法，其特征在于，利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数包括下述至少之一：
利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息，确定使得所述当前帧图像的人脸跟踪信息与所述人脸特征信息的误差最小的调整参数；
利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息，确定使得所述调整参数的平方和最小的调整参数。
3.根据权利要求1所述的方法，其特征在于，利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数包括：
利用预定函数L(q1,…,qN)拟合出所述当前帧图像的回归系数，其中，所述调整参数包括所述回归系数，
Figure FDA0003456720420000021
其中，qi表示回归系数，Ci表示调整帧图像i的人脸跟踪信息，PK表示所述当前帧图像的人脸特征信息，S为第一预设参数，λ为第二预设参数，K、i和N为自然数。
4.根据权利要求3所述的方法，其特征在于，在利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数之前，所述方法还包括：
获取所述当前帧图像的人脸特征信息中特征点的坐标尺度；
基于所述特征点的坐标尺度设置所述第一预设参数S。
5.根据权利要求4所述的方法，其特征在于，基于所述特征点的坐标尺度确定所述第一预设参数S包括：
从所述特征点的横坐标尺度和纵坐标尺度中选取值大的坐标尺度；
将所述选取出的值大的坐标尺度的平方确定为所述第一预设参数S。
6.根据权利要求3所述的方法，其特征在于，在利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数之前，所述方法还包括：
至少根据所述序列图像中记录内容的变化程度设置所述第二预设参数λ的值。
7.根据权利要求6所述的方法，其特征在于，至少根据所述序列图像中记录内容的变化程度设置所述第二预设参数λ的值包括：
若所述序列图像中记录内容的变化程度高于第一预定阈值，则在默认值的基础上，调高所述第二预设参数λ的值，以设置所述第二预设参数λ的值；
若所述序列图像中记录内容的变化程度低于第二预定阈值，则在默认值的基础上，调低所述第二预设参数λ的值，以设置所述第二预设参数λ的值。
8.根据权利要求6所述的方法，其特征在于，
至少根据所述序列图像中记录内容的变化程度设置所述第二预设参数λ的值包括：将所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息划分为多组信息；根据所述序列图像中记录内容的变化程度设置各组信息的所述第二预设参数λ的值，其中，至少两组信息对应的第二预设参数的值不同；
利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数包括：分别拟合出各组信息的调整参数；
确定所述当前帧图像的人脸跟踪信息包括：确定各组信息对应的组跟踪信息，将各组对应的组跟踪信息进行整合得到所述当前帧的人脸跟踪信息。
9.根据权利要求1至8中任意一项所述的方法，其特征在于，利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数包括：
计算多个调整帧图像的人脸跟踪信息的均值，其中，所述人脸跟踪信息利用多维向量记录对应帧的人脸跟踪结果；
将所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息分别减去所述均值，得到处理后的所述调整帧图像的人脸跟踪信息和处理后的所述当前帧图像的人脸特征信息；
利用处理后的所述调整帧图像的人脸跟踪信息和处理后的所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数。
10.根据权利要求9所述的方法，其特征在于，基于所述调整参数和所述前序帧图像的人脸跟踪信息，确定所述当前帧图像的人脸跟踪信息包括：
利用如下公式确定所述当前帧图像的人脸跟踪信息Qk，其中，所述公式为：
Figure FDA0003456720420000041
其中，qi表示所述调整参数，Ci'表示处理后的调整帧图像的人脸跟踪信息，
Figure FDA0003456720420000042
表示所述均值。
11.根据权利要求1所述的方法，其特征在于，基于所述当前帧图像的人脸特征信息和所述前序帧图像的人脸跟踪信息，从所述前序帧图像中选取调整帧图像包括：
从所述前序帧图像中，获取时间距离所述当前帧图像最近的M个前序帧图像；
基于所述M个前序帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息，确定所述M个前序帧图像中各个前序帧图像与所述当前帧图像的距离；
从所述M个前序帧图像中，选取与所述当前帧图像距离最小的N个调整帧图像。
12.一种人脸跟踪装置，其特征在于，包括：
第一获取单元，用于获取序列图像中当前帧图像的人脸特征信息和所述序列图像中前序帧图像的人脸跟踪信息，其中，所述前序帧图像为在所述序列图像中位于所述当前帧图像之前的帧图像，所述人脸特征信息中记录有所述当前帧图像中人脸特征点的信息，所述人脸跟踪信息用于记录所述前序帧图像的人脸跟踪结果；
第一选取模块，用于基于所述当前帧图像的人脸特征信息和所述前序帧图像的人脸跟踪信息，从所述前序帧图像中选取调整帧图像；
拟合模块，用于利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数；
第二确定单元，用于基于所述调整参数和所述前序帧图像的人脸跟踪信息，确定所述当前帧图像的人脸跟踪信息；
所述第二确定单元包括：调整模块，用于利用所述调整参数调整每个所述前序帧图像的人脸跟踪信息；
累加模块，用于将各个前序帧图像的人脸跟踪信息进行累加，得到所述当前帧图像的人脸跟踪信息。
13.根据权利要求12所述的装置，其特征在于，所述拟合模块包括：
第一拟合子模块，用于利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息，确定使得所述当前帧图像的人脸跟踪信息与所述人脸特征信息的误差最小的调整参数；
第二拟合子模块，用于利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息，确定使得所述调整参数的平方和最小的调整参数。
14.根据权利要求12所述的装置，其特征在于，所述拟合模块包括：
第三拟合子模块，用于利用预定函数L(q1,…,qN)拟合出所述当前帧图像的回归系数，其中，所述调整参数包括所述回归系数，
Figure FDA0003456720420000051
其中，qi表示回归系数，Ci表示调整帧图像i的人脸跟踪信息，PK表示所述当前帧图像的人脸特征信息，S为第一预设参数，λ为第二预设参数，K、i和N为自然数。
15.根据权利要求14所述的装置，其特征在于，所述装置还包括：
第二获取单元，用于在利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数之前，获取所述当前帧图像的人脸特征信息中特征点的坐标尺度；
第一设置单元，用于基于所述特征点的坐标尺度设置所述第一预设参数S。
16.根据权利要求15所述的装置，其特征在于，所述第一设置单元包括：
第二选取模块，用于从所述特征点的横坐标尺度和纵坐标尺度中选取值大的坐标尺度；
第一确定模块，用于将所述选取出的值大的坐标尺度的平方确定为所述第一预设参数S。
17.根据权利要求14所述的装置，其特征在于，所述装置还包括：
第二设置单元，用于在利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数之前，至少根据所述序列图像中记录内容的变化程度设置所述第二预设参数λ的值。
18.根据权利要求17所述的装置，其特征在于，所述第二设置单元包括：
第一调整模块，用于若所述序列图像中记录内容的变化程度高于第一预定阈值，则在默认值的基础上，调高所述第二预设参数λ的值，以设置所述第二预设参数λ的值；
第二调整模块，用于若所述序列图像中记录内容的变化程度低于第二预定阈值，则在默认值的基础上，调低所述第二预设参数λ的值，以设置所述第二预设参数λ的值。
19.根据权利要求17所述的装置，其特征在于，
所述第二设置单元包括：分组模块，用于将所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息划分为多组信息；第一设置模块，用于根据所述序列图像中记录内容的变化程度设置各组信息的所述第二预设参数λ的值，其中，至少两组信息对应的第二预设参数的值不同；
所述拟合模块包括：第四拟合子模块，用于分别拟合出各组信息的调整参数；
所述第二确定单元包括：第二确定模块，用于确定各组信息对应的组跟踪信息，将各组对应的组跟踪信息进行整合得到所述当前帧的人脸跟踪信息。
20.根据权利要求12至19中任意一项所述的装置，其特征在于，所述拟合模块包括：
第一计算子模块，用于计算多个调整帧图像的人脸跟踪信息的均值，其中，所述人脸跟踪信息利用多维向量记录对应帧的人脸跟踪结果；
第二计算子模块，用于将所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息分别减去所述均值，得到处理后的所述调整帧图像的人脸跟踪信息和处理后的所述当前帧图像的人脸特征信息；
第五拟合子模块，用于利用处理后的所述调整帧图像的人脸跟踪信息和处理后的所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数。
21.根据权利要求20所述的装置，其特征在于，所述第二确定单元包括：
第三确定模块，用于利用如下公式确定所述当前帧图像的人脸跟踪信息Qk，其中，所述公式为：
Figure FDA0003456720420000071
其中，qi表示所述调整参数，Ci'表示处理后的调整帧图像的人脸跟踪信息，
Figure FDA0003456720420000072
表示所述均值。
22.根据权利要求12所述的装置，其特征在于，所述第一选取模块包括：
第一获取子模块，用于从所述前序帧图像中，获取时间距离所述当前帧图像最近的M个前序帧图像；
第一确定子模块，用于基于所述M个前序帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息，确定所述M个前序帧图像中各个前序帧图像与所述当前帧图像的距离；
选取子模块，用于从所述M个前序帧图像中，选取与所述当前帧图像距离最小的N个调整帧图像。
CN201710068185.3A 2017-02-06 2017-02-06 人脸跟踪方法和装置 Active CN106875422B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710068185.3A CN106875422B (zh) 2017-02-06 2017-02-06 人脸跟踪方法和装置
PCT/CN2018/074953 WO2018141252A1 (zh) 2017-02-06 2018-02-01 人脸跟踪方法、装置、存储介质以及电子装置
EP18747939.9A EP3579187B1 (en) 2017-02-06 2018-02-01 Facial tracking method, apparatus, storage medium and electronic device
US16/356,924 US10909356B2 (en) 2017-02-06 2019-03-18 Facial tracking method and apparatus, storage medium, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710068185.3A CN106875422B (zh) 2017-02-06 2017-02-06 人脸跟踪方法和装置

Publications (2)

Publication Number Publication Date
CN106875422A CN106875422A (zh) 2017-06-20
CN106875422B true CN106875422B (zh) 2022-02-25

Family

ID=59166014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710068185.3A Active CN106875422B (zh) 2017-02-06 2017-02-06 人脸跟踪方法和装置

Country Status (4)

Country Link
US (1) US10909356B2 (zh)
EP (1) EP3579187B1 (zh)
CN (1) CN106875422B (zh)
WO (1) WO2018141252A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875422B (zh) * 2017-02-06 2022-02-25 腾讯科技（上海）有限公司 人脸跟踪方法和装置
CN108304758B (zh) * 2017-06-21 2020-08-25 腾讯科技（深圳）有限公司 人脸特征点跟踪方法及装置
CN107622252B (zh) * 2017-09-29 2022-02-22 百度在线网络技术（北京）有限公司 信息生成方法和装置
CN108053424B (zh) * 2017-12-15 2020-06-16 深圳云天励飞技术有限公司 目标跟踪方法、装置、电子设备及存储介质
CN108171134A (zh) * 2017-12-20 2018-06-15 中车工业研究院有限公司 一种操作动作辨识方法及装置
CN108280843A (zh) * 2018-01-24 2018-07-13 新华智云科技有限公司 一种视频目标检测跟踪方法及设备
CN108509940B (zh) * 2018-04-20 2019-11-05 北京达佳互联信息技术有限公司 人脸图像跟踪方法、装置、计算机设备及存储介质
CN110674331A (zh) * 2018-06-15 2020-01-10 华为技术有限公司 信息处理方法、相关设备及计算机存储介质
CN109359575B (zh) * 2018-09-30 2022-05-10 腾讯科技（深圳）有限公司 人脸检测方法、业务处理方法、装置、终端及介质
CN109711332B (zh) * 2018-12-26 2021-03-26 浙江捷尚视觉科技股份有限公司 一种基于回归算法的人脸跟踪方法及应用
CN110544272B (zh) * 2019-09-06 2023-08-04 腾讯科技（深圳）有限公司 脸部跟踪方法、装置、计算机设备及存储介质
CN110826534B (zh) * 2019-11-30 2022-04-05 杭州小影创新科技股份有限公司 一种基于局部主成分分析的人脸关键点检测方法及系统
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
CN111462083B (zh) * 2020-03-31 2023-05-02 北京东软医疗设备有限公司 图像处理方法、装置、电子设备及存储介质
CN112329740B (zh) * 2020-12-02 2021-10-26 广州博冠信息科技有限公司 图像处理方法、装置、存储介质和电子设备
CN113011271A (zh) * 2021-02-23 2021-06-22 北京嘀嘀无限科技发展有限公司 生成和处理图像的方法、装置、设备、介质和程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469056A (zh) * 2015-11-26 2016-04-06 小米科技有限责任公司 人脸图像处理方法及装置
CN105760826A (zh) * 2016-02-03 2016-07-13 歌尔声学股份有限公司 一种人脸跟踪方法、装置和智能终端
CN105787448A (zh) * 2016-02-28 2016-07-20 南京信息工程大学 基于时空级联形状回归的人脸形状跟踪方法
CN106204649A (zh) * 2016-07-05 2016-12-07 西安电子科技大学 一种基于tld算法的目标跟踪方法
CN106254836A (zh) * 2016-09-19 2016-12-21 南京航空航天大学 无人机红外图像目标跟踪系统及方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002951473A0 (en) * 2002-09-18 2002-10-03 Canon Kabushiki Kaisha Method for tracking facial features in video sequence
US7492924B2 (en) * 2003-07-18 2009-02-17 Intel Corporation Face tracking
IL157098A (en) * 2003-07-24 2009-07-20 Rafael Advanced Defense Sys Spectral tracking of a target
FR2879391A1 (fr) * 2004-12-14 2006-06-16 St Microelectronics Sa Procede, dispositif et systeme de traitement d'images par estimation de mouvement
JP4618058B2 (ja) * 2005-09-01 2011-01-26 株式会社日立製作所 背景画像生成方法とその装置及び画像監視システム
US20080260212A1 (en) * 2007-01-12 2008-10-23 Moskal Michael D System for indicating deceit and verity
US8934545B2 (en) * 2009-02-13 2015-01-13 Yahoo! Inc. Extraction of video fingerprints and identification of multimedia using video fingerprinting
IL197996A (en) * 2009-04-05 2014-07-31 Rafael Advanced Defense Sys A method for locating people
JP5388910B2 (ja) * 2010-03-10 2014-01-15 パナソニック株式会社 画像揺れ補正装置および画像揺れ補正方法
US8539394B2 (en) * 2011-03-02 2013-09-17 Carl Zeiss Sms Ltd. Method and apparatus for minimizing overlay errors in lithography
US20120321134A1 (en) * 2011-06-15 2012-12-20 Samsung Electornics Co., Ltd Face tracking method and device
JP2015111746A (ja) * 2012-04-09 2015-06-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US9262671B2 (en) * 2013-03-15 2016-02-16 Nito Inc. Systems, methods, and software for detecting an object in an image
CN109711304B (zh) * 2013-05-21 2022-06-14 深圳市腾讯计算机系统有限公司 一种人脸特征点定位方法及装置
WO2014205768A1 (zh) * 2013-06-28 2014-12-31 中国科学院自动化研究所 基于增量主成分分析的特征与模型互匹配人脸跟踪方法
WO2015024257A1 (en) * 2013-08-23 2015-02-26 Harman International Industries, Incorporated Unstructured road boundary detection
US9317954B2 (en) * 2013-09-23 2016-04-19 Lucasfilm Entertainment Company Ltd. Real-time performance capture with on-the-fly correctives
DE102013015826B4 (de) * 2013-09-24 2016-05-12 Dräger Safety AG & Co. KGaA Vorrichtung zur Messung des Rauschzustands einer Testperson
US9928405B2 (en) * 2014-01-13 2018-03-27 Carnegie Mellon University System and method for detecting and tracking facial features in images
US9836831B1 (en) * 2014-07-30 2017-12-05 Google Inc. Simulating long-exposure images
AU2014280958B2 (en) * 2014-12-24 2017-08-31 Canon Kabushiki Kaisha Registration across frame boundaries in AO-SLO capture
WO2016153479A1 (en) * 2015-03-23 2016-09-29 Longsand Limited Scan face of video feed
US9697599B2 (en) * 2015-06-17 2017-07-04 Xerox Corporation Determining a respiratory pattern from a video of a subject
JP6577852B2 (ja) * 2015-12-03 2019-09-18 キヤノン株式会社 動きベクトル検出装置およびその制御方法
CN105512627B (zh) * 2015-12-03 2019-04-12 腾讯科技（深圳）有限公司 一种关键点的定位方法及终端
CN105608710B (zh) * 2015-12-14 2018-10-19 四川长虹电器股份有限公司 一种非刚性人脸检测和追踪定位方法
US10096132B2 (en) * 2016-01-27 2018-10-09 Samsung Electronics Co., Ltd. Method and apparatus for positioning feature point
CN106204658A (zh) * 2016-07-21 2016-12-07 北京邮电大学 运动图像跟踪方法及装置
US10332312B2 (en) * 2016-12-25 2019-06-25 Facebook, Inc. Shape prediction model compression for face alignment
CN106875422B (zh) * 2017-02-06 2022-02-25 腾讯科技（上海）有限公司 人脸跟踪方法和装置
US10769415B1 (en) * 2017-09-09 2020-09-08 Apple Inc. Detection of identity changes during facial recognition enrollment process

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469056A (zh) * 2015-11-26 2016-04-06 小米科技有限责任公司 人脸图像处理方法及装置
CN105760826A (zh) * 2016-02-03 2016-07-13 歌尔声学股份有限公司 一种人脸跟踪方法、装置和智能终端
CN105787448A (zh) * 2016-02-28 2016-07-20 南京信息工程大学 基于时空级联形状回归的人脸形状跟踪方法
CN106204649A (zh) * 2016-07-05 2016-12-07 西安电子科技大学 一种基于tld算法的目标跟踪方法
CN106254836A (zh) * 2016-09-19 2016-12-21 南京航空航天大学 无人机红外图像目标跟踪系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度信息的压缩感知人脸检测跟踪;郑宪成等;《计算机系统应用》;20150930;第1-5页 *
应用于视频监控的实时人脸检测的研究;孟伟巍;《中国优秀硕士学位论文全文数据库》;20071215;I138-666 *

Also Published As

Publication number Publication date
US20190251337A1 (en) 2019-08-15
EP3579187B1 (en) 2021-03-31
EP3579187A4 (en) 2020-02-12
CN106875422A (zh) 2017-06-20
WO2018141252A1 (zh) 2018-08-09
EP3579187A1 (en) 2019-12-11
US10909356B2 (en) 2021-02-02

Similar Documents

Publication Publication Date Title
CN106875422B (zh) 人脸跟踪方法和装置
CN110147717B (zh) 一种人体动作的识别方法及设备
US20220079325A1 (en) Techniques for identifying skin color in images having uncontrolled lighting conditions
US20170161591A1 (en) System and method for deep-learning based object tracking
CN108280477B (zh) 用于聚类图像的方法和装置
CN110135246A (zh) 一种人体动作的识别方法及设备
WO2016109884A1 (en) Automated recommendation and virtualization systems and methods for e-commerce
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN107688637A (zh) 信息推送方法、装置、存储介质及电子终端
CN108197592B (zh) 信息获取方法和装置
JP2022527818A (ja) ユーザの眼に関連する幾何学的変数を推定する方法及びシステム
CN112307886A (zh) 行人重识别方法和装置
CN111695462A (zh) 一种人脸识别方法、装置、存储介质和服务器
CN109766818A (zh) 瞳孔中心定位方法及系统、计算机设备及可读存储介质
CN109271930A (zh) 微表情识别方法、装置与存储介质
CN112907569B (zh) 头部图像区域的分割方法、装置、电子设备和存储介质
CN110489659A (zh) 数据匹配方法和装置
CN111080746A (zh) 图像处理方法、装置、电子设备和存储介质
CN105844204B (zh) 人体行为识别方法和装置
CN108171570A (zh) 一种数据筛选方法、装置及终端
CN111784660B (zh) 一种用于人脸图像的正脸程度的分析方法和系统
CN117115595B (zh) 姿态估计模型的训练方法、装置、电子设备及存储介质
CN109003264B (zh) 一种视网膜病变图像类型识别方法、装置和存储介质
CN108665455B (zh) 图像显著性预测结果的评价方法和装置
CN116958626A (zh) 一种图像分类模型训练、图像分类方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant