CN111507304B - 自适应刚性先验模型训练方法、人脸跟踪方法及相关装置 - Google Patents

自适应刚性先验模型训练方法、人脸跟踪方法及相关装置 Download PDF

Info

Publication number
CN111507304B
CN111507304B CN202010355935.7A CN202010355935A CN111507304B CN 111507304 B CN111507304 B CN 111507304B CN 202010355935 A CN202010355935 A CN 202010355935A CN 111507304 B CN111507304 B CN 111507304B
Authority
CN
China
Prior art keywords
face
model
adaptive
parameters
rigidity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010355935.7A
Other languages
English (en)
Other versions
CN111507304A (zh
Inventor
陈文喻
刘更代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN202010355935.7A priority Critical patent/CN111507304B/zh
Publication of CN111507304A publication Critical patent/CN111507304A/zh
Priority to US17/997,107 priority patent/US20230177702A1/en
Priority to EP21796709.0A priority patent/EP4145342A4/en
Priority to PCT/CN2021/087576 priority patent/WO2021218650A1/zh
Application granted granted Critical
Publication of CN111507304B publication Critical patent/CN111507304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种自适应刚性先验模型训练方法、人脸跟踪方法及相关装置，训练方法包括：初始化自适应刚性先验模型的模型参数；根据自适应刚性先验模型对训练视频数据进行人脸跟踪获得同一人脸的多帧人脸数据；根据多帧人脸数据对模型参数进行更新；判断是否达到停止更新模型参数的条件；若是，停止更新自适应刚性先验模型的模型参数得到最终的自适应刚性先验模型。训练好的自适应刚性先验模型应用于人脸跟踪的过程中，自适应刚性先验模型能够根据实时人脸的人脸尺寸和人脸各个人脸区域的位移对不同的人脸区域赋予不同的权重，使得人脸跟踪的刚性稳定化高，获得更鲁棒的人脸跟踪结果。

Description

自适应刚性先验模型训练方法、人脸跟踪方法及相关装置
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种自适应刚性先验模型训练方法、人脸跟踪方法及相关装置。
背景技术
人脸姿态估计是视频人脸跟踪中的一项重要课题，实时人脸跟踪需要跟踪人脸姿态和人脸表情，包括计算三维人脸模型的刚性变换，包括旋转，平移，缩放等。稳定的人脸姿态估计可以应用于实现视觉增强效果，诸如试戴帽子、眼镜、追加胡子、纹身等等，也可以用于驱动虚拟人偶的表情运动。
在实时人脸跟踪中，人脸姿态是根据视频中人脸的运动进行估计的，但是视频中人脸的运动并不是由人脸姿态唯一决定的，在人脸姿态固定的情况下，用户做不同表情也会引起视频中人脸姿态的运动，因此，为了得到稳定的人脸姿态估计，必须在优化求解人脸姿态时有效降低人脸表情的影响，即刚性稳定化。
现有技术中，为了提高计算效率，实时刚性稳定化方法则采用先验来实现人脸跟踪的刚性稳定化。常见的先验主要采用两种相对简单的方法，一种是针对特定人脸区域的启发式先验，另一种是动态刚性先验，在启发式先验中对不同的人脸区域采用固定的权重，其缺陷是无法适应所有表情。对于动态刚性先验则通过估计每个人脸区域的移动量来动态估计权重，因此可以适用不同表情，但其缺陷是训练好的模型只适合特定大小的人脸，无法自适应视频中人脸尺寸的变化，因此，目前的刚性先验模型无法适应所有表情和不同的人脸尺寸来估计各个人脸区域的权重，导致人脸姿态估计刚性稳定化不高，最终导致人脸跟踪不准确的问题。
发明内容
本发明实施例提供一种自适应刚性先验模型训练方法、人脸跟踪方法及相关装置，以解决现有技术中刚性先验模型无法适应所有表情和不同的人脸尺寸来估计各个人脸区域的权重，导致人脸姿态估计刚性稳定化不高，最终导致人脸跟踪不准确的问题。
第一方面，本发明实施例提供了一种自适应刚性先验模型训练方法，包括：
初始化自适应刚性先验模型的模型参数，所述模型参数为以人脸尺寸为自变量的函数，所述自适应刚性先验模型用于输出人脸在不同人脸尺寸时各个人脸区域的权重；
根据所述自适应刚性先验模型对训练视频数据进行人脸跟踪获得同一人脸的多帧人脸数据；
根据所述多帧人脸数据对所述模型参数进行更新；
判断是否达到停止更新所述模型参数的条件；
若是，停止更新所述自适应刚性先验模型的模型参数得到最终的自适应刚性先验模型；
若否，返回基于所述自适应刚性先验模型对训练视频数据进行人脸跟踪获得同一人脸的多帧人脸数据的步骤。
第二方面，本发明实施例提供了一种人脸跟踪方法，包括：
对视频数据进行人脸跟踪以提取每帧视频数据中人脸的人脸关键点、初始人脸表情参数和初始刚性变换参数；
根据所述人脸关键点确定每帧视频数据中所述人脸的人脸尺寸；
将所述人脸尺寸输入预先训练的自适应刚性先验模型中获得所述人脸各个人脸区域的权重；
根据所述权重和所述人脸关键点对所述初始刚性变换参数和所述初始人脸表情参数进行求解获得人脸表情参数的最优解作为每帧视频数据的人脸跟踪的结果；
其中，所述自适应刚性先验模型通过本发明实施例所述的自适应刚性先验模型训练方法所训练。
第三方面，本发明实施例提供了一种自适应刚性先验模型训练装置，包括：
模型参数初始模块，用于初始化自适应刚性先验模型的模型参数，所述模型参数为以人脸尺寸为自变量的函数，所述自适应刚性先验模型用于输出人脸在不同人脸尺寸时各个人脸区域的权重；
人脸数据获取模块，用于根据所述自适应刚性先验模型对训练视频数据进行人脸跟踪获得同一人脸的多帧人脸数据；
模型参数更新模块，用于根据所述多帧人脸数据对所述模型参数进行更新；
停止训练条件判断模块，用于判断是否达到停止更新所述模型参数的条件；
模型参数停止更新模块，用于停止更新所述自适应刚性先验模型的模型参数得到最终的自适应刚性先验模型。
第四方面，本发明实施例提供了一种人脸跟踪装置，包括：
人脸跟踪模块，用于对视频数据进行人脸跟踪以提取每帧视频数据中人脸的人脸关键点、初始人脸表情参数和初始刚性变换参数；
人脸尺寸确定模块，用于根据所述人脸关键点确定每帧视频数据中所述人脸的人脸尺寸；
权重预测模块，用于将所述人脸尺寸输入预先训练的自适应刚性先验模型中获得所述人脸各个人脸区域的权重；
优化模块，用于根据所述权重和所述人脸关键点对所述初始刚性变换参数和所述初始人脸表情参数进行求解获得人脸表情参数的最优解作为每帧视频数据的人脸跟踪的结果；
其中，所述自适应刚性先验模型通过本发明实施例所述的自适应刚性先验模型训练方法所训练。
第五方面，本发明实施例提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任一实施例所述的自适应刚性先验模型训练方法和/或人脸跟踪方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任一实施例所述的自适应刚性先验模型训练方法和/或人脸跟踪方法。
本发明实施例的自适应刚性先验模型的模型参数为以人脸尺寸为自变量的函数，该自适应刚性先验模型用于输出人脸在不同人脸尺寸时各个人脸区域的权重；在初始化模型参数后，根据自适应刚性先验模型对训练视频数据进行人脸跟踪获得同一人脸的多帧人脸数据，并根据多帧人脸数据对模型参数进行更新，在达到停止更新模型参数的条件时，停止更新自适应刚性先验模型的模型参数得到最终的自适应刚性先验模型。本发明实施例训练好的自适应刚性先验模型应用于人脸跟踪的过程中，自适应刚性先验模型能够根据实时人脸的人脸尺寸和人脸各个人脸区域的位移对不同的人脸区域赋予不同的权重，使得人脸跟踪的刚性稳定化高，获得更鲁棒的人脸跟踪结果。
附图说明
图1是本发明实施例一提供的一种自适应刚性先验模型训练方法的步骤流程图；
图2A是本发明实施例二提供的一种自适应刚性先验模型训练方法的步骤流程图；
图2B是本发明实施例二提供的一种所示为人脸的各个人脸区域的划分示意图；
图2C是本发明实施例二提供的一种自适应刚性先验模型训练流程图；
图3是本发明实施例三提供的一种人脸跟踪方法的步骤流程图；
图4是本发明实施例四提供的一种自适应刚性先验模型训练装置的结构框图；
图5是本发明实施例五提供的一种人脸跟踪装置的结构框图；
图6是本发明实施例六提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。
实施例一
图1为本发明实施例一提供的一种自适应刚性先验模型训练方法的步骤流程图，本发明实施例可适用于训练刚性先验模型来估计人脸各个人脸区域在不同人脸尺寸时的权重的情况，该方法可以由本发明实施例的自适应刚性先验模型训练装置来执行，该自适应刚性先验模型训练装置可以由硬件或软件来实现，并集成在本发明实施例所提供的电子设备中，具体地，如图1所示，本发明实施例的自适应刚性先验模型训练方法可以包括如下步骤：
S101、初始化自适应刚性先验模型的模型参数，所述模型参数为以人脸尺寸为自变量的函数，所述自适应刚性先验模型用于输出人脸在不同人脸尺寸时各个人脸区域的权重。
在本发明实施例中，人脸可以分为多个人脸区域，人脸做表情时，人脸各个人脸区域相对于中性人脸具有一定的位移，其中，中性人脸为用户没有脸部表情时的人脸，可以为每个用户生成中性人脸。当每个人脸区域运动时会对人脸刚性变换产生影响，为了得到稳定的刚性变换，在人脸姿态估计时期望位移大的人脸区域对刚性变换具有较小的权重，位移小的人脸区域对刚性变换具有较大的权重。
本发明实施例的自适应刚性先验模型可以用于输出人脸在不同人脸尺寸时各个人脸区域的权重，该自适应刚性先验模型的模型参数是以人脸尺寸作为自变量的函数。
S102、根据所述自适应刚性先验模型对训练视频数据进行人脸跟踪获得同一人脸的多帧人脸数据。
在本发明实施例中，训练视频数据可以为某个用户的视频数据，在该视频数据所包含的用户的人脸中，有一半以上人脸是不同大小且无人脸表情的人脸，其它人脸是该用户不同大小且具有不同的人脸表情的人脸。人脸跟踪为从训练视频数据中提取同一用户的人脸关键点、建立三维人脸、对三维人脸进行刚性变换从而求解最优刚性变换和最优人脸表情的过程。
具体地，对训练视频人脸数据进行人脸跟踪时，可以提取每帧训练视频数据中人脸的人脸关键点Qf和人脸表情参数Qf，其中，人脸关键点Qf可以为人脸关键部位的二维点，可以通过预先训练好的人脸关键点检测模型来提取人脸关键点，然后根据人脸的人脸关键点可以确定出人脸的人脸尺寸，通过人脸表情参数Qf和预设形状融合变形器Bexp做乘积可以计算人脸的各个人脸区域相对于人脸的中性人脸的位移，预设形状融合变形器Bexp(Blend Shape)形状融合变形器是制作面部表情动画的工具，它能通过使用一系列的目标形状物体(Target)使基础物体得到非常平顺、高精度的变形效果，在本发明实施例中，可以为预先为各个用户设置形状融合变形器Bexp，当以某个用户的视频数据作为训练视频数据时，可以获取为该用户预先设置的形状融合变形器。
本发明实施例对训练视频进行人脸跟踪后，可以获得每帧视频数据中人脸的人脸尺寸，并对刚性变换和人脸表情参数求最优解获得各个人脸区域相对于中性人脸的位移作为人脸数据。
S103、根据所述多帧人脸数据对所述模型参数进行更新。
在本发明实施例中，人脸数据包含人脸尺寸大小和人脸的各个人脸区域相对于中性人脸的位移，可以按照人脸尺寸将从训练视频数据中提取到的不同尺寸大小的人脸划分到多个人脸容器中，针对每个人脸容器中的人脸，计算该人脸容器中人脸的人脸尺寸的均值，进一步对该人脸容器中人脸的各个人脸区域的位移分析，获得人脸尺寸为均值时自适应刚性先验模型的模型参数的型值点，最后对不同均值对应的模型参数的型值点进行插值处理，获得模型参数关于人脸尺寸的函数以作为自适应刚性先验模型的新的模型参数，即模型参数为样条曲线，该样条曲线以人脸尺寸为自变量，模型参数为因变量。
S104、判断是否达到停止更新所述模型参数的条件。
在本发明实施例中，停止更新模型参数的条件可以是相邻两次更新得到的模型参数的差值小于预设阈值，还可以是对模型参数的更新次数达到预设次数，当相邻两次更新得到的模型参数的差值小于预设阈值，或者是对模型参数的更新次数达到预设次数，执行S105，否则，返回S102根据更新模型参数后的自适应刚性先验模型对训练视频数据进行人脸跟踪获得同一人脸的多帧人脸数据，通过人脸数据来重新更新模型参数。
S105、停止更新所述自适应刚性先验模型的模型参数得到最终的自适应刚性先验模型。
当达到停止更新模型参数的条件时，最后一次更新模型参数后的自适应刚性先验模型即为训练好的模型，该训练好的自适应刚性先验模型可以部署在客户端或者服务器等，并且自适应刚性先验模型应用于人脸跟踪的过程中，自适应刚性先验模型能够根据实时人脸的人脸尺寸和人脸各个人脸区域的位移对不同的人脸区域赋予不同的权重。
本发明实施例的自适应刚性先验模型的模型参数为以人脸尺寸为自变量的函数，该自适应刚性先验模型用于输出人脸在不同人脸尺寸时各个人脸区域的权重；在初始化模型参数后，根据自适应刚性先验模型对训练视频数据进行人脸跟踪获得同一人脸的多帧人脸数据，并根据多帧人脸数据对模型参数进行更新，在达到停止更新模型参数的条件时，停止更新自适应刚性先验模型的模型参数得到最终的自适应刚性先验模型。训练好的自适应刚性先验模型应用于人脸跟踪的过程中，自适应刚性先验模型能够根据实时人脸的人脸尺寸和人脸各个人脸区域的位移对不同的人脸区域赋予不同的权重，使得人脸跟踪的刚性稳定化高，获得更鲁棒的人脸跟踪结果。
实施例二
图2A为本发明实施例二提供的一种自适应刚性先验模型训练方法的步骤流程图，本发明实施例在前述实施例一的基础上进行优化，具体地，如图2A所示，本发明实施例的自适应刚性先验模型训练方法可以包括如下步骤：
S201、初始化自适应刚性先验模型的模型参数，所述模型参数为以人脸尺寸为自变量的函数，所述自适应刚性先验模型用于输出人脸在不同人脸尺寸时各个人脸区域的权重。
在本发明实施例中，自适应刚性先验模型可以定义如下：
Figure SMS_1
其中，s为人脸的人脸尺寸，
Figure SMS_2
是人脸中第k个人脸区域在人脸尺寸为s时的权重，αk(s)，βk(s)，γk(s)为模型参数，αk(s)，βk(s)，γk(s)是关于二维人脸尺寸s的函数，dk为第k个人脸区域的位移。
如图2B所示为人脸的各个人脸区域的划分示意图，本发明实施例中将人脸划分为7个区域，即k为1-7的自然数，初始化自适应刚性先验模型的模型参数可以为初始化人脸的各个人脸区域在所有人脸尺寸时的权重均为1。
S202、对所述训练视频数据进行人脸跟踪以提取每帧训练视频数据中人脸的人脸关键点和人脸表情参数。
在本发明实施例中，对于训练视频数据F包含的每帧训练视频数据f，每帧训练视频数据f中人脸由以下参数决定：
(Pf,δf,Qf)
其中，Pf是人脸的刚性变换参数，δf是用户的人脸表情参数，Qf是人脸关键点。
其中，刚性变换参数Pf和人脸表情参数δf为未知参数，Qf是人脸关键点为已知参数，可以通过人脸跟踪过程中人脸关键点检测获得。
S203、根据所述人脸关键点确定所述人脸的人脸尺寸。
在获得人脸关键点后，可以通过人脸关键点确定一人脸框，计算人脸框的对角线的长度作为每帧视频数据f中人脸的人脸尺寸。
S204、采用所述自适应刚性先验模型、所述人脸表情参数和预设形状融合变形器计算所述人脸的各个人脸区域相对于所述人脸的中性人脸的位移。
在本发明的可选实施例中，可以采用中性人脸、人脸表情参数和预设形状融合变形器构建三维人脸，对该三维人脸做刚性变换，采用刚性变换、人脸关键点和自适应刚性先验模型计算的权重构建刚性变换优化问题，在对刚性变换优化问题求解得到最优刚性变换参数后，采用该最优刚性变换求解最优人脸表情参数，采用该最优人脸表情参数来求解人脸各个人脸区域的位移。
具体地，在本发明实施例中，每个人脸表情参数确定出一个三维人脸：
Ff＝Buser+Bexpδf
Buser是用户的不带表情的中性人脸，对于每个用户，可以预先获取该用户无人脸表情时的人脸即为中性人脸，Bexp是该用户的形状融合变形器(Blend Shape)，则视频数据f中人脸的人脸位移Bexpδf，即三维人脸由用户的中性人脸增加各种表情动作后所获得。
在人脸跟踪过程中，可以通过求解下列最优化问题获得最优解：
Figure SMS_3
Pf(·)是对三维人脸Ff做刚性变换，Π(·)是对三维人脸做二维投影(正交投影或透视投影)。上述优化问题可以采用坐标下降法(Coordinate Descent)进行求解
Figure SMS_4
Figure SMS_5
公式(2)即为刚性变换问题，
Figure SMS_6
为训练视频数据f中人脸的人脸关键点i所属的人脸区域k的权重。其中j为迭代次数。对给定的初始值δf,0＝δf-1，迭代求解上述最优化问题直到收敛可以获得最优的人脸表情参数δf为最后一轮迭代的表情，由此可以计算视频数据f中人脸的人脸位移Bexpδf，进一步可以根据图2B所示的人脸区域划分确定各个人脸区域的相对于中性人脸的位移。
S205、按照所述人脸尺寸将所述人脸划分到多个人脸容器中。
本发明实施例在对训练视频数据进行人脸跟踪后，从每帧视频数据f∈F提取如下人脸数据：
Figure SMS_7
sf为视频数据f中人脸的人脸尺寸，
Figure SMS_8
为视频数据f中人脸的第k个人脸区域相对于中性人脸的位移。
在本发明的可选实施例中，可以对人脸对所有人脸尺寸{sf}f∈F做直方图分析，把从每个视频数据f中提取到的人脸分类到n个人脸容器Ci中。具体地，可以从先确定出最大人脸尺寸和最小人脸尺寸，将最大人脸尺寸和最小人脸尺寸之间的尺寸范围平均分为多个尺寸范围作为人脸容器的人脸尺寸范围，确定人脸的人脸尺寸所在的目标人脸尺寸范围，将人脸划分到目标人脸尺寸范围所属的人脸容器中。
示例性地，可以按照以下公式将人脸分类到n个人脸容器：
Figure SMS_9
其中，smin＝minf∈F{sf},为最小人脸尺寸，smax＝maxf∈F{sf}为最大人脸尺寸。
人脸容器中人脸尺寸的中心值si为：
Figure SMS_10
如果人脸容器Ci中的人脸少于给定的阈值，比如人脸容器Ci中人脸的数量少用10000个，则丢弃该人脸容器，在对人脸尺寸做直方图分析后，满足：
Figure SMS_11
即总的人脸F为各个人脸容器Ci所包含的人脸Fi的并集，任意两个人脸容器Ci和Cj中所包含的人脸Fi和人脸Fj的交集为空。
S206、针对每个人脸容器中的人脸，计算所述人脸的人脸尺寸的均值。
具体地，对于每个人脸容器Ci中的人脸，计算
Figure SMS_12
即计算人脸容器Ci中所有人脸的人脸尺寸的均值si。
S207、对所述人脸容器中所述人脸的各个人脸区域的位移分析，获得人脸尺寸为所述均值时所述自适应刚性先验模型的模型参数的型值点。
在本发明的可选实施例中，S207可以包括如下子步骤：
S2071、针对所述人脸容器中所述人脸的每个人脸区域，从人脸的人脸图像数据中确定出人脸区域的最大位移。
对于人脸容器Ci中的多个人脸，每个人脸均包括多个人脸区域，对于每个人脸区域k，可以确定出该人脸区域k的最大位移：
Figure SMS_13
上述公式中，Fi为人脸容器Ci中的人脸，
Figure SMS_14
为人脸容器Ci中人脸区域k的最大位移。
S2072、将所述人脸区域的位移划分到多个位移容器中。
在本发明实施例中，对于每个人脸区域，可以对该人脸区域的位移做直方图分析，将该人脸区域的位移划分到m个位移容器中，具体划分方式可参考S205中对人脸尺寸做直方图分析。
S2073、从多个位移容器中确定出包含最多位移的最大位移容器。
具体地，可以统计每个位移容器中所包含的位移的数量，将数量最大的位移容器作为最大位移容器。
S2074、从所述最大位移容器所述包含的多个位移中确定出中间位移作为人脸尺寸为所述均值时的第一模型参数的型值点。
具体地，可以对最大位移容器中所包含的多个位移
Figure SMS_15
进行降序或者升序排序，并确定出排序在中间的位移/>
Figure SMS_16
作为人脸尺寸为均值时的第一模型参数的型值点，得到第一模型参数的一个型值点/>
Figure SMS_17
n为人脸容器的数量。
S2075、根据所述人脸区域的最大位移、中间位移、预设最大权重、预设最小权重以及所述第一模型参数的型值点计算人脸尺寸为所述均值时的第二模型参数的型值点和第三模型参数的型值点。
如图2B所示，对于本发明实施例的人脸区域的划分，可以对每个人脸区域自由设置预期的权重范围。如图2B所示的七个人脸区域。人脸区域1和人脸区域2是对称的，可以把人脸区域1和人脸区域2合并进行训练，同理把，人脸区域3和人脸区域5合并进行训练，即
Figure SMS_18
另外，人脸区域4是人脸的鼻子，通常鼻子在人物做表情时位移最小，最稳定，可以对人脸区域4赋值较大权重，同理，人脸区域3和人脸区域5包括了人脸的轮廓点，相对稳定，可以赋予大权重，人脸区域1和人脸区域2为眼部区域，人脸区域6和人脸区域7为嘴巴区域，眼部区域和嘴巴区域在用户做表情时位移比较大，较容易引起刚性变换的不稳定，可以赋予较小权重，则可以设置各个人脸区域的权重范围如下表：
Figure SMS_19
当然，在实际应用中，本领域技术人员可以按照其他方式对人脸划分人脸区域并设置相应的权重范围，本发明实施例对人脸区域划分和设置权重范围的方式不加以限制。
在本发明的可选实施例中，可以按照以下公式计算第二模型参数的型值点和第三模型参数的型值点：
Figure SMS_20
Figure SMS_21
上述公式中，
Figure SMS_22
为第二模型参数在人脸尺寸为均值时的型值点，/>
Figure SMS_23
为第三模型参数在人脸尺寸为均值时的型值点，/>
Figure SMS_24
是人脸区域k的最大权重，/>
Figure SMS_25
是人脸区域k的最小权重。
S208、对不同均值对应的模型参数的型值点进行插值处理，获得所述模型参数关于人脸尺寸的函数以作为所述自适应刚性先验模型的新的模型参数。
具体地，分别对人脸尺寸为均值时的第一模型参数的型值点、第二模型参数型值点和第三模型参数型值点进行样条插值，获得第一模型参数、第二模型参数和第三模型参数关于人脸尺寸的函数作为自适应刚性先验模型的新的模型参数，可选地，可以对不同人脸尺寸下各个模型参数的型值点进行一次样条插值，即采用直线段连接不同人脸尺寸下各个模型参数的型值点，得到各个模型参数关于人脸尺寸的函数。
即对于每个人脸容器Ci可以确定一均值si作为人脸尺寸，对于每个人脸容器Ci，可以确定人脸尺寸为si时的型值点
Figure SMS_26
则对于每个人脸容器Ci可以确定出以下型值点：
Figure SMS_27
由于有多个人脸容器Ci，可以对多个人脸容器Ci的多个型值点进行插值处理得到自适应刚性先验模型
Figure SMS_28
的模型参数αk(s)，βk(s)，γk(s)，该模型参数αk(s)，βk(s)，γk(s)是关于人脸尺寸s的函数，即以人脸尺寸s为自变量，亦即，在人脸跟踪过程中，确定人脸的人脸尺寸s后即可以确定自适应刚性先验模型/>
Figure SMS_29
的模型参数αk(s)，βk(s)，γk(s)，并通过该自适应刚性先验模型/>
Figure SMS_30
确定各个人脸区域的权重。
S209、判断是否达到停止更新所述模型参数的条件。
在本发明的可选实施例中，可以计算前后两次更新得到模型参数的差值，判断差值是否小于预设阈值，若是确定达到停止更新模型参数的条件，即计算前后两次更新的模型参数的变换是否小于预设阈值，若是说明达到停止更新条件执行S210，否则采用更新模型参数后的自适应刚性先验模型
Figure SMS_31
继续对训练视频数据进行人脸跟踪，并根据人脸跟踪获得的数据继续对模型参数进行更新。
当然，在实际应用中，也可以统计模型参数的更新次数，判断更新次数是否大于预设阈值，若是，确定达到停止更新模型参数的条件，执行S210，否则返回S202。
S210、停止更新所述自适应刚性先验模型的模型参数得到最终的自适应刚性先验模型。
当达到停止更新模型参数的条件时，最后一次更新模型参数后的自适应刚性先验模型即为训练好的模型，该训练好的自适应刚性先验模型可以部署在客户端或者服务器等，并且自适应刚性先验模型应用于人脸跟踪的过程中，自适应刚性先验模型能够根据实时人脸的人脸尺寸和人脸各个人脸区域的位移对不同的人脸区域赋予不同的权重。
为了使得本发明实施例的自适应刚性先验模型训练方法更为清楚，以下结合图2C进行实例说明：
如图2C所示，本示例的自适应刚性先验模型训练流程如下：
S0、初始化自适应刚性先验模型
Figure SMS_32
即初始化自适应刚性先验模型的模型参数，使得人脸的各个人脸区域在不同人脸尺寸时的权重均为1。
S1、对视频数据F进行人脸跟踪，提取人脸数据
Figure SMS_33
S2、对{sf}f∈F做n个容器的直方图分析；
S3、对每个容器Ci,i∈I，计算
Figure SMS_34
S4、对每个人脸区域k∈K，计算
Figure SMS_35
S5、对
Figure SMS_36
做m个容器的直方图分析；
S6、
Figure SMS_37
S7、计算
Figure SMS_38
S8、对每个人脸区域k∈K，对
Figure SMS_39
的离散点进行样条插值、
Figure SMS_40
的离散点进行样条插值、/>
Figure SMS_41
的离散点进行样条插值；
S9、更新
Figure SMS_42
S10、是否停止训练，若是，执行S11，若否执行S12；
S11、输出模型参数；
S12、采用更新后的
Figure SMS_43
进行人脸跟踪。
上述示例中公式的各个参数可参考S205-S208，在此不再详述。
本发明实施例初始化自适应刚性先验模型的模型参数后，对所述训练视频数据进行人脸跟踪以提取每帧训练视频数据中人脸的人脸关键点和人脸表情参数，根据人脸关键点确定人脸的人脸尺寸，并采用自适应刚性先验模型、人脸表情参数和预设形状融合变形器计算人脸的各个人脸区域相对于人脸的中性人脸的位移，进一步按照人脸尺寸将所述人脸划分到多个人脸容器中，并计算每个人脸容器中人脸的人脸尺寸的均值，对人脸容器中人脸的各个人脸区域的位移分析，获得人脸尺寸为均值时自适应刚性先验模型的模型参数的型值点，对不同均值对应的模型参数的型值点进行插值处理，获得模型参数关于人脸尺寸的函数以作为自适应刚性先验模型的新的模型参数，在达到停止更新条件时停止更新模型参数，否则对训练视频数据进行人脸跟踪继续更新模型参数。在训练好的自适应刚性先验模型应用于人脸跟踪的过程中，自适应刚性先验模型能够根据实时人脸的人脸尺寸和人脸各个人脸区域的位移对不同的人脸区域赋予不同的权重，使得人脸跟踪的刚性稳定化高，获得更鲁棒的人脸跟踪结果。
进一步地，自适应刚性先验模型是分段函数，可以防止因为人脸区域位移过小而导致权重过大的问题，进一步保证了人脸跟踪的稳定性。
实施例三
图3为本发明实施例三提供的一种自适应刚性先验模型训练方法的步骤流程图，本发明实施例可适用于对视频中的人脸进行跟踪的情况，该方法可以由本发明实施例的人脸跟踪装置来执行，该人脸跟踪装置可以由硬件或软件来实现，并集成在本发明实施例所提供的电子设备中，具体地，如图1所示，本发明实施例的人脸跟踪方法可以包括如下步骤：
S301、对视频数据进行人脸跟踪以提取每帧视频数据中人脸的人脸关键点、初始人脸表情参数和初始刚性变换参数。
具体地，对于需要进行人脸跟踪的视频数据，可以对该视频数据进行人脸跟踪，获得每帧视频数据f中的人脸：
(Pf,δf,Qf)
其中，Pf是人脸的刚性变换参数，δf是用户的人脸表情参数，Qf是人脸关键点。
其中，刚性变换参数Pf和人脸表情参数δf为未知参数，Qf是人脸关键点为已知参数，可以通过人脸跟踪过程中人脸关键点检测获得，本发明实施例对人脸跟踪最终为求解人脸表情参数δf的最优解。
S302、根据所述人脸关键点确定每帧视频数据中所述人脸的人脸尺寸。
在获得人脸关键点后，可以通过人脸关键点确定一人脸框，计算人脸框的对角线的长度作为每帧视频数据f中人脸的人脸尺寸。
S303、将所述人脸尺寸输入预先训练的自适应刚性先验模型中获得所述人脸各个人脸区域的权重。
在本发明实施例中，自适应刚性先验模型用于输出人脸各个人脸区域在不同人脸尺寸时的权重，该自适应刚性先验模型可通过实施例一或实施例二所提供的自适应刚性先验模型训练方法所训练。
具体地，自适应刚性先验模型如实施例二中的公式(1)所示。
S304、根据所述权重和所述人脸关键点对所述初始刚性变换参数和所述初始人脸表情参数进行求解获得人脸表情参数的最优解作为每帧视频数据的人脸跟踪的结果。
具体地，可以获取人脸的中性人脸数据，采用中性人脸数据、初始人脸表情参数和预设形状融合变形器生成每帧视频数据中人脸的三维人脸模型，基于初始刚性变换参数对三维人脸模型做二维投影获得二维人脸数据，二维人脸数据包含多个投影二维关键点，计算投影二维关键点和所提取的人脸关键点的距离，采用距离和二维关键点所在的人脸区域的权重构建刚性变换问题，并对刚性变换问题求最优解得到最终的刚性变换参数，在刚性变换参数最优时求解人脸表情参数的最优解得到最终的人脸表情参数作为每帧视频数据的人脸跟踪结果。
参考实施例二中S204，构建三维人脸后，通过自适应刚性变换模型计算权重wki，进一步构建公式(2)和公式(3)中的最优解问题，依次对公式(2)和公式(3)求最优解，最终得到最优的人脸表情参数δf，具体可参考实施例二，在此不再详述。
在对人脸跟踪获得人脸表情参数δf后，通过该人脸表情参数δf可以实现各种人脸视觉增强特效，例如，如对人脸添加帽子、眼镜，胡子、纹身等。
本发明实施例通过自适应刚性先验模型中获得人脸各个人脸区域的权重，通过该权重构建刚性变换后来求解人脸表情参数的最优解作为人脸跟踪结果，由于本发明实施例自适应刚性先验模型能够根据实时人脸的人脸尺寸和人脸各个人脸区域的位移对不同的人脸区域赋予不同的权重，使得人脸跟踪的刚性稳定化高，获得更鲁棒的人脸跟踪结果。
实施例四
图4是本发明实施例四提供的一种自适应刚性先验模型训练装置的结构框图，如图4所示，本发明实施例的自适应刚性先验模型训练装置具体可以包括如下模块：
模型参数初始模块401，用于初始化自适应刚性先验模型的模型参数，所述模型参数为以人脸尺寸为自变量的函数，所述自适应刚性先验模型用于输出人脸在不同人脸尺寸时各个人脸区域的权重；
人脸数据获取模块402，用于根据所述自适应刚性先验模型对训练视频数据进行人脸跟踪获得同一人脸的多帧人脸数据；
模型参数更新模块403，用于根据所述多帧人脸数据对所述模型参数进行更新；
停止训练条件判断模块404，用于判断是否达到停止更新所述模型参数的条件；
模型参数停止更新模块405，用于停止更新所述自适应刚性先验模型的模型参数得到最终的自适应刚性先验模型。
本发明实施例所提供的自适应刚性先验模型训练装置可执行本发明实施例一、实施例二所提供的自适应刚性先验模型训练方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5是本发明实施例五提供的一种人脸跟踪装置的结构框图，如图5所示，本发明实施例的人脸跟踪装置具体可以包括如下模块：
人脸跟踪模块501，用于对视频数据进行人脸跟踪以提取每帧视频数据中人脸的人脸关键点、初始人脸表情参数和初始刚性变换参数；
人脸尺寸确定模块502，用于根据所述人脸关键点确定每帧视频数据中所述人脸的人脸尺寸；
权重预测模块503，用于将所述人脸尺寸输入预先训练的自适应刚性先验模型中获得所述人脸各个人脸区域的权重；
优化模块504，用于根据所述权重和所述人脸关键点对所述初始刚性变换参数和所述初始人脸表情参数进行求解获得人脸表情参数的最优解作为每帧视频数据的人脸跟踪的结果；
其中，所述自适应刚性先验模型通过本发明实施例所述的自适应刚性先验模型训练方法所训练。
本发明实施例所提供的人脸跟踪装置可执行本发明实施例三所提供的人脸跟踪方法，具备执行方法相应的功能模块和有益效果。
实施例六
参照图6，示出了本发明一个示例中的一种电子设备的结构示意图。如图6所示，该电子设备具体可以包括：处理器601、存储装置602、具有触摸功能的显示屏603、输入装置604、输出装置605以及通信装置606。该电子设备中处理器601的数量可以是一个或者多个，图6中以一个处理器601为例。该电子设备的处理器601、存储装置602、显示屏603、输入装置604、输出装置605以及通信装置606可以通过总线或者其他方式连接，图6中以通过总线连接为例。所述电子设备用于执行如本发明任一实施例提供的自适应刚性先验模型训练方法和/或人脸跟踪方法。
本发明实施例还提供一种计算机可读存储介质，所述存储介质中的指令由设备的处理器执行时，使得设备能够执行如上述方法实施例所述的自适应刚性先验模型训练方法和/或人脸跟踪方法。
需要说明的是，对于装置、电子设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变换、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种自适应刚性先验模型训练方法，其特征在于，包括：
初始化自适应刚性先验模型的模型参数，所述模型参数为以人脸尺寸为自变量的函数，所述自适应刚性先验模型用于输出人脸在不同人脸尺寸时各个人脸区域的权重；
根据所述自适应刚性先验模型对训练视频数据进行人脸跟踪获得同一人脸的多帧人脸数据；
根据所述多帧人脸数据对所述模型参数进行更新；
判断是否达到停止更新所述模型参数的条件；
若是，停止更新所述自适应刚性先验模型的模型参数得到最终的自适应刚性先验模型；
若否，返回基于所述自适应刚性先验模型对训练视频数据进行人脸跟踪获得同一人脸的多帧人脸数据的步骤；
所述自适应刚性先验模型为：
Figure FDA0004222544060000011
其中，s为人脸的人脸尺寸，
Figure FDA0004222544060000012
是人脸中第k个人脸区域在人脸尺寸为s时的权重，αk(s)，βk(s)，γk(s)为模型参数，αk(s)，βk(s)，γk(s)是关于二维人脸尺寸s的函数，dk为第k个人脸区域的位移。
2.根据权利要求1所述的方法，其特征在于，所述根据所述自适应刚性先验模型对训练视频数据进行人脸跟踪获得同一人脸的多帧人脸数据，包括：
对所述训练视频数据进行人脸跟踪以提取每帧训练视频数据中人脸的人脸关键点和人脸表情参数；
根据所述人脸关键点确定所述人脸的人脸尺寸；
采用所述自适应刚性先验模型、所述人脸表情参数和预设形状融合变形器计算所述人脸的各个人脸区域相对于所述人脸的中性人脸的位移。
3.根据权利要求1或2所述的方法，其特征在于，所述人脸数据包括人脸的人脸尺寸和所述人脸的各个人脸区域的位移，所述根据所述多帧人脸数据对所述模型参数进行更新，包括：
按照所述人脸尺寸将所述人脸划分到多个人脸容器中；
针对每个人脸容器中的人脸，计算所述人脸的人脸尺寸的均值；
对所述人脸容器中所述人脸的各个人脸区域的位移分析，获得人脸尺寸为所述均值时所述自适应刚性先验模型的模型参数的型值点；
对不同均值对应的模型参数的型值点进行插值处理，获得所述模型参数关于人脸尺寸的函数以作为所述自适应刚性先验模型的新的模型参数。
4.根据权利要求3所述的方法，其特征在于，所述按照所述人脸尺寸将人脸图像数据对应的人脸划分到多个人脸容器中，包括：
从所述人脸图像数据中确定出最大人脸尺寸和最小人脸尺寸；
将所述最大人脸尺寸和最小人脸尺寸之间的尺寸范围平均分为多个尺寸范围作为人脸容器的人脸尺寸范围；
确定所述人脸的人脸尺寸所在的目标人脸尺寸范围；
将所述人脸划分到所述目标人脸尺寸范围所属的人脸容器中。
5.根据权利要求3所述的方法，其特征在于，所述对所述人脸容器中所述人脸的各个人脸区域的位移分析，获得人脸尺寸为所述均值时所述自适应刚性先验模型的模型参数的型值点，包括：
针对所述人脸容器中所述人脸的每个人脸区域，从所述人脸的人脸图像数据中确定出所述人脸区域的最大位移；
将所述人脸区域的位移划分到多个位移容器中；
从多个位移容器中确定出包含最多位移的最大位移容器；
从所述最大位移容器包含的多个位移中确定出中间位移作为人脸尺寸为所述均值时的第一模型参数的型值点；
根据所述人脸区域的最大位移、中间位移、预设最大权重、预设最小权重以及所述第一模型参数的型值点计算人脸尺寸为所述均值时的第二模型参数的型值点和第三模型参数的型值点。
6.根据权利要求5所述的方法，其特征在于，所述对不同均值对应的模型参数的型值点进行插值处理，获得所述模型参数关于人脸尺寸的函数以作为所述自适应刚性先验模型的新的模型参数，包括：
分别对人脸尺寸为所述均值时的第一模型参数的型值点、第二模型参数型值点和第三模型参数型值点进行样条插值，获得所述第一模型参数、第二模型参数和所述第三模型参数关于人脸尺寸的函数作为所述自适应刚性先验模型的新的模型参数。
7.根据权利要求1所述的方法，其特征在于，所述判断是否达到停止更新所述模型参数的条件，包括：
计算前后两次更新得到模型参数的差值；
判断所述差值是否小于预设阈值；
若是，确定达到停止更新所述模型参数的条件。
8.根据权利要求1所述的方法，其特征在于，所述判断是否达到停止更新所述模型参数的条件，包括：
统计所述模型参数的更新次数；
判断所述更新次数是否大于预设阈值；
若是，确定达到停止更新所述模型参数的条件。
9.一种人脸跟踪方法，其特征在于，包括：
对视频数据进行人脸跟踪以提取每帧视频数据中人脸的人脸关键点、初始人脸表情参数和初始刚性变换参数；
根据所述人脸关键点确定每帧视频数据中所述人脸的人脸尺寸；
将所述人脸尺寸输入预先训练的自适应刚性先验模型中获得所述人脸各个人脸区域的权重；
根据所述权重和所述人脸关键点对所述初始刚性变换参数和所述初始人脸表情参数进行求解获得人脸表情参数的最优解作为每帧视频数据的人脸跟踪的结果；
其中，所述自适应刚性先验模型通过权利要求1-8任一项所述的自适应刚性先验模型训练方法所训练。
10.根据权利要求9所述的方法，其特征在于，所述根据所述权重和所述人脸关键点对所述初始刚性变换参数和所述初始人脸表情参数进行求解获得人脸表情参数的最优解作为每帧视频数据的人脸跟踪的结果，包括：
获取所述人脸的中性人脸数据；
采用所述中性人脸数据、所述初始人脸表情参数和预设形状融合变形器生成每帧视频数据中人脸的三维人脸模型；
基于所述初始刚性变换参数对所述三维人脸模型做二维投影获得二维人脸数据，所述二维人脸数据包含多个投影二维关键点；
计算所述投影二维关键点和所提取的二维关键点的距离；
采用所述距离和所述二维关键点所在的人脸区域的权重构建刚性变换问题；
对所述刚性变换问题求最优解得到最终的刚性变换参数；
在所述刚性变换参数最优时求解所述人脸表情参数的最优解得到最终的人脸表情参数作为每帧视频数据的人脸跟踪结果。
11.一种自适应刚性先验模型训练装置，其特征在于，包括：
模型参数初始模块，用于初始化自适应刚性先验模型的模型参数，所述模型参数为以人脸尺寸为自变量的函数，所述自适应刚性先验模型用于输出人脸在不同人脸尺寸时各个人脸区域的权重；
人脸数据获取模块，用于根据所述自适应刚性先验模型对训练视频数据进行人脸跟踪获得同一人脸的多帧人脸数据；
模型参数更新模块，用于根据所述多帧人脸数据对所述模型参数进行更新；
停止训练条件判断模块，用于判断是否达到停止更新所述模型参数的条件；
模型参数停止更新模块，用于停止更新所述自适应刚性先验模型的模型参数得到最终的自适应刚性先验模型；
所述自适应刚性先验模型为：
Figure FDA0004222544060000051
其中，s为人脸的人脸尺寸，
Figure FDA0004222544060000052
是人脸中第k个人脸区域在人脸尺寸为s时的权重，αk(s)，βk(s)，γk(s)为模型参数，αk(s)，βk(s)，γk(s)是关于二维人脸尺寸s的函数，dk为第k个人脸区域的位移。
12.一种人脸跟踪装置，其特征在于，包括：
人脸跟踪模块，用于对视频数据进行人脸跟踪以提取每帧视频数据中人脸的人脸关键点、初始人脸表情参数和初始刚性变换参数；
人脸尺寸确定模块，用于根据所述人脸关键点确定每帧视频数据中所述人脸的人脸尺寸；
权重预测模块，用于将所述人脸尺寸输入预先训练的自适应刚性先验模型中获得所述人脸各个人脸区域的权重；
优化模块，用于根据所述权重和所述人脸关键点对所述初始刚性变换参数和所述初始人脸表情参数进行求解获得人脸表情参数的最优解作为每帧视频数据的人脸跟踪的结果；
其中，所述自适应刚性先验模型通过权利要求1-8任一项所述的自适应刚性先验模型训练方法所训练。
13.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一项所述的自适应刚性先验模型训练方法或权利要求9-10任一项所述的人脸跟踪方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一项所述的自适应刚性先验模型训练方法或权利要求9-10任一项所述的人脸跟踪方法。
CN202010355935.7A 2020-04-29 2020-04-29 自适应刚性先验模型训练方法、人脸跟踪方法及相关装置 Active CN111507304B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010355935.7A CN111507304B (zh) 2020-04-29 2020-04-29 自适应刚性先验模型训练方法、人脸跟踪方法及相关装置
US17/997,107 US20230177702A1 (en) 2020-04-29 2021-04-15 Method for training adaptive rigid prior model, and method for tracking faces, electronic device, and storage medium
EP21796709.0A EP4145342A4 (en) 2020-04-29 2021-04-15 LEARNING METHOD AND TRAINING APPARATUS FOR ADAPTIVE RIGID PRIOR MODEL AND FACE TRACKING METHOD AND TRACKING APPARATUS
PCT/CN2021/087576 WO2021218650A1 (zh) 2020-04-29 2021-04-15 自适应刚性先验模型训练方法、人脸跟踪方法、训练装置、及跟踪装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010355935.7A CN111507304B (zh) 2020-04-29 2020-04-29 自适应刚性先验模型训练方法、人脸跟踪方法及相关装置

Publications (2)

Publication Number Publication Date
CN111507304A CN111507304A (zh) 2020-08-07
CN111507304B true CN111507304B (zh) 2023-06-27

Family

ID=71874880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010355935.7A Active CN111507304B (zh) 2020-04-29 2020-04-29 自适应刚性先验模型训练方法、人脸跟踪方法及相关装置

Country Status (4)

Country Link
US (1) US20230177702A1 (zh)
EP (1) EP4145342A4 (zh)
CN (1) CN111507304B (zh)
WO (1) WO2021218650A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507304B (zh) * 2020-04-29 2023-06-27 广州市百果园信息技术有限公司 自适应刚性先验模型训练方法、人脸跟踪方法及相关装置
CN114925116A (zh) * 2022-06-01 2022-08-19 中国西安卫星测控中心 一种航天器遥测数据预测方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070071288A1 (en) * 2005-09-29 2007-03-29 Quen-Zong Wu Facial features based human face recognition method
JP4655235B2 (ja) * 2008-03-14 2011-03-23 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5127686B2 (ja) * 2008-12-11 2013-01-23 キヤノン株式会社 画像処理装置および画像処理方法、ならびに、撮像装置
CN102479388A (zh) * 2010-11-22 2012-05-30 北京盛开互动科技有限公司 基于人脸跟踪和分析的表情互动方法
CN103150561A (zh) * 2013-03-19 2013-06-12 华为技术有限公司 人脸识别方法和设备
CN103310204B (zh) * 2013-06-28 2016-08-10 中国科学院自动化研究所 基于增量主成分分析的特征与模型互匹配人脸跟踪方法
KR20150099129A (ko) * 2014-02-21 2015-08-31 한국전자통신연구원 국소 특징 기반 적응형 결정 트리를 이용한 얼굴 표정 인식 방법 및 장치
CN107341784A (zh) * 2016-04-29 2017-11-10 掌赢信息科技（上海）有限公司 一种表情迁移方法及电子设备
CN110096925B (zh) * 2018-01-30 2021-05-14 普天信息技术有限公司 人脸表情图像的增强方法、获取方法和装置
CN108647668A (zh) * 2018-05-21 2018-10-12 北京亮亮视野科技有限公司 多尺度轻量级人脸检测模型的构建方法及基于该模型的人脸检测方法
CN109508678B (zh) * 2018-11-16 2021-03-30 广州市百果园信息技术有限公司 人脸检测模型的训练方法、人脸关键点的检测方法和装置
CN110135361A (zh) * 2019-05-19 2019-08-16 北京深醒科技有限公司 一种基于红外摄像头下的多姿态人脸识别方法
CN111507304B (zh) * 2020-04-29 2023-06-27 广州市百果园信息技术有限公司 自适应刚性先验模型训练方法、人脸跟踪方法及相关装置

Also Published As

Publication number Publication date
EP4145342A1 (en) 2023-03-08
EP4145342A4 (en) 2023-11-01
US20230177702A1 (en) 2023-06-08
WO2021218650A1 (zh) 2021-11-04
CN111507304A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
US11170558B2 (en) Automatic rigging of three dimensional characters for animation
EP2880633B1 (en) Animating objects using the human body
CN107452049B (zh) 一种三维头部建模方法及装置
US11244506B2 (en) Tracking rigged polygon-mesh models of articulated objects
US11282257B2 (en) Pose selection and animation of characters using video data and training techniques
CN111507304B (zh) 自适应刚性先验模型训练方法、人脸跟踪方法及相关装置
CN109711304A (zh) 一种人脸特征点定位方法及装置
KR102264803B1 (ko) 이미지에서 캐릭터를 추출하여 캐릭터 애니메이션을 생성하는 방법 및 이를 이용한 장치
CN109659006B (zh) 面肌训练方法、装置及电子设备
KR20230015430A (ko) 얼굴 정보를 처리하기 위한 방법 및 장치, 전자 디바이스 및 저장 매체
CN112712044B (zh) 人脸追踪方法、装置、电子设备和存储介质
CN117237542B (zh) 基于文本的三维人体模型生成方法和装置
CN112562043B (zh) 图像处理方法、装置和电子设备
US11361467B2 (en) Pose selection and animation of characters using video data and training techniques
CN116543417A (zh) 人体姿态估计方法、装置、设备以及存储介质
CN110717373B (zh) 图像模拟方法、电子设备和计算机可读存储介质
Han et al. 3D human model reconstruction from sparse uncalibrated views
Sung et al. Optimization of material properties for coherent behavior across multi-resolution cloth models
CN116206035B (zh) 人脸重建方法、装置、电子设备以及存储介质
CN116228939B (zh) 数字人驱动方法、装置、电子设备及存储介质
CN113012281B (zh) 人体模型的确定方法、装置、电子设备及存储介质
CN117541690A (zh) 数字人的表情迁移方法、装置、电子设备及存储介质
CN116030514A (zh) 一种上下文感知的情绪识别方法、系统、介质及设备
CN115620336A (zh) 面向手物交互场景的位姿估计方法和装置
CN118628709A (zh) 识别图像中包围盒的方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231008

Address after: 31a, 15 / F, building 30, maple mall, bangrang Road, Brazil, Singapore

Patentee after: Baiguoyuan Technology (Singapore) Co.,Ltd.

Address before: 5-13 / F, West Tower, building C, 274 Xingtai Road, Shiqiao street, Panyu District, Guangzhou, Guangdong 510000

Patentee before: GUANGZHOU BAIGUOYUAN INFORMATION TECHNOLOGY Co.,Ltd.