CN107679497A - 视频面部贴图特效处理方法及生成系统 - Google Patents

视频面部贴图特效处理方法及生成系统 Download PDF

Info

Publication number
CN107679497A
CN107679497A CN201710941471.6A CN201710941471A CN107679497A CN 107679497 A CN107679497 A CN 107679497A CN 201710941471 A CN201710941471 A CN 201710941471A CN 107679497 A CN107679497 A CN 107679497A
Authority
CN
China
Prior art keywords
video
face
image
facial feature
chartlet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710941471.6A
Other languages
English (en)
Other versions
CN107679497B (zh
Inventor
王庆祥
韩萌萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Xinrui Information Technology Co ltd
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN201710941471.6A priority Critical patent/CN107679497B/zh
Publication of CN107679497A publication Critical patent/CN107679497A/zh
Application granted granted Critical
Publication of CN107679497B publication Critical patent/CN107679497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频面部贴图特效处理方法及生成系统，属于视频特效领域，要解决的技术问题为如何实现用户自行编辑贴图效果、调整贴图位置及尺寸；其方法包括如下步骤：对视频中人脸进行特征定位，获取人脸的面部特征点；将选取的图像导入视频中人脸上作为贴图，贴图包括贴图图像和贴图控制点，通过贴图控制点和与其对应的人脸的面部特征点计算贴图控制点的位置参数，通过贴图控制点的位置参数对贴图图像进行变换处理，贴图控制点的位置参数能够标识贴图图像与视频中人脸的指定贴图区域之间的相对位置关系；将变换处理后的贴图叠加至视频中人脸的指定贴图区域。其结构包括显示模块、功能模块和提示模块。用户可自行编辑贴图的效果、位置和尺寸。

Description

视频面部贴图特效处理方法及生成系统
技术领域
本发明涉及视频特效领域，具体地说是一种视频面部贴图特效处理方法及生成系统。
背景技术
随着信息的膨胀和同质化，人们希望在视频中能体现个性化的特色，以更快的获得认同，同时满足内心体验，传达自身的情感。例如在视频的人脸面部上快速叠加贴图特效并保持在面部的相对位置。由于视频处理的复杂性，若使用通用的视频后处理软件进行处理，其操作难度较大，且需要专业的知识和大量的人工操作，并不适合普通家庭用户使用。
目前已有的应用主要是将一些预定义的美颜效果或者动态特效加入到个人视频中，使用者可以从给定的特效中进行选择，选择好后特效即按预先设定的位置加入到视频人脸上，一般不支持自行添加、编辑效果或修改变形位置等，通常效果也不会跟随光线明暗产生变化。
如何提供一种视频面部特效处理方法，支持用户自行编辑贴图效果、调整贴图位置及尺寸，是需要解决的技术问题。
发明内容
本发明的技术任务是针对以上不足，提供一种视频面部贴图特效处理方法及生成系统，来解决如何实现用户自行编辑贴图效果、调整贴图位置及尺寸的问题。
本发明的技术任务是按以下方式实现的：
视频面部贴图特效处理方法，将任意图像作为贴图附于输入的视频中人脸的任意位置上，且贴图在视频中保持与人脸的指定贴图区域相对位置的固定，包括如下步骤：
S1、对视频中人脸进行特征定位，获取人脸的面部特征点；
S2、将选取的图像导入视频中人脸上作为贴图，贴图包括贴图图像和贴图控制点，通过贴图控制点和与其对应的人脸的面部特征点计算贴图控制点的位置参数，通过贴图控制点的位置参数对贴图图像进行变换处理，贴图控制点的位置参数能够标识贴图图像与视频中人脸的指定贴图区域之间的相对位置关系；
S3、将变换处理后的贴图叠加至视频中人脸的指定贴图区域。
进一步的，步骤S1包括如下步骤：
S11、通过人脸检测方法对视频进行人脸检测，如果确定视频中存在人脸，则返回人脸在视频图像中的位置和范围，视频包括摄像头实时输入的视频和录制好的视频；
S12、通过面部特征定位法对视频中人脸进行面部特征点定位，并保存每个面部特征点的编号及坐标，生成面部特征点点集。
进一步的，步骤S2包括如下步骤：
S21、导入贴图：选取一个图像导入视频中人脸上，该图像为贴图图像，获取围成贴图图像的贴图控制点，并记载贴图控制点在当前帧视频图像中人脸上的坐标；
S22、计算每个贴图控制点的位置参数：在上述定位的面部特征点中选取多个面部特征点，上述选取的多个面部特征点为在当前帧视频图像中人脸上与贴图控制点所在像素点接近的面部特征点，且上述选取的多个面部特征点不共线，通过上述选取的多个面部特征点在人脸上的位置以及相互之间的相对比例关系计算贴图控制点的位置参数，通过贴图控制点的位置参数能够计算贴图控制点在每一帧视频图像中人脸上的坐标；
S23、在每一帧视频图像中，通过贴图控制点的坐标对贴图图像进行透视变换。
进一步的，步骤S22包括如下分步骤：
S221、在上述定位的人脸的面部特征点中选取三个面部特征点Pi、Pj和Pk，上述三个面部特征点为在当前帧视频图像中人脸上与贴图控制点所在的像素点接近的三个面部特征点，三个面部特征点的编号分别为n1、n2和n3，面部特征点Pi的坐标为(Pi.x,Pi.y)，面部特征点Pj的坐标为((Pj.x,Pj.y)，面部特征点Pk的坐标为((Pk.x,Pk.y)；
S222、判断上述三个面部特征点是否共线，如果上述三个面部特征点共线，替换其中的一个面部特征点，如果上述三个面部特征点不共线，通过分段线性仿射计算上述三个面部特征点的仿射参数α和β,
其中，(P.x,P.y)为贴图控制点在当前视频帧中人脸上的坐标；
S223、通过上述三个面部特征点的编号以及仿射参数组成对应的贴图控制点的位置参数，贴图控制点的位置参数为(n1,n2,n3,α,β)；
S224、通过贴图控制点的位置参数计算与其对应的贴图控制点在每帧视频图像中人脸上的坐标。
进一步的，步骤S23中，通过贴图控制点的坐标对贴图图像进行透视变换包括如下步骤：
S231、采集对应原始贴图图像的贴图控制点的坐标，并采集人脸上指定的面部特征点的坐标，采集的贴图控制点和指定的面部特征点均多个，且上述贴图控制点和指定的面部特征点一一对应；
S232、以上述指定的面部特征点的坐标中的最小值为透视变换原点，以上述指定的面部特征点的坐标中的最大值为透视变换的范围限制，通过上述选取的贴图控制点的坐标以及与其对应的指定的面部特征点的坐标计算透视变换矩阵；
S233、对原始贴图图像应用透视变换矩阵，实现原始贴图图像的变形。
S234、通过线性插值对变形后的贴图图像进行填充，填充后的贴图图像无缺失点。
进一步的，步骤S3中，通过视频中人脸的指定贴图区域的HSV颜色空间的V分量对变形后的贴图图像进行明暗处理，明暗处理后的贴图图像的亮度与视频中人脸上指定贴图区域的亮度接近，将明暗处理后的贴图通过线性叠加的方式叠加至视频中人脸的指定贴图区域。
进一步的，通过视频中人脸的指定贴图区域的HSV颜色空间的V分量对变形后的贴图图像进行明暗处理，包括如下步骤：
S311、对视频进行颜色空间转换，视频由RGB颜色空间转换为HSV颜色空间，对变形后的贴图进行颜色空间转换，贴图由RGB颜色空间转换为HSV颜色空间；
S312、对视频进行分解，得到视频的H通道、视频的S通道和视频的V通道，对变换后的贴图进行分解，得到贴图的H通道、贴图的S通道和贴图的V通道；
S313、对视频的V通道进行除均值，得到视频的像素的V值相对于视频的像素的均值的均值倍率图，将均值倍率图叠加至贴图的V通道，得到贴图的W通道；
S314、将贴图的W通道、贴图的H通道和贴图的S通道合并；
S315、对视频进行颜色空间转换，视频由HSV颜色空间转换为RGB颜色空间，对贴图进行颜色空间转换，视频由HSV颜色空间转换为RGB颜色空间。
视频面部贴图特效生成系统，包括显示模块、功能模块和提示模块，功能模块包括视频导入编辑子模块、贴图定义编辑子模块和效果调整子模块；视频导入编辑子模块与显示模块连接，能够选择视频源并导入视频，能够对每帧视频图像编号，并能够对视频进行人脸检测和人脸面部特征点定位；贴图定义编辑子模块与显示模块连接，能够载入作为贴图的图像，并能够编辑并保存贴图控制点的位置参数；效果调整子模块分别与视频导入编辑子模块、贴图定义编辑子模块及显示模块连接，能够调整视频和贴图的透明度和亮度，并能够选择显示视频中人脸的面部特征点或选择不显示视频中人脸的面部特征点；提示模块分别与视频导入编辑子模块和显示模块连接，能够通过显示当前帧视频的计算时间，并能够通过显示鼠标当前位置在视频上的坐标实现辅助调整贴图控制点的位置；显示模块能够显示视频以及导入的贴图，并能够显示上述视频导入编辑子模块、贴图定义编辑子模块、效果调整子模块以及提示模块的操作界面。
在视频导入编辑子模块中，可选择视频源导入视频，即选择导入实时录制的视频或录制好的视频，对视频进行人脸检测，如果视频中存在人脸，则对人脸进行面部特征点定位，形成面部特征点点集；在贴图定义编辑子模块，用户自主选择一个图像导入视频中，形成包括贴图图像和围成贴图图像的贴图控制点，通过贴图控制点和与其临近的面部特征点的相对位置关系计算贴图控制点的位置参数，通过贴图控制点的位置参数对贴图图像进行变形；在效果调整子模块对视频以及贴图进行明暗处理和透明图处理，并将处理后的贴图叠加至视频中人脸的指定贴图区域，生成视频面部特效。
进一步的，视频导入编辑子模块为包括如下工作流程的视频输入编辑子模块：导入视频、提取每帧视频图像、人脸检测、对主动外观模型初始化、匹配面部特征点以及获取面部特征点点集；贴图定义编辑子模块为包括如下工作流程的贴图定义编辑子模块：自定义并存储贴图、修改贴图控制点及计算贴图控制点的位置参数、对贴图图像进行变形；效果调整子模块为包括如下工作流程的效果调整子模块：选择显示/不显示面部特征点、对视频和贴图进行明暗处理、对视频和贴图进行透明度处理以及将贴图叠加至视频中人脸的指定贴图区域。
进一步的，还包括采集模块，采集模块包括相机检测和设置子模块、视频播放子模块、拍照子模块、录像子模块、存储子模块和面部特征标记子模块；
相机检测和设置子模块能够外接相机，并能够设置相机参数以及设置保存位置，所述保存位置为相机拍摄的图像的保存位置；视频播放子模块能够存储并播放用作表情模仿的基本表情图像；拍照子模块与相机检测和设置子模块连接，能够通过相机拍摄具有采集对象的人脸的图像，并生成图像文件；录像子模块与相机检测和设置子模块连接，能够通过相机录制具有采集对象的人脸的视频图像，并生成图像文件；面部特征标记子模块分别与拍照子模块和录像子模块连接，能够对通过拍照子模块拍摄的图像中的人脸或通过录像子模块录制的视频图像中的人脸进行面部特征点标记，并生成标记文件，标记文件和图像文件一一对应并存储于同一个图像文件夹；存储子模块分别与相机检测和设置子模块、拍照子模块、录像子模块、视频播放子模块、面部特征标记子模块以及视频导入编辑子模块连接，上述基本表情图像和图像文件夹均存储于存储子模块。
本发明的视频面部贴图特效处理方法及生成系统具有以下优点：
1、本发明支持用户自行导入喜欢的图像或设计的图案加入到人脸视频(包括已录制成文件的视频和实时摄像头输入视频)中，生成贴图效果，符合使用者个性化需求，增加了使用者的参与度，利于视频特效添加由开发者分发模板向大众创造的方式发展；
2、本发明对人脸的面部特征点定位，并获取贴图控制点在当前帧视频图像中人脸上的坐标，并通过面部特征点在人脸上的位置以及相互之间的相对比例关系计算贴图控制点的位置参数，通过贴图控制点的位置参数反应贴图图像与视频中人脸的指定贴图区域之间相对位置关系，从而可计算贴图控制点在每帧视频图像中人脸上的坐标，根据在贴图控制点在每帧视频图像中人脸上的坐标对贴图图像进行变形，从而可支持使用者编辑贴图的位置并对贴图图像进行变形，改变贴图图像的大小和尺寸，便于使用者将贴图调整为合适的尺寸，并保证贴图在视频中与人脸的指定贴图区域保持相对位置关系，即贴图可随着人脸的表情适应性变形；
3、本发明对贴图透视变换后，通过线性插值对变形后的贴图图像进行填充，避免了变形后贴图图像可能存在缺失点的问题；
4、本发明通过视频中人脸的指定贴图区域的HSV颜色空间的V分量对贴图图像进行明暗处理，调整贴图图像的亮度，贴图图像可与视频中人脸的纹理的明暗情况以及光照影响保持一致，避免当光照变化时(如阴阳脸)，贴图图像不会随之变化的问题；
5、本发明支持使用者对贴图和视频进行透明度调节，便于通过线性叠加的方式将贴图叠加至视频中人脸的指定贴图区域；
6、本发明通过视频导入编辑子模块可选择性的导入视频，通过贴图定义编辑子模块和效果调整子模块可对贴图特效进行选择、定义和编辑，并可将处理后的贴图叠加到视频中，便于使用者实际操作进行视频面部特效处理，并可验证上述视频面部特效处理方法；
7、本发明通过采集模块可生成图像文件以及标记文件，图像文件和标记文件生成主动外观模型，对主动外观模型进行训练后，可通过主动外观模型对输入的视频中的人脸进行面部特征点匹配，从而获取输入的视频中人脸的面部特征点。
8、本发明实现了使用者对贴图特效的定义及编辑，体现了用户需求个性化，具有互动性，且结构简单、便于操作。
附图说明
下面结合附图对本发明进一步说明。
附图1为实施例1视频面部贴图特效处理方法的流程框图；
附图2为实施例1视频面部贴图特效处理方法中步骤S1的流程框图；
附图3为实施例1视频面部贴图特效处理方法中步骤S2的流程框图；
附图4为实施例2视频面部贴图特效处理方法的流程框图；
附图5为实施例2视频面部贴图特效处理方法中步骤S3中通过视频中人脸的指定贴图区域的HSV颜色空间的V分量对变形后的贴图图像进行明暗处理的流程框图；
附图6为实施例3视频面部贴图特效生成系统的结构框图；
附图7为实施例4视频面部贴图特效生成系统的结构框图。
具体实施方式
参照说明书附图和具体实施例对本发明的视频面部贴图特效处理方法及生成系统作以下详细地说明。
实施例1：
如附图1、附图2和附图3所示，视频面部贴图特效处理方法，视频面部贴图特效处理方法，将任意图像作为贴图附于输入的视频中人脸的任意位置上，且贴图在视频中保持与人脸的指定贴图区域相对位置的固定，包括如下步骤：
(1)、对视频中人脸进行特征定位，获取人脸的面部特征点；
(2)、将选取的图像导入视频中人脸上作为贴图，贴图包括贴图图像和贴图控制点，通过贴图控制点和与其对应的人脸的面部特征点计算贴图控制点的位置参数，通过贴图控制点的位置参数对贴图图像进行变换处理，贴图控制点的位置参数能够标识贴图图像与视频中人脸的指定贴图区域之间的相对位置关系；
(3)、将变换处理后的贴图叠加至视频中人脸的指定贴图区域。
其中，步骤(1)为对视频进行人脸检测，确定输入的视频图像中存在人脸，然后对视频图像中人脸尽心面部特征点定位，即从输入的视频图像中的人脸上找到关键位置，如眼睛(包含瞳孔、眼角等)、鼻子(包含鼻、鼻翼)、嘴(包含嘴角、唇峰等)、眉毛以及面部轮廓点。具体包括如下步骤：
1)、导入视频，并通过haarcascade方法对视频进行人脸检测，如果视频图像中存在人脸，则返回人脸在视图图像中的位置和范围，其中视频可以是摄像头实时输入的视频，也可以为录制好的视频；
2)、通过主动外观模型对视频中人脸进行面部特征点定位，在视频中人脸上标记多个面部特征点，并保存每个面部特征点的编号及坐标，生成面部特征点点集。
在上述步骤1)实现过程中，输入视频允许使用摄像头实时输入和录制好的视频文件输入两种方式。
对每帧视频图像进行人脸检测过程中，使用OpenCV中的haarcascade方法，人脸检测的实现如下：
__cascade＝(CvHaarClassifierCascade*)cvLoad(cascade_name,0,0,0)；
__storage＝cvCreateMemStorage(0)；
CvSeq*faces＝cvHaarDetectObjects(image,__cascade,__storage,1.1,10,CV_HAAR_DO_CANNY_PRUNING,cvSize(100,100))；
检测使用OpenCV中训练的haarcascade_frontalface_alt_tree.xml，通常本文所涉及的实验图像中只有一个人脸，故cvHaarDetectObjects的返回值序列faces中若不为空则表明找到了人脸，取出其中的矩形区域，即为人脸区域r，具体为：CvRect*r＝(CvRect*)cvGetSeqElem(faces,0)；。
步骤2)中，通过主动外观模型对视频中人脸进行面部特征点定位，具体包括如下步骤：创建主动外观模型、对主动外观模型进行训练、匹配特征点以及连续帧处理。
创建主动外观模型过程中，通过摄像机拍摄七幅基本表情图像，将每幅基本表情图像保存为jpg格式的图像文件，通过Tim Cootes and ISBE Folk的Markup Tools工具集对每幅基本表情图像上的特征点进行人工标记，生成pts格式的标记文件，标记文件包括对应的图像中人脸上的六十八个特征点的坐标信息，上述图像文件和标记文件一一对应并保存于同一个图像文件夹中，主动外观模型通过对上述七幅基本表情图像的形状和纹理分别进行主成分分析(PCA)得到构成其形状和纹理的正交向量，由于PCA的特点，每个形状的正交向量均表示一种基本面部特征变化模式，通过线性叠加可拟合出各种人脸面部特征的变化。
对主动外观模型进行训练过程中，训练完成后的主动外观模型保存其平均形状、平均纹理、三角化顶点和包围的像素点仿射系数以及雅柯比矩阵为文件，用于匹配。
匹配特征点过程中，通过图像金字塔逐级匹配的方式，对主动外观模型和视频图像进行人脸的面部特征点的匹配，从而实现对视频中人脸面部特征点的定位。具体地，使用OpenCV和C++实现，对于输入的图像image，使用编写的AAM模型程序进行特征点匹配，具体函数为Fit(const IplImage*image,Shape & shape)，Shape为返回结果。匹配的迭代过程的主要代码部分如下：
本实施例中使用的最大迭代次数为15，若一直未能收敛，则到15次自动停止迭代；训练库中包含正面朝向的基本表情和上下左右四个朝向的图像，以尽可能确保面部特征匹配在实际应用时的鲁棒性。主动外观模型本身是线性模型，其训练和匹配过程表明训练集覆盖待匹配对象越全，匹配效果越好，所以使用多种基本表情进行训练可提高模型的面部特征的正确识别率。
连续帧处理过程中，对于视频这类连续帧之间面部特征点配准问题，可以充分利用前后帧关系，以提高效率。前序帧的面部特征点匹配结果可以用来估计当前帧的面部特征点位置，预测的点坐标可以用来作为主动外观模型的输入，可以加快迭代速度，减少匹配失败的几率，从而提高匹配的精度。通过特征跟踪的方式估计当前面部特征点的位置，采用光流法预测到下一帧的平移，然后将上一帧的匹配结果进行平移获得对下一帧进行特征定位迭代的初值。
其中，光流是一种方便易用的连续视频中描述运动的方式，它描述了随着视频流的方向图像中物体运动时在相邻帧中的位置变化和移动速度。
主动外观模型虽然使用全局纹理匹配的方式进行面部特征点的定位，相比主动形状模型等局部优化的方法，有效地避免了局部极值的情况，但也仅对于初值偏离不太大时成立，如果迭代优化时初值的选择不好，仍会出现无法收敛而导致定位失败，所以在使用主动外观模型进行特征点定位前，需要首先给出一个估计的初始值，以便后续进行迭代，而且主动外观模型的初始值对于其匹配影响很大，差的初始值可能会导致其优化失败。对于输入的视频首帧和其后的各帧采用了不同的初始化方法。
本实施例中，通过如下方法对首帧以及后续帧的初值进行计算：
首帧的初值计算方式为：首先依据检测的人脸的范围对平均脸形状进行变形，变形后的形状作为进行面部特征匹配的主动外观模型的初始值，计算检测的人脸范围r(Viola-Jones人脸检测的结果是个矩形区域)与平均脸形状之间的比例关系，然后对平均脸形状进行缩放和平移。计算方法如下：
Xm＝Xm*(r→width/shape.width)+r→x+0.5*r→width
Ym＝Ym*(r→height/shape.height)+r→y+0.5*r→height
Xm、Ym为编号为m的面部特征点，r→width为检测出的人脸区域的宽度，r→height为检测出的人脸区域的高度，r→x和r→y为检测出的人脸矩形范围的左上角坐标，shape.width和shape.height为平均脸的宽度和高度。
平均脸形状由组成该形状的面部特征点构成，形式如{x0,y0,x1,y1……xn,yn}，其中xm、ym为编号为m的面部特征点在其局部坐标系中的坐标。其局部坐标系的原点位于所有特征点的重心。
后续帧的初值的计算方式为：后续帧的初值使用KLT光流法和前帧的匹配结果，使用前帧的面部特征点匹配结果和灰度图估计运动情况，采用15*15的窗口，其实现可以通过调用函数cvCalcOpticalFlowPyrLK实现：
void cvCalcOpticalFlowPyrLK(const CvArr*prev,const CvArr*curr,CvArr*prev_pyr,CvArr*curr_pyr,const CvPoint2D32f*prev_features,CvPoint2D32f*curr_features,int count,CvSize win_size,int level,char*status,float*track_error,CvTermCriteria criteria,int flags)；
其中各参数的含义如下：
prev在时间t的第一帧
curr在时间t+dt的第二帧
prev_pyr第一帧的金字塔缓存
curr_pyr当前帧的金字塔缓存
prev_features需要发现光流的点集
curr_features包含新计算出来的位置的点集
count特征点的数目
win_size每个金字塔层的搜索窗口尺寸
level最大的金字塔层数。如果为0，不使用金字塔(即金字塔为单层)，如果为1，使用两层，下面依次类推。
步骤(2)将选取的图像导入视频中人脸上，并通过在当前帧视频图像中贴图控制点和与其对应的面部特征点计算贴图控制点的位置参数，贴图控制点的位置参数反应贴图图像与视频中人脸的指定贴图区域之间的相对位置关系，通过贴图控制点的位置参数计算贴图控制点在每一帧视频图像中人脸上的坐标，进而可通过贴图控制点的坐标对贴图图像进行变形，使得贴图图像可投射到视频中人脸的指定位置，并在视频中保持与人脸的指定位置的相对位置的固定。具体包括如下步骤：导入贴图、计算每个贴图控制点的位置参数以及在每一帧视频图像中，通过贴图控制点的坐标对贴图图像进行透视变换。
导入贴图过程中，选取一个图像导入视频中人脸上，该图像为贴图图像，获取围成贴图图像的贴图控制点，并记载贴图控制点在当前帧视频图像中人脸上的坐标。图像可以是OpenCV支持的任意格式图像，在实施过程中，每个贴图控制点的定义使用结构体描述，如下所示：
其中Tvertex[3]为与控制点最近邻的三个不共线的面部特征点的编号，编号的定义参见3.3.3小节图3.4。PointPosition[2]为分段线性仿射系数α和β。
为了方便找到控制点文件，本实施例中自行定义了控制点文件的格式，存储的控制点文件的主文件名与对应的贴图特效图像文件名一致，扩展名定义为.ctp，存储为纯文本形式，其具体格式为：
version:版本号
n_points:控制点个数
point控制点序号第一个特征点编号第二个特征点编号第三个特征点编号α和β值
……
point控制点序号第一个特征点编号第二个特征点编号第三个特征点编号α和β值
以眼镜的四个控制点为例，该文件的内容如下：
version:1
n_points:4
point 0 1 21 27 1.45566 -0.786139
point 1 44 15 14 0.933948 0.170262
point 2 2 1 27 1.17872 0.013636
point 3 54 13 14 1.06371 0.0444363。
计算每个贴图控制点的位置参数的方法为，在上述定位的面部特征点中选取多个面部特征点，上述选取的多个面部特征点为在当前帧视频图像中人脸上与贴图控制点所在像素点接近的面部特征点，且上述选取的多个面部特征点不共线，通过上述选取的多个面部特征点在人脸上的位置以及相互之间的相对比例关系计算贴图控制点的位置参数，通过贴图控制点的位置参数能够计算贴图控制点在每一帧视频图像中人脸上的坐标。
在每一帧视频图像中，通过贴图控制点的坐标对贴图图像进行透视变换。
其中，计算每个贴图控制点的位置参数的具体实现方法为：
1)、在上述定位的人脸的面部特征点中选取三个面部特征点Pi、Pj和Pk，上述三个面部特征点为在当前帧视频图像中人脸上与贴图控制点所在的像素点接近的三个面部特征点，三个面部特征点的编号分别为n1、n2和n3，面部特征点Pi的坐标为(Pi.x,Pi.y)，面部特征点Pj的坐标为((Pj.x,Pj.y)，面部特征点Pk的坐标为((Pk.x,Pk.y)；
2)、判断上述三个面部特征点是否共线，如果上述三个面部特征点共线，替换其中的一个面部特征点，如果上述三个面部特征点不共线，通过分段线性仿射计算上述三个面部特征点的仿射参数α和β,
其中，(P.x,P.y)为贴图控制点在当前视频帧中人脸上的坐标；
3)、通过上述三个面部特征点的编号以及仿射参数组成对应的贴图控制点的位置参数，贴图控制点的位置参数为(n1,n2,n3,α,β)；
4)、通过贴图控制点的位置参数计算与其对应的贴图控制点在每帧视频图像中人脸上的坐标，其中P.x＝pi.x+α(pj.x-pi.x)+β(pk.x-pi.x)，P.y＝pi.y+α(pj.y-pi.y)+β(pk.y-pi.y)。
上述步骤2)中，设定a＝(Pj.x-Pi.x,Pj.y-Pi.y)，b＝(Pk.x-Pi.x,Pk.y-Pi.y)，如果|a×b|＝0，则判定选取的三个面部特征点共线。
在实际执行过程中，贴图的每个贴图控制点均可用鼠标在视频图像上进行位置修改，通过点选选中贴图控制点，然后使用鼠标拖曳即可调整贴图控制点的位置，也可使用系统界面上控制点面板进行输入，修改后效果立刻应用到当前帧的视频图像上。调整时的贴图控制点位置的计算采用类似分段线性仿射的方法逐点计算，当拖曳结束松开鼠标左键时，执行以下操作：
1)、获取当前控制点位置(Point.x,Point.y)；
2)、从当前帧视频图像的面部特征点中查找最近邻的三个面部特征点NearPoints[3]；
3)、若三个面部特征点共线，转3)，否则转5)；
4)、替换第三个点，转3)；
5)、计算内点的参数α和β。
若有多个点同时被拖曳，则对每一个贴图控制点执行上述操作。计算完成后NearPoints[3]和参数α和β即为贴图控制点的参数，定位当前帧视频图像中人脸的面部特征点后，就可确定NearPoints[3]，从而唯一确定该贴图控制点在视频中的位置，并保持在人脸中的相对位置。当鼠标移动时对选中的贴图控制点进行当前位置和相邻面部特征点计算，并通过线性仿射计算其参数α和β。本实施例中上述三个面部特征点是否共线使用向量叉积为零来判断。
对于贴图控制点超出视频图像中面部范围的情况，使用线性仿射仍可准确定位其位置，此时α和β的值可能会为负值。
在使用贴图时，每个贴图控制点分别获取其对应的三个面部特征点的坐标，然后通过α和β的值算出控制点的当前位置，以第一个贴图控制点为例，求解为：
p＝GetRealPosition(m_pControlPointOfPatch[0],Shape)
其中，m_pControlPointOfPatch为控制点集，Shape为通过主动外观模型匹配出的当前面部特征点点集。GetRealPosition()函数中按下式计算p的坐标：
P.x＝pi.x+α(pj.x-pi.x)+β(pk.x-pi.x)
P.y＝pi.y+α(pj.y-pi.y)+β(pk.y-pi.y)。
通过贴图控制点的坐标对贴图图像进行透视变换包括如下分步骤：
1)、采集对应原始贴图图像的贴图控制点的坐标，并采集人脸上指定的面部特征点的坐标，采集的贴图控制点和指定的面部特征点均多个，且上述贴图控制点和指定的面部特征点一一对应；
2)、以上述指定的面部特征点的坐标中的最小值为透视变换原点，以上述指定的面部特征点的坐标中的最大值为透视变换的范围限制，通过上述选取的贴图控制点的坐标以及与其对应的指定的面部特征点的坐标计算透视变换矩阵；
其中，(x,y,1)T为原图像平面中像素(x,y)的齐次坐标，上述3x3的矩阵为投影变换矩阵。求出该变换矩阵后，即可算出该像素在新平面上的投影位置(x'/z',y'/z')T
3)、对原始贴图图像应用透视变换矩阵，实现原始贴图图像的变形；
4)、通过线性插值对变形后的贴图图像进行填充，填充后的贴图图像无缺失点。
在步骤1)中，通过四个对应点的坐标求解上述投影变换矩阵，需找出对应原始贴图图像的四个贴图控制点与视频中人脸上指定的四个面部特征点之间的对应关系，并通过这四对点解出投影变换矩阵，然后应用于原贴图图像上实现变形。
实际执行过程中，依据上述贴图控制点的坐标对贴图图像进行透视变换的步骤，在相关视频面部特效生成系统中进行如下操作：
相关参数定义如下：
原始贴图图像的四个顶点定义为CvPoint2D32f corners[4]；
面部目标位置的四个顶点定义为CvPoint2D32f corners_trans[4]；
根据贴图控制点的坐标中的最小值选择透视变换原点，最大值作为变换的范围限制，否则若有控制点位于原点上方或左侧，会出现负值坐标导致图像缺失。故使用transOrigin为原点创建局部坐标系，并将控制点坐标变换到该局部坐标系，corners_trans为控制点集在局部坐标中的坐标。
视频中人脸上指定的四个面部特征点的横纵坐标的最小值定义为局部坐标系原点transOrigin和最大值定义为transcEnd，具体定义为CvPoint2D32f transOrigin,transcEnd；
透视变换矩阵的定义CvMat*warp_mat＝cvCreateMat(3,3,CV_32FC1)。
具体实现步骤如下：
1)、计算每个控制点的实际位置：
m_ControlPointOfPatch＝GetRealPosition(m_pControlPointOfPatch,Shape)；
2)、转换到局部坐标系：
corners_trans＝Point2f(m_ControlPointOfPatch-transOrigin)；
3)、通过原始贴图图像和面部目标位置的对应的四个顶点坐标计算透视变换矩阵：
cvGetPerspectiveTransform(corners,corners_trans,warp_mat)；
4)、应用透视变换：
cvWarpPerspective(imagePatch,imagePatch2,warp_mat)；
Mat matPatch(imagePatch2,true)；
透视变换后的有效区域在四个控制点包围的范围内，在进一步操作时，为减少计算量，先对变换后的贴图matPatch进行裁减。将其区域定义在((int)transOrigin.x,(int)transOrigin.y,(int)(transEnd.x-transOrigin.x),(int)(transEnd.y-transOrigin.y))范围内。
对贴图进行变换处理后，通过线性叠加的方式将导入的贴图图像叠加至视频图像中，并通过透明度控制原视频图像和贴图图像，两者的透明度均可以调整，若使用的是带透明背景的贴图，背景部分透明度为零，不会遮挡或影响原视频的内容。叠加公式为：
dst(x)＝alpha*srcvideo(x)+beta*patch(x)+gamma
其中x为视频中贴图区域的像素，且贴图图像上x点的颜色不为透明背景色(非Gif格式可用纯黑或纯白作为透明背景)。dst为叠加结果，alpha为原始输入视频(srcvideo)透明度，beta为贴图(patch)透明度，gamma为修正，测试中采用的是原始视频默认不透明，即100％透明度，贴图图像一般采用50％，两个透明度在均可进行调整。
综上，本发明视频面部贴图特效处理方法，首先，将贴图图像导入视频中人脸上，根据在当前帧中贴图控制点和与其邻近的面部特征点计算贴图控制点的位置参数，通过贴图控制点的位置参数可得出贴图控制点在视频中人脸上的相对位置关系，从而在每一个视频帧中可根据贴图控制点的位置参数计算贴图控制点的坐标；然后通过贴图控制点的坐标对贴图图像进行透视变换，改变贴图图像的大小和形状，使得贴图图像能够投射到视频中人脸的指定贴图区域；最后，对视频和贴图进行透明度调整后，通过线性叠加的方式将贴图叠加到视频中人脸的指定贴图区域。
作为本实施例的进一步改进，在对人脸进行面部特征定位时，可以通过现有的其他面部特征定位方法来进行，如选用特征检测法、变形模板法、点分布模型、级联形状回归模型等。
实施例2：
如附图4和附图5所示，本实施例为在实施例1基础上的进一步改进，本实施例与实施例1的区别为：步骤(3)中，为了解决贴图需与视频中人脸的纹理的明暗情况以及光照影响保持一致，避免当光照变化时(如阴阳脸)，贴图不会随之变化的问题。我们使用视频中人脸的指定贴图区域的HSV颜色空间的V分量对变形后的贴图图像进行明暗处理，将明暗处理后的贴图通过线性叠加的方式叠加至输入的视频中人脸的指定位置。
通过视频中人脸的指定贴图区域的HSV颜色空间的V分量对变形后的贴图图像进行明暗处理，具体包括如下步骤：
1)、对视频进行颜色空间转换，视频由RGB颜色空间转换为HSV颜色空间，对变形后的贴图进行颜色空间转换，贴图由RGB颜色空间转换为HSV颜色空间；
2)、对视频进行分解，得到视频的H通道、视频的S通道和视频的V通道，对变换后的贴图进行分解，得到贴图的H通道、贴图的S通道和贴图的V通道；
3)、对视频的V通道进行除均值，得到视频的像素的V值相对于视频的像素的均值的均值倍率图，将均值倍率图叠加至贴图的V通道，得到贴图的W通道；
4)、将贴图的W通道、贴图的H通道和贴图的S通道合并；
5)、对视频进行颜色空间转换，视频由HSV颜色空间转换为RGB颜色空间，对贴图进行颜色空间转换，视频由HSV颜色空间转换为RGB颜色空间。
上述步骤1)中，涉及到RGB和HSV颜色空间的相互转换，算法如下：
RGB转HSV算法实现：
Max＝max(R,G,B)Min＝min(R,G,B)
if(R＝max)H＝(G-B)/(max-min)
if(G＝max)H＝2+(B-R)/(max-min)
if(B＝max)H＝4+(R-G)/(max-min)
H＝H*60
if H<0H＝H+360
V＝max(R,G,B)
S＝(max-min)/max
HSV转RGB算法实现：
if(s＝0)R＝G＝B＝V else H＝H/60
i＝(int)H f＝H-i
a＝V*(1-s)b＝V*(1-s*f)c＝V*(1-s*(1-f))
if(i＝0)R＝V G＝c B＝a
if(i＝1)R＝b G＝V B＝a
if(i＝2)R＝a G＝V B＝c
if(i＝3)R＝a G＝b B＝V
if(i＝4)R＝c G＝a B＝V
if(i＝5)R＝V G＝a B＝b
对贴图进行明暗处理后，通过线性叠加的方式将导入的贴图图像叠加至视频图像中，并通过透明度控制原视频图像和贴图图像，两者的透明度均可以调整，若使用的是带透明背景的贴图，背景部分透明度为零，不会遮挡或影响原视频的内容。
dst(x)＝alpha*srcvideo(x)+beta*patch(x)+gamma
其中x为视频中贴图区域的像素，且贴图图像上x点的颜色不为透明背景色(非Gif格式可用纯黑或纯白作为透明背景)。dst为叠加结果，alpha为原始输入视频图像(srcvideo)透明度，beta为贴图图像(patch)透明度，gamma为修正，采用的是原始视频默认不透明状态时，即100％透明度，贴图图像一般采用50％，两个透明度在均可进行调整。
本实施例中，对视频中的贴图区域中，默认将白色或黑色当作透明背景，并在叠加时去除。为防止自行导入的自定义贴图图像中白色和黑色的误差，将RGB值同时在0～5范围内和235～255范围内的均进行了去除。
主要实现步骤如下：
1)、从获取叠加透明度alpha和beta值；
2)、对叠加区域中的所有像素点进行循环操作，判定当前像素点j是否属于透明背景，若是背景不进行叠加，继续判定下一个像素点，否则转步骤3)进行叠加，所有像素点均判定完转4)；
判断是否需要透明处理：src2_ptr[j]<＝5||(src2_ptr[j]>＝235，因为上述明暗处理过程的步骤5)转回RGB颜色空间过程中，会由于V值的叠加导致部分背景变的不再属于透明背景色的判定范围，进而导致叠加结果产生噪声，因而在实现时需使用最早输入的原始贴图图像作为判断透明背景的依据；
3)、叠加操作
叠加：dst_ptr[j]＝saturate_cast<uchar>(src1_ptr[j]*alpha+src3_ptr[j]*beta)；
其中src1_ptr、src2_ptr、src3_ptr分别指向image_roi(原视频指定贴图区域)、matPatch(原始贴图)、matPatch_rgb(明暗处理后贴图)。叠加操作后转回步骤2)。
4)、绘制显示，即在对应的视频面部特效生成系统中显示。
综上，本发明视频面部贴图特效处理方法，首先，将贴图图像导入视频中人脸上，根据在当前帧中贴图控制点和与其邻近的面部特征点计算贴图控制点的位置参数，通过贴图控制点的位置参数可得出贴图控制点在视频中人脸上的相对位置关系，从而在每一个视频帧中可根据贴图控制点的位置参数计算贴图控制点的坐标；然后通过贴图控制点的坐标对贴图图像进行透视变换，改变贴图图像的大小和形状，使得贴图图像能够投射到视频中人脸的指定贴图区域；然后对贴图进行明暗处理，使得明暗处理后的贴图图像的亮度与视频中人脸上指定贴图区域的亮度接近；最后，对视频和贴图进行透明度调整后，通过线性叠加的方式将贴图叠加到视频中人脸的指定贴图区域。
实施例3：
如附图6所示，本发明的视频面部贴图特效生成系统，包括显示模块、功能模块和提示模块，功能模块包括视频导入编辑子模块、贴图定义编辑子模块和效果调整子模块；视频导入编辑子模块与显示模块连接，能够选择视频源并导入视频，能够对每帧视频图像编号，并能够对视频进行人脸检测和人脸面部特征点定位；贴图定义编辑子模块与显示模块连接，能够载入作为贴图的图像，并能够编辑并保存贴图控制点的位置参数；效果调整子模块分别与视频导入编辑子模块、贴图定义编辑子模块及显示模块连接，能够调整视频和贴图的透明度和亮度，并能够选择显示视频中人脸的面部特征点或选择不显示视频中人脸的面部特征点；提示模块分别与视频导入编辑子模块和显示模块连接，能够通过显示当前帧视频的计算时间，并能够通过显示鼠标当前位置在视频上的坐标实现辅助调整贴图控制点的位置；显示模块能够显示视频以及导入的贴图，并能够显示上述视频导入编辑子模块、贴图定义编辑子模块、效果调整子模块以及提示模块的操作界面。
上述显示模块、功能模块和提示模块可通过工具界面的形式与使用者进行互动。使用者可通过鼠标及键盘在工具界面上操作，在显示模块、功能模块和提示模块的配合下，实现视频面部贴图特效的处理和生成。
其中，视频导入编辑子模块包括如下工作流程：导入视频、提取每帧视频图像、人脸检测、对主动外观模型初始化、匹配面部特征点以及获取面部特征点点集，相应的，视频导入编辑模块包括视频导入编辑子模块包视频导入单元、视频图像提取单元、人脸检测单元、主动外观模型初始化单元、面部特征点匹配单元和获取面部特征点点集单元。具体如下：
视频导入单元包括摄像头、视频导入接口和视频源选择子单元，视频源选择子单元分别与摄像头和视频导入接口连接，摄像头和视频导入接口分别与显示模块连接，摄像头可设置为内置摄像头，也可设置为外置摄像头，摄像头导入实时拍摄的视频，视频导入接口可与存储视频的设备连接，用于导入录制好的视频，视频源选择子单元用于选择通过摄像头导入实时拍摄的视频或者通过视频导入接口导入录制好的视频。
视频图像提取单元与摄像头和视频导入接口连接，用于从导入的视频中提提取每帧视频图像。
人脸检测单元与视频图像提取单元连接，配置有OpenCV中的haarcascade方法，用以对每帧视频图像进行人脸检测，判断当前帧视频图像中是否存在人脸。
主动外观模型初始化单元对主动外观模型进行初始化，主动外观模型属于迭代优化，需要首先给出一个初始值，而且主动外观模型的初始值对于其匹配影响很大，差的初始值可能会导致其优化失败。对于输入的视频首帧和其后的各帧采用了不同的初始化方法。本实施例中按照实施例1中公开的主动外观模型初始化方法进行。
面部特征点匹配单元分别与主动外观模型初始化单元和视频图像提取单元连接，通过主动外观模型对每帧视频图像中的人脸进行面部特征点进行匹配并定位。
获取面部特征点点集单元与面部特征点匹配单元连接，获取每帧视频图像中人脸的面部特征点，并保存至对应的面部特征点点集中。
上述摄像头、视频导入接口、视频图像提取单元、人脸检测单元、主动外观模块初始化子单元、面部特征点匹配单元以及获取面部特征点点集单元均与显示模块连接，显示模块配置有显示屏，通过显示屏可观看视频及贴图以及上述视频导入、视频图像提取、人脸检测、主动外观模型初始化、面部特征点匹配以及获取面部特征点点集过程中的操作过程。
贴图定义编辑子模块包括如下工作流程：自定义并存储贴图、修改贴图控制点及计算贴图控制点的位置参数、对贴图图像进行变形，相应的，贴图定义编辑子模块包括贴图存储单元、贴图控制点位置修改单元、贴图变形单元。具体如下：
贴图存储单元与获取面部特征点点集单元连接，并外接贴图存储器，可导入作为贴图的图像，该图像为贴图图像，并获取包围该贴图图像的贴图控制点，上述贴图图像和贴图控制点组成贴图参数，贴图存储单元保存上述贴图参数。
贴图控制点位置修改单元与贴图存储单元及获取面部特征点点集单元连接，贴图控制点位置修改单元与鼠标连接，支持通过鼠标点选的方式拖动贴图控制点来选择或修改贴图控制点，同时支持获取视频图像中与选定的贴图控制点临近的三个面部特征点，并可依据三个面部特征点的坐标计算贴图控制点的位置参数，贴图控制点的位置参数表示贴图控制点和指定贴图区域的相对位置关系，从而通过贴图控制点的位置参数可得出贴图控制点在当前帧视频图像中的坐标。
贴图变形单元与贴图存储单元和贴图控制点位置修改单元连接，贴图变形单元外接鼠标，通过贴图控制点的位置参数对贴图图形进行透视变换，使得贴图图像的大小和尺寸满足当前帧视频图像的指定贴图区域的要求，并得到预设的特效效果。透视变换的计算方法如实施例1所示，通过四个对应点的坐标求解上述投影变换矩阵，需找出对应原始贴图图像的四个贴图控制点与视频中人脸上指定的四个面部特征点之间的对应关系，并通过这四对点解出投影变换矩阵，然后应用于原贴图图像上实现变形。
效果调整子模块包括如下流程：选择显示/不显示面部特征点、对视频和贴图进行明暗处理、对视频和贴图进行透明度处理以及将贴图叠加至视频中人脸的指定贴图区域，相应的，效果调整子模块包括面部特征点显示/不显示单元、明暗处理单元和叠加单元。具体如下：
面部特征点显示/不显示单元与获取面部特征点点集单元和显示模块连接，且面部特征点显示/不显示单元外接鼠标和键盘，支持通过鼠标点击或键盘输入的方式选择显示视频中人脸的面部特征点或不显示视频中人脸的面部特征点；
在输入视频中，由于光照原因，人脸的面部会存在明暗变化，对于贴图图像需要依据上述明暗变化进行相应的处理，使得贴图效果自然，基于此，明暗处理单元分别与获取面部特征点点集单元和贴图变形单元连接，通过视频中人脸的指定贴图区域的V通道对贴图图像进行亮度处理，使得贴图图像的明暗适应视频的明暗状态。具体地，该明暗处理单元选用支持实施例2中公开的明暗处理方法的明暗处理单元。
叠加单元分别与获取面部特征点点集单元和贴图变形单元连接，叠加单元可对视频图像和贴图图像进行透明度调整，并支持将贴图图像通过线性叠加的方式叠加至视频图像中人脸的指定贴图区域。
提示模块分别与上述视频导入单元、视频图像提取单元、人脸检测单元、主动外观模型初始化单元、面部特征点匹配单元、获取面部特征点点集单元以及显示模块连接，支持通过显示当前帧视频图像的计算时间，并支持通过显示鼠标当前位置在视频上的坐标实现辅助调整贴图控制点的位置，提示模块汇获取的上述计算时间以及鼠标当前位置在视频上的坐标通过显示模块呈现给使用者。
本实施例视频面部贴图特效生成系统可实现自定义并编辑贴图图像，并将贴图叠加至视频中，实现视频面部贴图特效，可执行实施例1或实施例2公开的视频面部贴图特效处理方法。具体地，通过视频导入编辑子模块导入视频，并对视频中人脸进行面部特征点定位，通过贴图定义编辑子模块自定义贴图图像并通过面部特征点与贴图控制点的相对位置关系对贴图图形进行编辑变形，通过效果调整子模块对视频和贴图图像进行明暗处理及透明度处理，并将贴图叠加至视频中人脸的指定贴图区域，从而自定义并自动编辑的生成视频面部特效。
实施例4：
如附图7所示，本实施例为在实施例3基础上的进一步改进，本实施例与实施例3的区别为：还配置有采集模块，采集模块包括相机检测和设置子模块、视频播放子模块、拍照子模块、录像子模块、存储子模块和面部特征标记子模块。具体功能如下：
相机检测和设置子模块外接相机，并支持设置相机参数以及设置保存位置，保存位置为相机拍摄的图像的保存位置；
视频播放子模块用于存储并播放用作表情模仿的基本表情图像，视频播放子模块可配置视频接口，用于外接视频存储设备，或者视频播放子模块可配置数据传输接口如USB接口，用于接收存储有用于表情模仿的视频文件；
拍照子模块与相机检测和设置子模块连接，配置有相机，通过相机拍摄具有采集对象的人脸的图像，并生成图像文件；
录像子模块与相机检测和设置子模块连接，配置有相机，通过相机录制具有采集对象的人脸的视频图像，并生成图像文件；
面部特征标记子模块分别与拍照子模块和录像子模块连接，对通过拍照子模块拍摄的图像中的人脸或通过录像子模块录制的视频图像中的人脸进行面部特征点标记，并生成标记文件，标记文件和图像文件一一对应并存储于同一个图像文件夹，面部特征标记子模块配置有存储器，存储器用于存储上述图像文件夹；
存储子模块分别与相机检测和设置子模块、拍照子模块、录像子模块、视频播放子模块、面部特征标记子模块以及视频导入编辑子模块连接，上述基本表情图像和图像文件夹均存储于存储子模块。
其中，采集模块的上述子模块集中于两个窗体，主窗体和显示窗体，主窗体用于功能集成，显示窗体用于为被采集对象呈现图像。主窗体由三部分构成，包括相机检测和监控窗口、配置区、被采集对象区，配置区包括相机参数的设置、保存位置的设置、拍照以及录像，被采集对象区包括播放基本表情、当前采集对象的基本信息的填写以及对采集图像进行归类命名存放。
相机检测和设置子模块中，枚举当前系统上连接的相机设备，并列于列表中，通过调用EDSDK的EdsGetCameraList方法实现。目前EDSDK支持的设备包括主流的Canon相机。设置功能包括AV(光圈优先)、TV(快门优先)、ISO(感光度)、Bulbs(快门速度)、WB(白平衡)以及色温设置。选择列表中的相机，打开设备后，可以打开监视窗口用于观测当前相机镜头所摄制内容。
视频播放子模块在播放基本表情时，需有打开单独的窗口，并将其显示到被采集对象面前的屏幕上，所需播放的图像预先放置于当前运行目录的基本表情子文件夹中，如需更改播放的内容可用新图像覆盖原图像。
播放的顺序按文件夹中的文件顺序进行，由于每个人模仿能力有差异，时间上无法自动控制，故采集图像由操作人员通过手工拍照方式进行，当观察到被采集对象表情模仿好时(基本不再变化)，按下拍照按钮记录图像，然后点下一表情按钮继续播放，重复此过程，直到所有基本表情播放和采集完毕。然后再采集人脸朝向相对相机轴向上下左右各约30度的图像。
拍照子模块，在播放基本表情图像时由操作人员使用，通过调用EDSDK.EdsSendCommand()方法实现，并保存在程序指定的位置，在同一基本表情播放时重复多次拍照将会覆盖上次照片，仅保留最近一个照片。
录像子模块，RecordVideoButton_Click()事件处理程序用于录像，其中调用EDSDK.EdsSetPropertyData()方法设置写入硬盘或存储卡。
存储子模块，存储可以选择相机、电脑、都存三种方式，可使用浏览按钮进行设置，该设置对拍照和录像均起作用。在调用存储时依据被测人的编号和姓名判断是否存在目录，如不存在将首先创建目录，若存在提示是否覆盖。
文件名的格式为“组名字母_采集对象流水号_图像编号”命名，基本表情图像图像编号依播放的顺序按0-6存储，如1_01_0表示第1组01号的无表情图像。
本实施例视频面部贴图特效生成系统可实现自定义并编辑贴图图像，并将贴图叠加至视频中，实现视频面部贴图特效。具体地，通过采集模块采集对个被采集对象的表情，得到多个表情文件夹，上述多个表情文件夹用作主动外观模型，便于后续通过主动外观模型对视频中人脸的面部特征点进行匹配及定位，通过视频面部贴图特效生成系统导入视频，在采集模块的配合下、对视频中人脸进行面部特征点定位，通过贴图定义编辑子模块自定义贴图图像并通过面部特征点与贴图控制点的相对位置关系对贴图图形进行编辑变形，通过效果调整子模块对视频和贴图图像进行明暗处理及透明度处理，并将贴图叠加至视频中人脸的指定贴图区域，从而自定义并自动编辑的生成视频面部特效。
本实施例视频面部贴图特效生成系统可执行实施例1或实施例2公开的视频面部贴图特效处理方法。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (10)

1.视频面部贴图特效处理方法，其特征在于将任意图像作为贴图附于输入的视频中人脸的任意位置上，且贴图在视频中保持与人脸的指定贴图区域相对位置的固定，包括如下步骤：
S1、对视频中人脸进行特征定位，获取人脸的面部特征点；
S2、将选取的图像导入视频中人脸上作为贴图，贴图包括贴图图像和贴图控制点，通过贴图控制点和与其对应的人脸的面部特征点计算贴图控制点的位置参数，通过贴图控制点的位置参数对贴图图像进行变换处理，贴图控制点的位置参数能够标识贴图图像与视频中人脸的指定贴图区域之间的相对位置关系；
S3、将变换处理后的贴图叠加至视频中人脸的指定贴图区域。
2.根据权利要求1所述的视频面部贴图特效处理方法，其特征在于步骤S1包括如下步骤：
S11、通过人脸检测方法对视频进行人脸检测，如果确定视频中存在人脸，则返回人脸在视频图像中的位置和范围，视频包括摄像头实时输入的视频和录制好的视频；
S12、通过面部特征定位法对视频中人脸进行面部特征点定位，并保存每个面部特征点的编号及坐标，生成面部特征点点集。
3.根据权利要求2所述的视频面部贴图特效处理方法，其特征在于步骤S2包括如下步骤：
S21、导入贴图：选取一个图像导入视频中人脸上，该图像为贴图图像，获取围成贴图图像的贴图控制点，并记载贴图控制点在当前帧视频图像中人脸上的坐标；
S22、计算每个贴图控制点的位置参数：在上述定位的面部特征点中选取多个面部特征点，上述选取的多个面部特征点为在当前帧视频图像中人脸上与贴图控制点所在像素点接近的面部特征点，且上述选取的多个面部特征点不共线，通过上述选取的多个面部特征点在人脸上的位置以及相互之间的相对比例关系计算贴图控制点的位置参数，通过贴图控制点的位置参数能够计算贴图控制点在每一帧视频图像中人脸上的坐标；
S23、在每一帧视频图像中，通过贴图控制点的坐标对贴图图像进行透视变换。
4.根据权利要求3所述的视频面部贴图特效处理方法，其特征在于步骤S22包括如下分步骤：
S221、在上述定位的人脸的面部特征点中选取三个面部特征点Pi、Pj和Pk，上述三个面部特征点为在当前帧视频图像中人脸上与贴图控制点所在的像素点接近的三个面部特征点，三个面部特征点的编号分别为n1、n2和n3，面部特征点Pi的坐标为(Pi.x,Pi.y)，面部特征点Pj的坐标为((Pj.x,Pj.y)，面部特征点Pk的坐标为((Pk.x,Pk.y)；
S222、判断上述三个面部特征点是否共线，如果上述三个面部特征点共线，替换其中的一个面部特征点，如果上述三个面部特征点不共线，通过分段线性仿射计算上述三个面部特征点的仿射参数α和β,
<mrow> <mi>&amp;alpha;</mi> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mi>P</mi> <mo>.</mo> <mi>x</mi> <mo>-</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>.</mo> <mi>y</mi> <mo>)</mo> <mo>(</mo> <msub> <mi>P</mi> <mi>k</mi> </msub> <mo>.</mo> <mi>y</mi> <mo>-</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>.</mo> <mi>y</mi> <mo>)</mo> <mo>-</mo> <mo>(</mo> <mi>P</mi> <mo>.</mo> <mi>y</mi> <mo>-</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>.</mo> <mi>y</mi> <mo>)</mo> <mo>(</mo> <msub> <mi>P</mi> <mi>k</mi> </msub> <mo>.</mo> <mi>x</mi> <mo>-</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>.</mo> <mi>x</mi> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <msub> <mi>P</mi> <mi>j</mi> </msub> <mo>.</mo> <mi>x</mi> <mo>-</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>.</mo> <mi>x</mi> <mo>)</mo> <mo>(</mo> <msub> <mi>P</mi> <mi>k</mi> </msub> <mo>.</mo> <mi>y</mi> <mo>-</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>.</mo> <mi>y</mi> <mo>)</mo> <mo>-</mo> <mo>(</mo> <msub> <mi>P</mi> <mi>j</mi> </msub> <mo>.</mo> <mi>y</mi> <mo>-</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>.</mo> <mi>y</mi> <mo>)</mo> <mo>(</mo> <msub> <mi>P</mi> <mi>k</mi> </msub> <mo>.</mo> <mi>x</mi> <mo>-</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>.</mo> <mi>x</mi> <mo>)</mo> </mrow> </mfrac> </mrow>
<mrow> <mi>&amp;beta;</mi> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mi>P</mi> <mo>.</mo> <mi>y</mi> <mo>-</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>.</mo> <mi>y</mi> <mo>)</mo> <mo>(</mo> <msub> <mi>P</mi> <mi>j</mi> </msub> <mo>.</mo> <mi>x</mi> <mo>-</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>.</mo> <mi>x</mi> <mo>)</mo> <mo>-</mo> <mo>(</mo> <mi>P</mi> <mo>.</mo> <mi>x</mi> <mo>-</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>.</mo> <mi>x</mi> <mo>)</mo> <mo>(</mo> <msub> <mi>P</mi> <mi>j</mi> </msub> <mo>.</mo> <mi>y</mi> <mo>-</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>.</mo> <mi>y</mi> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <msub> <mi>P</mi> <mi>j</mi> </msub> <mo>.</mo> <mi>x</mi> <mo>-</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>.</mo> <mi>x</mi> <mo>)</mo> <mo>(</mo> <msub> <mi>P</mi> <mi>k</mi> </msub> <mo>.</mo> <mi>y</mi> <mo>-</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>.</mo> <mi>y</mi> <mo>)</mo> <mo>-</mo> <mo>(</mo> <msub> <mi>P</mi> <mi>j</mi> </msub> <mo>.</mo> <mi>y</mi> <mo>-</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>.</mo> <mi>y</mi> <mo>)</mo> <mo>(</mo> <msub> <mi>P</mi> <mi>k</mi> </msub> <mo>.</mo> <mi>x</mi> <mo>-</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>.</mo> <mi>x</mi> <mo>)</mo> </mrow> </mfrac> </mrow>
其中，(P.x,P.y)为贴图控制点在当前视频帧中人脸上的坐标；
S223、通过上述三个面部特征点的编号以及仿射参数组成对应的贴图控制点的位置参数，贴图控制点的位置参数为(n1,n2,n3,α,β)；
S224、通过贴图控制点的位置参数计算与其对应的贴图控制点在每帧视频图像中人脸上的坐标。
5.根据权利要求3所述的视频面部贴图特效处理方法，其特征在于步骤S23中，通过贴图控制点的坐标对贴图图像进行透视变换包括如下步骤：
S231、采集对应原始贴图图像的贴图控制点的坐标，并采集人脸上指定的面部特征点的坐标，采集的贴图控制点和指定的面部特征点均多个，且上述贴图控制点和指定的面部特征点一一对应；
S232、以上述指定的面部特征点的坐标中的最小值为透视变换原点，以上述指定的面部特征点的坐标中的最大值为透视变换的范围限制，通过上述选取的贴图控制点的坐标以及与其对应的指定的面部特征点的坐标计算透视变换矩阵；
S233、对原始贴图图像应用透视变换矩阵，实现原始贴图图像的变形。
S234、通过线性插值对变形后的贴图图像进行填充，填充后的贴图图像无缺失点。
6.根据权利要求1、2、3、4或5所述的视频面部贴图特效处理方法，其特征在于步骤S3中，通过视频中人脸的指定贴图区域的HSV颜色空间的V分量对变形后的贴图图像进行明暗处理，明暗处理后的贴图图像的亮度与视频中人脸上指定贴图区域的亮度接近，将明暗处理后的贴图通过线性叠加的方式叠加至视频中人脸的指定贴图区域。
7.根据权利要求6所述的视频面部贴图特效处理方法，其特征在于视频中人脸的指定贴图区域的HSV颜色空间的V分量对变形后的贴图图像进行明暗处理，包括如下步骤：
S311、对视频进行颜色空间转换，视频由RGB颜色空间转换为HSV颜色空间，对变形后的贴图进行颜色空间转换，贴图由RGB颜色空间转换为HSV颜色空间；
S312、对视频进行分解，得到视频的H通道、视频的S通道和视频的V通道，对变换后的贴图进行分解，得到贴图的H通道、贴图的S通道和贴图的V通道；
S313、对视频的V通道进行除均值，得到视频的像素的V值相对于视频的像素的均值的均值倍率图，将均值倍率图叠加至贴图的V通道，得到贴图的W通道；
S314、将贴图的W通道、贴图的H通道和贴图的S通道合并；
S315、对视频进行颜色空间转换，视频由HSV颜色空间转换为RGB颜色空间，对贴图进行颜色空间转换，视频由HSV颜色空间转换为RGB颜色空间。
8.视频面部贴图特效生成系统，其特征在于包括显示模块、功能模块和提示模块，功能模块包括视频导入编辑子模块、贴图定义编辑子模块和效果调整子模块；
视频导入编辑子模块与显示模块连接，能够选择视频源并导入视频，能够对每帧视频图像编号，并能够对视频进行人脸检测和人脸面部特征点定位；
贴图定义编辑子模块与显示模块连接，能够载入作为贴图的图像，并能够编辑并保存贴图控制点的位置参数；
效果调整子模块分别与视频导入编辑子模块、贴图定义编辑子模块及显示模块连接，能够调整视频和贴图的透明度和亮度，并能够选择显示视频中人脸的面部特征点或选择不显示视频中人脸的面部特征点；
提示模块分别与视频导入编辑子模块和显示模块连接，能够通过显示当前帧视频的计算时间，并能够通过显示鼠标当前位置在视频上的坐标实现辅助调整贴图控制点的位置；
显示模块能够显示视频以及导入的贴图，并能够显示上述视频导入编辑子模块、贴图定义编辑子模块、效果调整子模块以及提示模块的操作界面。
9.根据权利要求8所述的视频面部特效生成系统，其特征在于视频导入编辑子模块为包括如下工作流程的视频输入编辑子模块：导入视频、提取每帧视频图像、人脸检测、对主动外观模型初始化、匹配面部特征点以及获取面部特征点点集；
贴图定义编辑子模块为包括如下工作流程的贴图定义编辑子模块：自定义并存储贴图、修改贴图控制点及计算贴图控制点的位置参数、对贴图图像进行变形；
效果调整子模块为包括如下工作流程的效果调整子模块：选择显示/不显示面部特征点、对视频和贴图进行明暗处理、对视频和贴图进行透明度处理以及将贴图叠加至视频中人脸的指定贴图区域。
10.根据权利要求8或9所述的视视频面部贴图特效生成系统，其特征在于还包括采集模块，采集模块包括相机检测和设置子模块、视频播放子模块、拍照子模块、录像子模块、存储子模块和面部特征标记子模块；
相机检测和设置子模块能够外接相机，并能够设置相机参数以及设置保存位置，所述保存位置为相机拍摄的图像的保存位置；
视频播放子模块能够存储并播放用作表情模仿的基本表情图像；
拍照子模块与相机检测和设置子模块连接，能够通过相机拍摄具有采集对象的人脸的图像，并生成图像文件；
录像子模块与相机检测和设置子模块连接，能够通过相机录制具有采集对象的人脸的视频图像，并生成图像文件；
面部特征标记子模块分别与拍照子模块和录像子模块连接，能够对通过拍照子模块拍摄的图像中的人脸或通过录像子模块录制的视频图像中的人脸进行面部特征点标记，并生成标记文件，标记文件和图像文件一一对应并存储于同一个图像文件夹；
存储子模块分别与相机检测和设置子模块、拍照子模块、录像子模块、视频播放子模块、面部特征标记子模块以及视频导入编辑子模块连接，上述基本表情图像和图像文件夹均存储于存储子模块。
CN201710941471.6A 2017-10-11 2017-10-11 视频面部贴图特效处理方法及生成系统 Active CN107679497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710941471.6A CN107679497B (zh) 2017-10-11 2017-10-11 视频面部贴图特效处理方法及生成系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710941471.6A CN107679497B (zh) 2017-10-11 2017-10-11 视频面部贴图特效处理方法及生成系统

Publications (2)

Publication Number Publication Date
CN107679497A true CN107679497A (zh) 2018-02-09
CN107679497B CN107679497B (zh) 2023-06-27

Family

ID=61140131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710941471.6A Active CN107679497B (zh) 2017-10-11 2017-10-11 视频面部贴图特效处理方法及生成系统

Country Status (1)

Country Link
CN (1) CN107679497B (zh)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540790A (zh) * 2018-04-24 2018-09-14 深圳超多维科技有限公司 一种用于移动终端的立体图像获取方法、装置及移动终端
CN108537725A (zh) * 2018-04-10 2018-09-14 光锐恒宇（北京）科技有限公司 一种视频处理方法和装置
CN108696699A (zh) * 2018-04-10 2018-10-23 光锐恒宇（北京）科技有限公司 一种视频处理的方法和装置
CN108769562A (zh) * 2018-06-29 2018-11-06 广州酷狗计算机科技有限公司 生成特效视频的方法和装置
CN108846878A (zh) * 2018-06-07 2018-11-20 奇酷互联网络科技（深圳）有限公司 人脸贴图生成方法、装置、可读存储介质及移动终端
CN108958610A (zh) * 2018-07-27 2018-12-07 北京微播视界科技有限公司 基于人脸的特效生成方法、装置和电子设备
CN109086711A (zh) * 2018-07-27 2018-12-25 华南理工大学 人脸特征分析方法、装置、计算机设备和存储介质
CN109299658A (zh) * 2018-08-21 2019-02-01 腾讯科技（深圳）有限公司 脸部检测方法、脸部图像渲染方法、装置及存储介质
CN109377543A (zh) * 2018-10-29 2019-02-22 广东明星创意动画有限公司 一种快速创建材质连接的方法
CN109587397A (zh) * 2018-12-03 2019-04-05 深圳市优炫智科科技有限公司 基于人脸检测动态贴图的儿童相机及其动态贴图方法
CN109740431A (zh) * 2018-11-26 2019-05-10 深圳艺达文化传媒有限公司 自拍视频的头像画面的眉毛处理方法及相关产品
CN109948625A (zh) * 2019-03-07 2019-06-28 上海汽车集团股份有限公司 文本图像清晰度评估方法及系统、计算机可读存储介质
CN110148199A (zh) * 2018-02-11 2019-08-20 北京新唐思创教育科技有限公司 基于课件的涂鸦区域生成方法及计算机存储介质
CN110363787A (zh) * 2018-03-26 2019-10-22 北京市商汤科技开发有限公司 信息获取方法和系统、电子设备、程序和介质
CN110503724A (zh) * 2019-08-19 2019-11-26 北京猫眼视觉科技有限公司 一种基于人脸特征点的ar表情资源构建管理系统及方法
CN110582020A (zh) * 2019-09-03 2019-12-17 北京达佳互联信息技术有限公司 视频生成方法、装置、电子设备及存储介质
CN110619262A (zh) * 2019-04-17 2019-12-27 深圳爱莫科技有限公司 图像识别的方法及装置
CN110708591A (zh) * 2018-07-10 2020-01-17 杭州海康威视系统技术有限公司 一种图像处理方法、装置及电子设备
CN110933452A (zh) * 2019-12-02 2020-03-27 广州酷狗计算机科技有限公司 萌脸礼物显示方法、装置及存储介质
CN110942426A (zh) * 2019-12-11 2020-03-31 广州酷狗计算机科技有限公司 图像处理的方法、装置、计算机设备和存储介质
CN110996183A (zh) * 2019-07-12 2020-04-10 北京达佳互联信息技术有限公司 视频摘要的生成方法、装置、终端及存储介质
CN111145082A (zh) * 2019-12-23 2020-05-12 五八有限公司 人脸图像处理方法、装置、电子设备及存储介质
CN111225232A (zh) * 2018-11-23 2020-06-02 北京字节跳动网络技术有限公司 基于视频的贴纸动画引擎、实现方法、服务器和介质
CN111617482A (zh) * 2020-06-04 2020-09-04 珠海金山网络游戏科技有限公司 一种模型贴图编辑方法及装置
CN111667403A (zh) * 2020-07-02 2020-09-15 北京爱笔科技有限公司 一种有遮挡的人脸图像的生成方法及装置
CN111783599A (zh) * 2020-06-24 2020-10-16 东风汽车有限公司 一种人脸活体识别方法及电子设备
CN112132044A (zh) * 2020-09-24 2020-12-25 天津锋物科技有限公司 一种基于人脸对齐及仿射变换的人脸贴纸产生方法
CN112365521A (zh) * 2020-12-08 2021-02-12 萱闱(北京)生物科技有限公司 终端设备的速度监测方法、装置、介质和计算设备
CN112529985A (zh) * 2019-09-17 2021-03-19 北京字节跳动网络技术有限公司 图像处理方法及装置
CN113344836A (zh) * 2021-06-28 2021-09-03 展讯通信（上海）有限公司 人脸图像处理方法及装置、计算机可读存储介质、终端
CN113613067A (zh) * 2021-08-03 2021-11-05 北京字跳网络技术有限公司 视频处理方法、装置、设备及存储介质
CN113763287A (zh) * 2021-09-27 2021-12-07 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN114092678A (zh) * 2021-11-29 2022-02-25 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114125304A (zh) * 2021-11-30 2022-03-01 维沃移动通信有限公司 拍摄方法及其装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227976B1 (en) * 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
CN102436668A (zh) * 2011-09-05 2012-05-02 上海大学 京剧脸谱自动化妆方法
US20120163659A1 (en) * 2010-12-22 2012-06-28 Yasuo Asakura Imaging apparatus, imaging method, and computer readable storage medium
CN103607554A (zh) * 2013-10-21 2014-02-26 无锡易视腾科技有限公司 一种基于全自动人脸无缝合成的视频合成方法
CN104715447A (zh) * 2015-03-02 2015-06-17 百度在线网络技术（北京）有限公司 图像合成方法和装置
CN104778712A (zh) * 2015-04-27 2015-07-15 厦门美图之家科技有限公司 一种基于仿射变换的人脸贴图方法和系统
WO2017041295A1 (en) * 2015-09-11 2017-03-16 Intel Corporation Real-time face beautification features for video images
WO2017124929A1 (zh) * 2016-01-21 2017-07-27 腾讯科技（深圳）有限公司 确定人脸转动角度的方法、装置及计算机存储介质
JP2017147621A (ja) * 2016-02-17 2017-08-24 株式会社メイクソフトウェア 画像処理装置、画像処理方法及びコンピュータプログラム
CN107122774A (zh) * 2017-03-28 2017-09-01 武汉斗鱼网络科技有限公司 一种随图像中关键点移动的自适应贴图方法和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227976B1 (en) * 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
US20120163659A1 (en) * 2010-12-22 2012-06-28 Yasuo Asakura Imaging apparatus, imaging method, and computer readable storage medium
CN102436668A (zh) * 2011-09-05 2012-05-02 上海大学 京剧脸谱自动化妆方法
CN103607554A (zh) * 2013-10-21 2014-02-26 无锡易视腾科技有限公司 一种基于全自动人脸无缝合成的视频合成方法
CN104715447A (zh) * 2015-03-02 2015-06-17 百度在线网络技术（北京）有限公司 图像合成方法和装置
CN104778712A (zh) * 2015-04-27 2015-07-15 厦门美图之家科技有限公司 一种基于仿射变换的人脸贴图方法和系统
WO2017041295A1 (en) * 2015-09-11 2017-03-16 Intel Corporation Real-time face beautification features for video images
WO2017124929A1 (zh) * 2016-01-21 2017-07-27 腾讯科技（深圳）有限公司 确定人脸转动角度的方法、装置及计算机存储介质
JP2017147621A (ja) * 2016-02-17 2017-08-24 株式会社メイクソフトウェア 画像処理装置、画像処理方法及びコンピュータプログラム
CN107122774A (zh) * 2017-03-28 2017-09-01 武汉斗鱼网络科技有限公司 一种随图像中关键点移动的自适应贴图方法和系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
NA YUAN;ET AL.: "Mapping the Peking Opera Facial Makeup onto Human Face in Video Sequences" *
WANG JIN;ET AL.: "Video–based facial animation with detailed appearance texture" *
刘景云;: "为视频"粘贴"精美贴图", 电脑知识与技术(经验技巧) *
戴振龙;等: "基于MPEG-4的人脸表情图像变形研究" *
金彪;等: "基于单幅图像的人脸三维建模研究" *

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148199A (zh) * 2018-02-11 2019-08-20 北京新唐思创教育科技有限公司 基于课件的涂鸦区域生成方法及计算机存储介质
CN110148199B (zh) * 2018-02-11 2021-06-04 北京新唐思创教育科技有限公司 基于课件的涂鸦区域生成方法及计算机存储介质
CN110363787A (zh) * 2018-03-26 2019-10-22 北京市商汤科技开发有限公司 信息获取方法和系统、电子设备、程序和介质
CN108537725A (zh) * 2018-04-10 2018-09-14 光锐恒宇（北京）科技有限公司 一种视频处理方法和装置
CN108696699A (zh) * 2018-04-10 2018-10-23 光锐恒宇（北京）科技有限公司 一种视频处理的方法和装置
CN108540790A (zh) * 2018-04-24 2018-09-14 深圳超多维科技有限公司 一种用于移动终端的立体图像获取方法、装置及移动终端
CN108846878A (zh) * 2018-06-07 2018-11-20 奇酷互联网络科技（深圳）有限公司 人脸贴图生成方法、装置、可读存储介质及移动终端
WO2019233256A1 (zh) * 2018-06-07 2019-12-12 奇酷互联网络科技（深圳）有限公司 人脸贴图生成方法、装置、可读存储介质及移动终端
CN108769562A (zh) * 2018-06-29 2018-11-06 广州酷狗计算机科技有限公司 生成特效视频的方法和装置
CN110708591A (zh) * 2018-07-10 2020-01-17 杭州海康威视系统技术有限公司 一种图像处理方法、装置及电子设备
CN110708591B (zh) * 2018-07-10 2022-04-26 杭州海康威视系统技术有限公司 一种图像处理方法、装置及电子设备
CN108958610A (zh) * 2018-07-27 2018-12-07 北京微播视界科技有限公司 基于人脸的特效生成方法、装置和电子设备
CN109086711A (zh) * 2018-07-27 2018-12-25 华南理工大学 人脸特征分析方法、装置、计算机设备和存储介质
CN109086711B (zh) * 2018-07-27 2021-11-16 华南理工大学 人脸特征分析方法、装置、计算机设备和存储介质
US11354825B2 (en) 2018-07-27 2022-06-07 Beijing Microlive Vision Technology Co., Ltd Method, apparatus for generating special effect based on face, and electronic device
CN109299658A (zh) * 2018-08-21 2019-02-01 腾讯科技（深圳）有限公司 脸部检测方法、脸部图像渲染方法、装置及存储介质
CN109299658B (zh) * 2018-08-21 2022-07-08 腾讯科技（深圳）有限公司 脸部检测方法、脸部图像渲染方法、装置及存储介质
CN109377543B (zh) * 2018-10-29 2022-04-15 广东明星创意动画有限公司 一种快速创建材质连接的方法
CN109377543A (zh) * 2018-10-29 2019-02-22 广东明星创意动画有限公司 一种快速创建材质连接的方法
CN111225232A (zh) * 2018-11-23 2020-06-02 北京字节跳动网络技术有限公司 基于视频的贴纸动画引擎、实现方法、服务器和介质
CN109740431A (zh) * 2018-11-26 2019-05-10 深圳艺达文化传媒有限公司 自拍视频的头像画面的眉毛处理方法及相关产品
CN109740431B (zh) * 2018-11-26 2021-11-16 深圳艺达文化传媒有限公司 自拍视频的头像画面的眉毛处理方法及相关产品
CN109587397A (zh) * 2018-12-03 2019-04-05 深圳市优炫智科科技有限公司 基于人脸检测动态贴图的儿童相机及其动态贴图方法
CN109948625A (zh) * 2019-03-07 2019-06-28 上海汽车集团股份有限公司 文本图像清晰度评估方法及系统、计算机可读存储介质
CN110619262B (zh) * 2019-04-17 2023-09-01 深圳爱莫科技有限公司 图像识别的方法及装置
CN110619262A (zh) * 2019-04-17 2019-12-27 深圳爱莫科技有限公司 图像识别的方法及装置
CN110996183B (zh) * 2019-07-12 2022-01-21 北京达佳互联信息技术有限公司 视频摘要的生成方法、装置、终端及存储介质
CN110996183A (zh) * 2019-07-12 2020-04-10 北京达佳互联信息技术有限公司 视频摘要的生成方法、装置、终端及存储介质
CN110503724A (zh) * 2019-08-19 2019-11-26 北京猫眼视觉科技有限公司 一种基于人脸特征点的ar表情资源构建管理系统及方法
CN110582020A (zh) * 2019-09-03 2019-12-17 北京达佳互联信息技术有限公司 视频生成方法、装置、电子设备及存储介质
CN112529985A (zh) * 2019-09-17 2021-03-19 北京字节跳动网络技术有限公司 图像处理方法及装置
CN110933452A (zh) * 2019-12-02 2020-03-27 广州酷狗计算机科技有限公司 萌脸礼物显示方法、装置及存储介质
CN110942426A (zh) * 2019-12-11 2020-03-31 广州酷狗计算机科技有限公司 图像处理的方法、装置、计算机设备和存储介质
CN111145082A (zh) * 2019-12-23 2020-05-12 五八有限公司 人脸图像处理方法、装置、电子设备及存储介质
CN111617482A (zh) * 2020-06-04 2020-09-04 珠海金山网络游戏科技有限公司 一种模型贴图编辑方法及装置
CN111617482B (zh) * 2020-06-04 2024-02-06 珠海金山数字网络科技有限公司 一种模型贴图编辑方法及装置
CN111783599B (zh) * 2020-06-24 2023-08-18 东风汽车有限公司 一种人脸活体识别方法及电子设备
CN111783599A (zh) * 2020-06-24 2020-10-16 东风汽车有限公司 一种人脸活体识别方法及电子设备
CN111667403B (zh) * 2020-07-02 2023-04-18 北京爱笔科技有限公司 一种有遮挡的人脸图像的生成方法及装置
CN111667403A (zh) * 2020-07-02 2020-09-15 北京爱笔科技有限公司 一种有遮挡的人脸图像的生成方法及装置
CN112132044A (zh) * 2020-09-24 2020-12-25 天津锋物科技有限公司 一种基于人脸对齐及仿射变换的人脸贴纸产生方法
CN112365521A (zh) * 2020-12-08 2021-02-12 萱闱(北京)生物科技有限公司 终端设备的速度监测方法、装置、介质和计算设备
CN112365521B (zh) * 2020-12-08 2021-08-27 萱闱(北京)生物科技有限公司 终端设备的速度监测方法、装置、介质和计算设备
CN113344836A (zh) * 2021-06-28 2021-09-03 展讯通信（上海）有限公司 人脸图像处理方法及装置、计算机可读存储介质、终端
CN113613067B (zh) * 2021-08-03 2023-08-22 北京字跳网络技术有限公司 视频处理方法、装置、设备及存储介质
CN113613067A (zh) * 2021-08-03 2021-11-05 北京字跳网络技术有限公司 视频处理方法、装置、设备及存储介质
CN113763287A (zh) * 2021-09-27 2021-12-07 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN114092678A (zh) * 2021-11-29 2022-02-25 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114125304A (zh) * 2021-11-30 2022-03-01 维沃移动通信有限公司 拍摄方法及其装置
CN114125304B (zh) * 2021-11-30 2024-04-30 维沃移动通信有限公司 拍摄方法及其装置

Also Published As

Publication number Publication date
CN107679497B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN107679497B (zh) 视频面部贴图特效处理方法及生成系统
US11978243B2 (en) System and method using augmented reality for efficient collection of training data for machine learning
US10854006B2 (en) AR-enabled labeling using aligned CAD models
US20210090608A1 (en) Video processing method, device and electronic equipment
US10074161B2 (en) Sky editing based on image composition
US8947422B2 (en) Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-D images into stereoscopic 3-D images
US8422794B2 (en) System for matching artistic attributes of secondary image and template to a primary image
US8849853B2 (en) Method for matching artistic attributes of a template and secondary images to a primary image
US6249285B1 (en) Computer assisted mark-up and parameterization for scene analysis
CN107516319A (zh) 一种高精度简易交互式抠图方法、存储设备及终端
US20110029553A1 (en) System for coordinating user images in an artistic design
US20110026839A1 (en) Artistic digital template for image display
US20110029562A1 (en) Coordinating user images in an artistic design
US8332427B2 (en) Method of generating artistic template designs
US20110026836A1 (en) Context coordination for an artistic digital template for image display
WO2022197431A1 (en) Methods and systems for personalized 3d head model deformation
WO2022197428A1 (en) Methods and systems for constructing facial position map
CN116648733A (zh) 用于从面部图像提取颜色的方法和系统
KR20230110787A (ko) 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들
US20110149039A1 (en) Device and method for producing new 3-d video representation from 2-d video
US20210349308A1 (en) System and method for video processing using a virtual reality device
CN112866507B (zh) 智能化的全景视频合成方法、系统、电子设备及介质
Loscos et al. High-dynamic range imaging for dynamic scenes
Jacobs et al. Dynamic image stacks
CN114363521B (zh) 图像处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230517

Address after: 518, Building D, Yinhe Building, Lixia District, Jinan City, Shandong Province, 250098

Applicant after: Shandong Xinrui Information Technology Co.,Ltd.

Address before: 250353 Qilu Industrial University, 3501 University Road, Changqing District, Ji'nan, Shandong

Applicant before: Qilu University of Technology

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant