CN110096925B - 人脸表情图像的增强方法、获取方法和装置 - Google Patents

人脸表情图像的增强方法、获取方法和装置 Download PDF

Info

Publication number
CN110096925B
CN110096925B CN201810088310.1A CN201810088310A CN110096925B CN 110096925 B CN110096925 B CN 110096925B CN 201810088310 A CN201810088310 A CN 201810088310A CN 110096925 B CN110096925 B CN 110096925B
Authority
CN
China
Prior art keywords
face
image
initial
target
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810088310.1A
Other languages
English (en)
Other versions
CN110096925A (zh
Inventor
韩璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Potevio Information Technology Co Ltd
Original Assignee
Potevio Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Potevio Information Technology Co Ltd filed Critical Potevio Information Technology Co Ltd
Priority to CN201810088310.1A priority Critical patent/CN110096925B/zh
Publication of CN110096925A publication Critical patent/CN110096925A/zh
Application granted granted Critical
Publication of CN110096925B publication Critical patent/CN110096925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种人脸表情图像的增强方法、获取方法和装置，其中增强方法包括：步骤101：解算单姿态人脸图像中的人脸特征点的二维坐标，记为初始二维坐标；步骤102：将初始二维坐标映射为初始三维坐标，并确定单姿态人脸图像的初始姿态；步骤103：调整3D人脸模型的人脸特征点的模型坐标，使得处于初始姿态的模型坐标为初始三维坐标的等比例缩放；将单姿态人脸图像的面部纹理特征映射到调整后3D人脸模型中，形成目标3D人脸模型；步骤104：将目标3D人脸模型与人脸各类3D表情基进行特征融合，和/或改变目标3D人脸模型的姿态，输出不同姿态与表情的衍生人脸图像。基于本发明的方法，可以解决样本数据不足问题，并降低样本数据采集与标注的工作量。

Description

人脸表情图像的增强方法、获取方法和装置
技术领域
本发明涉及计算机领域，特别涉及一种人脸表情图像的增强方法、获取方法和装置。
背景技术
随着计算机视觉技术的不断发展，人脸识别相关算法层出不穷，基于深度学习的人脸识别算法在理想的实验环境下，已达到相当高的识别准确率，但这样的高识别准确率，需要采集与标注大量的人脸样本数据集进行模型的训练。
在现实场景中，人体头部在三维坐标系中的旋转会造成面部的左右、俯仰与平面内旋转角度的变化，从而导致面部信息的部分缺失；面部表情的变化会造成人脸眼睛、嘴、鼻子等特征点位置的变化。因此，在实际应用场景中，人脸识别效果面临着人脸姿态与表情等方面的挑战。
为了在实际应用场景中获得较好的识别效果，模型训练样本中不仅要包含正脸图，还需要包含不同人脸姿态与表情的人脸样本数据。但是样本数据的采集与人工标注需要花费大量的人力与物力，目前的样本数据远不能满足人脸识别模型的训练需求。
发明内容
有鉴于此，本发明提供一种人脸表情图像的增强方法、获取方法和装置，以解决目前人脸识别算法存在样本数据不足问题。
本发明提供一种人脸表情图像的增强方法，该方法包括
步骤101：检测单姿态人脸图像中的人脸特征点，并解算人脸特征点在相机图像坐标系中的二维坐标，记为初始二维坐标；
步骤102：基于成像原理将初始二维坐标映射为初始三维坐标，基于初始三维坐标，确定单姿态人脸图像的初始姿态；
步骤103：调整3D人脸模型的人脸特征点的模型坐标，使得处于初始姿态的3D人脸模型的人脸特征点的模型坐标为初始三维坐标的等比例缩放；将单姿态人脸图像中人脸的面部文理特征映射到调整后3D人脸模型相应区域，形成目标3D人脸模型；
步骤104：将目标3D人脸模型与人脸各类3D表情基进行特征融合，和/或改变目标3D人脸模型的姿态，得到不同姿态与表情的目标3D人脸模型；将不同姿态与表情的目标3D人脸模型映射并渲染回单姿态人脸图像，输出不同姿态与表情的衍生人脸图像。
本发明还提供一种人脸表情的获取方法，该方法包括：
步骤201：输入待测视频数据；
步骤202：对待测视频数据进行人脸检测，若检测到人脸，则将人脸编号后执行步骤203；
步骤203：根据人脸编号，跟踪待测视频数据中的人脸编号对应的目标人脸图像，如果跟踪到小于第一预设值的目标人脸图像，则执行步骤204；
步骤204：将目标人脸图像中的一张图像作为单姿态人脸图像，执行步骤205；
步骤205：检测单姿态人脸图像中的人脸特征点，并解算人脸特征点在相机图像坐标系中的二维坐标，记为初始二维坐标；
步骤206：基于成像原理将初始二维坐标映射为初始三维坐标，基于初始三维坐标，确定单姿态人脸图像的初始姿态。
步骤207：调整3D人脸模型的人脸特征点的模型坐标，使得处于初始姿态的3D人脸模型的人脸特征点的模型坐标为初始三维坐标的等比例缩放；将单姿态人脸图像中人脸的面部文理特征映射到调整后3D人脸模型相应区域，形成目标3D人脸模型。
步骤208：将目标3D人脸模型与人脸各类3D表情基进行特征融合，和/或改变目标3D人脸模型的姿态，得到不同姿态与表情的目标3D人脸模型；将不同姿态与表情的目标3D人脸模型映射并渲染回单姿态人脸图像，输出不同姿态与表情的衍生人脸图像，返回步骤202，继续追踪待测视频数据中的其他人脸。
本发明提供一种人脸表情图像的增强装置，该方法包括
单姿态人脸图像检测模块：检测单姿态人脸图像中的人脸特征点，并解算人脸特征点在相机图像坐标系中的二维坐标，记为初始二维坐标；
初始三维坐标计算模块：基于成像原理将初始二维坐标映射为初始三维坐标，基于初始三维坐标，确定单姿态人脸图像的初始姿态；
3D人脸模型调整模块：调整3D人脸模型的人脸特征点的模型坐标，使得处于初始姿态的3D人脸模型的人脸特征点的模型坐标为初始三维坐标的等比例缩放；将单姿态人脸图像中人脸的面部文理特征映射到调整后3D人脸模型相应区域，形成目标3D人脸模型；
衍生人脸图像生成模块：将目标3D人脸模型与人脸各类3D表情基进行特征融合，和/或改变目标3D人脸模型的姿态，得到不同姿态与表情的目标3D人脸模型；将不同姿态与表情的目标3D人脸模型映射并渲染回单姿态人脸图像，输出不同姿态与表情的衍生人脸图像。
本发明还提供一种人脸表情的获取装置，该方法包括：
视频输入模块：输入待测视频数据；
视频人脸检测模块：对待测视频数据进行人脸检测，若检测到人脸，则将人脸编号后执行判断模块；
判断模块：根据人脸编号，跟踪待测视频数据中的所述人脸编号对应的目标人脸图像，如果跟踪到小于第一预设值的目标人脸图像，则执行单姿态人脸图像选择模块；
单姿态人脸图像选择模块：将目标人脸图像中的一张图像作为单姿态人脸图像，执行单姿态人脸图像检测模块；
单姿态人脸图像检测模块：检测单姿态人脸图像中的人脸特征点，并解算人脸特征点在相机图像坐标系中的二维坐标，记为初始二维坐标；
初始三维坐标计算模块：基于成像原理将初始二维坐标映射为初始三维坐标，基于初始三维坐标，确定单姿态人脸图像的初始姿态；
3D人脸模型调整模块：调整3D人脸模型的人脸特征点的模型坐标，使得处于初始姿态的3D人脸模型的人脸特征点的模型坐标为初始三维坐标的等比例缩放；将单姿态人脸图像中人脸的面部文理特征映射到调整后3D人脸模型相应区域，形成目标3D人脸模型；
衍生人脸图像生成模块：将目标3D人脸模型与人脸各类3D表情基进行特征融合，和/或改变目标3D人脸模型的姿态，得到不同姿态与表情的目标3D人脸模型；将不同姿态与表情的目标3D人脸模型映射并渲染回单姿态人脸图像，输出不同姿态与表情的衍生人脸图像，返回视频人脸检测模块，继续追踪待测视频数据中的其他人脸。
本发明提出了一种在实际应用中，针对人脸姿态与表情的自动化数据增强方法，能够在不同应用场景中自动采集或生成人脸不同姿态与表情的图像集，解决样本数据不足问题，并降低样本数据采集与标注的工作量。
使用发明方法得到的衍生人脸图像训练人脸识别算法，可增强人脸识别算法在现实应用场景中的鲁棒性，有效降低人脸姿态与表情对算法识别效果的影响，提高人脸识别算法的识别精度。
附图说明
图1为本发明人脸表情图像的增强方法的流程图；
图2为本发明人脸表情图像的获取方法的流程图；
图3为本发明人脸表情图像的增强装置的结构图；
图4为本发明人脸表情图像的获取装置的结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
人脸识别算法所需的样本数据，可以通过提取各种视频监控设备中的人脸图像，并对人脸图像进行人工标注形成样本数据。一般，在火车站、小区、街道等监控场景中，能够通过视频跟踪获取不同脸部姿态与表情的图像；但机场卡口、公安监控等特殊应用场景中，获取不同脸部姿态与表情图像难度较大。
基于此，如图1所示，本发明提供一种人脸表情图像的增强方法，特别适用于上述机场卡口、公安监控等特殊应用场景，如图1所示，该方法包括以下步骤：
步骤101(S101)：检测单姿态人脸图像中的人脸特征点，并解算人脸特征点在相机图像坐标系中的二维坐标，记为初始二维坐标；
步骤102(S102)：基于成像原理将初始二维坐标映射为初始三维坐标，基于初始三维坐标，确定单姿态人脸图像的初始姿态；
步骤103(S103)：调整3D人脸模型的人脸特征点的模型坐标，使得处于初始姿态的3D人脸模型的人脸特征点的模型坐标为初始三维坐标的等比例缩放；将单姿态人脸图像中人脸的面部文理特征映射到调整后3D人脸模型相应区域，形成目标3D人脸模型；
本申请步骤103中的3D人脸模型是指通用的3D人脸模型。
假设某一个特征点的初始三维坐标为(k1，k2，k3)，调整3D人脸模型中该特征点的模型坐标，使得该特征点的模型坐标为(ak1，ak2，ak3)，a为缩放比例，应确保所有特征点的缩放比例a相同。
步骤104(S104)：将目标3D人脸模型与人脸各类3D表情基进行特征融合，和/或改变目标3D人脸模型的姿态，得到不同姿态与表情的目标3D人脸模型；将不同姿态与表情的目标3D人脸模型映射并渲染回单姿态人脸图像，输出不同姿态与表情的衍生人脸图像。
本申请中的单姿态人脸图像泛指普通的人脸图像，其定语“单姿态”是为了与步骤104输出的“不同姿态与表情(多表情多姿态)”的衍生图像构成对比说明，以突出输入与输出的差异。
基于步骤101-步骤103，可建立初始二维坐标与模型坐标的映射关系，基于该映射关系，步骤104可将目标3D人脸模型的模型坐标映射回单姿态人脸图像。
其中，步骤102中的实现原理如下：根据相机标定的原理，取相机矩阵M＝K[R t]，其中K为内参数矩阵、R和t为旋转和平移外参数矩阵，在相机没有偏差状态下K只与焦距相关，R和t则分别描述了相机把物体从空间坐标系转换到相机坐标系的旋转与平移情况。利用相机矩阵参数可以建立空间三维坐标系与相机图像坐标系的映射关系。
本发明中的姿态信息对应参数R，R包含了3D头部姿态相对于图像的旋转角度信息，通过变换相机矩阵Rθ∈R3×3的旋转矩阵，可以得到不同姿态人脸图像，θ∈{pitch,roll,yaw}分别对应俯仰、平面内左右翻转、平面内旋转的角度，从而产生俯仰、左右与旋转三个方向的不同姿态人脸图像。
本申请图1的方法，可以基于单姿态人脸图像自动生成多姿态、多表情的衍生人脸图像，实现人脸图像的数据集增强，解决样本数据不足和不均衡问题，降低在样本采集工作。
优先地，人脸特征点至少包括眼睛轮廓、鼻尖、嘴唇轮廓，优先确保3D人脸模型的五官与单姿态人脸图像的五官一致，减少人脸特征信息的丢失，生成接近真实的3D人脸模型。需要说明的是，本申请提到的“眼睛轮廓”为双眼轮廓。在侧面人脸图像中，有时候只能检测到单眼轮廓坐标，此时，可以基于对称原理，得到另一个眼睛轮廓的坐标。
进一步地，还可以使3D人脸模型的脸部轮廓与单姿态人脸图像的脸部轮廓一致，使得3D人脸模型的整体轮廓与单姿态人脸图像一致。
优先地，衍生人脸图像包括标注信息，标注信息为衍生人脸图像对应的目标3D人脸模型的姿态和表情信息(3D表情基信息)。如此，无需人工标注，就可以获得包含姿态和表情信息的多姿态、多表情衍生人脸图像，进一步降低训练样本采集与标注的工作量。
使用发明方法得到的衍生人脸图像训练人脸识别算法，可增强人脸识别算法在现实应用场景中的鲁棒性，有效降低人脸姿态与表情对算法识别效果的影响，提高人脸识别算法的识别精度。
优先地，为了确保衍生人脸图像与单姿态人脸图像的姿态或表情不同，图1步骤104还包括，通过比较初始二维坐标与人脸各类3D表情基的映射比，确定单姿态人脸图像人脸的初始表情；使衍生人脸图像的姿态和/或表情与单姿态人脸图像的初始姿态和/或初始表情不同。
根据单姿态人脸图像的初始姿态和初始表情，可以使得目标3D人脸模型的姿态和/或表情与所述初始姿态和/或初始表情不同，从而使得衍生人脸图像的姿态和/或表情与所述初始姿态和/或初始表情不同，避免样本数据冲突。
如图2所示，本发明还包括一种人脸表情图像的获取方法，包括以下步骤：
步骤201(S201)：输入待测视频数据。
待测视频数据可以是监控设备获取的实时视频数据，也可以是历史视频数据，为了扩大人脸识别算法的训练样本，任何包含人脸的视频数据均适用本发明图2的方法。
步骤202(S202)：对待测视频数据进行人脸检测，若检测到人脸，则将人脸编号后执行步骤203。
基于人脸检测算法对待测视频数据进行人脸检测。
步骤203(S203)：根据人脸编号，跟踪待测视频数据中的人脸编号对应的目标人脸图像，如果跟踪到小于第一预设值的目标人脸图像，则执行步骤204。
目标人脸图像对应待测视频数据中的静态帧，跟踪到小于第一预设值的目标人脸图像，说明目标人脸图像存在数据量不足、不均衡的问题，不符合样本数据多姿态、多表情的要求。
步骤204(S204)：将目标人脸图像中的一张图像作为单姿态人脸图像，执行步骤205。
可选地，步骤204也可以是，将目标人脸图像中最清晰或最接近正脸的图像作为单姿态人脸图像。
步骤205(S205)：检测单姿态人脸图像中的人脸特征点，并解算人脸特征点在相机图像坐标系中的二维坐标，记为初始二维坐标。
步骤206(S206)：基于成像原理将初始二维坐标映射为初始三维坐标，基于初始三维坐标，确定单姿态人脸图像的初始姿态。
步骤207(S207)：调整3D人脸模型的人脸特征点的模型坐标，使得处于初始姿态的3D人脸模型的人脸特征点的模型坐标为初始三维坐标的等比例缩放；将单姿态人脸图像中人脸的面部文理特征映射到调整后3D人脸模型相应区域，形成目标3D人脸模型。
步骤208(S208)：将目标3D人脸模型与人脸各类3D表情基进行特征融合，和/或改变目标3D人脸模型的姿态，得到不同姿态与表情的目标3D人脸模型；将不同姿态与表情的目标3D人脸模型映射并渲染回单姿态人脸图像，输出不同姿态与表情的衍生人脸图像，返回步骤202，继续追踪所述待测视频数据中的其他人脸。
优先地，衍生人脸图像包括标注信息，标注信息为衍生人脸图像对应的目标3D人脸模型的姿态和表情信息。
进一步地，步骤203还包括，如果跟踪到大于等于第一预设值的目标人脸图像，则执行步骤209；
步骤209：对大于等于第一预设值的目标人脸图像进行标注和存储，标注内容包括人脸的姿态和表情信息。
步骤209中的标注为人工标注，即现有技术处理人脸图像的方法。图2的方法包含了步骤209后，不仅采集了待测视频数据中的人脸图像，同时对其中的只有少量姿态或表情的人脸图像进行了数据集增强，最大限度生成了样本数据，解决样本数据不足和不均衡问题，并降低样本数据采集与标注的工作量。
此外，为了进一步提高图1的增强方法的输出效果，可使用步骤209得到的样本数据与图1方法输出的衍生人脸图像进行对比，通过对比结果对图1方法进行校正，不断优化图1的增强方法，使得衍生人脸图像更接近真实效果。
如图3所示，本发明还包括一种人脸表情图像的增强装置，该装置包括：
单姿态人脸图像检测模块：检测单姿态人脸图像中的人脸特征点，并解算人脸特征点在相机图像坐标系中的二维坐标，记为初始二维坐标；
初始三维坐标计算模块：基于成像原理将初始二维坐标映射为初始三维坐标，基于初始三维坐标，确定单姿态人脸图像的初始姿态；
3D人脸模型调整模块：调整3D人脸模型的人脸特征点的模型坐标，使得处于初始姿态的3D人脸模型的人脸特征点的模型坐标为初始三维坐标的等比例缩放；将单姿态人脸图像中人脸的面部文理特征映射到调整后3D人脸模型相应应区域，形成目标3D人脸模型；
衍生人脸图像生成模块：将目标3D人脸模型与人脸各类3D表情基进行特征融合，和/或改变目标3D人脸模型的姿态，得到不同姿态与表情的目标3D人脸模型；将不同姿态与表情的目标3D人脸模型映射并渲染回单姿态人脸图像，输出不同姿态与表情的衍生人脸图像。
在发明图3的装置中，人脸特征点至少包括眼睛轮廓、鼻尖、嘴唇轮廓。
在发明图3的装置中，衍生人脸图像还包括标注信息，标注信息为衍生人脸图像对应的目标3D人脸模型的姿态和表情信息。
在发明图3的装置中，衍生人脸图像生成模块还包括，通过比较所述初始二维坐标与人脸各类3D表情基的映射比，确定所述单姿态人脸图像人脸的初始表情；使所述衍生人脸图像的姿态和/或表情与所述单姿态人脸图像的初始姿态和/或初始表情不同。
如图4所示，本发明还包括一种人脸表情图像的获取装置，该装置包括：
视频输入模块：输入待测视频数据；
视频人脸检测模块：对待测视频数据进行人脸检测，若检测到人脸，则将人脸编号后执行判断模块；
判断模块：根据人脸编号，跟踪待测视频数据中的所述人脸编号对应的目标人脸图像，如果跟踪到小于第一预设值的目标人脸图像，则执行单姿态人脸图像选择模块；
单姿态人脸图像选择模块：将目标人脸图像中的一张图像作为单姿态人脸图像，执行单姿态人脸图像检测模块；
单姿态人脸图像检测模块：检测单姿态人脸图像中的人脸特征点，并解算人脸特征点在相机图像坐标系中的二维坐标，记为初始二维坐标；
初始三维坐标计算模块：基于成像原理将初始二维坐标映射为初始三维坐标，基于初始三维坐标，确定单姿态人脸图像的初始姿态；
3D人脸模型调整模块：调整3D人脸模型的人脸特征点的模型坐标，使得处于初始姿态的3D人脸模型的人脸特征点的模型坐标为初始三维坐标的等比例缩放；将单姿态人脸图像中人脸的面部文理特征映射到调整后3D人脸模型相应区域，形成目标3D人脸模型；
衍生人脸图像生成模块：将目标3D人脸模型与人脸各类3D表情基进行特征融合，和/或改变目标3D人脸模型的姿态，得到不同姿态与表情的目标3D人脸模型；将不同姿态与表情的目标3D人脸模型映射并渲染回单姿态人脸图像，输出不同姿态与表情的衍生人脸图像，返回视频人脸检测模块，继续追踪待测视频数据中的其他人脸。
在图4的装置中，衍生人脸图像包括标注信息，该标注信息为衍生人脸图像对应的目标3D人脸模型的姿态和表情信息。
在图4的装置中，判断模块还包括，如果跟踪到大于等于第一预设值的所述目标人脸图像，则执行视频图像采集模块；
视频图像采集模块：对大于等于第一预设值的目标人脸图像进行标注和存储，标注内容包括人脸的姿态和表情信息。
需要说明的是，本发明的人脸表情图像的增强装置和获取装置的实施例，与人脸表情图像的增强方法和获取方法的实施例原理相同，相关之处可以互相参照。
以上所述仅为本发明的较佳实施例而已，并不用以限定本发明的包含范围，凡在本发明技术方案的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种人脸表情图像的增强方法，其特征在于，所述方法包括：
步骤101：检测单姿态人脸图像中的人脸特征点，并解算所述人脸特征点在相机图像坐标系中的二维坐标，记为初始二维坐标；
步骤102：基于成像原理将所述初始二维坐标映射为初始三维坐标，基于所述初始三维坐标，确定所述单姿态人脸图像的初始姿态；
步骤103：调整3D人脸模型的人脸特征点的模型坐标，使得处于初始姿态的所述3D人脸模型的人脸特征点的模型坐标为所述初始三维坐标的等比例缩放；将所述单姿态人脸图像中人脸的面部纹理特征映射到所述调整后3D人脸模型的相应区域，形成目标3D人脸模型；
步骤104：将所述目标3D人脸模型与人脸各类3D表情基进行特征融合，和/或通过变换相机矩阵的旋转矩阵改变所述目标3D人脸模型的姿态，得到不同姿态与表情的目标3D人脸模型；将所述不同姿态与表情的目标3D人脸模型映射并渲染回所述单姿态人脸图像，输出不同姿态与表情的衍生人脸图像。
2.根据权利要求1的方法，其特征在于，所述人脸特征点至少包括眼睛轮廓、鼻尖、嘴唇轮廓。
3.根据权利要求1的方法，其特征在于，所述衍生人脸图像包括标注信息，所述标注信息为所述衍生人脸图像对应的所述目标3D人脸模型的姿态和表情信息。
4.根据权利要求1的方法，其特征在于所述步骤104还包括，通过比较所述初始二维坐标与人脸各类3D表情基的映射比，确定所述单姿态人脸图像中人脸的初始表情；使所述衍生人脸图像的姿态和/或表情与所述单姿态人脸图像的初始姿态和/或初始表情不同。
5.一种人脸表情图像的获取方法，其特征在于，所述方法包括以下步骤：
步骤201：输入待测视频数据；
步骤202：对所述待测视频数据进行人脸检测，若检测到人脸，则将所述人脸编号后执行步骤203；
步骤203：根据所述人脸编号，跟踪所述待测视频数据中的所述人脸编号对应的目标人脸图像，如果跟踪到小于第一预设值的所述目标人脸图像，则执行步骤204；
步骤204：将所述目标人脸图像中的一张图像作为单姿态人脸图像，执行步骤205；
步骤205：检测所述单姿态人脸图像中的人脸特征点，并解算所述人脸特征点在相机图像坐标系中的二维坐标，记为初始二维坐标；
步骤206：基于成像原理将所述初始二维坐标映射为初始三维坐标，基于所述初始三维坐标，确定所述单姿态人脸图像的初始姿态；
步骤207：调整3D人脸模型的人脸特征点的模型坐标，使得处于初始姿态的3D人脸模型的人脸特征点的模型坐标为所述初始三维坐标的等比例缩放；将所述单姿态人脸图像中人脸的面部文理特征映射到所述调整后3D人脸模型的相应区域，形成目标3D人脸模型；
步骤208：将所述目标3D人脸模型与人脸各类3D表情基进行特征融合，和/或通过变换相机矩阵的旋转矩阵改变所述目标3D人脸模型的姿态，得到不同姿态与表情的目标3D人脸模型；将所述不同姿态与表情的目标3D人脸模型映射并渲染回所述单姿态人脸图像，输出不同姿态与表情的衍生人脸图像，返回步骤202，继续追踪所述待测视频数据中的其他人脸。
6.根据权利要求5的方法，其特征在于，所述衍生人脸图像包括标注信息，所述标注信息为所述衍生人脸图像对应的所述目标3D人脸模型的姿态和表情信息。
7.根据权利要求5所述的方法，其特征在于，所述步骤203还包括，如果跟踪到大于等于第一预设值的所述目标人脸图像，则执行步骤209；
步骤209：对所述大于等于第一预设值的所述目标人脸图像进行标注和存储，所述标注内容包括人脸的姿态和表情信息。
8.一种人脸表情图像的增强装置，其特征在于，所述装置包括：
单姿态人脸图像检测模块：检测单姿态人脸图像中的人脸特征点，并解算所述人脸特征点在相机图像坐标系中的二维坐标，记为初始二维坐标；
初始三维坐标计算模块：基于成像原理将所述初始二维坐标映射为初始三维坐标，基于所述初始三维坐标，确定所述单姿态人脸图像的初始姿态；
3D人脸模型调整模块：调整3D人脸模型的人脸特征点的模型坐标，使得处于初始姿态的所述3D人脸模型的人脸特征点的模型坐标为所述初始三维坐标的等比例缩放；将所述单姿态人脸图像中人脸的面部文理特征映射到所述调整后3D人脸模型相应区域，形成目标3D人脸模型；
衍生人脸图像生成模块：将所述目标3D人脸模型与人脸各类3D表情基进行特征融合，和/或通过变换相机矩阵的旋转矩阵改变所述目标3D人脸模型的姿态，得到不同姿态与表情的目标3D人脸模型；将所述不同姿态与表情的目标3D人脸模型映射并渲染回所述单姿态人脸图像，输出不同姿态与表情的衍生人脸图像。
9.根据权利要求8的装置，其特征在于，所述人脸特征点至少包括眼睛轮廓、鼻尖、嘴唇轮廓。
10.根据权利要求8的装置，其特征在于，所述衍生人脸图像包括标注信息，所述标注信息为所述衍生人脸图像对应的所述目标3D人脸模型的姿态和表情信息。
11.根据权利要求8的装置，其特征在于所述衍生人脸图像生成模块还包括，通过比较所述初始二维坐标与人脸各类3D表情基的映射比，确定所述单姿态人脸图像人脸的初始表情；使所述衍生人脸图像的姿态和/或表情与所述单姿态人脸图像的初始姿态和/或初始表情不同。
12.一种人脸表情图像的获取装置，其特征在于，所述装置包括：
视频输入模块：输入待测视频数据；
视频人脸检测模块：对所述待测视频数据进行人脸检测，若检测到人脸，则将所述人脸编号后执行判断模块；
判断模块：根据所述人脸编号，跟踪所述待测视频数据中的所述人脸编号对应的目标人脸图像，如果跟踪到小于第一预设值的所述目标人脸图像，则执行单姿态人脸图像选择模块；
单姿态人脸图像选择模块：将所述目标人脸图像中的一张图像作为单姿态人脸图像，执行单姿态人脸图像检测模块；
单姿态人脸图像检测模块：检测所述单姿态人脸图像中的人脸特征点，并解算所述人脸特征点在相机图像坐标系中的二维坐标，记为初始二维坐标；
初始三维坐标计算模块：基于成像原理将所述初始二维坐标映射为初始三维坐标，基于所述初始三维坐标，确定所述单姿态人脸图像的初始姿态；
3D人脸模型调整模块：调整3D人脸模型的人脸特征点的模型坐标，使得处于初始姿态的3D人脸模型的人脸特征点的模型坐标为所述初始三维坐标的等比例缩放；将所述单姿态人脸图像中人脸的面部文理特征映射到所述调整后3D人脸模型相应区域，形成目标3D人脸模型；
衍生人脸图像生成模块：将所述目标3D人脸模型与人脸各类3D表情基进行特征融合，和/或通过变换相机矩阵的旋转矩阵改变所述目标3D人脸模型的姿态，得到不同姿态与表情的目标3D人脸模型；将所述不同姿态与表情的目标3D人脸模型映射并渲染回所述单姿态人脸图像，输出不同姿态与表情的衍生人脸图像，返回视频人脸检测模块，继续追踪所述待测视频数据中的其他人脸。
13.根据权利要求12的装置，其特征在于，所述衍生人脸图像包括标注信息，所述标注信息为所述衍生人脸图像对应的所述目标3D人脸模型的姿态和表情信息。
14.根据权利要求12所述的装置，其特征在于，所述判断模块还包括，如果跟踪到大于等于第一预设值的所述目标人脸图像，则执行视频图像采集模块；
视频图像采集模块：对所述大于等于第一预设值的所述目标人脸图像进行标注和存储，所述标注内容包括人脸的姿态和表情信息。
CN201810088310.1A 2018-01-30 2018-01-30 人脸表情图像的增强方法、获取方法和装置 Active CN110096925B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810088310.1A CN110096925B (zh) 2018-01-30 2018-01-30 人脸表情图像的增强方法、获取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810088310.1A CN110096925B (zh) 2018-01-30 2018-01-30 人脸表情图像的增强方法、获取方法和装置

Publications (2)

Publication Number Publication Date
CN110096925A CN110096925A (zh) 2019-08-06
CN110096925B true CN110096925B (zh) 2021-05-14

Family

ID=67442845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810088310.1A Active CN110096925B (zh) 2018-01-30 2018-01-30 人脸表情图像的增强方法、获取方法和装置

Country Status (1)

Country Link
CN (1) CN110096925B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503703B (zh) * 2019-08-27 2023-10-13 北京百度网讯科技有限公司 用于生成图像的方法和装置
CN110728193B (zh) * 2019-09-16 2022-10-04 连尚（新昌）网络科技有限公司 一种脸部图像丰富度特征的检测方法及设备
CN110796075B (zh) * 2019-10-28 2024-02-02 深圳前海微众银行股份有限公司 人脸多样性数据获取方法、装置、设备及可读存储介质
CN111008935B (zh) * 2019-11-01 2023-12-12 北京迈格威科技有限公司 一种人脸图像增强方法、装置、系统及存储介质
CN111028330B (zh) 2019-11-15 2023-04-07 腾讯科技（深圳）有限公司 三维表情基的生成方法、装置、设备及存储介质
CN110990604A (zh) * 2019-11-28 2020-04-10 浙江大华技术股份有限公司 图像底库生成方法、人脸识别方法和智能门禁系统
CN113301242A (zh) * 2020-02-21 2021-08-24 中兴通讯股份有限公司 拍摄方法、终端以及计算机可读存储介质
CN111445417B (zh) * 2020-03-31 2023-12-19 维沃移动通信有限公司 图像处理方法、装置、电子设备及介质
CN111507304B (zh) * 2020-04-29 2023-06-27 广州市百果园信息技术有限公司 自适应刚性先验模型训练方法、人脸跟踪方法及相关装置
CN113361419A (zh) * 2021-06-10 2021-09-07 百果园技术(新加坡)有限公司 一种图像处理方法、装置、设备及介质
CN116311407A (zh) * 2021-12-21 2023-06-23 北京字跳网络技术有限公司 表情模型确定方法、装置、设备及计算机可读存储介质
CN115239576B (zh) * 2022-06-15 2023-08-04 荣耀终端有限公司 一种照片优化方法、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123749A (zh) * 2014-07-23 2014-10-29 邢小月 一种图像处理方法及系统
CN104346824A (zh) * 2013-08-09 2015-02-11 汉王科技股份有限公司 基于单张人脸图像自动合成三维表情的方法及装置
CN104658025A (zh) * 2013-11-21 2015-05-27 大连佑嘉软件科技有限公司 基于特征点的人脸表情合成方法
CN105528805A (zh) * 2015-12-25 2016-04-27 苏州丽多数字科技有限公司 一种虚拟人脸动画合成方法
CN106600667A (zh) * 2016-12-12 2017-04-26 南京大学 一种基于卷积神经网络的视频驱动人脸动画方法
CN106778563A (zh) * 2016-12-02 2017-05-31 江苏大学 一种基于空间连贯特征的快速任意姿态人脸表情识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346824A (zh) * 2013-08-09 2015-02-11 汉王科技股份有限公司 基于单张人脸图像自动合成三维表情的方法及装置
CN104658025A (zh) * 2013-11-21 2015-05-27 大连佑嘉软件科技有限公司 基于特征点的人脸表情合成方法
CN104123749A (zh) * 2014-07-23 2014-10-29 邢小月 一种图像处理方法及系统
CN105528805A (zh) * 2015-12-25 2016-04-27 苏州丽多数字科技有限公司 一种虚拟人脸动画合成方法
CN106778563A (zh) * 2016-12-02 2017-05-31 江苏大学 一种基于空间连贯特征的快速任意姿态人脸表情识别方法
CN106600667A (zh) * 2016-12-12 2017-04-26 南京大学 一种基于卷积神经网络的视频驱动人脸动画方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"真实感三维人脸合成方法研究";姜大龙;《中国优秀博士论文全文数据库》;20070215;第2.7.1-2.7.3 、3.2-3.4、4.2-4.4节 *

Also Published As

Publication number Publication date
CN110096925A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN110096925B (zh) 人脸表情图像的增强方法、获取方法和装置
CN111783820B (zh) 图像标注方法和装置
Zubizarreta et al. A framework for augmented reality guidance in industry
US11928800B2 (en) Image coordinate system transformation method and apparatus, device, and storage medium
US10853677B2 (en) Verification method and system
CN104317391B (zh) 一种基于立体视觉的三维手掌姿态识别交互方法和系统
JP6011102B2 (ja) 物体姿勢推定方法
US11222471B2 (en) Implementing three-dimensional augmented reality in smart glasses based on two-dimensional data
CN111710036B (zh) 三维人脸模型的构建方法、装置、设备及存储介质
CN110675487B (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
CN111553284A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
CN112017212B (zh) 人脸关键点跟踪模型的训练、跟踪方法及系统
KR101865173B1 (ko) 가상현실 콘텐츠의 영상 분석을 통한 모션 시뮬레이터의 운동 생성 방법
CN114549557A (zh) 一种人像分割网络训练方法、装置、设备及介质
CN113393524A (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
Darujati et al. Facial motion capture with 3D active appearance models
CN109919128B (zh) 控制指令的获取方法、装置及电子设备
KR101001184B1 (ko) 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법
CN111079535A (zh) 一种人体骨架动作识别方法、装置及终端
CN110020577B (zh) 人脸关键点扩展计算方法、存储介质、电子设备及系统
CN108694348B (zh) 一种基于自然特征的跟踪注册方法及装置
WO2021114775A1 (en) Object detection method, object detection device, terminal device, and medium
CN114399800A (zh) 人脸姿态估计方法及装置
CN113724329A (zh) 融合平面与立体信息的目标姿态估计方法、系统和介质
KR101844367B1 (ko) 부분 포즈 추정에 의하여 개략적인 전체 초기설정을 사용하는 머리 포즈 추정 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant