CN108537110B - 生成三维人脸模型的基于虚拟现实的装置和方法 - Google Patents

生成三维人脸模型的基于虚拟现实的装置和方法 Download PDF

Info

Publication number
CN108537110B
CN108537110B CN201810155331.0A CN201810155331A CN108537110B CN 108537110 B CN108537110 B CN 108537110B CN 201810155331 A CN201810155331 A CN 201810155331A CN 108537110 B CN108537110 B CN 108537110B
Authority
CN
China
Prior art keywords
face
user
face model
model
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810155331.0A
Other languages
English (en)
Other versions
CN108537110A (zh
Inventor
胡捷
M·格哈拉维-艾尔克哈萨里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108537110A publication Critical patent/CN108537110A/zh
Application granted granted Critical
Publication of CN108537110B publication Critical patent/CN108537110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

提出了生成三维人脸模型的基于虚拟现实的装置和方法。一种生成3D人脸模型的基于虚拟现实的装置和方法包括存储作为现有3D脸部模型的3D脸部模型或具有至少中性表情的平均形状脸部模型。基于第一用户的脸部的多个彩色图像和深度信息来生成第一用户的脸部的点云。通过对存储的3D脸部模型进行基于形状的模型拟合来生成具有中性表情的第一用户的第一3D脸部模型。基于第一3D脸部模型、基于形状的模型拟合和生成的点云来细化第一3D脸部模型的形状。控制细化的第一3D脸部模型的显示以表现出与第一用户的脸部的形状和外观的最小偏差。

Description

生成三维人脸模型的基于虚拟现实的装置和方法
相关申请的交叉引用/通过引用的并入
本申请要求2017年3月1日提交的美国临时专利申请第62/465,534的优先权，该申请的全部内容通过引用并入本文。
技术领域
本公开的各种实施例涉及三维(3D)建模、虚拟人技术和虚拟现实。更具体地，本公开的各种实施例涉及使用图像和深度数据生成3D人脸模型的基于虚拟现实的装置和方法。
背景技术
三维(3D)计算机图形、建模领域中的进步已经提供了在3D计算机图形环境中创建3D模型并且显现真实对象的能力。3D内容(诸如3D人物模型)正在被越来越多地用在动画电影、游戏和虚拟现实系统中以增强用户体验。3D模型是类似于特定对象的形状的静态3D网格。通常，这样的3D模型是由计算机图形艺术家(常被称为建模者)通过使用建模软件应用而手动设计的。这样的3D模型在动画或各种虚拟现实系统或应用中可能以不同的方式使用。此外，在某些情况下，3D模型的脸部部分可以被认为是3D模型的最重要部分之一。目前，创建现实的3D人脸模型已经是计算机图形和计算机视觉领域中的最困难的问题之一。随着3D虚拟人技术在虚拟现实、3D游戏和虚拟仿真领域中的应用增多，开发中的基于真实的人来生成现实的3D人脸模型的技术已经变得越来越重要。
在某些情形下，3D脸部建模者可以利用用户的脸部的输入图像作为构造3D模型的基础。3D脸部建模者可以构造人脸的表面表示，诸如网格。脸部建模者还可以通过构造各种融合(blend)形状来将人脸的各种表情引入到3D脸部模型中。从创建3D脸部模型所需的各种观看角度捕获输入图像数据涉及几个复杂度。此外，用户的脸部的3D模型可能不类似于用户的实际脸部细节。例如，人脸的结构和表面表示可能不类似于用户的脸部，并且脸部模型的表情可能不与人脸的表情实时地或接近实时地匹配。3D脸部模型相对于用户的实际脸部在结构、特征和表情上的这个差异对于现实观看目的和虚拟现实应用可能是不期望的。
通过对所描述的系统与在本申请的其余部分中参照附图阐述的本公开的一些方面的比较，对于本领域技术人员来说，常规的传统方法的另外的限制和缺点将变得清楚。
发明内容
正如在权利要求中更完整地阐述的那样，基本上如附图中的至少一个所示和/或结合附图中的至少一个所描述的那样提供了一种使用图像和深度数据生成三维(3D)人脸模型的基于虚拟现实的装置和方法。
本公开的这些和其他特征和优点可以通过审阅本公开的以下详细描述、连同附图来领会，在附图中，相似的附图标记始终指的是相似的部分。
附图说明
图1是示出根据本公开的实施例的生成3D人脸模型的示例性网络环境的框图。
图2是示出根据本公开的实施例的示例性的基于虚拟现实的装置的框图。
图3A、3B、3C、3D、3E、3F、3G、3H、3I、3J、3K和3L是共同示出根据本公开的实施例的使用图像和深度数据的3D人脸模型的示例性生成的图。
图4A、4B和4C共同描绘示出根据本公开的实施例的使用图像和深度数据来生成现实的3D人脸模型的示例性操作的流程图。
具体实施方式
下面描述的实现可以在所公开的使用GRBD数据生成3D人脸模型的基于虚拟现实(VR)的装置和方法中找到。本公开的示例性方面可以包括可以通信地耦合到感测设备的基于VR的装置。基于VR的装置可以包括被配置为存储3D脸部模型的存储器设备。所存储的3D脸部模型可以是预存(pre-store)在存储器设备中的现有3D脸部模型，例如主成分分析(PCA)模型。PCA模型可以通过多个不同的脸部(例如，不同用户的大约100-300个脸部)的扫描和配准(register)来构建。为了更好地表示，不同用户的多个不同脸部可以包括女性和男性脸部两者。
基于VR的装置可以被配置为基于第一用户的脸部的多个彩色图像和对应的深度信息来生成第一用户的脸部的点云。第一用户的多个彩色图像和对应的深度信息可以由感测设备从具有中性表情的脸部的一个或多个观看角度捕获。基于VR的装置可以被进一步配置为通过使用生成的点云对所存储的3D脸部模型(即，现有3D脸部模型)进行基于形状的模型拟合来生成具有中性表情的第一用户的脸部的第一3D脸部模型。基于VR的装置可以基于第一用户的脸部的第一3D脸部模型和生成的点云之间的差异、而且还根据基于形状的模型拟合来细化(refine)第一3D脸部模型的形状。基于VR的装置可以被进一步配置为控制第一用户的脸部的细化的第一3D脸部模型在基于虚拟现实的装置上的显示。可以进行细化的第一3D脸部模型的显示控制以使得细化的第一3D脸部模型上的多个外观属性表现出与在所捕获的多个彩色图像中第一用户的脸部的形状和外观的最小偏差。
根据实施例，存储器设备可以被进一步配置为还存储作为所存储的3D脸部模型的一部分的具有中性表情的平均形状脸部模型和该平均形状脸部模型的多个形状分量(component)、以及与该平均形状脸部模型相关的多个任意脸部表情。例如，3D平均形状脸部模型的多个任意脸部表情可以被存储为表情模板。基于虚拟现实的装置可以被配置为基于二维(2D)脸部标志(landmark)检测来从第一用户的脸部的所接收的多个彩色图像中的每个彩色图像检测多个特征点。基于VR的装置可以被配置为基于在生成的点云上检测到的多个特征点和平均形状脸部模型上的多个标志点来估计仿射变换。基于VR的装置可以被配置为通过对生成的点云应用估计的仿射变换来生成严格对齐的点云。
根据实施例，基于VR的装置可以被配置为将多个边缘添加到生成的严格对齐的点云。可以基于严格对齐的点云上的多个点根据该严格对齐的点云上的多个点中的每个点在2D空间中的邻接(adjacency)的连接来添加该多个边缘。此外，基于VR的装置可以被配置为基于对严格对齐的点云的、多个边缘的添加来导出第一用户的脸部的输入网格。
根据实施例，基于VR的装置可以被配置为基于第一用户的脸部的导出的输入网格来使预存的平均形状脸部模型变形。基于VR的装置可以基于预存的平均形状脸部模型的变形来生成变形的平均形状脸部模型。
基于VR的装置可以基于每个形状分量的顶点与严格对齐的点云的对应顶点的最小差异来估计用于存储在存储器设备中的多个形状分量的每个形状分量的权重。基于VR的装置可以在模型拟合中组合来自所存储的3D脸部模型的多个加权的形状分量中的每个加权的形状分量以生成第一用户的脸部的第一3D脸部模型。
根据实施例，基于VR的装置可以被配置为基于第一用户的脸部的生成的第一3D脸部模型的多个顶点和第一用户的脸部的生成的严格对齐的点云的差异来评估(evaluate)脸部模型残差。脸部模型残差可以包括用于第一用户的脸部的第一3D脸部模型的对应的多个顶点的多个子残差。基于VR的装置可以被配置为对评估的脸部模型残差应用变形以导出第一用户的脸部的第一3D脸部模型的变形的脸部模型残差。基于VR的装置可以被配置为将变形的脸部模型残差与第一用户的脸部的第一3D脸部模型组合以获得第一用户的脸部的细化的第一3D脸部模型。对评估的脸部模型残差应用的变形可以是拉普拉斯变形。
根据实施例，基于VR的装置可以被配置为评估存储在存储器设备中的、具有中性表情的预存的平均形状脸部模型和具有多个任意脸部表情中的每个任意脸部表情的预存的平均形状脸部模型之间的变换的集合。基于VR的装置可以被配置为对具有中性表情的第一用户的细化的第一3D脸部模型应用评估的变换的集合。此外，基于VR的装置可以被配置为基于所应用的与第一用户的脸部的多个任意脸部表情相对应的变换的集合来从第一用户的细化的第一3D脸部模型导出融合形状的集合。基于VR的装置可以被配置为基于导出的融合形状的集合来生成第一用户的脸部的与第一用户的捕获的脸部表情相对应的第二3D脸部模型。
图1是示出根据本公开的实施例的生成现实的3D人脸模型的示例性网络环境的框图。参照图1，示出了网络环境100。网络环境100可以包括基于虚拟现实(VR)的装置102、服务器104、感测设备106、通信网络108以及第一用户110。感测设备106可以进一步包括图像传感器106A和深度传感器106B。第一用户110可以与基于VR的装置102相关联。基于VR的装置102可以经由通信网络108通信地耦合到服务器104和感测设备106。
基于VR的装置102可以包括可以被配置为生成3D人脸模型的合适的逻辑、电路、接口和/或代码。3D人脸模型可以包括多个特征点，诸如眼睛、眉毛、鼻子、耳朵和/或限定人脸的其他类似的特征。基于VR的装置102可以被配置为实时地或接近实时地将人脸的多个特征点和/或其他特征引入(或添加)到所生成的3D脸部模型。基于VR的装置102的例子可以包括但不限于，计算设备、视频会议系统、基于增强现实的设备、游戏设备、主机、服务器、计算机工作站和/或消费者电子(CE)设备。
服务器104可以包括可以被配置为存储作为现有3D脸部模型的3D脸部模型的合适的电路、接口和/或代码。现有3D脸部模型可以是主成分分析(PCA)模型。服务器104可以被进一步配置为将具有中性表情的平均形状脸部模型和该平均形状脸部模型的多个形状分量存储为所存储的3D脸部模型的一部分。平均形状脸部模型和多个形状分量可以从现有模型获得，诸如存储的可以是PCA模型的3D脸部模型。平均形状可以是几个脸部(例如，100-300个脸部)的平均，并且主成分可以是所有脸部和平均形状之间的差异的主成分。在一些实施例中，可以基于几个脸部(例如，100-300个脸部)的扫描和配准来训练PCA脸部模型。
服务器104可以被配置为存储与平均形状脸部模型相关的多个任意脸部表情。服务器104可以被进一步配置为存储第一用户110的脸部的生成的3D脸部模型。服务器104的例子可以包括但不限于，应用服务器、云服务器、web服务器、数据库服务器、文件服务器、游戏服务器、主机服务器或它们的组合。
感测设备106可以包括可以被配置为捕获第一用户110的脸部的多个彩色图像和对应的深度信息的合适的逻辑、电路、接口和/或代码。脸部的多个彩色图像和对应的深度信息可以从具有中性脸部表情的一个或多个观看角度捕获。感测设备106可以被配置为实时地、接近实时地或某个滞后时间地捕获第一用户110的脸部的一个或多个脸部表情。感测设备106可以被进一步配置为基于捕获的脸部表情来确定第一用户110的脸部的外观属性。感测设备106可以被配置为经由通信网络108将捕获的多个彩色图像和对应的深度信息发送到基于VR的装置102。感测设备106可以包括多个传感器，诸如深度传感器、颜色传感器(诸如红绿蓝(RGB)传感器)和/或红外(IR)传感器的组合，这些传感器可以从不同的观看角度捕获具有多个任意脸部表情的用户的脸部。感测设备106的例子可以包括但不限于，深度传感器、RGB传感器、IR传感器、用于移动对象的3D网格结构生成器、图像传感器和/或运动检测器设备。
通信网络108可以包括通信介质，基于VR的装置102可以通过该通信介质通信地耦合到服务器104和感测设备106。通信网络108的例子可以包括但不限于，互联网、云网络、无线保真(Wi-Fi)网络、个域网(PAN)、局域网(LAN)和/或城域网(MAN)。网络环境100中的各种设备可以被配置为根据各种有线和无线通信协议连接到通信网络108。这样的有线和无线通信协议的例子可以包括但不限于以下中的至少一个：传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、文件传输协议(FTP)、ZigBee、EDGE、IEEE 802.11、光保真(Li-Fi)、802.16、IEEE 802.11s、IEEE 802.11g、多跳通信、无线接入点(AP)、设备对设备通信、蜂窝通信协议和/或蓝牙(BT)通信协议或它们的组合。
第一用户110可以是指其现实的3D脸部模型要被生成的感兴趣对象。第一用户110可以是人或可以像真实的人的机器人。第一用户110可以与感测设备和/或基于VR的装置102相关联。
在操作中，基于VR的装置102可以被配置为存储作为现有3D脸部模型的3D脸部模型。存储的3D脸部模型可以是主成分分析(PCA)模型。PCA模型可以从多个不同的脸部(例如，不同用户的大约200个脸部)构建得到。PCA可以从相关数据分量的大的集合中识别并且提取某些重要的不相关数据分量。基于VR的装置102可以被进一步配置为将具有中性表情的平均形状脸部模型和该平均形状脸部模型的多个形状分量存储为所存储的3D脸部模型的一部分。平均形状脸部模型可以是多个不同的脸部(例如，大约200个脸部)的平均。基于VR的装置102可以被进一步配置为存储与平均形状脸部模型相关的多个任意脸部表情。第一用户110可以位于感测设备106的前面。感测设备106可以被配置为从具有中性表情的不同观看角度捕获第一用户110的脸部的多个彩色图像和对应的深度信息。感测设备106的图像传感器106A可以被配置为捕获坐在感测设备106前面的具有中性表情的第一用户110的脸部的彩色图像。第一用户110的脸部的中性表情可以用第一用户110的脸部的特征的中性位置来表征，中性位置暗示着缺乏强烈的情感，诸如高兴、悲伤、生气或任何其他情感。例如，眉毛、嘴唇、嘴巴、脸颊或额肌保持在原始的或中性的位置上，这暗示着缺乏不同的情感，诸如高兴、悲伤、生气、欢笑、紧张等。深度传感器106B可以被配置为在捕获彩色图像时捕获位于感测设备106前面的具有中性表情的第一用户110的脸部的对应的深度信息。第一用户110的脸部的捕获的深度信息可以包括关于第一用户110的脸部的“Z”坐标的信息。例如，突出(诸如痣、鼻子的突起)的量、脸颊区域相对于前额区域的深度以及脸部的不同区域的不同深度不能在没有第一用户110的脸部的每个区域的深度信息的情况下准确地估计。彩色图像和对应的深度信息可以彼此对齐，以使得第一用户110的脸部的彩色图像和对应的深度信息可以同时一起被捕获，并且可以表示相同的视场。彩色图像和对应的深度信息的对齐可以通过使用对齐算法来进行。仅使用彩色图像提供了第一用户110的脸部的二维(2D)信息。相反，使用相同视场的深度信息和对应的彩色图像细节这二者的组合从三维视角提供对脸部的每个区域的形状、不同脸部特征和深度的增强理解，从而保留第一用户110的脸部的错综复杂的细节。基于VR的装置102可以被配置为经由通信网络108接收由感测设备106捕获的第一用户的脸部的彩色图像和对应的深度信息。
基于VR的装置102可以被配置为选择一个或多个彩色图像以将边界框(boundingbox)放置在选定的彩色图像的脸部部分的上方。选定的一个或多个彩色图像表示代表不同观看角度的彩色图像的聚合。基于VR的装置102可以被配置为基于2D脸部标志检测来检测包括脸部部分的边界框中的多个特征点。基于VR的装置102可以被配置为通过将边界框内部的点投影到3D空间来生成点云，其中点云还包括特征点(诸如眼睛、鼻子、嘴唇等的区别点)的3D坐标。点云包括通常在由“X、Y和Z”坐标限定的3D坐标系中的数据点集合。点云可以被生成为表示对象的外表面，诸如在这种情况下为第一用户110的脸部部分。可以使用来自感测设备106的第一用户110的脸部的多个彩色图像与来自具有中性表情的不同观看角度的对应的深度信息的聚合来以高准确度和最小噪声生成点云。例如，第一用户110的脸部的单个图像就脸部部分的分量的颜色或位置而言可能不能准确地表示第一用户110的脸部部分。因此，第一用户110的脸部的多个图像的聚合可以准确地捕获第一用户110的实际脸部部分。
基于VR的装置102可以被进一步配置为估计点云上的特征点和平均形状脸部模型上的某些对应标志的3D坐标之间的仿射变换。标志对应于平均形状脸部模型上的与点云上的特征点类似的区别点，诸如眼睛、鼻子、嘴唇等。基于VR的装置102可以被配置为通过对生成的点云应用估计的仿射变换来生成严格对齐的点云。基于VR的装置102可以被配置为执行严格对齐操作以对齐第一用户110的脸部的多个特征点。该多个特征点可以由诸如眼睛、鼻子、嘴唇、眉毛或其他这样的特征点之类的特征点组成。严格对齐的例子例如在图3C中被示出和进一步描述。
基于VR的装置102可以被进一步配置为基于严格对齐的点云上的多个点根据严格对齐的点云上的该多个点中的每个点在2D空间中的邻接的连接来将多个边缘添加到生成的严格对齐的点云。基于VR的装置102可以被配置为基于对于第一用户110的脸部的严格对齐的点云的边缘添加来导出第一用户110的脸部的输入网格。此外，基于VR的装置102可以被配置为基于具有中性表情的第一用户110的脸部的导出的输入网格来使存储的具有中性表情的平均形状脸部模型变形。基于VR的装置102可以被配置为基于对所存储的平均形状脸部模型的变形来生成变形的平均形状脸部模型。生成的变形的平均形状脸部模型可以类似于或看起来像第一用户110的脸部。基于VR的装置102可以被配置为通过估计变形的平均形状脸部模型和第一用户110的脸部的生成的点云之间的最接近的点来计算对应者(correspondence)。平均形状脸部模型上的每个顶点可以被分配来自生成的点云的对应者。第一用户110的脸部的导出的输入网格和变形的平均形状脸部模型的例子例如在图3D中被示出和描述。
基于VR的装置102可以最小化计算的对应者以最小化存储的平均形状脸部模型和生成的点云之间的差异。人脸模型可以将人脸表示为不同的基本形状分量的线性组合。可以使用线性优化来对这些不同分量的系数进行优化。基于VR的装置102可以被配置为基于计算的最小对应者来估计用于第一用户110的脸部的不同的基本形状分量中的每个形状分量的权重。基于VR的装置102可以被配置为组合第一用户110的脸部的每个加权的形状分量以生成第一用户110的脸部的第一3D脸部模型。第一用户110的脸部的多个加权的形状分量的例子例如在图3E中被示出和描述。
可以通过使用生成的点云使存储的具有中性表情的3D脸部模型与平均形状脸部模型拟合来生成第一3D脸部模型，因此它不包含第一用户110的脸部的多个个人外观属性，诸如痣、皱纹或一些其他的个人外观属性。基于VR的装置102可以被配置为基于第一用户110的脸部的生成的第一3D脸部模型的多个顶点和第一用户的脸部的生成的严格对齐的点云的位置差异来评估脸部模型残差。评估的残差可以包括用于第一用户110的脸部的生成的第一3D脸部模型的对应的多个顶点的多个子残差，例如第一、第二和第三子残差。第一子残差可以是生成的第一3D脸部模型的多个顶点和生成的点云中的对应的多个顶点之间的差异。第二子残差可以是第一3D脸部模型的多个特征点和生成的点云的对应的多个特征点之间的差异。第一子残差可以用于最小化所生成的第一3D脸部模型的形状和第一用户110的脸部的形状之间的差异。第二子残差可以用于最小化所生成的第一3D脸部模型的关键的脸部特征(诸如眼睛、嘴唇、脸颊、嘴巴)和第一用户110的实际脸部特征之间的差异。第三子残差可以用于平滑所生成的第一3D脸部模型。基于VR的装置102可以被配置为对评估的脸部模型残差应用变形以导出用于第一用户110的脸部的第一3D脸部模型的、变形的脸部模型残差。对评估的脸部模型残差应用的变形可以是拉普拉斯变形。此外，基于VR的装置102可以被配置为对第一用户110的脸部的第一3D脸部模型应用导出的脸部模型残差以获得第一用户的脸部的细化的第一3D脸部模型。所获得的细化的第一3D脸部模型可以是具有中性表情的第一用户110的脸部的3D模型，该模型模仿第一用户110的脸部上的置于中性位置上的特征点和外观属性。例如，细化的第一3D脸部模型的总体外观和特征点的形状变得与第一用户110的实际脸部的外观和特征点相似，但是仅仅是针对中性表情的(没有任何特定情感，诸如欢笑、生气等)。第一子残差和第二子残差的评估的例子例如分别在图3G和3H中被示出和描述。
基于VR的装置102可以被配置为控制第一用户110的脸部的细化的第一3D脸部模型在基于VR的装置102上的显示以使得细化的第一3D脸部模型上的多个外观属性表现出与第一用户110的脸部在捕获的具有中性表情的多个彩色图像中的形状和外观的最小偏差。在一些实施例中，基于VR的装置102可以被配置为控制第一用户110的脸部的细化的第一3D脸部模型在远程显示设备(未示出)上的显示。因为细化的第一3D脸部模型表现出与第一用户110的脸部的形状和外观的最小偏差，所以细化的第一3D脸部模型的显示本质上是现实的。第一用户110的脸部的外观属性在基于VR的装置102的显示屏幕上是清楚可见的。此外，与第一用户110的整个(complete)3D模型的其他部分相比，较多的像素可以在显示控制期间被分配给细化的第一3D脸部模型的脸部部分以用于使细化的第一3D脸部模型的显现是增强的且生动的。此外，在脸部部分内，可能存在当在显示屏幕上被观看时较突出的、特征丰富的一些脸部区域，诸如嘴唇、眼睛和前额。特征丰富的这样的脸部区域可以在细化的第一3D脸部模型的显示期间被分配甚至比脸部部分的其他区域更高数量的像素。
根据实施例，基于VR的装置102可以被配置为评估所存储的具有中性表情的平均形状脸部模型和存储的具有多个任意脸部表情的平均形状脸部模型之间的变换的集合。对所存储的具有中性表情和任意表情的平均形状脸部模型之间的变换的集合进行评估的例子在图3I和3J中被共同示出和描述。
根据实施例，基于VR的装置102可以被配置为导出融合形状的集合。可以通过对具有中性表情的第一用户110的脸部的细化的第一3D脸部模型应用与第一用户110的脸部的多个任意脸部表情相对应的、所评估的变换的集合来导出融合形状的集合。通过对具有中性表情的第一用户100的脸部的细化的第一3D脸部模型应用评估的变换的集合来导出融合形状的集合的例子例如在图3K中被示出和描述。基于VR的装置102可以基于评估的融合形状的集合来生成具有多个任意脸部表情的第一用户110的脸部的多个第二3D脸部模型。基于导出的融合形状的集合生成具有任意脸部表情的第一用户110的脸部的第二3D脸部模型的例子例如在图3L中被示出和描述。根据实施例，基于VR的装置102可以检索存储在服务器104中的细化的第一3D脸部模型。根据实施例，在不背离本公开的范围的情况下，基于VR的装置102的功能或操作可以由服务器104实现。
图2是示出根据本公开的实施例的示例性的基于VR的装置的框图。图2被结合图1中的元件说明。参照图2，示出了基于VR的装置102。基于VR的装置102可以包括电路202、存储器204以及输入/输出(I/O)设备206。电路202可以进一步包括网络接口208、处理器210、脸部建模器212以及形状细化电路214。I/O设备206可以包括显示屏幕206A，显示屏幕206A可以用于呈现应用界面216。可以包括网络接口208、处理器210、脸部建模器212和形状细化电路214的电路202可以通信地耦合到存储器204和I/O设备206。电路202可以被配置为通过使用网络接口208来与服务器104和感测设备106进行通信。
电路202可以包括可以被配置为执行生成3D人脸模型所涉及的各种操作的合适的逻辑、电路和/或接口。电路202可以被配置为实时地或接近实时地生成第一用户110(例如，实际的人)的脸部的第一3D脸部模型。电路202可以被配置为细化第一用户110的脸部的生成的第一3D脸部模型的形状以生成细化的第一3D脸部模型。此外，电路202可以被配置为控制第一用户110的脸部的细化的第一3D脸部模型在基于VR的装置102上的显示以用于VR应用。电路202可以被配置为通过处理器210、脸部建模器212和形状细化电路214来执行前述操作。
存储器204可以包括可以被配置为存储电路202可执行的指令集的合适的逻辑、电路和/或接口。存储器204可以被配置为存储操作系统和相关联的应用。根据实施例，存储器204可以被进一步配置为存储作为现有3D脸部模型的3D脸部模型。存储器204可以被进一步配置为将具有中性表情的平均形状脸部模型和该平均形状脸部模型的多个形状分量存储为存储的3D脸部模型的一部分。存储器204可以被配置为存储与平均形状脸部模型相关的多个任意脸部表情。存储器204可以被配置为存储第一用户110的多个生成的3D脸部模型。存储器204的实现的例子可以包括但不限于，随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、硬盘驱动器(HDD)、固态驱动器(SSD)、CPU高速缓存和/或安全数字(SD)卡。
I/O设备206可以包括可以被配置为接收来自第一用户110的输入的合适的逻辑、电路、接口和/或代码。I/O设备206可以被进一步配置为向第一用户110提供输出。I/O设备206可以包括可以被配置为与电路202通信的各种输入和输出设备。输入设备的例子可以包括但不限于，触摸屏、键盘、鼠标、控制杆和/或麦克风。输出设备的例子可以包括但不限于，显示屏幕206A和/或扬声器。
显示屏幕206A可以包括可以被配置为呈现应用界面216以显示3D人脸模型的合适的逻辑、电路、接口和/或代码。根据实施例，显示屏幕206A可以是触摸屏，在触摸屏中，来自第一用户110的输入可以经由应用界面216被接收。显示屏幕206A可以基于从第一用户110接收的输入来捕获输入。第一用户110可以能够在显示在触摸屏上的多个按钮或UI元件的帮助下提供输入。触摸屏可以对应于电阻性触摸屏、电容性触摸屏或热触摸屏中的至少一个。根据实施例，显示屏幕206A可以接收通过虚拟键盘、触针(stylus)的输入、基于姿势的输入和/或基于触摸的输入。显示屏幕206A可以通过几种已知技术来实现，诸如但不限于以下中的至少一个：液晶显示(LCD)显示器、发光二极管(LED)显示器、等离子体显示器和/或有机LED(OLED)显示技术和/或其他显示器。根据实施例，显示屏幕206A可以是指智能眼镜设备的显示屏幕、透视显示器、基于投影的显示器、电致变色显示器和/或透明显示器。
网络接口208可以包括可以被配置为经由通信网络108在基于VR的装置102、服务器104和感测设备106之间建立通信的合适的逻辑、电路、接口和/或代码。网络接口208可以通过使用支持基于VR的装置102与通信网络108的有线或无线通信的各种已知技术来实现。网络接口208可以包括但不限于，天线、射频(RF)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编码器-解码器(CODEC)芯片组、用户身份模块(SIM)卡和/或本地缓冲器。网络接口208可以经由无线通信与网络(诸如互联网、内联网)和/或无线网络(诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))进行通信。无线通信可以使用多种通信标准、协议和技术中的任何一个，诸如全球移动通信系统(GSM)、增强数据GSM环境(EDGE)、宽带码分多址(W-CDMA)、长期演进(LTE)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(诸如IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE802.11n)、互联网语音传输协议(VoIP)、光保真(Li-Fi)、Wi-MAX、用于电子邮件的协议、即时通讯和/或短消息服务(SMS)。
处理器210可以包括可以被配置为执行存储在存储器204中的指令集的合适的逻辑、电路、接口和/或代码。处理器210可以基于本领域中已知的若干种处理器技术来实现。处理器210的例子可以是图形处理单元(GPU)、中央处理单元(CPU)、基于X86的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器、其他处理器和/或它们的组合。
脸部建模器212可以包括可以被配置为生成第一用户110的3D脸部模型的合适的逻辑、电路、接口和/或代码。脸部建模器212可以被配置为使平均形状脸部模型与感测设备106捕获的第一用户110的脸部的多个彩色图像和对应的深度信息对齐。此外，脸部建模器212可以被配置为基于存储的具有多个任意表情的平均形状脸部模型来生成用于第一用户110的多个任意表情的融合形状。脸部建模器212可以实现为基于VR的装置102中的单独的处理器或电路。脸部建模器212和处理器210可以实现为执行脸部建模器212和处理器210的功能的集成处理器或处理器集群(cluster)。脸部建模器212可以实现为存储在存储器204中的指令集，该指令集在被处理器210执行时，可以执行用于基于VR的装置102的功能和操作。
形状细化电路214可以包括可以被配置为生成包括第一用户110的脸部的多个外观属性的第一用户110的脸部的3D模型的合适的逻辑、电路、接口和/或代码。形状细化电路214还可以被配置为细化第一用户110的第一3D脸部模型的形状。形状细化电路214可以实现为基于VR的装置102中的单独的处理器或电路。形状细化电路214和处理器210可以实现为执行形状细化电路214和处理器210的功能的集成处理器或处理器集群。形状细化电路214可以实现为存储在存储器204中的指令集，该指令集在被处理器210执行时，可以执行用于基于VR的装置102的功能和操作。
应用界面216可以对应于在显示屏幕(诸如显示屏幕206A)上呈现的用户界面(UI)。应用界面216可以显示第一用户110的生成的3D脸部模型。3D脸部模型可以通过使用应用界面216从多个视点查看。应用界面216的例子可以包括但不限于图形用户界面(GUI)。
图3A、3B、3C、3D、3E、3F、3G、3H、3I、3J、3K和3L是共同示出根据本公开的实施例的现实的3D人脸模型的示例性生成的图。图3A、3B、3C、3D、3E、3F、3G、3H、3I、3J、3K和3L被结合图1和2的元件说明。参照图3A，示出了描绘使用操作302至322的3D人脸模型生成的处理流水线。
在302，感测设备106可以被配置为从不同观看角度针对中性表情捕获第一用户110的脸部的多个彩色图像和对应的深度信息。感测设备106可以被配置为基于从基于VR的装置102接收的请求来捕获多个彩色图像和对应的深度信息。
在304，处理器210可以被配置为通过使用网络接口208从感测设备106接收第一用户110的脸部的多个彩色图像和对应的深度信息。多个彩色图像和对应的深度信息可以经由通信网络108接收。其后，脸部建模器212可以被配置为基于从感测设备106接收的信息来实时地或接近实时地生成点云。点云是由3D坐标系中的“X、Y和Z”坐标限定的数据点集合。点云可以被生成为表示第一用户110(即，真实的人)的至少脸部部分的外表面。
在306，脸部建模器212可以被配置为使生成的点云与存储的平均形状脸部模型对齐。脸部建模器212可以被配置为使第一用户110的脸部的多个特征点(诸如眼睛、鼻子、嘴唇和/或其他特征点)与存储的平均形状脸部模型对齐以生成严格对齐的点云。在不严格对齐操作中，脸部建模器212可以被配置为使第一用户110的脸部的所有点都与存储的平均形状脸部模型对齐。脸部建模器212可以被配置为在对存储的平均形状脸部模型应用严格和不严格对齐操作之后生成具有中性表情的变形的平均形状脸部模型。
在308，脸部建模器212可以被配置为使用生成的点云使存储的3D脸部模型与平均形状脸部模型拟合。存储的3D脸部模型将第一用户110的脸部表示为不同的基本形状分量的线性组合。在模型拟合操作中，脸部建模器212可以被配置为估计存储的3D脸部模型的不同的基本形状分量的权重。
在310，形状细化电路214可以被配置为细化第一用户110的脸部的第一3D脸部模型的形状。形状细化电路214可以被配置为将用户特定的外观属性包括到第一用户110的脸部的第一3D脸部模型。形状细化电路214可以被配置为生成第一用户110的脸部的细化的第一3D脸部模型。在常规的系统中，因为输入数据的Z坐标(深度信息)短缺并且用于拟合3D模型的对应者的数量少，所以重构的3D模型通常不够准确。所公开的方法利用深度信息进行3D模型拟合，并且对应者是针对第一3D脸部模型上的所有顶点计算的，接着再由形状细化电路214进行细化，这高度地改进了3D脸部建模的准确度。
在312，脸部建模器212可以被配置为基于3D平均形状脸部模型的预存的多个任意脸部表情来生成用于第一用户110的脸部的不同的任意表情的融合形状的集合。
在314，感测设备106可以被配置为从一个或多个观看角度捕获具有任意表情的第一用户110的脸部的一个或多个彩色图像和对应的深度信息。感测设备106可以被配置为如302中进行的那样基于从基于VR的装置102接收的请求来捕获一个或多个彩色图像和对应的深度信息。
在316，处理器210可以被进一步配置为经由通信网络108从感测设备106接收具有任意表情(例如，除了中性表情之外)的第一用户110的脸部的一个或多个彩色图像和对应的深度信息。脸部建模器212可以被配置为如304中进行的那样基于从感测设备106接收的信息来生成用于具有任意表情的第一用户110的脸部的点云。任意表情的例子可以包括但不限于，悲伤、生气、张开的嘴巴、变形的脸颊、抬起的眉毛或第一用户110具有的任何的任意脸部表情。
在318，脸部建模器212可以被配置为如306中处理的那样针对任意表情使生成的点云与具有中性表情的第一用户110的脸部的细化的第一3D脸部模型对齐。脸部建模器212可以被配置为使第一用户110的脸部的多个特征点(诸如眼睛、鼻子、嘴唇和/或其他特征点)与具有中性表情的第一用户110的脸部的细化的第一3D脸部模型对齐并且生成严格对齐的点云。在不严格对齐操作中，脸部建模器212可以被配置为使第一用户110的脸部的所有点都与存储的平均形状脸部模型对齐。脸部建模器212可以被配置为在对存储的平均形状脸部模型应用严格和不严格对齐操作之后生成具有任意表情的变形的平均形状脸部模型。
在320，脸部建模器212可以被配置为拟合具有任意表情的第一用户110的生成的点云并且生成具有任意表情的第一用户110的脸部的第二3D脸部模型。在模型拟合操作中，脸部建模器212可以被配置为估计用于第一用户110的脸部的不同的任意脸部表情的不同融合形状的系数。在常规的系统中，通常，也用于重构具有表情的3D脸部模型的融合形状的生成涉及要求人物或实际用户在照相机前面做出不同的基本表情并且使用不同的基本表情的重构3D模型作为融合形状。这样的常规的系统和方法涉及不能总是提供良好的、一致的或容易可用的基本表情的实际用户(诸如第一用户110)的太多参与，导致结果糟糕。所公开的系统省略了实际用户的这样的参与，因为如所描述的，融合形状是根据表情的可用参考模板自动地生成的。
在322，形状细化电路214可以被配置为细化具有任意表情的第一用户110的脸部的第二3D脸部模型的形状。形状细化电路214可以被配置为将用户特定的外观属性包括到具有任意表情的第一用户110的脸部的第一3D脸部模型。形状细化电路可以被配置为生成具有任意表情的第一用户110的脸部的细化的第一3D脸部模型。
图3B示出了根据本公开的实施例的用于第一用户110的3D人脸模型的点云的生成。参照图3B，示出了多个彩色图像、多个特征点326、多个特征点的投影328以及点云330的聚合(被称为聚合彩色图像324)。在图3B中，详细地进一步描述图3A的处理流水线中的、图3A的与用于具有中性表情的第一用户110的3D人脸模型的点云的生成相关的操作304和图3A的与用于具有任意表情的第一用户110的3D人脸模型的点云的生成相关的操作316。
脸部建模器212可以被配置为基于经由通信网络108从感测设备106接收的第一用户110的脸部的多个彩色图像和对应的深度信息的聚合彩色图像324来生成用于第一用户110的3D人脸模型的点云330。脸部建模器212可以被配置为将边界框放置在由感测设备106接收的聚合彩色图像324上。此外，脸部建模器212可以被配置为如投影328中所示的那样将放置在边界框内部的多个特征点326投影到3D空间。多个特征点326可以包括第一用户110的脸部的关键的特征点，诸如眼睛、鼻子、嘴唇、耳朵和/或对于限定任何人脸必需的其他特征点。
根据实施例，脸部建模器212可以被配置为使用2D脸部标志检测器来检测第一用户110的脸部的多个特征点326。多个特征点326从2D到3D的投影328生成用于3D人脸模型的点云330。点云330是指3D坐标系中的表示第一用户110的脸部的外表面的数据点集合。脸部建模器212可以被进一步配置为聚合由感测设备106捕获的、第一用户110的脸部的多个彩色图像和它们的对应的深度信息(例如，聚合彩色图像324)以生成具有最小噪声和高准确度的点云330。
图3C示出了点云330相对于存储的平均形状脸部模型332的严格对齐。在图3C中，进一步描述图3A的处理流水线中的、图3A的与用于第一用户110的3D人脸模型的生成的点云的对齐相关的操作306。
脸部建模器212可以被配置为估计点云330上的特征点330A和具有中性表情的平均形状脸部模型332上的标志332A的3D坐标之间的仿射变换。仿射变换是指保留点、直线和平面的函数。根据实施例，仿射变换可以被估计为使第一用户110的脸部的点云330的特征点与平均形状脸部模型332对齐。脸部建模器212可以被配置为估计对齐第一用户110的脸部的特征点330A(诸如眼睛、鼻子、嘴唇、脸颊或其他特征点)的仿射变换。估计的仿射变换被应用于从边界框提取的点云330(其被称为提取的点云)以获得严格对齐的点云334。可以用如下所示的方程(1)来估计仿射变换：
Figure BDA0001579239740000191
其中，“f”表示点云330的特征点330A；
“f′”表示平均形状脸部模型332的标志332A；
可以如下所示通过公式(2)对所提取的点云应用仿射变换：
Figure BDA0001579239740000192
其中，“v”表示点云330；
Figure BDA0001579239740000193
表示严格对齐的点云334；以及
“R”和“t”表示对点云330应用的旋转和平移。
图3D示出了(图3C的)严格对齐的点云334与平均形状脸部模型332的不严格对齐。参照图3D，进一步示出了输入网格336和变形的平均形状脸部模型338。在图3D中，详细地进一步描述图3A的处理流水线中的、图3A的与用于第一用户110的3D人脸模型的生成的点云的对齐相关的操作306。
脸部建模器212可以被配置为连接点并且形成严格对齐的点云334上的边缘以获得输入网格336。脸部建模器212可以被配置为如所示那样使平均形状脸部模型332相对于输入网格336变形以生成变形的平均形状脸部模型338。根据实施例，脸部建模器212可以被配置为基于变形的平均形状脸部模型338和严格对齐的点云334之间的最接近的点的估计来计算对应者。可以通过使用公式(3)如下所示那样执行变形：
Figure BDA0001579239740000201
约束条件为
Figure BDA0001579239740000202
其中，vi表示平均形状脸部模型332的变形的顶点；
ci表示输入网格336的对应的顶点；
Figure BDA0001579239740000203
表示变形平滑度；
Figure BDA0001579239740000204
表示变形一致性(identity)；
Figure BDA0001579239740000205
表示最近的有效点；
Ti表示对于一个三角形的仿射变换；
Ws、WI、Wc分别表示Es、EI、Ec的权重；
sk表示标记k的源顶点索引；以及
mk表示标记k在输入网格336上的位置。
图3E示出了图3A的处理流水线中的生成3D人脸模型的模型拟合操作。参照图3F，示出了第一3D脸部模型344和用于不同的形状分量342的权重系数340。在图3E中，详细地进一步描述图3A的处理流水线中的与第一用户110的脸部的第一3D脸部模型344的形状的细化相关的模型拟合操作(即，图3A的操作308)。
第一用户110的脸部的第一3D脸部模型344可以是第一用户110的可以不包括第一用户110的脸部的多个外观属性的3D脸部模型。外观属性可以包括呈现于第一用户110的脸部的外表面上的痣、皱纹或其他属性。不同的形状分量342是指人脸的多个不同分量，诸如眼睛、鼻子、嘴唇、脸颊、前额等。人脸的这些基本分量的形状导致人脸的特定形状。权重系数340是指分配给这些形状分量342中的每个以生成第一用户110的脸部的目标第一3D脸部模型的权重。
脸部建模器212可以被配置为最小化第一3D脸部模型344上的每个顶点的来自点云330的对应者。线性脸部模型可以将脸部表示为不同的形状分量342的线性组合。脸部建模器212可以被配置为估计用于不同的形状分量342的权重系数340，并且对具有中性表情的第一用户110的脸部生成第一3D脸部模型344。可以如下所示用方程(4)来生成第一用户110的脸部的第一3D脸部模型344：
F＝μ+U∑uα (4)
其中，F表示第一3D脸部模型344；
μ表示第一用户110的脸部的平均形状；
U表示标准正交基(orthonormal basis)，其中标准正交基是指用于其矢量全都是单位矢量并且彼此正交的矢量空间的基；
Σu表示特征值，其中特征值是指其微分方程在给定条件下具有非零解的参数的值集中的每个值；
α表示系数；
可以如下所示用方程(5)来计算不同的形状分量342的系数的值：
Figure BDA0001579239740000211
其中，vi、Fi表示模型上的顶点及其来自点云(n)的对应者；
vj、Fj表示模型上的标志及其来自点云(m)的对应者；
w表示用于标志的权重。
图3F示出了生成3D人脸模型的形状细化。参照图3F，示出了点云330、第一3D脸部模型344、残差346、优化器348、细化的残差350以及细化的第一3D脸部模型352。在图3F中，详细地进一步描述图3A的处理流水线中的与第一用户110的脸部的第一3D脸部模型344的形状的细化相关的形状细化操作(即，图3A的操作310)。
形状细化电路214可以被配置为将第一用户110的脸部的多个外观属性包括或添加在第一用户110的脸部的第一3D脸部模型344中。形状细化电路214可以被配置为计算第一3D脸部模型344和点云330之间的残差346。残差346可以是第一3D脸部模型344和点云330之间的差异。优化器348可以被配置为对计算的残差346进行优化并且获得细化的残差350。优化器348可以应用拉普拉斯变形来对残差346进行优化。此外，形状细化电路214可以被配置为将细化的残差350添加到第一3D脸部模型344并且生成细化的第一3D脸部模型352。形状细化电路214可以通过使用如下所示的方程(6)来执行形状细化操作：
v2＝v1+Δv
(6)
其中，v2表示细化的第一3D脸部模型352；
v1表示第一3D脸部模型344；以及
Δv表示优化的残差。
优化器348可以通过使用如下所示的方程(7)来对残差进行优化：
Figure BDA0001579239740000221
其中，
Figure BDA0001579239740000222
其中，pi表示输入网格336的顶点，vi表示第一3D脸部模型344的顶点；
Figure BDA0001579239740000223
其中，uj表示第一用户110的脸部的检测到的2D特征的点，v′j表示第一用户110的脸部的投影的3D特征的点，P表示投影矩阵；
CL＝L(m)Δv表示拉普拉斯平滑项，其中，L(m)表示基于每个顶点在其邻域之中的平滑度而分配给该顶点的权重。
脸部建模器212可以利用方程(8)来将输入网格336的所有顶点拟合到第一3D脸部模型344的对应顶点。此外，脸部建模器212还可以利用方程(9)来将第一用户110的脸部的检测到的2D特征的点拟合到第一用户110的脸部的第一3D脸部模型344的投影的3D特征的点。
图3G示出了将第一用户110的脸部的第一3D脸部模型344的每一个顶点拟合到其在输入网格336中的对应者的操作。参照图3G，示出了输入网格336的多个顶点354以及第一用户110的脸部的第一3D脸部模型的多个顶点356。
形状细化电路214可以被配置为将第一用户110的脸部的第一3D脸部模型344的所有顶点356都拟合到其在输入网格336的对应顶点354。例如，如图3G所示，第一用户110的脸部的第一3D脸部模型344的顶点v1、v2和v3被拟合到输入网格336的对应顶点p1、p2和p3。形状细化电路214可以被配置为利用方程(8)来将第一用户110的脸部的第一3D脸部模型344的所有顶点356拟合到其在输入网格336的对应顶点354。
图3H示出了将第一用户110的脸部的检测到的2D特征的点358拟合到第一用户110的脸部的第一3D脸部模型344的投影的3D特征的点360的操作。参照图3H，示出了第一用户110的脸部的检测到的2D特征的多个点358以及第一用户110的脸部的第一3D脸部模型344的投影的3D特征的多个点360。形状细化电路214可以被配置为利用方程(9)来将第一用户110的脸部的检测到的2D特征的点358拟合到第一用户110的脸部的第一3D脸部模型344的投影的3D特征的点360。
第一用户110的脸部的细化的第一3D脸部模型352可以包括第一用户110的脸部的捕获的脸部部分的脸部属性。细化的第一3D脸部模型352准确地且现实地类似于第一用户110的实际脸部。第一用户110的脸部的脸部属性可以包括呈现于第一用户110的脸部上的痣、皱纹等。细化的第一3D脸部模型表示具有中性表情的第一用户110的脸部。
共同地在图3I、3J和3K中，详细地进一步描述图3A的处理流水线中的与第一用户110的脸部的具有任意脸部表情的第一用户110的3D脸部模型的生成相关的融合形状生成操作(即，图3A的操作312)。
图3I示出了对于第一用户110的脸部生成具有特定的任意表情的3D脸部模型的操作。参照图3I，示出了具有中性表情的平均形状脸部模型332以及具有存储的任意脸部表情的平均形状脸部模型362。此外，示出了具有中性表情的平均形状脸部模型332的三角形364A、具有存储的任意脸部表情的平均形状脸部模型362的三角形364B、以及在中性表情和任意表情之间估计的第一变换366。
脸部建模器212可以被配置为计算具有中性表情的平均形状脸部模型332和具有存储的3D脸部模型的存储的多个任意脸部表情中的存储的任意脸部表情的平均形状脸部模型362之间的第一变换366。多个任意脸部表情可以对应于第一用户110的脸部表情，诸如悲伤、欢笑、张大的嘴、抬起的眉毛等。脸部建模器212可以被配置为计算具有中性表情的平均形状脸部模型332的每个三角形364A和具有任意脸部表情的平均形状脸部模型362的每个三角形364B之间的变换。可以通过连接如图3I所示的3D脸部模型上的对于所有3D脸部模型都可以固定的最接近的三个顶点来形成3D脸部模型(例如，具有中性表情的平均形状脸部模型332或具有存储的任意脸部表情的平均形状脸部模型362)上的三角形。例如，如图3I所示，第一变换Si*是在以下两个四面体(tetrahedron)之间计算的，即，由平均形状脸部模型332的三角形364A的顶点v01*、v02*、v03*和三角形364A的中心处的假想顶点v04*形成的四面体以及由具有存储的任意脸部表情的平均形状脸部模型362的三角形364B的顶点vi1*、vi2*、vi3*和三角形364B中心处的假想顶点vi4*形成的对应四面体。
图3J结合图3I示出了对于第一用户110的脸部生成具有特定的任意脸部表情的3D脸部模型的操作。参照图3J，示出了具有中性表情的平均形状脸部模型332、具有存储的任意脸部表情的平均形状脸部模型362、平均形状脸部模型332的多个不动顶点368以及总变换370。
脸部建模器212可以被配置为计算平均形状脸部模型332的多个不动顶点368和具有存储的任意脸部表情的平均形状脸部模型362之间的变换。多个不动顶点368可以由即使当表情从中性表情变为任何的任意脸部表情时也不改变的顶点组成。任意脸部表情362可以是多个任意脸部表情中的任何一个，诸如悲伤、欢笑、生气、张大的嘴、抬起的眉毛等。总变换370可以是多个不动顶点368之间的变换和计算的第一变换366的组合。脸部建模器212可以被配置为计算用于多个预存的脸部表情中的期望的任意脸部表情的总变换370。例如，如图3J所示，总变换370(也用Ti*表示)可以是在具有中性表情的平均形状脸部模型332和具有任意脸部表情的平均形状脸部模型362之间计算的。
图3K示出了对具有中性表情的第一用户110的脸部的生成的细化的第一3D脸部模型352应用计算的总变换370。参照图3K，示出了计算的具有中性表情的平均形状脸部模型332和具有任意脸部表情的平均形状脸部模型362之间的总变换370。还示出了对具有中性表情的第一用户110的细化的第一3D脸部模型352应用计算的总变换370以生成具有任意脸部表情的第一用户110的脸部的3D脸部模型372。
脸部建模器212可以被配置为通过对具有中性表情的第一用户110的脸部的细化的第一3D脸部模型应用计算的变换的集合(或计算的总变换370)来导出融合形状的集合。融合形状的集合对应于第一用户110的脸部的多个任意脸部表情。例如，如图3K所示，第一用户的脸部的3D脸部模型372是通过对具有中性表情的第一用户110的脸部的细化的第一3D脸部模型352应用脸部表情中的计算的总变换370而生成的。
为了生成具有任意脸部表情的第一用户110的脸部的3D脸部模型，执行如图3A所示的处理流水线的操作314至318。感测设备106可以被配置为从一个或多个观看角度捕获具有任意表情的第一用户110的脸部的一个或多个彩色图像和对应的深度信息。脸部建模器212可以被配置为基于捕获的彩色图像来生成用于任意表情的点云。脸部建模器212可以被配置为使生成的用于任意表情的点云与具有中性表情的第一用户110的脸部的细化的第一3D脸部模型352对齐。
图3L示出了用于生成具有特定的任意脸部表情的第一用户110的脸部的3D脸部模型的模型拟合操作。参照图3L，示出了第二3D脸部模型378、融合形状的集合374以及用于融合形状的集合中的每个融合形状的权重系数376。在图3L中，详细地进一步描述图3A的处理流水线中的与第一用户110的脸部的具有任意脸部表情的第一用户110的3D脸部模型的生成相关的对于任意脸部表情的模型拟合操作(即，图3A的操作320)。
用于第一用户110的具有期望的特定的任意脸部表情的脸部模型可以被认为是多个融合形状374的组合。脸部建模器212可以被配置为估计用于对于第一用户110的脸部的3D脸部模型实现特定的任意脸部表情将需要的每个融合形状的权重系数376。脸部建模器可以被配置为生成用于具有特定的任意脸部表情的第一用户110的脸部的第二3D脸部模型378。可以通过使用如下所示的方程(10)来生成第一用户110的脸部的第二3D脸部模型376。
F＝bo+(bi-bo)e
(10)，
其中，F表示第二3D脸部模型378；
bo表示第一用户110的脸部的中性表情；
bi表示第一用户110的脸部的融合形状374；
e表示系数；
可以通过使用如下所示的方程(11)来计算不同的融合形状374的系数的值：
Figure BDA0001579239740000271
其中，vi、Fi表示模型上的顶点及其来自点云(n)的对应者；
vj、Fj表示模型上的标志及其来自点云(m)的对应者；
w′表示用于标志的权重。
图4A、4B和4C共同描绘了示出根据本公开的实施例的使用基于虚拟现实的装置来生成现实的3D人脸模型的示例性操作的流程图。参照图4A、4B和4C，示出了流程图400。流程图400被结合图1、2和3A至3L描述。操作404至406可以在基于VR的装置102中实现。流程图400从402开始，并且继续进行到404。
在404，可以将3D脸部模型存储在基于VR的装置102中。基于VR的装置还可以将具有中性表情的平均形状脸部模型和该平均形状脸部模型的多个形状分量存储为存储的3D脸部模型的一部分。基于VR的装置102可以被进一步配置为存储与平均形状脸部模型相关的多个任意脸部表情。平均形状脸部模型的多个任意脸部表情可以被存储为不同的任意脸部表情的表情模板。
在406，可以从具有中性脸部表情的一个或多个观看角度捕获第一用户110的脸部的多个彩色图像和对应的深度信息。第一用户110的脸部的多个彩色图像和对应的深度信息可以由感测设备106捕获。捕获的彩色图像和对应的深度信息可以相对于彼此对齐。基于VR的装置102可以被配置为经由通信网络108从感测设备106接收第一用户110的脸部的多个彩色图像和对应的深度信息。
在408，可以从第一用户110的脸部的捕获的多个彩色图像的聚合彩色图像324检测多个特征点326。可以基于由基于VR的装置102进行的2D脸部标志检测来检测多个特征点326。检测到的多个特征点326可以包括诸如眼睛、鼻子、嘴唇或其他特征点之类的特征点。图3B中示出和描述的例子描绘了从聚合彩色图像324检测到的多个特征点326。
在410，可以基于第一用户110的脸部的多个彩色图像和对应的深度信息来生成具有中性表情的第一用户110的脸部的点云(例如，点云330)。基于VR的装置102可以被配置为进一步基于从多个彩色图像检测到的多个特征点326来生成具有中性表情的点云330。生成的点云330可以是可以表示第一用户110的脸部的外表面的数据点类集(collection)。图3B中示出和描述的例子描绘了基于从聚合彩色图像324检测到的多个特征点326生成的点云330。
在412，可以基于在生成的点云330上检测到的多个特征点326和平均形状脸部模型332上的多个标志点来估计仿射变换。仿射变换可以是保留点、直线和平面的线性映射方法。如例如图3C所示，脸部建模器212可以被配置为估计点云330上的特征点330A和平均形状脸部模型332上的标志332A的3D坐标之间的仿射变换。
在414，可以基于对生成的具有中性表情的点云330应用估计的仿射变换来生成严格对齐的点云(例如，严格对齐的点云334)。第一用户110的脸部的多个特征点326可以在严格对齐的点云334中被对齐。图3C中描述了基于对生成的点云330应用的仿射变换来生成严格对齐的点云334的例子。
在416，可以将多个边缘添加到生成的严格对齐的点云334。边缘的添加可以基于严格对齐的点云334上的多个点根据严格对齐的点云334上的该多个点中的每个点在2D空间中的邻接的连接。
在418，可以基于对于严格对齐的点云334的多个边缘的添加来导出第一用户110的脸部的输入网格(例如，输入网格336)。图3D中描述了基于对于严格对齐的点云334的多个边缘的添加导出的输入网格336的例子。
在420，可以基于第一用户110的脸部的导出的输入网格336来使平均形状脸部模型332变形。脸部建模器212可以被配置为基于第一用户110的脸部的导出的输入网格336来使平均形状脸部模型332变形。
在422，可以基于平均形状脸部模型的变形来生成第一用户110的脸部的变形的平均形状脸部模型(例如，变形的平均形状脸部模型338)。图3D中示出和描述的例子描绘了通过基于导出的输入网格336使平均形状脸部模型332变形而生成的变形的平均形状脸部模型338。
在424，可以估计用于存储的3D脸部模型的多个预存的形状分量342中的每个形状分量的权重(例如，权重系数340)。可以基于第一3D脸部模型344的顶点与严格对齐的点云334的对应顶点的最小差异来进行估计。
在426，在模型拟合中来自存储的3D脸部模型的多个加权的形状分量342中的每个加权的形状分量可以被组合以生成第一用户110的脸部的第一3D脸部模型344。如例如图3E所示，脸部建模器212可以被配置为组合多个加权的形状分量342中的每个加权的形状分量以生成第一用户110的脸部的第一3D脸部模型344。
在428，可以生成具有中性表情的第一用户110的脸部的第一3D脸部模型(例如，第一3D脸部模型344)。脸部建模器212可以被配置为基于使用生成的点云330对存储的3D脸部模型进行基于形状的模型拟合操作来生成具有中性表情的第一3D脸部模型344。图3E中示出和描述的例子描绘了基于对于第一用户110的脸部获得的形状分量342中的每个的估计的权重系数340而生成的、具有中性表情的第一用户110的脸部的第一3D脸部模型344。
在430，可以基于第一用户110的脸部的生成的第一3D脸部模型344的多个顶点和第一用户110的脸部的导出的严格对齐的点云334的差异来估计脸部模型残差(例如，残差346)。估计的脸部模型残差(例如，残差346)可以包括用于第一用户110的脸部的第一3D脸部模型344的对应的多个顶点的多个子残差。
在432，可以对估计的脸部模型残差(例如，残差346)应用变形以导出用于第一用户110的脸部的第一3D脸部模型344的变形的脸部模型残差(例如，细化的残差350)。可以使估计的脸部模型残差(例如，残差346)变形来对估计的脸部模型残差(例如，残差346)进行优化。
在434，可以将变形的脸部模型残差(例如，细化的残差350)与第一用户110的脸部的第一3D脸部模型344组合。如例如图3F所示那样，形状细化电路214可以被配置为将变形的脸部模型残差(例如，细化的残差350)与第一用户110的脸部的第一3D脸部模型344组合。
在436，可以基于变形的脸部模型残差(例如，细化的残差350)与第一用户110的脸部的第一3D脸部模型344的组合来细化第一用户110的脸部的第一3D脸部模型344的形状。如例如图3F所示，第一用户110的脸部的第一3D脸部模型344的形状可以由形状细化电路进行细化。
在438，可以控制第一用户110的脸部的细化的第一3D脸部模型352的显示。第一用户110的脸部的细化的第一3D脸部模型352可以包括与第一用户110的脸部在捕获的多个彩色图像中的形状和外观的偏差最小的、第一用户110的脸部的多个外观属性。因此，细化的第一3D脸部模型352的显示本质上可以是现实的，并且第一用户110的脸部的外观属性可以在基于VR的装置102的显示屏幕206A上清楚地可见。第一用户110的脸部的细化的第一3D脸部模型352在显示屏幕206A上的显示可以由基于VR的装置102控制。与第一用户110的整个3D模型的其他部分相比，较多像素可以在显示控制期间被分配给细化的第一3D脸部模型352的脸部部分以用于使细化的第一3D脸部模型352的显现是增强的且生动的。此外，在脸部部分内，可能存在当在显示屏幕206A上被观看时更突出的特征丰富的一些脸部区域，诸如嘴唇、眼睛和前额。特征丰富的脸部区域可以在显示期间被分配比细化的第一3D脸部模型352的脸部部分的其他区域甚至更高数量的像素。
在440，可以评估存储的具有中性表情的平均形状脸部模型332和存储的具有多个任意脸部表情的平均形状脸部模型之间的变换的集合。图3J中示出和描述的例子描绘了计算的用于从具有中性表情的平均形状脸部模型332实现特定表情的总变换370。该变换可以由脸部建模器212评估。评估的变换包括用于存储的平均形状脸部模型上的每个顶点的第一变换366以及用于存储的平均形状脸部模型上的每个不动顶点368的变换。
在442，可以对具有中性表情的第一用户110的细化的第一3D脸部模型352应用评估的变换的集合。图3K中示出和描述的例子描绘了由脸部建模器212对具有中性表情的第一用户110的细化的第一3D脸部模型352应用计算的总变换370。
在444，可以基于应用的与第一用户110的脸部的多个任意脸部表情相对应的变换的集合、从第一用户110的细化的第一3D脸部模型352生成融合形状的集合374。生成的融合形状的集合374可以包括具有多个任意脸部表情的第一用户110的脸部的细化的第一3D脸部模型352，该模型352对应于存储的具有多个任意脸部表情的平均形状脸部模型。
在446，可以重复从406到422的操作。然而，在446，不是捕获具有中性脸部表情的第一用户110的脸部的多个彩色图像和对应的深度信息(如406中讨论的那样)，而是可以针对任意表情捕获第一用户110的脸部的一个或多个彩色图像和对应的深度信息。此外，在任意表情的情况下，具有任意表情的第一用户110的一个前视图的图像捕获可能是足够的。因此，对于任意表情，对齐可以是在用于任意表情的、第一用户110的脸部的新点云和细化的第一3D脸部模型352之间的。基本上，对于第二脸部模型，我们需要不同的点云或输入网格。在图3A中，它是314-318。
在448，可以生成第一用户110的脸部的第二3D脸部模型378。生成的第二3D脸部模型378可以基于导出的融合形状的集合374而对应于第一用户110的捕获的脸部表情。具有特定的任意脸部表情的3D脸部模型可以被认为是多个融合形状的组合。基于VR的装置102可以估计用于融合形状的集合374中的每个融合形状的权重系数376以实现第一用户110的特定的任意脸部表情。图3L中示出和描述的例子描绘了生成具有任意脸部表情的第一用户110的脸部的第二3D脸部模型378所需的不同的融合形状374的组合。具有中性表情的第一用户110的脸部的生成的细化的第一3D脸部模型352和具有任意脸部表情的第一用户110的脸部的生成的第二3D脸部模型378可以用于创建虚拟存在和游戏环境。控制可以传递到结束450。
根据本公开的实施例，公开了一种用于生成现实的3D人脸模型的基于虚拟现实的装置。该装置(诸如基于VR的装置102(图1))可以包括存储器设备(诸如存储器204)以及耦合到感测设备(诸如感测设备106)的一个或多个电路(诸如处理器210、脸部建模器212和形状细化电路214(图2))。存储器204可以被配置为存储具有中性表情的平均形状脸部模型(诸如平均形状脸部模型332(图3C))和具有多个任意脸部表情的平均形状脸部模型。处理器210可以被配置为接收用户(诸如图1中的第一用户110)的脸部的多个彩色图像和对应的深度信息(诸如图3B中的聚合彩色图像324)。脸部建模器212可以被进一步配置为基于从感测设备106接收的第一用户的脸部的多个彩色图像和对应的深度信息来生成第一用户的脸部的点云(诸如图3B中的点云330)。脸部建模器212可以被进一步配置为生成具有中性表情的第一用户110的脸部的第一3D脸部模型(例如，图3E的第一3D脸部模型344)。可以通过使用生成的点云330对平均形状脸部模型332进行基于形状的模型拟合来生成第一3D脸部模型。形状细化电路214可以被配置为基于第一3D脸部模型344和第一用户110的脸部的生成的点云330之间的差异来细化第一3D脸部模型344的形状。形状细化电路214可以被进一步配置为生成第一用户110的脸部的细化的第一3D脸部模型(诸如图3F中的细化的第一3D脸部模型352)。处理器210可以进一步控制第一用户110的脸部的细化的第一3D脸部模型352在基于VR的装置402上的显示以使得细化的第一3D脸部模型352上的多个外观属性表现出与第一用户110的脸部在捕获的多个彩色图像中的形状和外观的最小偏差。
在常规的3D虚拟现实环境中，从创建用户的3D脸部模型所需的各种观看角度捕获输入图像数据涉及几个复杂性(complexity)。此外，用户的脸部的常规的3D模型可能不类似于用户的实际脸部细节。例如，人脸的结构和表面表示可能不类似于用户的脸部，并且脸部模型的表情可能不与人脸的表情匹配。3D脸部模型相对于用户的实际脸部在结构、特征和表情方面的这个差异对于现实的实时观看目的和虚拟现实应用可能是不期望的。因此，为了使3D人脸模型较现实地类似于实际人脸，基于用户的脸部的捕获的脸部细节来细化生成的3D模型的形状。这需要估计生成的3D脸部模型和用户的脸部的捕获的脸部细节之间的差异。因此，表现人脸的结构和表面表示的差异的这样的3D脸部模型的显示也可以生成不现实的动画。此外，为了生成具有多个任意脸部表情的用户的脸部的3D脸部模型，可能需要用户做出不同的基本脸部表情并且使用它们的重构模型作为融合形状，这可能需要用户过多地参与。因此，为了生成具有多个任意脸部表情的用户的脸部的3D脸部模型，使用融合形状的组合，其中用于不同的任意脸部表情的融合形状是基于平均形状脸部模型的存储的多个任意脸部表情生成的。
所公开的装置(诸如基于VR的装置102)的各种实施例包括可以基于从感测设备接收的具有多个任意脸部表情的用户的脸部的多个彩色图像和对应的深度信息来生成该用户的脸部的3D脸部模型的一个或多个电路，诸如处理器210、脸部建模器212和形状细化电路214。因此，所公开的装置可以基于多个用户的图像和对应的深度信息来生成具有多个任意脸部表情的多个3D脸部模型。此外，所公开的装置可以包括生成的3D脸部模型的表面上的用户的脸部的多个外观属性，与常规的动画3D环境相比，这些外观属性较现实地类似于用户的脸部的外观。例如，生成的3D脸部模型(诸如第二3D脸部模型)的结构和表面表示可以与用户的脸部的结构和表面表示相似。因此，脸部建模器212和形状细化电路214使得装置(诸如基于VR的装置102)能够生成并且显示用户的现实的3D脸部模型。该装置(诸如基于VR的装置102)能够通过使用由感测设备106接收的用户的脸部的图像和对应的深度信息来生成用户的脸部的现实的3D脸部模型，从而提供3D虚拟现实环境中的特定改进。
本公开的各种实施例可以提供一种非暂时性计算机可读介质和/或存储介质、和/或存储于其上的非暂时性机器可读介质和/或存储介质、可以由包括通信地耦合到感测设备的一个或多个电路的机器和/或计算机执行的指令集。指令集可以由机器和/或计算机执行以执行包括多个任意脸部表情的平均形状脸部模型的存储的步骤。可以从感测设备接收来自不同观看角度的用户的脸部的多个彩色图像和对应的深度信息。可以基于用户的脸部的接收的多个彩色图像和对应的深度信息来生成用户的脸部的点云。可以通过使用生成的点云对平均形状脸部模型进行基于形状的模型拟合来生成具有中性表情的用户的脸部的第一3D脸部模型。可以通过基于第一3D脸部模型、基于形状的模型拟合和第一用户的脸部的生成的点云之间的差异对第一3D脸部模型的形状进行细化来生成第一用户110的脸部的细化的第一3D脸部模型。可以在基于VR的装置102上控制第一用户的脸部的细化的第一3D脸部模型在显示屏幕206A上的显示以使得细化的第一3D脸部模型上的多个外观属性表现出与第一用户的脸部在捕获的多个彩色图像中的形状和外观的最小偏差。
根据本公开的示例性方面，基于VR的装置102可以是基于虚拟现实或增强现实的设备。因此，由如本公开中所描述的基于VR的装置102执行的操作也可以由基于虚拟现实或增强现实的设备执行。例如，基于虚拟现实的设备可以向第二个人呈现第一个人的第二3D脸部模型，诸如第二3D脸部模型378。第二3D脸部模型378可以实时地或接近实时地模仿具有多个任意脸部表情的第一个人的脸部。第二3D脸部模型378还可以用图像数据加上纹理(textured)以使得类似于第一个人的脸部。因此，由基于虚拟现实的设备对第二3D脸部模型378的显示在远程位置上为第二个人创建第一个人的虚拟呈现。
根据本公开的另一个示例性方面，基于VR的装置102可以是游戏设备。因此，由如本公开中所描述的基于VR的装置102执行的操作也可以由游戏设备执行。例如，游戏设备可以在游戏环境中向用户呈现游戏人物，诸如第二3D脸部模型378。游戏设备可以进一步使游戏人物模拟玩家的脸部的一个或多个姿势。这可以使得玩家能够在游戏环境中控制游戏人物的移动。例如，在玩家开始移动他的头的情况下，游戏人物可以模拟玩家的移动的头。游戏环境也可以是多玩家游戏。在这样的情况下，游戏设备可以呈现多个游戏人物，每个游戏人物在该多玩家游戏中模拟多个玩家中的一个。
根据本公开的又一个示例性方面，基于VR的装置102可以是基于3D模型的会议系统。因此，由如本公开中所描述的基于VR的装置102执行的操作也可以由基于3D模型的会议系统执行。通常，常规的视频会议系统需要高网络带宽来无缝地传输视频。在网络带宽的要求没有得到满足的情况下，视频会议受到阻碍。基于3D模型的会议设备(诸如基于VR的装置102)使得能够实现可能不需要高网络带宽来传输视频的少视频会议。例如，基于3D模型的会议设备可以跟踪参与会议的第一个人的一个或多个脸部表情。基于3D模型的会议设备然后可以基于第一个人的跟踪的一个或多个脸部表情来驱动(animate)第二3D脸部模型，诸如第二3D脸部模型378。驱动的第二3D脸部模型可以与第一个人的记录的音频一起呈现给参与会议的第二个人。基于3D模型的会议设备可以进一步向第一个人呈现模拟第二个人的一个或多个脸部表情的另一个动画3D脸部模型。因此，基于3D模型的会议设备使得第一个人和第二个人能够参与会议。
本公开可以用硬件或硬件和软件的组合来实现。本公开可以在至少一个计算机系统中以集中式的方式实现，或者可以以分布式方式实现，在分布式方式中，不同的元件可以遍布几个互连的计算机系统。适于执行本文所描述的方法的计算机系统或其他装置可以是合适的。硬件和软件的组合可以是具有计算机程序的通用计算机系统，该计算机程序在被加载和执行时，可以控制该计算机系统以使得它执行本文所描述的方法。本公开可以用包括也执行其他功能的集成电路的一部分的硬件来实现。
本公开也可以被嵌入在计算机程序产品中，该计算机程序产品包括使得能够实现本文所描述的方法的所有特征，并且当被加载在计算机系统中时能够执行这些方法。本上下文下的计算机程序意指意图使具有信息处理能力的系统直接地或在以下中的一个或两个之后执行特定功能的指令集的用任何语言、代码或记法的任何表达：a)转换为另一语言、代码或记法；b)以不同的材料形式再现。
虽然参照某些实施例描述了本公开，但是本领域技术人员将理解，在不脱离本公开的范围的情况下，可以做出各种改变，并且可以替换等同物。另外，在不脱离本公开的范围的情况下，可以做出许多修改以使特定情形或材料适于本公开的教导。因此，意图是本公开不限于所公开的特定实施例，但是本公开将包括落在所附权利要求的范围内的所有实施例。

Claims (15)

1.一种基于虚拟现实的装置，包括：
存储器设备，被配置为存储3D脸部模型，该3D脸部模型是现有3D脸部模型；以及
通信地耦合到感测设备的电路，其中，电路被配置为：
基于第一用户的脸部的多个彩色图像和所述多个彩色图像的每个图像中的第一用户的脸部的深度信息来生成第一用户的脸部的点云，其中，第一用户的多个彩色图像和对应的深度信息是由感测设备从具有中性表情的脸部的不同观看角度捕获的；
基于2D脸部标志检测来检测第一用户脸部的多个彩色图像的多个特征点，多个特征点从2D到3D的投影生成用于3D人脸模型的点云，在生成的点云上检测多个特征点；
基于在生成的点云上检测到的多个特征点以及平均形状脸部模型上的多个标志点来估计仿射变换；
通过对生成的点云应用估计的仿射变换来生成严格对齐的点云；
使用生成的严格对齐的点云对所存储的3D脸部模型进行基于形状的模型拟合来生成具有中性表情的第一用户的脸部的第一3D脸部模型；
基于第一用户的脸部的生成的第一3D脸部模型的多个顶点和第一用户的脸部的生成的严格对齐的点云的差异来评估脸部模型残差，其中，脸部模型残差包括用于第一用户的脸部的生成的第一3D脸部模型的对应的多个顶点的多个子残差；
细化生成的第一3D脸部模型的形状，其中生成的第一3D脸部模型的形状的细化是根据基于形状的模型拟合以及评估的脸部模型残差；以及
控制第一用户的脸部的细化的生成的第一3D脸部模型的形状在基于虚拟现实的装置上的显示，以使得细化的生成的第一3D
脸部模型的形状上的多个外观属性表现出与在多个彩色图像中的第一用户的脸部的实际形状和第一用户的脸部的外观的最小偏差。
2.根据权利要求1所述的基于虚拟现实的装置，其中，存储器设备被进一步配置为还存储作为存储的3D脸部模型的一部分的具有中性表情的平均形状脸部模型和该平均形状脸部模型的多个形状分量、以及与平均形状脸部模型相关的多个任意脸部表情。
3.根据权利要求1所述的基于虚拟现实的装置，其中，电路被进一步配置为：
基于生成的严格对齐的点云上的多个点的连接来将多个边缘添加到生成的严格对齐的点云，其中生成的严格对齐的点云上的多个点的连接是基于生成的严格对齐的点云上的多个点中的每个点在2D空间中的邻接；以及
基于对于生成的严格对齐的点云的多个边缘的添加来导出第一用户的脸部的输入网格。
4.根据权利要求3所述的基于虚拟现实的装置，其中，电路被进一步配置为：
基于第一用户的脸部的导出的输入网格来使平均形状脸部模型变形。
5.根据权利要求1所述的基于虚拟现实的装置，其中，电路被进一步配置为：
基于平均形状脸部模型的每个形状分量的顶点与严格对齐的点云的对应顶点的最小差异来估计用于存储在存储器设备中的多个形状分量中的每个形状分量的权重；以及
在基于形状的模型拟合中组合来自存储的3D脸部模型的多个加权的形状分量中的每个加权的形状分量以生成第一用户的脸部的第一3D脸部模型。
6.根据权利要求1所述的基于虚拟现实的装置，其中，电路被进一步配置为：
对评估的脸部模型残差应用变形以导出用于第一用户的脸部的生成的第一3D脸部模型的变形的脸部模型残差；以及
将变形的脸部模型残差与第一用户的脸部的生成的第一3D脸部模型组合以获得第一用户的脸部的细化的第一3D脸部模型的形状。
7.根据权利要求6所述的基于虚拟现实的装置，其中，对评估的脸部模型残差应用的变形是拉普拉斯变形。
8.根据权利要求1所述的基于虚拟现实的装置，其中，电路被进一步配置为评估存储在存储器设备中的具有中性表情的平均形状脸部模型和存储在存储器设备中的具有多个任意脸部表情中的每个任意脸部表情的平均形状脸部模型之间的变换的集合。
9.根据权利要求8所述的基于虚拟现实的装置，其中，电路被进一步配置为：
对具有中性表情的第一用户的细化的第一3D脸部模型的形状应用评估的变换的集合；以及
基于应用的与第一用户的脸部的多个任意脸部表情相对应的变换的集合从第一用户的细化的第一3D脸部模型的形状导出融合形状的集合。
10.根据权利要求9所述的基于虚拟现实的装置，其中，电路被进一步配置为基于导出的融合形状的集合来生成与第一用户的捕获的脸部表情相对应的、第一用户的脸部的第二3D脸部模型。
11.一种用于生成现实的3D人脸模型的方法，该方法包括：
在包括存储器设备和通信地耦合到感测设备的电路的基于虚拟现实的装置中：
由电路将作为现有3D脸部模型的3D脸部模型存储在存储器设备中；
由电路基于第一用户的脸部的多个彩色图像和所述多个彩色图像的每个图像中的第一用户的脸部的深度信息来生成第一用户的脸部的点云，其中，第一用户的多个彩色图像和对应的深度信息是由感测设备从具有中性表情的脸部的不同观看角度捕获的；
由电路基于2D脸部标志检测来检测第一用户脸部的多个彩色图像的多个特征点，多个特征点从2D到3D的投影生成用于3D人脸模型的点云，在生成的点云上检测多个特征点；
由电路基于在生成的点云上检测到的多个特征点以及平均形状脸部模型上的多个标志点来估计仿射变换；
由电路通过对生成的点云应用估计的仿射变换来生成严格对齐的点云；
由电路使用生成的严格对齐的点云对所存储的3D脸部模型进行基于形状的模型拟合来生成具有中性表情的第一用户的脸部的第一3D脸部模型；
由电路基于第一用户的脸部的生成的第一3D脸部模型的多个顶点和第一用户的脸部的生成的严格对齐的点云的差异来评估脸部模型残差，其中，脸部模型残差包括用于第一用户的脸部的生成的第一3D脸部模型的对应的多个顶点的多个子残差；
由电路细化生成的第一3D脸部模型的形状，其中生成的第一3D脸部模型的形状的细化是根据基于形状的模型拟合以及评估的脸部模型残差；以及
由电路控制第一用户的脸部的细化的生成的第一3D脸部模型的形状在基于虚拟现实的装置上的显示，以使得细化的生成的第一3D脸部模型的形状上的多个外观属性表现出与在多个彩色图像中的第一用户的脸部的实际形状和第一用户的脸部的外观的最小偏差。
12.根据权利要求11所述的方法，进一步包括：
由电路基于生成的严格对齐的点云上的多个点的连接来将多个边缘添加到生成的严格对齐的点云，其中生成的严格对齐的点云上的多个点的连接是基于生成的严格对齐的点云上的多个点中的每个点在2D空间中的邻接；以及
由电路基于对于生成的严格对齐的点云的多个边缘的添加来导出第一用户的脸部的输入网格。
13.根据权利要求12所述的方法，进一步包括：
由电路基于第一用户的脸部的导出的输入网格来使平均形状脸部模型变形。
14.根据权利要求11所述的方法，进一步包括：
由电路对评估的脸部模型残差应用变形以导出用于第一用户的脸部的生成的第一3D脸部模型的变形的脸部模型残差；以及
由电路将变形的脸部模型残差与第一用户的脸部的生成的第一3D脸部模型组合以获得第一用户的脸部的细化的第一3D脸部模型的形状。
15.一种非暂时性计算机可读介质，包括存储在该非暂时性计算机可读介质上的指令，所述指令当被执行时使得执行如权利要求11-14中任一项所述的方法。
CN201810155331.0A 2017-03-01 2018-02-13 生成三维人脸模型的基于虚拟现实的装置和方法 Active CN108537110B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762465534P 2017-03-01 2017-03-01
US62/465,534 2017-03-01
US15/861,826 2018-01-04
US15/861,826 US10572720B2 (en) 2017-03-01 2018-01-04 Virtual reality-based apparatus and method to generate a three dimensional (3D) human face model using image and depth data

Publications (2)

Publication Number Publication Date
CN108537110A CN108537110A (zh) 2018-09-14
CN108537110B true CN108537110B (zh) 2022-06-14

Family

ID=61189364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810155331.0A Active CN108537110B (zh) 2017-03-01 2018-02-13 生成三维人脸模型的基于虚拟现实的装置和方法

Country Status (5)

Country Link
US (1) US10572720B2 (zh)
EP (1) EP3370208B1 (zh)
JP (1) JP6638892B2 (zh)
KR (1) KR102069964B1 (zh)
CN (1) CN108537110B (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3098752A1 (en) * 2015-05-29 2016-11-30 Thomson Licensing Method and device for generating an image representative of a cluster of images
JP2017187882A (ja) 2016-04-04 2017-10-12 セイコーエプソン株式会社 画像処理に用いられるコンピュータープログラム
US11374929B2 (en) * 2017-03-21 2022-06-28 Global E-Dentity, Inc. Biometric authentication for an augmented reality or a virtual reality device
US10135822B2 (en) 2017-03-21 2018-11-20 YouaretheID, LLC Biometric authentication of individuals utilizing characteristics of bone and blood vessel structures
US10552665B2 (en) 2017-12-12 2020-02-04 Seiko Epson Corporation Methods and systems for training an object detection algorithm using synthetic images
CN108256505A (zh) * 2018-02-12 2018-07-06 腾讯科技（深圳）有限公司 图像处理方法及装置
US10769437B2 (en) 2018-04-10 2020-09-08 Seiko Epson Corporation Adaptive sampling of training views
US10878285B2 (en) * 2018-04-12 2020-12-29 Seiko Epson Corporation Methods and systems for shape based training for an object detection algorithm
US10748257B2 (en) * 2018-06-29 2020-08-18 Topcon Corporation Point cloud colorization with occlusion detection
CN112740666A (zh) 2018-07-19 2021-04-30 艾科缇弗外科公司 自动手术机器人视觉系统中多模态感测深度的系统和方法
US10634918B2 (en) 2018-09-06 2020-04-28 Seiko Epson Corporation Internal edge verification
US20200090392A1 (en) * 2018-09-19 2020-03-19 XRSpace CO., LTD. Method of Facial Expression Generation with Data Fusion
US10783704B2 (en) * 2018-09-27 2020-09-22 Disney Enterprises, Inc. Dense reconstruction for narrow baseline motion observations
KR102187926B1 (ko) * 2018-10-23 2020-12-07 주식회사 케이티 볼류메트릭 비디오 생성 방법, 장치 및 컴퓨터 판독가능 매체
US11830132B2 (en) 2018-12-06 2023-11-28 Deepixel Inc. Device for processing face feature point estimation image on basis of standard face model, and phusical computer-readable recording medium in which program for processing face feature point estimation image on basis of standard face medel is recorded
KR20210146283A (ko) * 2018-12-28 2021-12-03 액티브 서지컬, 인크. 부분 깊이 맵으로부터의 합성 삼차원 이미징의 생성
US11049310B2 (en) * 2019-01-18 2021-06-29 Snap Inc. Photorealistic real-time portrait animation
WO2020222785A1 (en) * 2019-04-30 2020-11-05 Hewlett-Packard Development Company, L.P. Facial action unit detection
KR102241153B1 (ko) * 2019-07-01 2021-04-19 주식회사 시어스랩 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템
JP6731532B1 (ja) * 2019-08-31 2020-07-29 グリー株式会社 動画再生装置、動画再生方法、及び動画配信システム
CN110689625B (zh) * 2019-09-06 2021-07-16 清华大学 定制人脸混合表情模型自动生成方法及装置
CN110930298A (zh) * 2019-11-29 2020-03-27 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质
US11682234B2 (en) 2020-01-02 2023-06-20 Sony Group Corporation Texture map generation using multi-viewpoint color images
US11557086B2 (en) * 2020-01-02 2023-01-17 Sony Group Corporation Three-dimensional (3D) shape modeling based on two-dimensional (2D) warping
CN111291218B (zh) * 2020-01-20 2023-09-08 北京百度网讯科技有限公司 视频融合方法、装置、电子设备及可读存储介质
CN113744384B (zh) * 2020-05-29 2023-11-28 北京达佳互联信息技术有限公司 三维人脸重建方法、装置、电子设备及存储介质
CN111652121B (zh) 2020-06-01 2023-11-03 腾讯科技（深圳）有限公司 一种表情迁移模型的训练方法、表情迁移的方法及装置
CN111784821B (zh) * 2020-06-30 2023-03-14 北京市商汤科技开发有限公司 三维模型生成方法、装置、计算机设备及存储介质
CN112750071B (zh) * 2020-11-04 2023-11-24 上海序言泽网络科技有限公司 一种用户自定义的表情制作方法及系统
US11875601B2 (en) * 2020-12-24 2024-01-16 Beijing Baidu Netcom Science and Technology Co., Ltd Meme generation method, electronic device and storage medium
US11776210B2 (en) * 2021-01-22 2023-10-03 Sony Group Corporation 3D face modeling based on neural networks
CN114187624B (zh) 2021-11-09 2023-09-22 北京百度网讯科技有限公司 图像生成方法、装置、电子设备及存储介质
CN114219920B (zh) * 2021-12-14 2023-05-26 魔珐(上海)信息科技有限公司 三维人脸模型的构建方法及装置、存储介质、终端
WO2023136387A1 (ko) * 2022-01-17 2023-07-20 엘지전자 주식회사 인공 지능 장치 및 그의 동작 방법
WO2023242983A1 (ja) * 2022-06-15 2023-12-21 株式会社ニコン 加工制御情報生成方法、加工方法及びモデル生成方法
US20240046593A1 (en) * 2022-08-03 2024-02-08 Luxottica Group S.P.A. Modelling method for making a virtual model of a user's head
KR102544262B1 (ko) 2022-08-19 2023-06-16 (주)페르소나에이아이 사용자와 메타휴먼의 쌍방향 대화 응대 서비스를 스트리밍 기반으로 제공하는 전자 장치
CN117392734B (zh) * 2023-12-12 2024-05-14 深圳市宗匠科技有限公司 面部数据处理方法、装置、计算机设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002015310A (ja) * 2000-06-30 2002-01-18 Minolta Co Ltd 点群に面をフィッティングする方法およびモデリング装置
JP2002216161A (ja) * 2001-01-22 2002-08-02 Minolta Co Ltd 画像生成装置
CN101833786A (zh) * 2010-04-06 2010-09-15 清华大学 三维模型的捕捉及重建方法和系统
CN102208117A (zh) * 2011-05-04 2011-10-05 西安电子科技大学 脊椎的三维几何与有限元混合模型的构建方法
CN103093490A (zh) * 2013-02-02 2013-05-08 浙江大学 基于单个视频摄像机的实时人脸动画方法
CN103325142A (zh) * 2013-05-29 2013-09-25 南京大学 一种基于Kinect的计算机三维模型建模方法
CN103854306A (zh) * 2012-12-07 2014-06-11 山东财经大学 一种高真实感的动态表情建模方法
CN104050712A (zh) * 2013-03-15 2014-09-17 索尼公司 三维模型的建立方法和装置
CN104183002A (zh) * 2013-05-27 2014-12-03 索尼公司 三维模型的变化方法和装置
WO2016030305A1 (en) * 2014-08-29 2016-03-03 Thomson Licensing Method and device for registering an image to a model
EP3026636A1 (en) * 2014-11-25 2016-06-01 Samsung Electronics Co., Ltd. Method and apparatus for generating personalized 3d face model

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020014844A (ko) * 2000-07-18 2002-02-27 최창석 3차원 얼굴 모델링 방법
JP2007257324A (ja) 2006-03-23 2007-10-04 Space Vision:Kk 顔モデル作成システム
US10378891B2 (en) 2007-12-28 2019-08-13 Outotec Pty Ltd System and method for measuring and mapping a surface relative to a reference
NZ587526A (en) * 2008-01-31 2013-06-28 Univ Southern California Facial performance synthesis using deformation driven polynomial displacement maps
US9070216B2 (en) 2011-12-14 2015-06-30 The Board Of Trustees Of The University Of Illinois Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring
US9235928B2 (en) 2012-01-24 2016-01-12 University Of Southern California 3D body modeling, from a single or multiple 3D cameras, in the presence of motion
WO2013162735A1 (en) 2012-04-25 2013-10-31 University Of Southern California 3d body modeling from one or more depth cameras in the presence of articulated motion
FR2998402B1 (fr) 2012-11-20 2014-11-14 Morpho Procede de generation d'un modele de visage en trois dimensions
US9378576B2 (en) 2013-06-07 2016-06-28 Faceshift Ag Online modeling for real-time facial animation
US9177410B2 (en) * 2013-08-09 2015-11-03 Ayla Mandel System and method for creating avatars or animated sequences using human body features extracted from a still image
US9317954B2 (en) 2013-09-23 2016-04-19 Lucasfilm Entertainment Company Ltd. Real-time performance capture with on-the-fly correctives
KR20150113751A (ko) * 2014-03-31 2015-10-08 (주)트라이큐빅스 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
US9782152B2 (en) 2014-08-18 2017-10-10 Vanderbilt University Method and system for real-time compression correction for tracked ultrasound and applications of same
US10796480B2 (en) 2015-08-14 2020-10-06 Metail Limited Methods of generating personalized 3D head models or 3D body models
US10664741B2 (en) * 2016-01-14 2020-05-26 Samsung Electronics Co., Ltd. Selecting a behavior of a virtual agent

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002015310A (ja) * 2000-06-30 2002-01-18 Minolta Co Ltd 点群に面をフィッティングする方法およびモデリング装置
JP2002216161A (ja) * 2001-01-22 2002-08-02 Minolta Co Ltd 画像生成装置
CN101833786A (zh) * 2010-04-06 2010-09-15 清华大学 三维模型的捕捉及重建方法和系统
CN102208117A (zh) * 2011-05-04 2011-10-05 西安电子科技大学 脊椎的三维几何与有限元混合模型的构建方法
CN103854306A (zh) * 2012-12-07 2014-06-11 山东财经大学 一种高真实感的动态表情建模方法
CN103093490A (zh) * 2013-02-02 2013-05-08 浙江大学 基于单个视频摄像机的实时人脸动画方法
CN104050712A (zh) * 2013-03-15 2014-09-17 索尼公司 三维模型的建立方法和装置
CN104183002A (zh) * 2013-05-27 2014-12-03 索尼公司 三维模型的变化方法和装置
CN103325142A (zh) * 2013-05-29 2013-09-25 南京大学 一种基于Kinect的计算机三维模型建模方法
WO2016030305A1 (en) * 2014-08-29 2016-03-03 Thomson Licensing Method and device for registering an image to a model
EP3026636A1 (en) * 2014-11-25 2016-06-01 Samsung Electronics Co., Ltd. Method and apparatus for generating personalized 3d face model

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Morphable Model For The Synthesis Of 3D Faces;Volker Blanz et al;《In Proceedings of Siggraph 99》;19991231;第3、5节 *
Automatic Reconstruction of Dense 3D Face Point Cloud with a Single Depth Image;Shu Zhang et al;《2015 IEEE International Conference on Systems, Man, and Cybernetics》;20160114;第1439-1444页 *
Automatic reconstruction of personalized avatars from 3D face scans;Michael Zollhofer et al;《COMPUTER ANIMATION AND VIRTUAL WORLDS》;20110412;第1.2节、第3节、第3.1-3.4节 *
基于图像匹配-点云融合的建筑物立面三维重建;王俊等;《计算机学报》;20121031;第35卷(第10期);第2072-2079页 *

Also Published As

Publication number Publication date
US10572720B2 (en) 2020-02-25
CN108537110A (zh) 2018-09-14
KR102069964B1 (ko) 2020-01-23
JP2018170005A (ja) 2018-11-01
EP3370208B1 (en) 2021-03-31
US20180253593A1 (en) 2018-09-06
EP3370208A3 (en) 2018-12-12
KR20180100476A (ko) 2018-09-11
EP3370208A2 (en) 2018-09-05
JP6638892B2 (ja) 2020-01-29

Similar Documents

Publication Publication Date Title
CN108537110B (zh) 生成三维人脸模型的基于虚拟现实的装置和方法
KR102616010B1 (ko) 포토리얼리스틱 실시간 인물 애니메이션을 위한 시스템 및 방법
CN107993216B (zh) 一种图像融合方法及其设备、存储介质、终端
US9314692B2 (en) Method of creating avatar from user submitted image
US10713850B2 (en) System for reconstructing three-dimensional (3D) human body model using depth data from single viewpoint
US10818078B2 (en) Reconstruction and detection of occluded portions of 3D human body model using depth data from single viewpoint
JP7244810B2 (ja) 単色画像及び深度情報を使用した顔テクスチャマップ生成
US11557086B2 (en) Three-dimensional (3D) shape modeling based on two-dimensional (2D) warping
GB2598452A (en) 3D object model reconstruction from 2D images
JP2016152586A (ja) プロジェクションマッピング装置、映像投影制御装置、映像投影制御方法および映像投影制御プログラム
CN110580677A (zh) 一种数据处理方法、装置和用于数据处理的装置
US11790531B2 (en) Whole body segmentation
US11983819B2 (en) Methods and systems for deforming a 3D body model based on a 2D image of an adorned subject
US20240020901A1 (en) Method and application for animating computer generated images
US20240112401A1 (en) 3d garment generation from 2d scribble images
US10726602B2 (en) Apparatus and method to generate realistic three-dimensional (3D) model animation
TW201314619A (zh) 一種影像處理系統及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant