CN108364355A - 一种贴合面部表情的ar渲染方法 - Google Patents

一种贴合面部表情的ar渲染方法 Download PDF

Info

Publication number
CN108364355A
CN108364355A CN201810145956.9A CN201810145956A CN108364355A CN 108364355 A CN108364355 A CN 108364355A CN 201810145956 A CN201810145956 A CN 201810145956A CN 108364355 A CN108364355 A CN 108364355A
Authority
CN
China
Prior art keywords
vertex
face
key point
paster
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810145956.9A
Other languages
English (en)
Other versions
CN108364355B (zh
Inventor
曾强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Digital Peak Technology Co Ltd
Chengdu Rui Code Technology Co Ltd
Original Assignee
Hangzhou Digital Peak Technology Co Ltd
Chengdu Rui Code Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Digital Peak Technology Co Ltd, Chengdu Rui Code Technology Co Ltd filed Critical Hangzhou Digital Peak Technology Co Ltd
Priority to CN201810145956.9A priority Critical patent/CN108364355B/zh
Publication of CN108364355A publication Critical patent/CN108364355A/zh
Application granted granted Critical
Publication of CN108364355B publication Critical patent/CN108364355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种贴合面部表情的AR渲染方法，所述方法包括：构建背景图像中人脸关键点数据；构建贴纸的三维模型数据，生成三维贴纸模型；将三维贴纸模型投影到背景图像上；对图像进行光栅化处理完成渲染。克服了现有的解决AR渲染中，三维模型无法贴合面部跟随表情变化的问题，实现了在AR渲染中，三维模型能够贴合面部跟随表情变化的技术效果。

Description

一种贴合面部表情的AR渲染方法
技术领域
本发明涉及AR渲染领域，具体地，涉及一种贴合面部表情的AR渲染方法。
背景技术
增强现实技术(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。随着随身电子产品CPU运算能力的提升，预期增强现实的用途将会越来越广。
ar技术越来越多的应用到实际生活中，传统的ar渲染技术如：贴纸技术，是基于2d图片或者静态3d模型的，通过蒙皮动画的方式：渲染流程复杂，效率低下，模型构建复杂，体积大，总体成本高，无法解决让三维模型贴合面部表情渲染的问题。
发明内容
本发明提供了一种贴合面部表情的AR渲染方法，克服了现有的解决AR渲染中，三维模型无法贴合面部跟随表情变化的问题，实现了在AR渲染中，三维模型能够贴合面部跟随表情变化的技术效果。
为实现上述发明目的，本申请提供了一种贴合面部表情的AR渲染方法，所述方法包括：
构建背景图像中人脸关键点数据；
构建贴纸的三维模型数据，生成三维贴纸模型；
将三维贴纸模型投影到背景图像上；
对图像进行光栅化处理完成渲染。
进一步的，所述构建背景图像中人脸关键点数据，具体包括：
在带有人脸的背景图像中，标明图像中人脸的关键点坐标，关键点数量为n，关键点的归一化图像坐标kp[x,y]；
构建人脸姿态数据[y,p,r]分别为：人脸的偏航角y，俯仰角p，翻滚角度r，构建旋转矩阵rMat；
人脸的宽度L，构建屏幕到世界坐标系投影矩阵vpwMat(可以将屏幕坐标转换为世界坐标),计算关键点的世界坐标skp[x,y,z]；构建投影矩阵pMat。
进一步的，构建贴纸的三维模型数据，生成三维贴纸模型，具体包括：
三维贴纸模型由顶点坐标，纹理坐标以及三角网格索引构成；三维贴纸模型共有m个顶点，每个顶点的数据包括：顶点坐标[vx,vy,vz]，纹理坐标[tx,ty]，三角网格顶点索引[f0,f1,f2]；贴纸跟随面部表情运动，三维贴纸模型包括背景与人脸重合部分和剩余部分；在背景与人脸重合部分的区域中，顶点和关键点一一对应，共n个，坐标为lkp[kvx,kvy,kvz]，相互之间形成三角网格，称为关键点顶点kv；剩余的关键点坐标为p[vx,vy,vz]，称为非关键点顶点ukv。
进一步的，所述将三维贴纸模型投影到背景图像上，具体包括：
投影关键点顶点：使用关键点坐标kp作为关键点顶点投影后的屏幕坐标；
投影非关键点顶点：找到距离非关键点顶点最近点关键点顶点，计算ukv(非关键点顶点)和skp(关键点的世界坐标)的差值向量：offsetKP[x,y,z]＝ukv-skp；根据skp构建位移矩阵skpMat(以sdp为位移向量，构建位移矩阵)；计算屏幕坐标：pos＝pMat*rMat*skpMat*offsetKP。
进一步的，所述对图像进行光栅化处理完成渲染，具体包括：
根据三角网格顶点索引，纹理坐标计算像素颜色；将…与背景图像进行融合；完成渲染。
本申请提供的一个或多个技术方案，至少具有如下技术效果或优点：
本发明构建了人脸关键点二维坐标和贴纸模型顶点三维坐标映射关系，然后实现了通过关键点坐标驱动贴纸模型顶点运动，所以，本申请中的方法克服了现有的解决AR渲染中，三维模型无法贴合面部跟随表情变化的问题，实现了在AR渲染中，三维模型能够贴合面部跟随表情变化的技术效果。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定；
图1是本申请中贴合面部表情的AR渲染方法的流程示意图。
具体实施方式
本发明提供了一种贴合面部表情的AR渲染方法，克服了现有的解决AR渲染中，三维模型无法贴合面部跟随表情变化的问题，实现了在AR渲染中，三维模型能够贴合面部跟随表情变化的技术效果。
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
请参考图1，本申请提供了一种贴合面部表情的AR渲染方法，所述方法包括：
构建背景图像中人脸关键点数据；
构建贴纸的三维模型数据，生成三维贴纸模型；
将三维贴纸模型投影到背景图像上；
对图像进行光栅化处理完成渲染。
渲染分为2层，带人脸的图像作为背景层，贴纸模型绘制在背景层上，以此实现ar贴纸渲染。
1).构建背景图像中人脸关键点数据。
在带有人脸的背景图像中，标明图像中人脸的关键点坐标，关键点数量为n，关键点的归一化图像坐标kp[x,y]。构建人脸姿态数据[y,p,r]分别为：人脸的偏航角，俯仰角，翻滚角度，构建旋转矩阵rMat。人脸的宽度L，构建屏幕到世界坐标系投影矩阵vpwMat,计算关键点的世界坐标skp[x,y,z]。构建投影矩阵pMat。
2).构建贴纸的三维模型数据。
三维模型由顶点坐标，纹理坐标以及三角网格索引构成。模型共有m个顶点，每个顶点的数据包括坐标[vx,vy,vz]，纹理坐标[tx,ty]，三角网格顶点索引[f0,f1,f2]。贴纸要跟随面部表情运动，所以贴纸模型分为背景人脸重合的部分和剩余部分；和人脸重合在区域中，顶点和关键点一一对应,共n个，坐标为lkp[kvx,kvy,kvz]，相互之间形成三角网格，称为关键点顶点kv。剩余的关键点坐标为p[vx,vy,vz]，称为非关键点顶点ukv。
3).三维贴纸模型投影到背景图像上。
投影关键点顶点：使用关键点坐标kp作为关键点顶点投影后的屏幕坐标。
投影非关键点顶点：找到距离非关键点顶点最近点关键点顶点，计算ukv和skp的差值向量：offsetKP[x,y,z]＝ukv-skp。根据skp构建位移矩阵skpMat。计算屏幕坐标：pos＝pMat*rMat*skpMat*offsetKP；
4).光栅化：根据三角网格顶点索引，纹理坐标计算像素颜色；和背景图像进行融合；完成渲染。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种贴合面部表情的AR渲染方法，其特征在于，所述方法包括：
构建背景图像中人脸关键点数据；
构建贴纸的三维模型数据，生成三维贴纸模型；
将三维贴纸模型投影到背景图像上；
对图像进行光栅化处理完成渲染。
2.根据权利要求1所述的贴合面部表情的AR渲染方法，其特征在于，所述构建背景图像中人脸关键点数据，具体包括：
在带有人脸的背景图像中，标明图像中人脸的关键点坐标，关键点数量为n，关键点的归一化图像坐标kp[x,y]；
构建人脸姿态数据[y,p,r]分别为：人脸的偏航角y，俯仰角p，翻滚角度r，构建旋转矩阵rMat；
人脸的宽度L，构建屏幕到世界坐标系投影矩阵vpwMat,计算关键点的世界坐标skp[x,y,z]；构建投影矩阵pMat。
3.根据权利要求2所述的贴合面部表情的AR渲染方法，其特征在于，构建贴纸的三维模型数据，生成三维贴纸模型，具体包括：
三维贴纸模型由顶点坐标，纹理坐标以及三角网格索引构成；三维贴纸模型共有m个顶点，每个顶点的数据包括：顶点坐标[vx,vy,vz]，纹理坐标[tx,ty]，三角网格顶点索引[f0,f1,f2]；贴纸跟随面部表情运动，三维贴纸模型包括背景与人脸重合部分和剩余部分；在背景与人脸重合部分的区域中，顶点和关键点一一对应，共n个，坐标为lkp[kvx,kvy,kvz]，相互之间形成三角网格，称为关键点顶点kv；剩余的关键点坐标为p[vx,vy,vz]，称为非关键点顶点ukv。
4.根据权利要求3所述的贴合面部表情的AR渲染方法，其特征在于，所述将三维贴纸模型投影到背景图像上，具体包括：
投影关键点顶点：使用关键点坐标kp作为关键点顶点投影后的屏幕坐标；
投影非关键点顶点：找到距离非关键点顶点最近点关键点顶点，计算ukv和skp的差值向量：offsetKP[x,y,z]＝ukv-skp；根据skp构建位移矩阵skpMat；计算屏幕坐标：pos＝pMat*rMat*skpMat*offsetKP。
5.根据权利要求1所述的贴合面部表情的AR渲染方法，其特征在于，所述对图像进行光栅化处理完成渲染，具体包括：
根据三角网格顶点索引，纹理坐标计算像素颜色；将像素颜色与背景图像进行融合；完成渲染。
CN201810145956.9A 2018-02-12 2018-02-12 一种贴合面部表情的ar渲染方法 Active CN108364355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810145956.9A CN108364355B (zh) 2018-02-12 2018-02-12 一种贴合面部表情的ar渲染方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810145956.9A CN108364355B (zh) 2018-02-12 2018-02-12 一种贴合面部表情的ar渲染方法

Publications (2)

Publication Number Publication Date
CN108364355A true CN108364355A (zh) 2018-08-03
CN108364355B CN108364355B (zh) 2022-12-09

Family

ID=63006062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810145956.9A Active CN108364355B (zh) 2018-02-12 2018-02-12 一种贴合面部表情的ar渲染方法

Country Status (1)

Country Link
CN (1) CN108364355B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223374A (zh) * 2019-05-05 2019-09-10 太平洋未来科技（深圳）有限公司 一种预置标准人脸及头部3d模型方法
CN110941974A (zh) * 2018-09-21 2020-03-31 北京微播视界科技有限公司 虚拟对象的控制方法和装置
CN111382648A (zh) * 2018-12-30 2020-07-07 广州市百果园信息技术有限公司 人脸动态表情的检测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090092473A (ko) * 2008-02-27 2009-09-01 오리엔탈종합전자(주) 3차원 변형 가능 형상 모델에 기반한 3차원 얼굴 모델링방법
CN101751689A (zh) * 2009-09-28 2010-06-23 中国科学院自动化研究所 一种三维人脸重建方法
CN104268922A (zh) * 2014-09-03 2015-01-07 广州博冠信息科技有限公司 一种图像渲染方法及图像渲染装置
CN104463938A (zh) * 2014-11-25 2015-03-25 福建天晴数码有限公司 三维虚拟试妆方法和装置
CN106303233A (zh) * 2016-08-08 2017-01-04 西安电子科技大学 一种基于表情融合的视频隐私保护方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090092473A (ko) * 2008-02-27 2009-09-01 오리엔탈종합전자(주) 3차원 변형 가능 형상 모델에 기반한 3차원 얼굴 모델링방법
CN101751689A (zh) * 2009-09-28 2010-06-23 中国科学院自动化研究所 一种三维人脸重建方法
CN104268922A (zh) * 2014-09-03 2015-01-07 广州博冠信息科技有限公司 一种图像渲染方法及图像渲染装置
CN104463938A (zh) * 2014-11-25 2015-03-25 福建天晴数码有限公司 三维虚拟试妆方法和装置
CN106303233A (zh) * 2016-08-08 2017-01-04 西安电子科技大学 一种基于表情融合的视频隐私保护方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941974A (zh) * 2018-09-21 2020-03-31 北京微播视界科技有限公司 虚拟对象的控制方法和装置
CN110941974B (zh) * 2018-09-21 2021-07-20 北京微播视界科技有限公司 虚拟对象的控制方法和装置
CN111382648A (zh) * 2018-12-30 2020-07-07 广州市百果园信息技术有限公司 人脸动态表情的检测方法、装置、设备及存储介质
CN110223374A (zh) * 2019-05-05 2019-09-10 太平洋未来科技（深圳）有限公司 一种预置标准人脸及头部3d模型方法

Also Published As

Publication number Publication date
CN108364355B (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
US20210241521A1 (en) Face image generation method and apparatus, device, and storage medium
CN110889890B (zh) 图像处理方法及装置、处理器、电子设备及存储介质
CN111968169B (zh) 动态人体三维重建方法、装置、设备和介质
GB2584176A (en) 3D object reconstruction using photometric mesh representation
Starck et al. Model-based multiple view reconstruction of people
US20150178988A1 (en) Method and a system for generating a realistic 3d reconstruction model for an object or being
CN109325990B (zh) 图像处理方法及图像处理装置、存储介质
CN112784621B (zh) 图像显示方法及设备
CN101477701B (zh) 面向AutoCAD和3DS MAX软件的植入式真三维立体渲染方法
CN104103090A (zh) 图像处理方法、个性化人体显示方法及其图像处理系统
Wu et al. Neuralhdhair: Automatic high-fidelity hair modeling from a single image using implicit neural representations
Chen et al. A survey on 3d gaussian splatting
CN113313828B (zh) 基于单图片本征图像分解的三维重建方法与系统
CN108364355A (zh) 一种贴合面部表情的ar渲染方法
Li et al. Animated 3D human avatars from a single image with GAN-based texture inference
Li et al. 3d human avatar digitization from a single image
CN114419226A (zh) 全景渲染方法、装置、计算机设备和存储介质
CN101477702A (zh) 计算机显卡的植入式真三维立体驱动方法
Starck et al. Virtual view synthesis of people from multiple view video sequences
CN104157000A (zh) 模型表面法线的计算方法
Habtegebrial et al. Somsi: Spherical novel view synthesis with soft occlusion multi-sphere images
Jinka et al. Sharp: Shape-aware reconstruction of people in loose clothing
Li et al. Bringing instant neural graphics primitives to immersive virtual reality
CN112102470A (zh) 线性可微的参数化服装模型制作方法及其参数的优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant