CN111292423B - 基于增强现实的着色方法、装置、电子设备与存储介质 - Google Patents

基于增强现实的着色方法、装置、电子设备与存储介质 Download PDF

Info

Publication number
CN111292423B
CN111292423B CN201811497751.3A CN201811497751A CN111292423B CN 111292423 B CN111292423 B CN 111292423B CN 201811497751 A CN201811497751 A CN 201811497751A CN 111292423 B CN111292423 B CN 111292423B
Authority
CN
China
Prior art keywords
vertex
pixel point
target
normal
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811497751.3A
Other languages
English (en)
Other versions
CN111292423A (zh
Inventor
刘享军
杨超
齐坤鹏
高国平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201811497751.3A priority Critical patent/CN111292423B/zh
Priority to EP19893797.1A priority patent/EP3893207A4/en
Priority to PCT/CN2019/100977 priority patent/WO2020113998A1/zh
Publication of CN111292423A publication Critical patent/CN111292423A/zh
Priority to US17/339,681 priority patent/US11348309B2/en
Application granted granted Critical
Publication of CN111292423B publication Critical patent/CN111292423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种基于增强现实的着色方法、装置、电子设备与存储介质，该方法包括：获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色，进而提高了着色的立体感和真实感，提高用户体验。

Description

基于增强现实的着色方法、装置、电子设备与存储介质
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种基于增强现实的着色方法、装置、电子设备与存储介质。
背景技术
随着增强现实(Augmented Reality，AR)技术的快速发展和网购的流行，AR试妆得到了快速发展，例如，用户在购买唇彩时，不需要去商场专柜试色号，可以通过AR试妆，网购自己心仪的唇彩，进而提高了用户的购物便利性。同时，AR试妆时，不需要像在专柜一样，挨个涂抹，清洁度高。
现有的AR试妆方法为，采集用户的人脸图像，基于人脸图像进行特征检测。然后，利用特征点追踪技术对特征点进行实时追踪，在特征点的基础之上，找出嘴部的特征点，绘制相应的唇部网格模型，并进行着色。
但是，基于现有方法，获取的是人脸的特征点的平面坐标，进而使得唇部的网格是平面的，缺乏立体感，造成唇部光照效果的失真。
发明内容
本申请实施例提供一种基于增强现实的着色方法、装置、电子设备与存储介质。
第一方面，本申请实施例提供一种基于增强现实的着色方法，包括；
获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；
根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；
基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
在第一方面的一种可能的实现方式中，所述基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位的预设的明暗贴图，和所述目标部位的目标RGB值，对所述目标部位进行着色，包括：
根据所述三维网格中每个顶点的位置坐标、纹理坐标和法线，对每个顶点所在的三角面进行光栅化处理，确定每个三角面中各像素点的位置坐标、纹理坐标和法线；
根据每个所述像素点的位置坐标和纹理坐标，从所述明暗贴图中获取每个像素点对应的灰度值；
根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色。
在第一方面的另一种可能的实现方式中，所述根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色，包括：
根据每个所述像素点的法线、漫反射强度、光线方向和所述目标RGB值，确定每个所述像素点的漫反射颜色值；
根据每个所述像素点的法线和灰度值，以及预设的高光强度、光线方向、视线方向和光滑度系数，确定每个所述像素点的高光颜色；
根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值。
在第一方面的另一种可能的实现方式中，所述根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值，包括：
针对每个像素点，将该像素点的漫反射颜色值和高光颜色之和，作为该像素点输出到显示器上的颜色值。
在第一方面的另一种可能的实现方式中，所述确定所述三维网格中每个顶点的法线，包括：
针对所述三维网格中每个顶点，获取包括该顶点的所有三角形；
确定该顶点在每个三角形上的法线；
根据该顶点在每个三角形上的法线，确定该顶点的法线。
在第一方面的另一种可能的实现方式中，所述根据该顶点在每个三角形上的法线，确定该顶点的法线，包括：
将该顶点在每个三角形上的法线进行相加并归一化处理，获得该顶点的法线。
在第一方面的另一种可能的实现方式中，所述确定该顶点在每个三角形上的法线，包括：
将所述三角形中该顶点所在的两条边的向量进行叉乘计算，确定该顶点在每个三角形上的法线。
在第一方面的另一种可能的实现方式中，所述目标部位为唇部，所述目标RGB值为目标唇彩的RGB值。
第二方面，本申请实时提供一种基于增强现实的着色装置，包括；
获取模块，用于获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；
构建模块，用于根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格；
法线确定模块，用于确定所述三维网格中每个顶点的法线；
着色模块，用于基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
在第二方面的一种可能的实现方式中，所述着色模块包括：
确定单元，用于根据所述三维网格中每个顶点的位置坐标、纹理坐标和法线，对每个顶点所在的三角面进行光栅化处理，确定每个三角面中各像素点的位置坐标、纹理坐标和法线；
获取单元，用于根据每个所述像素点的位置坐标和纹理坐标，从所述明暗贴图中获取每个像素点对应的灰度值；
着色单元，用于根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色。
在第二方面的另一种可能的实现方式中，所述着色单元，具体用于根据每个所述像素点的法线、漫反射强度、光线方向和所述目标RGB值，确定每个所述像素点的漫反射颜色值；根据每个所述像素点的法线和灰度值，以及预设的高光强度、光线方向、视线方向和光滑度系数，确定每个所述像素点的高光颜色；根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值。
在第二方面的另一种可能的实现方式中，所述着色单元，具体用于针对每个像素点，将该像素点的漫反射颜色值和高光颜色之和，作为该像素点输出到显示器上的颜色值。
在第二方面的另一种可能的实现方式中，所述法线确定模块，具体用于针对所述三维网格中每个顶点，获取包括该顶点的所有三角形；确定该顶点在每个三角形上的法线；根据该顶点在每个三角形上的法线，确定该顶点的法线。
在第二方面的另一种可能的实现方式中，所述法线确定模块，具体用于将该顶点在每个三角形上的法线进行相加并归一化处理，获得该顶点的法线。
在第二方面的另一种可能的实现方式中，所述法线确定模块，具体用于将所述三角形中该顶点所在的两条边的向量进行叉乘计算，确定该顶点在每个三角形上的法线。
在第二方面的另一种可能的实现方式中，所述目标部位为唇部，所述目标RGB值为目标唇彩的RGB值。
第三方面，本申请实施例提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现第一方面所述的基于增强现实的着色方法。
第四方面，本申请实施例提供一种电子设备，包括：
摄像头，用于采集用户的人脸图像；
处理器，用于根据所述人脸图像，获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
第五方面，本申请实施例提供一种电子设备，包括；
中央处理器，用于获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；
图像处理器，用于基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
在第五方面的一种可能的实现方式中，所述图像处理器，具体用于根据所述三维网格中每个顶点的位置坐标、纹理坐标和法线，对每个顶点所在的三角面进行光栅化处理，确定每个三角面中各像素点的位置坐标、纹理坐标和法线；根据每个所述像素点的位置坐标和纹理坐标，从所述明暗贴图中获取每个像素点对应的灰度值；根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色。
在第五方面的另一种可能的实现方式中，所述图像处理器，具体用于根据每个所述像素点的法线、漫反射强度、光线方向和所述目标RGB值，确定每个所述像素点的漫反射颜色值；根据每个所述像素点的法线和灰度值，以及预设的高光强度、光线方向、视线方向和光滑度系数，确定每个所述像素点的高光颜色；根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值。
在第五方面的另一种可能的实现方式中，所述图像处理器，具体用于针对每个像素点，将该像素点的漫反射颜色值和高光颜色之和，作为该像素点输出到显示器上的颜色值。
在第五方面的另一种可能的实现方式中，所述中央处理器，具体用于针对所述三维网格中每个顶点，获取包括该顶点的所有三角形；确定该顶点在每个三角形上的法线；根据该顶点在每个三角形上的法线，确定该顶点的法线。
在第五方面的另一种可能的实现方式中，所述中央处理器，具体用于将该顶点在每个三角形上的法线进行相加并归一化处理，获得该顶点的法线。
在第五方面的另一种可能的实现方式中，所述中央处理器，具体用于将所述三角形中该顶点所在的两条边的向量进行叉乘计算，确定该顶点在每个三角形上的法线。
在第五方面的另一种可能的实现方式中，所述目标部位为唇部，所述目标RGB值为目标唇彩的RGB值。
第六方面，本申请实施例提供一种计算机存储介质，所述存储介质中存储计算机程序，所述计算机程序在执行时实现如第一方面任一项所述的基于增强现实的着色方法。
本申请实施例提供的基于增强现实的着色方法、装置、电子设备与存储介质，通过获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色，进而提高了着色的立体感和真实感，提高用户体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例一提供的基于增强现实的着色方法的流程示意图；
图2为本申请实施例涉及的一种三维网格示意图；
图3为本申请实施例涉及的法线的示意图；
图4为本申请实施例涉及的唇部明暗贴图；
图5为本申请实施例二提供的基于增强现实的着色方法的流程示意图；
图6为本申请实施例一提供的基于增强现实的着色装置的结构示意图；
图7为本申请实施例二提供的基于增强现实的着色装置的结构示意图；
图8为本申请一实施例提供的电子设备的结构示意图；
图9为本申请一实施例提供的电子设备的结构示意图；
图10为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
增强现实(Augmented Reality，简称AR)技术是一种实时计算摄像机位置和姿态，并在现实世界场景中叠加图像、视频和三维渲染模型的技术。这种技术从20世界90年代被首次提出，在提出之后的一段时间内，受设备计算能力的限制，没有被广泛普及。但是随着电子产品计算能力的提升，增强现实的应用越来越广泛。移动端设备(手机、平板电脑等)目前已经普及，成本已经被大大降低，在移动端设备中集成增强现实类应用成为最近的一个热点。2016年7月，任天堂、精灵宝可梦、Niantic(奈安蒂克)合作发布了世界上第一款增强现实类游戏Pokémon GO，该游戏风靡全球，获得了游戏界的奥斯卡大奖The Game Awards(年度游戏大奖)2016，游戏背后可以看出增强现实技术已经走入了人们的日常生活。增强现实除了可以应用在游戏中，也可以应用在人们的日常生活中，例如在电商家居家装类应用中，用户可以在自己房间内摆放虚拟家具，来遴选确定自己最喜欢的、与已有房间最搭配的家具产品；在广告营销场景中，用户可以扫描某个厂商的标识(logo)，来观看某个促销动画，参与某项优惠活动，领取优惠券等。
本申请实施例提供的基于增强现实的着色方法，适用于增强现实、计算机视觉和计算机图形学领域。可以用于网购中的试妆，也可以适用于其他的着色。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本申请实施例一提供的基于增强现实的着色方法的流程示意图，本实施例的方法可以包括：
S101、获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标。
本申请实施例的执行主体可以是具有着色功能的装置，例如基于增强现实的着色装置，以下简称着色装置。
该着色装置可以为单独的电子设备，也可以是电子设备的部分器件，例如为电子设备中的中央处理器(Central Processing Unit，CPU)或图形处理器(GraphicsProcessing Unit，GPU)。
可选的，本申请实施例的着色装置包括CPU和GPU。即本实施例的部分步骤由CPU完成，另一部步骤由GPU完成，例如S101至S102的步骤由CPU完成，S103的步骤由GPU完成。
本申请实施例对上述方法的具体执行主体不做限制，具体根据实际需要确定。
本实施例的目标部位为人脸上的任一部位，例如为唇部、眼部、眉毛、脸颊等脸部部位。
本实施例的可以对上述任一目标部位进行着色，提高了着色的立体感和真实感。
本申请实施例的人脸三维网格信息是基于深度摄像头采集的人脸图像生成的。
该深度摄像头除了能够获取平面图像以外，还可以获得拍摄对象的深度信息，也就是三维的位置和尺寸信息，使得整个计算系统获得环境和对象的三维立体数据。按技术分类，深度摄像头可分为以下三类主流技术：结构光、双目视觉和飞行时间测距法(Time offlight，TOF)飞行时间法。
结构光是目前主流、应用最广泛的深度感知方案，其基本原理是由结构光投射器向被测物体表面投射可控制的光点、光条或光面结构，并由图像传感器获得图像，通过系统几何关系，利用三角原理计算得到物体的三维坐标。
对上述深度摄像头采集的人脸图像进行处理，生成人脸三维网格信息。
例如，通过AR Kit的AR Face Anchor对象，从深度摄像头采集的视频流中提取的人脸网格的顶点、纹理坐标和三角面数据，生成人脸三维网格信息。
由于人脸网格信息中的顶点数、特征点相对位置都固定，所以可以查找到目标部位(例如唇部)特征点的序号，从而进一步获取到目标部位的顶点信息，还顶点信息包括顶点坐标和纹理坐标。
S102、根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线。
基于上述步骤，获得目标部位的顶点坐标后，基于目标部位的顶点坐标，构建目标部位的三维网格。
例如，如图2所示，使用opengles作为渲染api，根据GL_TRIANGLE_STRIP方式，生成目标部位的三维网格。即将相邻的3个顶点进行连接，生成如图2所示的目标部位的三维网格。
可选的，还可以使用已有的其他方式，基于目标部位的顶点坐标，构建目标部位的三维网格，本实施例对此不做限制。
法线是光照计算的必要数据，由于上述生成的目标部位的三维网格法线缺失，因此需要根据顶点坐标重新确定法线。
本实施例需要确定三维网络中每个顶点的法线，且每个顶点的法线的确定过程相同，因此，本实施例以一个顶点(例如顶点v0)的法线确定过程为例进行说明，其他顶点参照即可。
获取顶点v0所在的各三角形，如图3所示，v0所在的三角形包括：Δv0v1v2、Δv0v2v3、Δv0v3v4、Δv0v4v1。根据顶点v0的坐标和Δv0v1v2、Δv0v2v3、Δv0v3v4、Δv0v4v1，确定顶点v0的法线。
在一种示例中，若Δv0v1v2、Δv0v2v3、Δv0v3v4和Δv0v4v1处于一个平面上，可以将上述任一个三角形的法线，作为顶点v0的法线，例如，将Δv0v4v1的法线作为顶点v0的法线。
在另一种示例中，获取Δv0v1v2、Δv0v2v3、Δv0v3v4和Δv0v4v1中每个三角形的法线，将每个三角形的法线相加并取其平均值，作为顶点v0的法线。
在另一种示例中，确定该顶点在每个三角形上的法线，根据该顶点在每个三角形上的法线，确定该顶点的法线。
即确定顶点v0在Δv0v1v2上的法线，记为确定顶点v0在Δv0v2v3上的法线，记为/>确定顶点v0在Δv0v3v4上的法线，记为/>确定顶点v0在Δv0v4v1上的法线，记为/>
接着，该顶点在每个三角形上的法线，确定该顶点的法线。
可选的，可以将该顶点v0在每个三角形上的法线的平均值作为该顶点v0的法线，该平均值可以是算数平均值，也可以是加权平均值。
可选的，将该顶点v0在每个三角形上的法线进行相加并归一化处理，获得该顶点的法线
可选的，确定该顶点在每个三角形上的法线，可以包括：
将所述三角形中该顶点所在的两条边的向量进行叉乘计算，确定该顶点在每个三角形上的法线。
例如，
S103、基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
需要说明的是，上述目标部位的顶点坐标，构建所述目标部位的三维网格时，由于使用的目标部位的顶点包括顶点坐标和纹理坐标，因此，生成的三维网格的各顶点信息包括顶点坐标和纹理坐标。
明暗贴图为与唇部模型相匹配的灰度图，其中RGB三个通道的值相同。
本实施例中目标部位预设的明暗贴图可以是预先保存的，例如由美术人员事先保存至着色装置中。例如，当着色装置包括GPU时，可以将明暗贴图加载在GPU的显存中。
可选的，该着色装置还可以包括有其他人脸部位的明暗贴图。着色装置可以根据目标部位的三维网格，获取与该目标部位的三维网格匹配的明暗贴图。
如图4所示的唇部明暗贴图，该唇部明暗贴图的RGB通道为(0，0，0)，alpha通道反应的是唇部的透明度信息，其值除边缘部分渐变到0，中间主体部分值为1。
目标部位的目标RGB值为用户期望在目标部位上着色的目标RGB值，例如，目标部位为唇部时，该目标RGB值为用户期望上妆的唇彩的颜色值，例如为粉红、橘红等。
接着，基于三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
在一种示例中，以一个顶点为例，其他顶点参照，根据顶点v0的位置坐标，在预设的明暗贴图中获取顶点v0位置对应的灰度值。接着，基于顶点v0对应的纹理坐标、法线、灰度值和目标RGB值，对顶点v0进行着色。参照该方法，对三维网格中每个顶点进行着色，可以实现对目标部位的着色。
在另一种示例中，还可以使用其他的方法，基于三维网格中每个顶点的位置坐标、纹理坐标、法线，以及预设的明暗贴图和目标RGB值，对目标部位中每个像素点进行着色。
本申请实施例提供的基于增强现实的着色方法，通过获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色，进而提高了着色的立体感和真实感，提高用户体验。
图5为本申请实施例二提供的基于增强现实的着色方法的流程示意图，在上述实施例的基础上，本实施例涉及的是基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位的预设的明暗贴图，和所述目标部位的目标RGB值，对所述目标部位进行着色的一种实施过程。如图5所示，上述S103可以包括：
S201、根据所述三维网格中每个顶点的位置坐标、纹理坐标和法线，对每个顶点所在的三角面进行光栅化处理，确定每个三角面中各像素点的位置坐标、纹理坐标和法线。
具体的，根据三维网格中每个顶点的位置坐标，确定每个顶点所在的三角面。其中，每个顶点所在的三角面可以是该顶点在三维网格中所在的三角面，也可以是该顶点与邻近的其他顶点构成的三角面。
接着，对三角面进行光栅化，即将三角面拆解成一个一个的像素点。根据构成该三角面的3个顶点的位置坐标、纹理坐标和法线，使用预设的技术方法，例如线性化计算方式，确定该三角形中每个像素点的位置坐标、纹理坐标和法线。
根据上述方法，可以获得三维网格中每个顶点对应的每个三角面中各像素点的位置坐标、纹理坐标和法线。
S202、根据每个所述像素点的位置坐标和纹理坐标，从所述明暗贴图中获取每个像素点对应的灰度值。
以一个像素点p0为例，根据上述步骤，可以获得像素点p0的位置坐标和纹理坐标。接着，p0的位置坐标和纹理坐标，从预设的明暗贴图中，获得像素点p0对应的灰度值。例如，像素点p0为唇部对应的一像素点，根据该像素点p0的位置坐标和纹理坐标，从图4所示的唇部的明暗贴图中，获得该像素点p0对应的灰度值。
S203、根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色。
这样，根据上述步骤获得的每个像素点的灰度值和法线，以及目标RGB值，对每个像素点进行着色，使得着色后的目标部位的光照效果满足预设调节，进而提高了着色后的目标部位的立体感和真实感。
在本实施例的一种可能的实现方式中，上述S203可以包括如下S2031至S2033的步骤。
S2031、根据每个所述像素点的法线、漫反射强度、光线方向和所述目标RGB值，确定每个所述像素点的漫反射颜色值。
其中，上述漫反射强度可以根据实际需要设定的，即根据不同的着色效果，设定漫反射强度。可选的，在简单光照效果、阴影效果和边缘模糊效果等着色效果，所对应的漫反射强度可以不同。光线方向为固定值。
在一种示例中，本实施例可以根据如下公式(1)确定每个所述像素点的漫反射颜色值：
其中，Idiff表示漫反射颜色值，Kd表示漫反射强度，N表示像素点的法线，L表示光线方向(固定值)，C表示目标RGB值。
其中，公式(1)只是一种示例，本实施例不限于于此。
S2032、根据每个所述像素点的法线和灰度值，以及高光强度、光线方向、视线方向和光滑度系数，确定每个所述像素点的高光颜色。
其中，上述高光强度和视线方向可以根据实际需要设定的，即根据不同的着色效果，设定高光强度和视线方向。可选的，在简单光照效果、阴影效果和边缘模糊效果等着色效果，所对应的高光强度和视线方向可以不同。光线方向和光滑度系数为固定值
在一种示例中，本实施例可以根据如下公式(2)确定每个所述像素点的高光颜色：
其中，Ispec表示高光颜色值，Ks表示高光强度，N表示像素点的法线，L表示光线方向(固定值)，Ks表示高光强度，T为像素点在明暗贴图中对应的灰度值。
其中，公式(2)只是一种示例，本实施例不限于于此。
S2033、根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值。
在一种示例中，针对每个像素点，将该像素点的漫反射颜色值和该像素点的高光颜色的平均值，作为该像素点输出到显示器上的颜色值。
在另一种示例中，针对每个像素点，将该像素点的漫反射颜色值和高光颜色之和，作为该像素点输出到显示器上的颜色值。
例如，根据如下公式(3)确定该像素点输出到显示器上的颜色值：
Ifinal＝Idifff+Ispec，(3)
本申请实施例的方法，通过根据每个所述像素点的法线、漫反射强度、光线方向和所述目标RGB值，确定每个所述像素点的漫反射颜色值；根据每个所述像素点的法线和灰度值，以及预设的高光强度、光线方向、视线方向和光滑度系数，确定每个所述像素点的高光颜色；根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值。进而实现对每个像素点的准确着色，使得着色后的目标部位具有立体感和真实度，同时，通过改变上述参数，可以实现在简单光照效果，阴影效果，边缘模糊效果等不用效果下的试妆，进一步提高了用户体验。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图6为本申请实施例一提供的基于增强现实的着色装置的结构示意图，如图6所示，基于增强现实的着色装置100可以包括：
获取模块110，用于获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；
构建模块120，用于根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格；
法线确定模块130，用于确定所述三维网格中每个顶点的法线；
着色模块140，用于基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
本申请实施例的基于增强现实的着色装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图7为本申请实施例二提供的基于增强现实的着色装置的结构示意图，如图7所示，着色模块140包括：
确定单元141，用于根据所述三维网格中每个顶点的位置坐标、纹理坐标和法线，对每个顶点所在的三角面进行光栅化处理，确定每个三角面中各像素点的位置坐标、纹理坐标和法线；
获取单元142，用于根据每个所述像素点的位置坐标和纹理坐标，从所述明暗贴图中获取每个像素点对应的灰度值；
着色单元143，用于根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色。
在本实施例的一种可能的实现方式中，所述着色单元143，具体用于根据每个所述像素点的法线、漫反射强度、光线方向和所述目标RGB值，确定每个所述像素点的漫反射颜色值；根据每个所述像素点的法线和灰度值，以及预设的高光强度、光线方向、视线方向和光滑度系数，确定每个所述像素点的高光颜色；根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值。
在本实施例的另一种可能的实现方式中，所述着色单元143，具体用于针对每个像素点，将该像素点的漫反射颜色值和高光颜色之和，作为该像素点输出到显示器上的颜色值。
在本实施例的另一种可能的实现方式中，所述法线确定模块130，具体用于针对所述三维网格中每个顶点，获取包括该顶点的所有三角形；确定该顶点在每个三角形上的法线；根据该顶点在每个三角形上的法线，确定该顶点的法线。
在本实施例的另一种可能的实现方式中，所述法线确定模块130，具体用于将该顶点在每个三角形上的法线进行相加并归一化处理，获得该顶点的法线。
在本实施例的另一种可能的实现方式中，所述法线确定模块130，具体用于将所述三角形中该顶点所在的两条边的向量进行叉乘计算，确定该顶点在每个三角形上的法线。
可选的，所述目标部位为唇部，所述目标RGB值为目标唇彩的RGB值。
本申请实施例的基于增强现实的着色装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图8为本申请一实施例提供的电子设备的结构示意图，如图8所示，本实施例的电子设备200可以包括：
存储器210，用于存储计算机程序；
处理器220，用于执行所述计算机程序，以实现上述第一方面所述的基于增强现实的着色方法。
本申请实施例的电子设备，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图9为本申请一实施例提供的电子设备的结构示意图，如图9所示，本实施例的电子设备300可以包括：
摄像头310，用于采集用户的人脸图像；
处理器320，用于根据所述人脸图像，获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
可选的，电子设备还包括存储器330，该存储器330用于存储计算机程序，处理器320用于执行所述计算机程序，以实现上述实施例的基于增强现实的着色方法。
本申请实施例的电子设备，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图10为本申请一实施例提供的电子设备的结构示意图，如图10所示的电子设备400可以包括：
中央处理器410，用于获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；
图像处理器420，用于基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色。
本申请实施例的电子设备，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
在本申请实施例的一种可能的实现方式中，所述图像处理器420，具体用于根据所述三维网格中每个顶点的位置坐标、纹理坐标和法线，对每个顶点所在的三角面进行光栅化处理，确定每个三角面中各像素点的位置坐标、纹理坐标和法线；根据每个所述像素点的位置坐标和纹理坐标，从所述明暗贴图中获取每个像素点对应的灰度值；根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色。
在本申请实施例的另一种可能的实现方式中，所述图像处理器420，具体用于根据每个所述像素点的法线、漫反射强度、光线方向和所述目标RGB值，确定每个所述像素点的漫反射颜色值；根据每个所述像素点的法线和灰度值，以及预设的高光强度、光线方向、视线方向和光滑度系数，确定每个所述像素点的高光颜色；根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值。
在本申请实施例的另一种可能的实现方式中，所述图像处理器420，具体用于针对每个像素点，将该像素点的漫反射颜色值和高光颜色之和，作为该像素点输出到显示器上的颜色值。
在本申请实施例的另一种可能的实现方式中，所述中央处理器410，具体用于针对所述三维网格中每个顶点，获取包括该顶点的所有三角形；确定该顶点在每个三角形上的法线；根据该顶点在每个三角形上的法线，确定该顶点的法线。
在本申请实施例的另一种可能的实现方式中，所述中央处理器410，具体用于将该顶点在每个三角形上的法线进行相加并归一化处理，获得该顶点的法线。
在本申请实施例的另一种可能的实现方式中，所述中央处理器410，具体用于将所述三角形中该顶点所在的两条边的向量进行叉乘计算，确定该顶点在每个三角形上的法线。
可选的，目标部位为唇部，所述目标RGB值为目标唇彩的RGB值。
本申请实施例的电子设备，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
所述基于增强现实的着色方法的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (18)

1.一种基于增强现实的着色方法，其特征在于，包括；
获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；
根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；
基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色；
所述确定所述三维网格中每个顶点的法线，包括：
针对所述三维网格中每个顶点，获取包括该顶点的所有三角形；
将所述三角形中该顶点所在的两条边的向量进行叉乘计算，确定该顶点在每个三角形上的法线；
将该顶点在每个三角形上的法线进行相加并归一化处理，获得该顶点的法线。
2.根据权利要求1所述的方法，其特征在于，所述基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位的预设的明暗贴图，和所述目标部位的目标RGB值，对所述目标部位进行着色，包括：
根据所述三维网格中每个顶点的位置坐标、纹理坐标和法线，对每个顶点所在的三角面进行光栅化处理，确定每个三角面中各像素点的位置坐标、纹理坐标和法线；
根据每个所述像素点的位置坐标和纹理坐标，从所述明暗贴图中获取每个像素点对应的灰度值；
根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色。
3.根据权利要求2所述的方法，其特征在于，所述根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色，包括：
根据每个所述像素点的法线、漫反射强度、光线方向和所述目标RGB值，确定每个所述像素点的漫反射颜色值；
根据每个所述像素点的法线和灰度值，以及预设的高光强度、光线方向、视线方向和光滑度系数，确定每个所述像素点的高光颜色；
根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值。
4.根据权利要求3所述的方法，其特征在于，所述根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值，包括：
针对每个像素点，将该像素点的漫反射颜色值和高光颜色之和，作为该像素点输出到显示器上的颜色值。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述目标部位为唇部，所述目标RGB值为目标唇彩的RGB值。
6.一种基于增强现实的着色装置，其特征在于，包括；
获取模块，用于获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；
构建模块，用于根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格；
法线确定模块，用于确定所述三维网格中每个顶点的法线；
着色模块，用于基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色；
所述法线确定模块，具体用于针对所述三维网格中每个顶点，获取包括该顶点的所有三角形；确定该顶点在每个三角形上的法线；根据该顶点在每个三角形上的法线，确定该顶点的法线；
所述法线确定模块，具体用于将该顶点在每个三角形上的法线进行相加并归一化处理，获得该顶点的法线；
所述法线确定模块，具体用于将所述三角形中该顶点所在的两条边的向量进行叉乘计算，确定该顶点在每个三角形上的法线。
7.根据权利要求6所述的装置，其特征在于，所述着色模块包括：
确定单元，用于根据所述三维网格中每个顶点的位置坐标、纹理坐标和法线，对每个顶点所在的三角面进行光栅化处理，确定每个三角面中各像素点的位置坐标、纹理坐标和法线；
获取单元，用于根据每个所述像素点的位置坐标和纹理坐标，从所述明暗贴图中获取每个像素点对应的灰度值；
着色单元，用于根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色。
8.根据权利要求7所述的装置，其特征在于，
所述着色单元，具体用于根据每个所述像素点的法线、漫反射强度、光线方向和所述目标RGB值，确定每个所述像素点的漫反射颜色值；根据每个所述像素点的法线和灰度值，以及预设的高光强度、光线方向、视线方向和光滑度系数，确定每个所述像素点的高光颜色；根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值。
9.根据权利要求8所述的装置，其特征在于，
所述着色单元，具体用于针对每个像素点，将该像素点的漫反射颜色值和高光颜色之和，作为该像素点输出到显示器上的颜色值。
10.根据权利要求6-9任一项所述的装置，其特征在于，所述目标部位为唇部，所述目标RGB值为目标唇彩的RGB值。
11.一种电子设备，其特征在于，包括；
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1-5中任一项所述的基于增强现实的着色方法。
12.一种电子设备，其特征在于，包括；
摄像头，用于采集用户的人脸图像；
处理器，用于根据所述人脸图像，获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色；
所述确定所述三维网格中每个顶点的法线，包括：
针对所述三维网格中每个顶点，获取包括该顶点的所有三角形；
将所述三角形中该顶点所在的两条边的向量进行叉乘计算，确定该顶点在每个三角形上的法线；
将该顶点在每个三角形上的法线进行相加并归一化处理，获得该顶点的法线。
13.一种电子设备，其特征在于，包括；
中央处理器，用于获取人脸三维网格信息，并基于所述人脸三维网格信息，获取人脸的目标部位的各顶点的位置坐标和纹理坐标；根据所述目标部位的各顶点的位置坐标，构建所述目标部位的三维网格，并确定所述三维网格中每个顶点的法线；
图像处理器，用于基于所述三维网格中每个顶点的位置坐标、纹理坐标、法线，以及所述目标部位预设的明暗贴图、和所述目标部位的目标RGB值，对所述目标部位进行着色；
所述中央处理器，具体用于针对所述三维网格中每个顶点，获取包括该顶点的所有三角形；确定该顶点在每个三角形上的法线；根据该顶点在每个三角形上的法线，确定该顶点的法线；
所述中央处理器，具体用于将该顶点在每个三角形上的法线进行相加并归一化处理，获得该顶点的法线；
所述中央处理器，具体用于将所述三角形中该顶点所在的两条边的向量进行叉乘计算，确定该顶点在每个三角形上的法线。
14.根据权利要求13所述的电子设备，其特征在于，
所述图像处理器，具体用于根据所述三维网格中每个顶点的位置坐标、纹理坐标和法线，对每个顶点所在的三角面进行光栅化处理，确定每个三角面中各像素点的位置坐标、纹理坐标和法线；根据每个所述像素点的位置坐标和纹理坐标，从所述明暗贴图中获取每个像素点对应的灰度值；根据每个像素点的灰度值和法线、以及所述目标RGB值，对所述每个像素点进行着色。
15.根据权利要求14所述的电子设备，其特征在于，
所述图像处理器，具体用于根据每个所述像素点的法线、漫反射强度、光线方向和所述目标RGB值，确定每个所述像素点的漫反射颜色值；根据每个所述像素点的法线和灰度值，以及预设的高光强度、光线方向、视线方向和光滑度系数，确定每个所述像素点的高光颜色；根据每个所述像素点的漫反射颜色值和所述高光颜色，确定每个所述像素点输出到显示器上的颜色值。
16.根据权利要求15所述的电子设备，其特征在于，
所述图像处理器，具体用于针对每个像素点，将该像素点的漫反射颜色值和高光颜色之和，作为该像素点输出到显示器上的颜色值。
17.根据权利要求13-16任一项所述的电子设备，其特征在于，所述目标部位为唇部，所述目标RGB值为目标唇彩的RGB值。
18.一种计算机存储介质，其特征在于，所述存储介质中存储计算机程序，所述计算机程序在执行时实现如权利要求1-5中任一项所述的基于增强现实的着色方法。
CN201811497751.3A 2018-12-07 2018-12-07 基于增强现实的着色方法、装置、电子设备与存储介质 Active CN111292423B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811497751.3A CN111292423B (zh) 2018-12-07 2018-12-07 基于增强现实的着色方法、装置、电子设备与存储介质
EP19893797.1A EP3893207A4 (en) 2018-12-07 2019-08-16 METHOD AND EQUIPMENT FOR COLORING BASED ON AUGMENTED REALITY, ELECTRONIC DEVICE AND STORAGE MEDIUM
PCT/CN2019/100977 WO2020113998A1 (zh) 2018-12-07 2019-08-16 基于增强现实的着色方法、装置、电子设备与存储介质
US17/339,681 US11348309B2 (en) 2018-12-07 2021-06-04 Augmented reality-based coloring method and apparatus, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811497751.3A CN111292423B (zh) 2018-12-07 2018-12-07 基于增强现实的着色方法、装置、电子设备与存储介质

Publications (2)

Publication Number Publication Date
CN111292423A CN111292423A (zh) 2020-06-16
CN111292423B true CN111292423B (zh) 2024-05-24

Family

ID=70975163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811497751.3A Active CN111292423B (zh) 2018-12-07 2018-12-07 基于增强现实的着色方法、装置、电子设备与存储介质

Country Status (4)

Country Link
US (1) US11348309B2 (zh)
EP (1) EP3893207A4 (zh)
CN (1) CN111292423B (zh)
WO (1) WO2020113998A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241933A (zh) * 2020-07-15 2021-01-19 北京沃东天骏信息技术有限公司 人脸图像处理方法、装置、存储介质及电子设备
CN112274932B (zh) * 2020-10-29 2024-02-27 完美世界(重庆)互动科技有限公司 游戏资源数据处理方法及装置、存储介质、计算机设备
CN114519762A (zh) * 2020-11-20 2022-05-20 Oppo广东移动通信有限公司 模型法线处理方法、装置、存储介质及电子设备
US20230162447A1 (en) * 2021-11-24 2023-05-25 Meta Platforms, Inc. Regionally enhancing faces in a digital video stream
CN114519761A (zh) * 2022-02-18 2022-05-20 佛山虎牙虎信科技有限公司 一种人脸纹理图的生成方法、装置、存储介质及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664884A (zh) * 2018-03-17 2018-10-16 广州帕克西软件开发有限公司 一种虚拟试妆方法及装置
CN108898068A (zh) * 2018-06-06 2018-11-27 腾讯科技（深圳）有限公司 一种人脸图像的处理方法和装置以及计算机可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5261586B2 (ja) * 2007-08-10 2013-08-14 株式会社 資生堂 メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP5891388B2 (ja) * 2011-03-31 2016-03-23 パナソニックＩｐマネジメント株式会社 立体視画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
US9965893B2 (en) * 2013-06-25 2018-05-08 Google Llc. Curvature-driven normal interpolation for shading applications
EP3423990A1 (en) * 2016-03-02 2019-01-09 Holition Limited Locating and augmenting object features in images
US10055880B2 (en) * 2016-12-06 2018-08-21 Activision Publishing, Inc. Methods and systems to modify a two dimensional facial image to increase dimensional depth and generate a facial image that appears three dimensional
CN108805090B (zh) * 2018-06-14 2020-02-21 广东工业大学 一种基于平面网格模型的虚拟试妆方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664884A (zh) * 2018-03-17 2018-10-16 广州帕克西软件开发有限公司 一种虚拟试妆方法及装置
CN108898068A (zh) * 2018-06-06 2018-11-27 腾讯科技（深圳）有限公司 一种人脸图像的处理方法和装置以及计算机可读存储介质

Also Published As

Publication number Publication date
CN111292423A (zh) 2020-06-16
EP3893207A1 (en) 2021-10-13
WO2020113998A1 (zh) 2020-06-11
EP3893207A4 (en) 2022-01-19
US20210312705A1 (en) 2021-10-07
US11348309B2 (en) 2022-05-31

Similar Documents

Publication Publication Date Title
CN111292423B (zh) 基于增强现实的着色方法、装置、电子设备与存储介质
Du et al. DepthLab: Real-time 3D interaction with depth maps for mobile augmented reality
CN107644453B (zh) 一种基于物理着色的渲染方法及系统
CN109325990B (zh) 图像处理方法及图像处理装置、存储介质
JP2006506742A (ja) 皮膚又は類似物をデジタル式にレンダリングする方法
EP4036790A1 (en) Image display method and device
Lee et al. Practical real‐time lens‐flare rendering
CN113658316B (zh) 三维模型的渲染方法和装置、存储介质及计算机设备
CN107507269A (zh) 个性化三维模型生成方法、装置和终端设备
US9905045B1 (en) Statistical hair scattering model
CN104157000B (zh) 模型表面法线的计算方法
CN111583398B (zh) 图像显示的方法、装置、电子设备及计算机可读存储介质
Marques et al. Deep spherical harmonics light probe estimator for mixed reality games
CN117333637B (zh) 三维场景的建模及渲染方法、装置及设备
CN108230430B (zh) 云层遮罩图的处理方法及装置
Hartl et al. Rapid reconstruction of small objects on mobile phones
WO2019042028A1 (zh) 全视向的球体光场渲染方法
CN110136238B (zh) 一种结合物理光照模型的ar绘画方法
Zhan et al. Real-time 3D face modeling based on 3D face imaging
Noh et al. Soft shadow rendering based on real light source estimation in augmented reality
CN111710044A (zh) 图像处理方法、装置和计算机可读存储介质
Avots et al. Automatic garment retexturing based on infrared information
JP6619598B2 (ja) プログラム、記録媒体、輝度演算装置及び輝度演算方法
Elek et al. Real-time screen-space scattering in homogeneous environments
Kolivand et al. Livephantom: Retrieving virtual world light data to real environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant