CN113643397A - 一种基于人脸识别的虚拟试妆方法 - Google Patents
一种基于人脸识别的虚拟试妆方法 Download PDFInfo
- Publication number
- CN113643397A CN113643397A CN202110897725.5A CN202110897725A CN113643397A CN 113643397 A CN113643397 A CN 113643397A CN 202110897725 A CN202110897725 A CN 202110897725A CN 113643397 A CN113643397 A CN 113643397A
- Authority
- CN
- China
- Prior art keywords
- face
- face model
- model data
- key point
- point coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 230000000694 effects Effects 0.000 claims abstract description 13
- 239000004576 sand Substances 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000005286 illumination Methods 0.000 claims description 20
- 210000000697 sensory organ Anatomy 0.000 claims description 6
- 239000000463 material Substances 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 230000003796 beauty Effects 0.000 description 18
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0621—Item configuration or customization
Landscapes
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Theoretical Computer Science (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于人脸识别的虚拟试妆方法，包括通过三维扫描仪对人脸进行扫描，生成人脸模型数据，将人脸模型数据发送至云服务器进行处理，得到纹理贴图、人脸模型和人脸关键点坐标，并通过沙盘路径对纹理贴图、人脸模型和人脸关键点坐标进行存储，三维扫描仪获取沙盘路径，并通过沙盘路径获取纹理贴图、人脸模型和人脸关键点坐标，依据人脸关键点坐标将纹理贴图运用至人脸模型中，从而实现试妆效果；通过依据人脸模型数据生成纹理贴图，就不用预先将纹理贴图设置在平台上，从而避免了现有技术中不同平台之间的纹理贴图不能实现数据共享的问题出现，降低了成本，此外，用户也不需要登录多个平台就能实现试妆的效果，大大提升用户的使用体验。
Description
技术领域
本发明涉及虚拟试妆的技术领域，尤其涉及一种基于人脸识别的虚拟试妆方法。
背景技术
爱美之心，人皆有之，随着时代的发展，越来越多的人通过美妆的方式对自己进行打扮，所以美妆产品成为了人们重要的消费品之一，随着美妆电商网络的崛起和人们对美妆产品越来越大的需求，美妆市场成为了一个持续增长的市场，但是人们在线上购买美妆产品的时候无法试戴美妆产品的效果，所以，为了满足用户的购物需求，虚拟试妆技术开始发展起来，现有的虚拟试妆方法是通过在平台内预设好纹理贴图，然后获取人脸图像，通过将纹理贴图运用至人脸图像中，从而实现试妆的效果。
然而，现有的虚拟试妆方法需要先在平台内预设好纹理贴图，但是不同平台之间的纹理贴图不能实现数据共享，这样会导致成本比较大，此外，用户可能还需要登录多个平台才能实现试妆的效果，导致用户的体验感比较差。
发明内容
爱美之心，人皆有之，随着时代的发展，越来越多的人通过美妆的方式对自己进行打扮，所以美妆产品成为了人们重要的消费品之一，随着美妆电商网络的崛起和人们对美妆产品越来越大的需求，美妆市场成为了一个持续增长的市场，但是人们在线上购买美妆产品的时候无法试戴美妆产品的效果，所以，为了满足用户的购物需求，虚拟试妆技术开始发展起来，现有的虚拟试妆方法是通过在平台内预设好纹理贴图，然后获取人脸图像，通过将纹理贴图运用至人脸图像中，从而实现试妆的效果。
然而，现有的虚拟试妆方法需要先在平台内预设好纹理贴图，但是不同平台之间的纹理贴图不能实现数据共享，这样会导致成本比较大，此外，用户可能还需要登录多个平台才能实现试妆的效果，导致用户的体验感比较差。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于人脸识别的虚拟试妆方法的流程示意图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
参考图1，一种基于人脸识别的虚拟试妆方法，所述方法基于云服务器，包括以下步骤：
步骤S1，通过三维扫描仪对人脸进行扫描，生成人脸模型数据；
步骤S2，将人脸模型数据发送至云服务器进行处理，得到纹理贴图、人脸模型和人脸关键点坐标，并通过沙盘路径对纹理贴图、人脸模型和人脸关键点坐标进行存储；
步骤S3，三维扫描仪获取沙盘路径，并通过沙盘路径获取纹理贴图、人脸模型和人脸关键点坐标；
步骤S4，依据人脸关键点坐标将纹理贴图运用至人脸模型中，从而实现试妆效果。
在本实施例中，通过依据人脸模型数据生成纹理贴图，就不用预先将纹理贴图设置在平台上，从而避免了现有技术中不同平台之间的纹理贴图不能实现数据共享的问题出现，进而降低了成本，此外，用户也不需要登录多个平台就能实现试妆的效果，大大提升用户的使用体验。
需要说明的是，通过沙盘路径对纹理贴图、人脸模型和人脸关键点坐标进行存储，能够得到一个相对应的存储路径，只要获取沙盘路径，就能够获取存储路径，从而获取纹理贴图、人脸模型和人脸关键点坐标。
优选的，所述步骤S2中将模型数据发送至云服务器进行处理得到纹理贴图包括以下步骤：
步骤S21，获取人脸模型数据中的待试妆区域，并确定待试妆区域的光照信息；
步骤S22，获取待试妆区域对应的试妆产品的材质光学反射参数信息；
步骤S23，基于所述试妆区域的光照信息以及对应的试妆产品的材质光学反射参数信息，生成所述试妆区域的纹理贴图。
优选的，所述步骤S21中确定待试妆区域的光照信息包括确定待试妆区域的每个像素点的环境光照信息、漫反射光照信息和镜面反射光照信息。
在本实施例中，通过依据待试妆区域的光照信息以及对应的试妆产品的材质光学反射参数信息，得到待试妆区域的纹理贴图，能够模拟真实光照环境下的上妆效果，从而可使得虚拟试妆效果与真实试妆效果差异不大，提高了虚拟试妆效果的真实性；需要说明的是，通过Phong光照模型获取待试妆区域的每个像素点的环境光照信息，通过Lambert光照模型获取待试妆区域的每个像素点的漫反射光照信息，通过Blinn Phong光照模型获取待试妆区域的每个像素点的镜面反射光照信息。
优选的，所述步骤S2中将模型数据发送至云服务器进行处理得到人脸模型包括以下步骤：
步骤S24，将人脸模型数据输入至预存于云服务器的参考三维人脸模型中；
步骤S25，参考三维人脸模型依据人脸模型数据构建出用户的人脸模型。
在本实施例中，通过在云服务器上预设有参考三维人脸模型，当人脸模型数据输入参考三维人脸模型后，参考三维人脸模型就能够依据输入的人脸模型数据构建出用户的人脸模型，从而提高人脸模型的构建速度，进而提高虚拟试妆的速度；需要说明的是，在人脸模型数据输入参考三维人脸模型之前，还可以从人脸模型数据提取出人脸属性信息，将人脸属性信息和人脸模型数据同时输入参考三维人脸模型中，能够提高构建出来的用户的人脸模型的准确性，所述人脸属性信息包括但不限于性别、年龄和表情，这里不做具体限定。
优选的，所述所述步骤S2中将模型数据发送至云服务器进行处理得到人脸关键点坐标包括以下步骤：
步骤S26，依据人脸模型数据进行定位，定位出人脸轮廓边缘和五官位置；
步骤S27，以嘴巴为基准确定其它五官的坐标，将每个五官的坐标作为人脸关键点坐标。
在本实施例中，通过筛选出人脸轮廓边缘和五官位置，并依据嘴巴为基准确定其它五官的坐标，从而确定出人脸关键点坐标，进而能够快速确定需要试妆的位置，提升试妆的效率。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于人脸识别的虚拟试妆方法，所述方法基于云服务器，其特征在于，包括以下步骤：
步骤S1，通过三维扫描仪对人脸进行扫描，生成人脸模型数据；
步骤S2，将人脸模型数据发送至云服务器进行处理，得到纹理贴图、人脸模型和人脸关键点坐标，并通过沙盘路径对纹理贴图、人脸模型和人脸关键点坐标进行存储；
步骤S3，三维扫描仪获取沙盘路径，并通过沙盘路径获取纹理贴图、人脸模型和人脸关键点坐标；
步骤S4，依据人脸关键点坐标将纹理贴图运用至人脸模型中，从而实现试妆效果。
2.根据权利要求1所述的一种基于人脸识别的虚拟试妆方法，其特征在于，所述步骤S2中将模型数据发送至云服务器进行处理得到纹理贴图包括以下步骤：
步骤S21，获取人脸模型数据中的待试妆区域，并确定待试妆区域的光照信息；
步骤S22，获取待试妆区域对应的试妆产品的材质光学反射参数信息；
步骤S23，基于所述试妆区域的光照信息以及对应的试妆产品的材质光学反射参数信息，生成所述试妆区域的纹理贴图。
3.根据权利要求2所述的一种基于人脸识别的虚拟试妆方法，其特征在于，所述步骤S21中确定待试妆区域的光照信息包括确定待试妆区域的每个像素点的环境光照信息、漫反射光照信息和镜面反射光照信息。
4.根据权利要求1或3所述的一种基于人脸识别的虚拟试妆方法，其特征在于，所述步骤S2中将模型数据发送至云服务器进行处理得到人脸模型包括以下步骤：
步骤S24，将人脸模型数据输入至预存于云服务器的参考三维人脸模型中；
步骤S25，参考三维人脸模型依据人脸模型数据构建出用户的人脸模型。
5.根据权利要求4所述的一种基于人脸识别的虚拟试妆方法，其特征在于，所述步骤S2中将模型数据发送至云服务器进行处理得到人脸关键点坐标包括以下步骤：
步骤S26，依据人脸模型数据进行定位，定位出人脸轮廓边缘和五官位置；
步骤S27，以嘴巴为基准确定其它五官的坐标，将每个五官的坐标作为人脸关键点坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110897725.5A CN113643397A (zh) | 2021-08-05 | 2021-08-05 | 一种基于人脸识别的虚拟试妆方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110897725.5A CN113643397A (zh) | 2021-08-05 | 2021-08-05 | 一种基于人脸识别的虚拟试妆方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113643397A true CN113643397A (zh) | 2021-11-12 |
Family
ID=78419791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110897725.5A Pending CN113643397A (zh) | 2021-08-05 | 2021-08-05 | 一种基于人脸识别的虚拟试妆方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113643397A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116563432A (zh) * | 2023-05-15 | 2023-08-08 | 摩尔线程智能科技(北京)有限责任公司 | 三维数字人生成方法及装置、电子设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463938A (zh) * | 2014-11-25 | 2015-03-25 | 福建天晴数码有限公司 | 三维虚拟试妆方法和装置 |
| US20180232954A1 (en) * | 2017-02-15 | 2018-08-16 | Faro Technologies, Inc. | System and method of generating virtual reality data from a three-dimensional point cloud |
| CN109325437A (zh) * | 2018-09-17 | 2019-02-12 | 北京旷视科技有限公司 | 图像处理方法、装置和系统 |
| CN111461837A (zh) * | 2020-04-03 | 2020-07-28 | 北京爱笔科技有限公司 | 一种虚拟试妆系统 |
| CN111861632A (zh) * | 2020-06-05 | 2020-10-30 | 北京旷视科技有限公司 | 虚拟试妆方法、装置、电子设备及可读存储介质 |
| CN112257657A (zh) * | 2020-11-11 | 2021-01-22 | 网易（杭州）网络有限公司 | 脸部图像融合方法及装置、存储介质、电子设备 |
-
2021
- 2021-08-05 CN CN202110897725.5A patent/CN113643397A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463938A (zh) * | 2014-11-25 | 2015-03-25 | 福建天晴数码有限公司 | 三维虚拟试妆方法和装置 |
| US20180232954A1 (en) * | 2017-02-15 | 2018-08-16 | Faro Technologies, Inc. | System and method of generating virtual reality data from a three-dimensional point cloud |
| CN109325437A (zh) * | 2018-09-17 | 2019-02-12 | 北京旷视科技有限公司 | 图像处理方法、装置和系统 |
| CN111461837A (zh) * | 2020-04-03 | 2020-07-28 | 北京爱笔科技有限公司 | 一种虚拟试妆系统 |
| CN111861632A (zh) * | 2020-06-05 | 2020-10-30 | 北京旷视科技有限公司 | 虚拟试妆方法、装置、电子设备及可读存储介质 |
| CN112257657A (zh) * | 2020-11-11 | 2021-01-22 | 网易（杭州）网络有限公司 | 脸部图像融合方法及装置、存储介质、电子设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116563432A (zh) * | 2023-05-15 | 2023-08-08 | 摩尔线程智能科技(北京)有限责任公司 | 三维数字人生成方法及装置、电子设备和存储介质 |
| CN116563432B (zh) * | 2023-05-15 | 2024-02-06 | 摩尔线程智能科技(北京)有限责任公司 | 三维数字人生成方法及装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10347028B2 (en) | Method for sharing emotions through the creation of three-dimensional avatars and their interaction | |
| US10685430B2 (en) | System and methods for generating an optimized 3D model | |
| CN108573527B (zh) | 一种表情图片生成方法及其设备、存储介质 | |
| Bernardini et al. | The 3D model acquisition pipeline | |
| US20140085293A1 (en) | Method of creating avatar from user submitted image | |
| US9305391B2 (en) | Apparatus and methods for detailing subdivision surfaces | |
| US11494980B2 (en) | Virtual asset map and index generation systems and methods | |
| JP2002042169A (ja) | 三次元画像提供システム及び方法並びにモーフィング画像提供システム及び方法 | |
| CN112102480B (zh) | 图像数据处理方法、装置、设备以及介质 | |
| US11710248B2 (en) | Photometric-based 3D object modeling | |
| CN110706300A (zh) | 虚拟形象生成方法及装置 | |
| CN115393486B (zh) | 虚拟形象的生成方法、装置、设备及存储介质 | |
| CN114266695A (zh) | 图像处理方法、图像处理系统及电子设备 | |
| CN113643397A (zh) | 一种基于人脸识别的虚拟试妆方法 | |
| Doungmala et al. | Investigation into the Application of Image Modeling Technology in the Field of Computer Graphics | |
| Ghafourzadeh et al. | Local control editing paradigms for part‐based 3D face morphable models | |
| CN107545597A (zh) | 在基板上渲染数字图像 | |
| US20200279440A1 (en) | Programmatic hairstyle opacity compositing for 3d rendering | |
| Ammann et al. | Surface relief analysis for illustrative shading | |
| Battiato et al. | Artificial mosaic generation with gradient vector flow and tile cutting | |
| Lin et al. | Scale-aware black-and-white abstraction of 3D shapes | |
| US8659600B2 (en) | Generating vector displacement maps using parameterized sculpted meshes | |
| Byun et al. | Transfer Learning based Parameterized 3D Mesh Deformation with 2D Stylized Cartoon Character. | |
| Schmitz et al. | Interactive pose and shape editing with simple sketches from different viewing angles | |
| Lim et al. | 3D caricature generation system on the mobile handset using a single photograph |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |