CN106952221B - 一种三维京剧脸谱自动化妆方法 - Google Patents
一种三维京剧脸谱自动化妆方法 Download PDFInfo
- Publication number
- CN106952221B CN106952221B CN201710153968.1A CN201710153968A CN106952221B CN 106952221 B CN106952221 B CN 106952221B CN 201710153968 A CN201710153968 A CN 201710153968A CN 106952221 B CN106952221 B CN 106952221B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- dimensional
- beijing opera
- facial makeup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000004040 coloring Methods 0.000 claims abstract description 14
- 238000010606 normalization Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 4
- 230000009466 transformation Effects 0.000 claims description 21
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 15
- 210000005252 bulbus oculi Anatomy 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种三维京剧脸谱自动化妆方法，包括步骤：从输入源获取图像输入，进行人脸检测和人脸特征点定位并将特征点标注在图像上；对特征点进行人脸归一化处理；计算归一化后的人脸图像的深度信息，并根据深度信息重建三维点云；根据特征点信息对人脸图像进行三角分块操作；在准备好的京剧脸谱图片上，手工标注特征点，并对京剧脸谱进行相同的三角分块操作；将所述京剧脸谱上的每个三角块着色到人脸图像上；使用京剧脸谱将所述三维点云进行重新着色，并展现给用户。本发明自动计算出人脸特征点的坐标和人脸三维模型，运用计算机视觉和图像处理相关的技术，将事先手工标定好特征点的京剧脸谱描绘到目标人脸的三维模型上。
Description
技术领域
本发明涉及计算机视觉技术领域和图像处理技术领域，尤其涉及一种三维京剧脸谱自动化妆方法。
背景技术
摄像头已经被广泛的运用于视频会议、视频监控等日常生活中。普通的人也可以非常简单地通过摄像头在互联网上进行视频聊天，使得沟通更为高效和有趣。
Vahid Kazemi和Josephine Sullivan在2014年的CVPR上发表了题为《OneMillisecond Face Alignment with an Ensemble of Regression Trees》的文章。这篇文章公开了一种人脸特征点定位的方法。通过基于回归树的方法，实现了对人脸特征点的自动标定，并且速度极快，处理一张图只需1ms的时间。特征点包括了眉毛、眼睛、鼻子、嘴巴以及下巴轮廓等68个点。
Minsik Lee和Chong-Ho Choi在2014年的CVIU上发布了文章《Real-time facialshape recovery from a single image under general，unknown lighting by rankrelaxation》。文章中公开了一种重建人脸三维模型的方法。文中利用张量相乘，SVD分解，秩松弛等方法，实现了一般场景，未知光照条件下的人脸深度图重建，并且算法能够达到实时性要求。
上述技术仅仅是标出人脸的68个特征点的坐标，以及重建了人脸的三维模型，但是没有对这些信息进行再一步的处理。
发明内容
本发明为实现三维京剧脸谱的自动化妆，提出一种三维京剧脸谱自动化妆方法，自动计算出人脸特征点的坐标和人脸三维模型，然后运用计算机视觉和图像处理相关的技术，将事先手工标定好特征点的京剧脸谱描绘到目标人脸的三维模型上。
本发明的技术方案是这样实现的：
一种三维京剧脸谱自动化妆方法，包括步骤
S1：从输入源获取图像输入，进行人脸检测和人脸特征点定位，如果输入图像中存在人脸，则将特征点标注在图像上；
S2：对所述特征点进行人脸归一化处理；
S3：计算归一化后的人脸图像的深度信息，并根据所述深度信息重建三维点云；
S4：根据所述特征点信息对人脸图像进行三角分块操作；
S5：在准备好的京剧脸谱图片上，手工标注特征点，并对京剧脸谱进行和所述人脸图像相同的三角分块操作；
S6：将所述京剧脸谱上的每个三角块进行仿射变化，着色到人脸图像上；
S7：根据人脸图像和三维点云的坐标对应关系，使用京剧脸谱将所述三维点云进行重新着色，并展现给用户。
进一步地，步骤S1中所述人脸特征点包括人脸轮廓边缘和五官位置。
进一步地，步骤S2中所述归一化处理包括步骤：以两个眼球以及鼻尖的坐标为基准，进行仿射变换。
进一步地，步骤S3中计算归一化后的人脸图像的深度信息的方法包括步骤：归一化后的人脸图像与事先训练好的张量进行相乘，进行SVD分解操作，输出图像中每个像素点的深度信息。
进一步地，步骤S4中所述三角分块操作包括步骤：采用delaunay三角剖分算法，将人脸分为互不重叠的112个三角形。
进一步地，步骤S6中人脸图像着色包括步骤：
S61：根据脸谱中三角形顶点的坐标、以及真实人脸图像中特征点的位置计算出合适的仿射变换矩阵；
S62：将仿射变换矩阵应用于脸谱图像，计算出人脸中每个点对应的RGB颜色值，RGB值为脸谱图像中的颜色值；
S63：如果变换后的坐标点不在整点上，则采用双线性插值计算估计值。
更进一步地，步骤S7中所述将所述三维点云进行重新着色包括步骤：
S71：计算归一化变换所使用的仿射变换矩阵的逆变换矩阵；
S72：将逆变换矩阵用于点云中每个点的坐标上，获取每个点对应人脸图像的坐标，从而得到对应的RGB颜色值；
S73：如果变换后的坐标点不在整点上，则采用双线性插值计算估计值。
本发明的有益效果在于，现有的方法都只是针对二维的平面图像，而本方法所输出的结果为化妆后的三维点云模型，具有展现效果好，更加贴近现实等优势；本方法采用的人脸特征点定位、人脸三维重建和自动贴图技术，降低了常规进行此操作时繁琐的步骤，并其方法的速度快，实时性好，能够将其运用到摄像头实时视频处理中，设备硬件要求简单，易普及，易使用等特点，方便了京剧脸谱的化妆。
附图说明
图1是本发明一种三维京剧脸谱自动化妆方法流程图；
图2是本发明中对图片进行人脸识别并标注了特征点的人脸图像示意图；
图3是本发明中人脸归一化操作后的人脸图片示意图；
图4是本发明中三维点云模型图片；
图5是京剧脸谱进行三角分块后的图片示意图；
图6是本发明中用京剧脸谱上的颜色块对分块后的人脸进行着色示意图；
图7是对图4的三维点云图片进行着色后的图片。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，本发明一种三维京剧脸谱自动化妆方法，包括步骤
S1：从输入源获取图像输入，进行人脸检测和人脸特征点定位，如果输入图像中存在人脸，则将特征点标注在图像上，标注了特征点的人脸图像如图2所示；
S2：对所述特征点进行人脸归一化处理，人脸归一化操作后的人脸图片如图3所示；
S3：计算归一化后的人脸图像的深度信息，并根据所述深度信息重建三维点云，三维点云模型图片如图4所示；
S4：根据所述特征点信息对人脸图像进行三角分块操作；
S5：在准备好的京剧脸谱图片上，手工标注特征点，并对京剧脸谱进行和所述人脸图像相同的三角分块操作，京剧脸谱进行三角分块后的图片如图5所示；
S6：将所述京剧脸谱上的每个三角块进行仿射变化，着色到人脸图像上，用京剧脸谱上的颜色块对分块后的人脸进行着色后的图片如图6所示；
S7：根据人脸图像和三维点云的坐标对应关系，使用京剧脸谱将所述三维点云进行重新着色，并展现给用户，对三维点云图片进行着色后的图片如图7所示。
其中，步骤S1中所述人脸特征点包括人脸轮廓边缘和五官位置，所述五官为两个眼球、鼻尖、两个嘴角。
步骤S2中所述归一化处理包括步骤：以两个眼球以及鼻尖的坐标为基准，进行仿射变换，变换后的人脸大小为120*100像素。
步骤S3中计算归一化后的人脸图像的深度信息的方法包括步骤：归一化后的人脸图像与事先训练好的张量进行相乘，进行SVD分解操作，输出图像中每个像素点的深度信息，可参考Minsik Lee,和Chong-Ho Choi在2014年发表在CVIU上的文章《Real-timefacial shape recovery from a single image under general,unknown lighting byrank relaxation》。
步骤S4中所述三角分块操作包括步骤：采用delaunay三角剖分算法，将人脸分为互不重叠的112个三角形。
步骤S6中人脸图像着色包括步骤：
S61：根据脸谱中三角形顶点的坐标、以及真实人脸图像中特征点的位置计算出合适的仿射变换矩阵；
S62：将仿射变换矩阵应用于脸谱图像，计算出人脸中每个点对应的RGB颜色值，RGB值为脸谱图像中的颜色值；
S63：如果变换后的坐标点不在整点上，则采用双线性插值计算估计值。
更进一步地，步骤S7中所述将所述三维点云进行重新着色包括步骤：
S71：计算归一化变换所使用的仿射变换矩阵的逆变换矩阵；
S72：将逆变换矩阵用于点云中每个点的坐标上，获取每个点对应人脸图像的坐标，从而得到对应的RGB颜色值；
S73：如果变换后的坐标点不在整点上，则采用双线性插值计算估计值。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (3)
1.一种三维京剧脸谱自动化妆方法，其特征在于，包括步骤
S1：从输入源获取图像输入，进行人脸检测和人脸特征点定位，如果输入图像中存在人脸，则将特征点标注在图像上；
S2：对所述特征点进行人脸归一化处理；
S3：计算归一化后的人脸图像的深度信息，并根据所述深度信息重建三维点云；
步骤S2中所述归一化处理包括步骤：以两个眼球以及鼻尖的坐标为基准，进行仿射变换；
步骤S3中计算归一化后的人脸图像的深度信息的方法包括步骤：归一化后的人脸图像与事先训练好的张量进行相乘，进行SVD分解操作，输出图像中每个像素点的深度信息；
S4：根据所述特征点信息对人脸图像进行三角分块操作；
S5：在准备好的京剧脸谱图片上，手工标注特征点，并对京剧脸谱进行和所述人脸图像相同的三角分块操作；
S6：将所述京剧脸谱上的每个三角块进行仿射变化，着色到人脸图像上；
步骤S6中人脸图像着色包括步骤：
S61：根据脸谱中三角形顶点的坐标、以及真实人脸图像中特征点的位置计算出合适的仿射变换矩阵；
S62：将仿射变换矩阵应用于脸谱图像，计算出人脸中每个点对应的RGB颜色值，RGB值为脸谱图像中的颜色值；
S63：如果变换后的坐标点不在整点上，则采用双线性插值计算估计值；
S7：根据人脸图像和三维点云的坐标对应关系，使用京剧脸谱将所述三维点云进行重新着色，并展现给用户；
步骤S7中所述将所述三维点云进行重新着色包括步骤：
S71：计算归一化变换所使用的仿射变换矩阵的逆变换矩阵；
S72：将逆变换矩阵用于点云中每个点的坐标上，获取每个点对应人脸图像的坐标，从而得到对应的RGB颜色值；
S73：如果变换后的坐标点不在整点上，则采用双线性插值计算估计值。
2.如权利要求1所述的三维京剧脸谱自动化妆方法，其特征在于，步骤S1中所述人脸特征点包括人脸轮廓边缘和五官位置。
3.如权利要求1所述的三维京剧脸谱自动化妆方法，其特征在于，步骤S4中所述三角分块操作包括步骤：采用delaunay三角剖分算法，将人脸分为互不重叠的112个三角形。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710153968.1A CN106952221B (zh) | 2017-03-15 | 2017-03-15 | 一种三维京剧脸谱自动化妆方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710153968.1A CN106952221B (zh) | 2017-03-15 | 2017-03-15 | 一种三维京剧脸谱自动化妆方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106952221A CN106952221A (zh) | 2017-07-14 |
| CN106952221B true CN106952221B (zh) | 2019-12-31 |
Family
ID=59472211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710153968.1A Active CN106952221B (zh) | 2017-03-15 | 2017-03-15 | 一种三维京剧脸谱自动化妆方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106952221B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610239B (zh) * | 2017-09-14 | 2020-11-03 | 广州帕克西软件开发有限公司 | 一种脸谱的虚拟试戴方法及装置 |
| CN110168599B (zh) * | 2017-10-13 | 2021-01-29 | 华为技术有限公司 | 一种数据处理方法及终端 |
| CN108257084B (zh) * | 2018-02-12 | 2021-08-24 | 北京中视广信科技有限公司 | 一种基于移动端的轻量级人脸自动化妆方法 |
| CN109035380B (zh) * | 2018-09-11 | 2023-03-10 | 北京旷视科技有限公司 | 基于三维重建的人脸修饰方法、装置、设备及存储介质 |
| CN109272473B (zh) * | 2018-10-26 | 2021-01-15 | 维沃移动通信（杭州）有限公司 | 一种图像处理方法及移动终端 |
| CN109377557B (zh) * | 2018-11-26 | 2022-12-27 | 中山大学 | 基于单帧人脸图像的实时三维人脸重建方法 |
| CN111462007B (zh) * | 2020-03-31 | 2023-06-09 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备及计算机存储介质 |
| CN111582148B (zh) * | 2020-05-06 | 2023-06-06 | 中南民族大学 | 京剧人物识别方法、设备、存储介质及装置 |
| CN112150387B (zh) * | 2020-09-30 | 2024-04-26 | 广州光锥元信息科技有限公司 | 对照片中的人像增强五官立体感的方法及装置 |
| CN113222830A (zh) * | 2021-03-05 | 2021-08-06 | 北京字跳网络技术有限公司 | 图像处理方法和装置 |
| CN116452413B (zh) * | 2023-04-24 | 2024-03-29 | 广州番禺职业技术学院 | 一种基于视频人脸自动匹配粤剧化妆的系统及其方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101261678A (zh) * | 2008-03-18 | 2008-09-10 | 中山大学 | 在不同尺度特征图像上进行人脸光照规一化的方法 |
| CN101814192A (zh) * | 2009-02-20 | 2010-08-25 | 三星电子株式会社 | 真实感3d人脸重建的方法 |
| CN101866497A (zh) * | 2010-06-18 | 2010-10-20 | 北京交通大学 | 基于双目立体视觉的智能三维人脸重建方法及系统 |
| CN102436668A (zh) * | 2011-09-05 | 2012-05-02 | 上海大学 | 京剧脸谱自动化妆方法 |
| CN104794756A (zh) * | 2014-01-20 | 2015-07-22 | 鸿富锦精密工业（深圳）有限公司 | 点云模型贴图系统及方法 |
| CN105719326A (zh) * | 2016-01-19 | 2016-06-29 | 华中师范大学 | 一种基于单张照片的真实感人脸生成方法 |
| CN105894446A (zh) * | 2016-05-09 | 2016-08-24 | 西安北升信息科技有限公司 | 一种视频中的自动脸部轮廓修饰方法 |
-
2017
- 2017-03-15 CN CN201710153968.1A patent/CN106952221B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101261678A (zh) * | 2008-03-18 | 2008-09-10 | 中山大学 | 在不同尺度特征图像上进行人脸光照规一化的方法 |
| CN101814192A (zh) * | 2009-02-20 | 2010-08-25 | 三星电子株式会社 | 真实感3d人脸重建的方法 |
| CN101866497A (zh) * | 2010-06-18 | 2010-10-20 | 北京交通大学 | 基于双目立体视觉的智能三维人脸重建方法及系统 |
| CN102436668A (zh) * | 2011-09-05 | 2012-05-02 | 上海大学 | 京剧脸谱自动化妆方法 |
| CN104794756A (zh) * | 2014-01-20 | 2015-07-22 | 鸿富锦精密工业（深圳）有限公司 | 点云模型贴图系统及方法 |
| CN105719326A (zh) * | 2016-01-19 | 2016-06-29 | 华中师范大学 | 一种基于单张照片的真实感人脸生成方法 |
| CN105894446A (zh) * | 2016-05-09 | 2016-08-24 | 西安北升信息科技有限公司 | 一种视频中的自动脸部轮廓修饰方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106952221A (zh) | 2017-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106952221B (zh) | 一种三维京剧脸谱自动化妆方法 | |
| CN108305312B (zh) | 3d虚拟形象的生成方法和装置 | |
| CN109377557B (zh) | 基于单帧人脸图像的实时三维人脸重建方法 | |
| KR101190686B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 컴퓨터 판독가능한 기록 매체 | |
| AU2018214005A1 (en) | Systems and methods for generating a 3-D model of a virtual try-on product | |
| JP2019510297A (ja) | ユーザの真実の人体モデルへの仮想的な試着 | |
| CN108537126B (zh) | 一种人脸图像处理方法 | |
| CN108460398B (zh) | 图像处理方法、装置、云处理设备 | |
| CN107343225B (zh) | 在视频图像中展示业务对象的方法、装置和终端设备 | |
| US11842437B2 (en) | Marker-less augmented reality system for mammoplasty pre-visualization | |
| KR20100026240A (ko) | 증강현실을 이용한 쓰리디 헤어스타일 시뮬레이션 방법 및 장치 | |
| CN114821675B (zh) | 对象的处理方法、系统和处理器 | |
| US20190080510A1 (en) | Creating a synthetic model with organic veracity | |
| CN110363867A (zh) | 虚拟装扮系统、方法、设备及介质 | |
| CN108053435A (zh) | 基于手持移动设备的动态实时三维重建方法和系统 | |
| KR101823869B1 (ko) | 안면카메라장치를 이용한 증강현실기반 실시간 동영상 메이크업 구현시스템 | |
| CN104915981A (zh) | 基于体感传感器的三维立体发型设计方法 | |
| KR102009130B1 (ko) | 실시간 메이크업 진단 및 질의응답 서비스 제공 시스템 | |
| Rauter et al. | Augmenting virtual reality with near real world objects | |
| CN115861525A (zh) | 基于参数化模型的多视图人脸重建方法 | |
| Wang et al. | Faithful face image completion for HMD occlusion removal | |
| CN113298956A (zh) | 图像处理方法、美甲方法、美妆方法和装置、终端设备 | |
| CN106580472B (zh) | 一种基于ar虚拟现实技术的整形手术实时捕捉系统 | |
| CN112116699A (zh) | 一种基于3d人脸跟踪的实时真人虚拟试发方法 | |
| CN113450448A (zh) | 图像的处理方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| OL01 | Intention to license declared |