CN111046763A - 一种人像卡通化的方法和装置 - Google Patents
一种人像卡通化的方法和装置 Download PDFInfo
- Publication number
- CN111046763A CN111046763A CN201911206596.XA CN201911206596A CN111046763A CN 111046763 A CN111046763 A CN 111046763A CN 201911206596 A CN201911206596 A CN 201911206596A CN 111046763 A CN111046763 A CN 111046763A
- Authority
- CN
- China
- Prior art keywords
- skin
- result
- cartoon
- hair
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 210000004209 hair Anatomy 0.000 claims abstract description 92
- 210000000697 sensory organ Anatomy 0.000 claims abstract description 91
- 238000012545 processing Methods 0.000 claims abstract description 40
- 230000004927 fusion Effects 0.000 claims abstract description 31
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 230000000694 effects Effects 0.000 claims description 40
- 230000001815 facial effect Effects 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 18
- 238000005516 engineering process Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 238000011161 development Methods 0.000 claims description 10
- 230000018109 developmental process Effects 0.000 claims description 10
- 230000005012 migration Effects 0.000 claims description 10
- 238000013508 migration Methods 0.000 claims description 10
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 238000005034 decoration Methods 0.000 claims description 6
- 210000001508 eye Anatomy 0.000 claims description 6
- 210000004709 eyebrow Anatomy 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 1
- 235000017491 Bambusa tulda Nutrition 0.000 description 1
- 241001330002 Bambuseae Species 0.000 description 1
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 1
- 239000011425 bamboo Substances 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明主要是提供一种人像卡通化的方法和装置，用户通过识别待处理图片，进行人脸属性判断和分割；使用Alpha融合算法对人像皮肤区域换上卡通目标肤色，卡通五官样式迁移，头发区域进行卡通化处理，进行服饰换色卡通化操作以及替换背景，最终生成卡通人像图，以实现对图像图素、特征要点等区域的精准分割，适应不同的特征图案。
Description
技术领域
本发明涉及时深度学习领域，具体为图像处理技术领域，涉及一种人像卡通化的方法和装置。
背景技术
随着深度学习技术的发展，越来越多的娱乐应用如雨后春笋的出现。越来越多年轻用户使用娱乐软件，希望通过娱乐软件来进行娱乐，如看美颜，美妆，美装，人像编辑，背景更换，局部色彩，风格化等等。其中，含人脸图像卡通化主要的步骤是提取图像语义信息并进行动漫卡通化处理。目前，在同类技术中，主要有GAN对抗生成网络技术和风格迁移技术。然而，这两种技术均存在一些缺点，如GAN对抗生成网络技术，是一种无监控生成对抗网络，它的主要想法是训练一对生成器-判别器模型以将图像从一个领域source转换成另一个领域target。这种方法在训练过程中存在一定难度，难以训练出一个合适的模型。当使用这种技术生成的效果图是改变人像的同时还会改变背景，无法保证原图语音信息的完整性。
风格迁移技术是图像风格迁移，指的是将图像A的风格转换到图形B中去，得到新的图像C，其中C中既包含图像B的内容，也包含图像A的风格。该技术在进行图像卡通化的时候，存在一些问题，丢失太多原图的语义信息，比如人像图形的皱纹，色彩；使的人像边缘模糊。因此，GAN对抗生成网络和风格迁移技术并不不能满足应对图形多样化的要求。比如，在人像卡通化的任务中，要求保持原图的语义信息和图像的空间结构，五官形态等，但需要生成效果图具备卡通的特征，如扁平化。因此，需要研发一种可以根据不同人像外貌特征、进行人物个性化的卡通化定制技术。
发明内容
本发明的目的在于提供一种人像卡通化的方法和装置，以实现对图像图素、特征要点等区域的精准分割，适应不同的特征图案。
为实现上述目的，本发明提供如下技术方案，一种人像卡通化的方法，包括以下步骤：
步骤S100：识别待处理图片，进行人脸属性判断和分割；
步骤S200：使用Alpha融合算法对人像皮肤区域换上卡通目标肤色，得到换肤后的图片skin_result；
步骤S300：将卡通五官样式迁移至卡通换肤后的用户图片skin_result，并将样式五官形变到与所述待处理图尽可能相似，得到五官迁移后的效果图facial_result；
步骤S400：将所述五官迁移后的效果图facial_result的头发区域进行卡通化处理，得到头发卡通化后的效果图hair_result；
步骤S500：将所述头发卡通化后的效果图hair_result进行服饰换色卡通化操作，将hair_result和服饰目标颜色target从颜色空间RGB转换到HSV颜色空间，并将hair_result的H，S替换成目标颜色target的H，S，并保持原来hair_result的V。最后将替换后的hair_result从HSV颜色空间转换为颜色空间RGB，得到最终的效果clothes_result；
步骤S600：根据用户选择，是否选择原有背景。替换背景采用alpha融合算法，计算公式如下：result = Foreground * alpha + Background * (1 - alpha), Foreground 为前景，Background为背景，alpha为前景蒙版mask；得到换肤后的图片final_result。
进一步的，所述步骤S100包含以下子步骤：步骤S110：对用户上传的图片进行人脸检测，判断是否含有人脸，是否有且只有一个人脸；步骤S120：识别用户上传的图形，进行性别，种族的判断，并进行分类；步骤S130：对用户上传待处理图像进行图像属性分割，准确识别出背景、人像、头发、皮肤、五官、服饰等区域，并标记。
进一步的，所述步骤S200包含以下子步骤：步骤S210：使用Alpha融合算法对所述待处理图像皮肤整体区域替换上底色D；步骤S220：对所述待处理图像原图A的皮肤区域进行灰度处理，后经过阈值得到皮肤亮面区域B，对并区域B进行高斯模糊后，使用Alpha融合算法换上高光肤色L，最终得到有明暗面的卡通肤色，得到换肤后的图片skin_result；
所述Alpha融合算法公式：result = Foreground * alpha + Background * (1 -alpha), Foreground 为前景，Background为背景，alpha为前景蒙版mask。
进一步的，所述步骤S300包含以下子步骤：步骤S310：设计卡通五官样式，包括眼睛，眉毛，鼻子，嘴巴，并将五官整合到一张标准脸standard_face上，并得到该脸的关键点standard_landmark，卡通五官样式保持在标准脸上的相对位置并切图，得到只有五官的带有透明度的五官图；步骤S320：使用人脸检测和关键点技术得到用户A的关键点landmark_A；步骤S330：根据standard_landmark和landmark_A使用计算得到仿射变换矩阵，并使用该矩阵将两张图进行对齐，人脸对齐就是将两个不同的形状进行归一化的过程，将一个形状尽可能地贴近另一个形状；步骤S340：使用MLS形变算法对五官样式进行变形，从而使样式与原图的五官的形态尽可能相似；最后得到五官迁移后的效果图facial_result。
进一步的，所述步骤S400包含以下子步骤：步骤S410：使用gabor filter提取头发区域的纹理特征如头发走向等，得到头发区域的特征图F；步骤S420：使用HSV颜色空间对头发区域进行换色：分别将原图A，特征图F和目标颜色Target从颜色空间RBG转换到HSV颜色空间，并使用目标颜色target的H，S替换原图A的H，S，并用特征图的V代替原图A的V值，最后将转换后的原图A从颜色空间HSV转换到RGB颜色空间，最后得到卡通化后的效果图hair_result。
为实现上述目的，本发明还提供一种一种人像卡通化的装置，其中包括：
人脸图像识别处理模块：识别待处理图片，进行人脸属性判断和分割；
皮肤处理模块：使用Alpha融合算法对人像皮肤区域换上卡通目标肤色，得到换肤后的图片skin_result；
五官处理模块：将卡通五官样式迁移至卡通换肤后的用户图片skin_result，并将样式五官形变到与所述待处理图尽可能相似，得到五官迁移后的效果图facial_result；
发色处理模块：将所述五官迁移后的效果图facial_result的头发区域进行卡通化处理，得到头发卡通化后的效果图hair_result；
服饰处理模块：将所述头发卡通化后的效果图hair_result进行服饰换色卡通化操作，将hair_result和服饰目标颜色target从颜色空间RGB转换到HSV颜色空间，并将hair_result的H，S替换成目标颜色target的H，S，并保持原来hair_result的V。最后将替换后的hair_result从HSV颜色空间转换为颜色空间RGB，得到最终的效果clothes_result；
背景处理输出模块：根据用户选择，是否选择原有背景。替换背景采用alpha融合算法，计算公式如下：result = Foreground * alpha + Background * (1 - alpha),Foreground 为前景，Background为背景，alpha为前景蒙版mask；得到换肤后的图片final_result。
进一步的，所述人脸图像识别处理模块包含以下子模块：人脸检测判断子模块：对用户上传的图片进行人脸检测，判断是否含有人脸，是否有且只有一个人脸；人脸属性判断模块：识别用户上传的图形，进行性别，种族的判断，并进行分类；图片属性识别分割模块：对用户上传待处理图像进行图像属性分割，准确识别出背景、人像、头发、皮肤、五官、服饰等区域，并标记。
进一步的，所述皮肤处理模块包含以下子模块：皮肤底色处理子模块：使用Alpha融合算法对所述待处理图像皮肤整体区域替换上底色D；换肤子模块：对所述待处理图像原图A的皮肤区域进行灰度处理，后经过阈值得到皮肤亮面区域B，对并区域B进行高斯模糊后，使用Alpha融合算法换上高光肤色L，最终得到有明暗面的卡通肤色，得到换肤后的图片skin_result；
所述Alpha融合算法公式：result = Foreground * alpha + Background * (1 -alpha), Foreground 为前景，Background为背景，alpha为前景蒙版mask。
进一步的，所述五官处理模块包含以下子模块：五官样式构建子模块：设计卡通五官样式，包括眼睛，眉毛，鼻子，嘴巴，并将五官整合到一张标准脸standard_face上，并得到该脸的关键点standard_landmark，卡通五官样式保持在标准脸上的相对位置并切图，得到只有五官的带有透明度的五官图；五官人脸关键点识别检测子模块：使用人脸检测和关键点技术得到用户A的关键点landmark_A；仿射变换子模块：根据standard_landmark和landmark_A使用计算得到仿射变换矩阵，并使用该矩阵将两张图进行对齐，人脸对齐就是将两个不同的形状进行归一化的过程，将一个形状尽可能地贴近另一个形状；迁移变形子模块：使用MLS形变算法对五官样式进行变形，从而使样式与原图的五官的形态尽可能相似；最后得到五官迁移后的效果图facial_result。
进一步的，所述发色处理模块包含以下子模块：纹理特征提取子模块：使用gaborfilter提取头发区域的纹理特征如头发走向等，得到头发区域的特征图F；发色变换子模块：使用HSV颜色空间对头发区域进行换色：分别将原图A，特征图F和目标颜色Target从颜色空间RBG转换到HSV颜色空间，并使用目标颜色target的H，S替换原图A的H，S，并用特征图的V代替原图A的V值，最后将转换后的原图A从颜色空间HSV转换到RGB颜色空间，最后得到卡通化后的效果图hair_result。
本发明主要是通过一种人像卡通化的方法和装置，为用户提供深度学习的方法，识别出人像各个部分并进行精准识别，对各个区域进行图像处理生成卡通人像效果图。
附图说明
为了更清楚地说明本发明的实施例的技术方案，下面将对本发明的实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明的一种人像卡通化的方法流程图；
图2示出了本发明的一种人像卡通化的方法步骤S100的子步骤流程图；
图3示出了本发明的一种人像卡通化的方法步骤S200的子步骤流程图；
图4示出了本发明的一种人像卡通化的方法步骤S300的子步骤流程图；
图5示出了本发明的一种人像卡通化的方法步骤S400的子步骤流程图；
图6示出了本发明的一种人像卡通化的装置流程图；
图7示出了本发明的一种人像卡通化的装置人脸图像识别处理模块的子模块流程图；
图8示出了本发明的一种人像卡通化的装置皮肤处理模块的子模块流程图；
图9示出了本发明的一种人像卡通化的装置五官处理模块的子模块流程图；
图10示出了本发明的一种人像卡通化的装置发色处理模块的子模块流程图。
具体实施方式
为了使本发明的目的，技术方案和有点更加清楚，下面结合附图对本发明作进一步的阐述解释。显然，所描述的实施例是本发明的实施例的一部分，而不是全部的实施例，基于本发明的实施方式中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的实施例保护范围。
参照图1，其示出了本发明的一种实时制作预览动态壁纸的方法流程图，具体如下：
本发明提供如下技术方案，一种人像卡通化的方法，包括以下步骤：
步骤S100：识别待处理图片，进行人脸属性判断和分割；
步骤S200：使用Alpha融合算法对人像皮肤区域换上卡通目标肤色，得到换肤后的图片skin_result；
步骤S300：将卡通五官样式迁移至卡通换肤后的用户图片skin_result，并将样式五官形变到与所述待处理图尽可能相似，得到五官迁移后的效果图facial_result；
步骤S400：将所述五官迁移后的效果图facial_result的头发区域进行卡通化处理，得到头发卡通化后的效果图hair_result；
步骤S500：将所述头发卡通化后的效果图hair_result进行服饰换色卡通化操作，将hair_result和服饰目标颜色target从颜色空间RGB转换到HSV颜色空间，并将hair_result的H，S替换成目标颜色target的H，S，并保持原来hair_result的V。最后将替换后的hair_result从HSV颜色空间转换为颜色空间RGB，得到最终的效果clothes_result；
步骤S600：根据用户选择，是否选择原有背景。替换背景采用alpha融合算法，计算公式如下：result = Foreground * alpha + Background * (1 - alpha), Foreground 为前景，Background为背景，alpha为前景蒙版mask；得到换肤后的图片final_result。
进一步的，参照图2所述步骤S100包含以下子步骤：步骤S110：对用户上传的图片进行人脸检测，判断是否含有人脸，是否有且只有一个人脸；步骤S120：识别用户上传的图形，进行性别，种族的判断，并进行分类；步骤S130：对用户上传待处理图像进行图像属性分割，准确识别出背景、人像、头发、皮肤、五官、服饰等区域，并标记。
进一步的，参照图3所述步骤S200包含以下子步骤：步骤S210：使用Alpha融合算法对所述待处理图像皮肤整体区域替换上底色D；步骤S220：对所述待处理图像原图A的皮肤区域进行灰度处理，后经过阈值得到皮肤亮面区域B，对并区域B进行高斯模糊后，使用Alpha融合算法换上高光肤色L，最终得到有明暗面的卡通肤色，得到换肤后的图片skin_result；
所述Alpha融合算法公式：result = Foreground * alpha + Background * (1 -alpha), Foreground 为前景，Background为背景，alpha为前景蒙版mask。
进一步的，参照图4所述步骤S300包含以下子步骤：步骤S310：设计卡通五官样式，包括眼睛，眉毛，鼻子，嘴巴，并将五官整合到一张标准脸standard_face上，并得到该脸的关键点standard_landmark，卡通五官样式保持在标准脸上的相对位置并切图，得到只有五官的带有透明度的五官图；步骤S320：使用人脸检测和关键点技术得到用户A的关键点landmark_A；步骤S330：根据standard_landmark和landmark_A使用计算得到仿射变换矩阵，并使用该矩阵将两张图进行对齐，人脸对齐就是将两个不同的形状进行归一化的过程，将一个形状尽可能地贴近另一个形状；步骤S340：使用MLS形变算法对五官样式进行变形，从而使样式与原图的五官的形态尽可能相似；最后得到五官迁移后的效果图facial_result。
进一步的，参照图5所述步骤S400包含以下子步骤：步骤S410：使用gabor filter提取头发区域的纹理特征如头发走向等，得到头发区域的特征图F；步骤S420：使用HSV颜色空间对头发区域进行换色：分别将原图A，特征图F和目标颜色Target从颜色空间RBG转换到HSV颜色空间，并使用目标颜色target的H，S替换原图A的H，S，并用特征图的V代替原图A的V值，最后将转换后的原图A从颜色空间HSV转换到RGB颜色空间，最后得到卡通化后的效果图hair_result。
参照图6，为实现上述目的，本发明还提供一种一种人像卡通化的装置，其中包括：
人脸图像识别处理模块：识别待处理图片，进行人脸属性判断和分割；
皮肤处理模块：使用Alpha融合算法对人像皮肤区域换上卡通目标肤色，得到换肤后的图片skin_result；
五官处理模块：将卡通五官样式迁移至卡通换肤后的用户图片skin_result，并将样式五官形变到与所述待处理图尽可能相似，得到五官迁移后的效果图facial_result；
发色处理模块：将所述五官迁移后的效果图facial_result的头发区域进行卡通化处理，得到头发卡通化后的效果图hair_result；
服饰处理模块：将所述头发卡通化后的效果图hair_result进行服饰换色卡通化操作，将hair_result和服饰目标颜色target从颜色空间RGB转换到HSV颜色空间，并将hair_result的H，S替换成目标颜色target的H，S，并保持原来hair_result的V。最后将替换后的hair_result从HSV颜色空间转换为颜色空间RGB，得到最终的效果clothes_result；
背景处理输出模块：根据用户选择，是否选择原有背景。替换背景采用alpha融合算法，计算公式如下：result = Foreground * alpha + Background * (1 - alpha),Foreground 为前景，Background为背景，alpha为前景蒙版mask；得到换肤后的图片final_result。
进一步的，参照图7所述人脸图像识别处理模块包含以下子模块：人脸检测判断子模块：对用户上传的图片进行人脸检测，判断是否含有人脸，是否有且只有一个人脸；人脸属性判断模块：识别用户上传的图形，进行性别，种族的判断，并进行分类；图片属性识别分割模块：对用户上传待处理图像进行图像属性分割，准确识别出背景、人像、头发、皮肤、五官、服饰等区域，并标记。
进一步的，参照图8所述皮肤处理模块包含以下子模块：皮肤底色处理子模块：使用Alpha融合算法对所述待处理图像皮肤整体区域替换上底色D；换肤子模块：对所述待处理图像原图A的皮肤区域进行灰度处理，后经过阈值得到皮肤亮面区域B，对并区域B进行高斯模糊后，使用Alpha融合算法换上高光肤色L，最终得到有明暗面的卡通肤色，得到换肤后的图片skin_result；
所述Alpha融合算法公式：result = Foreground * alpha + Background * (1 -alpha), Foreground 为前景，Background为背景，alpha为前景蒙版mask。
进一步的，参照图9所述五官处理模块包含以下子模块：五官样式构建子模块：设计卡通五官样式，包括眼睛，眉毛，鼻子，嘴巴，并将五官整合到一张标准脸standard_face上，并得到该脸的关键点standard_landmark，卡通五官样式保持在标准脸上的相对位置并切图，得到只有五官的带有透明度的五官图；五官人脸关键点识别检测子模块：使用人脸检测和关键点技术得到用户A的关键点landmark_A；仿射变换子模块：根据standard_landmark和landmark_A使用计算得到仿射变换矩阵，并使用该矩阵将两张图进行对齐，人脸对齐就是将两个不同的形状进行归一化的过程，将一个形状尽可能地贴近另一个形状；迁移变形子模块：使用MLS形变算法对五官样式进行变形，从而使样式与原图的五官的形态尽可能相似；最后得到五官迁移后的效果图facial_result。
进一步的，参照图10所述发色处理模块包含以下子模块：纹理特征提取子模块：使用gabor filter提取头发区域的纹理特征如头发走向等，得到头发区域的特征图F；发色变换子模块：使用HSV颜色空间对头发区域进行换色：分别将原图A，特征图F和目标颜色Target从颜色空间RBG转换到HSV颜色空间，并使用目标颜色target的H，S替换原图A的H，S，并用特征图的V代替原图A的V值，最后将转换后的原图A从颜色空间HSV转换到RGB颜色空间，最后得到卡通化后的效果图hair_result。
本发明通过一种人像卡通化的方法和装置，改进了GAN对抗生成网络来实现卡通人物，主要解决了通过分析轮廓、遮挡关系、颜色、纹理、形状等，对人体、皮肤、头发、五官区域进行精确的分割定位，实现对不同人种、性别的个性化卡通人物定制，通过深度学习的方法，识别出人像的各个部分并进行准确识别，并对该区域使用图像处理算法生成卡通人像效果图。
本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种人像卡通化的方法，其特征在于，包括以下步骤：
步骤S100：识别待处理图片，进行人脸属性判断和分割；
步骤S200：使用Alpha融合算法对人像皮肤区域换上卡通目标肤色，得到换肤后的图片skin_result；
步骤S300：将卡通五官样式迁移至卡通换肤后的用户图片skin_result，并将样式五官形变到与所述待处理图尽可能相似，得到五官迁移后的效果图facial_result；
步骤S400：将所述五官迁移后的效果图facial_result的头发区域进行卡通化处理，得到头发卡通化后的效果图hair_result；
步骤S500：将所述头发卡通化后的效果图hair_result进行服饰换色卡通化操作，将hair_result和服饰目标颜色target从颜色空间RGB转换到HSV颜色空间，并将hair_result的H，S替换成目标颜色target的H，S，并保持原来hair_result的V；最后将替换后的hair_result从HSV颜色空间转换为颜色空间RGB，得到最终的效果clothes_result；
步骤S600：根据用户选择，是否选择原有背景，替换背景采用alpha融合算法，计算公式如下：result = Foreground * alpha + Background * (1 - alpha), Foreground 为前景，Background为背景，alpha为前景蒙版mask；得到换肤后的图片final_result。
2.根据权利要求1所述一种人像卡通化的方法，其特征在于，所述步骤S100包含以下子步骤：
步骤S110：对用户上传的图片进行人脸检测，判断是否含有人脸，是否有且只有一个人脸；
步骤S120：识别用户上传的图形，进行性别，种族的判断，并进行分类；步骤S130：对用户上传待处理图像进行图像属性分割，准确识别出背景、人像、头发、皮肤、五官、服饰等区域，并标记。
3.根据权利要求1所述一种人像卡通化的方法，其特征在于，所述步骤S200包含以下子步骤：
步骤S210：使用Alpha融合算法对所述待处理图像皮肤整体区域替换上底色D；
步骤S220：对所述待处理图像原图A的皮肤区域进行灰度处理，后经过阈值得到皮肤亮面区域B，对并区域B进行高斯模糊后，使用Alpha融合算法换上高光肤色L，最终得到有明暗面的卡通肤色，得到换肤后的图片skin_result；
所述Alpha融合算法公式：result = Foreground * alpha + Background * (1 -alpha), Foreground 为前景，Background为背景，alpha为前景蒙版mask。
4.根据权利要求1所述一种人像卡通化的方法，其特征在于，所述步骤S300包含以下子步骤：
步骤S310：设计卡通五官样式，包括眼睛，眉毛，鼻子，嘴巴，并将五官整合到一张标准脸standard_face上，并得到该脸的关键点standard_landmark，卡通五官样式保持在标准脸上的相对位置并切图，得到只有五官的带有透明度的五官图；
步骤S320：使用人脸检测和关键点技术得到用户A的关键点landmark_A；
步骤S330：根据standard_landmark和landmark_A使用计算得到仿射变换矩阵，并使用该矩阵将两张图进行对齐，人脸对齐就是将两个不同的形状进行归一化的过程，将一个形状尽可能地贴近另一个形状；
步骤S340：使用MLS形变算法对五官样式进行变形，从而使样式与原图的五官的形态尽可能相似；最后得到五官迁移后的效果图facial_result。
5.根据权利要求1所述一种人像卡通化的方法，其特征在于，所述步骤S400包含以下子步骤：
步骤S410：使用gabor filter提取头发区域的纹理特征如头发走向等，得到头发区域的特征图F；
步骤S420：使用HSV颜色空间对头发区域进行换色：分别将原图A，特征图F和目标颜色Target从颜色空间RBG转换到HSV颜色空间，并使用目标颜色target的H，S替换原图A的H，S，并用特征图的V代替原图A的V值，最后将转换后的原图A从颜色空间HSV转换到RGB颜色空间，最后得到卡通化后的效果图hair_result。
6.一种人像卡通化的装置，其中包括：
人脸图像识别处理模块：识别待处理图片，进行人脸属性判断和分割；
皮肤处理模块：使用Alpha融合算法对人像皮肤区域换上卡通目标肤色，得到换肤后的图片skin_result；
五官处理模块：将卡通五官样式迁移至卡通换肤后的用户图片skin_result，并将样式五官形变到与所述待处理图尽可能相似，得到五官迁移后的效果图facial_result；
发色处理模块：将所述五官迁移后的效果图facial_result的头发区域进行卡通化处理，得到头发卡通化后的效果图hair_result；
服饰处理模块：将所述头发卡通化后的效果图hair_result进行服饰换色卡通化操作，将hair_result和服饰目标颜色target从颜色空间RGB转换到HSV颜色空间，并将hair_result的H，S替换成目标颜色target的H，S，并保持原来hair_result的V，最后将替换后的hair_result从HSV颜色空间转换为颜色空间RGB，得到最终的效果clothes_result；
背景处理输出模块：根据用户选择，是否选择原有背景，替换背景采用alpha融合算法，计算公式如下：result = Foreground * alpha + Background * (1 - alpha),Foreground 为前景，Background为背景，alpha为前景蒙版mask；得到换肤后的图片final_result。
7.根据权利要求6所述一种人像卡通化的装置，其特征在于，所述人脸图像识别处理模块包含以下子模块：人脸检测判断子模块：对用户上传的图片进行人脸检测，判断是否含有人脸，是否有且只有一个人脸；人脸属性判断模块：识别用户上传的图形，进行性别，种族的判断，并进行分类；图片属性识别分割模块：对用户上传待处理图像进行图像属性分割，准确识别出背景、人像、头发、皮肤、五官、服饰等区域，并标记。
8.根据权利要求6所述一种人像卡通化的装置，其特征在于，所述皮肤处理模块包含以下子模块：皮肤底色处理子模块：使用Alpha融合算法对所述待处理图像皮肤整体区域替换上底色D；换肤子模块：对所述待处理图像原图A的皮肤区域进行灰度处理，后经过阈值得到皮肤亮面区域B，对并区域B进行高斯模糊后，使用Alpha融合算法换上高光肤色L，最终得到有明暗面的卡通肤色，得到换肤后的图片skin_result；
所述Alpha融合算法公式：result = Foreground * alpha + Background * (1 -alpha), Foreground 为前景，Background为背景，alpha为前景蒙版mask。
9.根据权利要求6所述一种人像卡通化的装置，其特征在于，所述五官处理模块包含以下子模块：五官样式构建子模块：设计卡通五官样式，包括眼睛，眉毛，鼻子，嘴巴，并将五官整合到一张标准脸standard_face上，并得到该脸的关键点standard_landmark，卡通五官样式保持在标准脸上的相对位置并切图，得到只有五官的带有透明度的五官图；五官人脸关键点识别检测子模块：使用人脸检测和关键点技术得到用户A的关键点landmark_A；仿射变换子模块：根据standard_landmark和landmark_A使用计算得到仿射变换矩阵，并使用该矩阵将两张图进行对齐，人脸对齐就是将两个不同的形状进行归一化的过程，将一个形状尽可能地贴近另一个形状；迁移变形子模块：使用MLS形变算法对五官样式进行变形，从而使样式与原图的五官的形态尽可能相似；最后得到五官迁移后的效果图facial_result。
10.根据权利要求6所述一种人像卡通化的装置，其特征在于，所述发色处理模块包含以下子模块：纹理特征提取子模块：使用gabor filter提取头发区域的纹理特征如头发走向等，得到头发区域的特征图F；发色变换子模块：使用HSV颜色空间对头发区域进行换色：分别将原图A，特征图F和目标颜色Target从颜色空间RBG转换到HSV颜色空间，并使用目标颜色target的H，S替换原图A的H，S，并用特征图的V代替原图A的V值，最后将转换后的原图A从颜色空间HSV转换到RGB颜色空间，最后得到卡通化后的效果图hair_result。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911206596.XA CN111046763B (zh) | 2019-11-29 | 2019-11-29 | 一种人像卡通化的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911206596.XA CN111046763B (zh) | 2019-11-29 | 2019-11-29 | 一种人像卡通化的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111046763A true CN111046763A (zh) | 2020-04-21 |
| CN111046763B CN111046763B (zh) | 2024-03-29 |
Family
ID=70234060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911206596.XA Active CN111046763B (zh) | 2019-11-29 | 2019-11-29 | 一种人像卡通化的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111046763B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111507994A (zh) * | 2020-04-24 | 2020-08-07 | Oppo广东移动通信有限公司 | 一种人像提取方法、人像提取装置及移动终端 |
| CN111784568A (zh) * | 2020-07-06 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 人脸图像处理方法、装置、电子设备及计算机可读介质 |
| CN111986212A (zh) * | 2020-08-20 | 2020-11-24 | 杭州趣维科技有限公司 | 一种人像发丝流动特效实现方法 |
| CN112419477A (zh) * | 2020-11-04 | 2021-02-26 | 中国科学院深圳先进技术研究院 | 一种面部图像风格转换方法、装置、存储介质和电子设备 |
| CN113256513A (zh) * | 2021-05-10 | 2021-08-13 | 杭州格像科技有限公司 | 一种基于对抗神经网络的人像美化方法和系统 |
| WO2022116161A1 (zh) * | 2020-12-04 | 2022-06-09 | 深圳市优必选科技股份有限公司 | 人像卡通化方法、机器人及存储介质 |
| CN115082298A (zh) * | 2022-07-15 | 2022-09-20 | 北京百度网讯科技有限公司 | 图像生成方法、装置、电子设备以及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103456010A (zh) * | 2013-09-02 | 2013-12-18 | 电子科技大学 | 一种基于特征点定位的人脸卡通画生成方法 |
| CN105426816A (zh) * | 2015-10-29 | 2016-03-23 | 深圳怡化电脑股份有限公司 | 一种处理人脸图像的方法及装置 |
| CN109376582A (zh) * | 2018-09-04 | 2019-02-22 | 电子科技大学 | 一种基于生成对抗网络的交互式人脸卡通方法 |
| CN110070483A (zh) * | 2019-03-26 | 2019-07-30 | 中山大学 | 一种基于生成式对抗网络的人像卡通化方法 |
-
2019
- 2019-11-29 CN CN201911206596.XA patent/CN111046763B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103456010A (zh) * | 2013-09-02 | 2013-12-18 | 电子科技大学 | 一种基于特征点定位的人脸卡通画生成方法 |
| CN105426816A (zh) * | 2015-10-29 | 2016-03-23 | 深圳怡化电脑股份有限公司 | 一种处理人脸图像的方法及装置 |
| CN109376582A (zh) * | 2018-09-04 | 2019-02-22 | 电子科技大学 | 一种基于生成对抗网络的交互式人脸卡通方法 |
| CN110070483A (zh) * | 2019-03-26 | 2019-07-30 | 中山大学 | 一种基于生成式对抗网络的人像卡通化方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111507994A (zh) * | 2020-04-24 | 2020-08-07 | Oppo广东移动通信有限公司 | 一种人像提取方法、人像提取装置及移动终端 |
| CN111507994B (zh) * | 2020-04-24 | 2023-10-03 | Oppo广东移动通信有限公司 | 一种人像提取方法、人像提取装置及移动终端 |
| CN111784568A (zh) * | 2020-07-06 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 人脸图像处理方法、装置、电子设备及计算机可读介质 |
| CN111986212A (zh) * | 2020-08-20 | 2020-11-24 | 杭州趣维科技有限公司 | 一种人像发丝流动特效实现方法 |
| CN111986212B (zh) * | 2020-08-20 | 2023-10-03 | 杭州小影创新科技股份有限公司 | 一种人像发丝流动特效实现方法 |
| CN112419477A (zh) * | 2020-11-04 | 2021-02-26 | 中国科学院深圳先进技术研究院 | 一种面部图像风格转换方法、装置、存储介质和电子设备 |
| CN112419477B (zh) * | 2020-11-04 | 2023-08-15 | 中国科学院深圳先进技术研究院 | 一种面部图像风格转换方法、装置、存储介质和电子设备 |
| WO2022116161A1 (zh) * | 2020-12-04 | 2022-06-09 | 深圳市优必选科技股份有限公司 | 人像卡通化方法、机器人及存储介质 |
| CN113256513A (zh) * | 2021-05-10 | 2021-08-13 | 杭州格像科技有限公司 | 一种基于对抗神经网络的人像美化方法和系统 |
| CN113256513B (zh) * | 2021-05-10 | 2022-07-01 | 杭州格像科技有限公司 | 一种基于对抗神经网络的人像美化方法和系统 |
| CN115082298A (zh) * | 2022-07-15 | 2022-09-20 | 北京百度网讯科技有限公司 | 图像生成方法、装置、电子设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111046763B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111046763B (zh) | 一种人像卡通化的方法和装置 | |
| CN109359538B (zh) | 卷积神经网络的训练方法、手势识别方法、装置及设备 | |
| CN109376582B (zh) | 一种基于生成对抗网络的交互式人脸卡通方法 | |
| JP6956252B2 (ja) | 顔表情合成方法、装置、電子機器及びコンピュータプログラム | |
| CN108229278B (zh) | 人脸图像处理方法、装置和电子设备 | |
| CN112950661B (zh) | 一种基于注意力生成对抗网络人脸卡通画生成方法 | |
| CN101477696B (zh) | 一种人物漫画图像生成方法及装置 | |
| CN111243050B (zh) | 肖像简笔画生成方法、系统及绘画机器人 | |
| JP6929322B2 (ja) | データ拡張システム、データ拡張方法、及びプログラム | |
| Kumar et al. | A comprehensive survey on non-photorealistic rendering and benchmark developments for image abstraction and stylization | |
| CN108876886B (zh) | 图像处理方法、装置和计算机设备 | |
| CN107945244A (zh) | 一种基于人脸照片的简笔画生成方法 | |
| Mould et al. | Developing and applying a benchmark for evaluating image stylization | |
| CN110097626A (zh) | 一种基于rgb单目图像的浅浮雕物体识别处理方法 | |
| KR20230097157A (ko) | 개인화된 3d 헤드 모델 변형을 위한 방법 및 시스템 | |
| JP7462120B2 (ja) | ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム | |
| Qin et al. | Automatic skin and hair masking using fully convolutional networks | |
| CN111862116A (zh) | 动漫人像的生成方法及装置、存储介质、计算机设备 | |
| JP2024506170A (ja) | 個人化された３ｄ頭部モデルおよび顔モデルを形成するための方法、電子装置、およびプログラム | |
| Rosin et al. | Non-photorealistic rendering of portraits | |
| Zhao et al. | Research on the application of computer image processing technology in painting creation | |
| CN111353069A (zh) | 一种人物场景视频生成方法、系统、装置及存储介质 | |
| He | Application of local color simulation method of landscape painting based on deep learning generative adversarial networks | |
| Laishram et al. | High-quality face caricature via style translation | |
| CN114359030B (zh) | 一种人脸逆光图片的合成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |