CN111243051B - 基于肖像照片的简笔画生成方法、系统及存储介质 - Google Patents

基于肖像照片的简笔画生成方法、系统及存储介质 Download PDF

Info

Publication number
CN111243051B
CN111243051B CN202010016615.9A CN202010016615A CN111243051B CN 111243051 B CN111243051 B CN 111243051B CN 202010016615 A CN202010016615 A CN 202010016615A CN 111243051 B CN111243051 B CN 111243051B
Authority
CN
China
Prior art keywords
image
portrait
illumination
photo
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010016615.9A
Other languages
English (en)
Other versions
CN111243051A (zh
Inventor
朱静洁
高飞
李鹏
俞泽远
王韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Institute of Information Technology AIIT of Peking University
Hangzhou Weiming Information Technology Co Ltd
Original Assignee
Advanced Institute of Information Technology AIIT of Peking University
Hangzhou Weiming Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Institute of Information Technology AIIT of Peking University, Hangzhou Weiming Information Technology Co Ltd filed Critical Advanced Institute of Information Technology AIIT of Peking University
Priority to CN202010016615.9A priority Critical patent/CN111243051B/zh
Publication of CN111243051A publication Critical patent/CN111243051A/zh
Application granted granted Critical
Publication of CN111243051B publication Critical patent/CN111243051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例中提供了一种基于肖像照片的简笔画生成方法、系统及存储介质。基于肖像照片的简笔画生成方法通过根据肖像照片进行图像预处理得到预处理肖像图像；然后根据预处理肖像图像进行光照属性检测及处理得到光照处理图像；最后根据光照处理图像以及简笔画风格照片进行简笔画融合得到简笔画图像，解决了现有简笔画生成方法采用全局合成策略导致难以兼顾一张照片中不同的光照及姿态的问题。

Description

基于肖像照片的简笔画生成方法、系统及存储介质
技术领域
本申请属于图像处理技术领域，具体地，涉及一种基于肖像照片的简笔画生成方法、系统及存储介质。
背景技术
随着机器视觉相关技术的不断发展，肖像绘制在虚拟现实、增强现实以及机器人肖像绘制系统等多媒体、个性化娱乐以及互联网等有广泛应用。随着人工智能的发展，越来越多人开始研究人工智能与艺术的结合，即计算艺术。我们可以通过数学和统计学，将艺术中包含的规律量化为数学关系，例如，黄金分割具有严格的比例性，艺术性和和谐性，并且具有丰富的审美价值。同时，这些数学关系成为计算艺术理论基础的一部分。当绘画涉及到人物的表达时，有许多不同形式的绘画艺术。肖像画包括了夸张肖像漫画，素描，卡通画和简笔画等。
拍摄的照片中，阴影有助于为图像中的内容创造深度，包括视觉和色彩上的深度以及精神意义上的深度，因此无论是证件照、生活照还是专业摄影出的照片正面面部都会存在阴影。除此之外，由于缺乏相关专业摄影技术，人们往往会拍出过曝光或是欠曝光的肖像照片。无论是阴影还是曝光问题，这都归结于光照的作用。然而，在肖像转简笔画的任务中，现有的方法非常容易受光照影响导致会产生很多突兀且不必要的线条，合成效果并不具备鲁棒性。
因此，肖像照片在不同区域、不同姿态下的光照上存在较大差异，现有的简笔画生成方法中，通常采用全局合成策略，即利用全局的表达方式进行简笔画生成，但是现有简笔画生成方法仍难以兼顾一张照片中不同的光照及姿态而出现的合成效果差的问题。
发明内容
本发明提出了一种基于肖像照片的简笔画生成方法、系统及存储介质，旨在解决现有技术的简笔画生成方法采用全局合成策略导致难以兼顾一张照片中不同的光照及姿态的问题。
根据本申请实施例的第一个方面，提供了一种基于肖像照片的简笔画生成方法，包括以下步骤：
根据肖像照片进行图像预处理得到预处理肖像图像；
根据预处理肖像图像进行光照属性检测及处理得到光照处理图像；
根据光照处理图像以及简笔画风格照片进行简笔画融合得到简笔画图像。
可选地，在根据光照处理图像进行简笔画融合得到简笔画图像后，还包括：
根据简笔画图像以及专家绘制简笔画图像采用精炼图像模型进行图像精炼得到精炼简笔画图像。
可选地，在根据光照处理图像进行简笔画融合得到简笔画图像后，还包括：
根据简笔画图像或精炼简笔画图像进行简笔画后处理得到最终简笔画图像，后处理包括高斯模糊处理以及自适应二值化处理。
可选地，根据肖像照片进行图像预处理得到预处理肖像图像，图像预处理具体包括：
根据肖像照片进行面部框图以及面部五官关键点检测，得到面部边界框信息以及面部五官关键点的位置坐标；
根据面部边界框信息以及面部五官关键点的位置坐标得到人脸对齐肖像图像；
根据人脸对齐肖像图像得到肖像照片解析掩码图；
根据肖像照片解析掩码图得到去背景的肖像图像。
可选地，根据预处理肖像图像进行光照属性检测及处理得到光照处理图像，光照属性检测及处理具体包括：
根据预处理肖像图像通过光照属性类别分类器得到肖像照片的光照属性，光照属性包括过曝光、欠曝光、阴影以及正常；
根据肖像照片的光照属性通过光照归一化模型得到消除光照影响的光照处理图像。
可选地，根据光照处理图像进行简笔画融合得到简笔画图像，简笔画融合具体包括：
根据光照处理图像通过姿态属性类别分类器得到带有姿态属性的图像，姿态属性包括正脸及侧脸；
根据侧脸图像以及简笔画风格照片通过全局生成器得到侧脸肖像的简笔画图像；
根据正脸图像以及简笔画风格照片通过局部生成器以及全局生成器得到正脸肖像的简笔画图像。
可选地，全局生成器具体包括：
采用AdaIN网络结构作为全局生成器模型，
将Celeba数据、Celeba-HQ数据以及简笔画风格照片作为AdaIN网络结构的训练集；
加入内容损失函数、风格损失函数以及一致性损失函数优化AdaIN网络结构，一致性损失函数为：
Lcon(q)＝||G(q)-q||1
其中，G(·)表示AdaIN网络结构，||·||1表示计算两者之间的欧式距离，欧式距离使全局生成器生成图和简笔画风格照片像素相一致。
根据本申请实施例的第二个方面，提供了一种基于肖像照片的简笔画生成系统，具体包括：
肖像照片预处理模块：用于根据肖像照片进行图像预处理得到预处理肖像图像；
光照属性检测及处理模块：用于根据预处理肖像图像进行光照属性检测及处理得到光照处理图像；
简笔画融合模块：用于根据光照处理图像以及风格照片进行简笔画融合得到简笔画图像。
可选地，肖像照片预处理模块包括：
人脸关键点检测模型：用于根据肖像照片进行面部框图以及面部五官关键点检测，得到面部边界框信息以及面部五官关键点的位置坐标；
人脸对齐单元：用于根据面部边界框信息以及面部五官关键点的位置坐标得到人脸对齐肖像图像；
人脸解析模型：用于根据人脸对齐肖像图像得到肖像照片解析掩码图；
图像去背景单元：用于根据肖像照片解析掩码图得到去背景的肖像图像。
根据本申请实施例的第三个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现基于肖像照片的简笔画生成方法。
采用本申请实施例中的基于肖像照片的简笔画生成方法、系统及存储介质，通过根据肖像照片进行图像预处理得到预处理肖像图像；然后根据预处理肖像图像进行光照属性检测及处理得到光照处理图像；最后根据光照处理图像以及简笔画风格照片进行简笔画融合得到简笔画图像，解决了现有简笔画生成方法采用全局合成策略导致难以兼顾一张照片中不同的光照及姿态的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1中示出了根据本申请实施例的一种基于肖像照片的简笔画生成方法的步骤流程图；
图2中示出了根据本申请实施例的光照及姿态检测处理流程示意图；
图3中示出了根据本申请实施例的侧脸简笔画生成流程示意图；
图4中示出了根据本申请实施例的正脸简笔画生成流程示意图；
图5中示出了根据本申请实施例的正脸简笔画生成流程的局部生成器示意图；
图6示出了根据本申请实施例的一种基于肖像照片的简笔画生成系统的结构示意图；
图7中示出了根据本申请另一实施例的一种基于肖像照片的简笔画生成系统的结构示意图。
具体实施方式
在实现本申请的过程中，发明人发现随着机器视觉相关技术的不断发展，肖像绘制在虚拟现实、增强现实以及机器人肖像绘制系统等多媒体、个性化娱乐以及互联网等有广泛应用。在肖像转简笔画的任务中，现有的方法非常容易受光照影响导致会产生很多突兀且不必要的线条，存在难以兼顾一张照片中不同的光照及姿态而出现的合成效果差的问题。
针对上述问题，本申请实施例中提供了一种基于肖像照片的简笔画生成方法，通过根据肖像照片进行图像预处理得到预处理肖像图像；然后根据预处理肖像图像进行光照属性检测及处理得到光照处理图像；最后根据光照处理图像以及简笔画风格照片进行简笔画融合得到简笔画图像，解决了现有简笔画生成方法采用全局合成策略导致难以兼顾一张照片中不同的光照及姿态的问题。
本申请旨在首先检测照片不同区域光照之间的差异性，使其在光照上保持一致且消除过曝光、欠曝光、阴影的光照问题并通过不同姿态构建一种鲁棒的人物肖像简笔画生成方法，合成出线条干净、身份一致的高质量肖像简笔画。
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1
图1中示出了根据本申请实施例的一种基于肖像照片的简笔画生成方法的步骤流程图。
如图1所示，本实施例的基于肖像照片的简笔画生成方法具体包括以下步骤：
S101：根据肖像照片进行图像预处理得到预处理肖像图像；
S102：根据预处理肖像图像进行光照属性检测及处理得到光照处理图像；
S103：根据光照处理图像以及简笔画风格照片进行简笔画融合得到简笔画图像。
S101中，根据肖像照片进行图像预处理得到预处理肖像图像，图像预处理具体包括：
1)根据肖像照片进行面部框图以及面部五官关键点检测，得到面部边界框信息以及面部五官关键点的位置坐标。
具体的，对于给定的肖像照片，通过人脸关键点预测模型进行面部框图以及关键点检测，得到肖像照片的面部边界框信息以及五官关键点相应的位置坐标。五官关键点为左眼中心、右眼中心、鼻尖以及嘴角。
2)根据面部边界框信息以及面部五官关键点的位置坐标得到人脸对齐肖像图像。
这步属于人脸对齐步骤，通过人脸关键点中的左右眼中心的位置坐标经过仿射变换操作以人脸对齐。
具体的，首先，通过纵轴坐标的值计算两眼中心的水平偏差角度，旋转图像使两眼中心保持水平；然后，通过缩放使两眼之间距离保持固定。
本申请实施例中将两眼间距设为150，最终得到对齐后的肖像照片SH×W×C,其中H,W,C分别为照片的高度、宽度以及通道数。
3)根据人脸对齐肖像图像得到肖像照片解析掩码图。
具体的，通过现有的人脸解析模型对肖像照片解析得到肖像照片解析掩码(Mask)图Pimage H×W×C，肖像照片掩码图尺寸与肖像照片一致，掩码图的解析成分由背景、面部、左眼、右眼、鼻子、嘴巴、颈部、衣服等19个部分组成，其类别标签由n∈{0,1,...,18}表示。
4)根据肖像照片解析掩码图得到去背景的肖像图像。
这步中，利用掩码中类别为背景的区域，将肖像照片在其区域内的颜色变为白色以达到肖像照片去背景操作。
S102中，根据预处理肖像图像进行光照属性检测及处理得到光照处理图像，光照属性检测及处理具体包括：
首先，根据预处理肖像图像通过光照属性类别分类器得到肖像照片的光照属性，光照属性包括过曝光、欠曝光、阴影以及正常；
然后，根据肖像照片的光照属性通过光照归一化模型得到消除光照影响的光照处理图像。
具体的，光照检测及处理步骤中，通过将肖像照片输入光照属性类别分类器进行光照检测。
关于光照属性类别分类器：本申请实施例从CMU Multi-PIE数据集中随机挑选出具有不同光照属性的肖像照片SI，并将其打上标签lI：
lI＝p,p∈{0,1,2,3}
其中，标签分为4类属性：过曝光、欠曝光、阴影以及正常；标签p＝0代表图片具有过曝光的属性，p＝1,2,3分别代表图片具有欠曝光、阴影以及正常的属性。
将照片及标签组成二元组{SI,l}，并以8：2的比例划分数据，然后分别作为光照属性类别分类器的训练集和测试集。
光照属性类别分类器通过交叉损失函数进行模型优化。
最终将S101中得到的预处理肖像图像输入光照属性类别分类器得到肖像照片的光照属性，光照属性包括过曝光、欠曝光、阴影以及正常。
进一步的，若光照属性得出肖像图像具有过曝光、欠曝光或阴影的属性结果，则输入生成对抗网络中进行光照归一化。
光照归一化模型从CMU Multi-PIE数据集中挑选出具有欠曝光、过曝光、阴影光照问题的肖像照片和没有光照问题的正常的肖像照片/>组成二元组，并以8：2的比例划分数据分别作为光照归一化模型的训练集和测试集。
本申请实施例采用生成对抗网络作为光照归一化模型，加入生成判别损失函数、判别损失函数和重建损失函数以优化模型参数。
测试时，将具有欠曝光、过曝光、阴影光照问题的肖像图像输入光照归一化模型中以消除光照对肖像简笔画图像生成的影响。
本申请实施例的生成对抗网络结构、生成判别损失函数、判别损失函数和重建损失函数均为现有技术，本申请将不再赘述。本申请其它实施例中涉及现有技术的网络结构以及常见函数模型，也将不一一进行赘述。本申请中采用的神经网络结构并不仅仅包括实施例中所述的，其它可实现同样功能结构的网路结构也在本申请实施例范围之内。
S103中，根据光照处理图像进行简笔画融合得到简笔画图像，简笔画融合具体包括：
1、根据光照处理图像通过姿态属性类别分类器得到带有姿态属性的图像，姿态属性包括正脸及侧脸。
具体的，将S102得到的光照处理图像输入姿态属性类别分类器进行姿态检测。
姿态属性类别分类器：本申请实施例从CMU Multi-PIE数据集中挑选出具有不同姿态属性肖像照片，并将其打上标签lP：
lP＝p,p∈{0,1}
其中，标签分为2类属性：正脸以及侧脸；标签p＝0代表正脸，p＝1代表侧脸。
将具有不同姿态属性肖像照片及标签组成二元组，并以8：2的比例划分数据分别作为姿态属性类别分类器的训练集和测试集。
然后，通过加入交叉损失函数进行模型优化。
测试时，将S102得到的光照处理图像输入姿态属性类别分类器得到肖像照片的姿态属性，得到带有姿态属性的图像。
图2中示出了根据本申请实施例的光照及姿态检测处理流程示意图；
如图2所示，通过S102的光照属性类别费分类器进行光照属性检测及处理得到光照处理图像，然后通过S103的姿态属性类别分类器得到带有正脸或者侧脸姿态属性的图像。
下一步的，根据正脸或者侧脸分别采用不同方法进行简笔画融合，具体的：
2、根据侧脸图像以及简笔画风格照片通过全局生成器得到侧脸肖像的简笔画图像。
具体的，当姿态属性类别分类器得到肖像照片的姿态属性为侧脸时，采用全局生成器进行简笔画融合。
具体的，全局生成器具体包括：
采用AdaIN网络结构作为全局生成器模型；
将Celeba数据、Celeba-HQ数据以及简笔画风格照片作为AdaIN网络结构的训练集；
加入内容损失函数、风格损失函数以及一致性损失函数优化AdaIN网络结构，一致性损失函数为：
Lcon(q)＝||G(q)-q||1
其中，G(·)表示AdaIN网络结构，||·||1表示计算两者之间的欧式距离，欧式距离使全局生成器生成图和简笔画风格照片像素相一致。
图3中示出了根据本申请实施例的侧脸简笔画生成流程示意图。
如图3所示，若姿态检测分类结果图像为侧脸，本申请实施例采用AdaIN作为全局生成器。全局生成器由编码器、自适应实例化模块及解码器三部分组成，编码器的模型参数为预训练好的VGG-face模型参数。
将Celeba和Celeba-HQ作为训练集的内容图像p，通过网络搜索挑选具有简笔画风格的图片作为训练集的风格图像q，AdaIN的损失函数包括内容损失函数、风格损失以及一致性损失函数。
测试时，将侧脸图像以及简笔画风格照片同时输入全局生成器中，得到简笔画图像结果。可选地，再对生成结果做高斯模糊以及自适应二值化处理得到最终简笔画图像。
3、根据正脸图像以及简笔画风格照片通过局部生成器以及全局生成器得到正脸肖像的简笔画图像。
具体的，当姿态属性类别分类器得到肖像照片的姿态属性为正脸时，采用全局生成器加局部生成器进行简笔画融合。
图4中示出了根据本申请实施例的正脸简笔画生成流程示意图。
鉴于，AdaIN对肖像姿态为侧脸的简笔画生成效果优于正脸，但Pix2pix对侧脸生成效果却缺乏鲁棒性。因此，本实施例中，若姿态检测分类图像结果为正脸，则采用全局生成器和局部生成器进行融合得到最终简笔画。
本实施例中采用AdaIN网络结构作为全局生成器，采用Pix2pix网络结构作为局部生成器。
全局生成器与姿态为侧脸的全局生成器相同。首先，将正脸图像输入全局生成器中得到全局生成简笔画。
其次，将正脸图像的眉毛、眼睛、鼻子及嘴巴分别输入对应的局部生成器，局部生成器包括眉毛生成器、眼睛生成器、鼻子生成器及嘴巴生成器，得到眉毛简笔画画像、眼睛简笔画画像、鼻子简笔画画像及嘴巴简笔画画像。
最后将全局生成简笔画与眉毛简笔画画像、眼睛简笔画画像、鼻子简笔画画像及嘴巴简笔画画像进行融合，得到最后的正脸图像的简笔画。
具体的，局部生成器的训练集由APDrawingGAN的数据集组成，将APDrawingGAN的数据构成二元组{Su,Tu}，通过人脸关键点检测出二元组的左右眉、左右眼、鼻子、嘴巴并基于其关键点裁剪出对应的区域且每个区域的尺寸为60*60。
通过生成判别损失函数、判别损失函数、重建损失函数优化模型参数分别得到训练好的眉毛、嘴巴、鼻子以及嘴巴的局部生成器。
图5中示出了根据本申请实施例的正脸简笔画生成流程的局部生成器示意图。
如图5所示，局部生成器包括编码器和解码器。测试时，通过人脸关键点检测中的眉毛、眼睛、鼻子、嘴巴关键点裁剪出四个相应的局部区域块，然后输入对应的局部生成器得到局部简笔画画像。
最后，基于S101中得到的肖像照片解析掩码图，将局部生成器生成的眉毛、眼睛、鼻子、嘴巴区域覆盖在全局生成器生成的简笔画相应区域，得到融合后的肖像简笔画画像。
实施例2
本实施例2在实施例1的S103中根据光照处理图像以及简笔画风格照片进行简笔画融合得到简笔画图像之后，增加了以下步骤：
S104：根据简笔画图像以及专家绘制简笔画图像采用精炼图像模型进行图像精炼得到精炼简笔画图像。
S105：根据简笔画图像或精炼简笔画图像进行简笔画后处理得到最终简笔画图像，后处理包括高斯模糊处理以及自适应二值化处理。
具体的，S104中，采用生成对抗网络作为精炼图像模型，具体包括；
首先，找到专家基于肖像照片绘制的专家绘制简笔画图像，将S103得到的简笔画图像以及专家绘制简笔画图像构成二元组，作为精炼图像模型的训练集。
其次，加入生成判别损失函数、判别损失函数、重建损失函数以及强精炼损失函数优化精炼模型得到最优最终的精炼图像模型；
最后，测试时.将简笔画图像以及专家绘制简笔画图输入到精炼图像模型中得到更鲁棒细节更丰富的精炼简笔画图像。
具体的，S105中，所述简笔画后处理步骤，具体如下：
首先，通过将S101中人脸对齐后得到的肖像照片SH×W×C的人脸解析掩码图Pimage H ×W×C，将中面部区域的类别标签改为1，其余区域类别标签为0，得到一个新的面部部件掩码Pface H×W×C；
其次，将新的面部部件掩码Pface H×W×C经过腐蚀操作，然后映射到S104得到的精炼简笔画图像中，使简笔画的面部区域为白色，其余区域不变。
最后做图像二值化处理。将简笔画图像经过均值滤波操作达到图像模糊，即每个方形区域中的中心像素值为这个方形区域像素值总和的平均值。
之后，将模糊化图像经过Sigmoid函数后，像素范围映射到0,1之间，达到二值化效果，二值化公式如下：
其中，e表示自然常数，x为模糊化图像。
实施例3
图6示出了根据本申请实施例的一种基于肖像照片的简笔画生成系统的结构示意图。
如图6所示，一种基于肖像照片的简笔画生成系统，具体包括：
肖像照片预处理模块10：用于根据肖像照片进行图像预处理得到预处理肖像图像；
光照属性检测及处理模块20：用于根据预处理肖像图像进行光照属性检测及处理得到光照处理图像；
简笔画融合模块30：用于根据光照处理图像以及风格照片进行简笔画融合得到简笔画图像。
具体的，肖像照片预处理模块10包括：
人脸关键点检测模型：用于根据肖像照片进行面部框图以及面部五官关键点检测，得到面部边界框信息以及面部五官关键点的位置坐标；
人脸对齐单元：用于根据面部边界框信息以及面部五官关键点的位置坐标得到人脸对齐肖像图像；
人脸解析模型：用于根据人脸对齐肖像图像得到肖像照片解析掩码图；
图像去背景单元：用于根据肖像照片解析掩码图得到去背景的肖像图像。
图7中示出了根据本申请另一实施例的一种基于肖像照片的简笔画生成生成系统的结构示意图。
如图7所示实施例的基于肖像照片的简笔画生成系统，增加了精炼简笔画模块及简笔画后处理模块。
具体的，精炼简笔画模块根据简笔画图像以及专家绘制简笔画图像采用精炼图像模型进行图像精炼得到精炼简笔画图像。
具体的，简笔画后处理模块根据简笔画图像或精炼简笔画图像进行简笔画后处理得到最终简笔画图像，后处理包括高斯模糊处理以及自适应二值化处理。
本申请实施例中的基于肖像照片的简笔画生成方法及系统，通过根据肖像照片进行图像预处理得到预处理肖像图像；然后根据预处理肖像图像进行光照属性检测及处理得到光照处理图像；最后根据光照处理图像以及简笔画风格照片进行简笔画融合得到简笔画图像，解决了现有简笔画生成方法采用全局合成策略导致难以兼顾一张照片中不同的光照及姿态的问题。
首先检测照片不同区域光照之间的差异性，使其在光照上保持一致且消除过曝光、欠曝光、阴影的光照问题并通过不同姿态构建一种鲁棒的人物肖像简笔画生成方法，合成出线条干净、身份一致的高质量肖像简笔画。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行以实现如上任一内容所提供的基于肖像照片的简笔画生成方法。
基于同一发明构思，本申请实施例中还提供了一种计算机程序产品，由于该计算机程序产品解决问题的原理与本申请实施例一所提供的方法相似，因此该计算机程序产品的实施可以参见方法的实施，重复之处不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种基于肖像照片的简笔画生成方法，其特征在于，包括以下步骤：
根据肖像照片进行图像预处理得到预处理肖像图像；
根据所述预处理肖像图像进行光照属性检测及处理得到光照处理图像；
根据所述光照处理图像以及简笔画风格照片进行简笔画融合得到简笔画图像；
其中，所述根据所述预处理肖像图像进行光照属性检测及处理得到光照处理图像，包括：
根据所述预处理肖像图像通过光照属性类别分类器得到肖像照片的光照属性，所述光照属性包括过曝光、欠曝光、阴影以及正常；
根据所述肖像照片的光照属性通过光照归一化模型得到消除光照影响的光照处理图像。
2.根据权利要求1所述的基于肖像照片的简笔画生成方法，其特征在于，在所述根据所述光照处理图像进行简笔画融合得到简笔画图像后，还包括：
根据所述简笔画图像以及专家绘制简笔画图像采用精炼图像模型进行图像精炼得到精炼简笔画图像；
其中，采用生成对抗网络作为精炼图像模型；所述根据所述简笔画图像以及专家绘制简笔画图像采用精炼图像模型进行图像精炼得到精炼简笔画图像，包括：
获取基于肖像照片绘制的专家绘制简笔画图像；
将简笔画图像以及所述专家绘制简笔画图像构成二元组，作为精炼图像模型的训练集进行模型训练；
通过生成判别损失函数、判别损失函数、重建损失函数以及强精炼损失函数优化精炼图像模型，得到最终的精炼图像模型。
3.根据权利要求1或2任一项所述的基于肖像照片的简笔画生成方法，其特征在于，在所述根据所述光照处理图像进行简笔画融合得到简笔画图像后，还包括：
根据所述简笔画图像或精炼简笔画图像进行简笔画后处理得到最终简笔画图像，所述后处理包括高斯模糊处理以及自适应二值化处理。
4.根据权利要求1所述的基于肖像照片的简笔画生成方法，其特征在于，所述根据肖像照片进行图像预处理得到预处理肖像图像，所述图像预处理具体包括：
根据肖像照片进行面部框图以及面部五官关键点检测，得到面部边界框信息以及面部五官关键点的位置坐标；
根据所述面部边界框信息以及面部五官关键点的位置坐标得到人脸对齐肖像图像；
根据所述人脸对齐肖像图像得到肖像照片解析掩码图；
根据所述肖像照片解析掩码图得到去背景的肖像图像。
5.根据权利要求1所述的基于肖像照片的简笔画生成方法，其特征在于，所述根据所述光照处理图像进行简笔画融合得到简笔画图像，所述简笔画融合具体包括：
根据所述光照处理图像通过姿态属性类别分类器得到带有姿态属性的图像，所述姿态属性包括正脸及侧脸；
根据所述侧脸图像以及简笔画风格照片通过全局生成器得到侧脸肖像的简笔画图像；
根据所述正脸图像以及简笔画风格照片通过局部生成器以及全局生成器得到正脸肖像的简笔画图像。
6.根据权利要求5所述的基于肖像照片的简笔画生成方法，其特征在于，所述全局生成器具体包括：
采用AdaIN网络结构作为全局生成器模型；
将Celeba数据、Celeba-HQ数据以及简笔画风格照片作为所述AdaIN网络结构的训练集；
加入内容损失函数、风格损失函数以及一致性损失函数优化所述AdaIN网络结构，所述一致性损失函数为：
Lcon(q)＝G(q)-q1
其中，G(·)表示AdaIN网络结构，·1表示计算两者之间的欧式距离，所述欧式距离使全局生成器生成图和简笔画风格照片像素相一致。
7.一种基于肖像照片的简笔画生成系统，其特征在于，具体包括：
肖像照片预处理模块：用于根据肖像照片进行图像预处理得到预处理肖像图像；
光照属性检测及处理模块：用于根据所述预处理肖像图像进行光照属性检测及处理得到光照处理图像；具体用于：根据所述预处理肖像图像通过光照属性类别分类器得到肖像照片的光照属性，所述光照属性包括过曝光、欠曝光、阴影以及正常；根据所述肖像照片的光照属性通过光照归一化模型得到消除光照影响的光照处理图像；
简笔画融合模块：用于根据所述光照处理图像以及风格照片进行简笔画融合得到简笔画图像。
8.根据权利要求7所述的基于肖像照片的简笔画生成系统，其特征在于，所述肖像照片预处理模块包括：
人脸关键点检测模型：用于根据肖像照片进行面部框图以及面部五官关键点检测，得到面部边界框信息以及面部五官关键点的位置坐标；
人脸对齐单元：用于根据所述面部边界框信息以及面部五官关键点的位置坐标得到人脸对齐肖像图像；
人脸解析模型：用于根据所述人脸对齐肖像图像得到肖像照片解析掩码图；
图像去背景单元：用于根据所述肖像照片解析掩码图得到去背景的肖像图像。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；所述计算机程序被处理器执行以实现如权利要求1-6任一项所述的基于肖像照片的简笔画生成方法。
CN202010016615.9A 2020-01-08 2020-01-08 基于肖像照片的简笔画生成方法、系统及存储介质 Active CN111243051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010016615.9A CN111243051B (zh) 2020-01-08 2020-01-08 基于肖像照片的简笔画生成方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010016615.9A CN111243051B (zh) 2020-01-08 2020-01-08 基于肖像照片的简笔画生成方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN111243051A CN111243051A (zh) 2020-06-05
CN111243051B true CN111243051B (zh) 2023-08-18

Family

ID=70872469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010016615.9A Active CN111243051B (zh) 2020-01-08 2020-01-08 基于肖像照片的简笔画生成方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN111243051B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112147189A (zh) * 2020-09-11 2020-12-29 北京航空航天大学 一种用于二值化电容层析成像的闭环图像重建方法
CN112991358A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质
CN113223103A (zh) * 2021-02-02 2021-08-06 杭州妙绘科技有限公司 素描画生成的方法、装置、电子设备及介质
CN113658285B (zh) * 2021-06-28 2024-05-31 华南师范大学 一种人脸照片到艺术素描的生成方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1710608A (zh) * 2005-07-07 2005-12-21 上海交通大学 机器人绘制人脸漫画的图像处理方法
CN101551911A (zh) * 2009-05-07 2009-10-07 上海交通大学 人脸素描肖像画自动生成方法
CN102509284A (zh) * 2011-09-30 2012-06-20 北京航空航天大学 一种肖像光照艺术性的自动评测方法
CN102881011A (zh) * 2012-08-31 2013-01-16 北京航空航天大学 基于区域分割的肖像光照迁移方法
CN104700087A (zh) * 2015-03-23 2015-06-10 上海交通大学 可见光与近红外人脸图像的相互转换方法
CN106873893A (zh) * 2017-02-13 2017-06-20 北京光年无限科技有限公司 用于智能机器人的多模态交互方法及装置
WO2017149315A1 (en) * 2016-03-02 2017-09-08 Holition Limited Locating and augmenting object features in images
CN107730573A (zh) * 2017-09-22 2018-02-23 西安交通大学 一种基于特征提取的人物肖像漫画风格化生成方法
CN107945244A (zh) * 2017-12-29 2018-04-20 哈尔滨拓思科技有限公司 一种基于人脸照片的简笔画生成方法
CN108335423A (zh) * 2017-12-08 2018-07-27 广东数相智能科技有限公司 一种肖像绘制系统、方法及存储介质
CN108492344A (zh) * 2018-03-30 2018-09-04 中国科学院半导体研究所 一种肖像漫画生成方法
CN108596024A (zh) * 2018-03-13 2018-09-28 杭州电子科技大学 一种基于人脸结构信息的肖像生成方法
CN109285201A (zh) * 2018-09-05 2019-01-29 常州工学院 肖像画自助绘制系统及自助绘制机
CN109741247A (zh) * 2018-12-29 2019-05-10 四川大学 一种基于神经网络的肖像漫画生成方法
CN110414378A (zh) * 2019-07-10 2019-11-05 南京信息工程大学 一种基于异质人脸图像融合特征的人脸识别方法
CN110415166A (zh) * 2019-07-29 2019-11-05 腾讯科技（深圳）有限公司 融合图像处理模型的训练方法、图像处理方法、装置及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2518589B (en) * 2013-07-30 2019-12-11 Holition Ltd Image processing
DE202015006142U1 (de) * 2014-09-02 2015-12-09 Apple Inc. Elektronische Touch-Kommunikation

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1710608A (zh) * 2005-07-07 2005-12-21 上海交通大学 机器人绘制人脸漫画的图像处理方法
CN101551911A (zh) * 2009-05-07 2009-10-07 上海交通大学 人脸素描肖像画自动生成方法
CN102509284A (zh) * 2011-09-30 2012-06-20 北京航空航天大学 一种肖像光照艺术性的自动评测方法
CN102881011A (zh) * 2012-08-31 2013-01-16 北京航空航天大学 基于区域分割的肖像光照迁移方法
CN104700087A (zh) * 2015-03-23 2015-06-10 上海交通大学 可见光与近红外人脸图像的相互转换方法
WO2017149315A1 (en) * 2016-03-02 2017-09-08 Holition Limited Locating and augmenting object features in images
CN106873893A (zh) * 2017-02-13 2017-06-20 北京光年无限科技有限公司 用于智能机器人的多模态交互方法及装置
CN107730573A (zh) * 2017-09-22 2018-02-23 西安交通大学 一种基于特征提取的人物肖像漫画风格化生成方法
CN108335423A (zh) * 2017-12-08 2018-07-27 广东数相智能科技有限公司 一种肖像绘制系统、方法及存储介质
CN107945244A (zh) * 2017-12-29 2018-04-20 哈尔滨拓思科技有限公司 一种基于人脸照片的简笔画生成方法
CN108596024A (zh) * 2018-03-13 2018-09-28 杭州电子科技大学 一种基于人脸结构信息的肖像生成方法
CN108492344A (zh) * 2018-03-30 2018-09-04 中国科学院半导体研究所 一种肖像漫画生成方法
CN109285201A (zh) * 2018-09-05 2019-01-29 常州工学院 肖像画自助绘制系统及自助绘制机
CN109741247A (zh) * 2018-12-29 2019-05-10 四川大学 一种基于神经网络的肖像漫画生成方法
CN110414378A (zh) * 2019-07-10 2019-11-05 南京信息工程大学 一种基于异质人脸图像融合特征的人脸识别方法
CN110415166A (zh) * 2019-07-29 2019-11-05 腾讯科技（深圳）有限公司 融合图像处理模型的训练方法、图像处理方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄菲 ; 高飞 ; 朱静洁 ; 戴玲娜 ; 俞俊.基于生成对抗网络的异质人脸图像合成：进展与挑战.南京信息工程大学学报(自然科学版).2019,(第06期),660-681. *

Also Published As

Publication number Publication date
CN111243051A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN111243051B (zh) 基于肖像照片的简笔画生成方法、系统及存储介质
CN111243050B (zh) 肖像简笔画生成方法、系统及绘画机器人
Gryka et al. Learning to remove soft shadows
EP3665553B1 (en) Adjusting a digital representation of a head region
CN107507217B (zh) 证件照的制作方法、装置及存储介质
Zhou et al. Parametric reshaping of human bodies in images
Wang et al. Deeplens: Shallow depth of field from a single image
Chen et al. Towards Deep Style Transfer: A Content-Aware Perspective.
CN111127309B (zh) 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
US20230124252A1 (en) Portrait stylization framework using a two-path image stylization and blending
JP7462120B2 (ja) ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム
Li et al. Uphdr-gan: Generative adversarial network for high dynamic range imaging with unpaired data
CN111008935A (zh) 一种人脸图像增强方法、装置、系统及存储介质
US11769309B2 (en) Method and system of rendering a 3D image for automated facial morphing with a learned generic head model
JP4219521B2 (ja) マッチング方法および装置並びに記録媒体
US10803677B2 (en) Method and system of automated facial morphing for eyebrow hair and face color detection
CN111951408B (zh) 一种基于三维人脸的图像融合方法和设备
CN116612263B (zh) 一种感知潜视觉合成一致性动态拟合的方法及装置
US20210074076A1 (en) Method and system of rendering a 3d image for automated facial morphing
CN116681579A (zh) 一种实时视频人脸替换方法、介质及系统
Cao et al. Automatic motion-guided video stylization and personalization
CN117079313A (zh) 图像处理方法、装置、设备及存储介质
WO2022088089A1 (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
Tal et al. Nldnet++: A physics based single image dehazing network
Vasiliu et al. Coherent rendering of virtual smile previews with fast neural style transfer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 101, building 1, block C, Qianjiang Century Park, ningwei street, Xiaoshan District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Weiming Information Technology Co.,Ltd.

Applicant after: Institute of Information Technology, Zhejiang Peking University

Address before: Room 288-1, 857 Xinbei Road, Ningwei Town, Xiaoshan District, Hangzhou City, Zhejiang Province

Applicant before: Institute of Information Technology, Zhejiang Peking University

Applicant before: Hangzhou Weiming Information Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200605

Assignee: Zhejiang Visual Intelligence Innovation Center Co.,Ltd.

Assignor: Institute of Information Technology, Zhejiang Peking University|Hangzhou Weiming Information Technology Co.,Ltd.

Contract record no.: X2023330000927

Denomination of invention: Method, system, and storage medium for generating simple strokes based on portrait photos

Granted publication date: 20230818

License type: Common License

Record date: 20231219