CN110838084B - 一种图像的风格转移方法、装置、电子设备及存储介质 - Google Patents
一种图像的风格转移方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110838084B CN110838084B CN201910903589.9A CN201910903589A CN110838084B CN 110838084 B CN110838084 B CN 110838084B CN 201910903589 A CN201910903589 A CN 201910903589A CN 110838084 B CN110838084 B CN 110838084B
- Authority
- CN
- China
- Prior art keywords
- style
- image
- target image
- transfer
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000012546 transfer Methods 0.000 claims abstract description 149
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 42
- 238000005286 illumination Methods 0.000 claims description 101
- 230000004927 fusion Effects 0.000 claims description 14
- 230000001815 facial effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 5
- 210000000887 face Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000873 masking effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明实施例涉及数字图像处理技术领域，公开了一种图像的风格转移方法、装置、电子设备和存储介质。该方法包括获取目标图像和风格图像；目标图像和风格图像均包括人脸图像，风格图像的N种风格特征分别对应不同的转移算法，N为大于1的自然数；将风格图像的N种风格特征依次以对应的转移算法，转移到目标图像中。该方法针对其中不同特征的转移使用不同转移算法，从而使得风格转移后的目标面部图像能更真实，更准确的保留原有的特征信息。
Description
技术领域
本发明实施例涉及数字图像处理技术领域，特别涉及一种图像的风格转移方法、装置、电子设备及存储介质。
背景技术
风格转移，即是将一张风格图像(style image)的特征转移给另外一张目标图像(content image)，经风格转移后的目标图像既具备风格图像特征又一定程度保留了目标图像的本身的纹理结构特征，例如：将梵高的星空作品风格转移给一张普通用户照片，这张普通用户照片就具备了星空风格，仿佛出自梵高之手。
目前主要通过以下方式进行特征转移：基于卷积神经网络单张人脸风格图像的模型训练，通过定义两个不同的成本函数，反复训练并最小化成本函数，并得到全局最优化的网络模型进行风格转移。
然而，发明人发现相关技术中至少存在如下问题：采用“一步到位”式的转移方法，在风格图像面部中的光照(如：方向光，环境光等)，肤色，妆容等特征无法十分准确的转移。
发明内容
本发明实施方式的目的在于提供一种图像的风格转移方法、装置、电子设备及存储介质，将光照、肤色、妆容等特征分别进行转移，其中不同特征的转移使用各自特征对应的转移算法，克服现有技术无法准确转移面部光照、肤色、妆容等特征，从而达到较好的转移效果。
为解决上述技术问题，本发明的实施方式提供了一种图像的风格转移方法，包括：获取目标图像和风格图像；目标图像和风格图像均包括人脸图像，风格图像的N种风格特征分别对应不同的转移算法，N为大于1的自然数；将风格图像的N种风格特征依次以对应的转移算法，转移到目标图像中。
本发明的实施方式还提供了一种图像的风格转移装置，包括：
获取模块，用于获取目标图像和风格图像；目标图像和风格图像均包括人脸图像，风格图像的N种风格特征分别对应不同的转移算法，N为大于1的自然数；
转移模块，用于将风格图像的N种风格特征依次以对应的转移算法，转移到目标图像中。
本发明的实施方式还提供了一种电子设备，包括：
至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述图像的风格转移方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，包括：计算机程序被处理器执行时实现上述图像的风格转移方法。
本发明实施方式相对于现有技术而言，通过将风格图像的N种风格特征依次以对应的转移算法，转移到目标图像中，使得转移不同的风格特征可采用对应的转移算法，从而实现了具有较强针对性的特征转移。风格图像中的各类风格特征，可以尽可能的转移至目标图像，从而达到较好的转移效果。
另外，在图像的风格转移方法中，N种风格特征至少包括：光照特征和肤色特征；根据风格图像的N种风格特征依次以对应的转移算法，转移到目标图像中，具体包括：将目标图像和风格图像进行对齐；以光照特征对应的转移算法，将对齐后的风格图像的光照特征，转移至目标图像中；以肤色特征对应的转移算法，将对齐后的风格图像的肤色特征，转移至光照特征转移后的目标图像。通过先进行光照特征转移，再进行肤色特征对应的转移，既可以保证光照特征的亮度特征得到转移，还可以避免肤色特征受到光照特征转移时的影响，从而使得风格图像中面部的光照、肤色特征均可以准确的转移。
另外，在图像的风格转移方法中，N种风格特征还包括：妆容特征；将风格图像的N种风格特征依次以对应的转移算法，转移到目标图像中，还包括：在将对齐后的风格图像的肤色特征，转移至经光照特征转移后的目标图像后，以预设的融合程度，对对齐后的风格图像与经肤色特征转移后的目标图像进行融合，得到妆容特征转移后的目标图像。由于在进行妆容特征的转移之前，已经完成了光照特征和肤色特征的转移，因此，在以融合的方式转移妆容特征时，可以选择以比较小的融合程度进行融合，以尽量避免对目标图像中的五官特征的改变，从而保证风格转移后的图像具有较高的真实度保留，可以实现得到的目标图像中的人物图像五官尽量不失真。
另外，在图像的风格转移方法中，以肤色特征对应的转移算法，将对齐后的风格图像的肤色特征，转移至经光照特征转移后的目标图像，具体包括：分别统计对齐后的风格图像的亮度平均值和肤色平均值/>以及经光照特征转移后的目标图像的亮度平均值/>和肤色平均值/>并且根据/>和/>对经光照特征转移后的目标图像的各像素点的像素值分别进行调整，得到经所肤色特征转移后的目标图像。本方法首先通过算法计算出目标图像和风格图像的亮度平均值和肤色平均值，然后根据像素点的像素值和肤色平均值的对比结果，结合亮度平均值，对目标图像中所有像素点调整后，完成肤色特征转移。由于本方法分别计算了风格图像和经光照特征转移后的目标图像的亮度平均值和肤色平均值，且在转移过程中进行了对比，肤色特征转移时充分考虑了风格图像的亮度的影响，因此肤色转移方法具有更高的准确度，肤色转移效果更逼真。
另外，在图像的风格转移方法中，分别统计对齐后的风格图像的亮度平均值和肤色平均值/>以及经光照特征转移后的目标图像的亮度平均值/>和肤色平均值/>具体包括：根据人脸图像的关键点位置数据，生成对齐后的风格图像的第一面部保护蒙版和经光照特征转移后的目标图像的第二面部保护蒙版；统计第一面部保护蒙版的蒙版区域内的亮度平均值和肤色平均值，作为/>和/>统计第二面部保护蒙版的蒙版区域内的亮度平均值和肤色平均值，作为/>和/>本方法先确定人物图像的关键点，采用保护蒙版的技术手法对不是关键点的位置进行遮盖，这样可以避免在风格转移过程中，排除非关键点的图像对肤色和亮度统计的影响，例如排除眼睛和眉毛对统计的干扰，从而提高特征转移的准确性。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。
图1是根据本发明第一实施方式中的图像的风格转移方法流程图；
图2是根据本发明第一实施方式中的图像的风格转移方法中对齐步骤流程图；
图3是根据本发明第二实施方式中的图像的风格转移方法流程图；
图4是根据本发明第三实施方式中的图像的风格转移装置示意图；
图5是根据本发明第四实施方式中的电子设备示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本发明的第一实施方式涉及一种图像的风格转移方法，本实施方式可应用在终端设备中，如用户手机，平板电脑等，在此不一一赘述。在本实施方式中，通过终端设备获取目标图像和风格图像；目标图像和风格图像均包括人脸图像，风格图像的N种风格特征分别对应不同的转移算法，N为大于1的自然数；将风格图像的N种风格特征依次以对应的转移算法，转移到目标图像中。
在一个具体的应用例子中，目标图像为达芬奇的《蒙娜丽莎的微笑》，风格图像为梵高的《星空》，需要将蒙娜丽莎的人物图像的背景置换为星空的背景风格。根据本实施例的方法，首先通过获取到两幅图的特征信息，并且对人物面部的关键特征进行定位，提取定位点。根据关键点位数据，分别生成两幅图的面部网络模型。将风格图像《星空》以人物图《蒙娜丽莎的微笑》为基准进行对齐，得到对齐后的星空图。然后，分别基于对齐后星空图的光照特征，对人物图像进行光照特征转移、肤色特征转移、妆容特征融合。最后，得到一幅新的《在星空下蒙娜丽莎的微笑》图像。
下面对本实施方式的一种图像的风格转移方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
本实施方式中的一种图像的风格转移方法如流程图1所示，具体包括以下步骤：
步骤101，终端设备获取目标图像和风格图像。
具体地说，本实施方式中，目标图像和风格图像均为人脸图像，可以是为从目标源图或风格源图中提取的人脸图像。目标源图和风格源图可以为包括人脸图像及非人脸图像(如风景类背景)的图片。也就是说，风格图像和目标图像可以不仅仅包含有人脸，还可以包含非人脸的内容，例如含有人脸的风景图片。
步骤102，将目标图像与风格图像进行对齐。
具体的，为了后续能准备地对风格特征进行转移，比较不同图像中相对应的点，应首先对这些图像进行对齐。
在一个实施例中，对齐的具体实现步骤如图2所示：
步骤1021，分别对风格图像Is和目标图像Ic提取关键点，得到关键点位数据lms和lmc；
提取关键点，是指给定人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。人脸关键点检测也称为人脸关键点检测、定位或人脸对齐，在一个具体实施的实际应用场景中，可以采用106点为模型，来提取人物面部的关键点。
步骤1022，根据关键点位数据lms和lmc分别生成风格图像和目标图像的面部网络模型；
具体的，对上述风格图像关键点位数据lms和目标图像关键点位数据lmc使用Delaunay三角剖分方法生成网格模型，Delaunay三角剖分方法是指将空间点连接为三角形，使得所有三角形中最小的角最大的一个技术。三角划分的要点是任何三角形的外接圆都不包括任何其他顶点，即外接圆性质。由Delaunay三角剖分方法得到的面部网格模型是由多个三角形面构成，每个三角形面存储了关键点数组的索引信息。
步骤1023，根据风格图像和目标图像的网络模型，生成仿射变换矩阵；
具体的，获取风格图像和目标图像的网络模型中相同位置点的几何坐标，根据几何坐标，生成仿射变换矩阵。如，在经三角剖分方法生成的网格模型中的每个三角形，根据每个三角形面存储记录的数组索引信息，分别得到在风格图像和目标图像下该三角形顶点在图像中的几何坐标信息，记为和/>计算/>到/>仿射变换矩阵。
步骤1024，使用生成的仿射变换矩阵对风格图像Is进行矩阵变换，生成以目标图像为基准进行对齐的风格图像Is align，如，在经三角剖分方法生成的网格模型中，当根据仿射变换矩阵遍历完所有三角形后就得到最终对齐结果Is align。
在完成目标图像与风格图像的对齐后，进入步骤103，以光照特征对应的转移算法，将对齐的风格图像的光照特征，转移至目标图像中。
具体的，将风格图像与目标图像对齐后，对目标图像进行光照特征转移；其中，光照特征的转移可以通过图像的光照贴图来实现。光照贴图是在三维计算机图形中加入阴影的过程，这是一种可以在不减少帧率的情况下达到真实感光照和阴影效果的方法。
针对目标图像的每一个像素点的三个通道的像素值分别进行光照特征转移，下面对目标图像中一个像素点的光照特征的转移进行说明：首先获得目标图像中某一像素点的三个通道的像素值，如获取第一个像素点的三个通道的像素值分别为LR、LG、LB，然后在生成的目标图像的光照贴图Irc和对齐后的风格图像的光照贴图Irs中，分别获取和该像素点同一位置的像素点的该通道像素值，如获取到Irc中第一个像素点的三个通道的像素值分别为IrcLR、IrcLG、IrcLB，获取到Irs中第一个像素点的三个通道的像素值分别为IrsLR、IrsLG、IrsLB，以R通道为例，计算光照贴图Irc和Irs中该位置像素点在R通道上的像素值比值IrsLR/IrcLR，将再该像素值比值与目标图像中的该像素点在R通道的像素值LR相乘，获得光照特征转移后的该像素点在R通道的像素值。光照特征转移后的该像素点在B通道和G通道的像素值获取方法类似，不再赘述。并且，对目标图像的每一个像素点，均可通过上述算法进行光照特征的转移，即，计算获得光照贴图Irc和Irs中与目标图像的相同位置像素点在相同通道的像素值Lrc和Lrs，计算比值Lrs/Lrc，将该比值和目标图像中的该位置像素点在该通道的像素值相乘，获得光照特征转移后的该像素点在该通道的像素值。
步骤104，以肤色特征对应的转移算法，将对齐的风格图像的肤色特征，转移至光照特征转移后的目标图像。
具体的，分别获取目标图像中每一个像素点在某一通道的像素值，随后与目标图像在该通道的肤色平均值进行比较：当该值小于目标图像在该通道的肤色平均值时，计算风格图像和目标图像的肤色平均值的比值，和该像素点该通道的像素值相乘，获得肤色特征转移的该像素点在该通道的像素值。当该像素点在某一通道的像素值，大于等于目标图像该通道的肤色平均值时，计算该像素点在该通道的经肤色特征转移的像素值。按照转移算法将经光照特征转移后的目标图像中每一个像素点的三个通道的像素值进行调整，生成经肤色特征转移的目标图像。
步骤105，以预设的融合程度，将对齐的风格图像与经肤色特征转移后的目标图像进行融合。
具体地说，本实施方式将对齐后的风格图像Is align和经肤色特征转移的目标图像按照预定程度数值进行融合，预定程度数值可以为固定的数值，也可以计算风格图像的妆容特征，根据风格图像的妆容特征动态的确定预定程度数值。
利用传统风格转移和面部融合会造成目标面部一定程度失真，本实施方式中首先将光照特征和肤色特征完成转移，保证了风格转移效果，同时在妆容转移时以比较小的融合程度进行融合，由于先完成了光照和肤色特征转移，再进行妆容转移时不涉及对目标图像的五官特征的改变，因此风格转移后的图像具有较高的真实度保留。
值得注意，本实施方式考虑到了在现有技术是采用“一步到位”式的转移方法，在风格图像面部中的光照(如：方向光，环境光等)，肤色，妆容等特征无法十分准确的转移。而本实施方式将光照、肤色、妆容等特征分别进行转移，其中不同特征的转移使用不同技术方案，克服现有技术无法准确转移面部光照、肤色、妆容等特征，及风格转移后的人物面部失真等问题，从而使得风格转移后的目标面部图像能更真实，更准确的保留原有的特征信息。
可以注意的是，本实施例光照特征转移完成后，再在光照特征转移后的目标图像上，再进行肤色特征对应的转移。此特征转移的次序既考虑了不同特征的转移使用不同技术方案，还为了避免肤色特征转移时受到光照特征转移的影响，从而使得风格图像中面部的光照、肤色特征均可以准确的转移。
本发明的第二实施方式涉及一种图像风格转移方法。第二实施方式与第一实施方式大致相同，主要区别之处在于：在第二实施方式中，在对图像对齐步骤之前，还可以对目标图像进行预处理。如，为了去除面部一些噪声(光照和亮度不均匀)干扰，提高面部的特征转移的准确性，使用引导滤波(guided filter)对目标图像Ic进行预处理得到而且，在进行肤色特征转移时，利用蒙版技术手法对不是关键点的位置进行遮盖，这样可以避免在风格转移过程中，排除非关键点的图像对肤色和亮度统计的影响，例如排除眼睛和眉毛对统计的干扰，从而提高特征转移的准确性。
具体流程如图3所示，包括：
步骤201，终端设备获取目标图像和风格图像。本步骤与第一实施方式的步骤101类似，在此不再赘述。
步骤202，使用引导滤波对目标图像的关键点进行预处理。
具体的，在图像对齐之前，为了去除面部一些噪声(光照和亮度不均匀)干扰，提高面部的特征转移的准确性，使用引导滤波(guided filter)对目标图像Ic进行预处理得到引导滤波属于一种保边滤波方法，在保证面部皮肤局部更加平顺的同时，能有效的保留面部的纹理结构信息，较于其他一些保边滤波方法，如：双边滤波、表面模糊等，引导滤波可以更好的保持纹理边缘的梯度关系，有效解决了梯度反转问题，引导滤波计算公下：其中uk和σk分别表示在大小为k的局部滤波窗口内像素的均值和标准差。
步骤203，将目标图像与风格图像进行对齐。本步骤与第一实施方式的步骤102类似，在此不再赘述。
步骤204，以光照特征对应的转移算法，将对齐的风格图像的光照特征，转移至目标图像中。
具体的光照特征转移步骤如下：
步骤2041，分别获取目标图像和对齐后的风格图像的光照贴图；
具体的，直接使用现成的光照模型和环境光照生成光照贴图，分别生成目标图像和对齐后的风格图像的光照贴图，结果为Irc和Irs。
本实施方式中考虑到光照结果是由环境光照中的每个光源方向决定的，造成计算量巨大，而光照渲染中主要关心的是低频信息，因此，优选的，可以使用三阶球面谐波得到近似的目标图像和对齐后的风格图像光照贴图Irc sphere和Irs sphere。
步骤2042，根据目标图像和对齐后的风格图像的光照贴图，对目标图像进行光照特征转移。
通过以下公式，可以获得光照特征转移后的目标图像
其中，为目标图像的各像素点的像素值，所述/>为经光照特征转移后的目标图像的各像素点的像素值，该公式基于假设目标图像和风格图像具有相同的反照率。
步骤205，以肤色特征对应的转移算法，将对齐的风格图像的肤色特征，转移至光照特征转移后的目标图像。
具体的，本实施方式将对齐后的风格图像Is align的肤色特征转移到经光照特征转移后的目标图像中，得到风格转移结果/>肤色特征转移的具体步骤如下：
步骤2051，分别统计对齐后的风格图像Is align和经光照特征转移后的目标图像的亮度平均值和肤色平均值。
其中，亮度平均值为分别计算图中每一个像素点R，G，B三个通道的像素值，每个通道分别取平均值，即亮度平均值为三个数值，分别对应三个通道。肤色平均值是首先获取图中代表肤色的像素点，随后通过每一个代表肤色的像素点R，G，B三个通道的像素值，每个通道分别取平均值，即肤色平均值为三个数值，分别对应三个通道。
优选的，为了保证面部肤色和亮度统计准确性，可以使用关键点位数据lms和lmc生成面部保护蒙版，以排除眼睛和眉毛对统计的干扰。
使用生成的面部保护蒙版，分别统计上述风格图像Is align和目标图像在蒙版区域内的亮度平均和肤色平均，分别记为：/>可以理解为每个通道均获得一组亮度平均和肤色平均。
步骤2052，根据肤色和亮度信息，将风格图像Is align的肤色特征转移到目标图像上，得到经肤色特征转移的目标图像/>
计算公式如下：
其中，/>具体的，分别获取目标图像中每一个像素点在某一通道的像素值，随后与目标图像在该通道的肤色平均值进行比较：当该值小于目标图像在该通道的肤色平均值时，计算风格图像和目标图像的肤色平均值的比值，和该像素点该通道的像素值相乘，获得肤色特征转移的该像素点在该通道的像素值。当该像素点在某一通道的像素值，大于等于目标图像该通道的肤色平均值时，按照以上公式获得该像素点在该通道的经肤色特征转移的像素值。
按照以上方法将经光照特征转移后的目标图像中每一个像素点的三个通道的像素值进行调整，生成经肤色特征转移的目标图像
步骤206，以预设的融合程度，将对齐的风格图像与经肤色特征转移后的目标图像进行融合。本步骤与第一实施方式的步骤105类似，在此不再赘述。
本方法首先通过计算目标图像和风格图像的亮度平均值和肤色平均值，然后根据像素点的像素值和肤色平均值的对比结果，结合亮度平均值，采用不同的算法获得经肤色转移后的目标图像素点的像素值，完成肤色特征转移。由于本方法分别计算了风格图像和经光照特征转移后的目标图像的亮度平均值和肤色平均值，且在转移过程进行了对比，肤色转移时充分考虑了亮度的影响，因此本提案肤色转移方法具有更高的准确度，肤色转移效果更逼真。
由于第一实施方式中提到的相关技术细节在本实施方式中依然有效，在第一实施方式中所能达到的技术效果在本实施方式中也同样可以实现，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明的第三实施方式涉及一种图像的风格转移装置，如图4所示，包括：
步骤301，获取模块：用于获取目标图像和风格图像；目标图像和风格图像均包括人脸图像，风格图像的N种风格特征分别对应不同的转移算法，N为大于1的自然数；
具体地说，获取模块301至少包括内置的图像获取单元，图像获取单元用于获取实时上传的目标图像和风格图像信息。
值得注意的是，为了更好地实现本图像的风格转移方法，获取模块301还有图像存储单元和图像识别单元。图像获取单元将实时上传的目标图像和风格图像信息，发送至图像存储单元，图像存储单元对上述图像信息分别进行存储。图像识别单元接收到来自图像获取单元的图像信息，可以从目标源图或风格源图中提取的人脸图像。
步骤302，转移模块：用于将风格图像的N种风格特征依次以对应的转移算法，转移到目标图像中。
具体地说，在图像的风格转移方法中，N种风格特征包括：光照特征，肤色特征，妆容特征。当获取模块将获取数据进行识别正常后，依次将光照特征、肤色特征、妆容特征的识别信号发送至转移模块。转移模块根据不同识别信号，做出响应。
值得注意的是，在实际应用场景中，为了后续能准备地对风格特征进行转移，比较不同图像中相对应的点，转移模块302中可以包括关键点位对齐单元。例如，根据图像识别单元提取出的人脸图像关键点，定位出人脸面部的关键区域位置，按照Delaunay三角剖分方法生成网格模型，获取风格图像和目标图像的网络模型中相同位置点的几何坐标，根据几何坐标，生成仿射变换矩阵。根据仿射变换矩阵遍历完所有三角形后就得到最终对齐结果，从而将目标图像和风格图像进行对齐。
值得注意的是，在实际应用场景中，为了保证光照特征的亮度特征得到转移，还可以避免肤色特征受到光照特征转移时的影响，从而使得风格图像中面部的光照、肤色特征均可以准确的转移。当转移模块302接收到来自获取模块301的识别信号，可以先响应光照转移信号，在响应肤色转移信号。
值得注意的是，在实际应用场景中，为了保证风格转移后的图像具有较高的真实度保留，可以实现得到的目标图像中的人物图像五官尽量不失真。转移模块302中还可以包括图像融合单元。例如，当已经完成了光照特征和肤色特征的转移，对于妆容特征可以以比较小的融合程度进行融合，以尽量避免对目标图像中的五官特征的改变。
值得注意的是，在实际应用场景中，为了使得肤色转移方法具有更高的准确度，肤色转移效果更逼真。转移模块302中还可以包括图像计算单元。例如，在肤色特征转移时，首先通过图像计算单元计算出目标图像和风格图像的亮度平均值和肤色平均值，然后根据像素点的像素值和肤色平均值的对比结果，结合亮度平均值，对目标图像中所有像素点调整后，完成肤色特征转移。
值得注意的是，在实际应用场景中，为了避免在风格转移过程中，排除非关键点的图像对肤色和亮度统计的影响，例如排除眼睛和眉毛对统计的干扰，从而提高特征转移的准确性。转移模块302中还可以包括图像蒙版单元。例如，在肤色特征转移时，先确定人物图像的关键点，可以采用蒙版的技术手法对不是关键点的位置进行遮盖。
不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本发明第四实施方式涉及一种终端设备，如图5所示，包括：
至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述图像的风格转移方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明第五实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
Claims (9)
1.一种图像的风格转移方法，其特征在于，包括：
获取目标图像和风格图像；所述目标图像和风格图像均包括人脸图像，所述风格图像的N种风格特征分别对应不同的转移算法，所述N为大于1的自然数；
将所述风格图像的N种风格特征依次以对应的转移算法，转移到所述目标图像中；
所述N种风格特征至少包括：光照特征和肤色特征；
所述将所述风格图像的N种风格特征依次以对应的转移算法，转移到所述目标图像中，具体包括：
将所述目标图像和所述风格图像进行对齐；
以光照特征对应的转移算法，将所述对齐后的风格图像的光照特征，转移至所述目标图像中；
以肤色特征对应的转移算法，将所述对齐后的风格图像的肤色特征，转移至经所述光照特征转移后的目标图像。
2.根据权利要求1所述的图像的风格转移方法，其特征在于，所述以肤色特征对应的转移算法，将所述对齐后的风格图像的肤色特征，转移至经所述光照特征转移后的目标图像，具体包括：
分别统计所述对齐后的风格图像的亮度平均值和肤色平均值/>以及经所述光照特征转移后的目标图像的亮度平均值/>和肤色平均值/>
根据所述所述/>所述/>和所述/>对经所述光照特征转移后的目标图像的各像素点的像素值分别进行调整，得到经所述肤色特征转移后的目标图像。
3.根据权利要求2所述的图像的风格转移方法，其特征在于，所述根据所述所述/>所述/>和所述/>对经所述光照特征转移后的目标图像的各像素点的像素值分别进行调整，具体包括：
根据以下公式对经所述光照特征转移后的目标图像的各像素点的像素值分别进行调整，得到经所述肤色特征转移后的目标图像的像素点的像素值/>
其中，/>
4.根据权利要求2所述的图像的风格转移方法，其特征在于，所述分别统计所述对齐后的风格图像的亮度平均值和肤色平均值/>以及经所述光照特征转移后的目标图像的亮度平均值/>和肤色平均值/>具体包括：
根据所述人脸图像的关键点位置数据，生成所述对齐后的风格图像的第一面部保护蒙版和经所述光照特征转移后的目标图像的第二面部保护蒙版；
统计所述第一面部保护蒙版的蒙版区域内的亮度平均值和肤色平均值，作为所述和所述/>
统计所述第二面部保护蒙版的蒙版区域内的亮度平均值和肤色平均值，作为所述和
5.根据权利要求1所述的图像的风格转移方法，其特征在于，所述N种风格特征还包括：妆容特征；
所述将所述风格图像的N种风格特征依次以对应的转移算法，转移到所述目标图像中，还包括：
在将所述对齐后的风格图像的肤色特征，转移至经所述光照特征转移后的目标图像后，以预设的融合程度，对所述对齐后的风格图像与经所述肤色特征转移后的目标图像进行融合，得到妆容特征转移后的目标图像。
6.根据权利要求1所述的图像的风格转移方法，其特征在于，所述以光照特征对应的转移算法，将所述对齐后的风格图像的光照特征，转移至所述目标图像中，具体包括：
获取所述对齐后的风格图像的第一光照贴图和所述目标图像的第二光照贴图；
通过以下公式将所述对齐后的风格图像的光照特征，转移至所述目标图像中；
其中，所述为目标图像的各像素点的像素值，所述/>为经所述光照特征转移后的目标图像的各像素点的像素值，所述Irs sphere为所述第一光照贴图，所述Irc sphere为所述第二光照贴图。
7.一种图像的风格转移装置，其特征在于，包括：
获取模块，用于获取目标图像和风格图像；所述目标图像和风格图像均包括人脸图像，所述风格图像的N种风格特征分别对应不同的转移算法，所述N为大于1的自然数；所述N种风格特征至少包括：光照特征和肤色特征；转移模块，用于将所述风格图像的N种风格特征依次以对应的转移算法，转移到所述目标图像中；
所述将所述风格图像的N种风格特征依次以对应的转移算法，转移到所述目标图像中，具体包括：将所述目标图像和所述风格图像进行对齐；以光照特征对应的转移算法，将所述对齐后的风格图像的光照特征，转移至所述目标图像中；以肤色特征对应的转移算法，将所述对齐后的风格图像的肤色特征，转移至经所述光照特征转移后的目标图像。
8.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一项所述的图像的风格转移方法。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的图像的风格转移方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910903589.9A CN110838084B (zh) | 2019-09-24 | 2019-09-24 | 一种图像的风格转移方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910903589.9A CN110838084B (zh) | 2019-09-24 | 2019-09-24 | 一种图像的风格转移方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110838084A CN110838084A (zh) | 2020-02-25 |
| CN110838084B true CN110838084B (zh) | 2023-10-17 |
Family
ID=69574712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910903589.9A Active CN110838084B (zh) | 2019-09-24 | 2019-09-24 | 一种图像的风格转移方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110838084B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949216B (zh) * | 2019-04-19 | 2022-12-02 | 中共中央办公厅电子科技学院(北京电子科技学院) | 一种基于面部解析和光照迁移的复杂妆容迁移方法 |
| CN113313786B (zh) * | 2020-02-27 | 2024-06-11 | 深圳云天励飞技术有限公司 | 人像图片上色方法、装置及终端设备 |
| CN111598144B (zh) * | 2020-04-27 | 2023-11-07 | 腾讯科技（深圳）有限公司 | 图像识别模型的训练方法和装置 |
| CN111815534B (zh) * | 2020-07-14 | 2023-12-19 | 厦门美图之家科技有限公司 | 实时皮肤妆容迁移方法、装置、电子设备和可读存储介质 |
| CN111915479B (zh) * | 2020-07-15 | 2024-04-26 | 抖音视界有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
| CN112989904B (zh) * | 2020-09-30 | 2022-03-25 | 北京字节跳动网络技术有限公司 | 风格图像生成方法、模型训练方法、装置、设备和介质 |
| CN113468981A (zh) * | 2021-06-10 | 2021-10-01 | 的卢技术有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000285099A (ja) * | 1999-03-29 | 2000-10-13 | Shiseido Co Ltd | 口元メーキャップシミュレーションシステム |
| CN103379281A (zh) * | 2012-04-20 | 2013-10-30 | 佳能株式会社 | 用于进行图像合成的图像处理设备和图像处理方法 |
| CN105469356A (zh) * | 2015-11-23 | 2016-04-06 | 小米科技有限责任公司 | 人脸图像处理方法及装置 |
| CN106157341A (zh) * | 2015-03-30 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 生成合成图片的方法及装置 |
| CN107146199A (zh) * | 2017-05-02 | 2017-09-08 | 厦门美图之家科技有限公司 | 一种人脸图像的融合方法、装置及计算设备 |
| CN107506714A (zh) * | 2017-08-16 | 2017-12-22 | 成都品果科技有限公司 | 一种人脸图像重光照的方法 |
| CN107633483A (zh) * | 2017-09-18 | 2018-01-26 | 长安大学 | 光照鲁棒性的人脸图像超分辨率方法 |
| CN107784625A (zh) * | 2017-10-09 | 2018-03-09 | 平安科技（深圳）有限公司 | 电子装置、虚拟样本生成方法及存储介质 |
| CN107993216A (zh) * | 2017-11-22 | 2018-05-04 | 腾讯科技（深圳）有限公司 | 一种图像融合方法及其设备、存储介质、终端 |
| KR20180060901A (ko) * | 2017-04-03 | 2018-06-07 | 주식회사 소프트센 | 잠금 장치 제어 방법 |
| CN108550176A (zh) * | 2018-04-19 | 2018-09-18 | 咪咕动漫有限公司 | 图像处理方法、设备及存储介质 |
| CN108846793A (zh) * | 2018-05-25 | 2018-11-20 | 深圳市商汤科技有限公司 | 基于图像风格转换模型的图像处理方法和终端设备 |
| CN109033987A (zh) * | 2018-07-02 | 2018-12-18 | 高新兴科技集团股份有限公司 | 一种人脸图像阴阳脸的处理方法及系统 |
| CN109191410A (zh) * | 2018-08-06 | 2019-01-11 | 腾讯科技（深圳）有限公司 | 一种人脸图像融合方法、装置及存储介质 |
| CN109785228A (zh) * | 2018-12-29 | 2019-05-21 | 广州华多网络科技有限公司 | 图像处理方法、装置、存储介质和服务器 |
| CN109829930A (zh) * | 2019-01-15 | 2019-05-31 | 深圳市云之梦科技有限公司 | 人脸图像处理方法、装置、计算机设备及可读存储介质 |
| CN109859098A (zh) * | 2019-01-15 | 2019-06-07 | 深圳市云之梦科技有限公司 | 人脸图像融合方法、装置、计算机设备及可读存储介质 |
| CN109919869A (zh) * | 2019-02-28 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 一种图像增强方法、装置及存储介质 |
| CN109978754A (zh) * | 2017-12-28 | 2019-07-05 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110136229A (zh) * | 2019-05-27 | 2019-08-16 | 广州亮风台信息科技有限公司 | 一种用于实时虚拟换脸的方法与设备 |
| CN110211066A (zh) * | 2019-05-27 | 2019-09-06 | 维沃移动通信有限公司 | 一种图像处理方法及终端 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184249B (zh) * | 2015-08-28 | 2017-07-18 | 百度在线网络技术（北京）有限公司 | 用于人脸图像处理的方法和装置 |
-
2019
- 2019-09-24 CN CN201910903589.9A patent/CN110838084B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000285099A (ja) * | 1999-03-29 | 2000-10-13 | Shiseido Co Ltd | 口元メーキャップシミュレーションシステム |
| CN103379281A (zh) * | 2012-04-20 | 2013-10-30 | 佳能株式会社 | 用于进行图像合成的图像处理设备和图像处理方法 |
| CN106157341A (zh) * | 2015-03-30 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 生成合成图片的方法及装置 |
| CN105469356A (zh) * | 2015-11-23 | 2016-04-06 | 小米科技有限责任公司 | 人脸图像处理方法及装置 |
| KR20180060901A (ko) * | 2017-04-03 | 2018-06-07 | 주식회사 소프트센 | 잠금 장치 제어 방법 |
| CN107146199A (zh) * | 2017-05-02 | 2017-09-08 | 厦门美图之家科技有限公司 | 一种人脸图像的融合方法、装置及计算设备 |
| CN107506714A (zh) * | 2017-08-16 | 2017-12-22 | 成都品果科技有限公司 | 一种人脸图像重光照的方法 |
| CN107633483A (zh) * | 2017-09-18 | 2018-01-26 | 长安大学 | 光照鲁棒性的人脸图像超分辨率方法 |
| CN107784625A (zh) * | 2017-10-09 | 2018-03-09 | 平安科技（深圳）有限公司 | 电子装置、虚拟样本生成方法及存储介质 |
| CN107993216A (zh) * | 2017-11-22 | 2018-05-04 | 腾讯科技（深圳）有限公司 | 一种图像融合方法及其设备、存储介质、终端 |
| CN109978754A (zh) * | 2017-12-28 | 2019-07-05 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN108550176A (zh) * | 2018-04-19 | 2018-09-18 | 咪咕动漫有限公司 | 图像处理方法、设备及存储介质 |
| CN108846793A (zh) * | 2018-05-25 | 2018-11-20 | 深圳市商汤科技有限公司 | 基于图像风格转换模型的图像处理方法和终端设备 |
| CN109033987A (zh) * | 2018-07-02 | 2018-12-18 | 高新兴科技集团股份有限公司 | 一种人脸图像阴阳脸的处理方法及系统 |
| CN109191410A (zh) * | 2018-08-06 | 2019-01-11 | 腾讯科技（深圳）有限公司 | 一种人脸图像融合方法、装置及存储介质 |
| CN109785228A (zh) * | 2018-12-29 | 2019-05-21 | 广州华多网络科技有限公司 | 图像处理方法、装置、存储介质和服务器 |
| CN109829930A (zh) * | 2019-01-15 | 2019-05-31 | 深圳市云之梦科技有限公司 | 人脸图像处理方法、装置、计算机设备及可读存储介质 |
| CN109859098A (zh) * | 2019-01-15 | 2019-06-07 | 深圳市云之梦科技有限公司 | 人脸图像融合方法、装置、计算机设备及可读存储介质 |
| CN109919869A (zh) * | 2019-02-28 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 一种图像增强方法、装置及存储介质 |
| CN110136229A (zh) * | 2019-05-27 | 2019-08-16 | 广州亮风台信息科技有限公司 | 一种用于实时虚拟换脸的方法与设备 |
| CN110211066A (zh) * | 2019-05-27 | 2019-09-06 | 维沃移动通信有限公司 | 一种图像处理方法及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110838084A (zh) | 2020-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110838084B (zh) | 一种图像的风格转移方法、装置、电子设备及存储介质 | |
| CN110807836B (zh) | 三维人脸模型的生成方法、装置、设备及介质 | |
| CN108447017A (zh) | 人脸虚拟整容方法和装置 | |
| CN105474263B (zh) | 用于产生三维人脸模型的系统和方法 | |
| US9679192B2 (en) | 3-dimensional portrait reconstruction from a single photo | |
| CN111754415B (zh) | 人脸图像处理方法及装置、图像设备及存储介质 | |
| CN113269862B (zh) | 场景自适应的精细三维人脸重建方法、系统、电子设备 | |
| WO2024007478A1 (zh) | 基于单手机的人体三维建模数据采集与重建方法及系统 | |
| CN107437272B (zh) | 基于增强现实的互动娱乐方法、装置及终端设备 | |
| CN109147012B (zh) | 图像处理方法和装置 | |
| WO2021252144A1 (en) | Object reconstruction with texture parsing | |
| CN113610723B (zh) | 图像处理方法及相关装置 | |
| US10565741B2 (en) | System and method for light field correction of colored surfaces in an image | |
| WO2022135574A1 (zh) | 肤色检测方法、装置、移动终端和存储介质 | |
| WO2022133944A1 (zh) | 图像处理方法和图像处理装置 | |
| US20230306685A1 (en) | Image processing method, model training method, related apparatuses, and program product | |
| CN114841853A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN114445301A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113989434A (zh) | 一种人体三维重建方法及设备 | |
| CN111080754B (zh) | 一种头部肢体特征点连线的人物动画制作方法及装置 | |
| CN111275648B (zh) | 人脸图像处理方法、装置、设备及计算机可读存储介质 | |
| CN111652792A (zh) | 图像的局部处理、直播方法、装置、设备和存储介质 | |
| US20220277586A1 (en) | Modeling method, device, and system for three-dimensional head model, and storage medium | |
| CN115239885A (zh) | 一种基于关键点识别的人脸重建方法及设备 | |
| CN111652807A (zh) | 眼部的调整、直播方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |