CN113160038B - 一种图像风格迁移方法、装置、电子设备及存储介质 - Google Patents
一种图像风格迁移方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113160038B CN113160038B CN202110466786.6A CN202110466786A CN113160038B CN 113160038 B CN113160038 B CN 113160038B CN 202110466786 A CN202110466786 A CN 202110466786A CN 113160038 B CN113160038 B CN 113160038B
- Authority
- CN
- China
- Prior art keywords
- image
- full
- face
- stylized
- migration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005012 migration Effects 0.000 title claims abstract description 163
- 238000013508 migration Methods 0.000 title claims abstract description 163
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000005070 sampling Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 61
- 230000004927 fusion Effects 0.000 claims description 36
- 230000007704 transition Effects 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本公开关于一种图像风格迁移方法、装置、电子设备及存储介质。该方法包括：将待处理图像中的人脸区域图像输入人脸风格迁移模型，得到人脸风格化图像；获取所述待处理图像的全图下采样图像，输入所述全图风格迁移模型，得到全图风格化图像；将所述全图风格化图像上采样至所述待处理图像的大小，得到全图上采样图像；根据所述全图上采样图像对应的第一灰度图对所述待处理图像对应的第二灰度图中像素的灰度值进行调整，得到亮度迁移图像；将所述亮度迁移图像与所述人脸风格化图像进行融合，得到目标风格化图像。本公开实施例可以有效降低风格迁移视觉抖动问题，提升风格迁移前后整体风格的一致性，提升用户体验。
Description
技术领域
本公开涉及图像数据处理技术领域，尤其涉及一种图像风格迁移方法、装置、电子设备及存储介质。
背景技术
目前，用户可以使用手机等终端设备进行拍照或视频拍摄等，然后可以根据不同的喜好将图像(视频可以视为连续图像的集合)转换为不同风格效果，进而实现用户不同的风格体验。
一般的，终端设备视频进行不同风格的迁移转换，其风格模型的计算量通常与视频帧图像的分辨率直接相关。为减少终端计算量、提高终端处理效率，目前在人像图像风格迁移处理时，通常会对人脸区域进行裁剪后单独处理，然后再融合到原图像中。然而，这样常常会造成图像中局部区域风格一致性较差，出现过渡不自然引起的视觉效果较差的问题。
发明内容
本公开提供一种图像风格迁移方法、装置、电子设备及存储介质，以至少解决相关技术中图像风格迁移后局部图像风格一致性较差的技术问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像风格迁移方法，包括：
将待处理图像中的人脸区域图像输入人脸风格迁移模型，得到人脸风格化图像；
获取所述待处理图像的全图下采样图像，将所述全图下采样图像输入全图风格迁移模型，得到与所述人脸风格化图像的风格类型相同的全图风格化图像；
将所述全图风格化图像上采样至所述待处理图像的大小，得到全图上采样图像；
根据所述全图上采样图像对应的第一灰度图，对所述待处理图像对应的第二灰度图中像素的灰度值进行调整，得到亮度迁移图像；
将所述亮度迁移图像与所述人脸风格化图像进行融合，得到目标风格化图像。
可选的，所述方法中，所述根据所述全图上采样图像对应的第一灰度图，对所述待处理图像对应的第二灰度图中像素的灰度值进行调整，得到亮度迁移图像包括：
分别计算所述第一灰度图和第二灰度图中像素值的均值和/或方差；
基于所述均值和/或方差计算所述第二灰度图中像素的目标像素值；
将所述第二灰度图中像素的像素值更新为所述目标像素值，得到亮度迁移图像。
可选的，所述方法中，所述根据所述全图上采样图像对应的第一灰度图对，所述待处理图像对应的第二灰度图中像素的灰度值进行调整，得到亮度迁移图像包括：
将所述全图上采样图像转换为第一YUV图像，提取所述第一YUV图像的Y通道，得到第一灰度图，以及将所述待处理图像转换为第二YUV图像，提取所述第二YUV图像的Y通道，得到第二灰度图；
根据所述第一灰度图对所述第二灰度图中像素的灰度值进行调整，得到调整后Y通道；
将所述调整后Y通道与所述第二YUV图像的UV通道合并，得到调整后YUV图像；
将所述调整后YUV图像转换为与所述待处理图像相同的图像格式，得到亮度迁移图像。
可选的，所述方法中，当所述分别计算所述第一灰度图和第二灰度图中像素值的均值和/或方差为分别计算得到所述第一灰度图和第二灰度图中像素值的均值和方差时，所述基于所述均值和/或方差计算所述第二灰度图中像素的目标像素值包括：
上式中，Yij为所述第二灰度图中第i行第j列像素的像素值，Y′ij为与所述Yij对应的目标像素值，mean2为所述第二灰度图中像素值的均值，var2为所述第二灰度图中像素值的方差，mean1为所述第一灰度图中像素值的均值，var1为所述第一灰度图中像素值的方差。
可选的，所述方法中，所述将所述亮度迁移图像与所述人脸风格化图像进行融合，得到融合图像包括：
确定所述亮度迁移图像中与所述人脸风格化图像对应的人脸区域图像；
根据设置的所述人脸风格化图像和所述人脸区域图像的融合权重值，对所述人脸风格化图像和所述人脸区域图像进行融合处理，得到目标风格化图像。
根据本公开实施例的第二方面，还供一种图像风格迁移装置，包括：
人脸风格模块，其被配置为，将待处理图像中的人脸区域图像输入人脸风格迁移模型，得到人脸风格化图像；
全图风格模块，其被配置为，获取所述待处理图像的全图下采样图像，将所述全图下采样图像输入全图风格迁移模型，得到与所述人脸风格化图像的风格类型相同的全图风格化图像；
上采样模块，其被配置为，将所述全图风格化图像上采样至所述待处理图像的大小，得到全图上采样图像；
亮度迁移模块，其被配置为，根据所述全图上采样图像对应的第一灰度图，对所述待处理图像对应的第二灰度图中像素的灰度值进行调整，得到亮度迁移图像；
融合模块，其被配置为，将所述亮度迁移图像与所述人脸风格化图像进行融合，得到目标风格化图像。
可选的，所述装置中，所述亮度迁移模块包括：
参数计算模块，其被配置为，分别计算所述第一灰度图和第二灰度图中像素值的均值和/或方差；
像素计算模块，其被配置为，基于所述均值和/或方差计算所述第二灰度图中像素的目标像素值；
通道更新模块，其被配置为，将所述第二灰度图中像素的像素值更新为所述目标像素值，得到亮度迁移图像。
可选的，所述装置中，所述亮度迁移模块根据所述全图上采样图像对应的第一灰度图，对所述待处理图像对应的第二灰度图中像素的灰度值进行调整，得到亮度迁移图像包括：
将所述全图上采样图像转换为第一YUV图像，提取所述第一YUV图像的Y通道，得到第一灰度图，以及将所述待处理图像转换为第二YUV图像，提取所述第二YUV图像的Y通道，得到第二灰度图；
根据所述第一灰度图对所述第二灰度图中像素的灰度值进行调整，得到调整后Y通道；
将所述调整后Y通道与所述第二YUV图像的UV通道合并，得到调整后YUV图像；
将所述调整后YUV图像转换为与所述待处理图像相同的图像格式，得到亮度迁移图像。
可选的，所述装置中，当所述分别计算所述第一灰度图和第二灰度图中像素值的均值和/或方差为分别计算得到所述第一灰度图和第二灰度图中像素值的均值和方差时，所述基于所述均值和/或方差计算所述第二灰度图中像素的目标像素值包括：
上式中，Yij为所述第二灰度图中第i行第j列像素的像素值，Y′ij为与所述Yij对应的目标像素值，mean1为所述第二灰度图中像素值的均值，var1为所述第二灰度图中像素值的方差，mean2为所述第一灰度图中像素值的均值，var2为所述第一灰度图中像素值的方差。
可选的，所述装置中，所述融合模块包括：
融合区域确定模块，其被配置为，确定所述亮度迁移图像中与所述人脸风格化图像对应的人脸区域图像；
人脸融合模块，其被配置为，根据设置的所述人脸风格化图像和所述人脸区域图像的融合权重值，对所述人脸风格化图像和所述人脸区域图像进行融合处理，得到目标风格化图像。
本公开实施例的第三方面，还提供一种电子设备，包括：
至少一个处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现本公开第一方面任一所述的方法。
本公开实施例的第四方面，还提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令被电子设备的处理器执行时，使得所述电子设备能够执行本公开第一方面任一所述的方法。
本公开实施例的第五方面，还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本公开第一方面任一所述的方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开实施例方案中，可以对图像进行风格迁移处理时，可以对人脸区域和全图均进行风格化处理，之后再进行融合。人脸风格化图像与全图风格化图像融合后可以有效减少融合后的图像融合交界区域的过渡差异，有效提升融合后目标风格图像风格的一致性。并且，本公开实施例中，在全图风格化图像的风格化处理时使用的是待处理图像下采样的全图下采样图像，是将原始的待处理图像较大的分辨率缩放至小图，再输入全图风格迁移模型，减少全图风格化处理的数据处理量，提高处理效率。同时，本公开实施例对全图风格化图像进行了亮度偏移处理，对输出图像的亮度进行修正，可以有效降低风格迁移输出图像的视觉抖动问题，提升风格迁移前后整体风格的一致性，提升用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像风格迁移方法的应用环境图。
图2是根据一示例性实施例示出的一种图像风格迁移方法的流程图。
图3是根据一示例性实施例示出的一种图像风格迁移方法的流程图。
图4是根据一示例性实施例示出的一种图像风格迁移方法的流程图。
图5是根据一示例性实施例示出的一种图像风格迁移方法的流程图。
图6是一种移动终端利用本公开实施例对图像风格化迁移处理的效果对比示意图。
图7是根据一示例性实施例示出的一种图像风格迁移装置的框图。
图8是根据一示例性实施例示出的一种图像风格迁移装置的框图。
图9是根据一示例性实施例示出的一种图像风格迁移装置的框图。
图10是根据一示例性实施例示出的一种电子设备的内部结构图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。例如若使用到第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
本公开所提供的一种图像风格迁移方法，可以应用于如图1所示的应用环境中。其中，终端110可以拍照获取图像或者拍摄视频，可以以视频帧作为待处理图像。为便于描述，本公开的实施例中将进行风格迁移(转换)的拍照图像或视频图像统一称为待处理图像，例如一些应用场景中，用户可以将拍摄的短视频中的人脸转换为漫画风格的人脸等。目前的一些方案中，涉及人像风格迁移的处理中常常会出现局部区域过渡不自然的问题，例如在过渡区域颜色或亮度差异较大，导致风格一致性较差，影响用户体验。如对于视频类型的风格迁移应用场景，通常模型在处理视频时，由于深度学习的层级卷积结构对模型输入连续帧之间的微小扰动差异有一定的放大作用，这就使得风格迁移输出的视频帧出现抖动。而本公开的提供的技术方案可以应用于所述终端110中，可以有效提高风格迁移后图像的一致性，并且人脸风格头像与全图风格化图像的模型处理速度得到提升，可以有效提高终端110的处理速度和效率。本公开实施例中所述的终端110可以包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑、可穿戴设备、车载设备、医疗设备等。所述的终端110可以是可移动的，如智能手机，也可以是相对固定的，如自助拍摄终端，也可以是可拆卸的终端设备，如服务平台连接的拍摄设备。当然，本公开实施例中所述的终端(包括下述所描述的电子设备)也可以是服务器、服务器集群、分布式分系统、云处理平台、包含区块链节点的服务器以及其组合的设备，并不限定于一定是实施于用户一侧的设备。
下面以移动终端对视频进行风格迁移的实施场景对本公开实施例方案进行说明。图2是根据一示例性实施例示出的一种图像风格迁移方法的流程图，如图2所示，所述方法可以用于终端110中，可以包括以下步骤。
在步骤S202中，将待处理图像中的人脸区域图像输入人脸风格迁移模型，得到人脸风格化图像。
本公开实施例中，所述的待处理图像可以包括视频帧图像。所述待处理图像的格式可以为RGB图或YUV图等。RGB和YUV都是一种颜色编码方法。其中所述的RGB图通常指像素中具有RGB三通道的彩色图像，主要是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的。YUV是编译true-color颜色空间(colorspace)的种类。“Y”表示明亮度(Luminance或Luma)，也可以称为灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。一般的，所述待处理图像通常为用户拍照或拍摄的原始图像，通常为RGB图。
本公开实施例中可以对待处理图像中的人脸进行检测，得到待处理图像中的人脸区域。例如可以基于几何特征的人脸识别方法、神经网络的人脸识别方法、线段距离(LHD)的人脸识别方法等检测得到人脸框，将检测得到人脸框作为所述待处理图像的人脸区域图像。待处理图像中的人脸区域图像可以由终端预先检测处理得到获取接收服务器等其他终端的人脸区域图像，也可以在图像风格迁移的处理过程中由终端即时对待处理图像进行人脸检测得到。
本公开实施例中可以将待处理图像中的人脸区域图像输入至人脸风格迁移模型中，对待处理图像中的人脸进行风格化处理。在人脸风格迁移模型中，输入的可以为从待处理图像中确定的原始图像的人脸区域图像，输出的可以为人脸风格化处理后的人脸风格化图像。例如输入的为视频帧中原始的人脸图像，输出的为人像手绘风格类型的人脸风格化图像。所述的人脸风格化图像可以预先训练得到，可以选取适配的网络模型进行训练得到人脸风格迁移模型，以实现输入人脸图像，能够输出相应的风格类型的人脸风格化图像。下述中的全图风格迁移模型类型与人脸风格迁移模型类似，人脸风格迁移模型中输入的可以是包含人脸的局部图像，全图风格迁移模型输入的为全图图像(待处理图像)，具体的可以参照人脸风格迁移模型进行构建、训练以及前述人脸风格模型的图像处理，在此不做一一赘述。
在步骤S204中，获取所述待处理图像的全图下采样图像，将所述全图下采样图像输入所述全图风格迁移模型，得到与所述人脸风格化图像的风格类型相同的全图风格化图像。
一般的，风格模型的运行效率与输入图像的大小直接相关。本实施例方案中可以对所述待处理图像进行下采样，将待处理图像下采样为分辨率相比待处理图像的分比率较小的图像，使其缩小为比原图像(待处理图像)分辨率低的全图下采样图像。这样可以有效提高全图风格迁移模型的运行效率。一般的，可以将待处理图像下采样到全图风格迁移模型所需要的输入大小。例如待处理图像的分辨率为720×1280，全图风格迁移模型处理的输入图像分辨率为256×256，则可以将待处理图像全图下采样值分辨率为256×256，得到全图下采样图像。
全图风格迁移模型输入的可以为下采样的全图下采样图像，输出的可以为经过全图风格化处理后的全图风格化图像。如，输入为分辨率256×256的全图下采样图像，输出为与人脸风格化图像风格相匹配的分辨率同样为256×256的全图风格化图像。
全图风格化图像的风格类型与前述人脸风格化图像的风格类型相同。本公开实施例中所述的相同可以包括相匹配的情况，所述的相匹配通常可以指两者的风格类型一致或风格类型的相似程度符合要求，例如可以都是人像手绘风格，或者一个是手绘风格，一个是与手绘风格相似的素描风格(若手绘风格与素描风格的相似程度符合要求，则可以认为两者风格类型相同)。
需要说明的是，使用人脸风格迁移模型处理人脸区域图像的人脸风格化处理与使用全图风格迁移模型对全图下采样图像的全图风格化处理可以不必分执行的前后顺序，可以同时处理，也可以在其中一个处理的开始一段时间或处理结束后进行另一个处理。
在步骤S206中，将所述全图风格化图像上采样至所述待处理图像的大小，得到全图上采样图像。
全图风格化处理后，可以将所述全图风格化图像进行上采样至与所述待处理图像的大小，与原始的待处理图像大小保持一致。如前述待处理图像的分辨率为720×1280，则可以将所述全图风格化图像上采样至720×1280，得到全图上采样图像。
在图像风格迁移的实施场景中，全图风格迁移模型输出的全图风格化图像中的亮度通道可能有抖动。本公开实施例可以借助原图亮度去迁移。本处理步骤可以将全图风格化处理时分辨率缩小的全图风格化图像进行上采样，与待处理图像的分辨率保持一致。
在步骤S208中，根据所述全图上采样图像对应的第一灰度图，对所述待处理图像对应的第二灰度图中像素的灰度值进行调整，得到亮度迁移图像。
本实施例中可以对所述待处理图像原图的灰度图中的Y通道进行亮度迁移处理，得到亮度迁移后的图像(亮度迁移图像)。亮度迁移图像可以是调整后新生成的图像，也可以是灰度图调整后的第二灰度图，所述亮度迁移处理包括根据全图上采样图像对应的第一灰度图，对所述待处理图像对应的第二灰度图中像素的灰度值进行调整，调整后输出的图像为待处理图像的第二灰度图亮度迁移后的图像。
本公开提供的一些实施例中的亮度迁移，通常是迁移成与模型输出的亮度相似或相近(可以预先设置符合亮度相似条件)，这样可以保持图像风格迁移前后整体风格的一致。所述的亮度迁移处理可以基于颜色迁移算法实现。如可以Color transfer颜色迁移算法，实现一种颜色风格迁移到另一种颜色风格。所述颜色迁移通常指的是，所有通道迁移，如RGB三个通道。为了保持风格统一，降低图像抖动，可以采用多种方式实现。本公开实施例方案考虑到视觉感知上对亮度变化的敏感度较高，因此在颜色迁移处理中针对Y通道(灰度图)进行亮度迁移。具体的实施过程中，因为原图的亮度是不抖动的，因此可以借助原图(待处理图像)进行亮度迁移，同时结合全图风格化处理后的全图风格化图像进行分辨率提升后的全图上采样图像的Y通道，基于两种图像的Y通道的像素值进行亮度迁移处理，可以在一定程度上降低抖动，提升风格一致性。
具体的一些实施方式中可以设置相应的算法或亮度迁移规则。如对于单个像素点，可以求取将所述原图灰度图和采样灰度图在Y通道的像素值的均值，以所述均值作为新的Y通道的像素值(所需更新的待处理图像的第一灰度图中Y通道的像素值)。或者，根据所述第二灰度图的某个像素A在所述第二灰度图和/第一灰度图周围若干像素的像素值，或者所述第一灰度图和/第二灰度图邻近的若干帧图像中像素的像素值，来确定新的Y通道的像素值等。当然，还可以包括其他的实现亮度迁移的实施方案。
在步骤S210中，将所述亮度迁移图像与所述人脸风格化图像进行融合，得到目标风格化图像。
可以将前述人脸风格迁移模型处理得到的人脸风格化图像与亮度迁移处理得到的颜亮度迁移图像进行融合，得到风格迁移处理后的目标风格化图像。所述的融合通常可以采用特定的算法将多幅图像综合成一幅图像，加强图像在时空上的相关性及信息上的互补性，使得融合后得到的图像对场景有更全面、清晰的描述。本实施例中人脸风格化图像与亮度迁移图像融合后可以有效减少融合后的图像融合交界区域的过渡差异，对亮度进行修正，有效提升融合后图像风格的一致性。
本公开的另一些实施例中，在亮度迁移的处理中，可以利用第一灰度图和第二灰度图的方差或均值或两者结合来计算Y通道亮度迁移后的目标像素值。图3是根据一示例性实施例示出的一种图像风格迁移方法的流程图。如图3所示，所述根据所述全图上采样图像对应的第一灰度图，对所述待处理图像对应的第二灰度图中像素的灰度值进行调整，得到亮度迁移图像可以包括：
S302：分别计算所述第一灰度图和第二灰度图中像素值的均值和/或方差；
S304：基于所述均值和/或方差计算所述第二灰度图中像素的目标像素值；
S306：将所述第二灰度图中像素的像素值更新为所述目标像素值，得到亮度迁移图像。
本公开实施例的亮度迁移的作用之一是对图像的亮度进行修正，保持图像风格迁移前后整体风格的统一。灰度图中Y通道的均值可以表示图像亮度的平均值，方差表示图像亮度像素的波动性。本实施例可以基于所述第一灰度图和所述第二灰度图的均值，或者方法，或者同时使用均值和方差，进行亮度迁移，减小模型输出的图像与原图像亮度的差异，可以有效降低风格迁移前后目标风格化图像风格的差异性。例如一些实施方式中，可以计算第一灰度图中像素的像素值的均值减去第二灰度图中像素的像素值的均值的，得到差值，然后第二灰度图中像素的像素值加上这个差值，实现对所述第二灰度图中像素的灰度值的调整。类似的，上述实施方式中的差值也可以由方差计算得到，然后第二灰度图中像素的像素值加上这个由方差计算得到的差值，实现对所述第二灰度图中像素的灰度值的调整。当然，基于所述均值和方差，还可以设计其他的计算所述第二灰度图中像素的目标像素值的实现方式，在此不再逐一赘述。
图4是根据一示例性实施例示出的一种图像风格迁移方法的流程图。本公开提供的所述方法的另一个实施例中，所述根据所述全图上采样图像对应的第一灰度图对，所述待处理图像对应的第二灰度图中像素的灰度值进行调整，得到亮度迁移图像包括：
S402：将所述全图上采样图像转换为第一YUV图像，提取所述第一YUV图像的Y通道，得到第一灰度图，以及将所述待处理图像转换为第二YUV图像，提取所述第二YUV图像的Y通道，得到第二灰度图；
S404：根据所述第一灰度图对所述第二灰度图中像素的灰度值进行调整，得到调整后Y通道；
S406：将所述调整后Y通道与所述第二YUV图像的UV通道合并，得到调整后YUV图像；
S408：将所述调整后YUV图像转换为与所述待处理图像相同的图像格式，得到亮度迁移图像。
在第二灰度图在Y通道亮度迁移后可以得到调整后Y通道，然后将其与待处理图像的融合成新的图像。如可以调整后Y通道与待处理图像的第二YUV图像中的UK通道进行合并，得到调整后YUV图像。之后可以将其转换为与待处理图像相应的图像格式。如待处理图像为RGB格式，则可以将调整后YUV图像转换为RGB图像。当然，若输入的待处理图像本身就是YUV图像，则可以无需进行转换，或者视为执行了转换。本实施例中提供了一种亮度迁移的处理方式，可以先分别将全图上采样图和待处理图像转换为YUV图像之后，再进行Y通道的亮度迁移，之后再进行通道合并，并转换为待处理图像的图像格式，这样可以单独进行Y通道的亮度迁移，快速完成整个待处理图像的亮度迁移处理，提高处理效率。
本公开的一些实施例方案可以基于均值或者方差进行亮度迁移。另一些实施例中，可以同时使用均值和方差进行处理，来计算得到亮度迁移后的目标像素值。具体的，当所述分别计算所述第一灰度图和第二灰度图中像素值的均值和/或方差为分别计算得到所述第一灰度图和第二灰度图中像素值的均值和方差时，所述基于所述均值和/或方差计算所述第二灰度图中像素的目标像素值可以采用下述方式确定：
上式中，Yij为所述第二灰度图中第i行第j列像素的像素值，Y′ij为与所述Yij对应的目标像素值，mean2为所述第二灰度图中像素值的均值，var2为所述第二灰度图中像素值的方差，mean1为所述第一灰度图中像素值的均值，var1为所述第一灰度图中像素值的方差。
当然，也可以参照上述公式进行无需创造性的变形、变换等来计算所述目标像素值：
采用本公开实施例提供的方式计算得到的目标像素值利用了方差和均值，可以计算得到更加准确的亮度修正值，可以更加有效的、准确、平滑的实现亮度迁移，降低抖动现象。
图5是根据一示例性实施例示出的一种图像风格迁移方法的流程图。如图5所示，所述将所述亮度迁移图像与所述人脸风格化图像进行融合，得到融合图像可以包括：
S502：确定所述亮度迁移图像中与所述人脸风格化图像对应的人脸区域图像；
S504：根据设置的所述人脸风格化图像和所述人脸区域图像的融合权重值，对所述人脸风格化图像和所述人脸区域图像进行融合处理，得到目标风格化图像。
本公开实施例中的融合可以包括人脸风格化图像与颜色迁移图像进行融合，可以仅对人脸部分进行融合，即将人脸风格化图像与亮度迁移图像中的人脸区域图像进行融合。可以为人脸风格化图像和人脸区域图像设置相应的融合权重值，这样在图像融合时可以根据各自的融合权重值分别计算各自的融合像素值，然后将相对应位置处的融合像素值相加，得到融合图像在所述相对应位置处理的像素值。例如一个实施示例中融合处理输出的目标风格化图像中像素点像素值计算方式可以为：
目标风格化图像Ai位置处的像素值＝人脸风格化图像在Ai位置处像素点的像素值×mask+人脸区域图像在Ai位置处像素点的像素×(1-mask)，其中mask为人脸风格化图像的融合权重值，取值范围为[0,1]。
本公开实施例提供的融合处理方式中，根据不同融合图像的融合权重值进行融合处理，可以更加准确、灵活的对融合效果的控制，调整融合权重值参数得到融合效果更佳的融合图像，进而提高融合效果，降低图像融合亮度抖动问题，提升图像风格迁移效果。
图6是一种移动终端利用本公开实施例对图像风格化迁移处理的效果对比示意图。图6中6-1为待处理图像，6-2为利用传统人脸风格化后与原始图像进行融合处理得到的目标风格化图像，6-3为利用本公开实施例对人脸和全图分别风格化处理，以及进行亮度迁移后得到的图像。由图6的实际应用效果可知，不仅终端风格化模型处理的速度得到提升，而且图6-1中圆圈中所示的局部风格一致性差异较为明显的区域在6-3中得到了明显改善，过渡更加自然，并有效降低风格模型输出图的抖动问题，提升了用户终端体验。
本公开实施例方案中，可以对图像进行风格迁移处理时，可以对人脸区域和全图均进行风格化处理，之后再进行融合。人脸风格化图像与全图风格化图像融合后可以有效减少融合后的图像融合交界区域的过渡差异，有效提升融合后图像风格的一致性。并且，本公开实施例中，在全图风格化图像的风格化处理时使用的是待处理图像下采样的全图下采样图像，将原始的待处理图像较大的分辨率缩放至小图，再输入全图风格迁移模型，减少全图风格化处理的数据处理量，提高处理效率。同时，本公开实施例对全图风格化图像进行了亮度偏移处理，对输出图像的亮度进行修正，可以有效降低风格迁移输出图像的图像视觉抖动问题，提升风格迁移前后整体风格的一致性，提升用户体验。
可以理解的是，本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同/相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。相关之处参见其他方法实施例的描述说明即可。
应该理解的是，虽然附图中涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，附图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的步骤或者阶段的至少一部分轮流或者交替地执行。
基于上述所述的图像风格迁移方法实施例的描述，本公开还提供图像风格迁移装置。所述装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本公开实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参见前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是根据一示例性实施例示出的一种图像风格迁移装置框图。所述装置可以为前述所述终端110，也可以为服务器，或者集成于所述终端110的模块、组件、器件、单元等。具体的可以参照图7，该装置100可以包括：
人脸风格模块702，其被配置为，将待处理图像中的人脸区域图像输入人脸风格迁移模型，得到人脸风格化图像；
全图风格模块704，其被配置为，获取所述待处理图像的全图下采样图像，将所述全图下采样图像输入全图风格迁移模型，得到与所述人脸风格化图像的风格类型相同的全图风格化图像；
上采样模块706，其被配置为，将所述全图风格化图像上采样至所述待处理图像的大小，得到全图上采样图像；
亮度迁移模块708，其被配置为，根据所述全图上采样图像对应的第一灰度图，对所述待处理图像对应的第二灰度图中像素的灰度值进行调整，得到亮度迁移图像；
融合模块710，其被配置为，将所述亮度迁移图像与所述人脸风格化图像进行融合，得到目标风格化图像。
一示例性实施例如图8所示，图8是根据一示例性实施例示出的一种图像风格迁移装置框图。参照图8，所述亮度迁移模块708可以包括：
参数计算模块802，其被配置为，分别计算所述第一灰度图和第二灰度图中像素值的均值和/或方差；
像素计算模块804，其被配置为，基于所述均值和/或方差计算所述第二灰度图中像素的目标像素值；
通道更新模块806，其被配置为，将所述第二灰度图中像素的像素值更新为所述目标像素值，得到亮度迁移图像。
本公开提供的所述装置的另一个实施例中，所述亮度迁移模块根据所述全图上采样图像对应的第一灰度图，对所述待处理图像对应的第二灰度图中像素的灰度值进行调整，得到亮度迁移图像包括：
将所述全图上采样图像转换为第一YUV图像，提取所述第一YUV图像的Y通道，得到第一灰度图，以及将所述待处理图像转换为第二YUV图像，提取所述第二YUV图像的Y通道，得到第二灰度图；
根据所述第一灰度图对所述第二灰度图中像素的灰度值进行调整，得到调整后Y通道；
将所述调整后Y通道与所述第二YUV图像的UV通道合并，得到调整后YUV图像；
将所述调整后YUV图像转换为与所述待处理图像相同的图像格式，得到亮度迁移图像。
本公开提供的所述装置的另一个实施例中，当所述分别计算所述第一灰度图和第二灰度图中像素值的均值和/或方差为分别计算得到所述第一灰度图和第二灰度图中像素值的均值和方差时，所述基于所述均值和/或方差计算所述第二灰度图中像素的目标像素值包括：
上式中，Yij为所述第二灰度图中第i行第j列像素的像素值，Y′ij为与所述Yij对应的目标像素值，mean2为所述第二灰度图中像素值的均值，var2为所述第二灰度图中像素值的方差，mean1为所述第一灰度图中像素值的均值，var1为所述第一灰度图中像素值的方差。
一示例性实施例如图9所示，图9是根据一示例性实施例示出的一种图像风格迁移装置框图。参照图9，所述融合模块710可以包括：
融合区域确定模块902，其被配置为，确定所述亮度迁移图像中与所述人脸风格化图像对应的人脸区域图像；
人脸融合模块904，其被配置为，根据设置的所述人脸风格化图像和所述人脸区域图像的融合权重值，对所述人脸风格化图像和所述人脸区域图像进行融合处理，得到目标风格化图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
在示例性实施例中，还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本说明书中任一项所述的图像风格迁移方法。
图10是根据一示例性实施例示出的一种图像风格迁移设备Z00的框图。所述设备Z00可以是视频或图像风格迁移处理的电子设备。例如，设备Z00可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理、智能穿戴设备、车载设备等。
参照图10，设备Z00可以包括以下一个或多个组件：处理组件Z02、存储器Z04、电源组件Z06、多媒体组件Z08、音频组件Z10、输入/输出(I/O)的接口Z12、传感器组件Z14以及通信组件Z16。
处理组件Z02通常控制设备Z00的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件Z02可以包括一个或多个处理器Z20来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件Z02可以包括一个或多个模块，便于处理组件Z02和其他组件之间的交互。例如，处理组件Z02可以包括多媒体模块，以方便多媒体组件Z08和处理组件Z02之间的交互。
存储器Z04被配置为存储各种类型的数据以支持在设备Z00的操作。这些数据的示例包括用于在设备Z00上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器Z04可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(12RAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘。
电源组件Z06为设备Z00的各种组件提供电力。电源组件Z06可以包括电源管理系统，一个或多个电源，及其他与为设备Z00生成、管理和分配电力相关联的组件。
多媒体组件Z08包括在所述设备Z00和对象之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自对象的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件Z08包括一个前置摄像头和/或后置摄像头。当设备Z00处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件Z10被配置为输出和/或输入音频信号。例如，音频组件Z10包括一个麦克风(MIC)，当设备Z00处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器Z04或经由通信组件Z16发送。在一些实施例中，音频组件Z10还包括一个扬声器，用于输出音频信号。
I/O接口Z12为处理组件Z02和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件Z14包括一个或多个传感器，用于为设备Z00提供各个方面的状态评估。例如，传感器组件Z14可以检测到设备Z00的打开/关闭状态，组件的相对定位，例如所述组件为设备Z00的显示器和小键盘，传感器组件Z14还可以检测设备Z00或设备Z00一个组件的位置改变，对象与设备Z00接触的存在或不存在，设备Z00方位或加速/减速和设备Z00的温度变化。传感器组件Z14可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件Z14还可以包括光传感器，如CMO12或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件Z14还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件Z16被配置为便于设备Z00和其他设备之间有线或无线方式的通信。设备Z00可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件Z16经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件Z16还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，设备Z00可以被一个或多个应用专用集成电路(A12IC)、数字信号处理器(D12P)、数字信号处理设备(D12PD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
需要说明的是，上述设备Z00可以是电子设备的示例性描述，如手机。在一些终端产品中，可以不必包含上述全部组件或某个组件下的全部功能单元。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器Z04，上述指令可由设备Z00的处理器Z20执行以完成上述方法。存储介质可以是计算机可读存储介质，例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的，上述所述的装置、设备、服务器等根据方法实施例的描述还可以包括其它的实施方式，具体的实现方式可以参照相关方法实施例的描述。同时各个方法以及装置、设备、服务器实施例之间特征的相互组合组成的新的实施例仍然属于本公开所涵盖的实施范围之内，在此不作一一赘述。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或描述的装置或单元相互之间的耦合、通信连接等可以是直接和/或间接耦合/连接的方式实现，可以是通过一些标准或自定义的接口、协议等，是电性，机械或其它的形式实现。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。
Claims (13)
1.一种图像风格迁移中的图像数据处理方法，其特征在于，包括：
将待处理图像中的人脸区域图像输入人脸风格迁移模型，得到人脸风格化图像；
获取所述待处理图像的全图下采样图像，将所述全图下采样图像输入全图风格迁移模型，得到与所述人脸风格化图像的风格类型相同的全图风格化图像；
将所述全图风格化图像上采样至所述待处理图像的大小，得到全图上采样图像；
根据所述全图上采样图像对应的第一灰度图，对所述待处理图像对应的第二灰度图中像素的灰度值进行调整，得到亮度迁移图像；
将所述亮度迁移图像与所述人脸风格化图像进行融合，得到目标风格化图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述全图上采样图像对应的第一灰度图，对所述待处理图像对应的第二灰度图中像素的灰度值进行调整，得到亮度迁移图像包括：
分别计算所述第一灰度图和第二灰度图中像素值的均值和/或方差；
基于所述均值和/或方差计算所述第二灰度图中像素的目标像素值；
将所述第二灰度图中像素的像素值更新为所述目标像素值，得到亮度迁移图像。
3.根据权利要求1所述的方法，其特征在于，所述根据所述全图上采样图像对应的第一灰度图对，所述待处理图像对应的第二灰度图中像素的灰度值进行调整，得到亮度迁移图像包括：
将所述全图上采样图像转换为第一YUV图像，提取所述第一YUV图像的Y通道，得到第一灰度图，以及将所述待处理图像转换为第二YUV图像，提取所述第二YUV图像的Y通道，得到第二灰度图；
根据所述第一灰度图对所述第二灰度图中像素的灰度值进行调整，得到调整后Y通道；
将所述调整后Y通道与所述第二YUV图像的UV通道合并，得到调整后YUV图像；
将所述调整后YUV图像转换为与所述待处理图像相同的图像格式，得到亮度迁移图像。
4.根据权利要求2所述的方法，其特征在于，当所述分别计算所述第一灰度图和第二灰度图中像素值的均值和/或方差为分别计算得到所述第一灰度图和第二灰度图中像素值的均值和方差时，所述基于所述均值和/或方差计算所述第二灰度图中像素的目标像素值包括：
上式中，Yij为所述第二灰度图中第i行第j列像素的像素值，Y′ij为与所述Yij对应的目标像素值，mean2为所述第二灰度图中像素值的均值，var2为所述第二灰度图中像素值的方差，mean1为所述第一灰度图中像素值的均值，var1为所述第一灰度图中像素值的方差。
5.根据权利要求1所述的方法，其特征在于，所述将所述亮度迁移图像与所述人脸风格化图像进行融合，得到融合图像包括：
确定所述亮度迁移图像中与所述人脸风格化图像对应的人脸区域图像；
根据设置的所述人脸风格化图像和所述人脸区域图像的融合权重值，对所述人脸风格化图像和所述人脸区域图像进行融合处理，得到目标风格化图像。
6.一种图像风格迁移中的图像数据处理装置，其特征在于，包括：
人脸风格模块，其被配置为，将待处理图像中的人脸区域图像输入人脸风格迁移模型，得到人脸风格化图像；
全图风格模块，其被配置为，获取所述待处理图像的全图下采样图像，将所述全图下采样图像输入全图风格迁移模型，得到与所述人脸风格化图像的风格类型相同的全图风格化图像；
上采样模块，其被配置为，将所述全图风格化图像上采样至所述待处理图像的大小，得到全图上采样图像；
亮度迁移模块，其被配置为，根据所述全图上采样图像对应的第一灰度图，对所述待处理图像对应的第二灰度图中像素的灰度值进行调整，得到亮度迁移图像；
融合模块，其被配置为，将所述亮度迁移图像与所述人脸风格化图像进行融合，得到目标风格化图像。
7.根据权利要求6所述的装置，其特征在于，所述亮度迁移模块包括：
参数计算模块，其被配置为，分别计算所述第一灰度图和第二灰度图中像素值的均值和/或方差；
像素计算模块，其被配置为，基于所述均值和/或方差计算所述第二灰度图中像素的目标像素值；
通道更新模块，其被配置为，将所述第二灰度图中像素的像素值更新为所述目标像素值，得到亮度迁移图像。
8.根据权利要求6所述的装置，其特征在于，所述亮度迁移模块根据所述全图上采样图像对应的第一灰度图，对所述待处理图像对应的第二灰度图中像素的灰度值进行调整，得到亮度迁移图像包括：
将所述全图上采样图像转换为第一YUV图像，提取所述第一YUV图像的Y通道，得到第一灰度图，以及将所述待处理图像转换为第二YUV图像，提取所述第二YUV图像的Y通道，得到第二灰度图；
根据所述第一灰度图对所述第二灰度图中像素的灰度值进行调整，得到调整后Y通道；
将所述调整后Y通道与所述第二YUV图像的UV通道合并，得到调整后YUV图像；
将所述调整后YUV图像转换为与所述待处理图像相同的图像格式，得到亮度迁移图像。
9.根据权利要求7所述的装置，其特征在于，当所述分别计算所述第一灰度图和第二灰度图中像素值的均值和/或方差为分别计算得到所述第一灰度图和第二灰度图中像素值的均值和方差时，所述基于所述均值和/或方差计算所述第二灰度图中像素的目标像素值包括：
上式中，Yij为所述第二灰度图中第i行第j列像素的像素值，Y′ij为与所述Yij对应的目标像素值，mean2为所述第二灰度图中像素值的均值，var2为所述第二灰度图中像素值的方差，meani为所述第一灰度图中像素值的均值，var1为所述第一灰度图中像素值的方差。
10.根据权利要求6所述的装置，其特征在于，所述融合模块包括：
融合区域确定模块，其被配置为，确定所述亮度迁移图像中与所述人脸风格化图像对应的人脸区域图像；
人脸融合模块，其被配置为，根据设置的所述人脸风格化图像和所述人脸区域图像的融合权重值，对所述人脸风格化图像和所述人脸区域图像进行融合处理，得到目标风格化图像。
11.一种电子设备，其特征在于，包括：
至少一个处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的图像风格迁移方法。
12.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令被电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至5中任一项所述的图像风格迁移方法。
13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述的图像风格迁移方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110466786.6A CN113160038B (zh) | 2021-04-28 | 2021-04-28 | 一种图像风格迁移方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110466786.6A CN113160038B (zh) | 2021-04-28 | 2021-04-28 | 一种图像风格迁移方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113160038A CN113160038A (zh) | 2021-07-23 |
| CN113160038B true CN113160038B (zh) | 2024-03-26 |
Family
ID=76871814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110466786.6A Active CN113160038B (zh) | 2021-04-28 | 2021-04-28 | 一种图像风格迁移方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113160038B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116934577A (zh) * | 2022-04-01 | 2023-10-24 | 北京字跳网络技术有限公司 | 一种风格图像生成方法、装置、设备及介质 |
| CN115082298A (zh) * | 2022-07-15 | 2022-09-20 | 北京百度网讯科技有限公司 | 图像生成方法、装置、电子设备以及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101430759A (zh) * | 2008-12-04 | 2009-05-13 | 上海大学 | 优化的人脸识别预处理方法 |
| CN109829849A (zh) * | 2019-01-29 | 2019-05-31 | 深圳前海达闼云端智能科技有限公司 | 一种训练数据的生成方法、装置和终端 |
| CN110197514A (zh) * | 2019-06-13 | 2019-09-03 | 南京农业大学 | 一种基于生成式对抗网络的蘑菇表型图像生成方法 |
| CN110310222A (zh) * | 2019-06-20 | 2019-10-08 | 北京奇艺世纪科技有限公司 | 一种图像风格迁移方法、装置、电子设备及存储介质 |
| CN111260593A (zh) * | 2020-01-14 | 2020-06-09 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9857953B2 (en) * | 2015-11-17 | 2018-01-02 | Adobe Systems Incorporated | Image color and tone style transfer |
-
2021
- 2021-04-28 CN CN202110466786.6A patent/CN113160038B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101430759A (zh) * | 2008-12-04 | 2009-05-13 | 上海大学 | 优化的人脸识别预处理方法 |
| CN109829849A (zh) * | 2019-01-29 | 2019-05-31 | 深圳前海达闼云端智能科技有限公司 | 一种训练数据的生成方法、装置和终端 |
| CN110197514A (zh) * | 2019-06-13 | 2019-09-03 | 南京农业大学 | 一种基于生成式对抗网络的蘑菇表型图像生成方法 |
| CN110310222A (zh) * | 2019-06-20 | 2019-10-08 | 北京奇艺世纪科技有限公司 | 一种图像风格迁移方法、装置、电子设备及存储介质 |
| CN111260593A (zh) * | 2020-01-14 | 2020-06-09 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113160038A (zh) | 2021-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109670397B (zh) | 人体骨骼关键点的检测方法、装置、电子设备及存储介质 | |
| RU2630167C1 (ru) | Способ и устройство для переключения режима цветовой гаммы | |
| CN109345485B (zh) | 一种图像增强方法、装置、电子设备及存储介质 | |
| CN113160038B (zh) | 一种图像风格迁移方法、装置、电子设备及存储介质 | |
| CN111462701A (zh) | 背光亮度调节方法及装置 | |
| CN113160039B (zh) | 图像风格迁移方法、装置、电子设备及存储介质 | |
| EP3770859B1 (en) | Image processing method, image processing apparatus, and storage medium | |
| CN110876014B (zh) | 图像处理方法及装置、电子设备及存储介质 | |
| CN109816620B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN111383608B (zh) | 显示控制方法和装置、电子设备以及计算机可读存储介质 | |
| CN114240792A (zh) | 图像曝光融合方法、装置及存储介质 | |
| CN109389547B (zh) | 图像显示方法及装置 | |
| CN112651899A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN108874482B (zh) | 图像处理方法及装置 | |
| CN112884813A (zh) | 图像处理方法、装置及存储介质 | |
| CN110876013B (zh) | 确定图像分辨率的方法及装置、电子设备及存储介质 | |
| CN109034068B (zh) | 视频处理方法及装置、电子设备和存储介质 | |
| CN110648373B (zh) | 图像处理方法及装置 | |
| CN116416505A (zh) | 图像处理模型的训练方法、图像处理方法、装置及存储介质 | |
| CN117369615A (zh) | 电子设备控制方法、装置、存储介质以及电子设备 | |
| CN114092381A (zh) | 光照方向确定方法、装置、电子设备及存储介质 | |
| CN112950465A (zh) | 视频超分处理方法、视频超分处理装置及存储介质 | |
| CN113191994A (zh) | 图像处理方法、装置及存储介质 | |
| CN114626985A (zh) | 图像超分辨率方法、图像超分辨率模型训练方法和装置 | |
| CN117764895A (zh) | 图像处理方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |