CN110264413B - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents
一种图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110264413B CN110264413B CN201910412049.0A CN201910412049A CN110264413B CN 110264413 B CN110264413 B CN 110264413B CN 201910412049 A CN201910412049 A CN 201910412049A CN 110264413 B CN110264413 B CN 110264413B
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- style
- region
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000001914 filtration Methods 0.000 claims abstract description 27
- 238000013508 migration Methods 0.000 claims abstract description 20
- 230000005012 migration Effects 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 10
- 241000023320 Luma <angiosperm> Species 0.000 claims description 5
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 13
- 238000002156 mixing Methods 0.000 abstract description 8
- 230000000694 effects Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G06T5/92—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G06T5/77—
-
- G06T5/94—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
本公开实施例中提供一种图像处理方法、装置、电子设备及存储介质，所述方法包括：获取亮度与色度分离表示的初始图像和对应的风格图像；从所述风格图像中确定第一待处理区域，以及从所述初始图像中确定与所述第一待处理区域对应的第二待处理区域；针对所述风格图像，将所述第一待处理区域的亮度分量替换为所述第二待处理区域的亮度分量；针对所述风格图像，对所述第一待处理区域的色度分量进行滤波处理；根据处理后的风格图像生成输出图像。在图像风格迁移的过程中，将第一待处理区域和第二待处理区域作为前景部分，通过亮度分量替换提高了风格化图像的融入感，通过滤波处理弱化了前景部分的纹理，提高了风格化图像的整体和谐性。
Description
技术领域
本公开属于图像处理领域，特别是涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
图像风格迁移是一种图像生成方法，是在给定一种风格图像的前提下，将其他图像变换为这种风格的图像，如油画风格化、季节风格化等等。通过这种方法，可以将图像转换为另一种表现风格，达到焕然一新的效果。
由于现有的图像风格迁移方法大多是针对于全图进行处理，在一些特定场景中，图像中的部分纹理并不希望出现，如人像场景中，往往人脸部分的图像风格化所呈现的纹理并不希望特别明显，否则会产生怪异的效果。而针对这种场景，通常是直接从原图中将前景部分分割出来，替换数据图像对应的前景部分，或者通过色彩转换进行处理，即将原图中的前景部分和风格化输出的前景部分转换到LAB空间中，再通过计算各自的均值和方差进行空间迁移，从而实现前景风格的转换。
但是直接进行前景部分的替换会导致图像风格迁移后的部分不和谐、融入感较差，能感觉到前景部分与原图中的其余部分存在明显差异，而通过色彩转换进行风格迁移后的图像由于模型的差异在某种情况下存在不和谐、融入感较差的情况。
公开内容
本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术中图像处理不和谐、融入感差的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
获取亮度与色度分离表示的初始图像和对应的风格图像；
从所述风格图像中确定第一待处理区域，以及从所述初始图像中确定与所述第一待处理区域对应的第二待处理区域；
针对所述风格图像，将所述第一待处理区域的亮度分量替换为所述第二待处理区域的亮度分量；
针对所述风格图像，对所述第一待处理区域的色度分量进行滤波处理；
根据处理后的风格图像生成输出图像。
可选的，所述获取亮度与色度分离表示的初始图像和对应的风格图像，包括:
获取预置初始图像和对应的预置风格图像；
当所述预置初始图像和/或所述预置风格图像不是亮度与色度分离表示时，将所述预置初始图像和/或所述预置风格图像转换为亮度与色度分离表示；
将亮度与色度分离表示的预置初始图像和预置风格图像分别作为初始图像和风格图像。
可选的，所述根据处理后的风格图像生成输出图像的步骤，包括:
当处理后的风格图像不是预置格式时，将处理后的风格图像转换为预置格式的输出图像；
当处理后的风格图像是预置格式时，将所述处理后的风格图像作为输出图像。
可选的，所述针对所述风格图像，将所述第一待处理区域的亮度分量替换为所述第二待处理区域的亮度分量，包括：
当所述初始图像和所述风格图像尺寸相同时，对于所述风格图像中所述第一待处理区域的每个像素点，将所述像素点的亮度分量替换为所述第二待处理区域中相同位置的像素点的亮度分量；
当所述初始图像和所述风格图像尺寸不同时，将所述初始图像转换为与所述风格图像相同的尺寸，并对于所述风格图像中所述第一待处理区域的每个像素点，将所述像素点的亮度分量替换为转换后初始图像的第二待处理区域中相同位置的像素点的亮度分量。
可选的，所述从所述风格图像中确定第一待处理区域，以及从所述初始图像中确定与所述第一待处理区域对应的第二待处理区域的步骤，包括：
利用深度网络从所述风格图像中确定第一待处理区域，所述深度网络是通过将预先采集的图像处理样本中的指定待处理区域作为目标进行训练得到；
根据所述第一待处理区域在所述风格图像中的位置，从所述初始图像中确定与所述位置相同的区域，得到与所述第一待处理区域对应的第二待处理区域。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
获取模块，被配置为获取亮度与色度分离表示的初始图像和对应的风格图像；
确定模块，被配置为从所述风格图像中确定第一待处理区域，以及从所述初始图像中确定与所述第一待处理区域对应的第二待处理区域；
第一处理模块，被配置为针对所述风格图像，将所述第一待处理区域的亮度分量替换为所述第二待处理区域的亮度分量；
第二处理模块，被配置为针对所述风格图像，对所述第一待处理区域的色度分量进行滤波处理；
输出模块，被配置为根据处理后的风格图像生成输出图像。
可选的，所述获取模块，包括:
获取子模块，被配置为获取预置初始图像和对应的预置风格图像；
第一转换子模块，被配置为当所述预置初始图像和/或所述预置风格图像不是亮度与色度分离表示时，将所述预置初始图像和/或所述预置风格图像转换为亮度与色度分离表示；
第二转换子模块，被配置为将亮度与色度分离表示的预置初始图像和预置风格图像分别作为初始图像和风格图像。
可选的，所述输出模块，包括：
第一输出子模块，被配置为当处理后的风格图像不是预置格式时，将处理后的风格图像转换为预置格式的输出图像；
第二输出子模块，被配置为当处理后的风格图像是预置格式时，将所述处理后的风格图像作为输出图像。
可选的，所述第一处理模块，包括：
第一处理子模块，被配置为当所述初始图像和所述风格图像尺寸相同时，对于所述风格图像中所述第一待处理区域的每个像素点，将所述像素点的亮度分量替换为所述第二待处理区域中相同位置的像素点的亮度分量；
第二处理子模块，被配置为当所述初始图像和所述风格图像尺寸不同时，将所述初始图像转换为与所述风格图像相同的尺寸，并对于所述风格图像中所述第一待处理区域的每个像素点，将所述像素点的亮度分量替换为转换后初始图像的第二待处理区域中相同位置的像素点的亮度分量。
可选的，所述确定模块，包括：
第一确认子模块，被配置为利用深度网络从所述风格图像中确定第一待处理区域，所述深度网络是通过将预先采集的图像处理样本中的指定待处理区域作为目标进行训练得到；
第二确认子模块，被配置为根据所述第一待处理区域在所述风格图像中的位置，从所述初始图像中确定与所述位置相同的区域，得到与所述第一待处理区域对应的第二待处理区域。
根据本公开实施例的第三方面，提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一所述的图像处理方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的图像处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开实施例中提供一种图像处理方法、装置、电子设备及存储介质，所述方法包括：获取亮度与色度分离表示的初始图像和对应的风格图像；从所述风格图像中确定第一待处理区域，以及从所述初始图像中确定与所述第一待处理区域对应的第二待处理区域；针对所述风格图像，将所述第一待处理区域的亮度分量替换为所述第二待处理区域的亮度分量；针对所述风格图像，对所述第一待处理区域的色度分量进行滤波处理。在图像风格迁移的过程中，将第一待处理区域和第二待处理区域作为前景部分，通过亮度分量替换提高了风格化图像的融入感，通过滤波处理弱化了前景部分的纹理，提高了风格化图像的整体和谐性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起被配置为解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像处理方法的流程图；
图2是根据一示例性实施例示出的另一种图像处理方法的流程图；
图3是根据一示例性实施例示出的一种图像处理装置的框图；
图4是根据一示例性实施例示出的另一种图像处理装置的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是被配置为区别类似的对象，而不必被配置为描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是本公开实施例提供的一种图像处理方法的步骤流程图，如图1所示，该方法可以包括：
步骤S101，获取亮度与色度分离表示的初始图像和对应的风格图像。
在本公开实施例中，所述风格图像是指已经参照初始图像的风格进行图像风格迁移后的图像。所述初始图像是指图像风格迁移的参照图，可以理解，所述风格图像是根据所述初始图像的风格进行图像处理得到的。
由于利用传统的图像风格迁移方式是对原图进行整体风格迁移，会导致转换得到的风格图像的某些区域纹理过深，相对于图像内容不和谐，例如人像的人脸部分，街道景色照片中的窗户，风景照中的日出等。这就需要对已进行整体风格迁移的风格图像进行处理。
亮度与色度分离表示的初始图像和对应的风格图像可以是YUV(一种颜色编码方法，其中Y代表亮度，UV代表色度，U和V分别是构成彩色的两个分量)空间、LAB(L表示亮度，A表示从红色至绿色的范围色度，B表示从黄色至蓝色的范围色度)空间、HSV(H表示色调、S表示饱和度、V表示亮度)空间，这些色彩空间的亮度均被分离处理，剩余部分可作为色度。例如YUV空间，Y可以作为亮度变量，而UV的组合可以作为色度分量。
步骤S102，从所述风格图像中确定第一待处理区域，以及从所述初始图像中确定与所述第一待处理区域对应的第二待处理区域。
在本公开实施例中，由于所述风格图像是由于局部纹理过深导致的整体效果不和谐，因此需要确定所述风格图像中的第一待处理区域，所述第一待处理区域是指风格图像中需要进行处理的部分，从而消除风格图像不和谐的现象。并从初始化图像中提取相对应位置的第二待处理区域，该对应位置是指第二待处理区域在初始图像中的坐标、尺寸和大小均对应的第一待处理区域在风格图像中的坐标、尺寸和大小。而风格图像中除第一待处理区域之外的剩余区域可以不需要进行处理。在实际应用中，所述确定第一待处理区域的操作可以是通过神经网络模型训练确定的，该方式的优先是效率高，且适用范围大；也可以是通过用户在风格图像上选取的待处理区域的方式，该方式的有点是准确率高，但对于部分类型的图像，用户无法确定哪些位置的纹理过深导致风格图像整体效果不和谐，例如风景图，而对于例如人像的风格图像，用户容易确定是人脸部分的纹理过深导致不和谐的现象。
步骤S103，针对所述风格图像，将所述第一待处理区域的亮度分量替换为所述第二待处理区域的亮度分量。
在本公开实施例中，风格图像和初始图像的色彩空间可以选择为YUV空间，亮度是Y分量，色度是U分量和V分量，提取所述第二待处理区域的Y分量，将所述第一待处理区域的Y分量替换为所述第二待处理区域的Y分量。
步骤S104，针对所述风格图像，对所述第一待处理区域的色度分量进行滤波处理。
步骤S105，根据处理后的风格图像生成输出图像。
在本公开实施例中，当完成对所述风格图像中的亮度分量及色度分量的处理后，所述风格图像的修复工作确认完成，可将色度和亮度分离表示的处理后风格图像转换成预置格式的输出图像，可以转换成可被人眼识别的RGB格式的输出图像，也可以根据实际应用的需要，转换为其他格式的输出图像，例如用于为通讯传输的图像信号。
在本公开实施中，所述风格图像的第一待处理区域的纹理过深导致了风格图像的整体效果不和谐，对所述第一待处理区域的色分量，即所述第一待处理区域的U分量和V分量进行滤波以达到去噪的效果，所述滤波可以是几何均值滤波，该滤波方式所达到的平滑度可以与算数均值滤波器相比，但在滤波过程中会丢失更少的图像细节。领域平均法，适用于为去除通过扫描得到的图像中的颗粒噪声。此处滤波方式仅是示例性的，具体滤波方式可以根据实际需要确定，此处不做限定。完成所述第一待处理区域的色度分量和亮度分量的处理后，风格图像即已完成优化处理，得到亮度与色度分离表示的风格图像。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开实施例中，获取亮度与色度分离表示的初始图像和对应的风格图像；从所述风格图像中确定第一待处理区域，以及从所述初始图像中确定与所述第一待处理区域对应的第二待处理区域；针对所述风格图像，将所述第一待处理区域的亮度分量替换为所述第二待处理区域的亮度分量；针对所述风格图像，对所述第一待处理区域的色度分量进行滤波处理；根据处理后的风格图像生成输出图像。在图像风格迁移的过程中，将第一待处理区域和第二待处理区域作为前景部分，通过亮度分量替换提高了风格化图像的融入感，通过滤波处理弱化了前景部分的纹理，提高了风格化图像的整体和谐性。
图2是本公开实施例提供的另一种图像处理方法的步骤流程图，如图2所示，该方法可以包括：
步骤S201，获取亮度与色度分离表示的初始图像和对应的风格图像。
该步骤可参照步骤S101的详细说明，此处不再赘述。
可选的，所述步骤S201，可以包括:
步骤S2011，获取预置初始图像和对应的预置风格图像。
步骤S2012，当所述预置初始图像和/或所述预置风格图像不是亮度与色度分离表示时，将所述预置初始图像和/或所述预置风格图像转换为亮度与色度分离表示。
在本公开实施例中，所述预置初始图像和所述预置风格图像的可以是RGB格式的，所述RGB格式是工业界的一种色彩标准，是通过对R(红)、G(绿)、B(蓝)三个颜色通道的变化以及它们相互之间的叠加来得到各种颜色，图像中每一个像素的RGB分量分配一个0～255范围内的强度值，在屏幕上生成16777216种颜色，这个格式几乎包含人类视力所能感知的所有颜色。通常情况下，获得的图像均是可被人眼识别的RGB格式的风格化图像和初始图像，也可以获取采用其他色彩空间的预置风格化图像和预置初始图像，但在对风格化图像进行处理的过程中，需要将所述预置风格化图像和预置初始图像转换成亮度和色度分离表示的色彩空间格式。本领域技术人员可以理解，所述预置初始图像和所述预置风格图像的格式可以是根据实际情况确定的图像表示格式，本公开不做限定。
步骤S2013，将亮度与色度分离表示的预置初始图像和预置风格图像分别作为初始图像和风格图像。
在本公开实施例中，所述预置图像和所述预置风格图像可以是亮度与色彩分离表示的，例如手机浏览的视频格式NV21、NV12(Android常用的两种图像格式，其中色度与亮度分为两个平面表示)或者YUV，是亮度与色彩分离表示的格式，这种情况下可以直接将所述预置图像和所述预置风格图像作为初始图像和风格图像，以进行后续图像处理。
本公开实施例通过将RGB格式的预置初始图像及预置风格图像转换成亮度与色度分离表示的色彩空间格式，可以适用于为各种不同色彩空间格式的图像数据，提高了风格图像转换的可适用性。
步骤S202，从所述风格图像中确定第一待处理区域，以及从所述初始图像中确定与所述第一待处理区域对应的第二待处理区域。
该步骤可参照步骤S102的详细说明，此处不再赘述。
可选的，所述步骤S202，可以包括：
步骤S2021，用深度网络从所述风格图像中确定第一待处理区域，所述深度网络是通过将预先采集的图像处理样本中的指定待处理区域作为目标进行训练得到。
在本公开实施例中，所述深度网络是通过利用预先采集到的对图像进行处理的样本数据训练得到的，通过针对用户对不同类型的图像进行的待处理区域选取数据进行训练，得到可以对风格图像进行分割的深度网络。所述深度网络也可以是针对一种专用类型的图像样本数据进行训练，如人像数据，可以理解，人像中主要是由于人脸部分的纹理过深导致的图像整体效果不和谐。这种针对一种类型图像的专用深度网络，相对于多种类型图片训练的深度网络，图像中待处理区域的确定准确度更高。
步骤S2022，根据所述第一待处理区域在所述风格图像中的位置，从所述初始图像中确定与所述位置相同的区域，得到与所述第一待处理区域对应的第二待处理区域。
该步骤可参照步骤S102的详细说明，此处不再赘述。
本公开实施例通过利用预先采集的图像处理样本训练得到的深度网络从风格数据中提取待处理区域，实现了对风格图像待处理区域可控的目的，提高了风格图像处理的效率和准确度。
步骤S203，针对所述风格图像，将所述第一待处理区域的亮度分量替换为所述第二待处理区域的亮度分量。
该步骤可参照步骤S103的详细说明，此处不再赘述。
可选的，所述步骤203，可以包括：
步骤S2031，当所述初始图像和所述风格图像尺寸相同时，对于所述风格图像中所述第一待处理区域的每个像素点，将所述像素点的亮度分量替换为所述第二待处理区域中相同位置的像素点的亮度分量。
在本公开实施例中，由于所述风格图像是根据所述初始图像将原图进行整体风格迁移得到的，因此所述初始图像和所述风格图像在转换时已经进行了尺寸统一处理，使得所述初始图像和所述风格图像的尺寸一致。
由于所述第一待处理区域与所述第二待处理区域的尺寸和分辨率保持一致，因此所述第一待处理区域的每个像素点在所述第二待处理区域中均有对应的像素点，通过将所述第一待处理区域的每个像素点的亮度分量替换为所对应的第二待处理区域的像素点，实现对所述第一待处理区域亮度分量的替换。
步骤S2032，当所述初始图像和所述风格图像尺寸不同时，将所述初始图像转换为与所述风格图像相同的尺寸，并对于所述风格图像中所述第一待处理区域的每个像素点，将所述像素点的亮度分量替换为转换后初始图像的第二待处理区域中相同位置的像素点的亮度分量。
在本公开实施例中，若所述初始图像和所述风格图像的尺寸不同，像素点就无法对应，则无法对所述风格图像的色度和亮度分量进行替换，为了保证风格图像的效果，需要尽量避免对风格图像进行延伸或压缩，可以将所述初始图像的尺寸转换为与所述风格图像尺寸相同的尺寸后，再对所述风格图像的色度和亮度分量进行替换。
本公开实施例通过对初始图像和风格图像的尺寸和待处理区域位置进行统一，保证了风格化图像转换过程中可以针对每一像素点进行相应的处理，保证了风格化图像处理的效率和准确性。
步骤S204，针对所述风格图像，对所述第一待处理区域的色度分量进行滤波处理。
该步骤可参照步骤S104的详细说明，此处不再赘述。
步骤S205，将滤波处理后的风格图像转换为预置格式的输出图像。
可选的，所述步骤S205，可以包括：
步骤S2051，当处理后的风格图像不是预置格式时，将处理后的风格图像转换为预置格式的输出图像；
步骤S2052，当处理后的风格图像是预置格式时，将所述处理后的风格图像作为输出图像。
在本公开实施例中，若预置格式也是色度与亮度分离表示的格式，但是考虑到亮度与色度分离表示的格式存在多种，也需要对所述处理后的风格图像进行格式转换，当然，如果所述预置格式与与处理后的风格图像的格式是相同的，则可以直接将所述处理后的风格图像作为输出图像，从而简化图像风格化迁移的步骤，提高图像风格化迁移的整体效率。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开实施例中，获取亮度与色度分离表示的初始图像和对应的风格图像；从所述风格图像中确定第一待处理区域，以及从所述初始图像中确定与所述第一待处理区域对应的第二待处理区域；针对所述风格图像，将所述第一待处理区域的亮度分量替换为所述第二待处理区域的亮度分量；针对所述风格图像，对所述第一待处理区域的色度分量进行滤波处理；根据处理后的风格图像生成输出图像。。在图像风格迁移的过程中，将第一待处理区域和第二待处理区域作为前景部分，通过亮度分量替换提高了风格化图像的融入感，通过滤波处理弱化了前景部分的纹理，提高了风格化图像的整体和谐性。
图3是根据一示例性实施例示出的一种图像处理装置30的结构框图，参照图3，所述装置30可以包括：
获取模块301，被配置为获取亮度与色度分离表示的初始图像和对应的风格图像。
确定模块302，被配置为从所述风格图像中确定第一待处理区域，以及从所述初始图像中确定与所述第一待处理区域对应的第二待处理区域。
第一处理模块303，被配置为针对所述风格图像，将所述第一待处理区域的亮度分量替换为所述第二待处理区域的亮度分量。
第二处理模块304，被配置为针对所述风格图像，对所述第一待处理区域的色度分量进行滤波处理。
输出模块，被配置为根据处理后的风格图像生成输出图像。
本公开实施例中，获取模块，被配置为获取亮度与色度分离表示的初始图像和对应的风格图像；确定模块，被配置为从所述风格图像中确定第一待处理区域，以及从所述初始图像中确定与所述第一待处理区域对应的第二待处理区域；第一处理模块，被配置为针对所述风格图像，将所述第一待处理区域的亮度分量替换为所述第二待处理区域的亮度分量；第二处理模块，被配置为针对所述风格图像，对所述第一待处理区域的色度分量进行滤波处理；输出模块，被配置为根据处理后的风格图像生成输出图像。在图像风格迁移的过程中，将第一待处理区域和第二待处理区域作为前景部分，通过亮度分量替换提高了风格化图像的融入感，通过滤波处理弱化了前景部分的纹理，提高了风格化图像的整体和谐性。
图4是根据一示例性实施例示出的另一种图像处理装置40的结构框图，参照图4，所述装置40包括：
获取模块401，被配置为获取亮度与色度分离表示的初始图像和对应的风格图像。
可选的，所述获取模块401，可以包括:
获取子模块4011，被配置为获取预置初始图像和对应的预置风格图像；
第一转换子模块4012，被配置为当所述预置初始图像和/或所述预置风格图像不是亮度与色度分离表示时，将所述预置初始图像和/或所述预置风格图像转换为亮度与色度分离表示；
第二转换子模块4013，被配置为将亮度与色度分离表示的预置初始图像和预置风格图像分别作为初始图像和风格图像。
确定模块402，被配置为从所述风格图像中确定第一待处理区域，以及从所述初始图像中确定与所述第一待处理区域对应的第二待处理区域。
可选的，所述确定模块402，包括：
第一确定子模块4021，被配置为利用深度网络从所述风格图像中确定第一待处理区域，所述深度网络是通过将预先采集的图像处理样本中的指定待处理区域作为目标进行训练得到。
第二确定子模块4022，被配置为根据所述第一待处理区域在所述风格图像中的位置，从所述初始图像中确定与所述位置相同的区域，得到与所述第一待处理区域对应的第二待处理区域。
第一处理模块403，被配置为针对所述风格图像，将所述第一待处理区域的亮度分量替换为所述第二待处理区域的亮度分量。
所述第一处理模块403，包括：
第一处理子模块4031，被配置为当所述初始图像和所述风格图像尺寸相同时，对于所述风格图像中所述第一待处理区域的每个像素点，将所述像素点的亮度分量替换为所述第二待处理区域中相同位置的像素点的亮度分量。
第二处理子模块4032，被配置为当所述初始图像和所述风格图像尺寸不同时，将所述初始图像转换为与所述风格图像相同的尺寸，并对于所述风格图像中所述第一待处理区域的每个像素点，将所述像素点的亮度分量替换为转换后初始图像的第二待处理区域中相同位置的像素点的亮度分量。
第二处理模块404，被配置为针对所述风格图像，对所述第一待处理区域的色度分量进行滤波处理。
输出模块405，被配置为根据处理后的风格图像生成输出图像。
可选的，所述输出模块405，可以包括：
第一输出子模块，被配置为当处理后的风格图像不是预置格式时，将处理后的风格图像转换为预置格式的输出图像。
第二输出子模块，被配置为当处理后的风格图像是预置格式时，将所述处理后的风格图像作为输出图像。
本公开实施例中，获取模块，被配置为获取亮度与色度分离表示的初始图像和对应的风格图像；确定模块，被配置为从所述风格图像中确定第一待处理区域，以及从所述初始图像中确定与所述第一待处理区域对应的第二待处理区域；第一处理模块，被配置为针对所述风格图像，将所述第一待处理区域的亮度分量替换为所述第二待处理区域的亮度分量；第二处理模块，被配置为针对所述风格图像，对所述第一待处理区域的色度分量进行滤波处理；输出模块，被配置为根据处理后的风格图像生成输出图像。在图像风格迁移的过程中，将第一待处理区域和第二待处理区域作为前景部分，通过亮度分量替换提高了风格化图像的融入感，通过滤波处理弱化了前景部分的纹理，提高了风格化图像的整体和谐性。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
另外，本公开实施例还提供一种电子设备，包括处理器，存储器，存储在存储器上并可在处理上运行的计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本公开实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本公开的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。
在此提供的图像处理方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本公开方案的系统所要求的结构是显而易见的。此外，本公开也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本公开的内容，并且上面对特定语言所做的描述是为了披露本公开的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个公开方面中的一个或多个，在上面对本公开的示例性实施例的描述中，本公开的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，公开方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本公开的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本公开的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开实施例的图像处理方法中的一些或者全部部件的一些或者全部功能。本公开还可以实现为被配置为执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本公开的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本公开进行说明而不是对本公开进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (12)
1.一种图像处理方法，其特征在于，所述方法包括：
获取亮度与色度分离表示的初始图像和对应的风格图像，其中，所述初始图像是指图像风格迁移的参照图，所述风格图像是指参照所述初始图像的风格进行图像风格迁移后的图像；
从所述风格图像中确定第一待处理区域，以及从所述初始图像中确定与所述第一待处理区域对应的第二待处理区域；
针对所述风格图像，将所述第一待处理区域的亮度分量替换为所述第二待处理区域的亮度分量；
针对所述风格图像，对所述第一待处理区域的色度分量进行滤波处理；
根据处理后的风格图像生成输出图像。
2.根据权利要求1所述的方法，其特征在于，所述获取亮度与色度分离表示的初始图像和对应的风格图像，包括:
获取预置初始图像和对应的预置风格图像；
当所述预置初始图像和/或所述预置风格图像不是亮度与色度分离表示时，将所述预置初始图像和/或所述预置风格图像转换为亮度与色度分离表示；
将亮度与色度分离表示的预置初始图像和预置风格图像分别作为初始图像和风格图像。
3.根据权利要求2所述的方法，其特征在于，所述根据处理后的风格图像生成输出图像的步骤，包括:
当处理后的风格图像不是预置格式时，将处理后的风格图像转换为预置格式的输出图像；
当处理后的风格图像是预置格式时，将所述处理后的风格图像作为输出图像。
4.根据权利要求1至3其中任一项所述的方法，其特征在于，所述针对所述风格图像，将所述第一待处理区域的亮度分量替换为所述第二待处理区域的亮度分量，包括：
当所述初始图像和所述风格图像尺寸相同时，对于所述风格图像中所述第一待处理区域的每个像素点，将所述像素点的亮度分量替换为所述第二待处理区域中相同位置的像素点的亮度分量；
当所述初始图像和所述风格图像尺寸不同时，将所述初始图像转换为与所述风格图像相同的尺寸，并对于所述风格图像中所述第一待处理区域的每个像素点，将所述像素点的亮度分量替换为转换后初始图像的第二待处理区域中相同位置的像素点的亮度分量。
5.根据权利要求4所述的方法，其特征在于，所述从所述风格图像中确定第一待处理区域，以及从所述初始图像中确定与所述第一待处理区域对应的第二待处理区域的步骤，包括：
利用深度网络从所述风格图像中确定第一待处理区域，所述深度网络是通过将预先采集的图像处理样本中的指定待处理区域作为目标进行训练得到；
根据所述第一待处理区域在所述风格图像中的位置，从所述初始图像中确定与所述位置相同的区域，得到与所述第一待处理区域对应的第二待处理区域。
6.一种图像处理装置，其特征在于，所述装置包括：
获取模块，被配置为获取亮度与色度分离表示的初始图像和对应的风格图像，其中，所述初始图像是指图像风格迁移的参照图，所述风格图像是指参照所述初始图像的风格进行图像风格迁移后的图像；
确定模块，被配置为从所述风格图像中确定第一待处理区域，以及从所述初始图像中确定与所述第一待处理区域对应的第二待处理区域；
第一处理模块，被配置为针对所述风格图像，将所述第一待处理区域的亮度分量替换为所述第二待处理区域的亮度分量；
第二处理模块，被配置为针对所述风格图像，对所述第一待处理区域的色度分量进行滤波处理；
输出模块，被配置为根据处理后的风格图像生成输出图像。
7.根据权利要求6所述的装置，其特征在于，所述获取模块，包括:
获取子模块，被配置为获取预置初始图像和对应的预置风格图像；
第一转换子模块，被配置为当所述预置初始图像和/或所述预置风格图像不是亮度与色度分离表示时，将所述预置初始图像和/或所述预置风格图像转换为亮度与色度分离表示；
第二转换子模块，被配置为将亮度与色度分离表示的预置初始图像和预置风格图像分别作为初始图像和风格图像。
8.根据权利要求7所述的装置，其特征在于，所述输出模块，包括：
第一输出子模块，被配置为当处理后的风格图像不是预置格式时，将处理后的风格图像转换为预置格式的输出图像；
第二输出子模块，被配置为当处理后的风格图像是预置格式时，将所述处理后的风格图像作为输出图像。
9.根据权利要求6至8中任一所述的装置，其特征在于，所述第一处理模块，包括：
第一处理子模块，被配置为当所述初始图像和所述风格图像尺寸相同时，对于所述风格图像中所述第一待处理区域的每个像素点，将所述像素点的亮度分量替换为所述第二待处理区域中相同位置的像素点的亮度分量；
第二处理子模块，被配置为当所述初始图像和所述风格图像尺寸不同时，将所述初始图像转换为与所述风格图像相同的尺寸，并对于所述风格图像中所述第一待处理区域的每个像素点，将所述像素点的亮度分量替换为转换后初始图像的第二待处理区域中相同位置的像素点的亮度分量。
10.根据权利要求9所述的装置，其特征在于，所述确定模块，包括：
第一确认子模块，被配置为利用深度网络从所述风格图像中确定第一待处理区域，所述深度网络是通过将预先采集的图像处理样本中的指定待处理区域作为目标进行训练得到；
第二确认子模块，被配置为根据所述第一待处理区域在所述风格图像中的位置，从所述初始图像中确定与所述位置相同的区域，得到与所述第一待处理区域对应的第二待处理区域。
11.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至5中任一所述的图像处理方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现权利要求1至5中任一所述的图像处理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910412049.0A CN110264413B (zh) | 2019-05-17 | 2019-05-17 | 一种图像处理方法、装置、电子设备及存储介质 |
| US16/863,319 US11328399B2 (en) | 2019-05-17 | 2020-04-30 | Method and apparatus, and storage medium for processing style image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910412049.0A CN110264413B (zh) | 2019-05-17 | 2019-05-17 | 一种图像处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110264413A CN110264413A (zh) | 2019-09-20 |
| CN110264413B true CN110264413B (zh) | 2021-08-31 |
Family
ID=67913317
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910412049.0A Active CN110264413B (zh) | 2019-05-17 | 2019-05-17 | 一种图像处理方法、装置、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11328399B2 (zh) |
| CN (1) | CN110264413B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766639B (zh) * | 2019-10-30 | 2022-09-27 | 北京迈格威科技有限公司 | 图像增强方法、装置、移动设备及计算机可读存储介质 |
| CN112488972A (zh) * | 2020-11-27 | 2021-03-12 | 深圳卡多希科技有限公司 | 一种绿幕图像与虚拟图像实时合成的方法和装置 |
| CN112991158A (zh) * | 2021-03-31 | 2021-06-18 | 商汤集团有限公司 | 一种图像生成方法、装置、设备及存储介质 |
| CN113256785B (zh) * | 2021-05-31 | 2023-04-04 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100592760C (zh) * | 2007-05-17 | 2010-02-24 | 展讯通信（上海）有限公司 | 拍照时自动检测并矫正红眼的方法 |
| US8824833B2 (en) * | 2008-02-01 | 2014-09-02 | Omnivision Technologies, Inc. | Image data fusion systems and methods |
| US9594977B2 (en) * | 2015-06-10 | 2017-03-14 | Adobe Systems Incorporated | Automatically selecting example stylized images for image stylization operations based on semantic content |
| EP3371777A1 (en) * | 2015-11-06 | 2018-09-12 | THOMSON Licensing | Method for transfer of a style of a reference visual object to another visual object, and corresponding electronic device, computer readable program products and computer readable storage medium |
| US9857953B2 (en) * | 2015-11-17 | 2018-01-02 | Adobe Systems Incorporated | Image color and tone style transfer |
| CN106331510B (zh) * | 2016-10-31 | 2019-10-15 | 维沃移动通信有限公司 | 一种逆光拍照方法及移动终端 |
| CN110163640B (zh) * | 2018-02-12 | 2023-12-08 | 华为技术有限公司 | 一种在视频中植入广告的方法及计算机设备 |
| CN109523460A (zh) * | 2018-10-29 | 2019-03-26 | 北京达佳互联信息技术有限公司 | 图像风格的迁移方法、迁移装置和计算机可读存储介质 |
| CN109472270B (zh) * | 2018-10-31 | 2021-09-24 | 京东方科技集团股份有限公司 | 图像风格转换方法、装置及设备 |
| US11838699B2 (en) * | 2020-07-06 | 2023-12-05 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, and image processing method |
-
2019
- 2019-05-17 CN CN201910412049.0A patent/CN110264413B/zh active Active
-
2020
- 2020-04-30 US US16/863,319 patent/US11328399B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US11328399B2 (en) | 2022-05-10 |
| US20200364839A1 (en) | 2020-11-19 |
| CN110264413A (zh) | 2019-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110264413B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| JP6803378B2 (ja) | 逆トーンマッピングの方法及び装置 | |
| US8311355B2 (en) | Skin tone aware color boost for cameras | |
| KR101502598B1 (ko) | 깊이감 인지 향상을 위한 영상 처리 장치 및 방법 | |
| Tsai et al. | Contrast enhancement by automatic and parameter-free piecewise linear transformation for color images | |
| TWI511559B (zh) | 影像處理方法 | |
| KR101621614B1 (ko) | 디지털 이미지 향상 방법 및 장치와, 이를 이용한 영상 처리 장치 | |
| CN105850114A (zh) | 用于图像的逆色调映射的方法 | |
| CN111784605B (zh) | 一种基于区域指导的图像降噪方法、计算机装置及计算机可读存储介质 | |
| US20210374925A1 (en) | Image Enhancement System and Method | |
| JP2003331287A (ja) | 画像強調を色に関連付ける方法および装置 | |
| WO2009026388A1 (en) | Generating a clean reference image | |
| CN110796595A (zh) | 一种色调映射方法、装置及电子设备 | |
| CN106570850B (zh) | 一种图像融合方法 | |
| CN111260580B (zh) | 图像去噪方法、计算机装置及计算机可读存储介质 | |
| KR20070090224A (ko) | 전자 색 이미지 채도 처리 방법 | |
| CN107767356B (zh) | 一种图像处理方法和装置 | |
| CN104811677A (zh) | 移动终端的显示控制方法及装置 | |
| KR20130000827A (ko) | 이미지의 에지 향상 방법 | |
| CN109636739B (zh) | 图像饱和度增强的细节处理方法及装置 | |
| CN111147924B (zh) | 一种视频增强处理方法及系统 | |
| CN110298812B (zh) | 一种图像融合处理的方法及装置 | |
| JPH118768A (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 | |
| JP2011076302A (ja) | 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム | |
| CN116468636A (zh) | 低照度增强方法、装置、电子设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |