CN114841853A - 图像处理方法、装置、设备及存储介质 - Google Patents
图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114841853A CN114841853A CN202210406775.3A CN202210406775A CN114841853A CN 114841853 A CN114841853 A CN 114841853A CN 202210406775 A CN202210406775 A CN 202210406775A CN 114841853 A CN114841853 A CN 114841853A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- style
- image processing
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 413
- 238000000034 method Methods 0.000 claims abstract description 86
- 238000006243 chemical reaction Methods 0.000 claims description 108
- 238000013507 mapping Methods 0.000 claims description 90
- 230000008569 process Effects 0.000 claims description 39
- 230000002452 interceptive effect Effects 0.000 claims description 35
- 230000000694 effects Effects 0.000 claims description 34
- 230000004927 fusion Effects 0.000 claims description 34
- 230000007704 transition Effects 0.000 claims description 28
- 230000002087 whitening effect Effects 0.000 claims description 21
- 230000003247 decreasing effect Effects 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000013139 quantization Methods 0.000 claims description 12
- 239000003086 colorant Substances 0.000 claims description 10
- 230000005484 gravity Effects 0.000 claims description 10
- 230000007423 decrease Effects 0.000 claims description 8
- 238000007499 fusion processing Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 230000003313 weakening effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000002146 bilateral effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本公开实施例提供一种图像处理方法、装置、设备及存储介质。所述方法包括:获取待处理图像以及参考信息,所述参考信息与所述待处理图像待转换的目标风格相关;针对预先设置的多种处理类型中的每种处理类型,基于所述参考信息从所述每种处理类型包括的多种图像处理算法中确定所述每种处理类型对应的目标图像处理算法,并确定所述目标图像处理算法对应的控制参数;基于所确定的目标图像处理算法以及所述控制参数对所述待处理图像进行处理,得到具有目标风格的目标图像。通过这种方式,在对图像进行风格转换时,可以不用局限于预设的固定风格,即可以动态的实时的生成新的风格,更加的灵活,可以满足用户在不同场景下的需求,提升用户体验。
Description
技术领域
本公开涉及图像处理技术领域,尤其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
目前很多图像处理软件、或者拍照应用软件都提供图像风格转换的功能,以便用户可以将原始图像转换成指定风格的目标图像。比如,一些拍照应用软件提供背景滤镜功能,可以将采集的原始图像转换成漫画风格的图像、或者素描风格的图像等。但是,目前用户在对图像风格进行转换时,转换后的风格只能是预先设置好的风格,用户无法对风格进行实时调整,而预先设置好的风格种类也比较有限,无法满足用户在不同场景下的需求。
发明内容
本公开提供一种图像处理方法、装置、设备及存储介质。
根据本公开实施例的第一方面,提供一种图像处理方法,所述方法包括:
获取待处理图像以及参考信息,所述参考信息与所述待处理图像待转换的目标风格相关;
针对预先设置的多种处理类型中的每种处理类型,基于所述参考信息从所述每种处理类型包括的多种图像处理算法中确定所述每种处理类型对应的目标图像处理算法,并确定所述目标图像处理算法对应的控制参数;其中,每种处理类型用于在对图像进行风格转换的过程中调整图像的一类特性,所述控制参数用于调整每种图像处理算法的处理效果;
基于确定的目标图像处理算法以及所述控制参数对所述待处理图像进行处理,得到具有目标风格的目标图像。
在一些实施例中,所述获取参考信息包括:
获取通过交互界面接收的风格转换指令,所述风格转换指令中包括被选择的图像处理算法,以及所述图像处理算法对应的控制参数;
在所述交互界面中显示利用所述被选择的图像处理算法以及对应的控制参数对所述待处理图像进行处理后的预览图。
在一些实施例中,所述获取参考信息包括:
获取通过交互界面接收的风格转换指令,所述风格转换指令中包括预设的多种风格中的每种风格在风格转换过程中所占的比重信息;
所述基于所述参考信息从所述每种处理类型包括的若干多种图像处理算法中确定所述每种处理类型对应的目标图像处理算法,以及所述目标图像处理算法对应的控制参数,包括:
针对每种处理类型,分别执行以下操作:
确定所述预设的多种风格中每种风格对应的图像处理算法以及所述图像处理算法对应的控制参数;
在所述预设的多种风格对应的图像处理算法不同的情况下,选择所述比重信息最大的风格对应图像处理算法作为所述目标图像处理算法,并将所述图像处理算法对应的控制参数作为所述目标图像处理算法对应的控制参数;
在所述预设的多种风格对应的图像处理算法相同的情况下,将所述图像处理算法作为目标图像处理算法,并基于每种风格的比重信息对每种风格对应的所述控制参数进行融合,作为所述目标图像处理算法对应的控制参数。
在一些实施例中,所述获取参考信息包括:
获取通过交互界面接收的风格转换指令,所述风格转换指令中包括参考图像;
所述基于所述参考信息从所述每种处理类型包括的若干多种图像处理算法中确定所述每种处理类型对应的目标图像处理算法,以及所述目标图像处理算法对应的控制参数,包括:
基于所述参考图像的风格以及预先设置的映射关系,从所述每种处理类型包括的若干多种图像处理算法中确定所述每种处理类型对应的目标图像处理算法,以及所述目标图像处理算法对应的控制参数,其中,所述映射关系用于表征图像风格与图像处理算法、以及控制参数之间的对应关系。
在一些实施例中,所述预设的多种处理类型包括以下一种或多种:
对图像的色彩进行调整、对图像中的边缘像素进行增强处理、对图像中的目标对象进行美颜处理、在图像中生成多个色块,其中,所述边缘像素包括像素值变化程度大于预设阈值的像素,所述色块为颜色不同的图像块。
在一些实施例中,所述目标图像处理算法包括用于对所述待处理图像进行美白处理的算法,基于所述目标图像处理算法以及所述控制参数对所述待处理图像进行处理,包括:
基于所述控制参数从预设的多个色彩映射表中选取目标色彩映射表;
利用所述目标色彩映射表对待处理图像中的各像素点的像素值进行映射处理,其中,映射后的像素点在目标颜色通道的像素值呈减小趋势,所述控制参数用于控制所述目标颜色通道的像素值的减弱程度,所述目标颜色通道表示的色彩为白色的对立色彩。
在一些实施例中,在利用所述目标色彩映射表对待处理图像中的各像素点的像素值进行映射处理之前,所述方法还包括:
对所述待处理图像各像素点的目标颜色通道的通道像素值进行量化处理;
利用所述目标色彩映射表对待处理图像中的各像素点的像素值进行映射处理,包括:
利用所述目标色彩映射表对量化处理后的各像素点的像素值进行映射处理。
在一些实施例中,所述方法还包括:
从所述待处理图像中截取目标对象对应的图像区域,对所述图像区域进行风格转换,得到具有所述目标风格的目标图像区域;
确定与所述目标图像区域对应的掩膜图,所述掩膜图的各像素的像素值表示所述目标图像区域在对应像素位置的像素的融合权重;
基于所述掩膜图对所述目标图像区域与所述目标图像进行融合处理,得到融合后的图像;其中,所述融合后的图像中所述目标对象所在区域的像素值与所述目标图像区域中对应像素位置的像素值一致,所述融合后的图像中所述目标对象所在区域的周围区域的像素值由所述目标图像区域和所述目标图像各自在对应像素位置的像素值融合得到。
在一些实施例中,所述掩膜图包括与所述目标图像区域中的目标对象对应的目标对象区域,以及位于所述目标对象区域周围的过渡区域,所述目标对象区域的像素值为第一数值,所述过渡区域的像素值位于目标数值范围之间,且由靠近所述目标对象区域一侧向远离所述目标对象区域一侧递减。
在一些实施例中,所述掩膜图中的目标对象区域包括对应于所述目标图像区域中所述目标对象的位置区域,且所述目标对象区域不小于所述目标对象的位置区域。
在一些实施例中,所述确定与所述目标图像区域对应的掩膜图,包括:
基于所述目标图像区域中所述目标对象的属性信息确定所述掩膜图,所述属性信息至少包括以下一种或多种:所述目标对象的形状、所述目标对象的大小、所述目标图像区域在目标方向上的边界与所述目标对象在所述目标方向上的边界的距离。
在一些实施例中,所述对所述图像区域进行风格转换,得到风格转换后的目标图像区域,包括:
通过预先训练的神经网络对所述图像区域进行风格转换,得到所述目标图像区域;其中,所述目标图像区域中的所述目标对象在目标方向上的边界与所述目标图像区域在所述目标方向上的边界的距离在预设距离范围内。
根据本公开实施例的第二方面,提供一种图像处理方法,所述方法包括:
获取待处理图像以及对所述待处理图像进行风格转换后的目标图像;所述目标图像具有目标风格;
从所述待处理图像中截取目标对象对应的图像区域,对所述图像区域进行风格转换,得到具有所述目标风格的目标图像区域;
确定与所述目标图像区域对应的掩膜图,所述掩膜图的各像素的像素值表示所述目标图像区域在对应像素位置的像素的融合权重;
基于所述掩膜图对所述目标图像区域与所述目标图像进行融合处理,得到融合后的图像;其中,所述融合后的图像中所述目标对象所在区域的像素值与所述目标图像区域中对应像素位置的像素值一致,所述融合后的图像中所述目标对象所在区域的周围区域的像素值由所述目标图像区域和所述目标图像各自在对应像素位置的像素值融合得到。
在一些实施例中,所述掩膜图包括与所述目标图像区域中的目标对象对应的目标对象区域,以及位于所述目标对象区域周围的过渡区域,所述目标对象区域的像素值为第一数值,所述过渡区域的像素值位于目标数值范围之间,且由靠近所述目标对象区域一侧向远离所述目标对象区域一侧递减。
在一些实施例中,所述掩膜图中的目标对象区域包括对应于所述目标图像区域中所述目标对象的位置区域,且所述目标对象区域不小于所述目标对象的位置区域。
在一些实施例中,所述确定与所述目标图像区域对应的掩膜图,包括:
基于所述目标图像区域中所述目标对象的属性信息确定所述掩膜图,所述属性信息至少包括以下一种或多种:所述目标对象的形状、所述目标对象的大小、所述目标图像区域在目标方向上的边界与所述目标对象在所述目标方向上的边界的距离。
在一些实施例中,所述对所述图像区域进行风格转换,得到风格转换后的目标图像区域,包括:
通过预先训练的神经网络对所述图像区域进行风格转换,得到所述目标图像区域;其中,所述目标图像区域中的所述目标对象在目标方向上的边界与所述目标图像区域在所述目标方向上的边界的距离在预设距离范围内。
根据本公开实施例的第三方面,提供一种图像处理方法,所述方法包括:
获取待处理图像;
利用预设的色彩映射表对待处理图像中的各像素点的像素值进行映射处理,得到美白后的图像,其中,映射后的像素点在目标颜色通道的像素值呈减小趋势,所述目标颜色通道表示的色彩为白色的对立色彩。
在一些实施例中,在利用所述目标色彩映射表对待处理图像中的各像素点的像素值进行映射处理之前,所述方法还包括:
对所述待处理图像各像素点的目标颜色通道的通道像素值进行量化处理;
利用所述目标色彩映射表对待处理图像中的各像素点的像素值进行映射处理,包括:
利用所述目标色彩映射表对量化处理后的各像素点的像素值进行映射处理。
根据本公开实施例的第四方面,提供一种图像处理装置,所述装置包括:
获取模块,用于获取待处理图像以及参考信息,所述参考信息与所述待处理图像待转换的目标风格相关;
选择模块,用于针对预先设置的多种处理类型中的每种处理类型,基于所述参考信息从所述每种处理类型包括的多种图像处理算法中确定所述每种处理类型对应的目标图像处理算法,并确定所述目标图像处理算法对应的控制参数;其中,每种处理类型用于在对图像进行风格转换的过程中调整图像的一类特性,所述控制参数用于调整每种图像处理算法的处理效果;
处理模块,用于基于确定的目标图像处理算法以及所述控制参数对所述待处理图像进行处理,得到具有目标风格的目标图像。
根据本公开实施例的第五方面,提供一种图像处理装置,所述装置包括:
获取模块,用于获取待处理图像以及对所述待处理图像进行风格转换后的目标图像;所述目标图像具有目标风格;
风格转换模块,用于从所述待处理图像中截取目标对象对应的图像区域,对所述图像区域进行风格转换,得到具有所述目标风格的目标图像区域;
掩膜图确定模块,用于确定与所述目标图像区域对应的掩膜图,所述掩膜图的各像素的像素值表示所述目标图像区域在对应像素位置的像素的融合权重;
融合模块,用于基于所述掩膜图对所述目标图像区域与所述目标图像进行融合处理,得到融合后的图像;其中,所述融合后的图像中所述目标对象所在区域的像素值与所述目标图像区域中对应像素位置的像素值一致,所述融合后的图像中所述目标对象所在区域的周围区域的像素值由所述目标图像区域和所述目标图像各自在对应像素位置的像素值融合得到。
根据本公开实施例的第六方面,提供一种图像处理装置,所述装置包括:
获取模块,用于获取待处理图像;
映射模块,用于利用预设的色彩映射表对待处理图像中的各像素点的像素值进行映射处理,得到美白后的图像,其中,映射后的像素点在目标颜色通道的像素值呈减小趋势,所述目标颜色通道表示的色彩为白色的对立色彩。
根据本公开实施例的第七方面,提供一种电子设备,所述电子设备包括处理器、存储器、存储在所述存储器可供所述处理器执行的计算机指令,所述处理器执行所述计算机指令时,可实现上述第一方面、第二方面以及第三方面提及的方法。
根据本公开实施例的第八方面,提供一种计算机可读存储介质,所述存储介质上存储有计算机指令,所述计算机指令被执行时实现上述第一方面、第二方面以及第三方面提及的方法。
本公开实施例中,针对图像风格转换的场景,可以存储预先设计一套算法框架,该算法框架中预先设置了图像进行风格转化过程中涉及的多种处理类型,其中,针对每种处理类型,又设置了多种相应的图像处理算法。在对图像进行风格转换时,可以获取待处理图像以及与待处理图像待转换的目标风格相关的参考信息,然后针对预先设置的多种处理类型中的每种处理类型,可以根据该参考信息从每种处理类型包括的多种图像处理算法中确定目标图像处理算法,以及该目标图像处理算法对应的控制参数,然后利用确定的目标图像处理算法和控制参数对待处理图像进行处理,得到具有目标风格的目标图像。通过这种方式,在对图像进行风格转换时,可以不用局限于预设的固定风格对应的图像处理算法流程,而是可以动态的实时的自动生成新风格对应的图像处理算法流程,得到具有新风格的图像,使得处理后的图像风格种类更多,更加的灵活,并且可以满足用户在不同场景下的需求,提升用户体验。
本公开实施例中,在将待处理图像中目标对象对应的图像区域转换成具有目标风格的目标图像区域后,可以结合该目标图像区域的特点确定和该目标图像区域适配的掩膜图,利用该掩膜图对目标图像区域和具有目标风格的目标图像进行融合处理,从而融合后的图像中目标对象所在区域的像素值和目标图像区域对应像素位置的像素值一致,确保融合后的图像可以清晰地呈现风格转换后的目标对象,同时,融合后的图像中目标对象所在区域的周围区域的像素值则可以基于目标图像区域和目标图像各自在对应像素位置的像素值融合得到,从而两帧图像融合位置处过渡更加自然,避免目标对象周围区域存在明显的融合边界。本公开实施例中,在对图像进行美白处理的过程中,可以利用预先设置的色彩映射表对图像的像素值进行映射处理,映射后的图像在白色的对立色彩通道的像素值整体呈减弱趋势,通过减弱图像中白色的对立色,从而图像整体的色调变白,达到美白效果。通过预先设置色彩映射表对图像的像素值进行映射处理以实现美白,可以大大提高处理效率,同时,由于仅对白色对立的色彩通道的像素值进行减弱处理,处理方式更加便捷,相比于一些复杂的处理方式,可以保证处理效果的稳定性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1是本公开实施例的一种图像处理方法的流程图。
图2是本公开实施例的一种图像处理方法的示意图。
图3是本公开实施例的一种用户交互界面的示意图。
图4是本公开实施例的一种用户交互界面的示意图。
图5是本公开实施例的一种包含色块的图像的示意图。
图6是本公开实施例的一种存在明显融合边界的图像的示意图。
图7是本公开实施例的一种根据目标图像区域设计掩膜图的示意图。
图8是本公开实施例的一种确定目标图像区域中的目标对象的边界与目标图像区域的边界的距离的示意图。
图9-图10是本公开实施例的一种图像处理方法的流程图。
图11是本公开实施例的一种图像处理方法的示意图。
图12-图14是本公开实施例的一种图像处理装置的逻辑结构示意图。
图15是本公开实施例的一种设备的逻辑结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使本技术领域的人员更好的理解本公开实施例中的技术方案,并使本公开实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本公开实施例中的技术方案作进一步详细的说明。
目前很多图像处理软件、或者拍照应用软件都可以提供图像风格转换的功能,以便用户可以将原始图像转换成指定风格的目标图像。比如,一些拍照应用软件提供背景滤镜功能,可以将采集的原始图像转换成漫画风格的图像、卡通风格的图像或者素描风格的图像等。但是,目前用户在对图像风格进行转换时,转换后的风格只能是预先设置好的风格,用户无法对风格进行实时调整,而预先设置好的风格种类也比较有限,无法满足用户在不同场景下的需求。
比如,通常一种风格的背景滤镜背后都是对应一套固定的图像处理算法、各图像处理算法中的控制参数都是一样的,因而,用户选用某种风格的背景滤镜时,其对任意图像都是进行相同的处理,无法适应用户在不同场景下对图像的不同需求。以将图像转换为素描风格为例,在对图像风格进行转换的过程中,需要对图像中的线条(即图像中的边缘或轮廓部分)进行处理(比如,边缘增强、锐化等),由于素描风格滤镜背后对应的图像处理算法种类固定,且图像处理算法中的控制参数(比如,锐化的强度)固定,因而导致风格处理后的素描图像中线条粗细始终一致。但是针对不同的场景,用户可能希望风格转换得到的素描图像中线条粗细会有所差别,比如,有些场景希望边缘线条粗一些,有些场景希望边缘线条细一些。但是,目前的技术还无法实现该功能,即转换的风格种类一旦固定后,用户无法再更改,也无法生成新的风格。
基于此,本公开实时例提供了一种图像处理方法,可以预先构建风格转换的整体算法框架,算法框架中包含了风格转换所需的处理类型,以及每种处理类型下可用的图像处理算法,然后可以获取待处理图像以及与待转换的目标风格有关的参考信息,针对每种处理类型,从预先设置图像处理算法中选取与参考信息适配的图像处理算法,以及图像处理算法对应的控制参数,根据待转换的目标风格自动构建一套新的风格转换图像处理算法流程,然后利用该套图像处理算法流程对待处理图像进行处理,得到目标图像。通过这种方式,在对图像进行风格转换时,可以不用局限于预设的固定风格对应的图像处理算法流程,而是可以动态的实时的生成新风格对应的图像算法流程,得到具有新风格的图像,更加的灵活,并且可以满足用户在不同场景下的需求,提升用户体验。
本公开实施例提供的图像处理方法可以由安装有各类图像处理软件、拍照或摄影软件的电子设备、或集成有图像处理服务的电子设备执行。该电子设备可以是手机、电脑、平板、或者云端服务器等,本公开实施例不做限制。
本公开实施例的图像处理方法可以用于对图像的风格进行转换,该风格可以是与图像显示效果有关的各种属性信息,比如,图像的色彩、高动态范围(High Dynamic Range,HDR)、色调、整体的风格效果(比如,漫画、卡通、素描等)等。
以下结合图1和图2介绍该图像处理方法,如图1所示,为该图像处理方法的流程图,如图2所示,为该图像处理方法的示意图。
如图1所示,本公开实施例提供的图像处理方法可以包括以下步骤:
S102、获取待处理图像以及参考信息,所述参考信息与所述待处理图像待转换的目标风格相关;
在步骤S102中,可以获取用户输入的待处理图像以及参考信息,其中,参考信息可以是与待处理图像待转换的目标风格有关的各类信息,用于指示将待处理图像转换为何种风格。待处理图像可以是单独的图像,也可以是一段视频中的视频帧。在一些场景,可以给用户提供交互界面,以供用户导入待处理图像以及参考信息,或者也可以在用户拍摄完图像或视频后,将拍摄的图像或者视频帧作为待处理图像,然后再由用户输入参考信息。
S104、针对预先设置的多种处理类型中的每种处理类型,基于所述参考信息从所述每种处理类型包括的多种图像处理算法中确定所述每种处理类型对应的目标图像处理算法,并确定所述目标图像处理算法对应的控制参数,其中,每种处理类型用于在对图像进行风格转换的过程中调整图像的一类特性,所述控制参数用于调整每种图像处理算法的处理效果;
为了让用户可以实时的调整风格对应的图像处理算法,如图2所示,可以预先设置一套图像处理算法框架,该图像处理算法框架中可以包括图像风格转换过程中所需要的多种处理类型(如图2中的处理类型1-3)。其中,每种处理类型用于在对图像进行风格转换的过程中调整图像的一类特性,比如,该处理类型可以用于调整图像的色彩、用于调整图像的轮廓、用于对图像进行去噪等。举个例子,通常图像在进行风格转换过程中,会涉及以下处理类型:对图像的色彩进行调整,比如,图像的动态范围HDR、图像的对比度、饱和度、整体的色调、色域转换等;对图像中边缘像素进行处理,以得到图像中的边缘线条(即图像中的轮廓),比如,边缘增强处理、锐化处理等;对图像中的目标对象进行美颜处理,比如,对图像中的人物进行美白、磨皮等处理;在图像中增加色块的处理,其中,色块为图像中一些颜色不同的图像块,比如,针对一些漫画风格的图像,其背景中通常会包含色块,使其更加贴近漫画风格;去噪处理,比如,去除图像中的噪声,提高图像质量等。当然,还可以设置其他的处理类型,具体可以根据实际需求灵活设置。
其次,针对每种处理类型,又可以为其设置多种图像处理算法,该多种图像处理算法可用于调整图像的同一类型的特性。如图2中,针对处理类型1,可以设置算法A1、算法A2、算法A3等,不同图像处理算法可用于对图像的同一特性进行调整,不同算法所呈现的最终效果存在差异。比如,同样是去噪处理,其对应的图像处理算法存在很多种,比如,双边滤波去噪,这种去噪方式可以保留图像边缘;高斯滤波去噪、中值滤波去噪等等,每种去噪算法都有各自的特点。再比如,对于美颜处理,其也存在多种图像处理算法,比如,磨皮算法、美白算法、提亮肤色的算法等等。
此外,针对各图像处理算法,算法中可以包括一些控制参数,这些控制参数可以用于调整图像处理算法的处理效果。比如,控制参数可以是去噪强度、磨皮程度、美白程度、在图像中生成的色块的大小、图像轮廓线条的粗细等。这些控制参数可以人为调整,以对处理后的图像最终呈现的效果进行调整。比如,以磨皮算法为例,可以通过一些控制参数来调整磨皮的程度,以到达不同的磨皮效果。以生成色块的算法为例,可以通过一些控制参数来调整生成色块的数量、大小和密集程度等。当然,这些控制参数可以是固定的,也可以是可调节的。比如,在有些场景,每种算法对应的控制参数可以预先设置好,当用户选择该算法后,算法对应的控制参数也确定下来了。在一些场景,为了更精细化的对图像进行处理,算法对应的控制参数也可以设置成可调的,比如,可以基于参考信息实时调整。
在步骤S104中,在获取到待处理图像和参考信息后,可以针对预先设置的多种处理类型中的每种处理类型,根据该参考信息从每种处理类型包括的多种图像处理算法中确定每种处理类型对应的目标图像处理算法,以及该目标图像处理算法对应的控制参数,即确定一套新风格的图像处理算法流程(如图2中的算法A2+算法B2+算法C1+算法D3)。举个例子,比如,可以得到一套图像处理算法流程如下:对比度调整+双边滤波处理+磨皮处理+色块生成处理。
S106、基于所确定的目标图像处理算法以及所述控制参数对所述待处理图像进行处理,得到具有目标风格的目标图像。
在步骤S106中,在确定每种处理类型对应的目标图像处理算法,以及每种目标图像处理算法对应的控制参数后,可以基于该目标图像处理算法和控制参数对图像进行处理,得到具有目标风格的图像。比如,如果确定图像处理算法为:对比度调整+双边滤波处理+磨皮处理+色块生成处理,则可以根据各图像处理算法对应的控制参数,利用上述图像处理算法依次对待处理图像进行处理,得到最终的图像。
在一些实施例中,在获取参考信息时,可以获取执行该图像处理方法的设备通过交互界面接收的风格转换指令,该风格转换指令中包括被选择的图像处理算法,以及该图像处理算法对应的控制参数,然后在交互界面中显示利用该被选择的图像处理算法以及对应的控制参数对待处理图像进行处理后的预览图。
比如,参考信息可以是通过交互界面接收的用户选取的图像处理算法,以及通过交互界面接收的用户针对每种图像处理算法输入的控制参数。比如,如图3所示,为一个实施例中的用户交互界面的示意图,可以在用户交互界面上显示每种处理类型包括的多种图像处理算法,以便用户可以勾选。其中,为了方便用户选取合适的图像处理算法,可以在显示界面中展示每种图像处理算法的功能和效果,比如,可以通过文字或者图片的形式展示每种图像处理算法的处理效果。并且,针对图像处理算法的控制参数可调节的场景,可以在交互界面显示控制参数的推荐值,以便用户输入。并且,当通过交互界面接收到用户输入的一组控制参数后,还可以在交互界面展示不同控制参数对应的处理效果预览图,以便用户可以根据效果预览图选择合适的控制参数。在通过交互界面接收到用户选择的图像处理算法和控制参数后,可以在交互界面中显示利用该图像处理算法和对应的控制参数处理后的待处理图像的预览图,以便用户可以查看当前选取的图像处理算法和控制参数的处理效果。
在接收到用户输入的确认指令后,则可以将用户选取的图像处理算法作为目标图像处理算法,用户输入的控制参数作为该目标算法对应的控制参数。针对每种处理类型,均可以重复上述过程,确定该处理类型对应的目标图像处理算法,以得到新构建的一套图像处理算法流程。在一些实施例中,目标风格也可以是通过将已有风格进行融合得到的风格,比如,可以是融合素描、卡通、漫画三种风格得到的一种新风格。在获取参考信息时,可以获取通过交互界面接收的风格转换指令,该风格转换指令中包括预设的多种风格中的每种风格在风格转换过程中所占的比重信息。
比如,该参考信息也可以是通过交互界面接收到的用户输入的预设的多种风格中每种风格的比重信息。如图4所示,为一个实施例的用户交互界面示意图,可以在交互界面中显示多种风格的效果预览图,然后可以接收用户根据预览图输入的每种风格在风格转换过程中的比重信息。举个例子,假设预设的风格为卡通风格、漫画风格、以及素描风格,用户希望最终得到的目标图像同时兼具上述三种风格的特点,因而,可以接收用户基于期望得到的目标图像中上述三种风格在整体效果中的影响程度确定的比重信息,比如,假设用户希望图像整体成漫画风格,同时有一点素描风格和卡通风格的倾向,因而,可以接收用户通过交互界面输入的三种风格的比重为0.8:0.2:0.2。由于预设的每种风格都有一套固定的图像处理算法流程,以及图像处理算法流程中每种算法的控制参数也都是已知的,因而,在基于参考信息确定所述每种处理类型对应的目标图像处理算法,以及目标图像处理算法对应的控制参数时,可以结合该比重信息、每种风格对应的一套图像处理算法、以及各图像处理算法对应的控制参数,确定目标图像处理算法,以及目标图像处理算法对应的控制参数。
在一些实施例中,在基于每种风格的比重信息确定目标图像处理算法以及控制参数时,可以针对每种处理类型,确定该预设的多种风格中每种风格对应的图像处理算法以及图像处理算法对应的控制参数,如果该种处理类型中,这多种风格对应的图像处理算法不同,则选择比重信息最大的风格对应图像处理算法作为目标图像处理算法,并将该图像处理算法对应的控制参数作为目标图像处理算法对应的控制参数。如果该种处理类型中,这多种风格对应的图像处理算法相同,则将该相同的图像处理算法作为目标图像处理算法,并基于每种风格的比重信息对每种风格对应的控制参数进行融合,作为目标图像处理算法对应的控制参数。
当然,实际在确定目标图像处理算法以及控制参数时,不局限于上述方式,可以基于实际需求灵活设置基于各风格对应的图像处理方法、控制参数以及比重信息确定目标图像处理算法、控制参数的方式。
在一些实施例中,在获取参考信息时,可以获取通过交互界面接收的风格转换指令,该风格转换指令中包括参考图像。比如,该参考信息也可以通过交互界面接收的用户输入的参考图像。当用户看到一张喜欢的风格的图像时,希望将自己拍摄的待处理图像的风格也转换成该风格。因而,可以接收用户输入的待处理图像和参考图像,然后可以先确定参考图像的风格,基于参考图像的风格自动从每种处理类型包括的多种图像处理算法中确定每种处理类型对应的目标图像处理算法,以及所述该目标图像处理算法对应的控制参数。即可以根据参考图像自动确定出一套图像处理算法流程,使得利用该套图像处理算法流程处理后的图像的风格与参考图像的风格接近。
在一些实施例中,可以存储预先设置的映射关系,该映射关系表征各图像风格与图像处理算法、控制参数之间的对应关系,然后可以基于参考图像的风格以及预先设置的映射关系,从每种处理类型包括的多种图像处理算法中确定每种处理类型对应的目标图像处理算法,以及目标图像处理法对应的控制参数。
在一些实施例中,该预设的多种处理类型包括以下一种或多种:对图像的色彩进行调整,比如,调整对比度、饱和度、亮度、HDR、色域转换等;对图像中的边缘像素的强度进行调整,其中,边缘像素为图像中像素值变化程度大于预设阈值的像素,即图像中的高频部分,通过对边缘像素增强、锐化等处理,可以控制图像中的线条(轮廓)的呈现效果;对图像中的目标对象进行美颜处理,比如,可以对人脸、或者人的手臂等进行磨皮、美白等处理;以及在图像背景中生成色块,色块即颜色不同的图像块,比如,如图5所示,为一帧包含色块的图像(其中,图像背景中灰度深浅不一致的图像块即为色块),通过在图像生成色块,使得图像可以更加贴近漫画风格。
在一些实施例中,在利用确定的目标图像处理算法和控制参数对待处理图像进行处理,得到具有目标风格的目标图像后,可以通过交互界面显示目标图像,以供用户查看。如果用户觉得目标图像的风格即为自己心仪的风格,即可以点击交互界面的按钮,发出存储该图像的存储指令,在获取到用户的存储指令后,即可以存储该目标图像。
在一些实施例中,用户看到显示的目标图像后,如果觉得目标图像当前的风格还不是自己想要的风格,则可以修改参考信息,比如,修改每种处理类型对应的图像处理算法,或者修改图像处理算法对应的控制参数,或者修改每种风格的比重信息。在获取到用户输入的修改后的参考信息后,可以根据修改后的参考信息重新确定每种处理类型对应的目标图像处理算法,以及目标图像处理算法对应的控制参数,并基于重新确定的目标图像处理算法以及控制参数对待处理图像进行处理,用户可以多次调整参考信息,直至目标图像的风格达到用户的预期。
通常在对图像进行风格转换时,针对图像中的某些关键的目标对象,比如,前景对象或感兴趣的对象,可以截取出来,利用精度更高的神经网络或算法输出这些目标对象风格转换后的图像,而对于图像背景或者更不重要的部分,则可以用一般的算法来进行风格的转换(避免利用神经网络或高精度算法对整张图像进行处理,消耗计算资源多,在性能一般的终端上无法部署),从而既可以保证风格转换的精度,又可以提高处理效率。在将目标对象和待处理图像进行风格转换后,可以将风格转换后的目标对象对应的图像区域替换风格转换后的待处理图像中目标对象的区域,从而得到最终的目标图像。由于目标对象和待处理图像是由两种不同的处理方式处理得到,在将风格转换后的目标对象替换风格转换后的待处理图像中目标对象时,通常会在边界位置形成明显的融合边界,严重影响图像的显示效果,如图6所示,人脸脖子处理存在明显的融合边界。
为了解决上述问题,在一些实施例中,在对待处理图像进行风格转换得到目标图像的过程中,还可以从待处理图像中截取目标对象对应的图像区域,对该图像区域进行风格转换,得到风格转换后的目标图像区域。然后可以确定与该目标图像区域对应的掩膜图,掩膜图的各像素的像素值表示目标图像区域在对应像素位置的像素的融合权重;然后可以基于掩膜图对目标图像区域与目标图像进行融合处理,得到融合后的图像。其中,可以通过设计合理的掩膜图,使得融合后的图像中目标对象所在区域的像素值与目标图像区域中对应像素位置的像素值一致,以在融合后的图像中保留风格转换后的目标对象。此外,为了消除融合边界,融合后的图像中目标对象所在区域的周围区域的像素值由目标图像区域和目标图像各自在对应像素位置的像素值融合得到。即针对目标对象周围的图像区域,可以通过目标图像区域和目标图像融合得到,从而使得过渡更加自然,不会存在明显的边界。
在一些实施例中,掩膜图包括与目标图像区域中的目标对象对应的目标对象区域,以及位于该目标对象区域周围的过渡区域,目标对象区域的像素值为第一数值,比如,第一数值可以是1,表示目标图像区域中目标对象所在区域的融合权重为1。过渡区域的像素值位于目标数值范围之间,且由靠近目标对象区域一侧向远离目标对象区域一侧递减,比如,目标数值范围可以是0-1,表示目标图像区域中目标对象所在区域的周围区域的融合权重逐渐由1递减至0。需要指出的是,以上数值只是示例性例子,并不局限于上述数值。
比如,如图7所示,目标图像区域为一个漫画人脸图像,其对应的掩膜图如图中的右图所示,其中,该掩膜图的各像素的像素值表示目标图像区域在对应像素位置的像素的融合权重。该掩膜图包括位于掩膜图中间位置的目标对象区域,如右图中的白色区域,其对应漫画人脸图像中的人脸部分,以及位于目标对象区域周围的过渡区域,如右图的黑白混色的区域,其对应漫画人脸图像中人脸周围的部分,目标对象区域的像素值为1,表示该位置上目标图像区域的融合权重为1,即人脸部分的融合权重为1,过渡区域的像素值位于0-1之间,且由靠近目标对象区域一侧向远离目标对象区域一侧递减,表示该位置上目标图像区域的融合权重逐渐由1递减至0(即人脸周围的部分的权重为0-1之间,即由漫画人脸图像和背景融合得到),保证融合部分自然过渡。在得到掩膜图后,可以基于该掩膜图对目标图像区域与目标图像进行加权融合处理,得到融合图像,融合图像即为目标对象和背景图像均完成风格转换后的图像。
通过根据目标图像区域设置掩膜图,并在掩膜图中设置目标对象区域和过渡区域,可以消除前景和背景在融合过程中的边界,提升融合后的图像的显示效果。
在一些实施例中,为了保证融合过程中不会影响到目标对象,使得目标对象尽可能完整。在设计掩膜图时,掩膜图中目标对象区域包括对应于目标图像区域中目标对象的位置区域,且所述目标对象区域不小于目标对象的位置区域。即掩膜图中的目标对象区域应可覆盖目标图像区域中的目标对象。以图7为例,即掩膜图中的白色区域可覆盖漫画人脸图像中的人脸区域。
在一些实施例中,在设计与目标图像区域对应的掩膜图时,可以根据目标图像区域中目标对象的属性信息确定该掩膜图。其中,属性信息可以是以下一种或多种,该目标对象的形状、目标对象的大小、目标图像区域在目标方向上的边界与目标对象在该目标方向上的边界的距离。其中,在一些实施例中,该目标方向包括以下一个或多个:上、下、左、右方向。举个例子,如图8所示,目标图像区域为漫画人脸图像,该漫画人脸图像中人脸在上下左右方向的边界与该图像在上下左右方向的边界的距离分别为a、b、c、d,因而在设计掩膜图时,可以结合a、b、c、d确定目标对象区域,确保目标对象区域在上下左右方向的边界与该掩膜图在上下左右方向的边界的距离依次不大于a、b、c、d,确保人脸的完整性。
在一些实施例中,对所述图像区域进行风格转换,得到风格转换后的目标图像区域可以通过预先训练的神经网络实现。其中,为了让目标图像区域在与背景图像融合时,可以得到更好的显示效果,在训练神经网络时,可以控制神经网络输出的风格转换后的目标对象尽量位于输出图像的中间区域,避免目标对象位于太靠图像边缘的位置,导致融合过程如果尽量保持目标对象的完整性,则会有较明显的融合边界,如果要消除融合边界,则又可能导致目标对象的边缘模糊,不够完整。比如,神经网络输出的目标图像区域中的目标对象在目标方向上的边界与该目标图像区域在目标方向上的边界的距离在预设距离范围内,该目标方向包括以下一个或多个:上、下、左、右方向。以图8为例,目标图像区域为漫画人脸图像,该漫画人脸图像中人脸在上下左右方向的边界与该图像在上下左右方向的边界的距离分别为a、b、c、d,为了尽量保证人脸位于图像中间区域,可以控制a、b、c、d依次位于对应的预设距离范围内,以便融合后的图像具有更好效果。
在一些实施例中,该目标图像处理算法包括用于对待处理图像进行美白处理的算法,在基于该目标图像处理算法以及该目标图像处理算法对应的控制参数对待处理图像进行处理时,可以基于该控制参数从预设的多个色彩映射表中选取目标色彩映射表,然后利用所选取的目标色彩映射表对待处理图像中的各像素点的像素值进行映射处理,其中,映射后的像素点在目标颜色通道的像素值整体呈减小趋势,该控制参数用于控制目标颜色通道的像素值的减弱程度。其中,目标颜色通道表示的色彩为白色的对立色彩,即目标颜色通道的色彩减弱后,即图像会变得更白。
比如,由于红色和绿色融合后的颜色即为白色,而蓝色则为白色的对立色,如果要对图像进行美白处理,可以让图像中B通道的像素值减弱,则图像整体色调自然会变白,并且通过改变一个B通道的像素值,可以保持R、G两个通道不变,使得处理效果更稳定且更不容易引发别的问题。因而,在对图像进行美白处理时,可以减弱像素点B通道的像素值,来达到美白的效果。并且,为了提高处理效率,可以预先设置好多个色彩映射表,利用这些色彩映射表对图像的像素值进行映射后,可以使得图像的像素点的B通道值整体呈减小的趋势,以实现美白。其中,算法的控制参数用于调整图像B通道值的减弱程度(即美白程度),而不同的色彩映射表可以对应不同的减弱程度,因而可以基于算法的控制参数所指示的减弱程度选取目标色彩映射表,再利用目标色彩映射表对图像中的像素点进行映射处理。
在一些实施例中,在对图像进行映射处理,以实现美白之前,可以先对待处理图像各像素点的目标颜色通道的像素值进行量化处理,然后利用目标色彩映射表对量化处理后的图像中的各像素点的像素值进行映射处理。由于图像中的皮肤区域可能存在痘痘、或坑坑坑洼洼的现象,可以对图像进行量化处理,量化处理的目的是为了消除坑坑洼洼的现象,使得图像中皮肤对应的区域变得更加光滑,以达到更好的美白效果。
进一步的,本公开实施例还提供了另一种图像处理方法,用于在对风格转换后的两帧图像进行融合时,消除融合边界,得到过渡更加自然的融合图像。
如图9所示,该方法包括以下步骤:
S902、获取待处理图像以及对所述待处理图像进行风格转换后的目标图像;所述目标图像具有目标风格;
其中,对待处理图像进行风格转换得到目标图像可以采用上述实施例中介绍的方法,也可以采用其他的方法,本公开实施例不做限制。
S904、从所述待处理图像中截取目标对象对应的图像区域,对所述图像区域进行风格转换,得到具有所述目标风格的目标图像区域;
S906、确定与所述目标图像区域对应的掩膜图,所述掩膜图的各像素的像素值表示所述目标图像区域在对应像素位置的像素的融合权重;
S908、基于所述掩膜图对所述目标图像区域与所述目标图像进行融合处理,得到融合后的图像;其中,所述融合后的图像中所述目标对象所在区域的像素值与所述目标图像区域中对应像素位置的像素值一致,融合后的图像中所述目标对象所在区域的周围区域的像素值由所述目标图像区域和所述目标图像各自在对应像素位置的像素值融合得到。
本公开实施例中,在将待处理图像中目标对象对应的图像区域转换成具有目标风格的目标图像区域后,可以结合该目标图像区域的特点确定和该目标图像区域适配的掩膜图,利用该掩膜图对目标图像区域和具有目标风格的目标图像进行融合处理,从而融合后的图像中目标对象所在区域的像素值和目标图像区域对应像素位置的像素值一致,确保融合后的图像可以清晰地呈现风格转换后的目标对象,同时,融合后的图像中目标对象所在区域的周围区域的像素值则可以基于目标图像区域和目标图像各自在对应像素位置的像素值融合得到,从而两帧图像融合位置处过渡更加自然,避免目标对象周围区域存在明显的融合边界。
在一些实施例中,所述掩膜图包括与所述目标图像区域中的目标对象对应的目标对象区域,以及位于所述目标对象区域周围的过渡区域,所述目标对象区域的像素值为第一数值,所述过渡区域的像素值位于目标数值范围之间,且由靠近所述目标对象区域一侧向远离所述目标对象区域一侧递减。
在一些实施例中,所述掩膜图中目标对象区域包括对应于所述目标图像区域中所述目标对象的位置区域,且所述目标对象区域不小于所述目标对象的位置区域。
在一些实施例中,所述确定与所述目标图像区域对应的掩膜图,包括:
基于所述目标图像区域中所述目标对象的属性信息确定所述掩膜图,所述属性信息至少包括以下一种或多种:所述目标对象的形状、所述目标对象的大小、所述目标图像区域在目标方向上的边界与所述目标对象在所述目标方向上的边界的距离。
在一些实施例中,所述对所述图像区域进行风格转换,得到风格转换后的目标图像区域,包括
通过预先训练的神经网络对所述图像区域进行风格转换,得到所述目标图像区域;其中,所述目标图像区域中的所述目标对象在目标方向上的边界与所述目标图像区域在所述目标方向上的边界的距离在预设距离范围内。
其中,上述采用掩膜图对目标图像区域和目标图像进行融合的具体实现过程可以参考上述实施例中的描述,在此不再赘述。此外,本公开实施例公开了另一种图像处理方法,用于实现更稳定、更高效的对图像进行美白处理。如图10所示,该图像处理方法包括以下步骤:
S1002、获取待处理图像;
S1004、利用预设的色彩映射表对待处理图像中的各像素点的像素值进行映射处理,得到美白后的图像,其中,映射后的像素点在目标颜色通道的像素值呈减小趋势。
本公开实施例中,在对图像进行美白处理的过程中,可以利用预先设置的色彩映射表对图像的像素值进行映射处理,映射后的图像在白色的对立色彩通道的像素值整体呈减弱趋势,通过减弱图像中白色的对立色,从而图像整体的色调变白,达到美白效果。通过预先设置色彩映射表对图像的像素值进行映射处理以实现美白,可以大大提高处理效率,同时,由于仅对白色对立的色彩通道的像素值进行减弱处理,处理方式更加便捷,相比于一些复杂的处理方式,可以保证处理效果的稳定性。
在一些实施例中,在利用所述目标色彩映射表对待处理图像中的各像素点的像素值进行映射处理之前,所述方法还包括:
对所述待处理图像各像素点的目标颜色通道的像素值进行量化处理;
利用所述目标色彩映射表对待处理图像中的各像素点的像素值进行映射处理,包括:
利用所述目标色彩映射表对量化处理后的各像素点的像素值进行映射处理。
其中,上述对图像进行美白处理的过程,可以参考上述实施例中的描述,在此不再赘述。
其中,需要指出的是,本公开实施例提供的三种图像处理方法中的各实施例在不冲突的情况下,可以相互结合,得到新的实施例,鉴于篇幅原因,在此不再一一例举。
为了进一步解释本公开实施例提供的图像处理方法,以下结合一个具体的实施例加以解释。
通常可以对图像进行风格转换处理,以得到目标风格的图像。如图11所示,为一种图像在进行风格转换的示意图,具体如下:
(1)从待处理图像A截取人脸区域A1,将人脸区域A1输入到神经网络中,得到漫画人脸图像B,其中,为了保证漫画人脸图像B和背景图像融合后的融合效果,神经网络输出的漫画人脸图像B中的漫画人脸在上下左右的边界与漫画人脸图像B在上下左右的边界的距离应为预设距离,以尽量保证漫画人脸位于漫画人脸图像的中间区域。
(2)可以提供一交互界面,交互界面显示由预先设置的图像处理算法框架中的包含的处理类型,以及每种处理类型包括的多种图像处理算法,然后可以通过交互界面接收用户基于背景图像想要的风格从每种处理类型包括的多种图像处理算法中,选择的每种处理类型对应的目标图像处理算法,以及输入的该目标图像处理算法对应的控制参数。为了方便用户选择,在接收到用户选择的图像处理算法和控制参数后,可以在交互界面中会显示相应的预览图,以便用户可以知道当前算法处理的图像呈现的效果,以辅助用户进行图像处理算法的选择,以及控制参数的确定。在接收到用户输入的目标图像处理算法和控制参数后,即可以构建了一套新的图像处理算法流程,然后可以按照该图像处理算法流程对待处理图像进行处理,得到风格转换后的目标图像。
(3)根据漫画人脸图像中人脸的形状、大小,以及人脸在上下左右的边界与漫画人脸图像在上下左右的边界的距离生成掩膜图,其中,掩膜图包括位于中间位置的目标对象区域,以及围绕中间区域的过渡区域,其中,目标对象区域的像素值为1,表示漫画人脸图像中与该目标对象区域对应像素位置的像素点的融合权重为1,过渡区域的像素值为0-1,表示漫画人脸图像中与该过渡区域对应像素位置的像素点的融合权重为0-1之间。为了不影响漫画人脸的完整性,需确保该目标对象区域可以覆盖该漫画人脸。
(4)在确定掩膜图后,可以根据掩膜图对漫画人脸图像和目标图像进行融合,得到融合后的图像,即为前景和背景都进行风格转换后的图像。
本实施例中,通过根据漫画人脸的属性信息设计掩膜图中的目标对象区域和过渡区域,可以确保漫画人脸在融合过程中不受影响,同时通过设计渡区域,可以消除融合边界,提升融合后的图像的显示效果,使得图像过渡更自然。并且在对背景图像进行风格转换时,通过预先设置好图像处理算法框架,用户可以从中选择图像处理算法和调整控制参数,使得可转换的风格不在局限于预设的风格,而是可以实时生成和调整,更加灵活,可以满足用户在不同场景下的需求。
其中,不难理解,上述各实施例中的描述的方案在不存在冲突的情况,可以进行组合,本公开实施例中不一一例举。
相应的,本公开实施例还提供了一种图像处理装置,如图12所示,所述装置包括:
获取模块121,用于获取待处理图像以及参考信息,所述参考信息与所述待处理图像待转换的目标风格相关;
选择模块122,用于针对预先设置的多种处理类型中的每种处理类型,基于所述参考信息从所述每种处理类型包括的多种图像处理算法中确定所述每种处理类型对应的目标图像处理算法,并确定所述目标图像处理算法对应的控制参数;其中,每种处理类型用于在对图像进行风格转换的过程中调整图像的一类特性,所述控制参数用于调整每种图像处理算法的处理效果;
处理模块123,用于基于确定的目标图像处理算法以及所述控制参数对所述待处理图像进行处理,得到具有目标风格的目标图像。
在一些实施例中,所述获取模块用于获取参考信息时,具体用于:
获取通过交互界面接收的风格转换指令,所述风格转换指令中包括被选择的图像处理算法,以及所述图像处理算法对应的控制参数;
在所述交互界面中显示利用所述被选择的图像处理算法以及对应的控制参数对所述待处理图像进行处理后的预览图。
在一些实施例中,所述获取模块用于获取参考信息时,具体用于:
获取通过交互界面接收的风格转换指令,所述风格转换指令中包括预设的多种风格中的每种风格在风格转换过程中所占的比重信息;
所述选择模块用于基于所述参考信息从所述每种处理类型包括的若干多种图像处理算法中确定所述每种处理类型对应的目标图像处理算法,以及所述目标图像处理算法对应的控制参数时,具体用于:
针对每种处理类型,分别执行以下操作:
确定所述预设的多种风格中每种风格对应的图像处理算法以及所述图像处理算法对应的控制参数;
在所述预设的多种风格对应的图像处理算法不同的情况下,选择所述比重信息最大的风格对应图像处理算法作为所述目标图像处理算法,并将所述图像处理算法对应的控制参数作为所述目标图像处理算法对应的控制参数;
在所述预设的多种风格对应的图像处理算法相同的情况下,将所述图像处理算法作为目标图像处理算法,并基于每种风格的比重信息对每种风格对应的所述控制参数进行融合,作为所述目标图像处理算法对应的控制参数。
在一些实施例中,所述获取模块用于获取参考信息时,具体用于:
获取通过交互界面接收的风格转换指令,所述风格转换指令中包括参考图像;
所述选择模块用于基于所述参考信息从所述每种处理类型包括的若干多种图像处理算法中确定所述每种处理类型对应的目标图像处理算法,以及所述目标图像处理算法对应的控制参数时,具体用于:
基于所述参考图像的风格以及预先设置的映射关系,从所述每种处理类型包括的若干多种图像处理算法中确定所述每种处理类型对应的目标图像处理算法,以及所述目标图像处理算法对应的控制参数,其中,所述映射关系用于表征图像风格与图像处理算法、以及控制参数之间的对应关系。
在一些实施例中,所述预设的多种处理类型包括以下一种或多种:
对图像的色彩进行调整、对图像中的边缘像素进行增强处理、对图像中的目标对象进行美颜处理、在图像中生成多个色块,其中,所述边缘像素包括像素值变化程度大于预设阈值的像素,所述色块为颜色不同的图像块。
在一些实施例中,所述目标图像处理算法包括用于对所述待处理图像进行美白处理的算法,所述处理模块用于基于所述目标图像处理算法以及所述控制参数对所述待处理图像进行处理时,具体用于:
基于所述控制参数从预设的多个色彩映射表中选取目标色彩映射表;
利用所述目标色彩映射表对待处理图像中的各像素点的像素值进行映射处理,其中,映射后的像素点在目标颜色通道的像素值呈减小趋势,所述控制参数用于控制所述目标颜色通道的像素值的减弱程度,所述目标颜色通道表示的色彩为白色的对立色彩。
在一些实施例中,在利用所述目标色彩映射表对待处理图像中的各像素点的像素值进行映射处理之前,所述装置还用于:
对所述待处理图像各像素点的目标颜色通道的通道像素值进行量化处理;
利用所述目标色彩映射表对待处理图像中的各像素点的像素值进行映射处理,包括:
利用所述目标色彩映射表对量化处理后的各像素点的像素值进行映射处理。
在一些实施例中,所述装置还用于:
从所述待处理图像中截取目标对象对应的图像区域,对所述图像区域进行风格转换,得到具有所述目标风格的目标图像区域;
确定与所述目标图像区域对应的掩膜图,所述掩膜图的各像素的像素值表示所述目标图像区域在对应像素位置的像素的融合权重;
基于所述掩膜图对所述目标图像区域与所述目标图像进行融合处理,得到融合后的图像;其中,所述融合后的图像中所述目标对象所在区域的像素值与所述目标图像区域中对应像素位置的像素值一致,所述融合后的图像中所述目标对象所在区域的周围区域的像素值由所述目标图像区域和所述目标图像各自在对应像素位置的像素值融合得到。
在一些实施例中,所述掩膜图包括与所述目标图像区域中的目标对象对应的目标对象区域,以及位于所述目标对象区域周围的过渡区域,所述目标对象区域的像素值为第一数值,所述过渡区域的像素值位于目标数值范围之间,且由靠近所述目标对象区域一侧向远离所述目标对象区域一侧递减。
在一些实施例中,所述掩膜图中的目标对象区域包括对应于所述目标图像区域中所述目标对象的位置区域,且所述目标对象区域不小于所述目标对象的位置区域。
在一些实施例中,所述装置用于确定与所述目标图像区域对应的掩膜图时,具体用于:
基于所述目标图像区域中所述目标对象的属性信息确定所述掩膜图,所述属性信息至少包括以下一种或多种:所述目标对象的形状、所述目标对象的大小、所述目标图像区域在目标方向上的边界与所述目标对象在所述目标方向上的边界的距离。
在一些实施例中,所述装置用于对所述图像区域进行风格转换,得到风格转换后的目标图像区域时,具体用于:
通过预先训练的神经网络对所述图像区域进行风格转换,得到所述目标图像区域;其中,所述目标图像区域中的所述目标对象在目标方向上的边界与所述目标图像区域在所述目标方向上的边界的距离在预设距离范围内。
此外,本公开实施例还提供了另一种图像处理装置,如图13所示,所述装置包括:
获取模块131,用于获取待处理图像以及对所述待处理图像进行风格转换后的目标图像;所述目标图像具有目标风格;
风格转换模块132,用于从所述待处理图像中截取目标对象对应的图像区域,对所述图像区域进行风格转换,得到具有所述目标风格的目标图像区域;
掩膜图确定模块133,用于确定与所述目标图像区域对应的掩膜图,所述掩膜图的各像素的像素值表示所述目标图像区域在对应像素位置的像素的融合权重;
融合模块134,用于基于所述掩膜图对所述目标图像区域与所述目标图像进行融合处理,得到融合后的图像;其中,所述融合后的图像中所述目标对象所在区域的像素值与所述目标图像区域中对应像素位置的像素值一致,所述融合后的图像中所述目标对象所在区域的周围区域的像素值由所述目标图像区域和所述目标图像各自在对应像素位置的像素值融合得到。
在一些实施例中,所述掩膜图包括与所述目标图像区域中的目标对象对应的目标对象区域,以及位于所述目标对象区域周围的过渡区域,所述目标对象区域的像素值为第一数值,所述过渡区域的像素值位于目标数值范围之间,且由靠近所述目标对象区域一侧向远离所述目标对象区域一侧递减。
在一些实施例中,所述掩膜图中的目标对象区域包括对应于所述目标图像区域中所述目标对象的位置区域,且所述目标对象区域不小于所述目标对象的位置区域。
在一些实施例中,所述掩膜图确定模块用于确定与所述目标图像区域对应的掩膜图时,具体用于:
基于所述目标图像区域中所述目标对象的属性信息确定所述掩膜图,所述属性信息至少包括以下一种或多种:所述目标对象的形状、所述目标对象的大小、所述目标图像区域在目标方向上的边界与所述目标对象在所述目标方向上的边界的距离。
在一些实施例中,所述风格转换模块用于对所述图像区域进行风格转换,得到风格转换后的目标图像区域时,具体用于:
通过预先训练的神经网络对所述图像区域进行风格转换,得到所述目标图像区域;其中,所述目标图像区域中的所述目标对象在目标方向上的边界与所述目标图像区域在所述目标方向上的边界的距离在预设距离范围内。
此外,本公开实施例还提供了另一种图像处理装置,如图14所示,所述装置包括:
获取模块141,用于获取待处理图像;
映射模块142,用于利用预设的色彩映射表对待处理图像中的各像素点的像素值进行映射处理,得到美白后的图像,其中,映射后的像素点在目标颜色通道的像素值呈减小趋势,所述目标颜色通道表示的色彩为白色的对立色彩。
在一些实施例中,在利用所述目标色彩映射表对待处理图像中的各像素点的像素值进行映射处理之前,所述装置还用于:
对所述待处理图像各像素点的目标颜色通道的通道像素值进行量化处理;
利用所述目标色彩映射表对待处理图像中的各像素点的像素值进行映射处理,包括:
利用所述目标色彩映射表对量化处理后的各像素点的像素值进行映射处理。
其中,上述各图像处理装置执行图像处理方法的具体步骤可以参考上述方法实施例中的描述,在此不再赘述。
进一步的,本公开实施例还提供一种设备,如图15所示,所述设备150包括处理器151、存储器152、存储于所述存储器152可供所述处理器151执行的计算机指令,所述处理器151执行所述计算机指令时实现上述实施例中任一项所述的图像处理方法。
本公开实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述任一实施例所述的图像处理方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本公开实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,在实施本公开实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本公开涉及增强现实领域,通过获取现实环境中的目标对象的图像信息,进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理,从而得到与具体应用匹配的虚拟与现实相结合的AR效果。示例性的,目标对象可涉及与人体相关的脸部、肢体、手势、动作等,或者与物体相关的标识物、标志物,或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、SLAM、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景,还可以涉及与人相关的特效处理,比如,妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。可通过卷积神经网络,实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
以上所述仅是本公开实施例的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本公开实施例原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本公开实施例的保护范围。
Claims (18)
1.一种图像处理方法,其特征在于,所述方法包括:
获取待处理图像以及参考信息,所述参考信息与所述待处理图像待转换的目标风格相关;
针对预先设置的多种处理类型中的每种处理类型,基于所述参考信息从所述每种处理类型包括的多种图像处理算法中确定所述每种处理类型对应的目标图像处理算法,并确定所述目标图像处理算法对应的控制参数;其中,每种处理类型用于在对图像进行风格转换的过程中调整图像的一类特性,所述控制参数用于调整每种图像处理算法的处理效果;
基于确定的目标图像处理算法以及所述控制参数对所述待处理图像进行处理,得到具有目标风格的目标图像。
2.根据权利要求1所述的方法,其特征在于,所述获取参考信息包括:
获取通过交互界面接收的风格转换指令,所述风格转换指令中包括被选择的图像处理算法,以及所述图像处理算法对应的控制参数;
在所述交互界面中显示利用所述被选择的图像处理算法以及对应的控制参数对所述待处理图像进行处理后的预览图。
3.根据权利要求1所述的方法,其特征在于,所述获取参考信息包括:
获取通过交互界面接收的风格转换指令,所述风格转换指令中包括预设的多种风格中的每种风格在风格转换过程中所占的比重信息;
所述基于所述参考信息从所述每种处理类型包括的多种图像处理算法中确定所述每种处理类型对应的目标图像处理算法,以及所述目标图像处理算法对应的控制参数,包括:
针对每种处理类型,分别执行以下操作:
确定所述预设的多种风格中每种风格对应的图像处理算法以及所述图像处理算法对应的控制参数;
在所述预设的多种风格对应的图像处理算法不同的情况下,选择所述比重信息最大的风格对应图像处理算法作为所述目标图像处理算法,并将所述图像处理算法对应的控制参数作为所述目标图像处理算法对应的控制参数;
在所述预设的多种风格对应的图像处理算法相同的情况下,将所述图像处理算法作为目标图像处理算法,并基于每种风格的比重信息对每种风格对应的所述控制参数进行融合,作为所述目标图像处理算法对应的控制参数。
4.根据权利要求1所述的方法,其特征在于,所述获取参考信息包括:
获取通过交互界面接收的风格转换指令,所述风格转换指令中包括参考图像;
所述基于所述参考信息从所述每种处理类型包括的多种图像处理算法中确定所述每种处理类型对应的目标图像处理算法,以及所述目标图像处理算法对应的控制参数,包括:
基于所述参考图像的风格以及预先设置的映射关系,从所述每种处理类型包括的多种图像处理算法中确定所述每种处理类型对应的目标图像处理算法,以及所述目标图像处理算法对应的控制参数,其中,所述映射关系用于表征图像风格与图像处理算法、以及控制参数之间的对应关系。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述预设的多种处理类型包括以下一种或多种:
对图像的色彩进行调整、对图像中的边缘像素进行增强处理、对图像中的目标对象进行美颜处理、在图像中生成多个色块,其中,所述边缘像素包括像素值变化程度大于预设阈值的像素,所述色块为颜色不同的图像块。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述目标图像处理算法包括用于对所述待处理图像进行美白处理的算法,基于所述目标图像处理算法以及所述控制参数对所述待处理图像进行处理,包括:
基于所述控制参数从预设的多个色彩映射表中选取目标色彩映射表;
利用所述目标色彩映射表对待处理图像中的各像素点的像素值进行映射处理,其中,映射后的像素点在目标颜色通道的像素值呈减小趋势,所述控制参数用于控制所述目标颜色通道的像素值的减弱程度,所述目标颜色通道表示的色彩为白色的对立色彩。
7.根据权利要求6所述的方法,其特征在于,在利用所述目标色彩映射表对待处理图像中的各像素点的像素值进行映射处理之前,所述方法还包括:
对所述待处理图像各像素点的目标颜色通道的像素值进行量化处理;
利用所述目标色彩映射表对待处理图像中的各像素点的像素值进行映射处理,包括:
利用所述目标色彩映射表对量化处理后的各像素点的像素值进行映射处理。
8.一种图像处理方法,其特征在于,所述方法包括:
获取待处理图像以及对所述待处理图像进行风格转换后的目标图像;所述目标图像具有目标风格;
从所述待处理图像中截取目标对象对应的图像区域,对所述图像区域进行风格转换,得到具有所述目标风格的目标图像区域;
确定与所述目标图像区域对应的掩膜图,所述掩膜图的各像素的像素值表示所述目标图像区域在对应像素位置的像素的融合权重;
基于所述掩膜图对所述目标图像区域与所述目标图像进行融合处理,得到融合后的图像;其中,所述融合后的图像中所述目标对象所在区域的像素值与所述目标图像区域中对应像素位置的像素值一致,所述融合后的图像中所述目标对象所在区域的周围区域的像素值由所述目标图像区域和所述目标图像各自在对应像素位置的像素值融合得到。
9.根据权利要求8所述的方法,其特征在于,所述掩膜图包括与所述目标图像区域中的目标对象对应的目标对象区域,以及位于所述目标对象区域周围的过渡区域,所述目标对象区域的像素值为第一数值,所述过渡区域的像素值位于目标数值范围之间,且由靠近所述目标对象区域一侧向远离所述目标对象区域一侧递减。
10.根据权利要求9所述的方法,其特征在于,所述掩膜图中的目标对象区域包括对应于所述目标图像区域中所述目标对象的位置区域,且所述目标对象区域不小于所述目标对象的位置区域。
11.根据权利要求8-10任一项所述的方法,其特征在于,所述确定与所述目标图像区域对应的掩膜图,包括:
基于所述目标图像区域中所述目标对象的属性信息确定所述掩膜图,所述属性信息至少包括以下一种或多种:所述目标对象的形状、所述目标对象的大小、所述目标图像区域在目标方向上的边界与所述目标对象在所述目标方向上的边界的距离。
12.根据权利要求8-11任一项所述的方法,其特征在于,所述对所述图像区域进行风格转换,得到风格转换后的目标图像区域,包括:
通过预先训练的神经网络对所述图像区域进行风格转换,得到所述目标图像区域;其中,所述目标图像区域中的所述目标对象在目标方向上的边界与所述目标图像区域在所述目标方向上的边界的距离在预设距离范围内。
13.一种图像处理方法,其特征在于,所述方法包括:
获取待处理图像;
利用预设的色彩映射表对待处理图像中的各像素点的像素值进行映射处理,得到美白后的图像,其中,映射后的像素点在目标颜色通道的像素值呈减小趋势,所述目标颜色通道表示的色彩为白色的对立色彩。
14.一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取待处理图像以及参考信息,所述参考信息与所述待处理图像待转换的目标风格相关;
选择模块,用于针对预先设置的多种处理类型中的每种处理类型,基于所述参考信息从所述每种处理类型包括的多种图像处理算法中确定所述每种处理类型对应的目标图像处理算法,并确定所述目标图像处理算法对应的控制参数;其中,每种处理类型用于在对图像进行风格转换的过程中调整图像的一类特性,所述控制参数用于调整每种图像处理算法的处理效果;
处理模块,用于基于确定的目标图像处理算法以及所述控制参数对所述待处理图像进行处理,得到具有目标风格的目标图像。
15.一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取待处理图像以及对所述待处理图像进行风格转换后的目标图像;所述目标图像具有目标风格;
风格转换模块,用于从所述待处理图像中截取目标对象对应的图像区域,对所述图像区域进行风格转换,得到具有所述目标风格的目标图像区域;
掩膜图确定模块,用于确定与所述目标图像区域对应的掩膜图,所述掩膜图的各像素的像素值表示所述目标图像区域在对应像素位置的像素的融合权重;
融合模块,用于基于所述掩膜图对所述目标图像区域与所述目标图像进行融合处理,得到融合后的图像;其中,所述融合后的图像中所述目标对象所在区域的像素值与所述目标图像区域中对应像素位置的像素值一致,所述融合后的图像中所述目标对象所在区域的周围区域的像素值由所述目标图像区域和所述目标图像各自在对应像素位置的像素值融合得到。
16.一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取待处理图像;
映射模块,用于利用预设的色彩映射表对待处理图像中的各像素点的像素值进行映射处理,得到美白后的图像,其中,映射后的像素点在目标颜色通道的像素值呈减小趋势,所述目标颜色通道表示的色彩为白色的对立色彩。
17.一种电子设备,其特征在于,所述设备包括处理器、存储器、存储于所述存储器可供所述处理器执行的计算机指令,所述处理器执行所述计算机指令时实现如权利要求1-13任一项所述的方法。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被执行时实现如权利要求1-13任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210406775.3A CN114841853A (zh) | 2022-04-18 | 2022-04-18 | 图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210406775.3A CN114841853A (zh) | 2022-04-18 | 2022-04-18 | 图像处理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114841853A true CN114841853A (zh) | 2022-08-02 |
Family
ID=82565663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210406775.3A Pending CN114841853A (zh) | 2022-04-18 | 2022-04-18 | 图像处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114841853A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI817885B (zh) * | 2023-01-04 | 2023-10-01 | 友達光電股份有限公司 | 美顏顯示裝置及美顏顯示方法 |
WO2024040981A1 (zh) * | 2022-08-25 | 2024-02-29 | 荣耀终端有限公司 | 拍照方法及其相关设备 |
-
2022
- 2022-04-18 CN CN202210406775.3A patent/CN114841853A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024040981A1 (zh) * | 2022-08-25 | 2024-02-29 | 荣耀终端有限公司 | 拍照方法及其相关设备 |
TWI817885B (zh) * | 2023-01-04 | 2023-10-01 | 友達光電股份有限公司 | 美顏顯示裝置及美顏顯示方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11961189B2 (en) | Providing 3D data for messages in a messaging system | |
US20230386157A1 (en) | Generating 3d data in a messaging system | |
US11941854B2 (en) | Face image processing method and apparatus, image device, and storage medium | |
US11410401B2 (en) | Beautification techniques for 3D data in a messaging system | |
US11825065B2 (en) | Effects for 3D data in a messaging system | |
JP2017059235A (ja) | イメージの明るさを調整する方法及び装置 | |
CN114841853A (zh) | 图像处理方法、装置、设备及存储介质 | |
KR20220051376A (ko) | 메시징 시스템에서의 3d 데이터 생성 | |
CN110248242B (zh) | 一种图像处理和直播方法、装置、设备和存储介质 | |
CN107547803B (zh) | 视频分割结果边缘优化处理方法、装置及计算设备 | |
US20170154437A1 (en) | Image processing apparatus for performing smoothing on human face area | |
CN110838084A (zh) | 一种图像的风格转移方法、装置、电子设备及存储介质 | |
KR20200043432A (ko) | 이미지 데이터에 가상 조명 조정들을 제공하기 위한 기술 | |
US20220385808A1 (en) | Selfie setup and stock videos creation | |
CN111447428A (zh) | 平面至立体图像的转换方法、装置、计算机可读存储介质及设备 | |
US9092889B2 (en) | Image processing apparatus, image processing method, and program storage medium | |
CN116612263B (zh) | 一种感知潜视觉合成一致性动态拟合的方法及装置 | |
CN111652792B (zh) | 图像的局部处理、直播方法、装置、设备和存储介质 | |
CN114862729A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
US9922408B2 (en) | Image filter | |
KR100422470B1 (ko) | 3차원 동화상 모델 얼굴 대체 방법 및 장치 | |
CN114998115A (zh) | 图像美化处理方法、装置及电子设备 | |
US20170168687A1 (en) | Image processing method and apparatus for operating in low-power mode | |
CN114596213A (zh) | 一种图像处理方法及装置 | |
WO2022036338A2 (en) | System and methods for depth-aware video processing and depth perception enhancement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |