CN115330610A - 图像处理方法、装置、电子设备以及存储介质 - Google Patents

图像处理方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN115330610A
CN115330610A CN202210871899.9A CN202210871899A CN115330610A CN 115330610 A CN115330610 A CN 115330610A CN 202210871899 A CN202210871899 A CN 202210871899A CN 115330610 A CN115330610 A CN 115330610A
Authority
CN
China
Prior art keywords
image
initial
target
frequency band
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210871899.9A
Other languages
English (en)
Inventor
郭赛南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202210871899.9A priority Critical patent/CN115330610A/zh
Publication of CN115330610A publication Critical patent/CN115330610A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/77
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/90
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

本申请关于一种图像处理方法、装置、电子设备以及存储介质,属于多媒体技术领域。通过本申请实施例提供的技术方案,对初始人脸图像的亮度通道图像进行了多次滤波处理,得到第一滤波图像、第二滤波图像以及第三滤波图像。基于亮度通道图像、第一滤波图像、第二滤波图像以及第三滤波图像,获取了三个频段图像。后续对三个频段图像来进行处理,采用分频压暗的思想将初始人脸图像中的高亮点消除,得到目标人脸图像。由于这些高亮点对应于初始人脸图像中头发的油光,消除高亮点之后也就消除了头发区域中的油光,从而提高了人脸图像的显示效果。

Description

图像处理方法、装置、电子设备以及存储介质
技术领域
本申请涉及多媒体技术领域,尤其涉及一种图像处理方法、装置、电子设备以及存储介质。
背景技术
随着计算机技术的发展,越来越多的用户会通过拍摄人像的方式来记录生活。
相关技术中,为了提高拍摄得到的图像的效果,往往会对图像中人脸区域进行美颜处理,使得图像中人脸更加精致。但是,在一些情况下,图像中头发区域中还存在油光,导致图像中所呈现人像的效果不佳。基于此,亟需一种能够消除头发区域中油光的图像处理方法。
发明内容
本申请提供一种图像处理方法、装置、电子设备以及存储介质,能够消除头发区域中的油光,本申请的技术方案如下:
一方面,提供一种图像处理方法,包括下述步骤:
对初始人脸图像的亮度通道图像进行滤波处理,得到所述初始人脸图像的第一滤波图像,所述初始人脸图像包括头发区域;
获取所述初始人脸图像的第二滤波图像和第三滤波图像,所述第二滤波图像是通过对所述亮度通道图像进行滤波处理得到,所述第三滤波图像是通过对所述第二滤波图像进行滤波处理得到;
基于所述亮度通道图像、所述第一滤波图像、所述第二滤波图像以及所述第三滤波图像,获取所述初始人脸图像的第一初始频段图像、第二初始频段图像以及第三初始频段图像,所述第一初始频段图像为所述初始人脸图像与所述第一滤波图像之间的差值图像,所述第二初始频段图像为所述第一滤波图像与所述第二滤波图像之间的差值图像,所述第三初始频段图像为所述第二滤波图像与所述第三滤波图像之间的差值图像;
基于所述第一初始频段图像、所述第二初始频段图像、所述第三初始频段图像、所述初始人脸图像的目标概率图像以及所述第三滤波图像,生成目标人脸图像,所述目标概率图像用于表示所述初始人脸图像中头发区域内高亮点所在的位置,所述高亮点为亮度符合预设亮度条件的像素点,所述目标人脸图像为消除所述初始人脸图像中的所述高亮点后所得到的人脸图像。
在一种可能的实施方式中,所述基于所述第一初始频段图像、所述第二初始频段图像、所述第三初始频段图像、所述初始人脸图像的目标概率图像以及所述第三滤波图像,生成目标人脸图像,包括:
基于所述目标概率图像,对所述第一初始频段图像、所述第二初始频段图像以及第三初始频段图像进行像素值调整处理,得到第一目标频段图像、第二目标频段图像以及第三目标频段图像;
将所述第一目标频段图像、所述第二目标频段图像、所述第三目标频段图像以及所述第三滤波图像进行融合处理,得到融合图像;
对所述融合图像进行色彩空间变换,得到所述目标人脸图像,所述目标人脸图像与所述初始人脸图像处于同一个色彩空间。
在一种可能的实施方式中,所述基于所述目标概率图像,对所述第一初始频段图像、所述第二初始频段图像以及第三初始频段图像进行像素值调整处理,得到第一目标频段图像、第二目标频段图像以及第三目标频段图像,包括:
基于所述目标概率图像,分别在所述第一初始频段图像、所述第二初始频段图像以及第三初始频段图像中确定多个目标像素点,所述目标像素点对应于所述亮度通道图像中的高亮点;
在所述多个目标像素点的像素值符合预设像素值条件的情况下,基于第一预设阈值和第二预设阈值,对所述多个目标像素点的像素值进行调整,得到所述第一目标频段图像、所述第二目标频段图像以及所述第三目标频段图像,所述第二预设阈值大于所述第一预设阈值。
在一种可能的实施方式中,所述基于第一预设阈值和第二预设阈值,对所述多个目标像素点的像素值进行调整,得到所述第一目标频段图像、所述第二目标频段图像以及所述第三目标频段图像,包括:
对于所述第一初始频段图像中的任一目标像素点,在所述目标像素点的像素值小于或等于所述第一预设阈值的情况下,保持所述目标像素点的像素值不变;
在所述目标像素点的像素值大于或等于所述第二预设阈值的情况下,将所述目标像素点的像素值与第一参数相乘,得到所述目标像素点的调整后像素值,所述第一参数为小于1的正数;
在所述目标像素点的像素值大于所述第一预设阈值,且小于所述第二预设阈值的情况下,将所述目标像素点的像素值、所述第一参数以及第二参数进行融合处理,得到所述目标像素点调整后的像素值,所述第二参数基于所述第一预设阈值、所述第二预设阈值以及所述目标像素点的像素值确定。
在一种可能的实施方式中,所述将所述目标像素点的像素值、所述第一参数以及第二参数进行融合处理,得到所述目标像素点调整后的像素值,包括:
采用平滑阶梯模型对所述第一预设阈值、所述第二预设阈值以及所述目标像素点的像素值进行处理,得到所述第二参数;
将所述第一参数、所述目标像素点的像素值与所述第二参数之间的乘积,以及第三参数与所述目标像素点的像素值之间的乘积相加,得到所述目标像素点调整后的像素值,所述第三参数与所述第二参数之和为1。
在一种可能的实施方式中,所述对初始人脸图像的亮度通道图像进行滤波处理,得到所述初始人脸图像的第一滤波图像,包括:
采用高斯卷积核在所述亮度通道图像上进行滑动,在所述高斯卷积核覆盖的区域内进行高斯滤波处理,得到所述初始人脸图像的第一滤波图像,其中,所述高斯卷积核滑动时的横向步长为第一步长,所述高斯卷积核滑动时的纵向步长为第二步长,所述第一步长为所述初始人脸图像中人脸区域的宽与预设人脸区域的宽的比值,所述第二步长为所述初始人脸图像中人脸区域的高与所述预设人脸区域的高的比值。
在一种可能的实施方式中,所述初始人脸图像中人脸区域通过下述方式得到:
对所述初始人脸图像进行关键点检测,得到所述初始人脸图像中的多个人脸关键点;
将所述多个人脸关键点的最小外接矩形,确定为所述初始人脸图像中的人脸区域。
在一种可能的实施方式中,所述获取所述初始人脸图像的第二滤波图像和第三滤波图像,包括:
以所述亮度通道图像为引导图像,对所述亮度通道图像进行引导滤波处理,得到所述第二滤波图像;
以所述第二滤波图像为引导图像,对所述亮度通道图像进行引导滤波处理,得到所述第三滤波图像;
其中,对所述亮度通道图像的两次引导滤波的横向步长为所述第一步长,纵向步长为所述第二步长。
在一种可能的实施方式中,所述对初始人脸图像的亮度通道图像进行滤波处理,得到所述初始人脸图像的第一滤波图像之前,所述方法还包括:
将所述初始人脸图像变换到Lab色彩空间;
将所述Lab色彩空间下L通道的图像,确认为所述初始人脸图像的亮度通道图像。
在一种可能的实施方式中,所述基于所述第一初始频段图像、所述第二初始频段图像、所述第三初始频段图像、所述初始人脸图像的目标概率图像以及所述第三滤波图像,生成目标人脸图像之前,所述方法还包括:
对所述初始人脸图像进行图像识别,得到所述初始人脸图像的初始概率图像,所述初始概率图像用于表示所述初始人脸图像中的像素点对应于头发的概率;
将所述初始人脸图像转换为亮度图像;
基于所述初始概率图像以及所述亮度图像,生成所述初始人脸图像的目标概率图像。
在一种可能的实施方式中,所述将所述初始人脸图像转换为亮度图像,包括:
基于所述初始人脸图像在RGB三个颜色通道下的颜色通道值,确定所述初始人脸图像中多个像素点的亮度值;
基于所述初始人脸图像中多个像素点的亮度值,生成所述初始人脸图像的亮度图像。
在一种可能的实施方式中,所述基于所述初始概率图像以及所述亮度图像,生成所述初始人脸图像的目标概率图像,包括:
基于所述初始概率图像,确定所述初始人脸图像上的头发区域;
基于所述初始人脸图像的亮度图像,确定所述头发区域的平均亮度值;
基于所述头发区域的平均亮度值,对所述亮度图像进行二值化,得到参考亮度图像;
对所述参考亮度图像进行膨胀处理,将膨胀处理后得到的参考亮度图像与所述初始概率图像进行融合处理,得到所述初始人脸图像的目标概率图像。
在一种可能的实施方式中,所述基于所述初始概率图像,确定所述初始人脸图像上的头发区域,包括:
基于概率阈值,对所述初始概率图像进行二值化,得到所述初始人脸图像的参考概率图像;
基于所述初始人脸图像的参考概率图像,确定所述初始人脸图像上的头发区域。
在一种可能的实施方式中,所述基于概率阈值,对所述初始概率图像进行二值化,包括:
对于所述初始概率图像中的任一像素点,在所述像素点对应的概率大于或等于所述概率阈值的情况下,将所述像素点对应的概率调整为第一数值;在所述像素点对应的概率小于所述概率阈值的情况下,将所述像素点对应的概率调整为第二数值,所述第一数值大于所述第二数值。
在一种可能的实施方式中,所述基于所述头发区域的平均亮度值,对所述亮度图像进行二值化,得到参考亮度图像,包括:
对于所述亮度图像中的任一像素点,在所述像素点的亮度值大于或等于所述平均亮度值的情况下,将所述像素点的亮度值调整为第三数值;在所述像素点的亮度值小于所述平均亮度值的情况下,将所述像素点的亮度值调整为第四数值,所述第三数值大于所述第四数值。
在一种可能的实施方式中,所述将膨胀处理后得到的参考亮度图像与所述初始概率图像进行融合处理,得到所述初始人脸图像的目标概率图像,包括:
基于所述初始概率图像,对所述膨胀处理后得到的参考亮度图像进行高斯滤波处理,得到所述初始人脸图像的目标亮度图像;
将所述初始概率图像与所述目标亮度图像中对应像素点的数值相乘,得到所述初始人脸图像的目标概率图像。
一方面,提供一种图像处理装置,包括:
第一滤波单元,被配置为执行对初始人脸图像的亮度通道图像进行滤波处理,得到所述初始人脸图像的第一滤波图像,所述初始人脸图像包括头发区域;
第二滤波单元,被配置为执行获取所述初始人脸图像的第二滤波图像和第三滤波图像,所述第二滤波图像是通过对所述亮度通道图像进行滤波处理得到,所述第三滤波图像是通过对所述第二滤波图像进行滤波处理得到;
频段图像获取单元,被配置为执行基于所述亮度通道图像、所述第一滤波图像、所述第二滤波图像以及所述第三滤波图像,获取所述初始人脸图像的第一初始频段图像、第二初始频段图像以及第三初始频段图像,所述第一初始频段图像为所述初始人脸图像与所述第一滤波图像之间的差值图像,所述第二初始频段图像为所述第一滤波图像与所述第二滤波图像之间的差值图像,所述第三初始频段图像为所述第二滤波图像与所述第三滤波图像之间的差值图像;
目标人脸图像生成单元,被配置为执行基于所述第一初始频段图像、所述第二初始频段图像、所述第三初始频段图像、所述初始人脸图像的目标概率图像以及所述第三滤波图像,生成目标人脸图像,所述目标概率图像用于表示所述初始人脸图像中头发区域内高亮点所在的位置,所述高亮点为亮度符合预设亮度条件的像素点,所述目标人脸图像为消除所述初始人脸图像中的所述高亮点后所得到的人脸图像。
在一种可能的实施方式中,所述目标人脸图像生成单元,被配置为执行基于所述目标概率图像,对所述第一初始频段图像、所述第二初始频段图像以及第三初始频段图像进行像素值调整处理,得到第一目标频段图像、第二目标频段图像以及第三目标频段图像;将所述第一目标频段图像、所述第二目标频段图像、所述第三目标频段图像以及所述第三滤波图像进行融合处理,得到融合图像;对所述融合图像进行色彩空间变换,得到所述目标人脸图像,所述目标人脸图像与所述初始人脸图像处于同一个色彩空间。
在一种可能的实施方式中,所述目标人脸图像生成单元,被配置为执行基于所述目标概率图像,分别在所述第一初始频段图像、所述第二初始频段图像以及第三初始频段图像中确定多个目标像素点,所述目标像素点对应于所述亮度通道图像中的高亮点;在所述多个目标像素点的像素值符合预设像素值条件的情况下,基于第一预设阈值和第二预设阈值,对所述多个目标像素点的像素值进行调整,得到所述第一目标频段图像、所述第二目标频段图像以及所述第三目标频段图像,所述第二预设阈值大于所述第一预设阈值。
在一种可能的实施方式中,所述目标人脸图像生成单元,被配置为执行对于所述第一初始频段图像中的任一目标像素点,在所述目标像素点的像素值小于或等于所述第一预设阈值的情况下,保持所述目标像素点的像素值不变;在所述目标像素点的像素值大于或等于所述第二预设阈值的情况下,将所述目标像素点的像素值与第一参数相乘,得到所述目标像素点的调整后像素值,所述第一参数为小于1的正数;在所述目标像素点的像素值大于所述第一预设阈值,且小于所述第二预设阈值的情况下,将所述目标像素点的像素值、所述第一参数以及第二参数进行融合处理,得到所述目标像素点调整后的像素值,所述第二参数基于所述第一预设阈值、所述第二预设阈值以及所述目标像素点的像素值确定。
在一种可能的实施方式中,所述目标人脸图像生成单元,被配置为执行采用平滑阶梯模型对所述第一预设阈值、所述第二预设阈值以及所述目标像素点的像素值进行处理,得到所述第二参数;将所述第一参数、所述目标像素点的像素值与所述第二参数之间的乘积,以及第三参数与所述目标像素点的像素值之间的乘积相加,得到所述目标像素点调整后的像素值,所述第三参数与所述第二参数之和为1。
在一种可能的实施方式中,所述第一滤波单元,被配置为执行采用高斯卷积核在所述亮度通道图像上进行滑动,在所述高斯卷积核覆盖的区域内进行高斯滤波处理,得到所述初始人脸图像的第一滤波图像,其中,所述高斯卷积核滑动时的横向步长为第一步长,所述高斯卷积核滑动时的纵向步长为第二步长,所述第一步长为所述初始人脸图像中人脸区域的宽与预设人脸区域的宽的比值,所述第二步长为所述初始人脸图像中人脸区域的高与所述预设人脸区域的高的比值。
在一种可能的实施方式中,所述初装置还包括:
人脸区域确定单元,被配置为执行对所述初始人脸图像进行关键点检测,得到所述初始人脸图像中的多个人脸关键点;将所述多个人脸关键点的最小外接矩形,确定为所述初始人脸图像中的人脸区域。
在一种可能的实施方式中,所述第二滤波单元,被配置为执行以所述亮度通道图像为引导图像,对所述亮度通道图像进行引导滤波处理,得到所述第二滤波图像;以所述第二滤波图像为引导图像,对所述亮度通道图像进行引导滤波处理,得到所述第三滤波图像;其中,对所述亮度通道图像的两次引导滤波的横向步长为所述第一步长,纵向步长为所述第二步长。
在一种可能的实施方式中,所述装置还包括:
亮度通道图像确认单元,被配置为执行将所述初始人脸图像变换到Lab色彩空间;将所述Lab色彩空间下L通道的图像,确认为所述初始人脸图像的亮度通道图像。
在一种可能的实施方式中,所述装置还包括:
目标概率图像生成单元,被配置为执行对所述初始人脸图像进行图像识别,得到所述初始人脸图像的初始概率图像,所述初始概率图像用于表示所述初始人脸图像中的像素点对应于头发的概率;将所述初始人脸图像转换为亮度图像;基于所述初始概率图像以及所述亮度图像,生成所述初始人脸图像的目标概率图像。
在一种可能的实施方式中,所述目标概率图像生成单元,被配置为执行基于所述初始人脸图像在RGB三个颜色通道下的颜色通道值,确定所述初始人脸图像中多个像素点的亮度值;基于所述初始人脸图像中多个像素点的亮度值,生成所述初始人脸图像的亮度图像。
在一种可能的实施方式中,所述目标概率图像生成单元,被配置为执行基于所述初始概率图像,确定所述初始人脸图像上的头发区域;基于所述初始人脸图像的亮度图像,确定所述头发区域的平均亮度值;基于所述头发区域的平均亮度值,对所述亮度图像进行二值化,得到参考亮度图像;对所述参考亮度图像进行膨胀处理,将膨胀处理后得到的参考亮度图像与所述初始概率图像进行融合处理,得到所述初始人脸图像的目标概率图像。
在一种可能的实施方式中,所述目标概率图像生成单元,被配置为执行基于概率阈值,对所述初始概率图像进行二值化,得到所述初始人脸图像的参考概率图像;基于所述初始人脸图像的参考概率图像,确定所述初始人脸图像上的头发区域。
在一种可能的实施方式中,所述目标概率图像生成单元,被配置为执行对于所述初始概率图像中的任一像素点,在所述像素点对应的概率大于或等于所述概率阈值的情况下,将所述像素点对应的概率调整为第一数值;在所述像素点对应的概率小于所述概率阈值的情况下,将所述像素点对应的概率调整为第二数值,所述第一数值大于所述第二数值。
在一种可能的实施方式中,所述目标概率图像生成单元,被配置为执行对于所述亮度图像中的任一像素点,在所述像素点的亮度值大于或等于所述平均亮度值的情况下,将所述像素点的亮度值调整为第三数值;在所述像素点的亮度值小于所述平均亮度值的情况下,将所述像素点的亮度值调整为第四数值,所述第三数值大于所述第四数值。
在一种可能的实施方式中,所述目标概率图像生成单元,被配置为执行基于所述初始概率图像,对所述膨胀处理后得到的参考亮度图像进行高斯滤波处理,得到所述初始人脸图像的目标亮度图像;将所述初始概率图像与所述目标亮度图像中对应像素点的数值相乘,得到所述初始人脸图像的目标概率图像。
一方面,提供一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现上述图像处理方法。
一方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备够执行上述图像处理方法。
一方面,提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述图像处理方法。
本申请的实施例提供的技术方案至少带来以下有益效果:
通过本申请实施例提供的技术方案,对初始人脸图像的亮度通道图像进行了多次滤波处理,得到第一滤波图像、第二滤波图像以及第三滤波图像。基于亮度通道图像、第一滤波图像、第二滤波图像以及第三滤波图像,获取了三个频段图像。后续对三个频段图像来进行处理,采用分频压暗的思想将初始人脸图像中的高亮点消除,得到目标人脸图像。由于这些高亮点对应于初始人脸图像中头发的油光,消除高亮点之后也就消除了头发区域中的油光,从而提高了人脸图像的显示效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理,并不构成对本申请的不当限定。
图1是根据一示例性实施例示出的一种图像处理方法的实施环境示意图。
图2是根据一示例性实施例示出的一种图像处理方法的流程图。
图3是根据一示例性实施例示出的另一种图像处理方法的流程图。
图4是根据一示例性实施例示出的一种获取目标概率图的流程图。
图5是根据一示例性实施例示出的一种图像处理装置的框图。
图6是根据一示例性实施例示出的一种终端的框图。
图7是根据一示例性实施例示出的一种服务器的框图。
具体实施方式
为了使本领域普通人员更好地理解本申请的技术方案,下面将结合附图像,对本申请实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本申请的说明书和权利要求书及上述附图像中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
为了对本申请实施例进行更加清楚的说明,下面先对本申请实施例所涉及的一些名词进行说明。
高斯滤波:高斯滤波是一种线性平滑滤波,适用于消除高斯噪声,广泛应用于图像处理的减噪过程。通俗地讲,高斯滤波就是对整幅图像进行加权平均的过程,每一个像素点的值,都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的操作是:用一个模板(或称卷积、掩模)扫描图像中的每一个像素,用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。
保边滤波:保边滤波是对图像操作后,不会抹掉边缘的部分,属于非线性的滤波方法,常见的保边滤波有双边滤波和引导滤波。
引导滤波:引导滤波是一种图像滤波技术,通过一张引导图,对输入图像进行滤波处理,使得输出图像大图像上与初始图像相似,但是纹理部分与引导图相似。
Lab(Lab color space)色彩空间:是颜色-对立空间,带有维度L表示亮度,a和b表示颜色对立维度,基于非线性压缩的CIE XYZ色彩空间坐标。其中,L的取值范围是[0,100],表示从纯黑到纯白。a的取值范围是[127,-128]表示从红色到绿色。b的取值范围是[127,-128]表示从黄色到蓝色。
二值化:是图像分割的一种最简单的方法。二值化可以把灰度图像转换成二值图像。把大于某个临界灰度值的像素灰度设为灰度极大值,把小于这个值的像素灰度设为灰度极小值,从而实现二值化。
需要说明的是,本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号,均为经用户授权或者经过各方充分授权的,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
图1是本申请实施例提供的一种图像处理方法的实施环境示意图,参见图1,该实施环境中包括终端101和服务器102。
终端101可以为智能手机、智能手表、台式电脑、手提电脑和膝上型便携计算机等设备中的至少一种。终端101上可以安装并运行有支持图像处理的应用程序,用户可以通过该应用程序来对图像进行处理。
终端101可以泛指多个终端中的一个,本实施例仅以终端101来举例说明。本领域技术人员可以知晓,上述终端的数量可以更多或更少。比如上述终端101可以仅为几个,或者上述终端101为几十个或几百个,或者更多数量,本申请实施例对终端101的数量和设备类型均不加以限定。终端101可以通过无线网络或有线网络与服务器102相连。
服务器102可以为一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。服务器102为终端101上运行的应用程序提供的后台服务。
在一些实施例中,上述服务器102的数量可以更多或更少,本申请实施例对此不加以限定。当然,服务器102还可以包括其他功能服务器,以便提供更全面且多样化的服务。
在介绍完本申请实施例的实施环境之后,下面对本申请实施例的应用场景进行介绍。
本申请实施例提供的技术方案能够应用在对人脸图像进行处理的场景下,也能够应用在对包含人像的视频进行处理的场景下,还能够应用在对直播数据流进行处理的场景下,本申请实施例对此不做限定。
在本申请实施例提供的技术方案应用在对人脸图像进行处理的场景下时,用户通过终端选择想要进行图像处理的人脸图像,终端能够采用本申请实施例提供的技术方案对被选中的人脸图像进行处理。在该初始人脸图像的头发区域上存在油光的情况下,终端能够消除该初始人脸图像上头发区域的油光,使得处理后的人脸图像更加精致和清爽。
在本申请实施例提供的技术方案应用在对包含人像的视频进行处理的场景下,用户通过终端选择想要进行处理的视频,终端采用本申请实施例提供的技术方案对被选中的视频的多个视频帧进行处理。在该多个视频帧中任一视频帧上所显示的头发区域上存在油光的情况下,终端能够消除该视频帧上头发区域的油光。终端对多个视频帧进行处理,该视频中多个视频帧上头发区域的油光均被消除。
需要说明的是,终端采用本申请实施例提供的技术方案对直播数据流进行处理的过程,与对视频处理的过程属于同一发明构思,实现过程参见上述描述,在此不再赘述。
在介绍完本申请实施例的实施环境和应用场景之后,下面对本申请实施例提供的图像处理方法进行说明,参见图2,以执行主体为服务器为例,方法包括下述步骤。
在步骤S201中,服务器对初始人脸图像的亮度通道图像进行滤波处理,得到该初始人脸图像的第一滤波图像,该初始人脸图像包括头发区域。
其中,初始人脸图像也即是待进行处理的人脸图像,亮度通道图像为初始人脸图像在Lab色彩空间下I通道的图像。第一次滤波用于消除初始人脸图像上的噪声,第一滤波图像也即是初始人脸图像经过滤波之后得到的图像。头发区域也即初始人脸图像中头发所在的区域。
在步骤S202中,服务器获取该初始人脸图像的第二滤波图像和第三滤波图像,该第二滤波图像是通过对该亮度通道图像进行滤波处理得到,该第三滤波图像是通过对该第二滤波图像进行滤波处理得到。
在一些实施例中,服务器采用引导滤波处理的方式对该亮度通道图像进行滤波处理,得到该第二滤波图像和该第三滤波图像,该第二滤波图像和该第三滤波图像对应的引导图像不同。
在步骤S203中,服务器基于该亮度通道图像、该第一滤波图像、该第二滤波图像以及该第三滤波图像,获取该初始人脸图像的第一初始频段图像、第二初始频段图像以及第三初始频段图像,该第一初始频段图像为该初始人脸图像与该第一滤波图像之间的差值图像,该第二初始频段图像为该第一滤波图像与该第二滤波图像之间的差值图像,该第三初始频段图像为该第二滤波图像与该第三滤波图像之间的差值图像。
其中,初始人脸图像与该第一滤波图像之间的差值图像是指,将初始人脸图像与该第一滤波图像中对应像素点的像素值相减得到的图像,对应像素点是指在图像中处于相同位置的像素点。
在步骤S204中,服务器基于该第一初始频段图像、该第二初始频段图像、该第三初始频段图像、该初始人脸图像的目标概率图像以及该第三滤波图像,生成目标人脸图像,该目标概率图像用于表示该初始人脸图像中头发区域内高亮点所在的位置,该高亮点为亮度符合预设亮度条件的像素点,该目标人脸图像为消除该初始人脸图像中的该高亮点后所得到的人脸图像。
其中,该初始人脸图像中的头发区域内的高亮点也即是该初始人脸图像中头发的油光,目标概率图像用于表示该初始人脸图像中高亮点所在的位置,也即是头发的油光所在的位置。
通过本申请实施例提供的技术方案,对初始人脸图像的亮度通道图像进行了多次滤波处理,得到第一滤波图像、第二滤波图像以及第三滤波图像。基于亮度通道图像、第一滤波图像、第二滤波图像以及第三滤波图像,获取了三个频段图像。后续对三个频段图像来进行处理,采用分频压暗的思想将初始人脸图像中的高亮点消除,得到目标人脸图像。由于这些高亮点对应于初始人脸图像中头发的油光,消除高亮点之后也就消除了头发区域中的油光,从而提高了人脸图像的显示效果。
需要说明的是,上述步骤S201-S204是以服务器为执行主体为例进行说明的,在其他可能的实施方式中,也可以由终端作为执行主体来执行上述步骤S201-S204,本申请实施例对此不做限定。
上述步骤S201-S204是对本申请实施例提供的图像处理方法的简单说明,下面将结合一些例子,对本申请实施例提供的图像处理方法进行更加详细的说明,参见图3,以执行主体为服务器为例,方法包括下述步骤。
在步骤S301中,服务器获取初始人脸图像,该初始人脸图像包括头发区域。
其中,初始人脸图像为包含人脸的图像。服务器获取该初始人脸图像需要经过用户的允许,比如,在用户选择该初始人脸图像时,服务器显示确认控件。响应于对该确认控件的点击操作,服务器获取该初始人脸图像。在一些实施例中,该初始人脸图像为下述任一项:用户拍摄的图像、视频中的图像以及直播视频流中的图像。
在一种可能的实施方式中,响应于对初始人脸图像的操作,服务器获取该初始人脸图像。在这种实施方式下,用户能够通过对该初始图像的操作来选择该初始图像,用户选择初始图像的自主性较高,简单的操作能够提高人机交互的效率。
举例来说,终端显示人脸图像选择界面,该初始人脸图像选择界面上显示有多个候选人脸图像。响应于对该多个候选人脸图像中的初始人脸图像的点击操作,终端将该初始人脸图像发送至服务器,服务器获取该初始人脸图像。其中,人脸图像选择界面上显示的多个候选人脸图像既可以是存储在终端上的人脸图像,也可以是存储在服务器上的人脸图像,本申请实施例对此不做限定。
在一种可能的实施方式中,服务器从直播数据流中获取该初始人脸图像。在这种实施方式下,服务器能够从直播数据流中获取初始人脸图像,无需用户手动选择,人机交互的效率较高。
举例来说,服务器从直播数据流中获取多个直播视频帧,该多个直播视频帧是由终端上传至服务器的。服务器对该多个直播视频帧进行识别,得到该多个直播视频帧中包含人脸的直播视频帧,该包含人脸的直播视频帧也即是该初始人脸图像。其中,服务器对该多个直播视频帧进行识别,获取该包含人脸的直播视频帧的过程,可以通过一个图像分类模型来实现,该图像分类模型能够识别出包含人脸的图像,该图像分类模型的输出结果为包含人脸或者不包含人脸,该图像分类模型可以为任一结构的二分类模型,本申请实施例对此不做限定。
在步骤S302中,服务器获取初始人脸图像的亮度通道图像。
其中,亮度通道图像为初始人脸图像在Lab色彩空间下I通道的图像。该初始人脸图像所处的色彩空间为RGB、XYZ等,本申请实施例对此不做限定。
在一种可能的实施方式中,服务器将该初始人脸图像变换到Lab色彩空间。服务器将该Lab色彩空间下L通道的图像,确认为该初始人脸图像的亮度通道图像。
其中,L通道的图像中像素点的取值范围为[0,100],表示从纯黑到纯白,L通道图像能够从整体上反应该初始人脸图像的亮度。
在这种实施方式下,由于Lab色彩空间包括亮度通道,直接将初始人脸图像变换到Lab色彩空间就能够快速得到该初始人脸图像的亮度通道图像,图像处理的效率较高。
以该初始人脸图像I所处的色彩空间为RGB为例,服务器将该初始人脸图像I由RGB色彩空间变换为XYZ色彩空间。服务器将该初始人脸图像I由XYZ色彩空间变换为Lab色彩空间。服务器将该初始人脸图像I在Lab色彩空间下L通道的图像,确认为该亮度通道图像Il
在步骤S303中,服务器对初始人脸图像的亮度通道图像进行滤波处理,得到该初始人脸图像的第一滤波图像。
其中,步骤S303中的滤波处理是指高斯滤波处理,高斯滤波用于消除初始人脸图像上的高斯噪声,第一滤波图像也即是初始人脸图像经过高斯滤波之后得到的图像。
在一种可能的实施方式中,服务器采用高斯卷积核在该亮度通道图像上进行滑动,在该高斯卷积核覆盖的区域内进行高斯滤波处理,得到该初始人脸图像的第一滤波图像。其中,该高斯卷积核滑动时的横向步长为第一步长,该高斯卷积核滑动时的纵向步长为第二步长,该第一步长为该初始人脸图像中人脸区域的宽与预设人脸区域的宽的比值,该第二步长为该初始人脸图像中人脸区域的高与该预设人脸区域的高的比值。
其中,预设人脸区域为技术人员根据实际情况设计的区域,在一些实施例中,该预设人脸区域为一个长方形区域,该长方形区域的长和宽由技术人员根据实际情况进行设置。在一些实施例中,该高斯卷积核的长度和宽度均为奇数,该高斯卷积核的尺寸与高斯滤波的效果息息相关,该高斯卷积核的尺寸越小,高斯滤波之后保留的细节也就越多;该高斯卷积核的尺寸越大,高斯滤波的速度越快,保留的细节越少。该高斯卷积核的尺寸由技术人员根据实际情况进行设置,比如设置为3×3,本申请实施例对此不做限定。另外,该高斯卷积核包括多个权重,该多个权重的数值由服务器生成或者技术人员根据实际情况进行设置,本申请实施例对此不做限定。
在这种实施方式下,服务器能够通过高斯滤波的方式来消除该初始人脸图像的亮度通道图像中的高斯噪声,也即是对该亮度通道图像进行平滑处理,提高后续图像处理的效果。在高斯滤波过程中限制了横向步长和纵向步长,而横向步长和纵向步长均是基于初始人脸图像中的人脸区域确定的,高斯滤波时能够专注与人脸区域,避免其他区域的干扰。
举例来说,服务器采用高斯卷积核在该亮度通道图像上进行滑动,在该高斯卷积核覆盖的区域上进行卷积处理,也即是采用该高斯卷积核中的权重与该区域上对应像素点的像素值进行加权求和,得到目标像素值,采用该目标像素值代替该高斯卷积核中点对应的像素点的像素值。服务器通过控制该高斯卷积核在该亮度通道图像上不断移动,实现对该亮度通道上每个像素点的高斯滤波,以得到该第一滤波图像G1,该高斯卷积核滑动时的横向步长为第一步长,该高斯卷积核滑动时的纵向步长为第二步长。
为了对上述实施方式进行更加清楚的说明,下面对服务器确定初始人脸图像中的人脸区域的方法进行说明。
在一种可能的实施方式中,服务器对该初始人脸图像进行关键点检测,得到该初始人脸图像中的多个人脸关键点。服务器将该多个人脸关键点的最小外接矩形确定为该初始人脸图像中的人脸区域。
其中,服务器能够采用任一种关键点检测方法来确定多个人脸关键点,本申请实施例对此不做限定。
在这种实施方式下,服务器对初始人脸图像进行关键点识别,基于识别出的人脸关键点来确定人脸区域,相较于整体的人脸识别,确定出人脸关键点的准确性较高,从而利用人脸关键点确定出的人脸区域的准确性较高。
在一种可能的实施方式中,服务器对该亮度通道图像进行傅里叶变换,得到该亮度通道图像的频域图像。服务器采用高斯滤波函数对该频域图像进行处理,得到滤波后的频域图像。服务器对该滤波后的频域图像进行反傅里叶变换,得到该第一滤波图像G1。
在这种实施方式下,将该亮度通道图像转换到频域进行高斯滤波处理时,运算量独立于高斯滤波函数,滤波的速度较快。
举例来说,高斯滤波函数的形式参见下述公式(1)。
Figure BDA0003761281700000151
其中,H(u,v)为频谱图中频点的数值,u和υ为频点的坐标,D0为截止频率,D(u,v)=u2+v2,频谱图也即是频域图像。
在步骤S304中,服务器获取该初始人脸图像的第二滤波图像和第三滤波图像,该第二滤波图像是通过对该亮度通道图像进行滤波处理得到,该第三滤波图像是通过对该第二滤波图像进行滤波处理得到。
其中,步骤S304中的滤波处理是指保边滤波处理,保边滤波处理能够在保留图像边缘的情况下对图像进行滤波处理。在一些实施例中,服务器采用引导滤波处理的方式对该亮度通道图像进行保边滤波处理,得到该第二滤波图像和该第三滤波图像,该第二滤波图像和该第三滤波图像对应的引导图像不同。引导滤波的目的是使得输出图像的内容与输入图像相似,但是纹理与引导图像相似。
在一种可能的实施方式中,服务器以该亮度通道图像为引导图像,对该亮度通道图像进行引导滤波处理,得到该第二滤波图像。服务器以该第二滤波图像为引导图像,对该亮度通道图像进行引导滤波处理,得到该第三滤波图像。其中,对该亮度通道图像的两次引导滤波的横向步长为上述第一步长,纵向步长为上述第二步长,也即是该第一步长为该初始人脸图像中人脸区域的宽与预设人脸区域的宽的比值,该第二步长为该初始人脸图像中人脸区域的高与该预设人脸区域的高的比值。
在这种实施方式下,服务器能够采用不同的引导图像对该亮度通道图像进行引导滤波处理,得到的第二滤波图像和第三滤波图像对应于不同的频率,便于后续利用分频压暗的思想进行处理。另外,在引导滤波程中限制了横向步长和纵向步长,而横向步长和纵向步长均是基于初始人脸图像中的人脸区域确定的,引导滤波时能够专注与人脸区域,避免其他区域的干扰。
为了对上述实施方式进行更加清楚的说明,下面将分为两个部分对上述实施方式进行说明。
第一部分、服务器以该亮度通道图像为引导图像,对该亮度通道图像进行引导滤波处理,得到该第二滤波图像。
在一种可能的实施方式中,服务器基于该亮度通道图像上多个像素点的像素值,确定该第二滤波图像GF1上多个像素点的像素值。
举例来说,引导滤波过程满足下述公式(2)中的两个约束条件。
Figure BDA0003761281700000161
其中,qi为第二滤波图像上第i个像素点的像素值,pi为该亮度通道图像上第i个像素点的像素值,ni为该亮度通道图像上第i个像素点的杂讯,Ii为引导图像上第i个像素点的像素值,a和b权重。
服务器需要求解上述公式(2)中的ni、a和b来完成运算,下面对服务器求解ni、a和b的过程进行说明。
服务器基于上述公式(2),推导出下述公式(3)。
ni=pi-aIi-b (3)
服务器定义一个代价公式(4)。
Figure BDA0003761281700000171
其中,E(ak,bk)为代价函数,∈为惩罚系数,用于惩罚过大的ak,wk为以第k个像素点为中心的窗格。通过上述公式(4)希望同时让最终的输出图片做到让杂讯减少以及让引导图片在输出图片的影响减小(引导图片的系数项)两件事,遂定义每个像素杂讯和系数项的平方总和为最后须付出的价值项。基于让代价函数的值最小化的原则,可以将(4)以线性回归的方法找出它的线性模型,从而求出使得出它的代价方程式有最小解的以下两个参数ak和bk,确定过程参见下述公式(5)。
Figure BDA0003761281700000172
Figure BDA0003761281700000173
其中,μk
Figure BDA0003761281700000174
分别表示引导图像在局部窗口中的均值和方差,|ω|为窗口内像素点的数量,该局部窗口的横向步长为第一步长,纵向步长为第二步长。
第二部分、服务器以该第二滤波图像为引导图像,对该亮度通道图像进行引导滤波处理,得到该第二滤波图像。
在一种可能的实施方式中,服务器基于该第二滤波图像GF1上多个像素点的像素值,以及该亮度通道图像上多个像素点的像素值,确定该第三滤波图像GF2上多个像素点的像素值。
需要说明的是,服务器以该第二滤波图像为引导图像,对该亮度通道图像进行引导滤波处理的方法与上述第一部分的描述属于同一发明构思,实现过程参见上述第一部分的描述,在此不再赘述。
在步骤S305中,服务器生成初始人脸图像的目标概率图像。
其中,该目标概率图像用于表示该初始人脸图像中头发区域内高亮点所在的位置,该高亮点为亮度符合预设亮度条件的像素点。在一些实施例中,该高亮点也即是头发区域中的油光所在的位置。
在一种可能的实施方式中,服务器对该初始人脸图像进行图像识别,得到该初始人脸图像的初始概率图像,该初始概率图像用于表示该初始人脸图像中的像素点对应于头发的概率。服务器将该初始人脸图像转换为亮度图像。服务器基于该初始概率图像以及该亮度图像,生成该初始人脸图像的目标概率图像。
在这种实施方式下,服务器能够基于图像识别的方式来生成该目标概率图像,图像处理的效率较高。
为了对上述实施方式进行更加清楚的说明,下面将分为几个部分对上述实施方式进行说明。
第一部分、服务器对该初始人脸图像进行图像识别,得到该初始人脸图像的初始概率图像。
在一种可能的实施方式中,服务器将该初始人脸图像输入图像识别模型,通过该图像识别模型对该初始人脸图像进行特征提取,得到该初始人脸图像的特征图像。服务器通过该图像识别模型,对该初始人脸图像的特征图像进行映射,输出该初始人脸图像的初始概率图像。
其中,该图像识别模型为通过样本人脸图像训练得到的,具有从人脸图像中识别出头发区域的功能。在一些实施例中,该初始概率图像的尺寸与该初始人脸图像的尺寸相同,该初始概率图像中像素点的像素值表示该初始人脸图像中对应像素点属于头发区域的概率,比如,该初始概率图像中一个像素点的像素值为1,表示该初始人脸图像中对应像素点属于头发区域的概率为1。
在这种实施方式下,利用图像识别模型能够快速获取该初始人脸图像的初始概率图像,图像处理的效率较高。
举例来说,服务器将该初始人脸图像输入该图像识别模型,通过该图像识别模型的特征提取层对该初始人脸图像进行特征提取,得到该初始人脸图像的特征图像,其中,该图像识别模型的特征提取层为卷积层、注意力编码层或者全连接层等,本申请实施例对此不做限定。在该特征提取层为卷积层的情况下,服务器通过该卷积层上的卷积核,对该初始人脸图像进行卷积,得到该初始人脸图像的特征图像;在该特征提取层为注意力编码层的情况下,服务器通过该注意力编码层,对该初始人脸图像的多个部分进行嵌入编码,得到该多个部分的嵌入向量,其中,该多个部分为该初始人脸图像的多个区域。服务器通过该注意力编码层,基于注意力机制对该多个部分的嵌入向量进行编码,得到该多个部分的注意力编码向量。该多个部分的注意力编码向量组成该初始人脸的特征图像;在该特征提取层为全连接层的情况下,服务器通过该全连接层,对该初始人脸图像进行全连接,得到该初始人脸图像的特征图像。服务器通过该图像识别模型的全连接层,对该初始人脸图像的特征图像进行全连接,得到该初始人脸图像的全连接图像。服务器通过该图像识别模型的归一化层,对该初始人脸图像的全连接图像进行归一化,输出该初始概率图像,其中,归一化包括采用Softmax(软最大化)函数或者Sigmoid(S型生长曲线)函数对该全连接图像进行处理,本申请实施例对此不做限定。
第二部分、服务器将该初始人脸图像转换为亮度图像。
在一种可能的实施方式中,服务器基于该初始人脸图像在RGB三个颜色通道下的颜色通道值,确定该初始人脸图像中多个像素点的亮度值。服务器基于该初始人脸图像中多个像素点的亮度值,生成该初始人脸图像的亮度图像。
在这种实施方式下,RGB三个颜色通道的通道值较为容易就能够获取,且亮度与三个颜色通道值相关,基于RGB三个颜色通道值快捷地生成该初始人脸图像的亮度图像,图像处理的效率较高。
举例来说,对于该初始人脸图像上的任一像素点,服务器将该像素点的在RGB三个颜色通道下的颜色通道值代入目标关系数据,得到该像素点的亮度值,该目标关系数据用于表示RGB三个颜色通道值与亮度值的转换关系。比如,服务器通过下述公式(6),基于该像素点在RGB三个颜色通道下的颜色通道值,得到该像素点的亮度值。服务器基于该初始人脸图像中多个像素点的亮度值,生成该初始人脸图像的亮度图像。
Pli=red*0.299+green*0.587+blue*0.114 (6)
其中,Pli为像素点i的亮度值,red为像素点i的红色通道值,green为像素点i的绿色通道值,blue为像素点i的蓝色通道值。
第三部分、服务器基于该初始概率图像以及该亮度图像,生成该初始人脸图像的目标概率图像。
在一种可能的实施方式中,服务器基于该初始概率图像,确定该初始人脸图像上的头发区域。服务器基于该初始人脸图像的亮度图像,确定该头发区域的平均亮度值。服务器基于该头发区域的平均亮度值,对该亮度图像进行二值化,得到参考亮度图像。服务器对该参考亮度图像进行膨胀处理,将膨胀处理后得到的参考亮度图像与该初始概率图像进行融合处理,得到该初始人脸图像的目标概率图像。
其中,膨胀处理是指在图像周围填充0或1作为像素值,从而扩大图像的尺寸。
在这种实施方式下,服务器先基于初始概率图像确定头发区域,再基于该头发区域的平均亮度值获取参考亮度图像。对参考亮度图像进行膨胀处理以将参考亮度图像的尺寸调放大为河池的尺寸,最后将膨胀处理后得到的融合参考亮度图像和初始概率图像得到最终的目标概率图像,该目标概率图像也就能够反映头发区域中高亮点所在的位置,这个过程利用了平均亮度值、二值化以及膨胀处理等过程,使得目标该类别图像的准确性较高。
为了对上述实施方式进行更加清楚地说明,下面将上述实施方式再分为几个部分进行说明。
A、服务器基于该初始概率图像,确定该初始人脸图像上的头发区域。
在一种可能的实施方式中,服务器基于概率阈值,对该初始概率图像进行二值化,得到该初始人脸图像的参考概率图像。服务器基于该初始人脸图像的参考概率图像,确定该初始人脸图像上的头发区域。
其中,该概率阈值由技术人员根据实际情况进行设置,比如设置为0.7、0.8、0.85或者0.9等,本申请实施例对此不做限定。该初始概率图像中像素点的像素值为概率,对该初始概率图像进行二值化的目的是将该初始概率图像中像素点的像素值统一为两个数值,从而实现对头发区域的分割。
举例来说,对于该初始概率图像中的任一像素点,在该像素点对应的概率大于或等于该概率阈值的情况下,服务器将该像素点对应的概率调整为第一数值。在该像素点对应的概率小于该概率阈值的情况下,服务器将该像素点对应的概率调整为第二数值,该第一数值大于该第二数值。其中,该像素点对应的概率也即是该像素点的像素值。在这种实施方式下,该初始概率图像中像素点的像素值均被调整为第一数值和第二数值,实现了二值化。像素点对应的概率大于概率阈值,表示该像素点属于头发区域的概率较高;像素点对应的概率小于概率阈值,表示该像素点属于头发区域的概率较低。服务器基于该概率阈值对该初始概率图像中多个像素点的像素值进行二值化之后,得到该参考概率图像,该参考概率图像上像素点的数值为第一数值或者第二数值。在一些实施例中,该第一数值为1,该第二数值为0,在这种情况下,该参考概率图像中像素点的像素值为0或者1。服务器基于该参考概率图像中多个像素点的像素值,确定该初始人脸图像上的头发区域。也即是,服务器将该参考概率图像中像素值为第一数值的像素点所围成的区域,确定为该参考概率图像上的头发区域。服务器将该参考概率图像上的头发区域映射到该初始人脸图像上,得到该初始人脸图像上的头发区域。
B、服务器基于该初始人脸图像的亮度图像,确定该头发区域的平均亮度值。
在一种可能的实施方式中,服务器从该初始人脸图像的亮度图像中获取该头发区域中多个像素点的亮度值。服务器基于该头发区域中多个像素点的亮度值,确定该头发区域的平均亮度值。
C、服务器基于该头发区域的平均亮度值,对该亮度图像进行二值化,得到参考亮度图像。
其中,对该亮度图像进行二值化的目的是将该亮度图像中像素点的像素值统一为两个数值,从而获取初始人脸图像中的高亮点。
在一种可能的实施方式中,对于该亮度图像中的任一像素点,在该像素点的亮度值大于或等于该平均亮度值的情况下,服务器将该像素点的亮度值调整为第三数值。在该像素点的亮度值小于该平均亮度值的情况下,服务器将该像素点的亮度值调整为第四数值,该第三数值大于该第四数值。
其中,该亮度图像中像素点的像素值为亮度值,对该亮度图像进行二值化的目的是将该亮度图像中像素点的像素值统一为两个数值,从而确定高亮点的位置。
举例来说,对于该亮度图像中的任一像素点,在该像素点对应的亮度值大于或等于该平均亮度值的情况下,服务器将该像素点对应的亮度值调整为第三数值。在该像素点对应的亮度值小于该平均亮度值的情况下,服务器将该像素点对应的亮度值调整为第四数值,在一些实施例中,该第三数值大于该第四数值。其中,该像素点对应的亮度值也即是该像素点的像素值。在这种实施方式下,该亮度图像中像素点的像素值均被调整为第三数值和第四数值,实现了二值化。像素点对应的亮度值大于平均亮度值,表示该像素点的亮度值较高;像素点对应的亮度值小于平均亮度值,表示该像素点的亮度值较低。服务器基于该平均亮度值对该亮度图像中多个像素点的像素值进行二值化之后,得到该参考亮度值图像,该参考亮度值图像上像素点的数值为第三数值或者第四数值。在一些实施例中,该第三数值为1,该第四数值为0,在这种情况下,该参考亮度值图像中像素点的像素值为0或者1。
D、服务器将膨胀处理后得到的参考亮度图像与该初始概率图像进行融合处理,得到该初始人脸图像的目标概率图像。
其中,参考亮度图像能够反映高亮点的位置,初始概率图像能够反映头发区域的位置,融合参考概率图像和初始概率图像能得到的目标概率图像也就能够反映头发区域中高亮点的位置。
在一种可能的实施方式中,服务器基于该初始概率图像,对该膨胀处理后得到的参考亮度图像进行高斯滤波处理,得到该初始人脸图像的目标亮度图像。服务器将该初始概率图像与该目标亮度图像中对应像素点的数值相乘,得到该初始人脸图像的目标概率图像。
举例来说,服务器基于该初始概率图像,对该膨胀处理后得到的参考亮度图像中头发区域进行高斯滤波处理,得到该初始人脸图像的目标亮度图像。也即是,服务器基于该初始概率图像,确定该膨胀处理后得到的参考亮度图像中的头发区域。服务器采用高斯卷积核对该头发区域中进行卷积处理,得到该初始人脸图像的目标亮度图像。在一些实施例中,针对当前中心点取高斯卷积和内的邻域点时,如果该邻域点对应的概率值为1,则直接取用该邻域点;如果该邻域点对应的概率值为0,则使用中心点值来代替该邻域点。服务器将该初始概率图像与该目标亮度图像中对应像素点的数值相乘,得到该初始人脸图像的目标概率图像。
其中,对该参考亮度图像中头发区域进行高斯滤波处理的目的是避免非头发像素引入图像处理。
下面将结合图4对上述步骤S305进行说明。
参见图4,服务器对初始概率图像进行二值化,得到初始人脸图像的参考概率图像。服务器基于该参考概率图像,确定该初始人脸图像上的头发区域,该初始概率图像也被称为头发分割概率图,头发区域也被称为头发分割结果。服务器基于初始人脸图像,获取亮度图像,该初始人脸图像也被称为人像数据。服务器对该初始人脸图像的头发区域进行高斯滤波处理。处理服务器基于该亮度图像确定头发区域的平均亮度值。服务器基于该平均亮度值对该亮度图像进行二值化,得到参考亮度图像。服务器对该参考亮度图像进行膨胀处理,将膨胀处理后得到的参考亮度图像与初始概率图像进行融合处理,得到目标概率图像,该目标概率图像也被称为头发高亮区域概率图。
需要说明的是,上述步骤S305既可以在步骤S304之后执行,也可以在步骤S301-S304之前的任一位置执行,本申请实施例对此不做限定。
在步骤S306中,服务器基于该亮度通道图像、该第一滤波图像、该第二滤波图像以及该第三滤波图像,获取该初始人脸图像的第一初始频段图像、第二初始频段图像以及第三初始频段图像,该第一初始频段图像为该初始人脸图像与该第一滤波图像之间的差值图像,该第二初始频段图像为该第一滤波图像与该第二滤波图像之间的差值图像,该第三初始频段图像为该第二滤波图像与该第三滤波图像之间的差值图像。
其中,初始人脸图像与该第一滤波图像之间的差值图像是指,将初始人脸图像与该第一滤波图像中对应像素点的像素值相减得到的图像,对应像素点是指在图像中处于相同位置的像素点。
在一种可能的实施方式中,服务器将该亮度通道图像与该第一滤波图像作差,得到该第一初始频段图像。服务器将该第一滤波图像与该第二滤波图像作差,得到该第二初始频段图像。服务器将该第二滤波图像与该第三滤波图像作差,得到该第三初始频段图像。
其中,该亮度通道图像、第一滤波图像、第二滤波图像以及第三滤波图像对应于不同的频率。
在步骤S307中,服务器基于该第一初始频段图像、该第二初始频段图像、该第三初始频段图像、该初始人脸图像的目标概率图像以及该第三滤波图像,生成目标人脸图像,该目标概率图像用于表示该初始人脸图像中头发区域内高亮点所在的位置,该高亮点为亮度符合预设亮度条件的像素点,该目标人脸图像为消除所述初始人脸图像中的该高亮点后所得到的人脸图像。
在一种可能的实施方式中,服务器基于该目标概率图像,对该第一初始频段图像、该第二初始频段图像以及第三初始频段图像进行像素值调整处理,得到第一目标频段图像、第二目标频段图像以及第三目标频段图像。服务器将该第一目标频段图像、该第二目标频段图像、该第三目标频段图像以及该第三滤波图像进行融合处理,得到融合图像。服务器对该融合图像进行色彩空间变换,得到该目标人脸图像,该目标人脸图像与该初始人脸图像处于同一个色彩空间。
在这种实施方式下,基于不同频段图像来进行处理来得到目标人脸图像,体现了分频压暗的思想,得到的目标人脸图像能够在保留人脸边缘的基础上,消除初始人脸图像中的高亮点。
为了对上述实施方式进行更加清楚的说明,下面将分为几个部分对上述实施方式进行说明。
第一部分、服务器基于该目标概率图像,对该第一初始频段图像、该第二初始频段图像以及第三初始频段图像进行处理,得到第一目标频段图像、第二目标频段图像以及第三目标频段图像。
在一种可能的实施方式中,服务器基于该目标概率图像,分别在该第一初始频段图像、该第二初始频段图像以及第三初始频段图像中确定多个目标像素点,该目标像素点对应于该亮度通道图像中的高亮点。在该多个目标像素点的像素值符合预设像素值条件的情况下,服务器基于第一预设阈值和第二预设阈值对该多个目标像素点的像素值进行调整,得到该第一目标频段图像、该第二目标频段图像以及该第三目标频段图像,该第二预设阈值大于该第一预设阈值。
其中,服务器基于该目标概率图像,在该第一初始频段图像、该第二初始频段图像以及第三初始频段图像中确定多个目标像素点是指,服务器基于该目标概率图像,分别在该第一初始频段图像、该第二初始频段图像以及第三初始频段图像中确定多个目标像素点。
在这种实施方式下,服务器能够基于第一预设阈值和第二预设阈值对目标像素点的像素值进行调整,从而得到第一目标频段图像、该第二目标频段图像以及该第三目标频段图像,便于后续利用分频压暗的图像处理过程。
举例来说,服务器基于该目标概率图像中多个像素点的像素值,分别在该第一初始频段图像、该第二初始频段图像以及第三初始频段图像中确定多个目标像素点,其中,该目标概率图像中多个像素点的像素值能够表示目标像素点的位置。在该多个目标像素点的像素值大于目标数值的情况下,服务器基于第一预设阈值和第二预设阈值对该多个目标像素点的像素值进行调整,其中,该多个目标像素点的像素值是指该多个目标像素点分别在该第一初始频段图像、该第二初始频段图像以及第三初始频段图像中的像素值。在一些实施例中,该目标数值为0,也即是,在该多个目标像素点的像素值大于0的情况下,服务器基于第一预设阈值和第二预设阈值对该多个目标像素点的像素值进行调整。
下面对服务器基于第一预设阈值和第二预设阈值对该多个目标像素点的像素值进行调整的方法进行说明。
在一种可能的实施方式中,对于该第一初始频段图像中的任一目标像素点,在该目标像素点的像素值小于或等于该第一预设阈值ti1的情况下,服务器保持该目标像素点的像素值不变。在该目标像素点的像素值大于或等于该第二预设阈值ti2的情况下,服务器将该目标像素点的像素值与第一参数相乘,得到该目标像素点的调整后像素值,该第一参数为小于1的正数,像素值与该第一参数相乘之后,得到的数值小于该像素值。在该目标像素点的像素值大于该第一预设阈值ti1,且小于该第二预设阈值ti2的情况下,服务器将该目标像素点的像素值、该第一参数以及第二参数进行融合处理,得到该目标像素点调整后的像素值,该第二参数基于该第一预设阈值、该第二预设阈值以及该目标像素点的像素值确定。
在这种实施方式下,提供了多种情况下利用第一预设阈值和第二预设阈值调整像素值的方法,在图像处理过程中,能够根据实际情况灵活选用,提高图像处理的效率。
下面对服务器将该目标像素点的像素值、该第一参数以及第二参数进行融合处理,得到该目标像素点调整后的像素值的方法进行说明。
在一种可能的实施方式中,服务器采用平滑阶梯模型对该第一预设阈值、该第二预设阈值以及该目标像素点的像素值进行处理,得到该第二参数。服务器将该第一参数、该目标像素点的像素值与该第二参数之间的乘积,以及第三参数与该目标像素点的像素值之间的乘积相加,得到该目标像素点调整后的像素值,该第三参数与该第二参数之和为1。
在这种实施方式下,利用平滑阶梯模型能够分阶梯进行处理,体现分频分段的思想,提高第二参数的准确性。
比如,服务器通过下述公式(7)确定第二参数,通过下述公式(8)来获取该目标像素点调整后的像素值。
α=smoothstep(ti1,ti2,p) (7)
p=α*p*λi+(1-α)*p (8)
其中,α为第二参数,λi为第一参数,λi<1,ti1为第一预设阈值,ti2为第二预设阈值,p为目标像素点的像素值,smoothstep为平滑阶梯模型对应的函数。
第二部分、服务器将该第一目标频段图像、该第二目标频段图像、该第三目标频段图像以及该第三滤波图像进行融合处理,得到融合图像。
在一种可能的实施方式中,服务器将该第一目标频段图像B1’、该第二目标频段图像B2’、该第三目标频段图像B3’以及该第三滤波图像GF2相加,得到融合图像res。该融合图像也就携带了三个频段图像以及第三滤波图像的信息。
第三部分、服务器对该融合图像进行色彩空间变换,得到该目标人脸图像。
由于融合图像是由第一目标频段图像、该第二目标频段图像、该第三目标频段图像以及该第三滤波图像融合得到的,而第一目标频段图像、该第二目标频段图像、该第三目标频段图像以及该第三滤波图像均是基于该初始人脸图像在Iab色彩空间下处理得到的,那么该融合图像也处于该Iab色彩空间。服务器将该融合图像由Iab变换到RGB色彩空间,得到最终的目标人脸图像,该目标人脸图像为消除高亮点的初始人脸图像,也即是消除头发油光之后的人脸图像。
在一些实施例中,本申请实施例提供的技术方案可以由两个模块来实现,第一个模块为油光检测模块,该油光检测模块用于执行上述步骤S305,用于获取目标概率图像。第二个模块为油光消除模块,该油光消除模块用于执行上述S301-S307中除了S305以外的步骤,用于获取目标人脸图像。
通过本申请实施例提供的技术方案,对初始人脸图像的亮度通道图像进行了多次滤波处理,得到第一滤波图像、第二滤波图像以及第三滤波图像。基于亮度通道图像、第一滤波图像、第二滤波图像以及第三滤波图像,获取了三个频段图像。后续对三个频段图像来进行处理,采用分频压暗的思想将初始人脸图像中的高亮点消除,得到目标人脸图像。由于这些高亮点对应于初始人脸图像中头发的油光,消除高亮点之后也就消除了头发区域中的油光,从而提高了人脸图像的显示效果。
图5是根据一示例性实施例示出的一种图像处理装置框图像。参见图5,该装置包括第一滤波单元501、第二滤波单元502、频段图像获取单元503以及目标人脸图像生成单元504。
第一滤波单元501,被配置为执行对初始人脸图像的亮度通道图像进行滤波处理,得到该初始人脸图像的第一滤波图像,该初始人脸图像包括头发区域。
第二滤波单元502,被配置为执行获取该初始人脸图像的第二滤波图像和第三滤波图像,该第二滤波图像是通过对该亮度通道图像进行滤波处理得到,该第三滤波图像是通过对该第二滤波图像进行滤波处理得到。
频段图像获取单元503,被配置为执行基于该亮度通道图像、该第一滤波图像、该第二滤波图像以及该第三滤波图像,获取该初始人脸图像的第一初始频段图像、第二初始频段图像以及第三初始频段图像,该第一初始频段图像为该初始人脸图像与该第一滤波图像之间的差值图像,该第二初始频段图像为该第一滤波图像与该第二滤波图像之间的差值图像,该第三初始频段图像为该第二滤波图像与该第三滤波图像之间的差值图像。
目标人脸图像生成单元504,被配置为执行基于该第一初始频段图像、该第二初始频段图像、该第三初始频段图像、该初始人脸图像的目标概率图像以及该第三滤波图像,生成目标人脸图像,该目标概率图像用于表示该初始人脸图像中头发区域内高亮点所在的位置,该高亮点为亮度符合预设亮度条件的像素点,该目标人脸图像为消除该初始人脸图像中的该高亮点后所得到的人脸图像。
在一种可能的实施方式中,该目标人脸图像生成单元504,被配置为执行基于该目标概率图像,对该第一初始频段图像、该第二初始频段图像以及第三初始频段图像进行像素值调整处理,得到第一目标频段图像、第二目标频段图像以及第三目标频段图像。将该第一目标频段图像、该第二目标频段图像、该第三目标频段图像以及该第三滤波图像进行融合处理,得到融合图像。对该融合图像进行色彩空间变换,得到该目标人脸图像,该目标人脸图像与该初始人脸图像处于同一个色彩空间。
在一种可能的实施方式中,该目标人脸图像生成单元504,被配置为执行基于该目标概率图像,分别在该第一初始频段图像、该第二初始频段图像以及第三初始频段图像中确定多个目标像素点,该目标像素点对应于该亮度通道图像中的高亮点。在该多个目标像素点的像素值符合预设像素值条件的情况下,基于第一预设阈值和第二预设阈值,对该多个目标像素点的像素值进行调整,得到该第一目标频段图像、该第二目标频段图像以及该第三目标频段图像,该第二预设阈值大于该第一预设阈值。
在一种可能的实施方式中,该目标人脸图像生成单元504,被配置为执行对于该第一初始频段图像中的任一目标像素点,在该目标像素点的像素值小于或等于该第一预设阈值的情况下,保持该目标像素点的像素值不变。在该目标像素点的像素值大于或等于该第二预设阈值的情况下,将该目标像素点的像素值与第一参数相乘,得到该目标像素点的调整后像素值,该第一参数为小于1的正数。在该目标像素点的像素值大于该第一预设阈值,且小于该第二预设阈值的情况下,将该目标像素点的像素值、该第一参数以及第二参数进行融合处理,得到该目标像素点调整后的像素值,该第二参数基于该第一预设阈值、该第二预设阈值以及该目标像素点的像素值确定。
在一种可能的实施方式中,该目标人脸图像生成单元504,被配置为执行采用平滑阶梯模型对该第一预设阈值、该第二预设阈值以及该目标像素点的像素值进行处理,得到该第二参数。将该第一参数、该目标像素点的像素值与该第二参数之间的乘积,以及第三参数与该目标像素点的像素值之间的乘积相加,得到该目标像素点调整后的像素值,该第三参数与该第二参数之和为1。
在一种可能的实施方式中,该第一滤波单元501,被配置为执行采用高斯卷积核在该亮度通道图像上进行滑动,在该高斯卷积核覆盖的区域内进行高斯滤波处理,得到该初始人脸图像的第一滤波图像,其中,该高斯卷积核滑动时的横向步长为第一步长,该高斯卷积核滑动时的纵向步长为第二步长,该第一步长为该初始人脸图像中人脸区域的宽与预设人脸区域的宽的比值,该第二步长为该初始人脸图像中人脸区域的高与该预设人脸区域的高的比值。
在一种可能的实施方式中,该初装置还包括:
人脸区域确定单元,被配置为执行对该初始人脸图像进行关键点检测,得到该初始人脸图像中的多个人脸关键点。将该多个人脸关键点的最小外接矩形,确定为该初始人脸图像中的人脸区域。
在一种可能的实施方式中,该第二滤波单元502,被配置为执行以该亮度通道图像为引导图像,对该亮度通道图像进行引导滤波处理,得到该第二滤波图像。以该第二滤波图像为引导图像,对该亮度通道图像进行引导滤波处理,得到该第三滤波图像。其中,对该亮度通道图像的两次引导滤波的横向步长为该第一步长,纵向步长为该第二步长。
在一种可能的实施方式中,该装置还包括:
亮度通道图像确认单元,被配置为执行将该初始人脸图像变换到Lab色彩空间。将该Lab色彩空间下L通道的图像,确认为该初始人脸图像的亮度通道图像。
在一种可能的实施方式中,该装置还包括:
目标概率图像生成单元,被配置为执行对该初始人脸图像进行图像识别,得到该初始人脸图像的初始概率图像,该初始概率图像用于表示该初始人脸图像中的像素点对应于头发的概率。将该初始人脸图像转换为亮度图像。基于该初始概率图像以及该亮度图像,生成该初始人脸图像的目标概率图像。
在一种可能的实施方式中,该目标概率图像生成单元,被配置为执行基于该初始人脸图像在RGB三个颜色通道下的颜色通道值,确定该初始人脸图像中多个像素点的亮度值。基于该初始人脸图像中多个像素点的亮度值,生成该初始人脸图像的亮度图像。
在一种可能的实施方式中,该目标概率图像生成单元,被配置为执行基于该初始概率图像,确定该初始人脸图像上的头发区域。基于该初始人脸图像的亮度图像,确定该头发区域的平均亮度值。基于该头发区域的平均亮度值,对该亮度图像进行二值化,得到参考亮度图像。对该参考亮度图像进行膨胀处理,将膨胀处理后得到的参考亮度图像与该初始概率图像进行融合处理,得到该初始人脸图像的目标概率图像。
在一种可能的实施方式中,该目标概率图像生成单元,被配置为执行基于概率阈值,对该初始概率图像进行二值化,得到该初始人脸图像的参考概率图像。基于该初始人脸图像的参考概率图像,确定该初始人脸图像上的头发区域。
在一种可能的实施方式中,该目标概率图像生成单元,被配置为执行对于该初始概率图像中的任一像素点,在该像素点对应的概率大于或等于该概率阈值的情况下,将该像素点对应的概率调整为第一数值。在该像素点对应的概率小于该概率阈值的情况下,将该像素点对应的概率调整为第二数值,该第一数值大于该第二数值。
在一种可能的实施方式中,该目标概率图像生成单元,被配置为执行对于该亮度图像中的任一像素点,在该像素点的亮度值大于或等于该平均亮度值的情况下,将该像素点的亮度值调整为第三数值。在该像素点的亮度值小于该平均亮度值的情况下,将该像素点的亮度值调整为第四数值,该第三数值大于该第四数值。
在一种可能的实施方式中,该目标概率图像生成单元,被配置为执行基于该初始概率图像,对该膨胀处理后得到的参考亮度图像进行高斯滤波处理,得到该初始人脸图像的目标亮度图像。将该初始概率图像与该目标亮度图像中对应像素点的数值相乘,得到该初始人脸图像的目标概率图像。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
通过本申请实施例提供的技术方案,对初始人脸图像的亮度通道图像进行了多次滤波处理,得到第一滤波图像、第二滤波图像以及第三滤波图像。基于亮度通道图像、第一滤波图像、第二滤波图像以及第三滤波图像,获取了三个频段图像。后续对三个频段图像来进行处理,采用分频压暗的思想将初始人脸图像中的高亮点消除,得到目标人脸图像。由于这些高亮点对应于初始人脸图像中头发的油光,消除高亮点之后也就消除了头发区域中的油光,从而提高了人脸图像的显示效果。
在本申请实施例中,电子设备可以实现为终端,下面对终端的结构进行说明:
图6是根据一示例性实施例示出的一种终端的框图,该终端600可以为用户所使用的终端。终端600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端600包括有:处理器601和存储器602。
处理器601可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个存储介质,该存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。
在一些实施例中,终端600还可选包括有:外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地,外围设备包括:射频电路604、显示屏605、摄像头组件606、音频电路607、定位组件608和电源6013中的至少一种。
外围设备接口603可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中,处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上;在一些其他实施例中,处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选的,射频电路604包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其他终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路604还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏605用于显示UI(User Interface,用户界面)。该UI可以包括图像、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时,显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时,显示屏605还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏605可以为一个,设置终端600的前面板;在另一些实施例中,显示屏605可以为至少两个,分别设置在终端600的不同表面或呈折叠设计;在一些实施例中,显示屏605可以是柔性显示屏,设置在终端600的弯曲表面上或折叠面上。甚至,显示屏605还可以设置成非矩形的不规则图像,也即异形屏。显示屏605可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选的,摄像头组件606包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其他融合拍摄功能。在一些实施例中,摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器601进行处理,或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路607还可以包括耳机插孔。
定位组件608用于定位终端600的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源609用于为终端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于:加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号,控制显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器612可以检测终端600的机体方向及转动角度,陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器613可以设置在终端600的侧边框和/或显示屏605的下层。当压力传感器613设置在终端600的侧边框时,可以检测用户对终端600的握持信号,由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在显示屏605的下层时,由处理器601根据用户对显示屏605的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器614用于采集用户的指纹,由处理器601根据指纹传感器614采集到的指纹识别用户的身份,或者,由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器601授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置终端600的正面、背面或侧面。当终端600上设置有物理按键或厂商Logo时,指纹传感器614可以与物理按键或厂商Logo集成在一起。
光学传感器615用于采集环境光强度。在一个实施例中,处理器601可以根据光学传感器615采集的环境光强度,控制显示屏605的显示亮度。具体地,当环境光强度较高时,调高显示屏605的显示亮度;当环境光强度较低时,调低显示屏605的显示亮度。在另一个实施例中,处理器601还可以根据光学传感器615采集的环境光强度,动态调整摄像头组件606的拍摄参数。
接近传感器616,也称距离传感器,通常设置在终端600的前面板。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中,当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时,由处理器601控制显示屏605从亮屏状态切换为息屏状态;当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时,由处理器601控制显示屏605从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图6中示出的结构并不构成对终端600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
上述电子设备还可以实现为服务器,下面对服务器的结构进行介绍:
图7是本申请实施例提供的一种服务器的框图,该服务器700可因配置或性能不同而产生比较大的差异,可以包括一个或多个处理器(Central Processing Units,CPU)701和一个或多个的存储器702,其中,所述一个或多个存储器702中存储有至少一条计算机程序,所述至少一条计算机程序由所述一个或多个处理器701加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器700还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器700还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种包括指令的非易失性计算机可读存储介质,例如包括指令的存储器,上述指令可由服务器700的处理器701执行以完成上述图像处理方法,或由终端600的处理器601完成上述图像处理方法。可选的,存储介质可以是非临时性存储介质,例如,所述非临时性存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品,包括计算机程序,该计算机程序可以由电子设备的处理器执行,以实现上述图像处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其他实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图像中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (20)

1.一种图像处理方法,其特征在于,包括:
对初始人脸图像的亮度通道图像进行滤波处理,得到所述初始人脸图像的第一滤波图像,所述初始人脸图像包括头发区域;
获取所述初始人脸图像的第二滤波图像和第三滤波图像,所述第二滤波图像是通过对所述亮度通道图像进行滤波处理得到,所述第三滤波图像是通过对所述第二滤波图像进行滤波处理得到;
基于所述亮度通道图像、所述第一滤波图像、所述第二滤波图像以及所述第三滤波图像,获取所述初始人脸图像的第一初始频段图像、第二初始频段图像以及第三初始频段图像,所述第一初始频段图像为所述初始人脸图像与所述第一滤波图像之间的差值图像,所述第二初始频段图像为所述第一滤波图像与所述第二滤波图像之间的差值图像,所述第三初始频段图像为所述第二滤波图像与所述第三滤波图像之间的差值图像;
基于所述第一初始频段图像、所述第二初始频段图像、所述第三初始频段图像、所述初始人脸图像的目标概率图像以及所述第三滤波图像,生成目标人脸图像,所述目标概率图像用于表示所述初始人脸图像中头发区域内高亮点所在的位置,所述高亮点为亮度符合预设亮度条件的像素点,所述目标人脸图像为消除所述初始人脸图像中的所述高亮点后所得到的人脸图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述第一初始频段图像、所述第二初始频段图像、所述第三初始频段图像、所述初始人脸图像的目标概率图像以及所述第三滤波图像,生成目标人脸图像,包括:
基于所述目标概率图像,对所述第一初始频段图像、所述第二初始频段图像以及第三初始频段图像进行像素值调整处理,得到第一目标频段图像、第二目标频段图像以及第三目标频段图像;
将所述第一目标频段图像、所述第二目标频段图像、所述第三目标频段图像以及所述第三滤波图像进行融合处理,得到融合图像;
对所述融合图像进行色彩空间变换,得到所述目标人脸图像,所述目标人脸图像与所述初始人脸图像处于同一个色彩空间。
3.根据权利要求2所述的图像处理方法,其特征在于,所述基于所述目标概率图像,对所述第一初始频段图像、所述第二初始频段图像以及第三初始频段图像进行像素值调整处理,得到第一目标频段图像、第二目标频段图像以及第三目标频段图像,包括:
基于所述目标概率图像,分别在所述第一初始频段图像、所述第二初始频段图像以及第三初始频段图像中确定多个目标像素点,所述目标像素点对应于所述亮度通道图像中的高亮点;
在所述多个目标像素点的像素值符合预设像素值条件的情况下,基于第一预设阈值和第二预设阈值,对所述多个目标像素点的像素值进行调整,得到所述第一目标频段图像、所述第二目标频段图像以及所述第三目标频段图像,所述第二预设阈值大于所述第一预设阈值。
4.根据权利要求3所述的图像处理方法,其特征在于,所述基于第一预设阈值和第二预设阈值,对所述多个目标像素点的像素值进行调整,得到所述第一目标频段图像、所述第二目标频段图像以及所述第三目标频段图像,包括:
对于所述第一初始频段图像中的任一目标像素点,在所述目标像素点的像素值小于或等于所述第一预设阈值的情况下,保持所述目标像素点的像素值不变;
在所述目标像素点的像素值大于或等于所述第二预设阈值的情况下,将所述目标像素点的像素值与第一参数相乘,得到所述目标像素点的调整后像素值,所述第一参数为小于1的正数;
在所述目标像素点的像素值大于所述第一预设阈值,且小于所述第二预设阈值的情况下,将所述目标像素点的像素值、所述第一参数以及第二参数进行融合处理,得到所述目标像素点调整后的像素值,所述第二参数基于所述第一预设阈值、所述第二预设阈值以及所述目标像素点的像素值确定。
5.根据权利要求4所述的图像处理方法,其特征在于,所述将所述目标像素点的像素值、所述第一参数以及第二参数进行融合处理,得到所述目标像素点调整后的像素值,包括:
采用平滑阶梯模型对所述第一预设阈值、所述第二预设阈值以及所述目标像素点的像素值进行处理,得到所述第二参数;
将所述第一参数、所述目标像素点的像素值与所述第二参数之间的乘积,以及第三参数与所述目标像素点的像素值之间的乘积相加,得到所述目标像素点调整后的像素值,所述第三参数与所述第二参数之和为1。
6.根据权利要求1所述的图像处理方法,其特征在于,所述对初始人脸图像的亮度通道图像进行滤波处理,得到所述初始人脸图像的第一滤波图像,包括:
采用高斯卷积核在所述亮度通道图像上进行滑动,在所述高斯卷积核覆盖的区域内进行高斯滤波处理,得到所述初始人脸图像的第一滤波图像,其中,所述高斯卷积核滑动时的横向步长为第一步长,所述高斯卷积核滑动时的纵向步长为第二步长,所述第一步长为所述初始人脸图像中人脸区域的宽与预设人脸区域的宽的比值,所述第二步长为所述初始人脸图像中人脸区域的高与所述预设人脸区域的高的比值。
7.根据权利要求6所述的图像处理方法,其特征在于,所述初始人脸图像中人脸区域通过下述方式得到:
对所述初始人脸图像进行关键点检测,得到所述初始人脸图像中的多个人脸关键点;
将所述多个人脸关键点的最小外接矩形,确定为所述初始人脸图像中的人脸区域。
8.根据权利要求6所述的图像处理方法,其特征在于,所述获取所述初始人脸图像的第二滤波图像和第三滤波图像,包括:
以所述亮度通道图像为引导图像,对所述亮度通道图像进行引导滤波处理,得到所述第二滤波图像;
以所述第二滤波图像为引导图像,对所述亮度通道图像进行引导滤波处理,得到所述第三滤波图像;
其中,对所述亮度通道图像的两次引导滤波的横向步长为所述第一步长,纵向步长为所述第二步长。
9.根据权利要求1所述的图像处理方法,其特征在于,所述对初始人脸图像的亮度通道图像进行滤波处理,得到所述初始人脸图像的第一滤波图像之前,所述方法还包括:
将所述初始人脸图像变换到Lab色彩空间;
将所述Lab色彩空间下L通道的图像,确认为所述初始人脸图像的亮度通道图像。
10.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述第一初始频段图像、所述第二初始频段图像、所述第三初始频段图像、所述初始人脸图像的目标概率图像以及所述第三滤波图像,生成目标人脸图像之前,所述方法还包括:
对所述初始人脸图像进行图像识别,得到所述初始人脸图像的初始概率图像,所述初始概率图像用于表示所述初始人脸图像中的像素点对应于头发的概率;
将所述初始人脸图像转换为亮度图像;
基于所述初始概率图像以及所述亮度图像,生成所述初始人脸图像的目标概率图像。
11.根据权利要求10所述的图像处理方法,其特征在于,所述将所述初始人脸图像转换为亮度图像,包括:
基于所述初始人脸图像在RGB三个颜色通道下的颜色通道值,确定所述初始人脸图像中多个像素点的亮度值;
基于所述初始人脸图像中多个像素点的亮度值,生成所述初始人脸图像的亮度图像。
12.根据权利要求10所述的图像处理方法,其特征在于,所述基于所述初始概率图像以及所述亮度图像,生成所述初始人脸图像的目标概率图像,包括:
基于所述初始概率图像,确定所述初始人脸图像上的头发区域;
基于所述初始人脸图像的亮度图像,确定所述头发区域的平均亮度值;
基于所述头发区域的平均亮度值,对所述亮度图像进行二值化,得到参考亮度图像;
对所述参考亮度图像进行膨胀处理,将膨胀处理后得到的参考亮度图像与所述初始概率图像进行融合处理,得到所述初始人脸图像的目标概率图像。
13.根据权利要求12所述的图像处理方法,其特征在于,所述基于所述初始概率图像,确定所述初始人脸图像上的头发区域,包括:
基于概率阈值,对所述初始概率图像进行二值化,得到所述初始人脸图像的参考概率图像;
基于所述初始人脸图像的参考概率图像,确定所述初始人脸图像上的头发区域。
14.根据权利要求13所述的图像处理方法,其特征在于,所述基于概率阈值,对所述初始概率图像进行二值化,包括:
对于所述初始概率图像中的任一像素点,在所述像素点对应的概率大于或等于所述概率阈值的情况下,将所述像素点对应的概率调整为第一数值;在所述像素点对应的概率小于所述概率阈值的情况下,将所述像素点对应的概率调整为第二数值,所述第一数值大于所述第二数值。
15.根据权利要求12所述的图像处理方法,其特征在于,所述基于所述头发区域的平均亮度值,对所述亮度图像进行二值化,得到参考亮度图像,包括:
对于所述亮度图像中的任一像素点,在所述像素点的亮度值大于或等于所述平均亮度值的情况下,将所述像素点的亮度值调整为第三数值;在所述像素点的亮度值小于所述平均亮度值的情况下,将所述像素点的亮度值调整为第四数值,所述第三数值大于所述第四数值。
16.根据权利要求12所述的图像处理方法,其特征在于,所述将膨胀处理后得到的参考亮度图像与所述初始概率图像进行融合处理,得到所述初始人脸图像的目标概率图像,包括:
基于所述初始概率图像,对所述膨胀处理后得到的参考亮度图像进行高斯滤波处理,得到所述初始人脸图像的目标亮度图像;
将所述初始概率图像与所述目标亮度图像中对应像素点的数值相乘,得到所述初始人脸图像的目标概率图像。
17.一种图像处理装置,其特征在于,包括:
第一滤波单元,被配置为执行对初始人脸图像的亮度通道图像进行滤波处理,得到所述初始人脸图像的第一滤波图像,所述初始人脸图像包括头发区域;
第二滤波单元,被配置为执行获取所述初始人脸图像的第二滤波图像和第三滤波图像,所述第二滤波图像是通过对所述亮度通道图像进行滤波处理得到,所述第三滤波图像是通过对所述第二滤波图像进行滤波处理得到;
频段图像获取单元,被配置为执行基于所述亮度通道图像、所述第一滤波图像、所述第二滤波图像以及所述第三滤波图像,获取所述初始人脸图像的第一初始频段图像、第二初始频段图像以及第三初始频段图像,所述第一初始频段图像为所述初始人脸图像与所述第一滤波图像之间的差值图像,所述第二初始频段图像为所述第一滤波图像与所述第二滤波图像之间的差值图像,所述第三初始频段图像为所述第二滤波图像与所述第三滤波图像之间的差值图像;
目标人脸图像生成单元,被配置为执行基于所述第一初始频段图像、所述第二初始频段图像、所述第三初始频段图像、所述初始人脸图像的目标概率图像以及所述第三滤波图像,生成目标人脸图像,所述目标概率图像用于表示所述初始人脸图像中头发区域内高亮点所在的位置,所述高亮点为亮度符合预设亮度条件的像素点,所述目标人脸图像为消除所述初始人脸图像中的所述高亮点后所得到的人脸图像。
18.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行程序代码的存储器;
其中,所述处理器被配置为执行所述程序代码,以实现如权利要求1至16中任一项所述的图像处理方法。
19.一种非易失性存储介质,当所述存储介质中的程序代码由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至16中任一项所述的图像处理方法。
20.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利如权利要求1至16中任一项所述的图像处理方法。
CN202210871899.9A 2022-07-22 2022-07-22 图像处理方法、装置、电子设备以及存储介质 Pending CN115330610A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210871899.9A CN115330610A (zh) 2022-07-22 2022-07-22 图像处理方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210871899.9A CN115330610A (zh) 2022-07-22 2022-07-22 图像处理方法、装置、电子设备以及存储介质

Publications (1)

Publication Number Publication Date
CN115330610A true CN115330610A (zh) 2022-11-11

Family

ID=83918862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210871899.9A Pending CN115330610A (zh) 2022-07-22 2022-07-22 图像处理方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN115330610A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965735A (zh) * 2022-12-22 2023-04-14 百度时代网络技术(北京)有限公司 纹理贴图的生成方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965735A (zh) * 2022-12-22 2023-04-14 百度时代网络技术(北京)有限公司 纹理贴图的生成方法和装置
CN115965735B (zh) * 2022-12-22 2023-12-05 百度时代网络技术(北京)有限公司 纹理贴图的生成方法和装置

Similar Documents

Publication Publication Date Title
CN108594997B (zh) 手势骨架构建方法、装置、设备及存储介质
CN109034102B (zh) 人脸活体检测方法、装置、设备及存储介质
CN110210571B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN107945163B (zh) 图像增强方法及装置
CN111079576B (zh) 活体检测方法、装置、设备及存储介质
CN110807361B (zh) 人体识别方法、装置、计算机设备及存储介质
CN113205568B (zh) 图像处理方法、装置、电子设备及存储介质
US20220319077A1 (en) Image-text fusion method and apparatus, and electronic device
CN110570460B (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN109360222B (zh) 图像分割方法、装置及存储介质
CN111461097A (zh) 识别图像信息的方法、装置、电子设备及介质
CN110933334B (zh) 视频降噪方法、装置、终端及存储介质
CN110991457B (zh) 二维码处理方法、装置、电子设备及存储介质
CN111723803B (zh) 图像处理方法、装置、设备及存储介质
CN110503159B (zh) 文字识别方法、装置、设备及介质
CN110827195A (zh) 虚拟物品添加方法、装置、电子设备及存储介质
CN110807769B (zh) 图像显示控制方法及装置
CN110619614B (zh) 图像处理的方法、装置、计算机设备以及存储介质
CN114494073A (zh) 图像处理方法、装置、设备及存储介质
CN115330610A (zh) 图像处理方法、装置、电子设备以及存储介质
CN113642359B (zh) 人脸图像生成方法、装置、电子设备及存储介质
CN110232417B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN112135191A (zh) 视频编辑方法、装置、终端及存储介质
CN115205164B (zh) 图像处理模型的训练方法、视频处理方法、装置及设备
CN111428551A (zh) 密度检测方法、密度检测模型训练方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination