CN114283072A - 一种图像处理方法、存储介质及终端设备 - Google Patents
一种图像处理方法、存储介质及终端设备 Download PDFInfo
- Publication number
- CN114283072A CN114283072A CN202011040147.5A CN202011040147A CN114283072A CN 114283072 A CN114283072 A CN 114283072A CN 202011040147 A CN202011040147 A CN 202011040147A CN 114283072 A CN114283072 A CN 114283072A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- processed
- processing method
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法、存储介质及终端设备,所述方法包括获取若干待处理图像,并基于获取到的若干待处理图像确定第一图像;对所述第一图像进行图像增强,以得到第二图像;对得到的第二图像进行去噪处理,以得到输出图像。本申请通过基于获取到若干待处理图像确定第一图像,并对第一图像进行图像增强以及去噪处理以得到输出图像,这样可以在减少输出图像的图像噪声的同时提高了输出图像的图像动态范围,从而提高了输出图像的图像质量。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种图像处理方法、存储介质及终端设备。
背景技术
全面屏作为现今手机发展的一个流行趋势,通过增大屏占比来提升用户体验,例如,在采用全面屏取代刘海屏时,可以避免手机使用时刘海遮挡部分功能或文字。然而,在实现全面屏时需要将摄像头隐藏于屏幕后方,屏幕上的线路遮挡以及LED屏基底材料会对光线产生吸收、折射以及衍射等作用,使得拍摄得到的图像失真,进而影响终端拍摄图像的图像质量。
发明内容
本申请要解决的技术问题在于,针对现有技术的不足,提供一种图像处理方法、存储介质及终端设备。
为了解决上述技术问题,本申请实施例第一方面提供了一种图像处理方法,所述方法包括:
获取若干待处理图像,并基于获取到的若干待处理图像确定第一图像;
对所述第一图像进行图像增强,以得到第二图像;
对得到的第二图像进行去噪处理,以得到输出图像。
所述图像处理方法,其中,若干待处理图像中的各待处理图像各自对应的拍摄参数相同,并且若干待处理图像的图像数量为根据待处理图像对应的拍摄参数确定的。
所述图像处理方法,其中,所述若干待处理图像为通过屏下成像系统拍摄得到,和/或,所述若干待处理图像为连续图像。
所述图像处理方法,其中,所述若干待处理图像包括基础图像和至少一张临近图像,所述基于获取到的若干待处理图像确定第一图像具体包括:
对于每张临近图像,将该临近图像与所述基础图像进行对齐,以得到对齐后的临近图像;
将所述基础图像和各对齐后的临近图像进行图像融合,以得到第一图像。
所述图像处理方法,其中,所述获取若干待处理图像,并基于获取到的若干待处理图像确定第一图像之后,所述方法还包括:
检测所述第一图像是否包含高光区域;
若第一图像携带高光区域,获取若干参考图像,其中,若干参考图像中的每个参考图像对应的拍摄参数均与待处理图像对应的拍摄参数不同,并且各参考图像各自对应的拍摄参数互不相同;
将所述第一图像与若干参考图像进行融合以得到融合图像,并将所述融合图像作为第一图像。
所述图像处理方法,其中,所述检测所述第一图像是否包含高光区域具体包括:
获取第一图像中各像素点的像素值,并基于获取到的所有像素值确定第一图像的直方图;
根据确定的直方图确定第一图像中目标像素点的目标数量,其中,所述目标像素点为像素值大于预设阈值的像素点;
若目标数量大于预设数量阈值,则判定所述第一图像包含高光区域;
若目标数量小于预设数量阈值,则判定所述第一图像未包含高光区域。
所述图像处理方法,其中,所述拍摄参数为曝光量,若干参考图像中的各参考图像各自对应的曝光量互不相同,并且该各参考图像各自对应的曝光量均小于正常曝光量。
所述图像处理方法,其中,所述对所述第一图像进行图像增强,以得到第二图像具体包括:
将所述第一图像输入经过训练的第一图像增强模型,通过所述第一图像增强模型输出候选图像,其中,所述候选图像的图像动态范围大于所述第一图像的图像动态范围;
将所述候选图像输入经过训练的第二图像增强模型,通过所述第二图像增强模型输出第二图像,其中,所述第二图像为候选图像对应的去除光斑图像。
所述待处理图像包括人脸图像;所述对得到的第二图像进行去噪处理,以得到输出图像具体为:
获取所述第二图像中的人脸区域,并对获取到的人脸区域进行去噪处理以得到输出图像。
所述图像处理方法,其中,所述获取所述第二图像中的人脸区域,并获取到的人脸区域进行去噪处理以得到输出图像具体包括:
将所述第二图像输入经过训练的人脸识别模型,通过所述人脸识别模型获取所述第二图像的人脸区域;
对获取到人脸区域进行去噪处理,以得到输出图像。
所述图像处理方法,其中,所述对得到的第二图像进行去噪处理,以得到输出图像之后,所述方法还包括:
对所述输出图像进行锐化以及降噪处理,并将锐化以及降噪处理后的图像作为输出图像。
本申请实施例第二方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上任一所述的图像处理方法中的步骤。
本申请实施例第三方面提供了一种终端设备,其包括:处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述通信总线实现处理器和存储器之间的连接通信;
所述处理器执行所述计算机可读程序时实现如上任一所述的图像处理方法中的步骤。
有益效果:与现有技术相比,本申请提供了一种图像处理方法、存储介质及终端设备,所述方法包括获取若干待处理图像,并基于获取到的若干待处理图像确定第一图像;对所述第一图像进行图像增强,以得到第二图像;对得到的第二图像进行去噪处理,以得到输出图像。本申请通过基于获取到若干待处理图像确定第一图像,并对第一图像进行图像增强以及去噪处理以得到输出图像,这样可以在减少输出图像的图像噪声的同时提高了输出图像的图像动态范围,从而提高了输出图像的图像质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员而言,在不符创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的图像处理方法的流程图。
图2为本申请提供的图像处理方法的一个流程示例图。
图3为本申请提供的图像处理方法中的基于若干待处理图像确定第一图像的过程的流程图。
图4为本申请提供的图像处理方法中的若干参考图像与第一图像融合过程的流程图。
图5为本申请提供的图像处理方法中第一图像的一示例图。
图6为本申请提供的图像处理方法中屏下成像系统拍摄得到的图像的一示例图。
图7为本申请提供的图像处理方法中第一图像的另一示例图。
图8为本申请提供的图像处理方法中屏下成像系统拍摄得到的图像的另一示例图。
图9为本申请提供的图像处理方法中第二图像的一示例图。
图10为本申请提供的图像处理方法中屏下成像系统拍摄得到的图像的一示例图。
图11为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种图像处理方法、存储介质及终端设备,为使本申请的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本申请进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
发明人经过研究发现,为了实现终端设备的全面屏,需要将终端设备的前置摄像头安装在显示面板下方。而显示面板内配置有信号线路,以通过信号线路来控制显示面板的点亮。信号线路包括数据线和扫描线等能够遮挡光线的结构,所述数据线和扫描线形成横纵交错的网格,当位于显示面板下的摄像头进行拍摄时,信号线路形成的网格会遮挡光线;同时显示面板(例如,LED显示面板等)的屏基材料本身具有吸光、折射光线以及衍射光线等特性,在光线通过显示面板时显示面板的屏体会吸收部分光线、折射部分光线发送折射,以及使得部分光线发生衍射,从而使得拍摄得到的图像失真,进而影响终端拍摄图像的图像质量。
为了解决上述问题,在本申请实施例中,首先获取若干待处理图像,并基于获取到的若干待处理图像确定第一图像;其次,对所述第一图像进行图像增强,以得到第二图像;最后,对得到的第二图像进行去噪处理,以得到输出图像。本申请通过基于获取到若干待处理图像确定第一图像,并对第一图像进行图像增强以及去噪处理以得到输出图像,这样可以在减少输出图像的图像噪声的同时提高了输出图像的图像动态范围,从而提高了输出图像的图像质量。
举例说明,本申请实施例可以应用到终端设备的场景。在该场景中,终端设备获取若干待处理图像,并基于获取到的若干待处理图像确定第一图像;对所述第一图像进行图像增强,以得到第二图像;对得到的第二图像进行去噪处理,以得到输出图像。
可以理解的是,在上述应用场景中,虽然将本申请实施方式的动作描述全部由终端设备,但是这些动作也可以部分由终端设备执行,部分由服务器执行,例如,终端设备获取若干待处理图像,并将若干待处理图像传输至服务器,以使得服务器获取到若干待处理图像。所述服务器响应所述终端设备输入的若干待处理图像,基于获取到的若干待处理图像确定第一图像;对所述第一图像进行图像增强,以得到第二图像;对得到的第二图像进行去噪处理,以得到输出图像。本申请在执行主体方面不受限制,只要执行了本申请实施方式所公开的动作即可。
在一个具体应用场景中,可以将所述图像处理方法用于处理通过具有屏下成像系统(如,屏下摄像头)的终端设备拍摄的图像。例如,通过具有屏下成像系统(如,屏下摄像头)的终端设备拍摄的若干待处理图像,并基于获取到的若干待处理图像确定第一图像;对所述第一图像进行图像增强,以得到第二图像;对得到的第二图像进行去噪处理,以得到输出图像,在减少输出图像的图像噪声的同时提高了输出图像的图像动态范围,从而提高了输出图像的图像质量。当然,在实际应用中,所述图像处理方法可作为一个图像处理功能模块配置于具有屏下成像系统(如,屏下摄像头)的终端设备,当具有屏下成像系统(如,屏下摄像头)的终端设备拍摄到若干图像时,启动所述图像处理功能模块,通过所述图像处理功能模块对该若干图像进行处理,使得具有屏下成像系统(如,屏下摄像头)的终端设备可以直接确定输出图像。
需要注意的是,上述应用场景仅是为了便于理解本申请而示出,本申请的实施方式在此方面不受任何限制。相反,本申请的实施方式可以应用于适用的任何场景。
下面结合附图,通过对实施例的描述,对申请内容作进一步说明。
本实施提供了一种图像处理方法,如图1和图2所示,所述方法包括:
S10、获取若干待处理图像,并基于获取到的若干待处理图像确定第一图像。
具体地,所述若干待处理图像包括若干待处理图像,所述若干待处理图像包含的各待处理图像可以均是通过成像系统(如,照相机、摄像机、屏下摄像头等)拍摄的得到,也可以均是其他外部设备(例如,数码相机等)拍摄并存储于终端设备的图像,还可以均是通过云端发送至终端设备的图像。在本实施例中,所述若干待处理图像均是通过成像系统(例如,屏下摄像头等)拍摄得到的图像,其中,所述成像系统可以为终端设备自身配置的,也可以为其他设备配置的。所述若干待处理图像中每张待处理图像各自对应的拍摄场景均相同,并且若干待处理图像中的每个待处理图像均属于相同的色彩空间(如,RGB色彩空间以及YUV色彩空间等)相同。例如,所述若干待处理图像均为通过配置有屏下摄像头的手机对一风景场景拍摄得到风景图像,并且各风景图像均属于RGB色彩空间;再如,所述若干待处理图像为数码相机对同一对象拍摄并发送至终端设备的人物画像,并且各人物画像均属于YUV色彩空间等。
所述第一图像为若干待处理图像融合得到的融合图像,其中,第一图像的信噪比小于若干待处理图像中任一待处理图像的信噪比。例如,若干待处理图像包括待处理图像A和待处理图像B,待处理图像A和待处理图像B融合得到的第一图像的信噪比为60,那么待处理图像A的信噪比和待处理图像B的信噪比均小于60,如,待处理图像A的信噪比为50,待处理图像B的信噪比为55。
在本实施例的一个实现方式中,若干待处理图像为若干张连续图像,若干连续图像可以为在图像采集设备处于连拍状态下拍摄得到的连续图像,或者是,连续触发图像采集设备拍摄得到的连续图像等。其中,所述图像采集装置为屏下成像系统,例如,具有屏下摄像头的手机等。此外,所述若干待处理图像中的各待处理图像的曝光量均相同,例如,若干待处理图像中的各待处理图像的曝光量均为EV-0。
所述EV(Exposure Values)用于反映曝光量,所述曝光量用于反映拍摄图像时光圈的入光量,即在快门打开到关闭的过程中进入光圈的光线量;并且当感光度为ISO 100、光圈系数为F1、曝光时间为1秒时,曝光量定义为0。此外,EV-N表示曝光量减少N档(例如,快门时间减少为1/N或者光圈缩为1/N),EV+N;曝光量增加N档(快门时间增加N倍或者光圈增加N档),其中,N为正整数。在本实施例的一个可能实现方式中,若干待处理图像对应的曝光参数(如,光圈系数以及感光度等)相同,若干候选图像中各待处理图像的曝光量可以通过调整待处理图像对应的曝光时长而生成,各待处理图像各自对应的曝光量相同,也可以通过将各待处理图像对应的曝光时长设置相同而实现。其中,所述曝光时长为是指从快门打开到关闭的时间间隔,摄像装置镜头的光圈叶片在时间间隔内可以将物体的影响留在在底片上留下影像,并且当摄像装置的曝光时长长时,进入光圈内的光多;当摄像装置的曝光时长短时,进入光圈内的光少。
由于在不同的环境照度下,成像系统拍摄的图像的噪声程度不同,例如,当环境照度低时,成像系统拍摄得到的图像携带的噪声较多,当环境照度高时,成像系统拍摄得到的图像携带的噪声较少。特别是对于屏下成像系统,由于显示面板对不同光线强度的吸收强度不同,并且显示面板对光线的吸收程度与光线强度为非线性光线(例如,当环境照度低时,光线强度低,显示面板吸收光线的比例高,当环境照度高时,光线强度高,显示面板吸收光线的比例低),这使得屏下成像系统拍摄得到图像A的噪声强度高于图像B的噪声强度,其中,图像A对应的环境光强度小于图像B对应的环境光强度。此外,对于噪声强度不同的图像,可以采用不同数量的图像进行合成,例如,噪声强度高图像需要的图像数量大于噪声强度低图像需要的图像数量。
基于此,所述若干待处理图像的图像数量为根据所述待处理图像集对应的拍摄参数确定的,其中,所述拍摄参数可以包括环境照度。所述环境照度可以在用于拍摄若干待处理图像的成像系统启动时获取得到,也可以也可以是根据拍摄得到的第一帧图像获取到,还可以是通过预先拍摄得到的预设数量的图像,再根据拍摄得到的预设数量的图像中任一张图像确定。例如,若干待处理图像均为通过屏下成像系统拍摄得到,所述若干待处理图像的图像数量是根据所述屏下成像系统拍摄图像时的环境照度确定,其中,所述环境照度为在屏下成像系统启动时获取到的。
在获取到环境照度后,可以根据预先设定环境照度区间与待处理图像的图像数量的对应关系确定若干待处理图像的图像数量,以便于拍摄得到若干待处理图像。在一个具体实现方式中,所述若干待处理图像的图像数量的确定过程可以包括:获取到环境照度,并确定环境照度所处环境照度区间,再根据该对应关系确定该环境照度区间对应的待处理图像的图像数量,以得到若干待处理图像的图像数量。
举例说明:假设环境照度区间与待处理图像的图像数量的对应关系为:当环境照度区间为[0.5,1)时,待处理图像的图像数量对应8;当环境照度为[1,3)时,待处理图像的图像数量对应7;当环境照度为[3,10)时,待处理图像的图像数量对应6;当环境照度区间为[10,75)时,待处理图像的图像数量对应5;当环境照度区间为[75,300)时,待处理图像的图像数量对应4,当环境照度区间为[300,1000)时,待处理图像的图像数量对应3;当环境照度为[1000,5000)时,待处理图像的图像数量对应2。待处理图像对应的环境照度为400,400包含于[300,1000),从而若干待处理图像的图像数量为3。
在本实施例的一个实现方式中,所述基于获取到的若干待处理图像确定第一图像具体包括:
S21、对于每张临近图像,将该临近图像与所述基础图像进行对齐,以得到对齐后的临近图像;
S22、将所述基础图像和各对齐后的临近图像进行图像融合,以得到第一图像。
具体地,所述基础图像和各临近图像均为所述若干待处理图像中的一张待处理图像,并且基础图像与各临近图像均不相同,其中,所述基础图像为若干待处理图像的对齐处理的基准,使得临近图像可以以所述基础图像为参考基准与所述基础图像对齐。所述基础图像可以为按照获取顺序位于第一的图像,也可以是若干待处理图像中任一张图像,还可以是若干待处理图像中清晰度最高的一张图像。在本实施例中,所述基础图像为若干待处理图像中清晰度最高的一张图,即所述基础图像的清晰度大于或者等于任意一张临近图像的清晰度。
在本实施例的一个实现方式中,所述基础图像的确定过程可以:在获取到若干待处理图像包含的所有待处理图像后,获取各待处理图像的清晰度,并将获取到各清晰度进行比较,以选取清晰度最大的待处理图像,并将选取到的待处理图像作为基础图像。其中,所述图像的清晰度可以理解为图像中地物边界(或物体边界)上的像素点的像素值和与该地物边界(或物体边界)相邻的像素点的像素值之间的差值;可以理解的是,若图像中地物边界(或物体边界)上的像素点的像素值和与该地物边界(或物体边界)相邻的像素点的像素值之间的差值越大,则说明该图像的清晰度越高,反之,若图像中地物边界(或物体边界)上的像素点的像素值和与该地物边界(或物体边界)相邻的像素点的像素值之间的差值越小,则说明该图像的清晰度越低。也就是说,基础图像的清晰度高于各临近图像的清晰度,可以理解为,针对于每一张临近图像,基础图像中地物边界(或物体边界)上的像素点的像素值和与该地物边界(或物体边界)相邻的像素点的像素值之间的差值,大于该临近图像中地物边界(或物体边界)上的像素点的像素值和与该地物边界(或物体边界)相邻的像素点的像素值之间的差值。
为便于理解,接下来针对基础图像的清晰度高于临近图像的清晰度进行举例说明。假设若干待处理图像包括一张待处理图像A和一张待处理图像B,且该待处理图像A和该待处理图像B中的图像内容相同,其中,该待处理图像A和该待处理图像B中均包括像素点a和像素点b,像素点a为图像中地物边界(或物体边界)上的像素点,而像素点b为与该地物边界(或物体边界)相邻的像素点;若待处理图像A中像素点a的像素值与像素点b的像素值之间的差值为10,而该待处理图像B中像素点a的像素值与像素点b的像素值之间的差值为30,则可以认为该待处理图像B的清晰度低于该待处理图像A的清晰度,因此,可以将该待处理图像A作为若干待处理图像中的基础图像,将该待处理图像B作为若干待处理图像中的临近图像。
在本实施例的一个实现方式中,在根据清晰度在若干待处理图像中选取基础图像时,若干待处理图像中存在多张清晰度相同的待处理图像(记为待处理图像C),并且每张待处理图像C的清晰度均不小于若干待处理图像中的任一张待处理图像的清晰度,那么所述多张待处理图像C均可以作为基础图像。此时,可以在获取到多张待处理图像C中随机选取一张待处理图像C作为基础图像,也可以按照拍摄顺序,在多张图像C中选取位于第一位的待处理图像C作为基础图像,还可以按照拍摄顺序,在多张待处理图像C中选取位于最后一位的待处理图像C作为基础图像等。
在本实施例的一个实现方式中,所述将该临近图像与所述基础图像进行对齐指的是将临近图像与基础图像进行对齐处理,以使得所述临近图像在空间上与所述基础图像对齐。
进一步,所述将该组训练图像组中的第一图像与所述第一图像对应的第二图像进行对齐处理指的是将以第二图像为基准,将第一图像中像素点与第二图像中与其对应的像素点对齐,以使得第一图像中像素点与第二图像中像素点的对齐率可以达到预设值,例如,99%等。其中,所述第一图像中像素点与第二图像中与其对应的像素点对齐指的是:对于第一图像中的第一像素点和第二图像中与第一像素点相对应的第二像素点,若第一像素点对应的像素坐标与第二像素点对应的像素坐标相同,那么第一像素点与第二像素点对齐;若第一像素点对应的像素坐标与第二像素点对应的像素坐标不相同那么第一像素点与第二像素点对齐。所述对齐图像指的通过对第一图像进行对齐处理得到图像,并且对齐图像中每个像素点与第二图像中其对应的像素点的像素坐标相同。此外,在得到对齐图像后,采用所述对齐图像替换其对应的第一图像以更新训练图像组,以使得更新后的训练图像组中的第一图像和第二图像在空间上对齐。
进一步,由于不同组训练图像组中的第一图像和第二图像的对齐程度不同,从而可以在实现对齐的基础上,针对不同对齐程度的第一图像和第二图像可以采用不同的对齐方式,以使得各组训练图像组均可以采用复杂度低的对齐方式进行对齐处理。由此,在本实施例的一个实现方式中,将该临近图像与所述基础图像进行对齐,以得到对齐后的临近图像具体包括:
A10、获取所述基础图像与该临近图像之间的像素偏差量;
A20、根据所述像素偏差量确定所述临近图像对应的对齐方式,并采用所述对齐方式将所述临近图像与所述基础图像进行对齐处理。
具体地,所述像素偏差量指的是临近图像中第一像素点与基础图像中与该第一像素点对应的第二像素点不对齐的第一像素点的总数量。所述像素偏差量可以通过获取临近图像中各第一像素点的第一坐标,以及基础图像中各第二像素点的第二坐标,然后将第一像素点的第一坐标与其对应的第二像素点的第二坐标进行比较,若第一坐标与第二坐标相同,则判定第一像素点与其对应的第二像素点对齐;若第一坐标与第二坐标不相同,则判定第一像素点与其对应的第二像素点不对齐,最后获取所有不对齐的第一像素点的总数量,以得到所述像素偏差量。例如,当所述临近图像中的第一像素点的第一坐标为(200,200),基础图像中与所述第一像素点对应的第二像素点的第二坐标为(201,200)时,所述第一像素点与第二像素点不对齐,不对齐的第一像素点的总数量加一;当所述临近图像中的第一像素点的第一坐标为(200,200),基础图像中与所述第一像素点对应的第二像素点的第二坐标为(200,200)时,所述第一像素点与第二像素点对齐,不对齐的第一像素点的总数量不变。
进一步,为了确定像素偏差量与对齐方式的对应关系,可以需要设置偏差量阈值,在获取到临近图像的像素偏差量时,可以通过将获取到的像素偏差量与预设偏差量阈值进行比较,以确定像素偏差量对应的对齐方式。由此,在本实施例的一个实现方式中,所述根据所述像素偏差量确定所述临近图像对应的对齐方式,并采用所述对齐方式将所述临近图像与所述基础图像进行对齐处理具体包括:
A21、当所述像素偏差量小于或等于预设偏差量阈值时,根据所述临近图像与所述基础图像的互信息,以所述基础图像为基准对所述临近图像进行对齐处理;
A22、当所述像素偏差量大于所述预设偏差量阈值时,提取所述临近图像的第一像素点集和所述基础图像的第二像素点集,所述第一像素点集包含所述临近图像中的若干第一像素点,所述第二像素点集包括所述基础图像中的若干第二像素点,所述第二像素点集中的第二像素点与所述第一像素点集中的第一像素点一一对应;针对所述第一像素点集中每个第一像素点,计算该第一像素点与其对应的第二像素点的坐标差值,并根据该第一像素点对应的坐标差值对该第一像素点进行位置调整,以将该第一像素点与该第一像素点对应的第二像素点对齐。
具体地,所述预设偏差量阈值为预先设置,例如,预设偏差量阈值为20。所述当所述像素偏差量小于或等于预设偏差量阈值时指的是当将所述像素偏差量与所述预设偏差量阈值时,所述像素偏差量小于等于预设偏差量阈值。而当所述像素偏差量小于等于预设偏差量阈值时,说明临近图像和基础图像在空间上的偏差较小,此时可以采用根据所述临近图像与所述基础图像的互信息对临近图像和基础图像进行对齐。在本实施例中,以所述临近图像和其对应的基础图像之间互信息对临近图像和基础图像进行对齐的过程可以采用图像配准方法,所述图像配准方法中以互信息作为度量准则,其中,互信息(MutualInformation)用于描述临近图像与基础图像间的信息相关性;通过优化器对度量准则迭代进行优化以得到对齐参数,通过所述配准所述对齐参数的配准器将临近图像与基础图像进行对齐,这保证临近图像与基础图像的对齐效果的基础,降低了临近图像与基础图像对齐的复杂性,从而提高了对齐效率。在本实施例中,所述优化器主要采用平移和旋转变换,以通过所述平移和旋转变换来优化度量准则。
进一步,所述像素偏差量大于所述预设偏差量阈值,说明临近图像和基础图像在空间上不对齐程度较高,此时需要着重考虑对齐效果。从而此时可以采用通过选取临近图像中的第一像素点集和基础图像中第二像素点集的方式对临近图像和基础图像进行对齐。所述第一像素点集的第一像素点与第二像素点集中第二像素点一一对应,以使得对于第一像素点集中的任一第一像素点,在第二像素点集中均可以找到一个第二像素点,所述第二像素点在基础图像中的位置与第一像素点在临近图像中的位置相对应。此外,所述第一像素点集和第二像素点集可以是在获取到第一像素点集/第二像素点集后,根据第一像素点与第二像素点的对应关系确定第二像素点集/第一像素点集,例如,所述第一像素点集通过在临近图像中随机选取多个第一像素点的方式生成,第二像素点则是根据第一像素点集包含的各第一像素点确定的。
同时在本实施例中,所述第一像素点集和第二像素点集均是通过尺度不变特征变换(Scale-invariant feature transform,sift)的方式获取得到,即所述第一像素点集中第一像素点为临近图像中第一sift特征点,所述第二像素点集中第二像素点为基础图像的第二sift特征点。相应的,所述计算该第一像素点与其对应的第二像素点的坐标差值为将第一像素点中第一sift特征点与第二像素点集中第二sift特征点进行点对点匹配,以得到各第一sift特征点与其对应的各第二sift特征点的坐标差值,并根据该第一sift特征点对应的坐标差值对该第一sift特征点进行位置变换,以将该第一像素点与该第一sift特征点对应的第二sift特征点对齐,从而使得临近图像中第一sift特征点与基础图像中第二sift特征点位置相同,从而实现了临近图像与基础图像的对齐。
进一步,在将各临近图像与基础图像进行对齐处理后,将对齐后的各临近图像与基础图像进行图像融合,并将融合得到的融合图像作为第一图像,以使得第一图像的信噪比小于各待处理图像中任一张待处理图像的信噪比。例如,若干待处理图像包括待处理图像A和待处理图像B,待处理图像A和待处理图像B融合得到的第一图像的信噪比为60,那么待处理图像A的信噪比和待处理图像B的信噪比均小于60,如,待处理图像A的信噪比为50,待处理图像B的信噪比为55。
在本实施例的一个实现方式中,将基础图像与若干临近图像进行融合的过程可以为:对于基础图像中的每个基础像素点,获取各临近图像中的临近像素点,其中,各临近像素点在各自对应的临近图像中的像素坐标与该基础像素点在基础图像中的像素坐标相同;将该基础像素点对应的像素值与各临近像素点对应的像素值进行加权,并将加权得到的像素值作为该基础像素点对应的像素值,以得到融合图像,最后将该融合图像作为第一图像。其中,基础像素点以及各临近像素点各自对应的权重值可以相等,并且基础像素点的权重值与各临近像素点各自对应的权重值的和等于1。由此,基础像素点以及各临近像素点各自对应的权重值可以根据若干待处理图像的图像数据确定,并且基础像素点以及各临近像素点各自对应的权重值均为图像数量的倒数。本实施例将各临近图像与基础图像融合,可以减少训练图像中的噪声,提高第一图像的信噪比,从而提高输出图像的信噪比,进而提高输出图像的图像质量。
在本实施例的一个实现方式中,如图3所示,所述获取若干待处理图像,并基于获取到的若干待处理图像确定第一图像之后,所述方法还包括:
B10、检测所述第一图像是否包含高光区域;
B20、若第一图像携带高光区域,获取若干参考图像,其中,若干参考图像中的每个参考图像对应的拍摄参数均与待处理图像对应的拍摄参数不同;
B30、将所述第一图像与若干参考图像进行融合以得到融合图像,并将所述融合图像作为第一图像。
具体地,所述高光区域为第一图像中一图像区域,该图像区域所包括的目标像素点的数量大于预设条件,其中,所述预设条件可以为目标像素点的数量大于第一预设阈值,或者时,目标像素点所占区域的区域面积与该图像区域的区域面积的比值大于第二阈值等。所述第一预设阈值和第二预设阈值均可以为预先设置,例如,第一预设阈值为500,第二预设阈值为三分之二等。此外,所述目标像素点可以为R(即红色通道)值、G(即绿色通道)值以及B(即蓝色通道)值中至少存在一个值大于预设阈值的像素点,或者是,R(即红色通道)值、G(即绿色通道)值以及B(即蓝色通道)值的均值大于预设阈值的像素点。
当然,在实际应用中,所述待处理图像还可以是Y通道图像或者贝尔格式图像,而当所述待处理图像为Y通道图像或者贝尔格式图像(Raw格式)时,在提取所述待处理图像之前,需要将所述Y通道图像或者贝尔格式图像转换为RGB三通道图像,以便于根据待处理图像的红色通道R值、绿色通道G值以及蓝色通道B值确定待处理图像的高光区域。
在本实施例的一个实现方式中,所述检测所述第一图像是否包含高光区域具体包括:
获取第一图像中各像素点的像素值,并基于获取到的所有像素值确定第一图像的直方图;
根据确定的直方图确定第一图像中目标像素点的目标数量,其中,所述目标像素点为像素值大于预设阈值的像素点;
若目标数量大于预设数量阈值,则判定所述第一图像包含高光区域;
若目标数量小于预设数量阈值,则判定所述第一图像未包含高光区域。
具体地,所述像素值可以根据第一图像类型确定,例如,当第一图像为RGB图像是,所述像素值可以为是像素点的R(即红色通道)值、G(即绿色通道)值以及B(即蓝色通道)值的RGB均值,或者像素点的R(即红色通道)值、G(即绿色通道)值以及B(即蓝色通道)值中的最大值等;当第一图像为灰度图像时,所述像素值可以为像素点的灰度值。在本实施例的一个具体实现方式中,所述像素值可以为是像素点的R(即红色通道)值、G(即绿色通道)值以及B(即蓝色通道)值的RGB均值;相应的,所述直方图为基于各像素点的RGB均值确定,其确定过程可以为:将获取第一图像中各像素点的RGB均值的最大值和最小值,根据获取到的最大值和最小值确定第一图像对应的RGB值域,并将确定的RGB值域划分为若干区间,并确定第一图像中各像素点的RGB均值落在各区间中的像素点数量,以得到第一图像的直方图。在获取到直方图后,根据所述直方图确定第一图像中RGB均值大于预设阈值的像素点数量,若获取到的像素点数量大于预设数量阈值,则判定所述第一图像携带高光区域,若获取到的像素点数量小于预设数量阈值,则判定所述第一图像为携带高光区域。其中,所述预设阈值为若干区间中一个区间的上限值,或者为一个区间的下限值,以便于基于下限值大于该预设阈值对应的区间来确定RGB均值大于预设阈值的像素点数量。
举例说明:假设第一图像为256*256图像,RGB值域划分为[0-40),[40-80),[80-120),[120-160),[160-200)以及[200-255),预设阈值为160,预设数量阈值为5000,第一图像中各像素点的RGB均值落在各区间中的数量分别为[0-40)中,20000,[40-80)中20000,[80-120)中5000,[120-160)中5000,[160-200)中10000,以及[200-255)中5536,那么获取到像素点的数量为15536>5000,从而第一图像包含高光区域。
在本实施例的一个实现方式中,当第一图像包含高光区域时,说明第一图像中存在高光扩散;当第一图像未包含高光区域时,说明第一图像未存在高光扩散。在第一图像未存在高光扩散时,直接对第一图像进行图像增强处理;在第一图像存在高光扩散时,需要去除第一图像中的高光扩散,以提高第一图像的图像质量。所述去除第一图像的高光扩散的过程可以为:获取若干参考图像,并将所述第一图像与若干参考图像进行融合以得到融合图像,并将所述融合图像作为第一图像。例如,如图5所示第一图像以及如图6所示的通过屏下摄像头拍摄的图像,可以看出,图5所示的第一图像的高光扩散面积少于图6所示的通过屏下摄像头拍摄的图像的高光扩散面积。
在本实施例的一个实现方式中,所述拍摄参数包括曝光量,所述若干参考图像中的每个参考图像对应的拍摄参数均与待处理图像对应的拍摄参数不同可以为各参考图像各自对应的曝光量与待处理图像对应的曝光量不同。在本实施例的一个实现方式中,若干参考图像中的各参考图像均为低曝光图像,所述若干参考图像中的各参考图像对应的曝光量互不相同,且各参考图像各自对应的曝光量均小于待处理图像对应的曝光量。这样通过低曝光图像来提亮第一图像,可以在提高第一图像整体亮度的同时,可以解决屏下成像系统拍摄得到的图像存在的高光扩散问题。同时,通过采用低曝光的参考图像,可以解决屏下成像系统拍摄得到的图像存在的过度曝光的问题,例如,如图7所示第一图像以及如图8所示的通过屏下摄像头拍摄的图像,可以看出,图7所示的第一图像的未携带赢玻璃反射太阳光造成的过度曝光区域;图8所示的通过屏下摄像头拍摄的图像携带赢玻璃反射太阳光造成的过度曝光区域。
举例说明:第一图像为若干曝光量为EV-0的待处理图像融合得到,并且第一图像携带有高光区域,若干参考图像包括参考图像A和参考图像B,那么参考图像A的曝光量和参考图像B的曝光量不相同,并且参考图像A的曝光量和参考图像B的曝光量均小于EV-0,如,参考图像A的曝光量为EV-2,参考图像B的曝光量为EV-4。
在本实施例的一个实现方式中,如图4所示,在将若干参考图像与第一图像进行融合之前,可以将各参考图像均与第一图像进行对齐处理,其中,第一图像为各参考图像的对齐标准,各参考图像以所述第一图像为对齐标准进行对齐处理。所述对齐处理与上述将若干待处理图像中的各临近图像与基础图像进行对齐处理的过程相同,这里就不在赘述,具体可以参照上述将若干待处理图像中的各临近图像与基础图像进行对齐处理的说明。此外,在将各参考图像与第一图像进行对齐后,将对齐后的各参考图像作为各参考图像,并将各参考图像与第一图像进行融合,其中,所述融合过程与上述对齐后的临近图像与基础图像的融合过程相同,这里就不在赘述,具体可以参照上述将上述对齐后的临近图像与基础图像的融合的说明。
S20、对所述第一图像进行图像增强,以得到第二图像。
具体地,所述第二图像为通过度第一图像进行图像增强得到,第二图像为第一图像的未携带光斑的图像,并且所述第二图像动态范围大于第一图像的图像动态范围,其中,图像动态范围指的是图像中最明亮处与最黑暗处的亮度之比,即图像的对比度。基于此,所述图像动态范围用于反映图像的比对度,第二图像的图像动态范围大于第一图像的图像动态范围说明第二图像的对比度高于第一图像的对比度。例如,如图9所示的第二图像,如图10所示的通过屏下成像系统拍摄得到的图像,可以看出,图9所示的第二图像的图像质量高于图10所示的通过屏下摄像头拍摄的图像。
在本实施例的一个具体实现方式中,所述对所述第一图像进行图像增强,以得到第二图像具体包括:
将所述第一图像输入经过训练的第一图像增强模型,通过所述第一图像增强模型输出候选图像,其中,所述候选图像的图像动态范围大于所述第一图像的图像动态范围;
将所述候选图像输入经过训练的第二图像增强模型,通过所述第二图像增强模型输出第二图像,其中,所述第二图像为候选图像对应的去除光斑图像。
具体地,所述第一图像增强模型为经过训练的网络模型,所述图像增强模型的输入项为第一图像,输出项为候选图像,并且所述候选图像的图像动态范围大于所述第一图像的图像动态范围。可以理解的是,所述图像增强模型用于增强所述输入项的图像动态范围,以使得输出项的图像动态范围高于输入项的图像动态范围。所述第二图像增强模型为经过训练的网络模型,所述图像增强模型的输入项为候选图像,输出项为第二图像,并且所述第二图像为所述候选图像的去除光斑图像,其中,所述候选图像中的光斑可以为星芒光斑以及彩虹纹,其中,星芒光斑为在候选图像中的光源中心出现星芒状光斑;所述彩虹纹为在候选图像中以光源为中心向外扩散的光斑。
在一个实现方式中,所述图像增强模型的训练过程可以包括:
L10、预设网络模型根据所述训练图像集中第一训练图像,生成所述第一训练图像对应的生成图像。
L20、所述预设网络模型根据所述第一训练图像对应的第二训练图像和所述第一训练图像对应的生成图像,对所述预设网络模型的模型参数进行修正,并继续执行根据训练图像集中的下一训练图像组中的第一训练图像,生成所述第一训练图像对应的生成图像的步骤,直至所述预设网络模型的训练情况满足预设条件,以得到已训练的图像处理模型。
具体地,在所述步骤L10中,所述预设网络模型为深度学习网络模型,所述训练图像集包括多组具有不同图像内容的训练图像组,每一组训练图像组均包括第一训练图像和第二训练图像,第一训练图像与第二训练图像相对应,它们呈现的是同一图像场景,第二训练图像为正常显示的图像(即原始图像),第一训练图像的图像内容与第二训练图像对应但第一训练图像存在图像动态范围小于第二训练图像的图像动态范围。在本实施例的一个具体实现方式中,所述训练图像集中的多组具有不同图像内容的训练图像组可以对应若干拍摄场景,并且若干拍摄场景中任意两个拍摄场景不同,其中,所述若干拍摄场景可以包括室内场景、室外场景、明亮场景、暗光场景、逆光场景、顺光场景以及半阴影场景等等,这样可使得基于训练图像集训练得到图像处理模型可以使用不同的拍摄场景。
进一步,所述第一训练图像和第二训练图像对应相同的图像场景,所述第一训练图像和第二训练图像对应相同的图像场景指的是第一训练图像携带的图像内容与第二训练图像携带的图像内容的相似度达到预设阈值,所述第一训练图像的图像尺寸与第二训练图像的图像尺寸相同,以使得当第一训练图像和第二训练图像重合时,第一训练图像携带的物体对第二训练图像中与其对应的物体的覆盖率达到预设条件。其中,所述预设阈值可以为99%,所述预设条件可以为99.5%等。
此外,在本实施例的一个实现方式中,为了减少第一训练图像和第二训练图像的图像差异对预设网络模型训练的影响,所述第一训练图像的图像内容和第二训练图像的图像内容可以完全相同。例如,所述第一训练图像为图像尺寸为600*800的具有重影的图像,第一训练图像的图像内容为一个正方形,并且第一训练图像中正方形的四个顶点在第一训练图像中的位置分别为(200,300)、(200,400),(300,400)以及(300,300)。那么,所述第二训练图像的图像尺寸为600*800的图像,第二训练图像的图像内容为一个正方形,第二训练图像中正方形的四个顶点在第二训练图像中的位置分别为(200,300)、(200,400),(300,400)以及(300,300),当第一训练图像放置于第二训练图像上并与第二训练图像重合时,所述第一训练图像覆盖所述第二训练图像,并且第一训练图像中的正方形与第二训练图像的正方形上下重叠。
进一步,所述第二训练图像可以是通过正常拍摄得到的图像,例如将屏下成像系统中的显示面板移除后由屏下摄像头拍摄的图像,或者通过制作不带数据线和扫描线等遮光结构的实验性质的显示面板替代实际的显示面板,然后利用其作为屏下成像系统的显示面板而由屏下摄像头拍摄的图像,也可以是通过网络(如,百度)获取的图像,还可以是通过其他外部设备(如,智能手机)发送的图像。所述第一训练图像可以为通过屏下成像系统(例如,屏下摄像头)拍摄得到,也可以是采用若干训练图像融合得到(其中,若干训练图像融合过程与步骤S10中的若干待处理图像的融合过程相同),并且第一训练图像和第二训练图像的图像尺寸相同。
在本实施例的一个实现方式中,所述第一训练图像为通过屏下成像系统拍摄得到若干训练图像融合得到,若干训练图像各自对应的拍摄参数与第二训练图像的拍摄参数相同,并且若干训练图像各自对应的拍摄场景与第二训练图像的拍摄场景相同。所述拍摄参数可以包括成像系统的曝光参数,其中,所述曝光参数可以包括光圈、开门速度、感光度、对焦以及白平衡等参数。当然,在实际应用中,所述拍摄参数还可以包括环境光、拍摄角度以及拍摄范围等参数。
进一步,当所述第一训练图像为通过屏下成像系统拍摄得到若干训练图像融合得到,每组训练图像组可以包若干训练图像和第二图像,若干训练图像中包括第一预设数量的第一参考图像和第二预设数量的第二参考图像,其中,第一预设数量的第一参考图像中的各第一参考图像的曝光量相同,第二预设数量中的第二参考图像中各第二参考图像的曝光量互不相同,且均小于第一参考图像的曝光量。在本实施例的一个实现方式中,第一预设数量可以基于第一参考图像的拍摄参数确定,第二预设数量可以为预先设置,并且各训练图像组各自对应的第一预设数量可以不同,各训练图像组各自对应第二预设数量可以相同。例如,若干训练图像组包括训练图像组A和训练图像组B,训练图像组A对应的第一预设数量为4,第二预设数量为2,训练图像组B对应的第一预设数量为3,第二预设数量为2。此外,值得说明的是,各训练图像组对应的第一预设数量的确定过程,以及基于各若干第一参考图像和若干第二参考图像确定第一训练图像的过程与上述第一图像的确定过程相同,这里就不在赘述,具体可以参照上述说明。
在获取到第一训练图像后,由于第二训练图像对应的成像系统与确定第一训练图像的若干训练图像对应的成像系统不同,而在更换成像系统时,可能会造成屏上成像系统和屏下成像系统的拍摄角度和/或拍摄位置的变化,使得基于若干训练图像融合得到的第一训练图像和第二训练图像在空间上存在不对齐的问题。由此,在本实施例的一个可能实现方式中,在通过屏上成像系统拍摄第二训练图像以及确定若干训练图像时,可以将屏上成像系统和屏下成像系统设置于同一固定架上,将屏上成像系统和屏下成像系统并排布置在固定架上,并保持屏上成像系统和屏下成像系统相接触。同时,将屏上成像系统和屏下成像系统分别与无线设置(如,蓝牙手表等)相连接,通过无线设置触发屏上成像系统和屏下成像系统的快门,这样可以减少拍摄过程中屏上成像系统和屏下成像系统的位置变化,提高第一训练图像和第二训练图像在空间上的对齐性。当然,屏上成像系统和屏下成像系统的拍摄时间和拍摄范围均相同。此外,在基于若干训练图像确定训练图像融合得到第一训练图像与第二训练图像进行对齐处理,以提高第一训练图像与第二训练图像的空间对齐性,从而提高图像增强模型的模型精度。
进一步,在所述步骤L20中,所述预设网络模型根据所述第一训练图像对应的第二训练图像和所述第一训练图像对应的生成图像,对所述预设网络模型的模型参数进行修正具体可以为确定第二训练图像与生成图像的损失值,基于所述损失值对所述预设网络模型的模型参数进行修正,以得到所述图像增强模型。其中,计算损失值的训练损失函数采用L2损失函数和基于视觉的损失函数(例如,VGG-损失函数等)的加权组合。
在本实施例的一个实现方式中,所述第二图像增强模型的训练过程与第一图像增强模型的训练过程相同,其区别在于第二图像增强模型对应的训练图像集包括若干训练样本组,若干训练样本组均包括第三训练图像和第四训练图像,其中,第三训练图像的确定过程可以为:获取若干训练图像,将若干训练图像融合得到第一训练图像,在将第一训练图像输入至第一图像增强模型,通过第二图像增强模型输入第三训练图像,其中,所述若干训练图像的融合过程以及第一图像增强模型的处理均与上述说明的融合过程与第一图像增强模型的处理相同,具体可以参照上述说明。
S30、对得到的第二图像进行去噪处理,以得到输出图像。
具体地,所述输出图像基于若干待处理图像确定的输出图像,所述输出图像的图像质量高于所述待处理图像的图像质量。其中,所述图像质量指人们对一幅图像视觉感受的评价。所述图像质量指的是被测图像(即目标图像)相对于标准图像(即原图像)在人眼视觉系统中产生误差的程度。可以理解的是,相对于原图像,人眼认为目标图像降质或损伤少,则说目标图像的质量高,反之,人眼认为目标图像降质或损伤多,则说目标图像的质量差。此外,在没有原图像的情况下,人眼能清晰地分辨图像中的事物,对图像中前景和背景、物体的轮廓、纹理等,则说图像质量好,否则说图像质量差。
所述对第二图像进行去噪处理可以为对第二图像中的所有图像内容进行去噪,例如,高斯模糊处理等。然而,在实际应用中,由于屏下成像系统为用于作为终端设备的前置摄像头,而前置摄像头普遍用于自拍,由此,屏下成像系统拍摄的图像中普遍携带人脸图像,并且人脸图像为拍摄图像的主要图像内容,从而,在实际使用中在对第二图像进行去噪处理时,可以有针对性的对第二图像中的人脸图像进行去噪处理(比如仅对第二图像中的人脸图像区域进行去噪处理),一方面可以提高去噪处理后的第二图像的图像指令,另一方也可以减少去噪处理所需的计算量,提高去噪处理的速度,从而提高图像处理的速度,以保证图像处理的实时性。
基于此,在本实施例的一个实现方式中,所述若干待处理图像中每个待处理图像均携带人脸图像,由此,第二图像中携带人脸图像。所述对得到的第二图像进行去噪处理,以得到输出图像具体为:
获取所述第二图像中的人脸区域,并对获取到的人脸区域进行去噪处理以得到输出图像。
具体地,所述人脸区域为第二图像携带的人脸图像在第二图像中所处的图像区域,可以理解的是,所述人脸区域为第二图像中的图像区域。此外,所述人脸区域的数量等于第二图像中的人脸的数量,而所述第二图像可以携带一张人脸,也可以携带多张人脸(其中,多张人脸包括2张人脸的情况),相应的,人脸区域可以为1或者多个。例如,当第二人脸图像中包括一张人脸图像时,人脸区域为1个,当第二人脸图像中包括多张人脸图像时,人脸区域为多个。这样通过对人脸区域进行去噪处理,可以突出人脸区域的图像细节,从而提高输出图像的图像质量。
在本实施例的一个实现方式中,所述获取所述第二图像中的人脸区域,并获取到的人脸区域进行去噪处理以得到输出图像具体包括:
将所述第二图像输入经过训练的人脸识别模型,通过所述人脸识别模型获取所述第二图像的人脸区域;
对获取到人脸区域进行去噪处理,以得到输出图像。
具体地,所述人脸识别模型为经过训练的网络模型,通过人脸识别模型识别第二图像携带的人脸区域。在确定人脸区域后,对所述人脸区域进行去噪处理,以突出人脸区域的图像细节,从而提高输出图像的图像质量。在本实施例的一个实现方式中,所述对获取到人脸区域进行去噪处理的去噪处理方法可以为高斯模糊处理等,所述去噪处理方法可以装配于输出所述输出图像的终端设备中,以使得终端设备可以快速得到输出图像;也可以装配于后台服务器,终端设备将第二图像输出至后台服务器,通过后台服务器对第二图像进行去噪处理,以减少对终端设备的系统资源的损耗。在实际应用中,终端设备可以配置有去噪处理方法,终端设备连接的后台服务器也配置有去噪处理方法;当终端设备获取到第二图像后,可以获取终端设备自身的系统资源使用率,当系统资源使用率达到预设使用率阈值时,将第二图像发送至后台服务器,通过后台服务器对第二图像进行去噪处理;当系统资源使用率为达到预设使用率时,通过其自身配置的去噪处理方法对第二图像进行图像去噪以得到输出图像。
在本实施例的一个具体实现方式中,为了进一步提高输出图像的图像质量,在输出图像后,还可以对所述输出图像进行后处理,其中,所述后处理可以包括锐化处理以及降噪处理等。相应的,所获取所述第二图像中的人脸区域,并获取到的人脸区域进行去噪处理以得到输出图像之后,还方法还包括:
对所述输出图像进行锐化以及降噪处理,并将锐化以及降噪处理后的图像作为输出图像。
具体地,所述锐化处理指的是补偿处理后的图像的轮廓、增强处理后的图像的边缘及灰度跳变的部分,以提高处理后图像的图像质量。其中,所述锐化处理可以采用现有的锐化处理方法,例如,高通滤波方法等。所述降噪处理指的是去除图像中的噪音,提高图像的信噪比。其中,所述降噪处理可以采用现有的降噪算法或已训练的降噪网络模型等,例如,所述降噪处理采用高斯低通滤波方法等。
综上所述,本实施例提供了一种图像处理方法,所述方法包括获取若干待处理图像,并基于获取到的若干待处理图像确定第一图像;对所述第一图像进行图像增强,以得到第二图像;获取所述第二图像中的人脸区域,并获取到的人脸区域进行去噪处理以得到输出图像。本申请通过基于获取到若干待处理图像确定第一图像,并对第一图像进行图像增强以及人脸去噪处理以得到输出图像,这样可以在减少输出图像的图像噪声的同时提高了输出图像的图像动态范围,从而提高了输出图像的图像质量。
基于上述图像处理方法,本实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上述实施例所述的图像处理方法中的步骤。
基于上述图像处理方法,本申请还提供了一种终端设备,如图11所示,其包括至少一个处理器(processor)20;显示屏21;以及存储器(memory)22,还可以包括通信接口(Communications Interface)23和总线24。其中,处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令,以执行上述实施例中的方法。
此外,上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质,可设置为存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块,从而执行功能应用以及数据处理,即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器。例如,U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等多种可以存储程序代码的介质,也可以是暂态存储介质。
此外,上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明,在这里就不再一一陈述。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (13)
1.一种图像处理方法,其特征在于,所述方法包括:
获取若干待处理图像,并基于获取到的若干待处理图像确定第一图像;
对所述第一图像进行图像增强,以得到第二图像;
对得到的第二图像进行去噪处理,以得到输出图像。
2.根据权利要求1所述图像处理方法,其特征在于,若干待处理图像中的各待处理图像各自对应的拍摄参数相同,并且若干待处理图像的图像数量为根据待处理图像对应的拍摄参数确定的。
3.根据权利要求1所述图像处理方法,其特征在于,所述若干待处理图像为通过屏下成像系统拍摄得到的,和/或,所述若干待处理图像为连续图像。
4.根据权利要求1-3任一所述种图像处理方法,其特征在于,所述若干待处理图像包括基础图像和至少一张临近图像,所述基于获取到的若干待处理图像确定第一图像具体包括:
对于每张临近图像,将该临近图像与所述基础图像进行对齐,以得到对齐后的临近图像;
将所述基础图像和各对齐后的临近图像进行图像融合,以得到第一图像,其中,对于若干待处理图像中的每张待处理图像,该待处理图像的信噪比大于所述第一图像的信噪比。
5.根据权利要求1-3任一所述图像处理方法,其特征在于,所述获取若干待处理图像,并基于获取到的若干待处理图像确定第一图像之后,所述方法还包括:
检测所述第一图像是否包含高光区域;
若第一图像携带高光区域,获取若干参考图像,其中,若干参考图像中的每个参考图像对应的拍摄参数均与待处理图像对应的拍摄参数不同;
将所述第一图像与若干参考图像进行融合以得到融合图像,并将所述融合图像作为第一图像。
6.根据权利要求5所述图像处理方法,其特征在于,所述检测所述第一图像是否包含高光区域具体包括:
获取第一图像中各像素点的像素值,并基于获取到的所有像素值确定第一图像的直方图;
根据确定的直方图确定第一图像中目标像素点的目标数量,其中,所述目标像素点为像素值大于预设阈值的像素点;
若目标数量大于预设数量阈值,则判定所述第一图像包含高光区域;
若目标数量小于预设数量阈值,则判定所述第一图像未包含高光区域。
7.根据权利要求5所述图像处理方法,其特征在于,所述拍摄参数为曝光量,若干参考图像中的各参考图像各自对应的曝光量互不相同,并且该各参考图像各自对应的曝光量均小于正常曝光量。
8.根据权利要求1所述图像处理方法,其特征在于,所述对所述第一图像进行图像增强,以得到第二图像具体包括:
将所述第一图像输入经过训练的第一图像增强模型,通过所述第一图像增强模型输出候选图像,其中,所述候选图像的图像动态范围大于所述第一图像的图像动态范围;
将所述候选图像输入经过训练的第二图像增强模型,通过所述第二图像增强模型输出第二图像,其中,所述第二图像为候选图像对应的去除光斑图像。
9.所述权利要求1所述图像处理方法,其特征在于,所述待处理图像携带人脸图像;所述对得到的第二图像进行去噪处理,以得到输出图像具体为:
获取所述第二图像中的人脸区域,并对获取到的人脸区域进行去噪处理以得到输出图像。
10.根据权利要求9所述图像处理方法,其特征在于,所述获取所述第二图像中的人脸区域,并获取到的人脸区域进行去噪处理以得到输出图像具体包括:
将所述第二图像输入经过训练的人脸识别模型,通过所述人脸识别模型获取所述第二图像的人脸区域;
对获取到人脸区域进行去噪处理,以得到输出图像。
11.根据权利要求1所述图像处理方法,其特征在于,所述对得到的第二图像进行去噪处理,以得到输出图像之后,所述方法还包括:
对所述输出图像进行锐化以及降噪处理,并将锐化以及降噪处理后的图像作为输出图像。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1~11任意一项所述的图像处理方法中的步骤。
13.一种终端设备,其特征在于,包括:处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述通信总线实现处理器和存储器之间的连接通信;
所述处理器执行所述计算机可读程序时实现如权利要求1-11任意一项所述的图像处理方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011040147.5A CN114283072A (zh) | 2020-09-28 | 2020-09-28 | 一种图像处理方法、存储介质及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011040147.5A CN114283072A (zh) | 2020-09-28 | 2020-09-28 | 一种图像处理方法、存储介质及终端设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114283072A true CN114283072A (zh) | 2022-04-05 |
Family
ID=80868002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011040147.5A Pending CN114283072A (zh) | 2020-09-28 | 2020-09-28 | 一种图像处理方法、存储介质及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114283072A (zh) |
-
2020
- 2020-09-28 CN CN202011040147.5A patent/CN114283072A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11948282B2 (en) | Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data | |
CN111402135B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN109348089B (zh) | 夜景图像处理方法、装置、电子设备及存储介质 | |
CN108322646B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN108668093B (zh) | Hdr图像的生成方法及装置 | |
US10021313B1 (en) | Image adjustment techniques for multiple-frame images | |
EP3542347B1 (en) | Fast fourier color constancy | |
US10410327B2 (en) | Shallow depth of field rendering | |
US10382712B1 (en) | Automatic removal of lens flares from images | |
EP3480784B1 (en) | Image processing method, and device | |
CN105765967A (zh) | 使用第二相机来调节第一相机的设置 | |
CN110619593A (zh) | 一种基于动态场景的双曝光视频成像系统 | |
CN108616700B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN108322651B (zh) | 拍摄方法和装置、电子设备、计算机可读存储介质 | |
WO2014093048A1 (en) | Determining an image capture payload burst structure | |
CN110266954A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
WO2019019904A1 (zh) | 白平衡处理方法、装置和终端 | |
CN107682611B (zh) | 对焦的方法、装置、计算机可读存储介质和电子设备 | |
CN113379609A (zh) | 一种图像处理方法、存储介质及终端设备 | |
US20230033956A1 (en) | Estimating depth based on iris size | |
CN110838088A (zh) | 一种基于深度学习的多帧降噪方法、装置及终端设备 | |
CN114331927A (zh) | 一种图像处理方法、存储介质及终端设备 | |
CN109300186B (zh) | 图像处理方法和装置、存储介质、电子设备 | |
CN114283072A (zh) | 一种图像处理方法、存储介质及终端设备 | |
US20220343529A1 (en) | Image signal processing based on virtual superimposition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |