CN116266888A - 一种屏下图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种屏下图像处理方法、装置、设备及存储介质，该方法包括：获取屏下摄像头采集的第一屏下图像；对所述第一屏下图像进行3A测算，拦截目标3A参数；对所述第一屏下图像进行衍射修复，得到第一屏上图像；基于所述目标3A参数对所述第一屏上图像进行补偿，得到第二屏上图像。这样，在图像前处理流程中拦截目标3A参数(比如，白平衡增益和自动曝光的数字增益)，即不用拦截到的目标3A参数对屏下图像据进行增益补偿，无增益补偿的屏下图像保留了清晰的光源形态，对其进行衍射修复修复效果较优，修复后载对图像应用拦截的目标3A参数进行增益补偿，整体而言提高屏下拍摄图像的质量。

Description

一种屏下图像处理方法、装置、设备及存储介质

技术领域

本申请涉及图像处理技术，尤其涉及一种屏下图像处理方法、装置、设备及存储介质。

背景技术

屏下摄像头，即将普通摄像头隐藏于屏幕下方，摄像头可以透过上方屏幕进行拍摄，光线受到屏幕显示区域的阳极遮挡，到达摄像头的光线非常匮乏，使得传统的光线传播特性变得更加复杂。普通挖孔前摄的光线透过率在RGB不同通道表现均衡，不同波段的透过率非常接近，平均透过率高于90％。屏下透过率因屏幕设计不同差异较大，不同波段的透过率从10％～50％不等。因此屏下摄像头获取到的光线本身已有非常多损失。

屏下摄像头成像可以看做是光线透过狭缝阵列成像，光线透过狭缝成像会发生光的衍射，不同形态的狭缝阵列(不同大小、缝宽、组合)衍射光斑形状、扩散程度、能量峰值差异均不相同。使得屏下摄像头捕获到的画面具有不同程度的损失。通常表现为：画面雾化严重、光源普遍过曝、画面细节丢失和画面普遍偏色。因此，如何优化屏下摄像头的成像质量是屏下拍摄技术的发展亟待解决的问题。

发明内容

为解决上述技术问题，本申请实施例期望提供一种屏下图像处理方法、装置、设备及存储介质。

本申请的技术方案是这样实现的：

第一方面，提供了一种屏下图像处理方法，包括：

获取屏下摄像头采集的第一屏下图像；

对所述第一屏下图像进行3A测算，拦截目标3A参数；

对所述第一屏下图像进行衍射修复，得到第一屏上图像；

基于所述目标3A参数对所述第一屏上图像进行补偿，得到第二屏上图像。

第二方面，提供了一种屏下图像处理装置，包括：

获取模块配置成：获取屏下摄像头采集的第一屏下图像；

前端处理模块配置成：对所述第一屏下图像进行3A测算，拦截目标3A参数；

图像修复模块配置成：基于所述目标3A参数对所述第一屏上图像进行补偿，得到第二屏上图像。

第三方面，提供了一种终端设备，包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，

其中，所述处理器配置为运行所述计算机程序时，执行前述方法的步骤。

第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现前述方法的步骤。

本申请实施例中提供了一种屏下图像处理方法、装置、设备及存储介质，该方法包括：获取屏下摄像头采集的第一屏下图像；对所述第一屏下图像进行3A测算，拦截目标3A参数；对所述第一屏下图像进行衍射修复，得到第一屏上图像；基于所述目标3A参数对所述第一屏上图像进行补偿，得到第二屏上图像。这样，在图像前处理流程中拦截目标3A参数(比如，白平衡增益和自动曝光的数字增益)，即不用拦截到的目标3A参数对屏下图像据进行增益补偿，无增益补偿的屏下图像保留了清晰的光源形态，对其进行衍射修复修复效果较优，修复后载对图像应用拦截的目标3A参数进行增益补偿，整体而言提高屏下拍摄图像的质量。

附图说明

图1为屏幕的阳极分布示意图；

图2为光线衍射示意图；

图3为狭缝的缝宽对衍射条纹影响的示意图；

图4为屏上摄像头拍摄到的图像示意图；

图5为屏下摄像头拍摄到的图像示意图；

图6为本申请实施例中屏下图像处理方法的第一流程示意图；

图7为本申请实施例中屏下图像处理方法的第二流程示意图；

图8为本申请实施例中的pipeline1的实现流程示意图；

图9为本申请实施例中的pipeline2的实现流程示意图；

图10为本申请实施例中屏下图像处理装置的第一组成结构示意图；

图11为本申请实施例中屏下图像处理装置的第二组成结构示意图；

图12为本申请实施例中屏下图像处理装置的第三组成结构示意图

图13为本申请实施例中终端设备的组成结构示意图。

具体实施方式

为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。

屏下摄像头(Under Panel Camera，UPC)，即将普通摄像头隐藏于屏幕下方，摄像头可以透过上方屏幕进行拍摄，光线受到屏幕显示区域的阳极遮挡，到达摄像头的光线非常匮乏，使得传统的光线传播特性变得更加复杂。普通挖孔摄像头(可以称为“屏上摄像头”)的光线透过率在RGB不同通道表现均衡，不同波段的透过率非常接近，平均透过率高于90％。透过率因屏幕设计不同差异较大，不同波段的透过率从10％～50％不等。因此屏下摄像头获取到的光线本身已有非常多损失。示例性的，图1为屏幕的阳极分布示意图，如图1所示，左下角为透光区域，其他区域为正常显示区域，可以看出，为了增加屏下摄像头的透过率，透光区域的阳极密度小于正常显示区域。

图2为光线衍射示意图，如图2所示，光源S经过圆孔H时在成像平面P上形成环形的衍射条纹。光源S经过单缝G时在成像平面P上形成平行的衍射条纹。

图3为狭缝的缝宽对衍射条纹影响的示意图，如图3所示，当狭缝很宽时,缝宽远远大于光的波长，衍射现象极不明显，缝宽越小衍射现象越明显。

屏下摄像头成像可以看做是光线透过狭缝阵列成像，光线透过狭缝成像会发生光的衍射，不同形态的狭缝阵列(不同大小、缝宽、组合)衍射光斑形状、扩散程度、能量峰值差异均不相同。使得屏下摄像头捕获到的画面具有不同程度的损失。通常表现为：画面雾化严重、光源普遍过曝、画面细节丢失和画面普遍偏色。

示例性的，图4为屏上摄像头拍摄到的图像示意图，图5为屏下摄像头拍摄到的图像示意图。屏下摄像头透过屏幕所拍摄的照片及视频，较正常挖孔摄像头存在明显的光源衍射现象，为了解决这一问题本申请实施例提供了一种屏下图像处理方法，图6为本申请实施例中屏下图像处理方法的第一流程示意图，如图6所示，该方法具体可以包括：

步骤601：获取屏下摄像头采集的第一屏下图像；

这里，第一屏下图像可以为互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)或者电荷耦合器件(Charge Coupled Device，CCD)等图像传感器输出的原始RAW域的图像数据。

第一屏下图像还可以为YUV域的图像数据，屏下摄像头中图像传感器输出的原始RAW域的实图像数据经ISP转换到YUV域得到第一屏下图像的图像数据。图像数据(ImageData)是指用数值表示图像中的各像素(pixel)的灰度值的集合，本申请实施例中图像可以理解为包含图像信息的图像数据，即“图像”和“图像数据”可以理解为同一概念。

步骤602：对所述第一屏下图像进行3A测算，拦截目标3A参数；

依当前环境光亮度和色温信息，通过3A算法测算，测算自动曝光(AE，AutoExposure)，自动白平衡(AWB，Auto White Balance)和自动对焦(AF，Auto Focus)。利用AF自动对焦算法、AE自动曝光算法及AWB自动白平衡算法来实现图像对比度最大、改善主体拍摄物过曝光或曝光不足情况、使画面在不同光线照射下的色差得到补偿，从而呈现较高画质的图像信息。

拦截，可以理解为对第一屏下图像执行图像前处理流程时，将原本需要进行3A补偿的目标3A参数进行拦截，将拦截的目标3A参数应用到衍射修复后进行补偿，即在图像前处理流程中不对屏下图像进行增益补偿，无增益补偿的图像保留了清晰的光源形态，对其进行衍射修复能够提高修复效果。

示例性的，目标3A参数包括白平衡增益(WB Gain)和/或自动曝光数字增益(AEDigital Gain)。

示例性的，在一些实施例中，所述对所述第一屏下图像进行3A测算，拦截目标3A参数，包括：对所述第一屏下图像进行3A测算，拦截所述第一屏下图像的屏下白平衡增益；其中，所述屏下白平衡增益包括R增益和B增益；不对所述第一屏下图像执行白平衡调整。

不对所述第一屏下图像执行白平衡调整可以是在图像前处理流程将白平衡增益设置为1，拦截实际测算到的白平衡增益。

示例性的，在一些实施例中，所述对所述第一屏下图像进行3A测算，拦截目标3A参数，包括：对所述第一屏下图像进行3A测算，获取所述第一屏下图像的数字增益；所述数字增益大于增益阈值时，基于所述数字增益和所述增益阈值确定数字增益系数；将所述数字增益系数作为所述目标3A参数；基于所述增益阈值对所述原始RAW域图像进行亮度调整。

可以理解为，若数字增益大于增益阈值，图像前处理流程中使用增益阈值进行亮度补偿，即降低图像亮度保留了清晰的光源形态。

示例性的，拦截条件包括：

Red Gain＝1.00 video on

Blue Gain＝1.00 video on

式中，T为增益阈值。Red Gain＝1.00和Blue Gain＝1.00表示在对屏下图像处理时R增益和B增益取1，即不对所述第一屏下图像执行白平衡调整。

示例性的，T可以取4、8、16、32等。可选的，T取16。将16倍以上数字增益进行拦截，若超过16倍则仅16倍生效，白平衡相关的Red Gain和Blue Gain完全拦截，在sensor输出Raw域图像至衍射修复前的完整数据流中，图像均不做白平衡调整。

示例性的，在一些实施例中，所述方法还包括：所述数字增益小于或者等于增益阈值时，基于所述数字增益对所述第一屏下图像进行亮度调整。

可以理解为，对于自动曝光增益拦截条件为拦截大于预设增益阈值的数字增益，若数字增益小于或等于增益阈值，则不拦截进行正常的亮度补偿。

步骤603：对所述第一屏下图像进行衍射修复，得到第一屏上图像；

示例性的，在一些实施例中，对所述第一屏下图像进行衍射修复，得到第一屏上图像，包括：将RAW域的所述第一屏下图像转换YUV域，得到YUV域的第二屏下图像；对YUV域的所述第二屏下图像进行衍射修复，得到所述第一屏上图像。

示例性的，基于神经网络对第一屏下图像进行衍射修复，得到第一屏上图像。

相应的，所述方法还包括：获取训练数据集；其中，所述训练数据集包括：第一屏上图像数据和第一屏下图像数据，所述第一屏上图像数据和所述第一屏下图像数据相对应；基于所述训练数据集训练神经网络，得到经训练的神经网络；其中，所述经训练的神经网络用于对所述第一屏下图像进行衍射修复。

具体地，利用所述神经网络对屏下图像数据进行处理，输出屏上图像数据；计算神经网络输出的屏上图像数据相对于训练数据集中的屏上图像数据的损失值，以调节神经网络的网络参数。

具体地，采用经3A参数拦截，以及RAW域到YUV域格式转换得到的屏上图像数据和屏下图像数据，训练神经网络，经训练后的神经网络能够根据屏幕的衍射特性在YUV域对屏下图像进行衍射修复，得到修复后的屏上图像。

在一些实施例中，若神经网络在RAW域对第一屏下图像进行衍射修复，则训练数据集中包括RAW域的屏上和屏下图像数据。

步骤604：基于所述目标3A参数对所述第一屏上图像进行补偿，得到第二屏上图像。

需要说明的是，本申请实施例对基于目标3A参数进行补偿的先后顺序没有严格的限定。

示例性的，先应用拦截的red gain和blue gain进行白平衡补偿，即将red gain和blue gain分别乘到对应的R通道和B通道，完成白平衡补偿。再利用拦截的数字增益进行亮度补偿，使其达到理想亮度。

示例性的，在一些实施例中，目标3A参数为白平衡增益时，所述基于所述目标3A参数对所述第一屏上图像进行补偿，包括：基于预设映射关系，确定所述屏下白平衡增益对应的屏上白平衡增益，基于所述屏上白平衡增益对所述第一屏上图像进行白平衡调整；其中，所述映射关系包括屏上白平衡增益和屏下白平衡增益的映射关系。

在相同色温环境中，屏上白平衡增益是对屏上图像进行3A测算得到白平衡增益，屏下白平衡增益是对屏下图像进行3A测算得到的白平衡增益，通过建立二者之间的映射关系，在对屏下图像进行处理时对实际测算的白平衡增益进行调整。实际应用中屏幕的存在会影响图像的白平衡，因此对实际测得的屏下白平衡增益调整能使白平衡调整更为准确。

这样，在图像前处理流程中拦截目标3A参数(比如，白平衡增益和自动曝光的数字增益)，即不对屏下数据进行增益补偿，无增益补偿的图像保留了清晰的光源形态，对其进行衍射修复能够提高修复效果，再对修复后的图像应用拦截的目标3A参数进行增益补偿，尤其是针对屏下视频拍摄易过曝、画面偏色、衍射强、处理时间短等难点，对3A参数设计的一种特殊处理方式，实现了对视频的衍射消除和色彩复原，整体而言提高屏下图像质量。

示例性的，在一些实施例中，所述方法还包括：对所述第二屏上图像执行图像后处理，得到目标图像；其中，所述图像后处理包括：色彩校正和Gamma校正。在另一些实施例中，所述图像后处理还包括降噪处理。

也就是说，对图像进行衍射修复和补偿之后，还会对图像进行一些列后处理操作对图像进行优化，得到最终向用户展示的目标图像。例如，jpg格式的图片或视频。

示例性的，在标准的图像处理流程中，图像传感器(sensor)感应图像的光信号输出原始RAW域图像数据给图像信号处理器(Image Signal Processor，ISP)进行图像处理，ISP包括图像前处理流程和图像后处理流程，传统图像前处理流程可以包括：对原始RAW域图像进行3A测算和补偿等，传统图像后处理流程可以包括：降噪处理、色彩校正、Gamma校正、非线性提亮等。

需要说明的是，本申请实施例提供的屏下图像处理方法可以应用到屏下摄像头采集的图片或视频的处理中，尤其是针对视频处理，将RAW域图像转换到YUV域，基于裁剪后的YUV数据进行衍射修复具备较高的修复效率，能够提高视频修复效率，支持视频的实时处理能力。

图7为本申请实施例中屏下图像处理方法的第二流程示意图，如图7所示，该方法具体可以包括：

步骤701：获取屏下摄像头采集的第一屏下图像；

示例性的，第一屏下图像可以为图像传感器输出的原始RAW域图像数据。相应的，3A测算和拦截也可以RAW域实现。

步骤702：对所述第一屏下图像进行3A测算，拦截目标3A参数；

示例性的，目标3A参数包括白平衡增益(WB Gain)和/或自动曝光数字增益(AEDigital Gain)。

示例性的，在一些实施例中，所述对所述第一屏下图像进行3A测算，拦截目标3A参数，包括：对所述第一屏下图像进行3A测算，拦截所述第一屏下图像的屏下白平衡增益；其中，所述屏下白平衡增益包括R增益和B增益；不对所述第一屏下图像执行白平衡调整。

示例性的，在一些实施例中，所述对所述第一屏下图像进行3A测算，拦截目标3A参数，包括：对所述第一屏下图像进行3A测算，获取所述第一屏下图像的数字增益；所述数字增益大于增益阈值时，基于所述数字增益和所述增益阈值确定数字增益系数；将所述数字增益系数作为所述目标3A参数；基于所述增益阈值对所述原始RAW域图像进行亮度调整。这里，数字增益系数可以表示数字增益和增益阈值之间的倍数关系，相应的，所述基于所述目标3A参数对所述第一屏上图像进行补偿，包括：第一屏上图像中的每个像素值和数字增益系数相乘。

示例性的，在一些实施例中，所述方法还包括：所述数字增益小于或者等于增益阈值时，基于所述数字增益对所述第一屏下图像进行亮度调整。

步骤703：将RAW域的所述第一屏下图像转换YUV域，对YUV域的图像进行降噪处理，得到YUV域的所述第二屏下图像；

步骤704：对YUV域的所述第二屏下图像进行衍射修复，得到所述第一屏上图像；

示例性的，基于神经网络对第一屏下图像进行衍射修复，得到第一屏上图像。

相应的，所述方法还包括：获取训练数据集；其中，所述训练数据集包括：第一屏上图像数据和第一屏下图像数据，所述第一屏上图像数据和所述第一屏下图像数据相对应；基于所述训练数据集训练神经网络，得到经训练的神经网络；其中，所述经训练的神经网络用于对所述第一屏下图像进行衍射修复。

具体地，利用所述神经网络对屏下图像数据进行处理，输出屏上图像数据；计算神经网络输出的屏上图像数据相对于训练数据集中的屏上图像数据的损失值，以调节神经网络的网络参数。

具体地，采用经3A参数拦截，以及RAW域到YUV域格式转换得到的屏上图像数据和屏下图像数据，训练神经网络，经训练后的神经网络能够根据屏幕的衍射特性在YUV域对屏下图像进行衍射修复，得到修复后的屏上图像。

步骤705：基于所述目标3A参数对所述第一屏上图像进行补偿，得到第二屏上图像；

示例性的，在一些实施例中，目标3A参数为白平衡增益时，所述基于所述目标3A参数对所述第一屏上图像进行补偿，包括：所述基于所述目标3A参数对所述第一屏上图像进行补偿，包括：基于预设映射关系，确定所述屏下白平衡增益对应的屏上白平衡增益，基于所述屏上白平衡增益对所述第一屏上图像进行白平衡调整；其中，所述映射关系包括屏上白平衡增益和屏下白平衡增益的映射关系。

这样，在图像前处理流程中拦截目标3A参数(比如，白平衡增益和自动曝光的数字增益)，即不对屏下数据进行增益补偿，无增益补偿的图像保留了清晰的光源形态，对其进行衍射修复能够提高修复效果，再对修复后的图像应用拦截的目标3A参数进行增益补偿，尤其是针对屏下视频拍摄易过曝、画面偏色、衍射强、处理时间短等难点，对3A参数设计的一种特殊处理方式，实现了对视频的衍射消除和色彩复原，整体而言提高屏下图像质量。

步骤706：对所述第二屏上图像执行图像后处理，得到目标图像。

其中，所述图像后处理包括：色彩校正和Gamma校正。

示例性的，在一些实施例中，所述图像后处理包括：色彩校正、Gamma校正和降噪处理。将所述原始RAW域图像转换到YUV域后，对YUV域的图像进行降噪处理，后处理时对补偿后的第二屏上图像再次进行降噪，可以提高图像的信噪比。

也就是说，在YUV于对图像进行衍射修复和补偿之后，还会对图像进行一些列后处理操作对图像进行优化，得到最终向用户展示的目标图像。

基于上述实施例，本申请提供的屏下图像处理方法可以通过两种Pipeline实现；

图8为本申请实施例中的pipeline1的实现流程示意图，如图8所示，pipeline1的处理流程主要由图像前处理模块(Image Front End，IFE)+神经网络+图像后处理模块(Image Process Engine，IPE)三部分实现；

1、图像传感器采集原始RAW域图像；

2、IFE在RAW域实现图像前处理，其中包括图像3A测算和拦截；

依当前环境光亮度和色温信息，通过3A算法测算，测算自动曝光(AE，AutoExposure)，自动白平衡(AWB，Auto White Balance)和自动对焦(AF，Auto Focus)。利用AF自动对焦算法、AE自动曝光算法及AWB自动白平衡算法来实现图像对比度最大、改善主体拍摄物过曝光或曝光不足情况、使画面在不同光线照射下的色差得到补偿，从而呈现较高画质的图像信息。本申请实施例首先需要拦截系统测算的AE和AWB值，即IFE不使用拦截的3A参数进行亮度和白平衡调整。

3、IPE将RGB域转换到YUV域，得到YUV域的第一屏下图像；

格式转换后的数据有10bit位宽(10bit数据范围0～1024，相比于8bit数据范围0～255，色彩表达更细腻，过渡更加丰富)，将该数据用于网络训练和衍射修复。

具体在训练神经网络时，采集屏上-屏下10bit的YUV图像数据组成数据对，离线训练神经网络。区别于采用8bit YUV的图像数据做网络训练，基于10bit原始YUV图像数据训练网络模型，模型结构相同，但色彩表现更加丰富。

4、利用神经网络对YUV域的第一屏下图像进行衍射修复，得到修复后的第一屏上图像；

5、在神经网络输出修复后的第一屏上图像上应用2中拦截的真实白平衡增益和数字增益，得到第二屏上图像；

具体地，将网络修复后的数据，转换至rgb域，将red gain和blue gain值做相应的调整后，分别乘到对应的R和B通道，完成白平衡增的补偿。再补偿digital gain值，使其达到理想亮度。

其中，白平衡增益的调整指：依据相同色温环境中，屏上测算的白平衡增益和屏下测算的白平衡增益做映射关系，通过白平衡增益映射对图像进行白平衡补偿。

6、用IPE完成图像后处理。

对网络修复和补偿后的第二屏上图像做色彩校正，gamma校正、降噪等屏上图像ISP后处理流程。

图9为本申请实施例中的pipeline2的实现流程示意图，如图9所示，pipeline2的处理流程主要由IFE+IPE1+神经网络+IPE2四部分实现；

1、图像传感器采集原始RAW域图像；

2、IFE在RAW域实现图像前处理，其中包括图像3A测算和拦截；

依当前环境光亮度和色温信息，通过3A算法测算，测算自动曝光(AE，AutoExposure)，自动白平衡(AWB，Auto White Balance)和自动对焦(AF，Auto Focus)。利用AF自动对焦算法、AE自动曝光算法及AWB自动白平衡算法来实现图像对比度最大、改善主体拍摄物过曝光或曝光不足情况、使画面在不同光线照射下的色差得到补偿，从而呈现较高画质的图像信息。本申请实施例首先需要拦截系统测算的AE和AWB值，即IFE不使用拦截的3A参数进行亮度和白平衡调整。

3、IPE1将RGB域转换到YUV域并执行第一次降噪处理，得到YUV域的第一屏下图像；

格式转换+降噪后的数据有8bit位宽，将该数据用于网络训练和衍射修复。具体在训练神经网络时，因为IPE1对数据亮度、动态范围均不做处理，由此保障了YUV图像数据的线性，采集此处的YUV域屏上图像数据和屏下图像数据形成数据对，训练神经网络。

IPE 1将RGB域转换到YUV域，除降噪外其他功能关闭，IPE 2中打开动态、色彩、降噪等相关模块，对修复和补偿后的YUV数据流做后处理。

4、利用神经网络对YUV域的第一屏下图像进行衍射修复，得到修复后的第一屏上图像；

5、在神经网络输出修复后的第一屏上图像上应用2中拦截的真实白平衡增益和数字增益，得到第二屏上图像；

具体地，将网络修复后的数据，转换至rgb域，将red gain和blue gain值做相应的调整后，分别乘到对应的R和B通道，完成白平衡增的补偿。再补偿digital gain值，使其达到理想亮度。

其中，白平衡增益的调整指：依据相同色温环境中，屏上测算的白平衡增益和屏下测算的白平衡增益做映射关系，通过白平衡增益映射对图像进行白平衡补偿。

6、用IPE完成图像后处理。

利用IPE2对第二屏上图像做色彩校正和gamma校正等处理，IPE2还可以对YUV数据进行第二次降噪处理，进行两次降噪处理信噪比更佳。

通过上述pipeline2实现方式，对3A参数设计的一种特殊处理方式，实现了对视频的衍射消除和色彩复原，整体而言提高屏下图像质量。

上述屏下图像处理方法可以应用于配置屏下摄像头的终端设备，该终端设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal DigitalAssistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、可穿戴设备、相机等。

为实现本申请实施例的方法，基于同一发明构思本申请实施例还提供了一种屏下图像处理装置，如图10所示，该装置100包括：

获取模块1001配置成：获取屏下摄像头采集的第一屏下图像；

前端处理模块1002配置成：对所述第一屏下图像进行3A测算，拦截目标3A参数；

图像修复模块1003配置成：基于所述目标3A参数对所述第一屏上图像进行补偿，得到第二屏上图像。

示例性的，在一些实施例中，所述前端处理模块1002配置成：

对所述第一屏下图像进行3A测算，拦截所述第一屏下图像的屏下白平衡增益；其中，所述屏下白平衡增益包括R增益和B增益；

不对所述第一屏下图像执行白平衡调整。

示例性的，在一些实施例中，所述图像修复模块1003配置成：

基于预设映射关系，确定所述屏下白平衡增益对应的屏上白平衡增益，基于所述屏上白平衡增益对所述第一屏上图像进行白平衡调整；

其中，所述映射关系包括屏上白平衡增益和屏下白平衡增益的映射关系。

示例性的，在一些实施例中，所述前端处理模块1002配置成：

对所述第一屏下图像进行3A测算，获取所述第一屏下图像的数字增益；

所述数字增益大于增益阈值时，基于所述数字增益和所述增益阈值确定数字增益系数；

将所述数字增益系数作为所述目标3A参数；

基于所述增益阈值对所述原始RAW域图像进行亮度调整。。

示例性的，在一些实施例中，所述前端处理模块1002配置成：

所述数字增益小于或者等于增益阈值时，基于所述数字增益对所述第一屏下图像进行亮度调整。

示例性的，在一些实施例中，所述前端处理模块1002配置成：在RAW域实现所述3A测算和拦截。

示例性的，如图11所示，所述装置100还包括：后端处理模块1004；

所述后端处理模块1004配置成：将RAW域的所述第一屏下图像转换YUV域，得到YUV域的第二屏下图像；

所述图像修复模块1002配置成：对YUV域的所述第二屏下图像进行衍射修复，得到所述第一屏上图像。

示例性的，所述后端处理模块1004配置成：对所述第二屏上图像执行图像后处理，得到目标图像；其中，所述图像后处理包括：色彩校正和Gamma校正。

示例性的，如图12所示，所述后端处理模块1004包括第一处理子模块1004a和第二处理子模块1004b；

所述第一处理子模块1004a配置成：将RAW域的所述第一屏下图像转换YUV域，对YUV域的图像进行降噪处理，得到YUV域的所述第二屏下图像；

所述第二处理子模块1004b配置成：对所述第二屏上图像执行图像后处理，得到目标图像；

其中，所述图像后处理包括：色彩校正和Gamma校正。

示例性的，在一些实施例中，所述装置100还包括训练模块；

所述训练模块配置成：获取训练数据集；其中，所述训练数据集包括：第一屏上图像数据和第一屏下图像数据，所述第一屏上图像数据和所述第一屏下图像数据相对应；基于所述训练数据集训练神经网络，得到经训练的神经网络；

其中，所述经训练的神经网络用于对所述第一屏下图像进行衍射修复。

需要说明的是，上述屏下图像处理装置可以为应用于终端设备中的图像处理芯片或者终端设备。

采用上述屏下图像处理装置，在图像前处理流程中拦截目标3A参数(比如，白平衡增益和自动曝光的数字增益)，即不用拦截到的目标3A参数对屏下图像据进行增益补偿，无增益补偿的屏下图像保留了清晰的光源形态，对其进行衍射修复修复效果较优，修复后载对图像应用拦截的目标3A参数进行增益补偿，整体而言提高屏下拍摄图像的质量。

基于上述屏下图像处理装置中各单元的硬件实现，本申请实施例还提供了一种终端设备，如图13所示，该终端设备130包括：处理器1301和配置为存储能够在处理器上运行的计算机程序的存储器1302；

其中，处理器1301配置为运行计算机程序时，执行前述实施例中的方法步骤。

当然，实际应用时，如图13所示，该终端设备中的各个组件通过总线系统1303耦合在一起。可理解，总线系统1303用于实现这些组件之间的连接通信。总线系统1303除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图中将各种总线都标为总线系统1303。

在实际应用中，上述处理器可以为特定用途集成电路(ASIC，ApplicationSpecific Integrated Circuit)、数字信号处理装置(DSPD，Digital Signal ProcessingDevice)、可编程逻辑装置(PLD，Programmable Logic Device)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。

上述存储器可以是易失性存储器(volatile memory)，例如随机存取存储器(RAM，Random-Access Memory)；或者非易失性存储器(non-volatile memory)，例如只读存储器(ROM，Read-Only Memory)，快闪存储器(flash memory)，硬盘(HDD，Hard Disk Drive)或固态硬盘(SSD，Solid-State Drive)；或者上述种类的存储器的组合，并向处理器提供指令和数据。

实际应用中，上述装置可以是终端设备，也可以是应用于终端设备的芯片。在本申请中，该装置可以通过或软件、或硬件、或软件与硬件相结合的方式，实现多个单元的功能，使该装置可以执行如上述任一实施例所提供的屏下图像处理方法。且该装置的各技术方案的技术效果可以参考屏下图像处理方法中相应的技术方案的技术效果，本申请对此不再一一赘述。

在示例性实施例中，本申请实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器，计算机程序可由屏下图像处理的处理器执行，以完成前述方法的步骤。

本申请实施例还提供了一种计算机程序产品，包括计算机程序指令。

可选的，该计算机程序产品可应用于本申请实施例中的终端设备，并且该计算机程序指令使得计算机执行本申请实施例的各个方法中由终端设备实现的相应流程，为了简洁，在此不再赘述。

本申请实施例还提供了一种计算机程序。

可选的，该计算机程序可应用于本申请实施例中的终端设备，当该计算机程序在计算机上运行时，使得计算机执行本申请实施例的各个方法中由终端设备实现的相应流程，为了简洁，在此不再赘述。

应当理解，在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。本申请中表述“具有”、“可以具有”、“包括”和“包含”、或者“可以包括”和“可以包含”在本文中可以用于指示存在对应的特征(例如，诸如数值、功能、操作或组件等元素)，但不排除附加特征的存在。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，不必用于描述特定的顺序或先后次序。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。

本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和设备，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (22)

1.一种屏下图像处理方法，其特征在于，所述方法包括：

获取屏下摄像头采集的第一屏下图像；

对所述第一屏下图像进行3A测算，拦截目标3A参数；

对所述第一屏下图像进行衍射修复，得到第一屏上图像；

基于所述目标3A参数对所述第一屏上图像进行补偿，得到第二屏上图像。

2.根据权利要求1所述的方法，其特征在于，

所述对所述第一屏下图像进行3A测算，拦截目标3A参数，包括：

对所述第一屏下图像进行3A测算，拦截所述第一屏下图像的屏下白平衡增益；其中，所述屏下白平衡增益包括R增益和B增益；

不对所述第一屏下图像执行白平衡调整。

3.根据权利要求2所述的方法，其特征在于，所述基于所述目标3A参数对所述第一屏上图像进行补偿，包括：

基于预设映射关系，确定所述屏下白平衡增益对应的屏上白平衡增益，基于所述屏上白平衡增益对所述第一屏上图像进行白平衡调整；

其中，所述映射关系包括屏上白平衡增益和屏下白平衡增益的映射关系。

4.根据权利要求1或2所述的方法，其特征在于，

所述基于所述目标3A参数对所述第一屏上图像进行补偿，包括：

对所述第一屏下图像进行3A测算，获取所述第一屏下图像的数字增益；

所述数字增益大于增益阈值时，基于所述数字增益和所述增益阈值确定数字增益系数；

将所述数字增益系数作为所述目标3A参数；

基于所述增益阈值对所述原始RAW域图像进行亮度调整。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

所述数字增益小于或者等于所述增益阈值时，基于所述数字增益对所述第一屏下图像进行亮度调整。

6.根据权利要求1所述的方法，其特征在于，所述3A测算和拦截在RAW域实现。

7.根据权利要求1所述的方法，其特征在于，所述对所述第一屏下图像进行衍射修复，得到第一屏上图像，包括：

将RAW域的所述第一屏下图像转换YUV域，得到YUV域的第二屏下图像；

对YUV域的所述第二屏下图像进行衍射修复，得到所述第一屏上图像。

8.根据权利要求7所述的方法，其特征在于，所述将RAW域的所述第一屏下图像转换YUV域，得到YUV域的第二屏下图像，包括：

将RAW域的所述第一屏下图像转换YUV域，对YUV域的图像进行降噪处理，得到YUV域的所述第二屏下图像。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述第二屏上图像执行图像后处理，得到目标图像；

其中，所述图像后处理包括：色彩校正和Gamma校正。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取训练数据集；其中，所述训练数据集包括：第一屏上图像数据和第一屏下图像数据，所述第一屏上图像数据和所述第一屏下图像数据相对应；

基于所述训练数据集训练神经网络，得到经训练的神经网络；

其中，所述经训练的神经网络用于对所述第一屏下图像进行衍射修复。

11.一种屏下图像处理装置，其特征在于，所述装置包括：

获取模块配置成：获取屏下摄像头采集的第一屏下图像；

前端处理模块配置成：对所述第一屏下图像进行3A测算，拦截目标3A参数；

图像修复模块配置成：基于所述目标3A参数对所述第一屏上图像进行补偿，得到第二屏上图像。

12.根据权利要求11所述的装置，其特征在于，所述前端处理模块配置成：

对所述第一屏下图像进行3A测算，拦截所述第一屏下图像的屏下白平衡增益；其中，所述屏下白平衡增益包括R增益和B增益；

不对所述第一屏下图像执行白平衡调整。

13.根据权利要求12所述的装置，其特征在于，所述图像修复模块配置成：

基于预设映射关系，确定所述屏下白平衡增益对应的屏上白平衡增益，基于所述屏上白平衡增益对所述第一屏上图像进行白平衡调整；

其中，所述映射关系包括屏上白平衡增益和屏下白平衡增益的映射关系。

14.根据权利要求11或12所述的装置，其特征在于，所述前端处理模块配置成：

对所述第一屏下图像进行3A测算，获取所述第一屏下图像的数字增益；

所述数字增益大于增益阈值时，基于所述数字增益和所述增益阈值确定数字增益系数；

将所述数字增益系数作为所述目标3A参数；

基于所述增益阈值对所述原始RAW域图像进行亮度调整。。

15.根据权利要求14所述的装置，其特征在于，所述前端处理模块配置成：

所述数字增益小于或者等于增益阈值时，基于所述数字增益对所述第一屏下图像进行亮度调整。

16.根据权利要求11所述的装置，其特征在于，所述前端处理模块配置成：在RAW域实现所述3A测算和拦截。

17.根据权利要求11所述的装置，其特征在于，所述装置还包括：后端处理模块；

所述后端处理模块配置成：将RAW域的所述第一屏下图像转换YUV域，得到YUV域的第二屏下图像；

所述图像修复模块配置成：对YUV域的所述第二屏下图像进行衍射修复，得到所述第一屏上图像。

18.根据权利要求17所述的装置，其特征在于，所述后端处理模块配置成：对所述第二屏上图像执行图像后处理，得到目标图像；

其中，所述图像后处理包括：色彩校正和Gamma校正。

19.根据权利要求17所述的装置，其特征在于，

所述后端处理模块包括第一处理子模块和第二处理子模块；

所述第一处理子模块配置成：将RAW域的所述第一屏下图像转换YUV域，对YUV域的图像进行降噪处理，得到YUV域的所述第二屏下图像；

所述第二处理子模块配置成：对所述第二屏上图像执行图像后处理，得到目标图像；

其中，所述图像后处理包括：色彩校正和Gamma校正。

20.根据权利要求11所述的装置，其特征在于，所述装置还包括训练模块；

所述训练模块配置成：获取训练数据集；其中，所述训练数据集包括：第一屏上图像数据和第一屏下图像数据，所述第一屏上图像数据和所述第一屏下图像数据相对应；

基于所述训练数据集训练神经网络，得到经训练的神经网络；

其中，所述经训练的神经网络用于对所述第一屏下图像进行衍射修复。

21.一种终端设备，其特征在于，所述终端设备包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，

其中，所述处理器配置为运行所述计算机程序时，执行权利要求1至10任一项所述方法的步骤。

22.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10任一项所述方法的步骤。

Images