CN115580690B - 图像处理的方法和电子设备 - Google Patents

Abstract

本申请实施例提供了一种图像处理的方法和电子设备，涉及图像处理领域，应用于采用屏下摄像头结构的场景，能够解决因屏幕衍射而导致的图像部分细节丢失的问题，有助于提升屏下摄像头的图像质量。该方法包括：电子设备通过屏下摄像头获取第一图像以及第一距离，所述第一距离指示拍摄物体与屏幕之间的距离；基于所述第一距离以及衍射模型确定衍射图像，所述衍射模型是基于不同的距离预先建立的；基于所述衍射图像对所述第一图像进行去衍射处理，得到第二图像，所述第二图像是去除衍射后的图像。

Description

图像处理的方法和电子设备

技术领域

本申请涉及终端技术领域，并且具体地，涉及一种图像处理的方法和电子设备。

背景技术

目前，终端的屏幕设计趋势朝着全面屏发展。为了实现全面屏的效果，提出了一种屏下摄像头的设计方案。屏下摄像头是指将摄像头设置于终端的屏幕下方。由于屏下摄像头的特殊结构，屏下摄像头拍摄的图像会产生衍射现象，使得拍摄到的图像部分区域产生大块亮斑，丢失图像的细节信息，严重影响用户体验。因此，亟需提出一种图像处理方法来提升屏下摄像头的图像质量。

发明内容

有鉴于此，本申请提供了一种图像处理的方法、电子设备、计算机可读存储介质和计算机程序产品，能够有效解决衍射问题，有助于恢复由于屏幕衍射而丢失的图像细节，极大提升用户体验。

第一方面，提供了一种图像处理的方法，所述方法应用于具有屏下摄像头的电子设备中，所述方法包括：

所述电子设备通过屏下摄像头获取第一图像以及第一距离，所述第一距离指示拍摄物体与屏幕之间的距离；

基于所述第一距离以及衍射模型确定衍射图像，所述衍射模型是基于不同的距离预先建立的；

基于所述衍射图像对所述第一图像进行去衍射处理，得到第二图像，所述第二图像是去除衍射后的图像。

基于上述技术方案，通过获取第一图像以及第一距离，第一距离指示拍摄物体与屏幕之间的距离，然后利用所述第一距离在衍射模型中获取与所述第一距离相应的衍射模型，继而基于与所述第一距离相应的衍射模型确定衍射图像，最后基于衍射图像对所述第一图像进行去衍射处理，得到第二图像，所述第二图像是去除衍射后的图像，能够恢复由于衍射而丢失的图像细节信息，提升了屏下摄像头的图像质量，有助于提升用户体验。

可选地，作为一种可能的实现方式，显示所述第二图像。

可选地，作为一种可能的实现方式，利用所述第二图像实现与人脸识别相关的功能，所述与人脸识别相关的功能包括以下任一功能：人脸解锁、用户认证、人脸支付、身份核验。

在一种可能的实现方式中，所述基于所述第一距离以及衍射模型确定衍射图像，包括：

基于所述第一距离以及衍射模型确定衍射花样；

根据所述衍射花样确定所述衍射花样在传感器(即图像传感器)上的分布，所述衍射花样在传感器上的分布为所述衍射图像，所述传感器为屏下摄像头的传感器。

上述衍射花样指的是屏幕衍射的物理分布。通过衍射模型确定出与所述距离对应的物理衍射分布，还需要将物理分布转换成在传感器上的分布。

在一种可能的实现方式中，根据所述衍射花样确定所述衍射花样在传感器上的分布，包括：

根据所述衍射花样的物理分布、所述衍射花样的采样间隔、以及传感器的像素尺寸，确定所述衍射花样在传感器上的分布。其中，缩放系数。缩放系数用于将衍射花样映射在传感器上，所述缩放系数可以基于所述衍射花样的采样间隔与所述传感器的像素尺寸来确定。

一个示例，可通过如下matlab代码计算衍射花样在传感器上的分布：

S(x,y)＝max(F(x*δx:(x+1)*δx),y*δy:(y+1)*δy)

其中，缩放系数为δx＝δ1/h，δy＝δ2/w，δ1和δ2是衍射花样的采样间隔，h和w为传感器上的像素尺寸，F(x,y)为衍射花样的物理分布。上述matlab代码用于实现以下功能：取每个区域内的最大值，作为衍射花样在传感器上的分布值。通过上述matlab代码，可以获得衍射花样在传感器上的分布值。

在一种可能的实现方式中，基于所述衍射图像，对所述第一图像进行去衍射处理，得到第二图像，包括：

基于所述衍射图像，确定每个像素点的衍射权重值；

根据所述衍射权重值对所述第一图像进行去衍射处理，得到第二图像。

在一种可能的实现方式中，所述第二图像的灰度值满足下式：

G(x,y)＝(g(x,y)*W1-g(x-1,y)*W0)/(W1-W0)

其中，G(x,y)表示所述第二图像的灰度值，(x,y)表示屏幕坐标；g(x,y)表示在(x,y)处的灰度值，g(x-1,y)表示在(x-1,y)处发生衍射后的灰度值，W1表示在(x-1,y)处的衍射权重值，W0表示在(x,y)处的衍射权重值。

需要说明的是，衍射模型与未发生衍射的图像进行卷积后得到带有衍射的图像。基于此可以推导出未发生衍射的图像的计算方式，上述G(x,y)的公式是得到第二图像的一种示例，即计算去衍射后图像的一种方式。

在一种可能的实现方式中，在基于所述衍射图像对所述第一图像进行去衍射处理之前，所述方法还包括：

确定所述衍射图像的衍射分布是否满足预设条件；

在所述衍射分布满足预设条件时，基于所述衍射图像对所述第一图像进行去衍射处理；

在所述衍射分布不满足预设条件时，向用户显示提示信息，所述提示信息用于提示用户调整拍摄角度。

可选地，所述衍射分布满足预设条件包括所述衍射分布的面积小于或等于面积阈值。所述面积阈值可基于先验知识或测试获得。

在一种可能的实现方式中，在利用所述第二图像实现与人脸识别相关的功能时，所述方法还包括：

将所述第二图像与所述电子设备存储的图像进行比较；

在人脸识别(或者人脸认证)失败时，向用户显示提示信息，所述提示信息用于提示用户调整拍摄角度。

因此，在人脸识别失败时，可以提醒用户改变拍摄角度，以便重新执行人脸识别相关的功能。

在一种可能的实现方式中，所述方法还包括：

获取第三图像，所述第三图像为屏上图像；

对所述第二图像与所述第三图像进行相似性判断，输出第一置信度；

如果第一置信度满足第一置信度阈值，输出所述第二图像。

因此，基于上述方式，可以利用第三图像对去除衍射后的图像进行效果验证。

在另一种可能的实现方式中，所述方法还包括：

获取第三图像，所述第三图像为屏上图像；

将所述第三图像与衍射花样进行合成处理，得到合成图像；

对所述合成图像与所述第一图像进行相似性判断，输出第二置信度；

如果第二置信度满足第二置信度阈值，输出所述第二图像。

因此，基于上述方式，可以利用第三图像和衍射花样确定合成图像，然后基于合成图像进行效果验证。

第二方面，提供了一种图像处理装置，包括用于执行第一方面中任一种方法的单元。该装置可以是终端(或者终端设备)，也可以是终端(或者终端设备)内的芯片。该装置包括输入单元、显示单元和处理单元。

当该装置是终端时，该处理单元可以是处理器，该输入单元可以是通信接口，该显示单元可以是图形处理模块和屏幕；该终端还可以包括存储器，该存储器用于存储计算机程序代码，当该处理器执行该存储器所存储的计算机程序代码时，使得该终端执行第一方面中的任一种方法。

当该装置是终端内的芯片时，该处理单元可以是芯片内部的逻辑处理单元，该输入单元可以是输出接口、管脚或电路等，该显示单元可以是芯片内部的图形处理单元；该芯片还可以包括存储器，该存储器可以是该芯片内的存储器(例如，寄存器、缓存等)，也可以是位于该芯片外部的存储器(例如，只读存储器、随机存取存储器等)；该存储器用于存储计算机程序代码，当该处理器执行该存储器所存储的计算机程序代码时，使得该芯片执行第一方面的任一种方法。

在一种实现方式中，所述输入单元用于接收用户的操作，所述操作用于触发屏下摄像头获取图像。

所述处理单元用于调用屏下摄像头获取第一图像以及第一距离，所述第一距离指示拍摄物体与屏幕之间的距离；基于所述第一距离以及衍射模型确定衍射图像，所述衍射模型是基于不同的距离预先建立的；基于所述衍射图像对所述第一图像进行去衍射处理，得到第二图像，所述第二图像是去除衍射后的图像。

可选地，作为一种可能的实现方式，所述显示单元用于显示所述第二图像。

可选地，作为一种可能的实现方式，所述处理单元还用于利用所述第二图像实现与人脸识别相关的功能，所述与人脸识别相关的功能包括以下任一功能：人脸解锁、用户认证、人脸支付、身份核验。

在一种可能的实现方式中，所述处理单元用于基于所述第一距离以及衍射模型确定衍射图像，具体包括：

基于所述第一距离以及衍射模型确定衍射花样；

根据所述衍射花样确定所述衍射花样在传感器上的分布，所述衍射花样在传感器上的分布为所述衍射图像。

在一种可能的实现方式中，所述处理单元用于根据所述衍射花样确定所述衍射花样在传感器上的分布，具体包括：

根据所述衍射花样的物理分布、所述衍射花样的采样间隔、以及传感器的像素尺寸，确定所述衍射花样在传感器上的分布，其中，所述衍射花样的采样间隔与所述传感器的像素尺寸用于确定缩放系数。

在一种可能的实现方式中，所述处理单元用于基于所述衍射图像，对所述第一图像进行去衍射处理，得到第二图像，具体包括：

基于所述衍射图像，确定每个像素点的衍射权重值；

根据所述衍射权重值对所述第一图像进行去衍射处理，得到第二图像。

在一种可能的实现方式中，所述第二图像的灰度值满足下式：

G(x,y)＝(g(x,y)*W1-g(x-1,y)*W0)/(W1-W0)

其中，G(x,y)表示所述第二图像的灰度值，(x,y)表示屏幕坐标；g(x,y)表示在(x,y)处的灰度值，g(x-1,y)表示在(x-1,y)处发生衍射后的灰度值，W1表示在(x-1,y)处的衍射权重值，W0表示在(x,y)处的衍射权重值。

在一种可能的实现方式中，所述处理单元还用于：在基于所述衍射图像对所述第一图像进行去衍射处理之前，确定所述衍射图像的衍射分布是否满足预设条件；

在所述衍射分布满足预设条件时，基于所述衍射图像对所述第一图像进行去衍射处理；

在所述衍射分布不满足预设条件时，调用所述显示单元向用户显示提示信息，所述提示信息用于提示用户调整拍摄角度。

可选地，所述衍射分布满足预设条件包括所述衍射分布的面积小于或等于面积阈值。所述面积阈值可基于先验知识或测试获得。

在一种可能的实现方式中，所述处理单元还用于：在利用所述第二图像实现与人脸识别相关的功能时，将所述第二图像与所述电子设备存储的图像进行比较；

在人脸识别(或者人脸认证)失败时，调用所述显示单元向用户显示提示信息，所述提示信息用于提示用户调整拍摄角度。

在一种可能的实现方式中，所述处理单元还用于：获取第三图像，所述第三图像为屏上图像；对所述第二图像与所述第三图像进行相似性判断，输出第一置信度；如果第一置信度满足第一置信度阈值，输出所述第二图像。

在另一种可能的实现方式中，所述处理单元还用于：获取第三图像，所述第三图像为屏上图像；将所述第三图像与衍射花样进行合成处理，得到合成图像；对所述合成图像与所述第一图像进行相似性判断，输出第二置信度；如果第二置信度满足第二置信度阈值，输出所述第二图像。

第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被屏下摄像头的拍照装置运行时，使得该装置执行第一方面中的任一种方法。

第四方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被屏下摄像头的拍照装置运行时，使得该装置执行第一方面中的任一种方法。

附图说明

图1是本申请实施例的应用场景的一个示例图；

图2是一种适用于本申请的电子设备的硬件系统的示例图；

图3是一种适用于本申请的电子设备的软件系统的示例图；

图4是根据本申请实施例的图像处理方法的示意性流程图；

图5是一个衍射花样的分布示例图；

图6是去除衍射光斑的效果示意图；

图7是本申请实施例应用于人脸解锁的一个示例图。

具体实施方式

下面将结合附图，对本申请实施例中的技术方案进行描述。

本申请实施例提供的图像处理的方法可应用于采用屏下摄像头的电子设备中。该电子设备例如可以为终端、手机、平板电脑、多媒体播放设备、电子书阅读器、个人计算机、个人数字助理(personaldigitalassistant，PDA)、智能手表等。本申请对电子设备的具体形式不作限制。

本申请实施例的电子设备可采用全面屏结构。全面屏是指在电子设备的外观看不到裸露的摄像头。摄像头隐藏于电子设备的屏幕下方。换种表述，摄像头可以内置于电子设备的显示屏下方。

本申请实施例对屏下摄像头的类型不作具体限定。作为一种可能的实现方式，屏下摄像头可以采用飞行时间(timeofflight，TOF)摄像头。

TOF摄像头具有测距功能。测距功能的方式简单介绍如下：摄像头通过向外发射光，光在遇到拍摄物体后反射回摄像头，通过计算光从发射到反射回摄像头(或者说入射到摄像头)的时间差或者相位差，可以确定摄像头与拍摄物体的距离。

图1示出了本申请实施例的应用场景的一个示例图。如图1中(1)所示的终端10，终端10采用全面屏结构，即用户从外观上看不到终端10的前置摄像头。

图1中(2)示出的是终端10的部分结构示意图。如图1中(2)所示，终端10的屏下摄像头11设置在显示屏12的下方。

应理解，图1中的场景只是示意性说明本申请的一个应用场景，这并不对本申请实施例构成限定，本申请的应用场景并不限于此。比如说，终端10可以包括多个屏下摄像头11。

由于摄像头在屏幕下方，摄像头在进行拍照时会产生衍射等现象，存在丢失图像细节信息等问题。对应于摄像头的位置，屏幕没有挖孔，摄像头获取图像时，光线经过电子设备的屏幕，通过屏幕像素间的缝隙到达摄像头，期间光线可能会发生衍射。本申请实施例提供的技术方案，通过获取第一图像的数据，然后基于距离信息以及衍射模型确定衍射图像，并基于衍射图像对所述第一图像进行去衍射处理，得到第二图像，所述第二图像是去除衍射后的图像，能够恢复由于衍射而丢失的图像细节信息，提高了图像的质量，有助于提升用户体验。

应理解，本申请实施例提供的技术方案对有去除衍射现象需求的场景都是适用的，包括但不限于：人脸识别解锁场景、用户认证场景、自拍场景等。

图2示出了一种适用于本申请的电子设备的硬件系统。

电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、智慧家庭(smarthome)中的无线设备、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、投影仪等等，本申请实施例对电子设备100的具体类型不作任何限制。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

需要说明的是，图2所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图2所示的部件更多或更少的部件，或者，电子设备100可以包括图2所示的部件中某些部件的组合，或者，电子设备100可以包括图2所示的部件中某些部件的子部件。比如，图2所示的接近光传感器180G可以是可选的。图2示的部件可以以硬件、软件、或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。例如，处理器110可以包括以下处理单元中的至少一个：应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器、神经网络处理器(neural-network processing unit，NPU)。其中，不同的处理单元可以是独立的器件，也可以是集成的器件。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

图2所示的各模块间的连接关系只是示意性说明，并不构成对电子设备100的各模块间的连接关系的限定。可选地，电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。

电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194可以用于显示图像或视频。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)、有机发光二极管(organic light-emitting diode，OLED)、有源矩阵有机发光二极体(active-matrix organic light-emitting diode，AMOLED)、柔性发光二极管(flex light-emitting diode，FLED)、迷你发光二极管(mini light-emitting diode，Mini LED)、微型发光二极管(micro light-emitting diode，Micro LED)、微型OLED(Micro OLED)或量子点发光二极管(quantum dotlight emitting diodes，QLED)。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(red green blue，RGB)，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。在一些实施例中，摄像头193可以包括屏下摄像头(比如，TOF摄像头)。屏下摄像头可设置于显示屏194下方。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

电子设备100可以通过音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D以及应用处理器等实现音频功能，例如，音乐播放和录音。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也可以用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170或者音频模块170的部分功能模块可以设置于处理器110中。

扬声器170A，也称为喇叭，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐或免提通话。

受话器170B，也称为听筒，用于将音频电信号转换成声音信号。当用户使用电子设备100接听电话或语音信息时，可以通过将受话器170B靠近耳朵接听语音。

麦克风170C，也称为话筒或传声器，用于将声音信号转换为电信号。当用户拨打电话或发送语音信息时，可以通过靠近麦克风170C发声将声音信号输入麦克风170C。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备100平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of theUSA，CTIA)标准接口。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，例如可以是电阻式压力传感器、电感式压力传感器或电容式压力传感器。电容式压力传感器可以是包括至少两个具有导电材料的平行板，当力作用于压力传感器180A，电极之间的电容改变，电子设备100根据电容的变化确定压力的强度。当触摸操作作用于显示屏194时，电子设备100根据压力传感器180A检测所述触摸操作。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令；当触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

距离传感器180F用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，例如在拍摄场景中，电子设备100可以利用距离传感器180F测距以实现快速对焦。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。

触摸传感器180K，也称为触控器件。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，并且与显示屏194设置于不同的位置。

按键190包括开机键和音量键。按键190可以是机械按键，也可以是触摸式按键。电子设备100可以接收按键输入信号，实现于案件输入信号相关的功能。

马达191可以产生振动。马达191可以用于来电提示，也可以用于触摸反馈。马达191可以对作用于不同应用程序的触摸操作产生不同的振动反馈效果。对于作用于显示屏194的不同区域的触摸操作，马达191也可产生不同的振动反馈效果。不同的应用场景(例如，时间提醒、接收信息、闹钟和游戏)可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

在一些实施例中，处理器110可以获取第一图像的数据，然后基于距离信息以及衍射模型确定衍射图像，并基于衍射图像对所述第一图像进行去衍射处理，得到第二图像，所述第二图像是去除衍射后的图像。

在一些实施例中，显示屏194可以显示所述第二图像。

上文详细描述了电子设备100的硬件系统，下面介绍电子设备100的软件系统。软件系统可以采用分层架构、事件驱动架构、微核架构、微服务架构或云架构，本申请实施例以分层架构为例，示例性地描述电子设备100的软件系统。

如图3所示，采用分层架构的软件系统分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，软件系统可以分为四层，从上至下分别为应用程序层、应用程序框架层、安卓运行时(Android Runtime)和系统库、以及内核层。

应用程序层可以包括相机、图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用程序编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层可以包括一些预定义的函数。

例如，应用程序框架层包括窗口管理器、内容提供器、视图系统、电话管理器、资源管理器和通知管理器。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏、锁定屏幕和截取屏幕。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频、图像、音频、拨打和接听的电话、浏览历史和书签、以及电话簿。

视图系统包括可视控件，例如显示文字的控件和显示图片的控件。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成，例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备100的通信功能，例如通话状态(接通或挂断)的管理。

资源管理器为应用程序提供各种资源，比如本地化字符串、图标、图片、布局文件和视频文件。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于下载完成告知和消息提醒。通知管理器还可以管理以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知。通知管理器还可以管理以对话窗口形式出现在屏幕上的通知，例如在状态栏提示文本信息、发出提示音、电子设备振动以及指示灯闪烁。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理、堆栈管理、线程管理、安全和异常的管理、以及垃圾回收等功能。

系统库可以包括多个功能模块，例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：针对嵌入式系统的开放图形库(opengraphics library for embedded systems，OpenGL ES)和2D图形引擎(例如：skia图形库(skia graphics library，SGL))。在一些实施例中，系统库还可以包括去衍射算法模块。去衍射算法模块用于根据衍射模型对采集的图像进行去衍射处理。可选地，系统库还可以包括验证模块。验证模块用于验证去衍射的效果。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D图层和3D图层的融合。

媒体库支持多种音频格式的回放和录制、多种视频格式回放和录制以及静态图像文件。媒体库可以支持多种音视频编码格式，例如:MPEG4、H.264、动态图像专家组音频层面3(moving picture experts group audio layer III，MP3)、高级音频编码(advancedaudio coding，AAC)、自适应多码率(adaptive multi-rate，AMR)、联合图像专家组(jointphotographic experts group，JPG)和便携式网络图形(portable network graphics，PNG)。

三维图形处理库可以用于实现三维图形绘图、图像渲染、合成和图层处理。

二维图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层可以包括显示驱动、摄像头驱动、音频驱动和传感器驱动等驱动模块。

下面结合显示拍照场景，示例性说明电子设备100的软件系统和硬件系统的工作流程。

当用户在触摸传感器180K上进行触摸操作时，相应的硬件中断被发送至内核层，内核层将触摸操作加工成原始输入事件，原始输入事件例如包括触摸坐标和触摸操作的时间戳等信息。原始输入事件被存储在内核层，应用程序框架层从内核层获取原始输入事件，识别出原始输入事件对应的控件，并通知该控件对应的应用程序(application，APP)。例如，上述触摸操作为单击操作，上述控件对应的APP为相机APP，相机APP被单击操作唤醒后，可以通过API调用内核层的摄像头驱动，通过摄像头驱动控制摄像头193进行拍摄。

以下结合图4至图7描述本申请实施例的图像处理的方法。

图4是根据本申请实施例的图像处理的方法的示意性流程图。本申请实施例的图像处理的方法可应用于上述具备图2所示的硬件系统和图3所示的软件系统的电子设备，该电子设备的屏幕可以采用图1中所示的结构，使得电子设备的屏幕实现全面屏。如图4所示，所述方法包括：

S401，接收用户的操作，所述操作用于触发屏下摄像头获取图像。

本申请实施例对用户的操作不作具体限定。比如说，可以是用户的某些操作触发了屏下摄像头启动获取图像，又比如说，用户通过点击自拍按钮，启动屏下摄像头拍照。又比如，用户拿起处于锁屏状态的电子设备，电子设备会启动屏下摄像头进行人脸识别，尝试解锁屏幕。作为一种可能的实现方式，应用程序可以接收用户的拍摄操作。本申请实施例对应用程序不作具体限定。比如，应用程序可以是相机APP，也可以是能够访问或调用相机APP的其他APP。一个示例，应用程序是微信，通过微信可以访问相机功能，以便启动拍照或人脸识别。

可以理解，上述接收用户的操作可以是可选步骤。在一些特殊场景下，可能不需要用户操作的触发，屏下摄像头也会获取图像，比如电子设备正常使用时，通过屏下摄像头获取图像确认用户的眼睛是否注视屏幕。本申请实施例不限于用户操作触发屏下摄像头获取图像。

S402，获取第一图像和第一距离，所述第一距离指示拍摄物体与屏幕之间的距离。

这里引入第一距离仅是便于描述，并不对本申请实施例构成限定。第一距离代表拍摄物体与屏幕之间的距离。

需要说明的是，拍摄物体与屏幕之间的距离可以通过拍摄物体与摄像头之间的距离来替代。这是因为，屏幕和摄像头之间的距离，相比与拍摄物体与屏幕之间的距离比较小，所以可以考虑忽略屏幕和摄像头之间的距离，用拍摄物体与摄像头之间的距离进行后续计算。即第一距离可以为拍摄物体与摄像头之间的距离。

第一图像是屏下摄像头采集的原始图像，或者说发生了衍射的图像。具体地，第一图像由屏下摄像头经屏幕接收到外部光线，采集到的图像，外部光线经过屏幕时可能发生了衍射，因此屏下摄像头采集到的图像中可能有衍射现象。

一般而言，摄像头由光学元件和图像传感器(sensor)组成。举例来说，拍摄物体与摄像头之间的距离，也可以具体为拍摄物体与sensor之间的距离，或者具体为拍摄物体与光学元件之间的距离。

在一种可能的实现方式中，在实际测距时，可以将第一图像对应的取景范围(或者说摄像头所拍摄区域)的中心点与摄像头之间的距离，作为拍摄物体与摄像头之间的距离。

拍摄物体与摄像头之间的距离，可以通过以下方式计算：获取第一图像的距离信息，然后根据所述距离信息计算所述拍摄物体与摄像头之间的距离。例如，距离信息可以包括发射光与反射光的相位差或时间差，该相位差或时间差能够用于计算距离。

作为一种可能的实现方式，获取第一图像的距离信息，具体包括：基于屏下摄像头本身的测距功能输出深度图，该深度图指示了拍摄物体与摄像头之间的距离。以屏下摄像头是TOF摄像头为例，TOF摄像头可以输出红外线(infrared radiation，IR)图像和深度图。

作为一种可能的实现方式，获取第一距离，具体包括：：根据小孔成像原理以及相机的内参数和相机的外参数计算像素点(即sensor上的像素点)距离拍摄物体的距离(即前文所述的拍摄物体与摄像头之间的距离)。相机的内参数是指与相机自身特性有关的参数，包括但不限于相机的焦距、像素大小等。相机的外参数是在世界坐标系中的参数，包括但不限于相机的位置、旋转方向等。

此处作统一说明，本申请实施例中的屏下摄像头可以是TOF摄像头。应理解，这里是以屏下摄像头可以是TOF摄像头为例进行说明，但是本申请实施例并不限于此。事实上，TOF是深度摄像头的一种，屏下摄像头也可以是其他类型的深度摄像头。另外，屏下摄像头也可以是彩色摄像头，比如，RGB摄像头等。

作为一种可能的实现方式，通过屏下摄像头采集第一图像，然后基于采集的第一图像获得拍摄物体的距离。比如，基于所述第一图像计算拍摄物体的距离。

作为一种可能的实现方式，获取第一距离，可以通过距离传感器获得。比如，在摄像头获取第一图像的同时，距离传感器获取拍摄物体和屏幕/摄像头之间的距离。距离传感器可以贴近屏幕设置，或距离传感器与屏幕的距离和摄像头与屏幕的距离一样。

S403，基于所述第一距离以及衍射模型确定衍射图像，其中，所述衍射模型是基于不同的距离预先建立的。

可选地，所述衍射模型的决定因素包括但不限于以下方面：距离、光线波长、屏幕等。

需要说明的是，所述衍射模型可以理解为根据不同的距离预先建立好的模板库。例如，可以在20-120cm之间等间隔取不同的距离值，距离值可以取5的倍数，基于不同的距离值建立衍射模型。对于建立好的衍射模型而言，输入一个距离值，可以得到与该距离值相应的衍射物理分布(或者说与该距离值适配的距离模板)。当然，在输入距离值获取相应的衍射物理分布时，其他参数(比如焦距等)可以取默认值。

以虚拟点光源为例建立衍射模型，首先，获取每个像素点距离虚拟点光源的距离，然后根据显微镜测量屏幕中每个像素的大小以及像素的间隔，接着将测量的数据周期性排列，并转换成分布图，得到屏幕的分布结构X；最后，对整个屏幕进行采样，得到点光源的衍射物理分布。点光源在经过屏幕的缝隙调制的衍射分布可以表示为下式：

f(x,y)＝(exp(k*r*j))/r (1)

其中，k＝2*pi/λ，r＝sqrt(x*x+y*y+d*d)，λ为点光源的光线波长，d为拍摄物体距离摄像头的距离，x,y为采样屏幕的物理坐标。

应理解，上述点光源在经过屏幕的缝隙调制的衍射分布的公式(1)只是示例性描述，并不对本申请实施例构成限定。

可以理解地，衍射模型也可以通过AI学习的方式建立，通过给电子设备不同的光源场景，更换不同的屏幕，摄像头获取不同光源的衍射结果，形成衍射模型。例如点光源距离摄像头不同的距离，形成衍射结果，AI学习不同距离的衍射结果建立衍射模型。对于特定的屏幕和光源，距离是影响衍射的主要因素。

在本申请实施例中，在获取第一距离后，可以结合衍射模型计算该距离的衍射花样，然后再基于衍射花样获取衍射图像。以下描述具体过程。

可选地，S403包括：基于所述第一距离以及衍射模型确定衍射花样；根据所述衍射花样确定所述衍射花样在传感器上的分布，所述衍射花样在传感器上的分布为所述衍射图像。其中，所述传感器指的是图像传感器(sensor)。

需要说明的是，所述衍射花样是对点光源在经过屏幕的缝隙调制的衍射分布的一个命名，并不对本申请实施例构成限定。

举例来说，基于所述第一距离以及衍射模型确定衍射花样，包括：将d(第一距离记作d)代入上式(1)，可以得到d的衍射分布(或者说距离模板)。进一步地，可以对上述公式(1)的衍射分布进行快速傅里叶变换，得到屏幕衍射的物理分布(或者说衍射花样)。可以理解，此处在对公式(1)进行快速傅里叶变化变换之前也是屏幕衍射的物理分布，进行快速傅里叶变换的目的是为了便于后续计算，即换种方式表示而已。

一个示例，通过快速傅里叶变换得到的屏幕衍射的物理分布(或者说衍射花样)可采用如下matlab代码实现：

应理解，上述式(2)是针对式(1)进行快速傅里叶变换的一个matlab代码示例，本申请并不限于此。在上式(2)中，F(x,y)＝fft(f(x,y))是进行傅里叶变换的公式，F′(x,y)＝fftshift(F(x,y))是对F(x,y)进行平移处理的公式。这里经过快速傅里叶变换后，可以调整图像信息的分布，以使得图像信息的分布更符合实际场景，比如，经过快速傅里叶变换后的图像信息进行平移，使得F′(x,y)的高频信息分布于边上，低频信息分布于中间。

可选地，根据所述衍射花样确定所述衍射花样在传感器上的分布，包括：根据所述衍射花样的物理分布、所述衍射花样的采样间隔、以及传感器的像素尺寸，确定衍射花样在传感器上的分布，其中，所述衍射花样的采样间隔与所述传感器的像素尺寸用于确定缩放系数。

一个示例，可通过如下matlab代码计算衍射花样在传感器上的分布：

S(x,y)＝max(F′(x*δx:(x+1)*δx),y*δy:(y+1)*δy)

在上述matlab代码中，S(x,y)表示衍射花样在传感器上的分布值，缩放系数为δx＝δ1/h，δy＝δ2/w，δ1和δ2是衍射花样的采样间隔(即光通过屏幕像素的缝隙之后的衍射波纹的间隔，δ1和δ2是对应于h和w的两个尺寸方向的间隔)，h和w为传感器上的像素尺寸，F′(x,y)为衍射花样的物理分布。上述matlab代码用于实现以下功能：取每个区域内的最大值，作为衍射花样在传感器上的分布值。此处涉及多个区域，多个区域基于以下方式划分：按照屏幕衍射分布的尺寸以及传感器的尺寸的比例关系，将屏幕衍射分布划分多个区域。举例来说，假设屏幕衍射分布的尺寸为1000*1000，传感器的尺寸为500*500,为了将屏幕衍射分布映射到传感器上，需要将屏幕衍射分布分为多个区域，比如，划分的每个区域的尺寸为2*2。在将屏幕衍射分布映射到传感器时，可以将每个区域的最大像素值或平均像素值作为该区域映射到传感器上的一个像素点的值，从而基于多个区域得到多个像素点的值，该多个像素点的值构成衍射花样在传感器上的分布。具体地，像素值可以是能量占比，或者灰度值。

上述matlab代码也可以理解为用于实现降采样、下采样或缩小图像的过程。本领域技术人员可以理解，在上述matlab代码中，“:”表示遍历的含义。

一个示例，将上述matlab代码表示为公式，衍射花样在传感器上的分布为下式(3)：

举例来说，衍射花样在传感器上的分布可以如下所示：

S(x,y)＝max(F′(x*δx，y*δy),F′((x+1)*δx，y*δy),F′(x*δx，(y+1)*δy),F′((x+1)*δx，(y+1)*δy))

(4)

可以理解，上述式(4)是对式(3)的一个举例，在取区域内最大值时，遍历粒度可以预先设置。

为了便于理解衍射花样的能量分布，引入图5中的示例进行说明。图5示出了衍射花样在传感器上的分布的示意图。图5中(1)示出的是衍射花样的物理分布。图5中(2)示出的是衍射花样映射在传感器上的像素分布。图5中(1)所示的黑点是衍射花样的物理分布的一个示例图。如图5中(2)所示的灰度图中，横轴表示X轴方向上的能量分布，纵轴表示Y轴方向上的能量分布。在图5中(2)所示的灰度图中，肉眼可见黑色区域中分布有多个光斑，即黑色区域中分布的多个白色像素点和灰色像素点。图5中(3)示出的是图5中(1)的衍射花样的物理分布在X轴方向上中心直线的能量分布值。图5中(4)所示的是图5中(1)的衍射花样的物理分布在Y轴方向上中心直线的能量分布值。对于图5中(3)和图5中(4)，横轴代表频率，纵轴表示能量占比。能量占比指的在总能量中所占能量的比例。比如，在图5中(4)中，在3720处的能量占总能量的0.82。

应理解，图5中的示意仅是示例描述，并不对本申请实施例构成限定。事实上，除了图5中肉眼可见的像素分布以外，衍射花样在传感器上的分布还有多个肉眼不可见的像素分布，这些肉眼不可见的像素分布也构成衍射花样在传感器上的分布。

本申请实施例可基于衍射分布判断衍射强度，进而决定下一步执行哪些操作。

作为一种可能的实现方式，可选地，所述方法还包括：

S404，确定衍射分布是否满足预设条件。

在所述衍射图像的衍射分布不满足预设条件时，执行S405；在所述衍射图像的衍射分布满足预设条件时，利用衍射图像执行去衍射处理，即执行以下S406。

可选地，衍射分布满足预设条件包括：衍射分布的面积小于或等于面积阈值。相应的，衍射分布不满足预设条件包括：衍射分布的面积大于面积阈值。

上述面积阈值可基于先验或测试得到，本申请实施例不作具体限定。

基于衍射花样的物理分布或者衍射花样在传感器上的分布，可以获得衍射图像的衍射分布面积。比如，图5中(1)所示的衍射花样的物理分布构成衍射分布面积。又比如，图5中(2)中所示的光斑构成衍射分布面积。应理解，此处关于衍射分布满足预设条件的描述只是示例描述，本申请实施例并不限于此。比如，“衍射分布的面积等于面积阈值”的情况也可以划分到“向用户显示提示信息”中。

还应理解，预设条件可以有多种实现方式。比如，衍射分布满足预设条件包括：衍射分布对应的像素点的数量小于或等于某个数量范围等等。

S405，向用户显示提示信息，所述提示信息用于提示用户调整(或改变)拍摄角度。换种表述，电子设备可提醒用户调整拍摄角度。

用户可基于提示信息改变拍摄角度。当用户调整拍摄角度后，可以重新获得调整后的拍摄角度的图像，随后基于该图像执行相关操作，例如，再次返回执行S402-S404。

一个示例，在衍射分布面积小于或等于面积阈值时，利用衍射图像执行去衍射处理；在衍射分布面积大于面积阈值时，向用户显示提示信息。

在得到衍射图像后，可以基于衍射图像对采集的第一图像进行差异化计算，或者说去衍射操作。

S406，基于所述衍射图像，对所述第一图像进行去衍射处理，得到第二图像，所述第二图像是去除衍射后的图像。

可选地，基于所述衍射图像，对所述第一图像进行去衍射处理，得到第二图像，包括：基于所述衍射图像，确定每个像素点的衍射权重值；根据所述衍射权重值对所述第一图像进行去衍射处理，得到第二图像。

可选地，作为一种可能的实现方式，基于所述衍射图像，确定每个像素点的衍射权重值，包括：对衍射花样在传感器上的分布S(x,y)进行归一化处理，得到每个像素点的衍射权重值。为便于后面描述，此处将对S(x,y)进行归一化处理后的能量分布记作h(x,y)。

需要说明的是，本申请实施例将衍射模型(比如，与某一个距离值适配的距离模板)作为屏幕衍射的点扩散函数(point spread function，PSF)。在屏幕衍射PSF已知的情况下，可以得到如下关系式：

g(x,y)＝p(x,y)*h(x,y) (5)

其中，g(x,y)为发生衍射后的图像，p(x,y)为未发生衍射的图像，h(x,y)为衍射模型归一化后的PSF。也就是说，衍射PSF和未发生衍射的图像进行卷积后得到带有衍射的图像。

本申请实施例基于上述式(5)，可以推导出未发生衍射的图像的计算方式，或者说可以推导出第二图像(即去除衍射后的图像)的计算方式。

一个示例，可以使用全1图像与PSF进行卷积运算，以得到衍射权重值，其中，所述全1图像与采集的原始图像(或者说第一图像)的大小一致。

可选地，作为一个示例，根据所述衍射权重值对所述第一图像进行去衍射处理，得到第二图像，包括：

采用下式计算第二图像的灰度值：

G(x,y)＝(g(x,y)*W1-g(x-1,y)*W0)/(W1-W0) (6)

其中，G(x,y)表示第二图像的灰度值，即在(x,y)处未发生衍射后的灰度值；g(x,y)表示第一图像的灰度值，即在(x,y)处发生衍射后的灰度值，g(x-1,y)表示在(x-1,y)处发生衍射后的灰度值，W1表示在(x-1,y)处的衍射权重值，W0表示在(x,y)处的衍射权重值。

在得到第二图像后，可以基于实际应用场景，利用第二图像执行下一步处理操作。本申请对此不作具体限定。

可选地，作为一种可能的实现方式，显示所述第二图像。所述第二图像经过上述去衍射处理后，可以恢复因衍射现象而丢失的图像的部分细节信息。

在一个可能的示例中，如果用户使用前置摄像头自拍，可以将去衍射后的图像呈现给用户。

作为一种可能的实现方式，可以在显示屏上显示所述第二图像。

在本申请实施例中，除了将所述第二图像呈现给用户以外，也可以将所述第二图像输入到下一图像处理操作流程中，以实现其他功能。

可选地，作为另一种可能的实现方式，所述方法还包括：

S407，利用所述第二图像执行(或实现)与人脸识别相关的功能(该功能包括但不限于人脸解锁、用户认证、人脸支付、身份核验等)。

比如，利用所述第二图像进行人脸解锁，即通过人脸解锁手机。又比如，利用所述第二图像实现支付功能。

应理解，上述关于人脸识别相关的功能只是示例性描述，本申请并不限于此。

在实现上述关于人脸识别相关的功能时，可利用电子设备中存储的图像与上述第二图像进行比对。比如，预先存储的图像基于用户预先输入的面部特征数据确定。可以理解，人脸识别可以是利用第二图像中提取的特征信息和电子设备中存储的人脸特征信息比对。可选地，在利用所述第二图像与所述电子设备中存储的图像进行比较时，如果认证不通过，则返回执行S405，即向用户发送提示信息，所述提示信息用于提示用户调整拍摄角度。

举例来说，在利用第二图像进行人脸解锁时，如果解锁失败，那么可向用户提示调整角度。用户在调整拍摄角度后，可再次上滑屏幕触发人脸解锁功能，以便重新采集图像进行人脸解锁。

一个示例，上述认证不通过是由于用户拍摄角度不合适而产生的衍射现象造成的。

在本申请实施例中，通过获取第一图像的数据，然后基于距离信息以及衍射模型确定衍射图像，并基于衍射图像对所述第一图像进行去衍射处理，得到第二图像，所述第二图像是去除衍射后的图像，能够恢复由于衍射而丢失的图像细节信息，提高了图像的质量，有助于提升用户体验。

图6示出了一个去除衍射光斑的效果示意图。如图6中(1)所示，由于衍射现象的存在，屏下摄像头采集的用户在戴眼镜时的人脸图像产生大块的亮斑，由于屏幕衍射带来的亮斑复制和扩散使得图像的细节消失，以用户的眼部最为明显。从图6中(1)可以看到，衍射光斑以亮斑为中心向外扩散和复制，光斑的亮度逐渐减弱。如图6中(2)所示，经过去衍射处理后，用户眼部的光斑明显减弱或去除，恢复了图像原有的部分细节信息。

可以理解，图6中的去除衍射光斑的效果只是一个示例，本申请并不限于此。

还可以理解，图6中的衍射光斑的分布也只是一个示例，本申请并不限于此。

图7示出了一个本申请实施例应用于人脸解锁的示意图。如图7所示，用户可以手持手机，面向手机显示屏，利用人脸解锁手机。当用户尝试人脸解锁手机时，手机界面显示如图7中(1)所示的界面。如图7中(1)所示，界面中显示正在识别人脸。作为一种实现方式，屏下摄像头采集用户的第一图像用于人脸解锁。采用本申请实施例的图像处理方法，可以将屏下摄像头采集的图像进行去衍射处理，得到第二图像，然后利用第二图像进行人脸解锁。

可以理解，在执行如图7中所示的人脸解锁之前，用户可以预先通过手机中的人脸识别功能，添加面部数据用于人脸解锁。

在人脸识别成功后，手机可以显示如图7中(2)所示的界面。如图7中(2)所示的界面，手机显示主界面。主界面中包含以下应用程序的图标：视频、运动健康、天气、音乐、我的荣耀、设置、录音机、荣耀商城、电话、信息、浏览器以及相机等。

可以理解，图7中(2)所示的界面中显示的图标只是一个举例，本申请并不限于此。

还应理解，上述图7中的示例是以人脸识别用于直接解锁的一个示例，即人脸识别成功后直接解锁屏幕，进入图7中(2)所示的界面，但本申请并不限于此。例如，用户也可以设置“人脸识别用于滑动解锁，即人脸识别成功后滑动屏幕解锁”等。

可选地，在得到去除衍射后的图像后，可以对去除衍射后的图像进行效果验证。以下描述本申请实施例提供的验证方式。应理解，验证过程可通过前文图3提及的验证模块实现。还应理解，验证模块可以集成在电子设备中，也可以独立于电子设备，对此不作具体限定。

可以理解，上述验证过程可以作为电子设备在出厂前的测试，即用于实现验证过程的验证模块并非一定要在集成在电子设备中，本申请对此不作具体限定。

可选地，获取第三图像，所述第三图像为屏上图像。屏上图像是指没有屏幕时摄像头采集的图像。需要说明的是，所述第三图像与所述第一图像针对的是同一拍摄物体，二者的区别在于第一图像是通过屏下摄像头采集的图像，而所述第三图像是屏上图像，其他拍摄条件是相同的。可以理解，由于没有屏幕，屏上摄像头采集的图像不会发生衍射现象，也就是说所述第三图像是未发生衍射的图像。

本申请实施例对如何获取第三图像的方式不作具体限定。比如，在实际测试时，可以在去掉屏幕的情况下采集屏上图像。

可选地，作为一种可能的实现方式，对所述第二图像与所述第三图像进行相似性判断，输出第一置信度；如果第一置信度满足第一置信度阈值，输出所述第二图像。

比如，如果第一置信度大于第一置信度阈值，则认为第二图像的可靠性程度比较高，或者说，本申请实施例的去衍射算法效果比较好，因此可以输出所述第二图像。

一个示例，在对所述第二图像与所述第三图像进行相似性判断时，可以结合以下一个或多个评价指标进行判断：所述第二图像与所述第三图像的峰值信噪比(peaksignal-to-noise ratio，PSNR)以及结构性相似性(structural similarity，SSIM)。

可选地，作为一种可能的实现方式，将所述第三图像与所述衍射花样进行合成处理，得到合成图像；对所述合成图像与所述第一图像进行相似性判断，输出第二置信度；如果第二置信度满足第二置信度阈值，输出所述第二图像。

需要说明的是，由于衍射模型与屏上图像的关系是卷积，因此要验证衍射模型的准确与否，可以将屏上图像与衍射图像进行卷积，得到合成后的图像，并将合成图像与屏下摄像头采集的图像(即第一图像)进行相似度对比，以便量化衍射模型的准确性。

比如，如果第二置信度大于第二置信度阈值，则认为基于衍射模型得到的第二图像的可靠性程度比较高，或者说，本申请实施例的去衍射算法效果比较好，因此可以输出第二图像。

一个示例，在进行所述合成图像与所述第一图像的相似性判断时，可以结合以下一个或多个评价指标进行判断：所述合成图像与所述第一图像的峰值信噪比PSNR以及结构性相似性SSIM。

因此，通过上述正向合成图像的方式，可以对去衍射的效果进行验证。

由上可知，本申请提供的屏下摄像头的拍照方法，通过获取距离信息，然后基于距离信息以及预先建立好的衍射模型确定衍射图像，最后基于衍射图像对采集的图像进行去衍射处理，得到去除衍射后的图像，恢复了由于衍射而丢失的图像细节信息，提高了图像的质量，有助于提升用户体验。

本申请还提供了一种计算机程序产品，该计算机程序产品被处理器执行时实现本申请中任一方法实施例所述的方法。

该计算机程序产品可以存储在存储器中，经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器执行的可执行目标文件。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现本申请中任一方法实施例所述的方法。该计算机程序可以是高级语言程序，也可以是可执行目标程序。

该计算机可读存储介质可以是易失性存储器或非易失性存储器，或者，可以同时包括易失性存储器和非易失性存储器。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。

本领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和设备的具体工作过程以及产生的技术效果，可以参考前述方法实施例中对应的过程和技术效果，在此不再赘述。

在本申请所提供的几个实施例中，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例的一些特征可以忽略，或不执行。以上所描述的装置实施例仅仅是示意性的，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统。另外，各单元之间的耦合或各个组件之间的耦合可以是直接耦合，也可以是间接耦合，上述耦合包括电的、机械的或其它形式的连接。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

还应理解，本申请中的术语“第一”、“第二”等仅用于区分描述的目的，而不能将其理解为指示或暗示顺序。

另外，本文中术语“系统”和“网络”在本文中常被可互换使用。本文中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

总之，以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种图像处理的方法，应用于具有屏下摄像头的电子设备中，其特征在于，包括：

所述电子设备通过屏下摄像头获取第一图像和第一距离，所述第一距离指示拍摄物体与屏幕之间的距离；

基于所述第一距离以及衍射模型确定衍射图像，所述衍射模型是基于不同的距离预先建立的；

基于所述衍射图像对所述第一图像进行去衍射处理，得到第二图像，所述第二图像是去除衍射后的图像；

所述基于所述第一距离以及衍射模型确定衍射图像，包括：

基于所述第一距离以及衍射模型确定衍射花样；

根据所述衍射花样确定所述衍射花样在传感器上的分布，所述衍射花样在传感器上的分布为所述衍射图像，所述传感器为屏下摄像头的传感器。

2.根据权利要求1所述的方法，其特征在于，所述根据所述衍射花样确定所述衍射花样在传感器上的分布，包括：

根据所述衍射花样的物理分布、所述衍射花样的采样间隔、以及所述传感器的像素尺寸，确定所述衍射花样在所述传感器上的分布。

3.根据权利要求1或2所述的方法，其特征在于，所述基于所述衍射图像，对所述第一图像进行去衍射处理，得到第二图像，包括：

基于所述衍射图像，确定每个像素点的衍射权重值；

根据所述衍射权重值对所述第一图像进行去衍射处理，得到第二图像。

4.根据权利要求3所述的方法，其特征在于，所述第二图像的灰度值满足下式：

其中，表示所述第二图像的灰度值，/>表示屏幕坐标；/>表示在/>处的灰度值，/>表示在/>处发生衍射后的灰度值，/>表示在/>处的衍射权重值，/>表示在/>处的衍射权重值。

5.根据权利要求1、2、4中任一项所述的方法，其特征在于，在基于所述衍射图像对所述第一图像进行去衍射处理之前，所述方法还包括：

确定所述衍射图像的衍射分布是否满足预设条件；

在所述衍射分布满足预设条件时，基于所述衍射图像对所述第一图像进行去衍射处理；

在所述衍射分布不满足预设条件时，向用户显示提示信息，所述提示信息用于提示用户调整拍摄角度。

6.根据权利要求5所述的方法，其特征在于，所述衍射分布满足预设条件，包括：所述衍射分布的面积小于或等于面积阈值。

7.根据权利要求1、2、4中任一项所述的方法，其特征在于，所述方法还包括：

显示所述第二图像；

或者，利用所述第二图像实现与人脸识别相关的功能，所述与人脸识别相关的功能包括以下任一功能：人脸解锁、用户认证、人脸支付、身份核验。

8.根据权利要求7所述的方法，在利用所述第二图像实现与人脸识别相关的功能时，所述方法还包括：

将所述第二图像与所述电子设备存储的图像进行比较；

在人脸识别失败时，向用户显示提示信息，所述提示信息用于提示用户调整拍摄角度。

9.根据权利要求1所述的方法，所述方法还包括：

获取第三图像，所述第三图像为屏上图像；

对所述第二图像与所述第三图像进行相似性判断，输出第一置信度；

如果所述第一置信度满足第一置信度阈值，输出所述第二图像。

10.根据权利要求1所述的方法，所述方法还包括：

获取第三图像，所述第三图像为屏上图像；

将所述第三图像与衍射花样进行合成处理，得到合成图像；

对所述合成图像与所述第一图像进行相似性判断，输出第二置信度；

如果所述第二置信度满足第二置信度阈值，输出所述第二图像。

11.根据权利要求9或10所述的方法，其特征在于，所述相似性判断包括：

采用以下一个或多个评价指标进行图像相似性判断：峰值信噪比PSNR以及结构性相似性SSIM。

12.根据权利要求1、2、4、6、8、9、10中任一项所述的方法，其特征在于，所述屏下摄像头为飞行时间TOF摄像头。

13.一种电子设备，其特征在于，包括处理器和存储器，所述处理器和所述存储器耦合，所述存储器用于存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行权利要求1至12中任一项所述的方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至12中任一项所述的方法。