CN111741281B - 图像处理方法、终端及存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、终端及存储介质，所述图像处理方法应用于终端中，所述终端的显示屏下方设置彩色拍摄装置和NIR拍摄装置，所述方法包括：在开启前置拍摄功能之后，通过彩色拍摄装置采集目标对象的彩色图像，同时，通过NIR拍摄装置采集目标对象的NIR图像；根据彩色拍摄装置的第一预设标定参数，和NIR拍摄装置的第二预设标定参数对彩色图像和NIR图像进行对齐处理，获得对齐后彩色图像和对齐后NIR图像；对对齐后彩色图像和对齐后NIR图像进行融合处理，获得目标对象对应的目标图像。

Description

图像处理方法、终端及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、终端及存储介质。

背景技术

随着科学技术的发展，手机的更新换代速度越来越快，屏占比成为产品差异化的重要标准，促使手机朝着全面屏的方向发展。目前，为了实现全面屏显示，一般采用屏下集成前置摄像头的方式，即将摄像头隐藏在显示屏的下方，使全面屏手机在进行前置拍照时，能够通过显示面板线路的间隙透过的光，进行图像的采集。然而，这种屏下集成前置摄像头的方式，由于光透过屏幕会产生衍射，因此，会导致摄像头拍摄的图像为衍射图像，成像画质较差。

目前，相关技术主要采用两种方式来解决屏下摄像头因存在衍射而导致的画质成像差的问题，一种是利用大量成对的屏下与屏上样本图像进行网络训练，构建神经网络模型，以进行衍射补偿；另外一种是根据传统小孔成像相关算法对可能产生的衍射形态进行去除。

然而，由于光的衍射与光源强度、光源大小、入射光的角度等各种光参数是强相关的，使得不同的光参数会产生不同形态的衍射，因此，相关技术中构建神经网络模型以及传统算法进行衍射补偿的方式，不仅无法对所有可能产生的衍射情景进行有效的衍射补偿；而且在对衍射较强区域的衍射形态进行去除时，会出现较为明显的涂抹痕迹，导致拍摄获得的图像质量差。

发明内容

本申请实施例提供了一种图像方法、终端及存储介质，解决了屏下摄像头因存在衍射而造成的画质成像差的问题，能够有效的进行衍射补偿，使得拍摄获得的图像质量佳。

本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供了一种图像处理方法，所述方法应用于终端中，所述终端的显示屏下方设置彩色拍摄装置和NIR拍摄装置，所述方法包括：

在开启前置拍摄功能之后，通过所述彩色拍摄装置采集目标对象的彩色图像，同时，通过所述NIR拍摄装置采集所述目标对象的NIR图像；

根据所述彩色拍摄装置的第一预设标定参数，和所述NIR拍摄装置的第二预设标定参数对所述彩色图像和所述NIR图像进行对齐处理，获得对齐后彩色图像和对齐后NIR图像；

对所述对齐后彩色图像和所述对齐后NIR图像进行融合处理，获得所述目标对象对应的目标图像。

第二方面，本申请实施例提供了一种终端，所述终端显示屏下方设置彩色拍摄装置和NIR拍摄装置，所述终端包括：采集单元，对齐单元以及融合单元，

所述采集单元，用于在开启前置拍摄功能之后，通过所述彩色拍摄装置采集目标对象的彩色图像，同时，通过所述NIR拍摄装置采集所述目标对象的NIR图像；

所述对齐单元，用于根据所述彩色拍摄装置的第一预设标定参数，和所述NIR拍摄装置的第二预设标定参数对所述彩色图像和所述NIR图像进行对齐处理，获得对齐后彩色图像和对齐后NIR图像；

所述融合单元，用于对所述对齐后彩色图像和所述对齐后NIR图像进行融合处理，获得所述目标对象对应的目标图像。

第三方面，本申请实施例提供了一种终端，所述终端包括彩色摄像装置、NIR摄像装置、处理器以及存储有所述处理器可执行指令的存储器，当所述指令被所述处理器执行时，实现如上所述的图像处理方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有程序，应用于终端中，所述程序被处理器执行时，实现如上所述的图像处理方法。

本申请实施例提供了一种图像处理方法、终端及存储介质，终端显示屏下方设置彩色拍摄装置和NIR拍摄装置，在开启前置拍摄功能之后，终端可以通过彩色拍摄装置采集目标对象的彩色图像，同时，通过NIR拍摄装置采集目标对象的NIR图像；根据彩色拍摄装置的第一预设标定参数，和NIR拍摄装置的第二预设标定参数对彩色图像和NIR图像进行对齐处理，获得对齐后彩色图像和对齐后NIR图像；对对齐后彩色图像和对齐后NIR图像进行融合处理，获得目标对象对应的目标图像。也就是说，在本申请的实施例中，终端在显示屏下方同时设置彩色摄像装置和近红外摄像装置，从而可以利用彩色拍摄装置和NIR拍摄装置采集同一目标对象的彩色图像和NIR图像，通过将目标对象的彩色图像和近红外图像进行图像融合处理，则可以实现对彩色图像进行衍射补偿，使得融合处理后得到的目标图像不在存在任何衍射形态，实现了高质量的复原了目标对象，进而解决了屏下摄像头因存在衍射而造成的画质成像差的问题，摄像头成像质量高，拍摄获得的图像质量佳。

附图说明

图1为本申请提出的图像处理方法的实现流程示意图一；

图2为本申请提出的终端拍摄装置的组成结构示意图；

图3A为本申请提出的终端中拍摄装置的排布示意图一；

图3B为本申请提出的终端中拍摄装置的排布示意图二；

图4为本申请提出的图像融合处理过程示意图；

图5为本申请提出的图像处理方法的实现流程示意图二；

图6为本申请提出的图像处理方法的实现流程示意图三；

图7为本申请提出的图像处理方法的实现流程示意图四；

图8为本申请提出的终端的组成结构示意图一；

图9为本申请提出的终端的组成结构示意图二。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1)相机标定：包括单目标定和双目标定，其中，单目相机标定的目的是求出相机参数，包括内/外参数和畸变参数，获得其各自的相机参数之后，还要进行双目标定，即进一步基于其各自的相机参数，确定图像采集装置多个摄像头之间的相对位置关系，通过相机双目标定才可获得双目校正所需参数。进一步地，通过相机标定参数即可以确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系。本申请实施例出现的标定参数都是参考张正友相机标定方法获得的相机参数。

2)现代近红外光谱(Near Infrared，NIR)：用于在可见光光谱范围之外的物体或场景照明，并使摄像头能够在超出人类视觉能力的低光或无光情况下看到物体。现代近红外光谱常应用至红外摄像头拍照、人脸识别以及监控等领域。

3)视差：观测者在两个不同位置看同一物体的方向之差。从目标看两个点之间的夹角，叫做这两个点的视差角，两点之间的连线称作基线，根据视差角度和基线长度，则可以计算出目标和观测者之间的距离，即视差位移。

4)图像金字塔：以多个分辨率来表示图像的一种有效且概念简单的结构，即通过机器视觉和图像压缩，将图像表征为以金字塔形状排列的、从下到上分辨率逐步降低的图像集合。

其中，图像金字塔主要有两种：高斯金字塔和拉普拉斯金字塔；具体的，对图像进行梯度下采样处理，则可以得到一组低分辨率图像集合，按照分辨率由低到高进行组合排列构建图像对应的高斯金字塔，其中，顶层分辨率最低。假定6层金字塔，原图像即分辨率最高的图像为I0，最小即分辨率最低的图像为I5，那么高斯金字塔就是从I0至I5这6副图像组成的图像集合；另外，由于高斯金字塔每一层产生的过程中都会丢失很多高频图像信息，这一丢失的图像信息则形成了拉普拉斯金字塔，具体的，用高斯金字塔的每一层图像减去上一层图像上采样并高斯卷积之后的预测图像，得到一系列的插值图像，将其作为拉普拉斯金字塔的内容。参照上述图像高斯金字塔中的图像I4，可以由I5重建得到，通过对I5上采样，标记为I4a，那么I4-I4a即为高斯金字塔产生第四层丢失的图像信息，可将其作为拉普拉斯金字塔的内容。

随着科学技术的发展，手机的更新换代速度越来越快，屏占比成为产品差异化的重要标准，促使手机朝着全面屏的方向发展。目前，为了实现全面屏显示，一般采用屏下集成前置摄像头的方式，即将摄像头隐藏在显示屏的下方，使全面屏手机在进行前置拍照时，能够通过显示面板线路的间隙透过的光，进行图像的采集。然而，这种屏下集成前置摄像头的方式，由于光透过屏幕会产生衍射，因此会导致摄像头拍摄的图像为衍射图像，成像画质较差。

目前，相关技术主要采用两种方式来解决屏下摄像头因存在衍射而导致的画质成像差的问题，一种是利用大量成对的屏下与屏上样本图像进行网络训练，构建神经网络模型，以进行衍射补偿；另外一种是根据传统小孔成像相关算法对可能产生的衍射形态进行去除。

然而，由于光的衍射与光源强度、光源大小、入射光的角度等各种光参数是强相关的，使得不同的光参数会产生不同形态的衍射，因此，相关技术中构建神经网络模型以及传统算法进行衍射补偿的方式，不仅无法对所有可能产生的衍射情景进行有效的衍射补偿；而且在对衍射较强区域的衍射形态进行去除时时，会出现较为明显的涂抹痕迹，导致图像显示效果差。

为了解决现有的屏下摄像头拍照所存在的衍射问题，本申请实施例提供了一种图像处理方法、终端及存储介质，具体地，终端通过在显示屏下方同时设置彩色摄像装置和近红外摄像装置，以在在对目标对象进行前置拍摄时，终端可以利用彩色拍摄装置获取目标对象的彩色图像，同时，利用近红外摄像装置获取目标对象的近红外图像，通过将目标对象的彩色图像和近红外图像进行图像融合处理，则可以实现对彩色图像进行衍射补偿，使得融合处理后得到的目标图像不在存在任何衍射形态，实现了高质量的复原了目标对象，进而解决了屏下摄像头因存在衍射而造成的画质成像差的问题，摄像头成像质量高，图像显示效果良好。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

本申请一实施例提供了一种监控方法，图1为本申请提出图像处理方法的实现流程示意图一，如图1所示，在本申请的实施例中，终端执行图像处理的方法可以包括以下步骤：

步骤101、在开启前置拍摄功能之后，通过彩色拍摄装置采集目标对象的彩色图像，同时，通过NIR拍摄装置采集目标对象的NIR图像。

在本申请的实施例中，终端在开启前置摄像头对目标对象进行拍照时，终端可以通过彩色拍摄装置采集该目标对象的彩色图像，同时，终端也可以通过NIR拍摄装置采集该目标对象的红外图像。

需要说明的是，在本申请的实施例中，终端可以为任何具备前置拍照功能的设备。例如：平板电脑、手机、个人计算机(Personal Computer，PC)、笔记本电脑、车载设备、网络电视等设备；本申请对应用图像处理方法的设备不做具体限定。

具体地，终端为显示屏下方设置有两个前置摄像头模组的设备；例如配置有两个摄像头模组的全面屏手机。其中，两个前置摄像头模组分别为彩色拍摄装置和NIR拍摄装置。终端将该彩色摄像头模组和NIR摄像头模组集成于显示屏的背部，在开启前置拍摄功能之后，终端可以通过屏下彩色拍摄装置和屏下NIR拍摄装置分别采集同一目标对象的彩色图像和NIR图像。

示例性地，图2为本申请实施例提出的终端拍摄装置的组成结构示意图，如图2所示，终端包括两个前置摄像头模组，分别为彩色拍摄装置和NIR拍摄装置，两个摄像头模组固定于同一支架上。

可以理解的是，NIR拍摄装置能够反射可见光，其主要接收750nm～1100nm的红外光，并且传感器的近红外波段的感光系数为大于或者等于60％，优选的，在本申请实施例中，为了接收到更多的画面细节，终端显示屏下方设置的NIR拍摄装置采用近红外波段感光系数最大的黑白模组。

可选的，在本申请的实施例中，终端将彩色拍摄装置与NIR拍摄装置以并行排列方式设置于显示屏下方，可选的，彩色摄像头与NIR摄像头的相对位置可以是一上一下或者是一左一右，且两者的相对距离能够保证在拍摄过程中，彩色摄像头与NIR第二摄像头的取景范围、角度等拍摄参数都基本保持一致，且彩色摄像头和NIR摄像头的光心在一条直线上。示例性地，图3A和图3B为本申请实施例提出的终端中拍摄装置的排布示意图一和示意图二，如图3A所示，终端将彩色拍摄装置和NIR拍摄装置以纵向并行方式设置于显示屏下方；如图3B所示，终端将彩色拍摄装置和NIR拍摄装置以横向并行方式设置于显示屏下方。

需要说明的是，在本申请的实施例中，终端得到的彩色图像和NIR图像为终端通过彩色拍摄装置、NIR拍摄装置对同一目标对象进行拍摄得到的，具体地，彩色图像即各像素都由红(Red)、绿(Green)、蓝(Blue)三个分量表示，而NIR图像则为二值图像或者灰度图像。

进一步地，在本申请的实施例中，终端通过彩色拍摄装置和NIR拍摄装置分别获取目标对象的彩色图像和NIR图像之后，终端可以进一步根据摄像头对应的预设标定参数对彩色图像和NIR图像进行对齐处理。

步骤102、根据彩色拍摄装置的第一预设标定参数，和NIR拍摄装置的第二预设标定参数对彩色图像和NIR图像进行对齐处理，获得对齐后彩色图像和对齐后NIR图像。

在本申请的实施例中，终端通过彩色拍摄装置和NIR拍摄装置分别获取同一目标对象的彩色图像和NIR图像之后，终端可以进一步根据彩色拍摄装置的标定参数，即第一预设标定参数；和NIR拍摄装置的标定参数，即第二预设标定参数对上述彩色图像和NIR图像进行图像对齐处理，从而得到对齐后彩色图像和对齐后NIR图像。

需要说明的是，在本申请的实施例中，第一预设标定参数包括彩色摄像头对应的第一畸变系数、第一内部参数和第一外部参数；第二预设标定参数包括NIR摄像头对应的第二畸变系数、第二内部参数以及第二外部参数。

需要说明的是，在本申请的实施例中，标定参数可以来源于终端制造商，出厂之前，终端制造商会对彩色拍摄装置和NIR拍摄装置进行标定，标定完成后就会得到标定参数，并将标定参数存储于终端中，以供后续使用；同时，用户也可以基于终端，自行对拍摄装置对应的相机参数进行重新标定，具体标定方法参考张正友相机标定方法，本处不在赘述。

具体的，在本申请的实施例中，终端在进行图像对齐处理时，终端可以先从本地分别读取彩色拍摄装置和NIR拍摄装置对应的标定参数，包括畸变系数、内部参数以及外部参数，从而根据畸变系数以及内/外参进行彩色图像和NIR图像的对齐处理。

更具体的，终端可以先根据畸变系数对彩色图像和NIR图像进行去畸变校正，然后根据内/外参数对校正后彩色图像和校正后NIR图像做立体匹配，得到映射关系，进而按照映射关系进行图像对齐处理，得到对齐后彩色图像和对齐后NIR图像。

需要说明的是，在本申请的实施例中，对齐后彩色图像和对齐后NIR图像特征点、以及特征点的位置坐标一一对应，具有完全相同的空间布局。

进一步地，在本申请的实施例中，终端在对彩色图像和NIR图像进行对齐处理，并得到对齐后彩色图像和NIR图像之后，终端可以进一步对对齐后彩色图像和对齐后NIR图像进行融合处理。

步骤103、对对齐后彩色图像和对齐后NIR图像进行融合处理，获得目标对象对应的目标图像。

在本申请的实施例中，终端进行对齐处理，得到对齐后彩色图像与对齐后NIR图像之后，终端可以进一步对对齐后彩色图像和对齐后NIR图像做图像融合处理，从而得到目标对象对应的目标图像。

具体的，在本申请的实施例中，进行图像融合处理时，终端可以先对对齐后彩色图像进行识别处理，确定出待融合区域；由于经过对齐处理之后，获得的对齐后彩色图像和对齐后NIR图像具有完全相同的空间布局，因此，终端可以进一步按照确定出的待融合区域，从对齐后NIR图像中找出与该待融合区域对应的目标区域，并按照该目标区域从对齐后NIR图像中，提取与该目标区域对应的NIR图像信息，进而基于该NIR图像信息对对齐后彩色图像进行融合处理，从而得到目标图像，其中，融合后的目标图像为彩色图像。

可选的，在本申请的实施例中，终端可以基于图像金字塔的方式实现图像的融合处理。具体地，分别对对齐后彩色图像和对齐后NIR图像进行下采样处理，构建RGB高斯金字塔和NIR高斯金字塔，并基于高斯金字塔确定图像插值，进而通过图像插值构建RGB拉普拉斯金字塔和NIR拉普拉斯金字塔。

进一步地，终端还可以确定出拉普拉斯金字塔中，每层彩色插值图像对应的待融合区域，并按照该待融合区域从每层NIR插值图像中找出与该待融合区域对应的目标区域，并从每层NIR插值图像中提取目标区域对应的NIR图像信息。之后，终端可以基于该NIR图像信息对彩色插值图像进行融合处理，得到融合后彩色插值图像，以生成一融合后拉普拉斯金字塔。进一步的，终端可以对融合后拉普拉斯金字塔做还原重构处理，从而获得目标图像。

具体地，图4为本申请实施例提出的图像融合处理过程示意图，如图4所示，终端在开启前置摄像头对目标对象进行拍照时，终端可以先利用彩色摄像头采集目标对象的RGB图像(步骤201A)，同时，利用近红外摄像头采集同一目标对象的NIR图像(步骤201B)，然后终端读取彩色摄像头对应的第一标定参数和NIR摄像头对应的第二标定参数(步骤202)，从而根据该第一标定参数和第二标定参数，对彩色图像和NIR图像进行对齐处理，得到对齐后彩色图像和对齐后NIR图像(步骤203)，进一步地，终端对对齐后彩色图像和对齐后NIR图像进行融合处理(步骤204)，从而获得目标对象对应的目标图像(步骤205)。

可见，在本申请的实施例中，终端为了解决单一的屏下彩色摄像头存在的图像衍射问题，终端在显示屏下方新增加了NIR摄像头模组，终端可以通过彩色摄像头采集目标对象的彩色图像，同时，通过NIR摄像头采集该目标对象的NIR图像。由于NIR摄像头不接收可见光，且NIR光谱具有击穿薄物体的能力，因此，NIR摄像头采集的NIR图像为一衍射小、细节清晰的灰度图像。进而，终端可以通过对存在衍射的彩色图像和成像清晰的NIR图像进行融合处理来实现对彩色图像进行衍射补偿，以消除彩色图像中的衍射形态，使得融合后得到的目标图像高质量的复原了目标对象。

本申请实施例提供了一种图像处理方法，终端显示屏下方设置彩色拍摄装置和NIR拍摄装置，在开启前置拍摄功能之后，终端可以通过彩色拍摄装置采集目标对象的彩色图像，同时，通过NIR拍摄装置采集目标对象的NIR图像；根据彩色拍摄装置的第一预设标定参数，和NIR拍摄装置的第二预设标定参数对彩色图像和NIR图像进行对齐处理，得到对齐后彩色图像和对齐后NIR图像；对对齐后彩色图像和对齐后NIR图像进行融合处理，得到目标对象对应的目标图像。也就是说，在本申请的实施例中，终端在显示屏下方同时设置彩色摄像装置和近红外摄像装置，从而可以利用彩色拍摄装置和NIR拍摄装置采集同一目标对象的彩色图像和NIR图像，通过将目标对象的彩色图像和近红外图像进行图像融合处理，则可以实现对彩色图像进行衍射补偿，使得融合处理后得到的目标图像不在存在任何衍射形态，实现了高质量的复原了目标对象，进而解决了屏下摄像头因存在衍射而造成的画质成像差的问题，摄像头成像质量高，拍摄获得的图像质量佳。

基于上述实施例，在本申请的另一实施例中，图5为本申请实施例提出的图像处理方法的实现流程示意图二，如图5所示，终端根据彩色拍摄装置的第一预设标定参数，和NIR拍摄装置的第二预设标定参数对彩色图像和NIR图像进行对齐处理，获得对齐后彩色图像和对齐后NIR图像的方法可以包括以下步骤：

步骤301、根据第一畸变系数对彩色图像进行校正处理，获得校正后彩色图像，同时，根据第二畸变系数对NIR图像进行校正处理，获得校正后NIR图像。

在本申请的实施例中，终端在通过彩色摄像头和NIR摄像头分别采集到目标对象的彩色图像和NIR图像之后，终端可以先根据彩色摄像头的第一预设标定参数中第一畸变系数对彩色图像做校正处理，同时，根据NIR摄像头的第二预设标定参数中第二畸变系数对NIR图像做去畸变校正处理，从而得到校正后彩色图像和校正后NIR图像。

可以理解的是，由于摄像头为透镜，在进行图像采集时，获取到的图像都会存在或多或少的失真，即产生畸变现象，主要包括径向畸变和切向畸变，因此，在采集到目标对象的图像之后，终端首先会读取拍摄装置对应的标定参数，以根据标定参数中的畸变系数先对图像进行去畸变校正处理，从而得到校正后图像。

具体地，在本申请的实施例中，终端可以先读取彩色摄像头和NIR摄像头对应的标定参数，进而利用彩色摄像头的标定参数中第一畸变系数，对彩色图像做去畸变校正处理，得到校正后彩色图像；同时，终端也可以NIR摄像头的标定参数中第二畸变系数对NIR图像对去畸变校正处理，得到校正后NIR图像。

进一步地，在本申请的实施例中，终端在根据拍摄装置对应的畸变系数对彩色图像和NIR图像分别进行校正处理，得到校正后彩色图像和校正后NIR图像之后，终端可以进一步对校正后彩色图像和校正后NIR图像进行立体匹配。

步骤302、对校正后彩色图像和校正后NIR图像进行立体匹配，获得校正后彩色图像和校正后NIR图像之间的映射关系。

在本申请的实施例中，终端在根据畸变系数对彩色图像和NIR图像进行校正处理，得到校正后彩色图像和校正后NIR图像之后，终端可以对校正后彩色图像和校正后NIR图像进行立体匹配，从而得到校正后彩色图像和校正后NIR图像之间的映射关系。

可以理解的是，由于双目成像系统中的彩色摄像头和NIR摄像头之间具有一定的间隔，会使得采集的同一目标对象的彩色图像和NIR图像的图像坐标和像素坐标存在一定的差异，即双目摄像头视差问题。因此，在本申请的实施例中，在进行图像对齐之前，终端需要先确定出校正后彩色图像与校正后NIR图像之间的映射关系。具体的，终端可以对校正后彩色图像和校正NIR图像进行立体匹配，即从彩色图像和NIR图像这两个图像中找到匹配的对应点，从而得到校正后彩色图像和校正后NIR图像之间的映射关系。

需要说明的是，在本申请的实施例中，校正后彩色图像和校正后NIR图像之间的映射关系为点对点映射关系，即利用该点对点映射关系，对于彩色图像中的任一特征点都能够在NIR图像中找到对应的特征点，以方便后续进行不同图像之间的对齐。

具体地，在本申请的实施例中，终端可以根据摄像头的标定参数进行校正后图像的立体匹配。具体地，终端可以根据彩色摄像头的第一预设标定参数中第一内部参数、第一外部参数，和NIR摄像头的第二预设标定参数中第二内部参数、第二外部参数先确定出校正后彩色图像和校正后NIR图像的相对位置关系，然后按照确定出的相对位置关系先对图像做平移或者旋转等位置变换，以使校正后彩色图像与校正后NIR图像处于同一水平面，从而进一步确定出映射关系。

可选的，终端在进行图像的平移或者旋转等位置变换时，可以是以校正后彩色图像为参照，对校正后NIR图像进行平移、旋转，以使变换后NIR图像与校正后彩色图像位于同一水平面；或者，终端也可以以校正后NIR图像为参照，对校正后彩色图像进行平移、旋转，以使变换后彩色图像与校正后NIR图像位于同一水平面；或者，终端预设有参考平面，终端对校正后彩色图像和校正后的NIR图像进行平移、旋转，以使校正后的彩色图像和校正后NIR图像处于同一水平面。

进一步地，终端可以对位于同一水平面的校正后彩色图像和校正后NIR图像进行特征检测处理以及特征点匹配处理，进而得到校正后彩色图像与校正后NIR图像之间的映射关系。

具体地，终端可以先分别提取校正后彩色图像和校正后NIR图像各自的特征点，得到校正后彩色图像对应的至少一个特征点，即第一特征点，和校正后NIR图像对应的至少一个特征点，即第二特征点；其中，第一特征点和第二特征点的数量是完全相同的。例如，目标对象为日光灯时，多个特征点可以分别对应于灯的中心位置以及灯两边临界位置(左、右)。

进一步地，终端可以对第一特征点和第二特征点进行匹配处理，即对校正后彩色图像和校正后NIR图像中，目标对象的同一特征点进行匹配处理，例如，彩色图像中日光灯的中心位置这一特征点和NIR图像中日光灯的中心位置这一特征点，终端可以对两个特征点进行匹配处理，即建立两个特征点的对应关系。终端在对校正后彩色图像的至少一个，和校正后NIR图像中的至少一个特征点进行匹配处理之后，即可以得到校正后彩色图像与校正后NIR图像的点对点映射关系。

进一步地，终端在对校正后彩色图像和校正后NIR图像进行立体匹配，得到两个图像之间的映射关系之后，终端便可以进一步按照该映射关系事先两个图像的对齐。

步骤303、按照映射关系对校正后彩色图像和校正后NIR图像进行对齐处理，获得对齐后彩色图像和对齐后NIR图像。

在本申请的实施例中，终端在对校正后彩色图像和校正后NIR图像进行立体匹配，得到映射关系之后，终端可以进一步按照映射关系对校正后彩色图像和校正后NIR图像进行对齐处理，从而得到对齐后彩色图像和对齐后NIR图像。

可以理解的是，由于双目摄像头视差问题，彩色摄像头与NIR摄像头采集的图像存在差异，不能直接进行融合处理。因此，在进行图像融合处理之前，终端需要先对不同图像进行对齐处理，以消除校正后彩色图像与校正后NIR图像因视差问题而导致的位移偏差，从而使得对齐后的两幅图像具有完全相同的空间布局。

具体地，在本申请的实施例中，终端可以先按照映射关系，确定出相互对应的第一特征点在校正后彩色图像中的第一位置坐标，和第二特征点在校正后NIR图像中的第二位置坐标，进而根据该第一位置坐标和第二位置坐标对不同图像进行对齐处理。

更具体的，终端可以计算第一位置坐标与第二位置坐标之间的差值，即确定对应特征点在校正后彩色图像和校正后NIR图像中的位移偏差，进而可以根据该位移偏差进行图像对齐。

可选的，终端可以以校正后彩色图像为参照，在确定出对应特征点的位移偏差之后，按照该位移偏差对校正后NIR图像做平移补偿，以进行图像对齐处理，对齐后NIR图像与校正后彩色图像具有完全相同的空间布局；或者，终端也可以以校正后NIR图像为参照，在确定出对应特征点的位移偏差之后，按照该位置偏差对校正后彩色图像做平移补偿，以进行图像对齐处理，对齐后彩色图像与校正后NIR图像具有完全相同的空间布局；或者，终端分别对校正后彩色图像和校正后的NIR图像进行平移、旋转，以进行图像对齐，对齐后彩色图像和对齐后NIR图像具有完全相同的空间布局。

本申请实施例提供了一种图像处理方法，终端在显示屏下方同时设置彩色摄像装置和近红外摄像装置，从而可以利用彩色拍摄装置和NIR拍摄装置采集同一目标对象的彩色图像和NIR图像，通过将目标对象的彩色图像和近红外图像进行图像融合处理，则可以实现对彩色图像进行衍射补偿，使得融合处理后得到的目标图像不在存在任何衍射形态，实现了高质量的复原了目标对象，进而解决了屏下摄像头因存在衍射而造成的画质成像差的问题，摄像头成像质量高，拍摄获得的图像质量佳。

基于上述实施例，在本申请的另一实施例中，图6为本申请实施例提出的图像处理方法的实现流程示意图三，如图6所示，终端对对齐后彩色图像和对齐后NIR图像进行融合处理，得到目标对象对应的目标图像的方法可以包括以下步骤：

步骤401、对对齐后彩色图像进行下采样处理，得到彩色采样图像，同时，对对齐后NIR图像进行下采样处理，得到NIR采样图像。

在本申请的实施例中，终端在对目标对象的彩色图像和目标对象的NIR图像进行图像对齐处理，得到对齐后彩色图像和对齐后NIR图像之后，终端需要对不同图像进行融合处理，具体的，终端可以先分别对对齐后彩色图像和对齐后NIR图像进行下采样处理，从而得到彩色采样图像和NIR采样图像。

需要说明的是，在本申请的实施例中，获得的彩色采样图像为多个不同分辨率大小的彩色采样图像，以及获得的NIR采样图像为多个不同分辨率大小的NIR采样图像。

具体地，终端可以通过对对齐后彩色图像和对齐后NIR图像分别进行下采样处理，即按一定梯度大小对图像进行缩小，进而得到多个不同分辨率大小的彩色采样图像和多个不同分辨率大小的NIR采样图像。由于终端是按照相同梯度分别对对齐后彩色图像和对齐后NIR图像进行下采样处理地，因此，多个彩色采样图像和多个NIR采样图像是按照分辨率大小一一对应的。

可选的，基于步骤103所述的终端基于图像金字塔的方式实现图像的融合处理，终端在通过下采样处理得到多个采样图像之后，可以将多个彩色采样图像按分辨率大小进行排列，构建对应的RGB高斯金字塔，同时，将多个NIR采样图像按分辨率大小进行排列，构建对应的NIR高斯金字塔；其中，两个高斯金字塔具有相同的层数，且每相同一层的彩色采样图像和NIR采样图像分辨率相同，且具有相同的空间布局。

进一步地，在本申请的实施例中，终端在对校正后彩色图像和对齐后NIR图像进行下采样处理，得到多个彩色采样图像和多个NIR采样图像之后，终端可以进一步根据采样图像确定插值图像。

步骤402、根据彩色采样图像确定彩色插值图像，同时，根据NIR采样图像确定NIR插值图像。

在本申请的实施例中，终端在通过下采样处理，分别得到彩色采样图像和NIR采样图像之后，终端可以进一步根据彩色采样图像确定彩色插值图像，以及根据NIR采样图像确定NIR插值图像。

可以理解的是，由于终端进行图像下采样处理时，会丢失图像的部分高频细节信息，因此，为了后续进行图像融合处理，终端需要先确定下采样处理时丢失的图像信息，从而根据该图像信息得到对应的插值图像。具体地，终端可以在得到按照分辨率大小排列的多个采样图像之后，根据每相邻两个采样图像来确定其下采样处理时丢失的图像信息，从而得到对应的插值图像。

可选的，基于步骤103所述的终端基于图像金字塔的方式实现图像的融合处理，终端可以基于步骤401中RGB高斯金字塔得到彩色插值图像，以及基于NIR高斯金字塔得到NIR插值图像。具体的，可以利用RGB高斯金字塔中，每一层彩色采样图像减去上一层彩色采样图像上采样并高斯卷积之后的预测图像，来确定出丢失的图像信息，进而得到多个彩色插值图像；同理，也可以用NIR高斯金字塔的每一层NIR采样图像减去上一层NIR采样图像上采样并高斯卷积之后的预测图像，来确定出丢失的图像信息，进而得到多个NIR插值图像。

需要说明的是，在本申请的实施例中，由于多个彩色采样图像和多个NIR采样图像按分辨率大小是一一对应的，因此，根据多个彩色采样图像计算得到的多个彩色插值图像，和根据多个NIR采样图像计算得到多个NIR插值图像也是一一对应，且空间布局相同的。

进一步地，终端可以基于多个彩色插值图像构建RGB拉普拉斯金字塔，同时，基于多个NIR插值图像构建NIR拉普拉斯金字塔，并且，两个拉普拉斯金字塔具有相同的层数，其中，每相同一层的彩色插值图像和NIR插值图像具有相同的空间布局。

进一步的，在本申请的实施例中，终端在得到多个终端在得到多个彩色插值图像和多个NIR插值图像之后，可以进一步基于多个彩色插值图像和多个NIR插值图像来确定目标图像。

步骤403、根据多个彩色插值图像和多个NIR插值图像确定目标图像。

在本申请的实施例中，终端在根据彩色采样图像确定出彩色插值图像，以及根据NIR采样图像确定出NIR插值图像之后，终端可以进一步根据彩色插值图像和NIR插值图像确定出目标对象对应的目标图像。

需要说明的是，在本申请的实施例中，在进行图像融合处理之前，终端需要先确定待融合区域，进而按照待融合区域来进行图像融合处理。可选的，终端可以利用深度学习的方法识别待融合图像中的待融合区域，进而按照待融合区域，从相应地对齐后目标图像中找出与该待融合区域对应的目标区域，并从目标图像中提取该目标区域对应的图像信息，进而基于该图像信息对待融合图像进行融合处理，从而得到目标图像。

示例性地，针对屏下摄像头存在的图像衍射问题，终端可以基于深度学习的方法预先建立衍射模型，用于识别彩色图像中的待融合区域，即彩色图像中的衍射区域。具体的，进行图像融合时，终端先将存在衍射问题的彩色图像，输入预设衍射模型进行识别处理，确定出衍射图像区域，由于经过对齐处理之后，获得的对齐后彩色图像和对齐后NIR图像具有完全相同的空间布局，因此，终端可以按照该衍射图像区域，从对齐后NIR图像中找出与该衍射图像区域对应的不存在衍射问题、且图像细节清晰的目标区域，并基于该目标区域，从对齐后NIR图像中提取该目标区域对应的NIR图像信息，进而基于NIR图像信息对对齐后彩色图像进行融合处理，从而获得了目标图像。相比原彩色图像，融合后的目标图像不再存在衍射形态，且图像细节更加清晰。

可选的，基于步骤103所述的终端基于图像金字塔的方式实现图像的融合处理，具体的，终端可以基于深度学习的方法，对步骤402中所述的RGB拉普拉斯金字塔中的每一个彩色插值图像进行识别处理，确定出每层彩色插值图像对应的待融合区域，并按照该待融合区域从每层NIR插值图像中找出与该待融合区域对应的目标区域，并从每层NIR插值图像中提取目标区域对应的NIR图像信息；之后，终端便可以基于该NIR图像信息对彩色插值图像进行融合处理，从而得到了多个融合后彩色插值图像，形成一融合处理后拉普拉斯金字塔。

进一步地，终端可以通过金字塔重构的方式，对融合处理后的拉普拉斯金字塔按照预设算法规则做还原处理，从而得到融合处理后的高斯金字塔，将其融合处理后的高斯金字塔中，分辨率最高的图像作为目标对象对应的目标图像。

可见，在本申请的实施例中，终端通过对存在衍射的彩色图像和成像清晰的NIR图像进行融合处理来实现衍射补偿，以消除原彩色图像中的衍射形态，使得融合后得到的目标图像高质量的复原了目标对象。

本申请实施例提供了一种图像处理方法，终端在显示屏下方同时设置彩色摄像装置和近红外摄像装置，从而可以利用彩色拍摄装置和NIR拍摄装置采集同一目标对象的彩色图像和NIR图像，通过将目标对象的彩色图像和近红外图像进行图像融合处理，则可以实现对彩色图像进行衍射补偿，使得融合处理后得到的目标图像不在存在任何衍射形态，实现了高质量的复原了目标对象，进而解决了屏下摄像头因存在衍射而造成的画质成像差的问题，摄像头成像质量高，拍摄获得的图像质量佳。

基于上述实施例，在本申请的另一实施例中，图7为本申请实施例提出的图像处理方法的实现流程示意图四，如图7所示，终端执行图像处理的方法包括以下步骤：

步骤501、在开启前置拍摄功能之后，通过彩色拍摄装置采集目标对象的彩色图像，同时，通过NIR拍摄装置采集目标对象的NIR图像。

具体地，终端为设置有两个前置摄像头模组，且配置为全面屏的设备；其中，两个前置摄像头模组分别为彩色拍摄装置和NIR拍摄装置。终端将该彩色摄像头模组和NIR摄像头模组集成于显示屏的背部，在开启前置拍摄功能之后，终端可以通过屏下彩色拍摄装置和屏下NIR拍摄装置分别采集同一目标对象的彩色图像和NIR图像。

步骤502、根据第一畸变系数对彩色图像进行校正处理，获得校正后彩色图像，同时，根据第二畸变系数对NIR图像进行校正处理，获得校正后NIR图像。

可以理解的是，由于摄像头为透镜，在进行图像采集时，获取到的图像都会存在或多或少的失真，即产生畸变现象，主要包括径向畸变和切向畸变，因此，在采集到目标对象的图像之后，终端首先会读取拍摄装置对应的标定参数，以根据标定参数中的畸变系数先对图像进行去畸变校正处理，从而得到校正后图像。

步骤503、对校正后彩色图像和校正后NIR图像进行立体匹配，获得校正后彩色图像和校正后NIR图像之间的映射关系。

具体地，终端可以根据彩色摄像头的第一预设标定参数中第一内部参数、第一外部参数，和NIR摄像头的第二预设标定参数中第二内部参数、第二外部参数先确定出校正后彩色图像和校正后NIR图像的相对位置关系，然后按照确定出的相对位置关系先对图像做平移或者旋转等位置变换，以使校正后彩色图像与校正后NIR图像处于同一水平面。

进一步地，终端可以对位于同一水平面的校正后彩色图像和校正后NIR图像进行特征检测处理以及特征点匹配处理，进而得到校正后彩色图像与校正后NIR图像之间的映射关系。

步骤504、按照映射关系对校正后彩色图像和校正后NIR图像进行对齐处理，获得对齐后彩色图像和对齐后NIR图像。

具体地，终端可以先按照映射关系，确定出相互对应的第一特征点在校正后彩色图像中的第一位置坐标，和第二特征点在校正后NIR图像中的第二位置坐标，算第一位置坐标与第二位置坐标之间的差值，即确定对应特征点在校正后彩色图像和校正后NIR图像中的位移偏差，进而可以根据该位移偏差进行图像对齐。

步骤505、对对齐后彩色图像进行下采样处理，得到彩色采样图像，同时，对对齐后NIR图像进行下采样，得到NIR采样图像。

终端在通过下采样处理得到多个采样图像之后，可以将多个彩色采样图像按分辨率大小进行排列，构建对应的RGB高斯金字塔，同时，将多个NIR采样图像按分辨率大小进行排列，构建对应的NIR高斯金字塔；其中，两个高斯金字塔具有相同的层数，且每相同一层的彩色采样图像和NIR采样图像分辨率相同，且具有相同的空间布局。

步骤506、根据彩色采样图像确定彩色插值图像，同时，根据NIR采样图像确定NIR插值图像。

利用RGB高斯金字塔中，每一层彩色采样图像减去上一层彩色采样图像上采样并高斯卷积之后的预测图像，来确定出丢失的图像信息，进而得到多个彩色插值图像；同理，也可以用NIR高斯金字塔的每一层NIR采样图像减去上一层NIR采样图像上采样并高斯卷积之后的预测图像，来确定出丢失的图像信息，进而得到多个NIR插值图像。

步骤507、基于彩色插值图像和NIR插值图像确定目标图像。

终端可以基于多个彩色插值图像构建RGB拉普拉斯金字塔，同时，基于多个NIR插值图像构建NIR拉普拉斯金字塔，并对RGB拉普拉斯金字塔中的每一个彩色插值图像进行识别处理，确定出每层彩色插值图像对应的待融合区域，并按照该待融合区域从每层NIR插值图像中找出与该待融合区域对应的目标区域，并从每层NIR插值图像中提取目标区域对应的NIR图像信息；终端可以基于该NIR图像信息对彩色插值图像进行融合处理，从而得到了多个融合后彩色插值图像，形成一融合处理后拉普拉斯金字塔。

进一步地，终端可以通过金字塔重构的方式，对融合处理后的拉普拉斯金字塔按照预设算法规则做还原处理，从而得到融合处理后的高斯金字塔，将其融合处理后的高斯金字塔中，分辨率最高的图像作为目标对象对应的目标图像。

基于上述步骤501至步骤507所提出的图像处理方法，为了解决单一的屏下彩色摄像头存在的图像衍射问题，终端在显示屏下新增加了NIR摄像头模组，以通过彩色摄像头采集目标对象的彩色图像，同时，通过NIR摄像头采集该目标对象的NIR图像。由于NIR摄像头不接收可见光，且NIR光谱具有击穿薄物体的能力，因此，NIR摄像头采集的NIR图像为一衍射小、成像清晰度高的灰度图像。进而，终端可以通过将存在衍射的彩色图像和成像清晰的NIR图像做图像融合处理来进行衍射补偿，以消除彩色图像中的衍射形态，从而使得图像融合后得到的目标彩色图像高质量的复原了目标对象。

本申请实施例提供了一种图像处理方法，终端在显示屏下方同时设置彩色摄像装置和近红外摄像装置，从而可以利用彩色拍摄装置和NIR拍摄装置采集同一目标对象的彩色图像和NIR图像，通过将目标对象的彩色图像和近红外图像进行图像融合处理，则可以实现对彩色图像进行衍射补偿，使得融合处理后得到的目标图像不在存在任何衍射形态，实现了高质量的复原了目标对象，进而解决了屏下摄像头因存在衍射而造成的画质成像差的问题，摄像头成像质量高，拍摄获得的图像质量佳。

基于上述实施例，在本申请的另一实施例中，图8为本申请提出的终端的组成结构示意图一，本申请实施例提出的终端10设置有彩色拍摄装置11和NIR拍摄装置12，如图8所示，本申请实施例提出的终端10可以包括采集单元13，对齐单元14以及融合单元15，

所述采集单元13，用于在开启前置拍摄功能之后，通过所述彩色拍摄装置采集目标对象的彩色图像，同时，通过所述NIR拍摄装置采集所述目标对象的NIR图像；

所述对齐单元14，用于根据所述彩色拍摄装置的第一预设标定参数，和所述NIR拍摄装置的第二预设标定参数对所述彩色图像和所述NIR图像进行对齐处理，获得对齐后彩色图像和对齐后NIR图像；

所述融合单元15，用于对所述对齐后彩色图像和所述对齐后NIR图像进行融合处理，获得所述目标对象对应的目标图像。

进一步地，在本申请的实施例中，在所述显示屏下方并排设置所述彩色拍摄装置11和所述NIR拍摄装置12。

进一步地，在本申请的实施例中，所述第一预设标定参数包括第一畸变系数、第一内部参数以及第一外部参数；所述第二预设标定参数包括第二畸变系数、第二内部参数以及第二外部参数。

进一步地，在本申请的实施例中，所述对齐单元14，具体用于根据所述第一畸变系数对所述彩色图像进行校正处理，获得校正后彩色图像，同时，根据所述第二畸变系数对所述NIR图像进行所述校正处理，获得校正后NIR图像；以及对所述校正后彩色图像和所述校正后NIR图像进行立体匹配，获得所述校正后彩色图像与所述校正后NIR图像之间的映射关系；以及按照所述映射关系对所述校正后彩色图像和所述校正后NIR图像进行所述对齐处理，获得所述对齐后彩色图像和所述对齐后NIR图像。

进一步地，在本申请的实施例中，所述对齐单元14，还具体用于根据所述第一内部参数、所述第一外部参数，和所述第二内部参数、所述第二外部参数，确定所述校正后彩色图像和所述校正后NIR图像之间的相对位置关系；以及按照所述相对位置关系对所述校正后彩色图像和所述校正后NIR图像进行位置变换处理，获得变换后彩色图像和变换后NIR图像；其中，所述变换后彩色图像和所述变换后NIR图像位于同一水平面；以及基于所述变换后彩色图像和所述变换后NIR图像确定所述映射关系。

进一步地，在本申请的实施例中，所述对齐单元14，还具体用于对所述变换后彩色图像进行特征检测处理，获得第一特征点，同时，对所述变换后NIR图像进行所述特征检测处理，获得第二特征点；以及对所述第一特征点和所述第二特征点进行匹配处理，获得所述映射关系。

进一步地，在本申请的实施例中，所述对齐单元14，还具体用于根据所述映射关系，确定第一特征点对应的第一位置坐标，和第二特征点对应的第二位置坐标；以及按照所述第一位置坐标和所述第二位置坐标进行所述对齐处理，获得所述对齐后彩色图像和所述对齐后NIR图像。

进一步地，在本申请的实施例中，所述融合单元15，具体用于对所述对齐后彩色图像进行下采样处理，获得彩色采样图像，同时，对所述对齐后NIR图像进行所述下采样，获得NIR采样图像；以及根据所述彩色采样图像确定彩色插值图像，同时，根据所述NIR采样图像确定NIR插值图像；以及基于所述彩色插值图像和所述NIR插值图像确定所述目标图像。

进一步地，在本申请的实施例中，所述融合单元15，还具体用于基于预设衍射模型对所述彩色插值图像进行识别处理，获得待融合区域；以及按照所述待融合区域从所述NIR插值图像中提取待融合图像信息；以及根据所述彩色插值图像和所述待融合图像信息，确定所述目标图像。

在本申请的实施例中，进一步地，图9为本申请提出的终端的组成结构示意图二，如图9所示，本申请实施例提出的终端10设置有彩色拍摄装置11、NIR拍摄装置12、处理器16以及存储有处理器16可执行指令的存储器17，进一步地，终端10还可以包括通信接口18，和用于连接处理器16、存储器17以及通信接口18的总线19。

在本申请的实施例中，上述处理器16可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgRAMmable Logic Device，PLD)、现场可编程门阵列(Field ProgRAMmable GateArray，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。终端10还可以包括存储器17，该存储器17可以与处理器16连接，其中，存储器17用于存储可执行程序代码，该程序代码包括计算机操作指令，存储器17可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。

在本申请的实施例中，总线19用于连接通信接口18、处理器16以及存储器17以及这些器件之间的相互通信。

在本申请的实施例中，存储器17，用于存储指令和数据。

进一步地，在本申请的实施例中，上述处理器16，用于在开启前置拍摄功能之后，通过所述彩色拍摄装置11采集目标对象的彩色图像，同时，通过所述NIR拍摄装置12采集所述目标对象的NIR图像；根据所述彩色拍摄装置的第一预设标定参数，和所述NIR拍摄装置的第二预设标定参数对所述彩色图像和所述NIR图像进行对齐处理，获得对齐后彩色图像和对齐后NIR图像；对所述对齐后彩色图像和所述对齐后NIR图像进行融合处理，获得所述目标对象对应的目标图像。

在实际应用中，上述存储器17可以是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard DiskDrive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器16提供指令和数据。

另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例提供了一种终端，该终端显示屏下方设置彩色拍摄装置和NIR拍摄装置，在开启前置拍摄功能之后，终端可以通过彩色拍摄装置采集目标对象的彩色图像，同时，通过NIR拍摄装置采集目标对象的NIR图像；根据彩色拍摄装置的第一预设标定参数，和NIR拍摄装置的第二预设标定参数对彩色图像和NIR图像进行对齐处理，获得对齐后彩色图像和对齐后NIR图像；对对齐后彩色图像和对齐后NIR图像进行融合处理，获得目标对象对应的目标图像。也就是说，在本申请的实施例中，终端在显示屏下方同时设置彩色摄像装置和近红外摄像装置，从而可以利用彩色拍摄装置和NIR拍摄装置采集同一目标对象的彩色图像和NIR图像，通过将目标对象的彩色图像和近红外图像进行图像融合处理，则可以实现对彩色图像进行衍射补偿，使得融合处理后得到的目标图像不在存在任何衍射形态，实现了高质量的复原了目标对象，进而解决了屏下摄像头因存在衍射而造成的画质成像差的问题，摄像头成像质量高，拍摄获得的图像质量佳。

本申请实施例提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上所述的图像处理方法。

具体来讲，本实施例中的一种图像处理方法对应的程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种图像处理方法对应的程序指令被一电子设备读取或被执行时，包括如下步骤：

在开启前置拍摄功能之后，通过所述彩色拍摄装置采集目标对象的彩色图像，同时，通过所述NIR拍摄装置采集所述目标对象的NIR图像；

根据所述彩色拍摄装置的第一预设标定参数，和所述NIR拍摄装置的第二预设标定参数对所述彩色图像和所述NIR图像进行对齐处理，获得对齐后彩色图像和对齐后NIR图像；

对所述对齐后彩色图像和所述对齐后NIR图像进行融合处理，获得所述目标对象对应的目标图像。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本申请的较佳实施例而已，非用于限定本申请的保护范围。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法应用于终端中，所述终端的显示屏下方设置彩色拍摄装置和近红外NIR拍摄装置，所述方法包括：

在开启前置拍摄功能之后，通过所述彩色拍摄装置采集目标对象的彩色图像，同时，通过所述NIR拍摄装置采集所述目标对象的NIR图像；

根据所述彩色拍摄装置的第一预设标定参数，和所述NIR拍摄装置的第二预设标定参数对所述彩色图像和所述NIR图像进行对齐处理，获得对齐后彩色图像和对齐后NIR图像；

对所述对齐后彩色图像和所述对齐后NIR图像进行融合处理，获得所述目标对象对应的目标图像；

其中，所述对所述对齐后彩色图像和所述对齐后NIR图像进行融合处理，获得所述目标对象对应的目标图像，包括：对所述对齐后彩色图像进行下采样处理，获得彩色采样图像，同时，对所述对齐后NIR图像进行所述下采样，获得NIR采样图像；根据所述彩色采样图像确定彩色插值图像，同时，根据所述NIR采样图像确定NIR插值图像；基于所述彩色插值图像和所述NIR插值图像确定所述目标图像；

所述基于所述彩色插值图像和所述NIR插值图像确定所述目标图像，包括：基于预设衍射模型对所述彩色插值图像进行识别处理，获得待融合区域；按照所述待融合区域从所述NIR插值图像中提取待融合图像信息；根据所述彩色插值图像和所述待融合图像信息，确定所述目标图像。

2.根据权利要求1所述的方法，其特征在于，在所述显示屏下方并排设置所述彩色拍摄装置和所述NIR拍摄装置。

3.根据权利要求1所述的方法，其特征在于，所述第一预设标定参数包括第一畸变系数、第一内部参数以及第一外部参数；所述第二预设标定参数包括第二畸变系数、第二内部参数以及第二外部参数。

4.根据权利要求3所述的方法，其特征在于，所述根据所述彩色拍摄装置的第一预设标定参数，和所述NIR拍摄装置的第二预设标定参数对所述彩色图像和所述NIR图像进行对齐处理，获得对齐后彩色图像和对齐后NIR图像，包括：

根据所述第一畸变系数对所述彩色图像进行校正处理，获得校正后彩色图像，同时，根据所述第二畸变系数对所述NIR图像进行所述校正处理，获得校正后NIR图像；

对所述校正后彩色图像和所述校正后NIR图像进行立体匹配，获得所述校正后彩色图像与所述校正后NIR图像之间的映射关系；

按照所述映射关系对所述校正后彩色图像和所述校正后NIR图像进行所述对齐处理，获得所述对齐后彩色图像和所述对齐后NIR图像。

5.根据权利要求4所述的方法，其特征在于，所述对所述校正后彩色图像和所述校正后NIR图像进行立体匹配，获得所述校正后彩色图像与所述校正后NIR图像之间的映射关系，包括：

根据所述第一内部参数、所述第一外部参数，和所述第二内部参数、所述第二外部参数，确定所述校正后彩色图像和所述校正后NIR图像之间的相对位置关系；

按照所述相对位置关系对所述校正后彩色图像和所述校正后NIR图像进行位置变换处理，获得变换后彩色图像和变换后NIR图像；其中，所述变换后彩色图像和所述变换后NIR图像位于相同水平面；

基于所述变换后彩色图像和所述变换后NIR图像确定所述映射关系。

6.根据权利要求5所述的方法，其特征在于，所述基于所述变换后彩色图像和所述变换后NIR图像确定所述映射关系，包括：

对所述变换后彩色图像进行特征检测处理，获得第一特征点，同时，对所述变换后NIR图像进行所述特征检测处理，获得第二特征点；

对所述第一特征点和所述第二特征点进行匹配处理，获得所述映射关系。

7.根据权利要求4或6所述的方法，其特征在于，按照所述映射关系对所述校正后彩色图像和所述校正后NIR图像进行所述对齐处理，获得所述对齐后彩色图像和所述对齐后NIR图像，包括：

根据所述映射关系，确定第一特征点对应的第一位置坐标，和第二特征点对应的第二位置坐标；

按照所述第一位置坐标和所述第二位置坐标进行所述对齐处理，获得所述对齐后彩色图像和所述对齐后NIR图像。

8.一种终端，其特征在于，所述终端显示屏下方设置彩色拍摄装置和NIR拍摄装置，所述终端包括：采集单元，对齐单元以及融合单元，

所述采集单元，用于在开启前置拍摄功能之后，通过所述彩色拍摄装置采集目标对象的彩色图像，同时，通过所述NIR拍摄装置采集所述目标对象的NIR图像；

所述对齐单元，用于根据所述彩色拍摄装置的第一预设标定参数，和所述NIR拍摄装置的第二预设标定参数对所述彩色图像和所述NIR图像进行对齐处理，获得对齐后彩色图像和对齐后NIR图像；

所述融合单元，用于对所述对齐后彩色图像和所述对齐后NIR图像进行融合处理，获得所述目标对象对应的目标图像；

所述融合单元，具体用于对所述对齐后彩色图像进行下采样处理，获得彩色采样图像，同时，对所述对齐后NIR图像进行所述下采样，获得NIR采样图像；根据所述彩色采样图像确定彩色插值图像，同时，根据所述NIR采样图像确定NIR插值图像；基于所述彩色插值图像和所述NIR插值图像确定所述目标图像；

所述融合单元，还用于基于预设衍射模型对所述彩色插值图像进行识别处理，获得待融合区域；按照所述待融合区域从所述NIR插值图像中提取待融合图像信息；根据所述彩色插值图像和所述待融合图像信息，确定所述目标图像。

9.一种终端，其特征在于，所述终端包括彩色摄像装置、NIR摄像装置、处理器以及存储有所述处理器可执行指令的存储器，当所述指令被所述处理器执行时，实现如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其上存储有程序，应用于终端中，其特征在于，所述程序被处理器执行时，实现如权利要求1-7任一项所述的方法。

Images