CN110992284A - 图像处理方法、图像处理装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请公开一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。图像处理方法用于成像装置，成像装置包括第一摄像头，图像处理方法包括：获取第一摄像头的感光度；在感光度大于预设感光度时，获取第一摄像头拍摄的多帧第一原始图像；及对多帧第一原始图像进行处理以得到目标图像。本申请公开的一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质在第一摄像头的感光度大于预设感光度时获取多帧第一原始图像，对多帧第一原始图像进行处理以得到目标图像。通过对多帧第一原始图像处理，无需增加曝光时间即可减少了图像中的噪点，提高了图像的清晰度。

Description

图像处理方法、图像处理装置、电子设备和计算机可读存储 介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。

背景技术

目前，在夜间等光线不足的拍摄环境下，拍摄的图像的噪点较大，导致用户更难获得清晰的图像。为了获得更多信息，会增加成像装置的曝光时间，然而，曝光时间增加，抖动就会增加，拍摄的图像也会变模糊。因此，在低亮拍摄环境下，如何得到清晰度较高的图像成为亟需解决的问题。

发明内容

本申请的实施例提供了一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。

本申请实施方式的图像处理方法用于成像装置，所述成像装置包括第一摄像头。所述图像处理方法包括：获取所述第一摄像头的感光度；在所述感光度大于预设感光度时，获取所述第一摄像头拍摄的多帧第一原始图像；及对多帧所述第一原始图像进行处理以得到目标图像。

本申请实施方式的图像处理装置，应用于成像装置，所述成像装置包括第一摄像头。所述图像处理装置包括第一获取模块、第二获取模块及第一处理模块。所述第一获取模块用于获取所述第一摄像头的感光度。所述第二获取模块用于在所述感光度大于预设感光度时，获取所述第一摄像头拍摄的多帧第一原始图像。所述第一处理模块对多帧所述第一原始图像进行处理以得到目标图像。

本申请实施方式的电子设备包括壳体、成像装置和处理器，所述成像装置和所述处理器均安装在所述壳体上。所述处理器用于：获取所述第一摄像头的感光度；在所述感光度大于预设感光度时，获取所述第一摄像头拍摄的多帧第一原始图像；及对多帧所述第一原始图像进行处理以得到目标图像。

本申请实施方式的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现获取所述第一摄像头的感光度；在所述感光度大于预设感光度时，获取所述第一摄像头拍摄的多帧第一原始图像；及对多帧所述第一原始图像进行处理以得到目标图像。

本申请实施方式的图像处理方法、图像处理装置、电子设备和计算机可读存储介质在第一摄像头的感光度大于预设感光度时获取多帧第一原始图像，对多帧第一原始图像进行处理以得到目标图像。通过对多帧第一原始图像处理，无需增加曝光时间即可减少了图像中的噪点，提高了图像的清晰度。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的图像处理方法的流程示意图。

图2是本申请某些实施方式的图像处理装置的示意图。

图3是本申请某些实施方式的电子设备的示意图。

图4是本申请某些实施方式的图像处理方法的流程示意图。

图5是本申请某些实施方式的图像处理装置中第一处理模块的示意图。

图6是本申请某些实施方式的图像处理方法的流程示意图。

图7是本申请某些实施方式的第一处理模块中第一处理单元的示意图。

图8是本申请某些实施方式的图像处理方法的流程示意图。

图9是本申请某些实施方式的图像处理装置中对齐单元的示意图。

图10是本申请某些实施方式的图像处理方法的流程示意图。

图11是本申请某些实施方式的第一处理模块中第二处理单元的示意图。

图12是本申请某些实施方式的图像处理方法的流程示意图。

图13是本申请某些实施方式的第一处理模块中第三处理单元的示意图。

图14是本申请某些实施方式的图像处理方法的流程示意图。

图15是本申请某些实施方式的第三处理单元中获取子单元的示意图。

图16是本申请某些实施方式的图像处理方法的流程示意图。

图17是本申请某些实施方式的第三处理单元中第三处理子单元的示意图。

图18和图19是本申请某些实施方式的图像处理方法的流程示意图。

图20是本申请某些实施方式的图像处理装置中第一处理模块的示意图。

图21是本申请某些实施方式的图像处理方法的流程示意图。

图22是本申请某些实施方式的图像处理装置的示意图。

图23是本申请某些实施方式的图像处理方法的流程示意图。

图24是本申请某些实施方式的图像处理装置的示意图。

图25是本申请某些实施方式的图像处理方法的流程示意图。

图26是本申请某些实施方式的图像处理装置的示意图。

图27是本申请某些实施方式的图像处理方法的流程示意图。

图28是本申请某些实施方式的图像处理装置的示意图。

图29是本申请某些实施方式的图像处理方法的流程示意图。

图30是本申请某些实施方式的图像处理装置的示意图。

图31是本申请某些实施方式的计算机可读存储介质与电子设备的连接示意图。

图32是本申请某些实施方式的多帧第一原始图像的场景示意图。

图33是本申请某些实施方式的基础图像的场景示意图。

图34是本申请某些实施方式的修复图像与预备图像的场景示意图。

图35是本申请某些实施方式的修复图像与预备图像的分块场景示意图。

图36是本申请某些实施方式的欠曝图像与融合图像的场景示意图。

图37至图39是本申请某些实施方式的虚化策略示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

请一并参阅图1、图2和图3，本申请实施方式的一种用于成像装置220的图像处理方法，成像装置220包括第一摄像头221。图像处理方法包括：

01，获取第一摄像头221的感光度；

02，判断感光度是否大于或等于预设感光度；

03，在感光度大于或等于预设感光度时，获取第一摄像头221拍摄的多帧第一原始图像；及

04，对多帧第一原始图像进行处理以得到目标图像。

本申请实施方式的一种图像处理装置100应用于成像装置220，成像装置220包括第一摄像头221，其中，图像处理装置100包括第一获取模块11、第一判断模块12、第二获取模块13和第一处理模块14。图像处理装置100可用于实现本申请实施方式的图像处理方法，步骤01可由第一获取模块11执行，步骤02可由第一判断模块12执行，步骤03可由第二获取模块13执行，步骤04可由第一处理模块14执行，也即是说，第一获取模块11可用于获取第一摄像头221的感光度，第一判断模块12可用于判断感光度是否大于或等于预设感光度，第二获取模块13可用于在感光度大于或等于预设感光度时，获取第一摄像头221拍摄的多帧第一原始图像，第一处理模块14可用于对多帧第一原始图像执行以得到目标图像。

本申请实施方式的一种电子设备200，电子设备200包括壳体210、成像装置220和处理器230。成像装置220和处理器230均安装在壳体210上，成像装置220用于拍摄图像，成像装置220包括第一摄像头221。其中，处理器230可用于实现本申请实施方式的图像处理方法，步骤01、步骤02、步骤03和步骤04均可由处理器230实现，也即是说，处理器230可用于：获取第一摄像头221的感光度；判断感光度是否大于或等于预设感光度；在感光度大于或等于预设感光度时，获取第一摄像头221拍摄的多帧第一原始图像；对多帧第一原始图像进行处理以得到目标图像。

本申请实施方式的图像处理方法、图像处理装置100和电子设备200在第一摄像头221的感光度大于预设感光度时获取多帧第一原始图像，对多帧第一原始图像进行处理以得到目标图像。通过对多帧第一原始图像处理，无需增加曝光时间即可减少了图像中的噪点，提高图像的清晰度。

其中，第一摄像头221的感光度是指第一摄像头221中感光元件(例如，图像传感器)的感光灵敏度，用ISO来表示。一般地，环境亮度越低，拍摄时第一摄像头221的感光度越大，环境亮度越高，拍摄时第一摄像头221的感光度越小。在一个例子中，第一摄像头221的感光度的获取方式可以是：先由图像处理装置100或电子设备200中的感测元件，例如光线传感器，检测出拍摄第一原始图像时的环境亮度，每个环境亮度对应一个感光度，且环境亮度与感光度的对照表可存储在图像处理装置100或电子设备200中的存储单元中，再由第一获取模块11或处理器230根据该环境亮度在存储单元中读出对应的感光度。在另一个例子中，第一摄像头221的感光度的获取方式还可以是：在第一摄像头221利用一个感光度拍摄第一原始图像时，第一获取模块11或处理器230直接记录下第一摄像头221拍摄第一原始图像时的感光度。

预设感光度是一个已知感光度，用于衡量拍摄环境是低亮环境还是非低亮环境(包括高亮环境、亮度适中的环境)，例如，在感光度大于预设感光度时，可以确定此时的拍摄环境的亮度较低，当前的拍摄环境属于低亮环境；在感光度小于预设感光度时，可以确定此时的拍摄环境的亮度不低，当前的拍摄环境属于非低亮环境；在感光度等于预设感光度时，此时的拍摄环境位于低亮环境与非低亮环境的临界，既可以归为低亮环境，也可以归为非低亮环境。

在一个例子中，预设感光度是一个固定的经验值，可以根据多次拍摄实践总结得到，并在出厂时存储在图像处理装置100或电子设备200的存储单元中。在另一个例子中，预定感光度是一个可调整的值，可以由用户根据自身对明暗的判定标准进行设置，例如，用户A认为感光度大于800才表示拍摄环境属于低亮环境，便将预设感光度设置为800；用户B认为感光度大于750就表示拍摄环境属于低亮环境，便将预设感光度设置为750。本实施方式中，预设感光度的范围可以为700≤ISO≤900，例如，预设感光度可以为700、750、780、800、820、830、850、900等等。例如，当预设感光度为800时，则在得到第一摄像头221的感光度大于800时，则表明当前的拍摄环境为低亮环境，则可进入03步骤。

多帧第一原始图像可为第一摄像头221在一定时间内连续获取的多张图像，多帧是指两帧或两帧以上，每帧第一原始图像的曝光时长可以相同，也可以不同。通过对多帧第一原始图像处理后，得到目标图像，此处的目标图像是在进行放大目标倍数后，分辨率不会下降的图像。

请一并参阅图3、图4和图5，在某些实施方式中，步骤04包括：

041，获取每帧第一原始图像的清晰度；

042，根据清晰度从多帧第一原始图像中挑选出基础图像及预备图像，其中，基础图像为多帧第一原始图像中最高清晰度的图像，预备图像为多帧第一原始图像中除基础图像之外的任意一帧或多帧图像；

043，对基础图像进行修复处理，以得到修复图像；

044，对齐修复图像与预备图像；

045，将对齐后修复图像与预备图像进行融合处理，以得到融合图像；及

046，对融合图像进行超分算法处理，以得到目标图像。

在某些实施方式中，第一处理模块14可包括第一获取单元141、选择单元142、第一处理单元143、对齐单元144、第二处理单元145和第三处理单元146，其中，步骤041可由第一获取单元141执行，步骤042可由选择单元142执行，步骤043可由第一处理单元143执行，步骤044可由对齐单元144执行，步骤045可由第二处理单元145执行，步骤046可由第三处理单元146执行。也即是说，第一获取单元141可用于获取每帧第一原始图像的清晰度；选择单元142可用于根据清晰度从多帧第一原始图像中挑选出基础图像及预备图像，基础图像为多帧第一原始图像中最高清晰度的图像，预备图像为多帧第一原始图像中除基础图像之外的任意一帧或多帧图像；第一处理单元143可用于对基础图像进行修复处理，以得到修复图像；对齐单元144可用于对齐修复图像与预备图像；第二处理单元145可用于将对齐后修复图像与预备图像进行融合处理，以得到融合图像；第三处理单元146可用于对融合图像进行超分算法处理，以得到目标图像。

在某些实施方式中，步骤041、步骤042、步骤043、步骤044、步骤045及步骤046均可由处理器230实现，也即是说，处理器230可用于：获取每帧第一原始图像的清晰度；根据清晰度从多帧第一原始图像中挑选出基础图像及预备图像，其中，基础图像为多帧第一原始图像中最高清晰度的图像，预备图像为多帧第一原始图像中除基础图像之外的任意一帧或多帧图像；对基础图像进行修复处理，以得到修复图像；对齐修复图像与预备图像；将对齐后修复图像与预备图像进行融合处理，以得到融合图像；及对融合图像进行超分算法处理，以得到目标图像。

具体地，可先获取每帧第一原始图像中高频信息的像素数量在整帧图像的所有像素中的占比，并用该占比来表征该帧第一原始图像的清晰度，占比越高，图像清晰度越高。在一个例子中，先通过整形低通滤波对该帧第一原始图像进行处理，以得到滤波图像。再根据该帧第一原始图像与滤波图像得到高频信息，具体为用该帧第一原始图像减去滤波图像即可得到高频信息。其中，高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述拍摄图像的细节信息。最后，统计高频信息的像素数量在该帧第一原始图像的所有像素中的占比。例如，该帧第一原始图像中的高频信息的像素数量占该帧第一原始图像的所有像素数量的20％，则用占比20％来表征该帧第一原始图像的清晰度。

获取每帧第一原始图像的清晰度之后，通过对比每帧第一原始图像的清晰度得到基础图像，基础图像为多帧第一原始图像中清晰度最高的图像。基础图像可通过迭代的方式获取，具体地，将多帧第一原始图像按拍摄时间的先后顺序排序，通过依次对比相邻两帧第一原始图像的清晰度，每次保留清晰度大的那帧第一原始图像，最后得到一帧清晰度最大的第一原始图像，以作为基础图像。请参阅图32，以获取8帧第一原始图像为例，将8帧第一原始图像按拍摄时间的先后顺序(从左往右，拍摄时间依次为从先到后)依次排列，分别为第1帧第一原始图像至第8帧第一原始图像。通过上述清晰度的获取方式，分别获得第1帧第一原始图像的清晰度为23％，第2帧第一原始图像的清晰度为30％，第3帧第一原始图像的清晰度为24％，第4帧第一原始图像的清晰度为27％，第5帧第一原始图像的清晰度为18％，第6帧第一原始图像的清晰度为14％，第7帧第一原始图像的清晰度为6％，第8帧第一原始图像的清晰度为25％。通过对比第1帧至第8帧第一原始图像的清晰度，最终得到第2帧第一原始图像的清晰度最大，便将第2帧第一原始图像作为基础图像。

在得到基础图像之后，可将除基础图像之后的任意一帧或多帧作为预备图像。以8帧第一原始图像为例，在得到第2帧第一原始图像为基础图像后，可将除第2帧以外的任意一帧或多帧第一原始图像作为预备图像。在一个例子中，可将除基础图像以外的任意一帧第一原始图像作为预备图像，该任意一帧是随机挑选的，例如，可将第3帧第一原始图像作为预备图像，也可将第6帧第一原始图像作为预备图像，还可将第7帧第一原始图像作为预备图像等等，此种选择方式更为快捷方便。在另一个例子中，可将清晰度较基础图像的清晰度次之的一帧第一原始图像作为预备图像，例如，第4帧第一原始图像的清晰度为27％，仅次于基础图像的清晰度，即可将第4帧第一原始图像作为预备图像，此种挑选方式更明确，节省挑选时间的同时，也能够保证后续融合出品质更高的融合图像。在再一个例子中，可将除基础图像以外的任意多帧第一原始图像作为预备图像，该任意多帧可以是两帧或两帧以上，具体是哪几帧是随机挑选的，例如，可将第3、4、5帧第一原始图像都作为预备图像，也可将第6、7、8帧第一原始图像都作为预备图像等等，选择多帧预备图像，使得在后续融合过程中，能够获取更多预备图像中的清晰细节，也能够保证融合图像的品质。在另一个例子中，可将清晰度较基础图像的清晰度依序次之的多帧第一原始图像作为预备图像，例如，第4、8、3帧第一原始图像作为预备图像，此种挑选方式使得预备图像的清晰度较高，在后续融合过程中，能够利用较高清晰度的预备图像的清晰细节，从而保证融合图像的品质。

在其他实施方式中，预备图像的获取可为：对比除基础图像外的每帧的第一原始图像的清晰度与预设目标清晰度的大小，当第一原始图像的清晰度大于或等于预设目标清晰度时，则确定该帧第一原始图像为预备图像，当第一原始图像的清晰度小于预设目标清晰度时，则该帧第一原始图像不作为预备图像。需要说明的是，基础图像为所有帧第一原始图像中清晰度最高的一帧，所以基础图像的清晰度必定大于预设目标清晰度，即，预设目标清晰度要小于基础图像的清晰度。预设目标清晰度可以根据多次实验获得，然后存储在图像处理装置100或电子设备200的存储元件中。当然，也可以在图像处理装置100或电子设备200中预先设定多个不同的预设目标清晰度，然后由用户根据不同需求选择不同的预设目标清晰度。预备图像的帧数可通过调整预设目标清晰度的大小来实现，若希望预备图像更多一些以提升图像质量，可减小预设目标清晰度，若希望预备图像少一些以提升图像处理速度，可增大预设目标清晰度。例如，以上文中的8帧第一原始图像为例，在得到第2帧第一原始图像为基础图像后，若将预设目标清晰度设定为15％，则第1帧、第3帧、第4帧、第5帧、第8帧第一原始图像的清晰度均大于预设目标清晰度15％，因此，可以将这五帧均作为预备图像，也可以将这五帧中的任意一帧或多帧作为预备图像。

本申请实施方式的图像处理方法、图像处理装置100和电子设备200通过对多帧第一原始图像处理，得到融合图像，该融合图像相对于单帧第一原始图像，其噪点更少，图像清晰度更高，因此，在使用融合图像进行超分算法修复时，相对于使用单帧第一原始图像所需的时间更短，能更快的完成超分辨率算法处理，从而加快图像处理的整体速度。

请一并参阅图3、图6和图7，在某些实施方式中，步骤043包括：

0431，对基础图像进行人像区域定位及背景区域定位；及

0432，对基础图像的人像区域进行修复处理，及对基础图像的背景区域进行去马赛克处理或去噪处理，以得到修复图像。

在某些实施方式中，第一处理单元143可包括第一定位子单元1431和第一处理子单元1432，其中，步骤0431可由第一定位子单元1431执行，步骤0432可由第一处理子单元1432执行。也即是说，第一定位子单元1431可用于对基础图像进行人像区域定位及背景区域定位；第一处理子单元1432可用于对基础图像的人像区域进行修复处理，及对基础图像的背景区域进行去马赛克处理或去噪处理，以得到修复图像。

在某些实施方式中，步骤0431和步骤0432均可由处理器230实现，也即是说，处理器230可用于：对基础图像进行人像区域定位及背景区域定位；对基础图像的人像区域进行修复处理，及对基础图像的背景区域进行去马赛克处理或去噪处理，以得到修复图像。

具体地，请参阅图33，图33为基础图像。对基础图像进行人像区域定位可通过对基础图像中的人像进行检测，以确定人像区域(即图33中的人像)。在确定人像区域后，基础图像中的剩余区域则为背景区域(即图33中的树等)。对基础图像的人像区域进行修复处理，例如，可对人像区域进行美颜处理、磨皮处理、美妆处理等等。在人像区域定位后，通过对人像区域进行针对性的修复，以美化图像中人像。在定位到背景区域后，对背景区域进行去马赛克处理或者去噪处理，去马赛克处理是指对基础图像的背景区域进行纹理修复，将马赛克恢复为正常纹理。去噪处理是指对基础图像的背景区域的噪点进行去除。通过对背景区域进行去马赛克处理或去噪处理，以提升基础图像的背景区域的纹理程度。仅对人像区域进行修复处理，提高了对基础图像的修复速度；对基础图像的人像区域和背景区域分别处理后，能更快的完成后续超分辨率算法处理，从而加快图像处理的整体速度。

请一并参阅图3、图8和图9，步骤044包括：

0441，对预备图像进行人像区域定位；

0442，提取修复图像的人像区域的第一特征点；

0443，提取预备图像的人像区域的第二特征点；及

0444，根据第一特征点与第二特征点来对齐修复图像与预备图像。

在某些实施方式中，对齐单元144可包括第二定位子单元1441、第一提取子单元1442、第二提取子单元1443和对齐子单元1444，其中，步骤0441可由第二定位子单元1441执行，步骤0442可由第一提取子单元1442执行，步骤0443可由第二提取子单元1443执行，步骤0444可由对齐子单元1444执行。也即是说，第二定位子单元1441可用于对预备图像进行人像区域定位；第一提取子单元1442可用于提取修复图像的人像区域的第一特征点；第二提取子单元1443可用于提取预备图像的人像区域的第二特征点；对齐子单元1444可用于根据第一特征点与第二特征点来对齐修复图像与预备图像。

在某些实施方式中，步骤0441、步骤0442、步骤0443和步骤0444均可由处理器230实现，也即是说，处理器230可用于：对预备图像进行人像区域定位；提取修复图像的人像区域的第一特征点；提取预备图像的人像区域的第二特征点；及根据第一特征点与第二特征点来对齐修复图像与预备图像。

具体地，请参阅图34，以预备图像包括第4帧第一原始图像为例，图34包括修复图像(图34中左边的图像)和第4帧第一原始图像(图34中右边的图像)，对预备图像进行人像区域定位可理解为对预备图像中的人像进行检测，以得到预备图像中的人像区域。修复图像是由基础图像修复后得到的，基础图像在修复过程前已进行了人像区域定位，因此修复图像的人像区域已定位。分别提取修复图像中的第一特征点和提取预备图像中的第二特征点，其中，第一特征点和第二特征点基本相同且一一对应。特征点可理解为人像区域中的五官、轮廓、肤色等等人脸特征。例如，先提取修复图像中的第一特征点----鼻子，提取预备图像中的第二特征点---鼻子，然后对修复图像中的鼻子和预备图像中的鼻子进行对齐；或者，提取修复图像中的两个第一特征点，分别为鼻子和嘴巴，提取预备图像中的两个第二特征点，也分别为鼻子和嘴巴，将修复图像中的鼻子和预备图像中的鼻子对齐，及将修复图像中的嘴巴和预备图像中的嘴巴对齐，以实现对齐修复图像和预备图像。需要说明的是，由于预备图像的数量可为一帧或者多帧，上述的对齐方式为每帧预备图像分别与修复图像进行对齐。

请一并参阅图3、图10和图11，步骤045包括：

0451，对预备图像进行人像区域定位；

0452，将修复图像的人像区域划分为多个第一区块；

0453，将每帧预备图像的人像区域划分为多个第二区块，每个第二区块对应一个第一区块；

0454，挑选出清晰度较对应的第一区块的清晰度高的第二区块；及

0455，将修复图像中的第一区块与挑选出的第二区块进行融合并将边缘多余的像素进行裁剪，以得到融合图像。

在某些实施方式中，第二处理单元145可包括第三定位子单元1451、第一划分子单元1452、第二划分子单元1453、选择子单元1454和第二处理子单元1455，其中，步骤0451可由第三定位子单元1451执行，步骤0452可由第一划分子单元1452执行，步骤0453可由第二划分子单元1453执行，步骤0454可由选择子单元1454执行，步骤0455可由第二处理子单元1455执行。也即是说，第二定位子单元1451可用于对预备图像进行人像区域定位；第一划分子单元1452可用于将修复图像的人像区域划分为多个第一区块；第二划分子单元1453可用于将每帧预备图像的人像区域划分为多个第二区块，每个第二区块对应一个第一区块；选择子单元1454可用于挑选出清晰度较对应的第一区块的清晰度高的第二区块；第二处理子单元1455可用于将修复图像中的第一区块与挑选出的第二区块进行融合并将边缘多余的像素进行裁剪，以得到融合图像。

在某些实施方式中，步骤0451、步骤0452、步骤0453、步骤0454和步骤0455均可由处理器230实现，也即是说，处理器230可用于：对预备图像进行人像区域定位；将修复图像的人像区域划分为多个第一区块；将每帧预备图像的人像区域划分为多个第二区块，每个第二区块对应一个第一区块；挑选出清晰度较对应的第一区块的清晰度高的第二区块；及将修复图像中的第一区块与挑选出的第二区块进行融合并将边缘多余的像素进行裁剪，以得到融合图像。

具体地，请参阅图35，下面以预备图像为一帧，区块的数量为4个为例进行说明。

先将修复图像(图35中左图)的人像区域划分为四个第一区块i1～i4，左上角第一区块i1包括右眼，右上角第一区块i2包括左眼，左下角第一区块i3包括右鼻孔，右下角第一区块包括i4左鼻孔。再将该帧预备图像(图35中右图)的人像区域划分为四个第二区块i1’～i4’，每个第二区块对应一个第一区块，左上角第二区块i1’包括右眼，右上角第二区块i2’包括左眼，左下角第二区块i3’包括右鼻孔，右下角第二区块i4’包括左鼻孔。当然，第一区块和第二区块中还可包括其他的人像特征点，在此不一一列举。接着，分别比对第一区块i1～i4与对应的第二区块i1’～i4’之间的清晰度(清晰度的获取方式同前041步骤所述，在此不再赘述)，挑选出清晰度较对应的第一区块的清晰度高的第二区块。具体地，比对第一区块i1与第二区块i1’之间的清晰度，比对第一区块i2与第二区块i2’之间的清晰度，比对第一区块i3与第二区块i3’之间的清晰度，及比对第一区块i4与第二区块i4’之间的清晰度，若第二区块i1’的清晰度高于第一区块i1的清晰度，第二区块i2’的清晰度低于第一区块i2的清晰度，第二区块i3’的清晰度低于第一区块i3的清晰度，第二区块i4’的清晰度高于第一区块i4的清晰度，则将第二区块i1’与第二区块i4’挑选出来。然后，将修复图像中的第一区块i1与挑选出的第二区块i1’进行融合，将修复图像中的第一区块i4与挑选出的第二区块i4’进行融合，修复图像中的第一区块i2及i3不变。由于修复图像是以基础图像为基础，而预备图像与基础图像在拍摄时间上存在细微差异，这就可能导致基础图像与预备图像的内容存在稍许不同，在经历了前面的对齐步骤之后，可能会出现边缘多出的部分，因此，最后，需要将边缘多余的像素进行裁剪，以得到融合图像。

当预备图像的数量是多帧，区块的数量为4个，则在一个例子中，同样地，先将修复图像(图35中左图)的人像区域划分为四个第一区块i1～i4。再将每帧预备图像(图35中右图及其他未示出的预备图像)的人像区域划分为四个第二区块i1’～i4’，每帧预备图像中的每个第二区块对应一个第一区块。接着，分别比对第一区块i1～i4与每帧预备图像中对应的第二区块i1’～i4’之间的清晰度，挑选出清晰度较对应的第一区块的清晰度最高的第二区块。具体地，比对第一区块i1与每帧预备图像中第二区块i1’之间的清晰度，比对第一区块i2与每帧预备图像中第二区块i2’之间的清晰度，比对第一区块i3与每帧预备图像中第二区块i3’之间的清晰度，及比对第一区块i4与每帧预备图像中第二区块i4’之间的清晰度。以预备图像为4帧进行举例说明，若第1帧第二区块i1’的清晰度较第一区块i1的清晰度最高(即，第1帧第二区块i1’的清晰度高于第一区块i1的清晰度，且二者之间的差值是其他帧第二区块i1’与第一区块i1的清晰度之间差值中最大的)，第2帧第二区块i2’的清晰度较第一区块i2的清晰度最高，第3帧第二区块i3’的清晰度较第一区块i3的清晰度最高，第4帧第二区块i4’的清晰度较第一区块i4的清晰度最高，则将第1帧第二区块i1’、第2帧第二区块i2’、第3帧第二区块i3’及第4帧第二区块i4’挑选出来，第1帧第二区块i2’～i4’、第2帧第二区块i1’、i3’及i4’、第3帧第二区块i1’、i2’及i4’、及第4帧第二区块i1’、i2’及i3’均不采用。然后，将修复图像中的第一区块i1与挑选出的第1帧第二区块i1’进行融合，将修复图像中的第一区块i2与挑选出的第2帧第二区块i2’进行融合，将修复图像中的第一区块i3与挑选出的第3帧第二区块i3’进行融合，将修复图像中的第一区块i4与挑选出的第4帧第二区块i4’进行融合。由于修复图像是以基础图像为基础，而预备图像与基础图像在拍摄时间上存在细微差异，这就可能导致基础图像与预备图像的内容存在稍许不同，在经历了前面的对齐步骤之后，可能会出现边缘多出的部分，因此，最后，需要将边缘多余的像素进行裁剪，以得到融合图像。

在其他实施方式中，在得到对应的第一区块的清晰度最高的第二区块后，可将多个第二区块进行合成，再对合成后的多个第二区块进行降噪，以去除每个第二区块中的噪点信息。以上述的4帧预备图像为例，在得到第1帧第二区块i1’的清晰度较第一区块i1的清晰度最高，第2帧第二区块i2’的清晰度较第一区块i2的清晰度最高，第3帧第二区块i3’的清晰度较第一区块i3的清晰度最高，第4帧第二区块i4’的清晰度较第一区块i4的清晰度最高之后，将第1帧第二区块i1’、第2帧第二区块i2’、第3帧第二区块i3’及第4帧第二区块i4’进行合成，再对合成后的图像进行降噪，以去除第1帧第二区块i1’、第2帧第二区块i2’、第3帧第二区块i3’及第4帧第二区块i4’上的噪点信息，将已去除噪点信息后的图像与修复图像中的对应的各个区块进行融合，以得到融合图像。即，将修复图像中的第一区块i1与降噪后的第1帧第二区块i1’进行融合，将修复图像中的第一区块i2与降噪后第2帧第二区块i2’进行融合，将修复图像中的第一区块i3与降噪后的第3帧第二区块i3’进行融合，将修复图像中的第一区块i4与降噪后的第4帧第二区块i4’进行融合，以得到融合图像。通过先对清晰度较高的多个第二区块进行合成，再降噪，以去除每个第二区块中的噪点信息，减小了第二区块中的噪点信息对融合图像造成的影响，提升了融合图像的图像质量。

请一并参阅图3、图12和图13，步骤046包括：

0461，获取参照图像，参照图像的清晰度高于预设清晰度阈值；及

0462，根据参照图像对融合图像进行超分算法处理，以得到目标图像。

在某些实施方式中，第三处理单元146包括获取子单元1461和第三处理子单元1462，其中，步骤0461可由获取子单元1461执行，步骤0462可由第三处理子单元1462执行。也即是说，获取子单元1461可用于获取参照图像，参照图像的清晰度高于预设清晰度阈值；第三处理子单元1462可用于根据参照图像对融合图像进行超分算法处理，以得到目标图像。

在某些实施方式中，步骤0461和步骤0462均可由处理器230实现，也即是说，处理器230可用于：获取参照图像，参照图像的清晰度高于预设清晰度阈值；及根据参照图像对融合图像进行超分算法处理，以得到目标图像。

具体地，参照图像可包括预设用户人像或预设标准人像。以电子设备200(例如手机)为例，预设用户人像可通过获取电子设备200中的用户提前拍摄好的人像，需要说明的是，该预设用户人像中的人像是已经过处理的图像，该预设用户人像可为用户相册中的证件照或者其他清晰度更高的具有人像的图像。当电子设备200中没有预设用户人像时，可通过获取一个预设的标准人像，该标准人像可在网络上下载与用户同地区的任意一张高清人像，例如高清海报等。预设用户人像和预设标准人像的清晰度都要大于预设清晰度阈值，该预设清晰度阈值可预先设置，只有大于预设清晰度阈值的图像才能作为参照图像(预设用户人像或者预设标准人像)，以达到更好的图像处理效果。

请一并参阅图3、图14和图15，步骤0461包括：

04611，对融合图像的人像区域和预设用户人像进行人脸比对检测；

04612，判断融合图像的人像区域与预设用户人像是否属于同一人；

04613，在融合图像的人像区域与所述预设用户人像属于同一人时，将预设用户人像作为参照图像；及

04614，在融合图像的人像区域与预设用户人像不属于同一人时，获取预设标准人像作为参照图像。

在某些实施方式中，获取子单元1461可包括检测组件14611、判断组件14612、第一处理组件14613和第二处理组件14614，其中，步骤04611可由检测组件14611执行，步骤04612可由判断组件14612执行，步骤04613可由第一处理组件14613执行，步骤04614可由第二处理组件14614执行。也即是说，检测组件14611可用于对融合图像的人像区域和预设用户人像进行人脸比对检测；判断组件14612可用于判断融合图像的人像区域与预设用户人像是否属于同一人；第一处理组件14613可用于在融合图像的人像区域与预设用户人像属于同一人时，将预设用户人像作为参照图像；第二处理组件14614可用于在融合图像的人像区域与预设用户人像不属于同一人时，获取预设标准人像作为参照图像。

在某些实施方式中，步骤04611、步骤04612、步骤04613和步骤04614均可由处理器230实现，也即是说，处理器230可用于：对融合图像的人像区域和预设用户人像进行人脸比对检测；判断融合图像的人像区域与预设用户人像是否属于同一人；在融合图像的人像区域与所述预设用户人像属于同一人时，将预设用户人像作为参照图像；在融合图像的人像区域与预设用户人像不属于同一人时，获取预设标准人像作为参照图像。

具体地，对融合图像和预设用户人像的人脸进行检测，该检测方法可先分别获取融合图像中的人脸特征点和预设用户人像中的人脸特征点，再对两个图像的人脸特征点进行比较，若两个图像的人脸特征点的相似度大于预定相似度，则确定融合图像的人像区域与预设用户人像是属于同一人，此时，就根据该预设用户人像对融合图像的人像区域进行超分算法处理得到目标图像。使用同一人的两张图像进行处理，得到的目标图像中的人像与用户本人更加相似，也更加自然，用户体验会更好。若两个图像的人脸特征点的相似度低于预定相似度，则确定融合图像的人像区域与预设用户人像是不属于同一人，此时，说明融合图像中的人像有可能不是用户本人，此时采用标准人像作为参照图像进行超分算法处理，得到的效果会更好。因此，可根据预设标准人像对融合图像的人像区域进行超分算法处理，以得到目标图像。

请一并参阅图3、图16和图17，在某些实施方式中，步骤0462包括：

04621，获取融合图像经上采样后的第一特征图；

04622，获取参照图像经过上采样和下采样后的第二特征图；

04623，获取参照图像未经过上采样和下采样的第三特征图；

04624，获取第二特征图中与第一特征图相似度超过第一预设相似度的特征以作为参照特征；

04625，获取第三特征图中与参照特征相似度超过第二预设相似度的特征以得到交换特征图；

04626，合并交换特征图与第一特征图，以得到第四特征图；

04627，将第四特征图放大预定倍数以得到第五特征图；及

04628，将第五特征图作为融合图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的第五特征图为目标图像。

在某些实施方式中，第三处理子单元1462还可包括第一获取组件14621、第二获取组件14622、第三获取组件14623、第四获取组件14624、第五获取组件14625、合并组件14626、放大组件14627和第三处理组件14628，其中，步骤04621可由第一获取组件14621执行，步骤04622可由第二获取组件14622执行，步骤04623可由第三获取组件14623执行，步骤04624可由第四获取组件14624执行，步骤04625可由第五获取组件14625执行，步骤04626可由合并组件14626执行，步骤04627可由放大组件14627执行，步骤04628可由第三处理组件14628执行。也即是说，第一获取组件14621可用于获取融合图像经上采样后的第一特征图；第二获取组件14622可用于获取参照图像经过上采样和下采样后的第二特征图；第三获取组件14623可用于获取参照图像未经过上采样和下采样的第三特征图；第四获取组件14624可用于获取第二特征图中与第一特征图相似度超过第一预设相似度的特征以作为参照特征；第五获取组件14625可用于获取第三特征图中与参照特征相似度超过第二预设相似度的特征，以得到交换特征图；合并组件14626可用于合并交换特征图与第一特征图，以得到第四特征图；放大组件14627可用于将第四特征图放大预定倍数以得到第五特征图；第三处理组件14628可用于将第五特征图作为融合图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的第五特征图为目标图像。

在某些实施方式中，步骤04621、步骤04622、步骤04623、步骤04624、步骤04625、步骤04626、步骤04627和步骤04628均可由处理器230实现，也即是说，处理器230可用于：获取融合图像经上采样后的第一特征图；获取参照图像经过上采样和下采样后的第二特征图；获取参照图像未经过上采样和下采样的第三特征图；获取第二特征图中与第一特征图相似度超过第一预设相似度的特征以作为参照特征；获取第三特征图中与参照特征相似度超过第二预设相似度的特征，以得到交换特征图；合并交换特征图与第一特征图，以得到第四特征图；将第四特征图放大预定倍数以得到第五特征图；及将第五特征图作为融合图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的第五特征图为目标图像。

具体地，上采样可理解为对融合图像或者参照图像进行放大处理，下采样可理解为对参照图像进行缩小处理。

更具体地，请参阅图18，步骤04621可包括：

046211，对融合图像进行上采样；

046212，将上采样后的融合图像输入到卷积神经网络进行特征提取，得到所述第一特征图；

步骤04622可包括：

046221，对参照图像进行下采样；

046222，对下采样后的参照图像进行上采样；

046223，将上采样后的参照图像输入到卷积神经网络进行特征提取，得到第二特征图；

步骤04623可包括：

046231，将参照图像输入到卷积神经网络进行特征提取，得到第三特征图。

通过对融合图像进行上采样(放大)处理，在将上采样后的融合图像输入到卷积神经网络中进行特征提取得到第一特征图，第一特征图可理解为融合图像中的人像区域进行放大后的图像，第一特征图中包括人像中的各个特征，例如五官、肤质、头发、轮廓等等。由于第一特征图为直接对融合图像进行放大导致第一特征图的清晰度较低，而参照图像的清晰度是比较高的，因此需要对参照图像先进行下采样(缩小)，在对下采样后的图像进行上采样，以实现参照图像的模糊化处理，提升第二特征图与第一特征图的相似度。第二特征图中也可包括例如五官、肤质、头发、轮廓等特征。直接将参照图像输入到卷积神经网络进行特征提取，得到第三特征图，需要说明的是，卷积神经网络为一个已经过深度学习后的网络，能对输入的图像进行高准确率的特征提取。

更具体地，将第二特征图和第一特征图中的特征进行对比，判断两者的相似度，并将相似度与一个第一预设相似度进行比较，若相似度大于或等于第一预设相似度，说明第二特征图的该特征与第一特征图的对应特征很像，所以可将第二特征图上的该特征作为参照特征。再将第三特征图与参照特征进行对比，判断两者的相似度，并将相似度超过第二预设相似度进行比较，若相似度大于或等于第二预设相似度，则得到对应的交换特征图。再对交换特征图与第一特征图进行合并，得到第四特征图，再对第四特征图进行放大预定倍数得到第五特征图。对第五特征图的放大倍数进行判断，若放大倍数等于目标放大倍数时，则将具有目标放大倍数的第五特征图作为目标图像。

请一并参阅图3、图19和图20，在某些实施方式中，步骤04包括：

041，获取每帧第一原始图像的清晰度；

042，根据清晰度从多帧第一原始图像中挑选出基础图像及预备图像，其中，基础图像为多帧第一原始图像中最高清晰度的图像，预备图像为多帧第一原始图像中除基础图像之外的任意一帧或多帧图像；

043，对基础图像进行修复处理，以得到修复图像；

044，对齐修复图像与预备图像；

045，将对齐后修复图像与预备图像进行融合处理，以得到融合图像；

047，获取融合图像中的过曝部分；

048，在多帧第一原始图像中获取欠曝帧以得到欠曝图像；

049，处理欠曝图像以获取与过曝部分对应的素材部分；

0410，将融合图像中的过曝部分替换为素材部分以得到高动态图像；及

0411，对高动态图像进行超分算法处理，以得到目标图像。

在某些实施方式中，第一处理模块14可包括第一获取单元141、选择单元142、第一处理单元143、对齐单元144、第二处理单元145、第二获取单元147、第三获取单元148、第四获取单元149、第四处理单元1410和第五处理单元1411，其中，步骤041可由第一获取单元141执行，步骤042可由选择单元142执行，步骤043可由第一处理单元143执行，步骤044可由对齐单元144执行，步骤045可由第二处理单元145执行，步骤047可由第二获取单元147执行，步骤048可由第三获取单元148执行，步骤049可由第四获取单元149执行，步骤0410可由第四处理单元1410执行，步骤0411可由第五处理单元1411执行。也即是说，第一获取单元141可用于获取每帧第一原始图像的清晰度；选择单元142可用于根据清晰度从多帧第一原始图像中挑选出基础图像及预备图像，基础图像为多帧第一原始图像中最高清晰度的图像，预备图像为多帧第一原始图像中除基础图像之外的任意一帧或多帧图像；第一处理单元143可用于对基础图像进行修复处理，以得到修复图像；对齐单元144可用于对齐修复图像与预备图像；第二处理单元145可用于将对齐后修复图像与预备图像进行融合处理，以得到融合图像；第二获取单元147可用于获取融合图像中的过曝部分；第三获取单元148可用于在多帧第一原始图像中获取欠曝帧以得到欠曝图像；第四获取单元149可用于处理欠曝图像以获取与过曝部分对应的素材部分；第四处理单元1410可用于将融合图像中的过曝部分替换为素材部分以得到高动态图像；第五处理单元1411可用于对高动态图像进行超分算法处理，以得到目标图像。

在某些实施方式中，步骤041、步骤042、步骤043、步骤044、步骤045、步骤047、步骤048、步骤049、步骤0410及步骤0411均可由处理器230实现，也即是说，处理器230可用于：获取每帧第一原始图像的清晰度；根据清晰度从多帧第一原始图像中挑选出基础图像及预备图像，其中，基础图像为多帧第一原始图像中最高清晰度的图像，预备图像为多帧第一原始图像中除基础图像之外的任意一帧或多帧图像；对基础图像进行修复处理，以得到修复图像；对齐修复图像与预备图像；将对齐后修复图像与预备图像进行融合处理，以得到融合图像；获取融合图像中的过曝部分；在多帧第一原始图像中获取欠曝帧以得到欠曝图像；处理欠曝图像以获取与过曝部分对应的素材部分；及将融合图像中的过曝部分替换为素材部分以得到高动态图像；对高动态图像进行超分算法处理，以得到目标图像。

其中，对步骤041、步骤042、步骤043、步骤044、步骤045同前文所述，在此不再赘述。请参阅图36，图36包括欠曝图像(左边图)和融合图像(中间图)，欠曝图像是相对于适曝图像而言的，其中，适曝图像是采用与光环境匹配的第一曝光量曝光获得，欠曝图像是采用小于第一曝光量的第二曝光量获得。经识别后，可以判断出多帧第一原始图像中哪些是适曝图像，哪些是欠曝图像，并挑选出欠曝图像(可以是一帧或多帧，例如图36左边图所示)。融合图像(图36中间图所示)中有过曝部分(眼睛过曝，在融合图像中眼睛发白)，而该欠曝图像包括与过曝部分(眼睛)对应的素材部分(眼睛)，将融合图像中的过曝部分(中间图眼睛)替换为素材部分(左边图眼睛)以得到高动态图像(图36右边图)。由于素材部分的亮度较低，在对融合图像中的过曝部分替换后，得到的高动态图像中不会存在高亮斑点，场景较为真实，提高了图像的质量。而且，通过欠曝图像与融合图像的结合处理后得到的高动态图像的动态范围较大，图像细节更多，在对高动态图像进行超分算法处理时，得到的目标图像的效果更好。

另外，对高动态图像进行超分算法处理，以得到目标图像的步骤可包括：获取参照图像，参照图像的清晰度高于预设清晰度阈值；及根据参照图像对高动态图像进行超分算法处理，以得到目标图像。

其中，获取参照图像的方式与步骤04611～步骤04614基本相同，仅仅是将其中的“融合图像”替换为“高动态图像”即可，具体在此不再赘述。根据参照图像对高动态图像进行超分算法处理，以得到目标图像的实现方式可与上文中根据参照图像对融合图像进行超分算法处理，以得到目标图像的实现方式基本相同，例如包括步骤04621～步骤04628，仅仅是将其中的“融合图像”替换为“高动态图像”即可，具体在此也不再赘述。

请一并参阅图3、图21和图22，在某些实施方式中，图像处理方法还包括：

05，获取第一摄像头221的曝光时长；

06，判断曝光时长是否大于或等于预设时长；

07，在曝光时长大于或等于预设时长时，对多帧第一原始图像进行去运动模糊处理；

步骤041还包括：

0412，获取去运动模糊处理后的每帧第一原始图像的清晰度；

步骤042还包括：

0413，根据清晰度从去运动模糊处理后的多帧第一原始图像中挑选出基础图像及预备图像，其中，基础图像为去运动模糊处理后的多帧第一原始图像中最高清晰度的图像，预备图像为去运动模糊处理后的多帧第一原始图像中除基础图像之外的任意一帧或多帧图像。

在某些实施方式中，图像处理装置100还包括第三获取模块15、第二判断模块16和第二处理模块17，其中，步骤05可由第三获取模块15执行，步骤06可由第二判断模块16执行，步骤07可由第二处理模块17执行，步骤0412可由第一处理模块14中的第一获取单元141(图5所示)执行，步骤0413可由第一处理模块14中的选择单元142(图5所示)执行。也即是说，第三获取模块15可用于获取第一摄像头221的曝光时长；第二判断模块16可用于判断曝光时长是否大于或等于预设时长；第二处理模块17可用于在曝光时长大于预设时长时，对多帧第一原始图像进行去运动模糊处理；第一获取单元141可用于获取去运动模糊处理后的每帧第一原始图像的清晰度；选择单元142可用于根据清晰度从去运动模糊处理后的多帧第一原始图像中挑选出基础图像及预备图像，其中，基础图像为去运动模糊处理后的多帧第一原始图像中最高清晰度的图像，预备图像为去运动模糊处理后的多帧第一原始图像中除基础图像之外的任意一帧或多帧图像。

在某些实施方式中，步骤05、步骤06、步骤07、步骤0412和步骤0413均可由处理器230实现，也即是说，处理器230可用于：获取第一摄像头221的曝光时长；判断曝光时长是否大于或等于预设时长；在曝光时长大于预设时长时，对多帧第一原始图像进行去运动模糊处理；获取去运动模糊处理后的每帧第一原始图像的清晰度；根据清晰度从去运动模糊处理后的多帧第一原始图像中挑选出基础图像及预备图像，其中，基础图像为去运动模糊处理后的多帧第一原始图像中最高清晰度的图像，预备图像为去运动模糊处理后的多帧第一原始图像中除基础图像之外的任意一帧或多帧图像。

具体地，在周围环境亮度较低时，多会通过延长曝光时长以获得更多的光线，但是曝光时间的加长也导致图像处理装置100或者电子设备200容易发生抖动，第一摄像头221受抖动影响，拍摄的第一原始图像也会由于抖动而出现模糊，导致第一原始图像的质量不高。在曝光时长大于或等于预设时长时，则判定为发生了抖动，因此对第一原始图像进行去运动模糊处理，再通过获取去运动模糊后的每帧第一原始图像的清晰度，根据清晰度从去运动模糊处理后的多帧第一原始图像中挑选出基础图像及预备图像。获取去运动模糊后的每帧第一原始图像的清晰度的方式可与上文中获取每帧第一原始图像的清晰度的方式相同，挑选基础图像和预备图像的方式也与上文的方式相同，在此不再赘述。第二处理模块17可以是一种能够执行逆滤波的滤波器，对第一原始图像执行逆滤波处理后即可实现去运动模糊。在曝光时长小于预设时长时，则不对该帧第一原始图像进行去运动模糊处理，直接获取该帧第一原始图像的清晰度即可，后续操作与上文一致，在此不再赘述。

请一并参阅图3、图23和图24，在某些实施方式中，图像处理方法还包括：

08，对目标图像进行背景区域定位；及

09，对目标图像的背景区域进行虚化渲染处理，以得到虚化目标图像。

在某些实施方式中，图像处理装置100还包括第一定位模块18和第三处理模块19，其中，步骤08可由第一定位模块18执行，步骤09可由第三处理模块19执行。也即是说，第一定位模块18可用于对目标图像进行背景区域定位；第三处理模块19可用于对目标图像的背景区域进行虚化渲染处理，以得到虚化目标图像。

在某些实施方式中，步骤08和步骤09均可由处理器230实现，也即是说，处理器230可用于：对目标图像进行背景区域定位；及对目标图像的背景区域进行虚化渲染处理，以得到虚化目标图像。

具体地，可对目标图像进行人像区域定位，在确定目标图像中的人像区域后，目标图像中除人像区域外的其他区域则为背景区域，再对背景区域进行虚化渲染处理，得到虚化目标图像，其中，背景区域的虚化程度是一个定值，由此，可以重点突出人像部分，符合当下用户自拍的需求。

在另一个例子，若第一摄像头221是特殊的摄像头，例如，第一摄像头221中的每个像素可分隔成两个较小的并排像素，并分别从芯片上读取它们输出的像素值，第一摄像头221的左侧视角与右侧视角略有不同(左右视角相差小于一毫米)，像素获取光线后可以得到左侧图像与右侧图像，用左侧和右侧图像作为立体算法的输入，就可生成深度图像，再根据深度图像中的深度数据对目标图像进行虚化渲染处理，以得到虚化目标图像。具体根据深度数据对目标图像进行虚化渲染处理可以参见下文016步骤所述。

请一并参阅图3、图25和图26，在某些实施方式中，图像处理方法还包括：

010，在感光度小于预设感光度时，获取第一摄像头221的单帧第二原始图像；

011，对单帧第二原始图像进行人像区域定位；及

012，对第二原始图像的人像区域进行超分算法处理，以得到目标图像。

在某些实施方式中，图像处理装置100还包括第四获取模块20、第二定位模块21和第四处理模块22，其中，步骤010可由第四获取模块20执行，步骤011可由第二定位模块21执行，步骤012可由第四处理模块22执行。也即是说，第四获取模块20可用于在感光度小于预设感光度时，获取第一摄像头221的单帧第二原始图像；第二定位模块21可用于对单帧第二原始图像进行人像区域定位；第四处理模块22可用于对第二原始图像的人像区域进行超分算法处理，以得到目标图像。

在某些实施方式中，步骤010、步骤011和步骤012均可由处理器230实现，也即是说，处理器230可用于：在感光度小于预设感光度时，获取第一摄像头221的单帧第二原始图像；对单帧第二原始图像进行人像区域定位；及对第二原始图像的人像区域进行人超分算法处理，以得到目标图像。

具体地，在感光度小于预设感光度时，说明周围环境的亮度比较高，因此此时直接获取的单帧第二原始图像的噪点较小，第二原始图像的清晰度相对于第一原始图像的清晰度要更高，因此，第二原始图像可直接获取单帧即可，节省了多帧处理的时间，也减少了图像处理的时间。

再具体地，第二原始图像的人像区域定位可与第一原始图像的基础图像中的人像区域定位方式相同，在此不再赘述。另外，对第二原始图像的人像区域进行超分算法处理，以得到目标图像的步骤可包括：获取参照图像，参照图像的清晰度高于预设清晰度阈值；及根据参照图像对第二原始图像进行超分率算法处理，以得到目标图像。

其中，获取参照图像的方式与步骤04611～步骤04614基本相同，仅仅是将其中的“融合图像”替换为“第二原始图像”即可，具体在此不再赘述。根据参照图像对第二原始图像进行超分算法处理，以得到目标图像的实现方式可与上文中根据参照图像对融合图像进行超分算法处理，以得到目标图像的实现方式基本相同，例如包括步骤04621～步骤04628，仅仅是将其中的“融合图像”替换为“第二原始图像”即可，具体在此也不再赘述。

请一并参阅图3、图27和图28，在某些实施方式中，成像装置220还可包括第二摄像头222，图像处理方法还包括：

013，获取第二摄像头222拍摄的多帧第三原始图像，多帧第三原始图像是在第一摄像头221拍摄多帧第一原始图像时，第二摄像头222同步拍摄得到的；

014，在多帧第三原始图像中获取与基础图像对应帧以作为参考图像；

015，对参考图像和基础图像进行深度图算法处理，以得到深度图像；及

016，根据深度图像中的深度数据对目标图像进行虚化渲染处理，以得到虚化目标图像。

在某些实施方式中，图像处理装置100还包括第五获取模块23、第六获取模块24、第五处理模块25和第六处理模块26，其中，步骤013可由第五获取模块23执行，步骤014可由第六获取模块24执行，步骤015可由第五处理模块25执行，步骤016可由第六处理模块26执行。也即是说，第五获取模块23可用于获取第二摄像头222拍摄的多帧第三原始图像，其中，多帧第三原始图像是在第一摄像头221拍摄多帧第一原始图像时，第二摄像头222同步拍摄得到的；第六获取模块24可用于在多帧第三原始图像中获取与基础图像对应帧以作为参考图像；第五处理模块25可用于对参考图像和基础图像进行深度图算法处理，以得到深度图像；第六处理模块26可用于根据深度图像中的深度数据对目标图像进行虚化渲染处理，以得到虚化目标图像。

在某些实施方式中，步骤013、步骤014、步骤015和步骤016均可由处理器230实现，也即是说，处理器230可用于：获取第二摄像头222拍摄的多帧第三原始图像，多帧第三原始图像是在第一摄像头221拍摄多帧第一原始图像时，第二摄像头222同步拍摄得到的；在多帧第三原始图像中获取与基础图像对应帧以作为参考图像；对参考图像和基础图像进行深度图算法处理，以得到深度图像；根据深度图像中的深度数据对目标图像进行虚化渲染处理，以得到虚化目标图像。

具体地，在第一摄像头221拍摄多帧第一原始图像时，第二摄像头222同时拍摄多帧第三原始图像。第三原始图像的数量与第一原始图像的数量可以相同，且每帧第三原始图像的曝光时长与对应帧的第一原始图像的曝光时长相同。以获取八帧图像为例，第一摄像头221依次获取八帧第一原始图像，并按拍摄时间的先后顺序依次排列分别为：第1帧第一原始图像、第2帧第一原始图像、第3帧第一原始图像、第4帧第一原始图像、第5帧第一原始图像、第6帧第一原始图像、第7帧第一原始图像和第8帧第一原始图像。通过对比这八帧第一原始图像，得到第2帧第一原始图像的清晰度最高以作为基础图像。第二摄像头222也与第一摄像头221同时获取八帧第三原始图像，并按拍摄时间顺序依次排列，分别为：第1帧第三原始图像、第2帧第三原始图像、第3帧第三原始图像、第4帧第三原始图像、第5帧第三原始图像、第6帧第三原始图像、第7帧第三原始图像和第8帧第三原始图像。并将与基础图像对应帧数的第三原始图像作为参考图像，即第2帧第三原始图像作为参考图像。再对参考图像和基础图像进行深度算法处理，以得到深度图像。需要说明的是，第一摄像头221和第二摄像头222为同侧摄像头，以电子设备200为例，第一摄像头221和第二摄像头222均为前置摄像头，或者第一摄像头221和第二摄像头222均为后置摄像头等。通过第一摄像头221获取的第一原始图像和第二摄像头222获取的第三原始图像在图像上存在重合的视场角，因此可通过双目视觉深度算法来针对基础图像及参考图像进行计算，以得到深度图像。在得到深度图像后，通过深度图像的深度数据对目标图像进行虚化渲染处理，以得到虚化目标图像。

请参阅图37和图38，虚化策略可以有多种，一个例子中，背景区域(除人像区域之外的区域)中的物体深度可以由近及远(相对拍摄者)划分第1深度范围至第N深度范围(N≥2)，随着深度范围的增加，虚化程度也增加，即，第1深度范围内的物体的虚化程度最小(越清晰)，第N深度范围内的物体的虚化程度最大(越模糊)。请参阅图39，另一个例子中，背景区域还可划分为前景子区域与背景子区域，前景子区域相对人像区域而言更靠近拍摄者，背景子区域相对人像区域而言更远离拍摄者。前景子区域可以由近及远(相对拍摄者)划分第1深度范围至第N深度范围(N≥2)，随着深度范围的增加，虚化程度减小，即第1深度范围内的物体的虚化程度最大，第N深度范围内的物体的虚化程度最小。背景子区域可以由近及远(相对拍摄者)划分第1深度范围至第N深度范围(N≥2)，随着深度范围的增加，虚化程度增大，即第1深度范围内的物体的虚化程度最小，第N深度范围内的物体的虚化程度最大。如此，按照深度范围来虚化背景区域内的物体，能够更显出虚化层次，虚化效果更好。

请一并参阅图3、图29和图30，在某些实施方式中，图像处理方法还包括：

017，在曝光时长大于预设时长时，对所述第三原始图像进行去运动模糊处理；

步骤014还可包括：

0141，在去运动模糊处理后的多帧第三原始图像中获取与基础图像对应帧以作为去运动模糊处理后的参考图像；

步骤015还可包括：

0151，对去运动模糊处理后的参考图像和基础图像进行深度图算法处理，以得到深度图像。

在某些实施方式中，图像处理装置100还可包括第七处理模块27，第六获取模块24还可包括第五获取单元241，第五处理模块25还可包括第六处理单元251，其中，步骤017可由第七处理模块27执行，步骤0141可由第五获取单元241执行，步骤0151可由第六处理单元251执行。也即是说，第七处理模块27可用于在曝光时长大于预设时长时，对所述第三原始图像进行去运动模糊处理；第五获取单元241可用于在去运动模糊处理后的多帧第三原始图像中获取与基础图像对应帧以作为去运动模糊处理后的参考图像；第六处理单元251可用于对去运动模糊处理后的参考图像和基础图像进行深度图算法处理，以得到深度图像。

在某些实施方式中，步骤017、步骤0141和步骤0151均可由处理器230实现，也即是说，处理器230可用于：在曝光时长大于预设时长时，对所述第三原始图像进行去运动模糊处理；在去运动模糊处理后的多帧第三原始图像中获取与基础图像对应帧以作为去运动模糊处理后的参考图像；对去运动模糊处理后的参考图像和基础图像进行深度图算法处理，以得到深度图像。

具体地，第二摄像头222与第一摄像头221一样，在长曝光后，会由于抖动等原因可能会导致得到的第三原始图像比较模糊，因此需要对长曝光的第三原始图像进行去运动模糊处理。对第三原始图像的去运动模糊处理的方式与第一原始图像的方式相同，在此不再赘述。在去运动模糊处理后的多帧第三原始图像中获取与基础图像对应帧以作为去运动模糊处理后的参考图像；对去运动模糊处理后的参考图像和基础图像进行深度图算法处理，以得到深度图像。得到深度图像的方式与上文中的获取方式相同，在此不再赘述。通过对第三原始图像进行去运动模糊处理，使得深度图像的深度数据更加准确，间接提高了虚化目标图像的清晰度。

请一并参阅图1、图2、图3和图31，本申请实施方式还提供一种计算机可读存储介质300，其上存储有计算机程序310，程序被处理器230执行的情况下，实现上述任意一种实施方式的图像处理方法的步骤。

例如，程序被处理器230执行的情况下，实现以下图像处理方法的步骤：

01，获取第一摄像头221的感光度；

02，判断感光度是否大于或等于预设感光度；

03，在感光度大于或等于预设感光度时，获取第一摄像头221拍摄的多帧第一原始图像；及

04，对多帧第一原始图像进行处理以得到目标图像。

计算机可读存储介质300可设置在图像处理装置100或者电子设备200内，也可设置在云端服务器内，此时，图像处理装置100或者电子设备200能够与云端服务器进行通讯来获取到相应的计算机程序310。

可以理解，计算机程序310包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。

处理器230可以是指驱动板。驱动板可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器230、数字信号处理器230(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (15)

1.一种图像处理方法，用于成像装置，其特征在于，所述成像装置包括第一摄像头，所述图像处理方法包括：

获取所述第一摄像头的感光度；

在所述感光度大于预设感光度时，获取所述第一摄像头拍摄的多帧第一原始图像；及

对多帧所述第一原始图像进行处理以得到目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述对多帧所述第一原始图像进行处理以得到目标图像，包括：

获取每帧所述第一原始图像的清晰度；

根据所述清晰度从多帧所述第一原始图像中挑选出基础图像及预备图像，其中，所述基础图像为多帧所述第一原始图像中最高清晰度的图像，所述预备图像为多帧所述第一原始图像中除所述基础图像之外的任意一帧或多帧图像；

对所述基础图像进行修复处理，以得到修复图像；

对齐所述修复图像与所述预备图像；

将对齐后所述修复图像与所述预备图像进行融合处理，以得到融合图像；及

对所述融合图像进行超分算法处理，以得到所述目标图像。

3.根据权利要求1所述的图像处理方法，其特征在于，所述对多帧所述第一原始图像进行处理以得到目标图像，包括：

获取每帧所述第一原始图像的清晰度；

根据所述清晰度从多帧所述第一原始图像中挑选出基础图像及预备图像，其中，所述基础图像为多帧所述第一原始图像中最高清晰度的图像，所述预备图像为多帧所述第一原始图像中除所述基础图像之外的任意一帧或多帧图像；

对所述基础图像进行修复处理，以得到修复图像；

对齐所述修复图像与所述预备图像；

将对齐后所述修复图像与所述预备图像进行融合处理，以得到融合图像；

获取所述融合图像中的过曝部分；

在多帧所述第一原始图像中获取欠曝帧以得到欠曝图像；

处理所述欠曝图像以获取与所述过曝部分对应的素材部分；

将所述融合图像中的所述过曝部分替换为所述素材部分以得到高动态图像；及

对所述高动态图像进行超分算法处理，以得到所述目标图像。

4.根据权利要求2或3所述图像处理方法，其特征在于，所述图像处理方法还包括：

获取所述第一摄像头的曝光时长；

在所述曝光时长大于预设时长时，对多帧所述第一原始图像进行去运动模糊处理；

获取每帧所述第一原始图像的清晰度，包括：

获取去运动模糊处理后的每帧所述第一原始图像的清晰度；

根据所述清晰度从多帧所述第一原始图像中挑选出基础图像及预备图像，其中，所述基础图像为多帧所述第一原始图像中最高清晰度的图像，所述预备图像为多帧所述第一原始图像中除所述基础图像之外的任意一帧或多帧图像，包括：

根据所述清晰度从去运动模糊处理后的多帧所述第一原始图像中挑选出基础图像及预备图像，其中，所述基础图像为去运动模糊处理后的多帧所述第一原始图像中最高清晰度的图像，所述预备图像为去运动模糊处理后的多帧所述第一原始图像中除所述基础图像之外的任意一帧或多帧图像。

5.根据权利要求2或3所述图像处理方法，其特征在于，对所述基础图像进行修复处理，以得到修复图像，包括：

对所述基础图像进行人像区域定位及背景区域定位；及

对所述基础图像的人像区域进行修复处理，及对所述基础图像的背景区域进行去马赛克处理或去噪处理，以得到修复图像。

6.根据权利要求2所述的图像处理方法，其特征在于，所述对所述融合图像进行超分算法处理，以得到所述目标图像，包括：

获取参照图像，所述参照图像的清晰度高于预设清晰度阈值；及

根据所述参照图像对所述融合图像进行超分率算法处理，以得到目标图像。

7.根据权利要求2或3所述的图像处理方法，其特征在于，对齐所述修复图像与所述预备图像，包括：

对所述预备图像进行人像区域定位；

提取所述修复图像的人像区域的第一特征点；

提取所述预备图像的人像区域的第二特征点；及

根据所述第一特征点与所述第二特征点来对齐所述修复图像与所述预备图像。

8.根据权利要求2或3所述的图像处理方法，其特征在于，所述将对齐后所述修复图像与所述预备图像进行融合处理，以得到融合图像，包括：

对所述预备图像进行人像区域定位；

将所述修复图像的人像区域划分为多个第一区块；

将每帧所述预备图像的人像区域划分为多个第二区块，每个所述第二区块对应一个所述第一区块；

挑选出清晰度较对应的第一区块的清晰度高的第二区块；及

将所述修复图像中的所述第一区块与挑选出的所述第二区块进行融合并将边缘多余的像素进行裁剪，以得到融合图像。

9.根据权利要求2或3所述的图像处理方法，其特征在于，所述图像处理方法，还包括：

对所述目标图像进行背景区域定位；

对所述目标图像的背景区域进行虚化渲染处理，以得到虚化目标图像。

10.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

在所述感光度小于所述预设感光度时，获取所述第一摄像头拍摄的单帧第二原始图像；

对所述第二原始图像进行人像区域定位；及

对所述第二原始图像的人像区域进行超分算法处理，以得到目标图像。

11.根据权利要求2或3所述的图像处理方法，其特征在于，所述成像装置还包括第二摄像头，所述图像处理方法还包括：

获取所述第二摄像头拍摄的多帧第三原始图像，多帧所述第三原始图像是在所述第一摄像头拍摄多帧第一原始图像时，所述第二摄像头同步拍摄得到的；

在多帧所述第三原始图像中获取与所述基础图像对应帧以作为参考图像；

对所述参考图像和所述基础图像进行深度图算法处理，以得到深度图像；及

根据所述深度图像中的深度数据对所述目标图像进行虚化渲染处理，以得到虚化目标图像。

12.根据权利要求11所述的图像处理方法，其特征在于，所述图像处理方法还包括：

在所述曝光时长大于预设时长时，对多帧所述第三原始图像进行去运动模糊处理；

所述在多帧所述第三原始图像中获取与所述基础图像对应帧以作为参考图像，包括：

在去运动模糊处理后的多帧所述第三原始图像中获取与所述基础图像对应帧以作为去运动模糊处理后的参考图像；

所述对所述参考图像和所述基础图像进行深度图算法处理，以得到深度图像，包括：

对去运动模糊处理后的所述参考图像和所述基础图像进行深度图算法处理，以得到深度图像。

13.一种图像处理装置，应用于成像装置，其特征在于，所述成像装置包括第一摄像头，所述图像处理装置包括：

第一获取模块，所述第一获取模块获取所述第一摄像头的感光度；

第二获取模块，所述第二获取模块在所述感光度大于预设感光度时，获取所述第一摄像头拍摄的多帧第一原始图像；及

第一处理模块，所述第一处理模块对多帧所述第一原始图像进行处理以得到目标图像。

14.一种电子设备，其特征在于，所述电子设备包括壳体、成像装置和处理器，所述成像装置和所述处理器均安装在所述壳体上，所述成像装置用于拍摄图像，所述处理器用于实现权利要求1-12中任一项所述的图像处理方法。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-12中任一项所述的图像处理方法。

Images