CN116128707A - 图像处理方法及装置、电子设备、计算可读存储介质 - Google Patents

Abstract

本申请实施例涉及图像处理技术领域，公开了一种图像处理方法及装置、电子设备、计算机可读存储介质，该方法包括：获取第一图像和第二图像，其中，第一图像对应的曝光值小于第二图像对应的曝光值；以及，根据第一图像调整第二图像的图像信息，以得到优化后的第二图像，图像信息至少包括亮度信息和/或颜色信息；以及，对优化后的第二图像进行虚化处理，以得到目标图像。实施本申请实施例，能够在对过曝光的图像进行景深渲染处理的过程中，恢复图像的层次感和颜色信息，从而提高了图像的虚化效果。

Description

图像处理方法及装置、电子设备、计算可读存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像处理方法及装置、电子设备、计算机可读存储介质。

背景技术

景深渲染技术是一种模拟单反相机拍摄效果的技术，通过被应用于各种电子设备(例如：手机、平板电脑)中。通过该技术可以将电子设备拍摄到图像处理为主体清晰，背景虚化的图像，从而提高图像的质感。

在实践中发现，通过相关技术对过曝光的图像进行虚化处理后得到的图像通常欠缺层次感和颜色信息，从而降低了图像的虚化效果。

发明内容

本申请实施例公开了一种图像处理方法及装置、电子设备、计算机可读存储介质，能够在对过曝光的图像进行景深渲染处理的过程中，恢复图像的层次感和颜色信息，从而提高了图像的虚化效果。

本申请实施例第一方面公开一种图像处理方法，包括：

获取第一图像和第二图像，所述第一图像对应的曝光值小于所述第二图像对应的曝光值；

根据所述第一图像调整所述第二图像的图像信息，以得到优化后的第二图像，所述图像信息至少包括亮度信息和/或颜色信息；

对所述优化后的第二图像进行虚化处理，以得到目标图像。

本申请实施例第二方面公开一种图像处理装置，包括：

获取单元，用于获取第一图像和第二图像，所述第一图像对应的曝光值小于所述第二图像对应的曝光值；

调整单元，用于根据所述第一图像调整所述第二图像的图像信息，以得到优化后的第二图像，所述图像信息至少包括亮度信息和/或颜色信息；

虚化单元，用于对所述优化后的第二图像进行虚化处理，以得到目标图像。

本申请实施例第三方面公开一种电子设备，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本申请实施例第一方面公开的图像处理方法。

本申请实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本申请实施例第一方面公开的图像处理方法。

与相关技术相比，本申请实施例具有以下有益效果：

本申请实施例提供的图像处理方法可以获取曝光值不同的第一图像和第二图像，其中，第一图像对应的曝光值小于第二图像对应的曝光值。可以理解的是，由于第二图像的曝光值大于第一图像的曝光值，所以第二图像比第一图像更容易出现过度曝光的区域，而由于过度曝光区域将失去图像细节，从而使得后续经过虚化处理得到的图像欠缺层次感和颜色信息。对此，本申请实施例提供的图像处理方法可以通过低曝光的第一图像调整第二图像的亮度、颜色等图像信息，以恢复第二图像中过度曝光区域的图像细节，进而可以对恢复后的第二图像进行虚化处理，以得到具有层次感和完整颜色的虚化图像，从而提高了虚化图像的虚化效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例公开的一种图像处理方法的流程示意图；

图2是本申请实施例公开的一种用于说明过曝光区域的示意图；

图3是本申请实施例公开的另一种图像处理方法的流程示意图；

图4是本申请实施例公开的又一种图像处理方法的流程示意图；

图5是本申请实施例公开的一种用于说明图像融合的示意图；

图6是本申请实施例公开的一种图像处理装置的结构示意图；

图7是本申请实施例公开的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本申请实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例公开了一种图像处理方法及装置、电子设备、计算机可读存储介质，能够在对过曝光的图像进行景深渲染处理的过程中，恢复图像的层次感和颜色信息，从而提高了图像的虚化效果。

下面将结合具体实施例对本申请技术方案进行详细说明。

为了更加清楚地说明本申请实施例公开的图像处理方法及装置、电子设备、计算机可读存储介质，首先介绍一种适用于该图像处理方法的应用场景。可选的，本申请实施例提供的图像处理方法可以应用于各种电子设备，包括但不限于手机、平板电脑等便携式电子设备，智能手表、智能手环等可穿戴设备或者台式电脑、电视等台式设备。

随着电子设备技术的快速发展，如今的电子设备可以对拍摄到图像进行包括模糊处理、点扩散处理等虚化处理操作，以将拍摄到的图像处理为主体清晰，背景虚化的图像，从而模拟出单反相机的拍摄效果。在相关技术中，通常需要对哪一帧图像进行虚化处理，则就直接针对该图像单帧进行处理，进而得到虚化图像。但是在实践中发现，若在拍摄时对拍摄设备的曝光值设置不当，可能导致镜头的进光量过大，进而导致拍摄到的图像出现过曝光现象(过曝光现象是一种由于镜头的进光量过大，导致图像中某些区域的亮度超过阈值的现象)。过曝光现象将导致图像中的过曝光区域的亮度和颜色因为饱和而截断，从而使得该区域失去图像细节。进而将导致后续对过曝光的图像进行虚化处理后得到的图像欠缺层次感和颜色信息，从而降低了图像的虚化效果。

对此，实施本申请实施例公开的图像处理方法，可以获取曝光值不同的第一图像和第二图像，其中，第一图像对应的曝光值小于第二图像对应的曝光值，进而可以通过低曝光的第一图像调整第二图像的亮度、颜色等图像信息，以恢复第二图像中过度曝光区域的图像细节，进而可以对恢复后的第二图像进行虚化处理，以得到具有层次感和完整颜色的虚化图像，从而提高了虚化图像的虚化效果。

请参阅图1，图1是本申请实施例公开的一种图像处理方法的流程示意图，该方法可以应用于上述的电子设备或者其他执行主体，在此不作限定。该方法可以包括以下步骤：

102、获取第一图像和第二图像，第一图像对应的曝光值小于第二图像对应的曝光值。

本申请实施例中，电子设备可以获取对应的拍摄内容相同的第一图像和第二图像，但是第一图像对应的曝光值小于第二图像对应的曝光值。

在另一种实施例中，考虑到拍摄第一图像和第二图像时，由于镜头抖动等原因，第一图像和第二图像对应的拍摄内容不可能完全相同，对此可选的，第一图像对应的第一拍摄内容，和第二图像对应的第二拍摄内容之间的相似度可以大于相似度阈值(例如:95％、98％等，在此不作限定)。

可选的，第二图像对应的曝光值可以是第一图像对应的曝光值的第一倍数，例如：2倍、3倍等，在此不作限定。可选的，第一图像对应的曝光值可以小于低曝光阈值，以使得第一图像对应的镜头进光量尽可能的低，从而避免第一图像也出现过曝光现象，从而影响后续根据第二图像调整第一图像的过曝光区域。其中，低曝光阈值可以大致等于正常曝光值范围的下限，具体数值可以由开发人员根据大量的开发经验设定，在此不作限定。

其中，第一图像对应的曝光值是指拍摄装置拍摄第一图像时，拍摄装置所设置的曝光值；同理的，第二图像对应的曝光值是指拍摄装置拍摄第二图像时，拍摄装置所设置的曝光值。需要进一步说明的是，拍摄装置的镜头进光量是与拍摄装置设备的曝光值呈正相关关系的，而由于第二图像对应的曝光值更大，所以拍摄装置在拍摄第二图像时，镜头的进光量更大从而第二图像更容易出现过曝光现象。请参阅图2，图2是本申请实施例公开的一种用于说明过曝光区域的示意图。其中，第一图像200和第二图像210对应的拍摄内容是同一个人像，但是由于第二图像210的曝光值更大，从而导致第二图像210出现了过曝光区域220。可见，过曝光区域220由于亮度和颜色因为饱和而截断，所以丢失了图像细节。

在一种实施例中，第一图像和第二图像可以是通过电子设备的摄像装置采集到初始图像、从其他电子设备接收到的初始图像或者是从互联网下载的初始图像。其中，初始图像是指未经过图像处理的图像。在另一种实施例中，第一图像和第二图像可以是经过图像处理器ISP处理的处理后图像，可选的，处理后图像可以是YUV格式或者RGB格式的图像，在此不作限定。

104、根据第一图像调整第二图像的图像信息，以得到优化后的第二图像，图像信息至少包括亮度信息和/或颜色信息。

如上所述，第一图像对应的曝光值是小于第二图像对应的曝光值的，所以在第二图像出现过曝光的区域，在第一图像中对应的区域可能不存在过曝光现象，即第一图像中对应区域的亮度现象、颜色现象等图像细节是完整的。对此，电子设备可以根据第一图像的图像信息调整第二图像中过曝光区域的图像信息，以恢复第二图像的过曝区域的图像细节。

举例来说，由于镜头进光量过大，第二图像的过曝光区域包括的三个像素点的亮度都为255，而第一图像中与过曝光区域对应的目标区域并没有出现过曝光现象，目标区域包括的三个像素点的亮度分别为125、130、135。则电子设备可以根据目标区域包括的三个像素点的亮度，将第二图像的过曝光区域包括的三个像素点的亮度分别调整为125、130、135，由或者是按一定的比例(例如1.1倍、1.2倍等)调整为150(即125*1.2)、156(即130*1.2)、162(即135*1.2)，在此不作限定。

可选的，调整的图像信息可以包括亮度信息、颜色信息、灰度信息以及对比度信息中的一种或多种，在此不作限定。

106、对优化后的第二图像进行虚化处理，以得到目标图像。

本申请实施例中，为了模拟出单反相机的拍摄效果，在得到优化后的第二图像之后，电子设备可以对优化后的第二图像进行虚化处理，以得到主体清晰，背景虚化的目标图像。此外，由于第二图像经过步骤104的调整，优化后的第二图像中的过曝光区域的图像细节已经得到恢复，所以使得目标图像的虚化效果更加具有层次感，从而提高了图像的虚化效果。

实施上述各实施例公开的方法，电子设备可以获取曝光值不同的第一图像和第二图像，其中，第一图像对应的曝光值小于第二图像对应的曝光值；进而可以通过低曝光的第一图像调整第二图像的亮度、颜色等图像信息，以恢复第二图像中过度曝光区域的图像细节，进而可以对恢复后的第二图像进行虚化处理，以得到具有层次感和完整颜色信息的虚化图像，从而提高了虚化图像的虚化效果。

请参阅图3，图3是本申请实施例公开的另一种图像处理方法的流程示意图，该方法可以应用于上述的电子设备或者其他执行主体，在此不作限定。

该方法可以包括以下步骤：

302、获取第一图像和第二图像，第一图像和第二图像对应的拍摄内容相同，第一图像对应的曝光值小于第二图像对应的曝光值。

304、对第一图像和第二图像进行图像配准操作，并在第一图像中确定出与第二图像的过曝光区域匹配的目标区域，过曝光区域对应的亮度大于亮度阈值。

可以理解的是，虽然第一图像和第二图像对应的拍摄内容是相同的，但是由于两张图像的拍摄时机、拍摄时的环境温度以及镜头抖动等原因，可能导致第一图像和第二图像中对应同一图像特征的两个像素点的坐标产生偏差，从而可能影响后续的图像信息调整过程。

对此，电子设备可以对第一图像和第二图像进图像配准操作，以将第一图像和第二图像对齐。其中，图像配准操作大致的过程为：对两幅图像进行特征提取得到特征点；通过进行相似度找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数进行图像配准，以将对应同一图像特征的两个像素点的坐标对齐。

进一步地，电子设备将第一图像和第二图像对齐之后，可以先在第二图像中确定出过曝光区域。可以理解的是，第二图像中包括的不同拍摄对象在现实世界中的亮度可能是不同(例如：太阳和树林的亮度显然不同)，所以在曝光值(即镜头进光量)相同的情况下，对应亮度越高的拍摄对象越容易出现过曝光现象，举例来说，假设第二图像中包括树林和太阳，由于太阳的亮度远大于树林的亮度，所以第二图像中对应太阳的区域更容易出现过曝光现象。对此，电子设备可以将第二图像中亮度大于亮度阈值的区域确定为过曝光区域。

进而电子设备可以在对齐的第一图像中，确定出与第二图像的过曝光区域匹配的目标区域。如上所述，假设第二图像的过曝光区域为太阳对应的第一区域，则第一图像中与过曝光区域匹配的目标区域可以是第一图像中太阳对应的第二区域。

实施上述方法，可以通过图像配准操作消除环境温度、镜头抖动等因素对拍摄结果的影响，以将第一图像和第二图像对齐，从而可以避免由于第一图像和第二图像对应同一图像特征的两个像素点的坐标存在偏差，而影响后续的图像信息调整过程。

306、根据目标区域包括的各个第一像素点对应的第一图像信息，调整过曝光区域中与各个第一像素点分别匹配的各个第二像素点对应的第二图像信息。

可以理解的是，由于第一图像的曝光值低于第二图像，所以第一图像中的目标区域是没有出现过曝光现象的，图像信息是完整的。所以电子设备在第一图像中确定出与第二图像的过曝光区域匹配的目标区域之后，可以根据第一图像的目标区域包括的各个第一像素点对应的第一图像信息，调整第二图像的过曝光区域中与上述各个第一像素点分别匹配的各个第二像素点的第二图像信息。

可选的，电子设备可以将曝光区域中与各个第一像素点分别匹配的各个第二像素点对应的第二图像信息调整为第一图像信息，也可以将曝光区域中与各个第一像素点分别匹配的各个第二像素点对应的第二图像信息调整为第一图像信息的目标倍数(例如：0.8倍、1.2倍等)，在此不作限定。

在实践中发现，电子设备的内部存储空间都是十分珍贵的，所以为了尽快地存储更多的数据，电子设备通常会将第一图像和第二图像进行压缩，以降低第一图像和第二图像的数据量。虽然通过压缩操作能够降低第一图像和第二图像的数据量，但是压缩操作也将导致第一图像和第二图像的图像信息丢失，从而不能完整地表征图像的特征细节。

对此可选的，电子设备可以对第一图像的目标区域包括的各个第一像素点对应的第一图像信息进行解压操作，以得到上述各个第一像素点对应的目标第一图像信息；以及，对第二图像的过曝光区域包括的各个第二像素点对应的第二图像信息进行解压操作，以得到上述各个第二像素点对应的目标第二图像信息。进而电子设备可以根据上述各个第一像素点对应的目标第一图像信息，调整第二图像的过曝光区域中与上述各个第一像素点分别匹配的各个第二像素点对应的目标第二图像信息。

实施上述方法，电子设备可以对第一图像和第二图像的图像信息进行解压操作，以将第一图像和第二图像的像素值恢复到线性域的光强值，使得后续可以通过第一图像更好地恢复第二图像的图像细节。

308、对优化后的第二图像进行虚化处理，以得到目标图像。

实施上述各实施例公开的方法，可以通过低曝光的第一图像调整第二图像的亮度、颜色等图像信息，以恢复第二图像中过度曝光区域的图像细节，进而可以对恢复后的第二图像进行虚化处理，以得到具有层次感和完整颜色信息的虚化图像，从而提高了虚化图像的虚化效果；以及，可以对第一图像和第二图像的图像信息进行解压操作，以将第一图像和第二图像的像素值恢复到线性域的光强值，使得后续可以通过第一图像更好地恢复第二图像的图像细节；以及，可以通过图像配准操作消除环境温度、镜头抖动等因素对拍摄结果的影响，以将第一图像和第二图像对齐，从而可以避免由于第一图像和第二图像对应同一图像特征的两个像素点的坐标存在偏差，而影响后续的图像信息调整过程。

请参阅图4，图4是本申请实施例公开的又一种图像处理方法的流程示意图，该方法可以应用于上述的电子设备或者其他执行主体，在此不作限定。该方法可以包括以下步骤：

402、获取第一图像和第二图像，第一图像和第二图像对应的拍摄内容相同，第一图像对应的曝光值小于第二图像对应的曝光值。

404、获取第二图像对应的分割图和深度图，分割图用于描述第二图像的前景区域的图像位置，深度图用于描述第二图像包括的各个像素点的深度信息。

本申请实施例中，电子设备在获取到第一图像和第二图像之后，为了后续更加准确地确定第二图像的虚化力度，电子设备可以进一步获取第二图像对应的分割图和深度图，进而根据第二图像对应的分割图和深度图来确定第二图像的虚化力度。可选的，第二图像对应的分割图和深度图可以是人工标定的，也可以是电子设备生成的，在此不作限定。

可选的，电子设备可以将第二图像输入前景分割模型，以通过前景分割模型得到第二图像对应的分割图。其中，前景分割模型可以是通过大量包括人像的样本图像训练得到的模型。可选的，前景分割模型可以包括但不限于MonoDepth模型。

可以理解的是，通过前景分割模型虽然可以快速地获取到第二图像对应的分割图，但是通过前景分割模型得到的分割图中的前景区域并不是十分准确。对此可选的，电子设备可以对前景分割模型生成的分割图中的前景区域进行边缘优化处理，以得到前景区域的边缘与前景轮廓更加吻合的优化后的分割图。其中，边缘优化处理可以包括快速引导滤波、盒式滤波等，在此不作限定。

实施上述方法，可以对第二图像对应的分割图中的前景区域进行边缘优化处理，以使得后续根据分割图确定出的前景区域更加地准确。

在另一种实施例中，电子设备可以将第二图像输入深度预测模型，以通过深度预测模型得到第二图像对应的深度图。其中，深度预测模型可以是通过大量的样本图像训练得到的模型。可选的，深度预测模型可以包括但不限于Deeplab模型。

406、根据分割图和深度图生成虚化力度图，虚化力度图用于表征第二图像包括的各个像素点对应的虚化程度。

可选的，电子设备可以根据第二图像对应的分割图和深度图，确定第二图像的前景区域的第一平均深度及背景区域的第二平均深度。其中，电子设备可以确定前景区域的最大深度和最小深度，进而根据前景区域的最大深度和最小深度确定前景区域的第一平均深度；同理地，电子设备可以确定背景区域的最大深度和最小深度，进而根据背景区域的最大深度和最小深度确定背景区域的第二平均深度。进而电子设备可以根据第二图像的前景区域的第一平均深度及背景区域的第二平均深度生成相对深度图，并根据相对深度图确定第二图像对应的虚化力度图。

可选的，第二图像对应的虚化力度图包括的各个像素点对应的虚化程度，可以与对应像素点在相对深度图中的深度值的为匹配关系，包括正相关关系、负相关关系等，在此不作限定。

408、根据第一图像调整第二图像的图像信息，以得到优化后的第二图像，图像信息至少包括亮度信息和/或颜色信息。

410、根据虚化力度图对优化后的第二图像进行虚化处理，以得到目标图像。

本申请实施例中，电子设备根据虚化力度图对优化后的第二图像进行的虚化处理可以包括但不限于模糊处理和/或光斑处理。其中，模糊处理可以包括但不限于高斯模糊算法、方框模糊算法或者双重模糊算法，模糊处理可以将图像处理为“毛玻璃”的效果。光斑处理可以包括但不限于PSF(point spread function，点扩散函数)，光斑处理可以在高亮区域形成扩散光斑的效果。高亮区域是经过模糊处理的模糊图像中亮度大于亮度阈值的区域。

实施上述方法，电子设备可以对第二图像的背景区域进行模糊处理和光斑处理，以将第二图像的背景区域处理为模糊且高光区域有光斑扩散的虚化结果，从而使得处理后的图像的背景区域更接近单反相机的拍摄效果，提高了图像的质感。

可以理解的是，通常图像中背景区域的面积是大于前景区域的，且背景区域的虚化程度通常大于前景区域的虚化程度，所以电子设备对背景区域进行虚化处理时的计算量更大。对此，在考虑到电子设备对图像进行虚化处理的计算量还与待处理的图像的分辨率呈正相关关系，即如果待处理的图像分辨率越低，则虚化处理的计算量也越少。可选的，电子设备可以根据虚化力度图对第一分辨率的第二图像的前景区域进行第一虚化处理，以得到第一虚化图像；并根据虚化力度图对第二分辨率的第二图像的背景区域进行第二虚化处理，以得到第二虚化图像；进而电子设备可以就根据第一虚化图像和第二虚化图像生成目标图像。

其中，第一分辨率可以是第二图像的初始分辨率，也可以是大于或小于初始分辨率的其他分辨率，在此不作限定。而第二分辨率可以小于第一分辨率，从而电子设备可以对较低分辨率的第二图像的背景区域进行第二虚化处理，以减少电子设备执行虚化处理时的计算量。

可选的，第一虚化处理和第二虚化处理可以是相同的，也可以是不同的，第一虚化处理和第二虚化处理可以分别包括模糊处理、光斑处理等虚化处理操作，在此不作限定。

实施上述方法，可以对较低分辨率的第二图像的背景区域进行第二虚化处理，以减少电子设备执行虚化处理时的计算量；此外，可以对分辨率较高的第二图像的前景区域进行虚化处理，以提高前景区域的虚化效果。

在一种实施例中，电子设备在根据虚化力度图对第二分辨率的第二图像的背景区域进行第二虚化处理，以得到第二虚化图像之前，可以对第二图像进行下采样操作，以将第二图像的分辨率从第一分辨率降低至第二分辨率，得到第二分辨率的第二图像。

其中，下采样操作为图像缩小操作，由于图像被缩小，从而可以达到降低图像分辨率的效果。可选的，第一分辨率可以是第二图像的初始分辨率，进而电子设备可以通过下采样操作将第二图像的分辨率从初始分辨率降低至更低的第二分辨率，以使得后续可以对较低分辨率的第二图像的背景区域进行第二虚化处理，以减少电子设备执行虚化处理时的计算量。

可选的，第二分辨率还可以大于第三分辨率。其中，第三分辨率是通常情况下对图像进行下采样操作之后，得到的图像的分辨率。在实践中发现，通常情况下执行下采样操作后的图像的分辨率较低，而由于图像的虚化效果是与图像的分辨率呈正相关关系的，所以对分辨率太低的图像进行虚化操作，将降低图像的虚化效果。对此可以将第二分辨率设定为大于第三分辨率，从而可以提高电子设备对第二分辨率的第二图像的背景区域进行第二虚化处理的虚化效果。

如上所述，为了减少电子设备执行虚化处理时的计算量，电子设备可以通过下采样操作降低第二图像的分辨率，以得到第二分辨率的第二图像，并根据虚化力度图对第二分辨率的第二图像的背景区域进行第二虚化处理，以得到第二虚化图像。所以后续虚化得到的第二虚化图像的分辨率也为第二分辨率。而第二分辨率的分辨率较低，所以如果采用第二分辨率的第二虚化图像来生成后续的目标图像，将降低目标图像的图像质量。

对此可选的，电子设备可以对第二虚化图像进行上采样操作，以得到第一分辨率的第二虚化图像，进而根据第一分辨率的第一虚化图像，和第一分辨率的第二虚化图像生成目标图像。

其中，上采样操作是与下采样操作相反的操作，上采样操作是图像放大操作，图像放大操作可以达到提升图像分辨率的效果。

实施上述方法，可以通过上采样操作将第二虚化图像的分辨率恢复到第一分辨率，从而可以提高后续根据第一分辨率的第一虚化图像，和第一分辨率的第二虚化图像生成目标图像的图像质量。

在另一种实施例中，电子设备还可以对第二虚化图像进行上采样操作，以得到第四分辨率的第二虚化图像，进而根据第一分辨率的第一虚化图像，和第四分辨率的第二虚化图像生成背景区域的虚化效果更佳的目标图像，其中，第四分辨率大于第一分辨率。

本申请实施例中，在对第二图像的前景区域和背景区域分别作虚化处理，以得到第一虚化图像和第二虚化图像之后，可以对第一虚化图像和第二虚化图像执行图像融合处理，以得到前景清晰、背景模糊对的目标图像。

其中，图像融合处理是指提取多张不同的图像的特征信息，并根据提取的特征信息按照一定的权重生成合成图像的技术。图像融合处理可以包括alpha blend算法、alphatest算法等，在此不作限定。

在一种实施例中，电子设备在根据分割图和深度图生成虚化力度图之后，可以根据虚化力度图生成权重图，该权重图用于描述第二图像中的前景区域和背景区域分别对应的权重；进而电子设备可以根据权重图对第一虚化图像和第二虚化图像进行融合操作，以得到目标图像。

结合5举例来说，图5是本申请实施例公开的一种用于说明图像融合的示意图。如图5所示，第二图像500的前景区域510处于中下方区域，则第二图像500的中下方区域对应的第一虚化图像权重可以设置为100％，对应的第二虚化图像权重可以设置为0％。即在后续的融合操作中，可以用第一虚化图像的前景区域来构成目标图像的中下方区域。

对应的，第二图像500的其他区域为背景区域520，背景区域520对应的第一虚化图像权重可以设置为0％，对应的第二虚化图像权重可以设置为100％。即在后续的融合操作中，可以用第二虚化图像的背景区域来构成目标图像中除中下方区域之外的其他区域。

实施上述方法，可以通过图像融合的方法将第一虚化图像和第二虚化图像中各自经过图像处理的区域融合成前景清晰、背景模糊对的目标图像，从而可以在减少电子设备执行虚化处理操作的计算量的同时，提高目标图像的画面质量。

在另一种实施例中，权重图用于描述第二图像的前景区域、背景区域和过渡区域分别对应的权重。其中，过渡区域是前景区域和背景区域交接的区域，为了使得图像处理效果从前景区域过渡到背景区域更加的平滑，过渡区域的权重可以是第一虚化图像的权重为50％，第二虚化图像的权重为50％，或者是第一虚化图像的权重为40％，第二虚化图像的权重为60％等，进而电子设备可以按照上述的方法根据权重图，对第一虚化图像和第二虚化图像进行图像融合操作，以生成目标图像，在此不再赘述。

实施上述各实施例公开的方法，可以通过低曝光的第一图像调整第二图像的亮度、颜色等图像信息，以恢复第二图像中过度曝光区域的图像细节，进而可以对恢复后的第二图像进行虚化处理，以得到具有层次感和完整颜色信息的虚化图像，从而提高了虚化图像的虚化效果；以及，可以对较低分辨率的第二图像的背景区域进行第二虚化处理，以减少电子设备执行虚化处理时的计算量；此外，可以对分辨率较高的第二图像的前景区域进行虚化处理，以提高前景区域的虚化效果；以及，可以通过下采样操作将第二图像的分辨率从初始分辨率降低至更低的第二分辨率，以使得后续可以对较低分辨率的第二图像的背景区域进行第二虚化处理，以减少电子设备执行虚化处理时的计算量；以及，可以通过上采样操作将第二虚化图像的分辨率恢复到第一分辨率，从而可以提高后续根据第一分辨率的第一虚化图像，和第一分辨率的第二虚化图像生成目标图像的图像质量；以及，可以通过图像融合的方法将第一虚化图像和第二虚化图像中各自经过图像处理的区域融合成前景清晰、背景模糊对的目标图像，从而可以在减少电子设备执行虚化处理操作的计算量的同时，提高目标图像的画面质量。

请参阅图6，图6是本申请实施例公开的一种图像处理装置的结构示意图，该图像处理装置可以应用于上述的电子设备或者其他执行主体，在此不作限定，该装置可以包括获取单元601、调整单元602和虚化单元603，其中：

获取单元601，用于获取第一图像和第二图像，第一图像对应的曝光值小于第二图像对应的曝光值；

调整单元602，用于根据第一图像调整所述第二图像的图像信息，以得到优化后的第二图像，图像信息至少包括亮度信息和/或颜色信息；

虚化单元603，用于对优化后的第二图像进行虚化处理，以得到目标图像。

实施上述装置，电子设备可以获取曝光值不同的第一图像和第二图像，其中，第一图像对应的曝光值小于第二图像对应的曝光值；进而可以通过低曝光的第一图像调整第二图像的亮度、颜色等图像信息，以恢复第二图像中过度曝光区域的图像细节，进而可以对恢复后的第二图像进行虚化处理，以得到具有层次感和完整颜色信息的虚化图像，从而提高了虚化图像的虚化效果。

作为一种可选的实施方式，调整单元602，还用于对第一图像和第二图像进行图像配准操作，并在第一图像中确定出与第二图像的过曝光区域匹配的目标区域，过曝光区域对应的亮度大于亮度阈值；以及，根据目标区域包括的各个第一像素点对应的第一图像信息，调整过曝光区域中与各个第一像素点分别匹配的各个第二像素点对应的第二图像信息。

实施上述装置，可以通过图像配准操作消除环境温度、镜头抖动等因素对拍摄结果的影响，以将第一图像和第二图像对齐，从而可以避免由于第一图像和第二图像对应同一图像特征的两个像素点的坐标存在偏差，而影响后续的图像信息调整过程。

作为一种可选的实施方式，图6所示的装置还包括未图示的解压单元，其中：

解压单元，用于在根据目标区域包括的各个第一像素点对应的第一图像信息，调整过曝光区域中与第一像素点匹配的第二像素点的第二图像信息之前，对目标区域包括的各个第一像素点对应的第一图像信息进行解压，以得到各个第一像素点对应的目标第一图像信息；以及，对过曝光区域包括的各个第二像素点对应的第二图像信息进行解压，以得到各个第二像素点对应的目标第二图像信息；

以及，调整单元602，还用于根据各个第一像素点对应的目标第一图像信息，调整过曝光区域中与各个第一像素点分别匹配的各个第二像素点对应的目标第二图像信息。

实施上述装置，电子设备可以对第一图像和第二图像的图像信息进行解压操作，以将第一图像和第二图像的像素值恢复到线性域的光强值，使得后续可以通过第一图像更好地恢复第二图像的图像细节。

作为一种可选的实施方式，调整单元602，还用于根据目标区域包括的各个第一像素点对应的第一图像信息，将过曝光区域中与各个第一像素点分别匹配的各个第二像素点对应的第二图像信息调整为第一图像信息；

或者，根据目标区域包括的各个第一像素点对应的第一图像信息，将过曝光区域中与各个第一像素点分别匹配的各个第二像素点对应的第二图像信息调整为第一图像信息的目标倍数。

实施上述方法，提高了图像信息调整的灵活性。

作为一种可选的实施方式，图6所示的装置还包括未图示的第二获取单元和第一生成单元，其中：

第二获取单元，用于在获取第一图像和第二图像之后，获取第二图像对应的分割图和深度图，分割图用于描述第二图像的前景区域的图像位置，深度图用于描述第二图像包括的各个像素点的深度信息；

第一生成单元，用于根据分割图和深度图生成虚化力度图，虚化力度图用于表征第二图像包括的各个像素点对应的虚化程度；

以及，虚化单元603，还用于根据虚化力度图对优化后的第二图像进行虚化处理，以得到目标图像。

实施上述装置，可以获取第二图像对应的分割图和深度图，进而根据第二图像对应的分割图和深度图来确定第二图像的虚化力度，以确定出更加准确的虚化力度。

作为一种可选的实施方式，虚化单元603，还用于根据虚化力度图对第一分辨率的第二图像的前景区域进行第一虚化处理，以得到第一虚化图像；以及，根据虚化力度图对第二分辨率的第二图像的背景区域进行第二虚化处理，以得到第二虚化图像，第二分辨率小于第一分辨率；以及，根据第一虚化图像和第二虚化图像生成目标图像。

实施上述装置，可以对较低分辨率的第二图像的背景区域进行第二虚化处理，以减少电子设备执行虚化处理时的计算量；此外，可以对分辨率较高的第二图像的前景区域进行虚化处理，以提高前景区域的虚化效果。

作为一种可选的实施方式，图6所示的装置还包括未图示的下采样单元，其中：

下采样单元，用于在根据虚化力度图对第二分辨率的第二图像的背景区域进行第二虚化处理，以得到第二虚化图像之前，对第二图像进行下采样操作，以将第二图像的分辨率从第一分辨率降低至第二分辨率，得到第二分辨率的第二图像，第二分辨率小于第一分辨率，但大于第三分辨率。

实施上述装置，电子设备可以通过下采样操作将第二图像的分辨率从初始分辨率降低至更低的第二分辨率，以使得后续可以对较低分辨率的第二图像的背景区域进行第二虚化处理，以减少电子设备执行虚化处理时的计算量。

作为一种可选的实施方式，虚化单元603，还用于对第二虚化图像进行上采样操作，以得到第一分辨率的第二虚化图像；以及，根据第一虚化图像和第一分辨率的第二虚化图像生成目标图像。

实施上述装置，可以通过上采样操作将第二虚化图像的分辨率恢复到第一分辨率，从而可以提高后续根据第一分辨率的第一虚化图像，和第一分辨率的第二虚化图像生成目标图像的图像质量。

作为一种可选的实施方式，图6所示的装置还包括未图示的第二生成单元，其中：

第二生成单元，用于在根据分割图和深度图生成虚化力度图之后，根据虚化力度图生成权重图，权重图用于描述第二图像中的前景区域和背景区域分别对应的权重；

以及，虚化单元603，还用于根据权重图对第一虚化图像和第二虚化图像进行融合操作，以得到目标图像。

实施上述装置，可以通过图像融合的方法将第一虚化图像和第二虚化图像中各自经过图像处理的区域融合成前景清晰、背景模糊对的目标图像，从而可以在减少电子设备执行虚化处理操作的计算量的同时，提高目标图像的画面质量。

请参阅图7，图7是本申请实施例公开的一种电子设备的结构示意图。

如图7所示，该电子设备可以包括：

存储有可执行程序代码的存储器701；

与存储器701耦合的处理器702；

其中，处理器702调用存储器701中存储的可执行程序代码，执行上述各实施例公开的图像处理方法。

本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行上述各实施例公开的图像处理方法。

本申请实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本申请实施例公开的一种图像处理方法及装置、电子设备、计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种图像处理方法，其特征在于，所述方法包括：

获取第一图像和第二图像，所述第一图像对应的曝光值小于所述第二图像对应的曝光值；

根据所述第一图像调整所述第二图像的图像信息，以得到优化后的第二图像，所述图像信息至少包括亮度信息和/或颜色信息；

对所述优化后的第二图像进行虚化处理，以得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像调整所述第二图像的图像信息，包括：

对所述第一图像和第二图像进行图像配准操作，并在所述第一图像中确定出与所述第二图像的过曝光区域匹配的目标区域，所述过曝光区域对应的亮度大于亮度阈值；

根据所述目标区域包括的各个第一像素点对应的第一图像信息，调整所述过曝光区域中与各个所述第一像素点分别匹配的各个第二像素点对应的第二图像信息。

3.根据权利要求2所述的方法，其特征在于，在所述根据所述目标区域包括的各个第一像素点对应的第一图像信息，调整所述过曝光区域中与各个所述第一像素点分别匹配的各个第二像素点对应的第二图像信息之前，所述方法还包括：

对所述目标区域包括的各个第一像素点对应的第一图像信息进行解压，以得到所述各个第一像素点对应的目标第一图像信息；

对所述过曝光区域包括的各个第二像素点对应的第二图像信息进行解压，以得到所述各个第二像素点对应的目标第二图像信息；

以及，所述根据所述目标区域包括的各个第一像素点对应的第一图像信息，调整所述过曝光区域中与各个所述第一像素点分别匹配的各个第二像素点对应的第二图像信息，包括：

根据所述各个第一像素点对应的目标第一图像信息，调整所述过曝光区域中与各个所述第一像素点分别匹配的各个第二像素点对应的目标第二图像信息。

4.根据权利要求2或3任一项所述的方法，其特征在于，所述根据所述目标区域包括的各个第一像素点对应的第一图像信息，调整所述过曝光区域中与各个所述第一像素点分别匹配的各个第二像素点对应的第二图像信息，包括：

根据所述目标区域包括的各个第一像素点对应的第一图像信息，将所述过曝光区域中与各个所述第一像素点分别匹配的各个第二像素点对应的第二图像信息调整为所述第一图像信息；

或者，根据所述目标区域包括的各个第一像素点对应的第一图像信息，将所述过曝光区域中与各个所述第一像素点分别匹配的各个第二像素点对应的第二图像信息调整为所述第一图像信息的目标倍数。

5.根据权利要求1所述的方法，其特征在于，在所述获取第一图像和第二图像之后，所述方法还包括：

获取所述第二图像对应的分割图和深度图，所述分割图用于描述所述第二图像的前景区域的图像位置，所述深度图用于描述所述第二图像包括的各个像素点的深度信息；

根据所述分割图和深度图生成虚化力度图，所述虚化力度图用于表征所述第二图像包括的各个像素点对应的虚化程度；

以及，所述对所述优化后的第二图像进行虚化处理，以得到目标图像，包括：

根据所述虚化力度图对所述优化后的第二图像进行虚化处理，以得到目标图像。

6.根据权利要求5所述的方法，其特征在于，所述根据所述虚化力度图对所述优化后的第二图像进行虚化处理，以得到目标图像，包括：

根据所述虚化力度图对第一分辨率的第二图像的前景区域进行第一虚化处理，以得到第一虚化图像；

根据所述虚化力度图对第二分辨率的第二图像的背景区域进行第二虚化处理，以得到第二虚化图像，所述第二分辨率小于所述第一分辨率；

根据所述第一虚化图像和所述第二虚化图像生成目标图像。

7.根据权利要求6所述的方法，在所述根据所述虚化力度图对第二分辨率的第二图像的背景区域进行第二虚化处理，以得到第二虚化图像之前，所述方法还包括：

对所述第二图像进行下采样操作，以将所述第二图像的分辨率从第一分辨率降低至第二分辨率，得到第二分辨率的第二图像，所述第二分辨率小于第一分辨率，但大于第三分辨率。

8.根据权利要求7所述的方法，其特征在于，根据所述第一虚化图像和所述第二虚化图像生成目标图像，包括：

对所述第二虚化图像进行上采样操作，以得到第一分辨率的第二虚化图像；

根据所述第一虚化图像和所述第一分辨率的第二虚化图像生成目标图像。

9.根据权利要求6所述的方法，其特征在于，在所述根据所述分割图和深度图生成虚化力度图之后，所述方法还包括：

根据所述虚化力度图生成权重图，所述权重图用于描述所述第二图像中的前景区域和背景区域分别对应的权重；

以及，所述根据所述第一虚化图像和所述第二虚化图像生成目标图像，包括：

根据所述权重图对所述第一虚化图像和所述第二虚化图像进行融合操作，以得到目标图像。

10.根据权利要求5～9任一项所述的方法，其特征在于，所述获取所述第二图像对应的分割图和深度图，包括：

将所述第二图像输入前景分割模型，以得到所述第二图像对应的分割图；

将所述第二图像输入深度预测模型，以得到所述第二图像对应的深度图。

11.一种图像处理装置，其特征在于，所述装置包括：

获取单元，用于获取第一图像和第二图像，所述第一图像对应的曝光值小于所述第二图像对应的曝光值；

调整单元，用于根据所述第一图像调整所述第二图像的图像信息，以得到优化后的第二图像，所述图像信息至少包括亮度信息和/或颜色信息；

虚化单元，用于对所述优化后的第二图像进行虚化处理，以得到目标图像。

12.一种电子设备，其特征在于，包括存储有可执行程序代码的存储器，以及与所述存储器耦合的处理器；其中，所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1～10任一项所述的方法。

13.一种计算机可读存储介质，其存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～10任一项所述的方法。

Images