CN116363017A - 图像处理方法及装置 - Google Patents

Abstract

本申请提供一种图像处理方法及装置，方法包括：获得第一图像，第一图像包括暗区区域和亮区区域；基于暗区区域的特征向量，生成第一特征向量；利用第一特征向量，生成第二图像中的第一区域，第一特征向量用于生成第一区域中的图像细节，第一区域在第二图像中的位置与暗区区域在第一图像中的位置相同；基于第一区域在第二图像中的位置和亮区区域在第一图像中的位置，将第一区域和亮区区域组合，以得到第二图像。其中，图像处理方法可以将第一图像划分成暗区区域和亮区区域，对暗区区域进行调整，使得暗区区域的调整不会受到亮区区域的制约，以使得基于第一特征向量生成的第一区域的图像细节增多，减少伪影以及纯黑区域，提高第二图像的图像质量。

Description

图像处理方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法及装置。

背景技术

电子设备可以使用修图软件对图像进行处理。但是，修图软件对图像的暗区区域的处理效果有待改善。

发明内容

本申请提供了一种图像处理方法及装置，以优化图像的暗区区域的处理效果。本申请的一些实施例提供了以下技术方案：

第一方面，本申请提供一种图像处理方法，方法包括：获得第一图像，第一图像包括暗区区域和亮区区域；基于暗区区域的特征向量，生成第一特征向量；利用第一特征向量，生成第二图像中的第一区域，第一特征向量用于生成第一区域中的图像细节，第一区域在第二图像中的位置与暗区区域在第一图像中的位置相同；基于第一区域在第二图像中的位置和亮区区域在第一图像中的位置，将第一区域和亮区区域组合，以得到第二图像。在本实施例中，图像处理方法可以将第一图像划分成暗区区域和亮区区域，对暗区区域进行调整，使得暗区区域的调整不会受到亮区区域的制约，以使得在暗区区域没有记录图像细节的前提下，通过第一特征向量来还原图像细节，并且第一特征向量中有效像素的数量明显大于暗区区域的特征向量中有效像素的数量（有效像素是像素值不为0或者不趋于0的像素），使得第一特征向量能够记录更多的图像细节，这样基于第一特征向量所生成的第一区域的图像细节增多，减少因像素值为0或趋于0导致的伪影以及纯黑区域，提高第二图像的图像质量。

在一种可能的实现方式中，方法还包括：基于亮区区域的特征向量，生成第二特征向量；利用第二特征向量，生成第二图像中的第二区域，第二特征向量用于生成第二区域中的图像细节，第二区域在第二图像中的位置与亮区区域在第一图像中的位置相同，且第二特征向量使第二区域与第一区域之间的亮度差异小于亮区区域与暗区区域之间的亮度差异；基于第一区域在第二图像中的位置和亮区区域在第一图像中的位置，将第一区域和亮区区域组合包括：基于第一区域在第二图像中的位置和第二区域在第二图像中的位置，将第一区域和第二区域组合。在本实施例中，亮区区域也作为一个独立区域进行调整，由此，亮区区域的调整也不会受到暗区区域的制约，使得第二特征向量能够主要关注亮区区域的图像细节，进而使生成的第二特征向量在改善图像细节的同时能够降低第二区域与第一区域之间的亮度差异，使得第一区域和第二区域之间的亮度过渡更加自然，提高图像质量。

在一种可能的实现方式中，基于暗区区域的特征向量，生成第一特征向量和基于亮区区域的特征向量，生成第二特征向量包括：调用图像生成模型对暗区分块图像进行处理，以生成第三特征向量，暗区分块图像基于暗区区域生成，第三特征向量包括第一特征向量，图像生成模型是通过原始图像和修正图像训练生成，原始图像是具有暗区区域的图像，修正图像是在暗区区域生成图像细节的图像，使得图像生成模型具有在暗区区域未记录图像细节的前提下重建图像细节的功能；调用图像增强模型对亮区分块区域进行处理，以生成第四特征向量，亮区分块图像基于亮区区域生成，第四特征向量包括第二特征向量，图像增强模型是通过原始图像和修正图像训练生成，使得图像增强模型具有在亮区区域记录图像细节的前提下改善图像细节的功能。

其中，原始图像和修正图像是同一个拍摄对象修正前后的两张图像，暗区分块图像包括暗区区域，那么调用图像生成模型对暗区分块图像进行处理时，意味着将暗区区域的特征向量输入到图像生成模型中，完成对暗区区域的特征向量的处理，从而通过图像生成模型生成一个包括了第一特征向量的第三特征向量。同样的调用图像增强模型对亮区分块图像进行处理时，完成了对亮区区域的特征向量的处理，从而通过图像生成模型生成一个包括了第二特征向量的第四特征向量。因为图像生成模型主要对暗区分块图像进行处理，以在暗区区域没有图像细节的前提下对其进行还原，图像增强模型主要对亮区分块图像进行处理，以在亮区区域有图像细节的前提下对其进行改善且能够降低亮区区域与其他区域之间的亮度差异，所以图像生成模型和图像增强模型在训练过程中可以分别着重关注暗区区域和亮区区域的修正效果，提高修正质量，使自身功能更加完善和准确。在一些示例中，图像生成模型和图像增强模型是同时训练得到的。

在一种可能的实现方式中，利用第一特征向量，生成第二图像中的第一区域，以及利用第二特征向量，生成第二图像中的第二区域，以及将第一区域和第二区域组合包括：将第三特征向量和第四特征向量拼接为一个特征向量；调用特征融合网络模型对拼接成的特征向量进行处理，以获得特征融合网络模型生成的第二图像，从而通过一个特征融合网络模型来生成第一区域和第二区域，并完成两个区域的组合，提高效率。

在一种可能的实现方式中，暗区分块图像基于暗区区域生成和亮区分块图像基于亮区区域生成包括：将第一图像划分成多个图像块，多个图像块中每个图像块的形状相同；基于每个图像块的信息量与预设条件之间的关系，从多个图像块中确定出作为暗区区域的图像块，以及基于暗区区域，从第一图像中确定出亮区区域；基于第一图像的尺寸、暗区区域的尺寸和暗区区域在第一图像中的位置，生成暗区分块图像；基于第一图像的尺寸、亮区区域的尺寸和亮区区域在第一图像中的位置，生成亮区分块图像。

在一种可能的实现方式中，基于每个图像块的信息量与预设条件之间的关系，从多个图像块中确定出作为暗区区域的图像块包括：若图像块的像素均值预设均值，将图像块确定为暗区区域；或者，若图像块中预设亮度下的像素总数大于预设总数，将图像块确定为暗区区域，由此，通过像素均值或者预设亮度下的像素总数完成对第一图像的分割。以将第一图像拆分成多个256*256像素的图像块为例，若图像块的像素均值小于10，确定该图像块为第一图像中的暗区区域。或者，若图像块中亮度在[0，5]之间（表示0至10之间且包括0和10）的像素总数大于该图像块的像素总数的60%，则确定该图像块为第一图像中的暗区区域。

在一种可能的实现方式中，基于第一图像的尺寸、暗区区域的尺寸和暗区区域在第一图像中的位置，生成暗区分块图像包括：基于第一图像的尺寸、暗区区域的尺寸和暗区区域在第一图像中的位置，确定第一待填充区域，对第一待填充区域中的每个像素赋值第一值，暗区区域和第一待填充区域组成暗区分块图像；基于第一图像的尺寸、亮区区域的尺寸和亮区区域在第一图像中的位置，生成亮区分块图像包括：基于第一图像的尺寸、亮区区域的尺寸和亮区区域在第一图像中的位置，确定第二待填充区域，对第二待填充区域中的每个像素赋值第二值，亮区区域和第二待填充区域组成亮区分块图像。

在一种可能的实现方式中，第一值和第二值相同，第一值为0或1。暗区分块图像中暗区区域中各像素的取值与暗区分块图像中其他区域中各像素的取值可以不同，例如暗区区域中各像素的取值为0或趋于0，其他区域中各像素的取值可以为1，以通过各像素的取值达到区分暗区分块图像中的暗区区域的目的，这样图像生成模型可以主要对暗区区域进行处理。

在一种可能的实现方式中，图像增强模型为轻量型U-Net卷积网络模型，图像生成模型为具有Transformer的金字塔型生成器；具有Transformer的金字塔型生成器包括N层网络架构；每层网络架构的输入依次经过多次卷积处理，第一层网络架构的输入为暗区区域，第二层网络架构至第N层网络架构的输入为上一层网络架构的第一个卷积处理的结果，且在第一层网络架构中最后一个卷积处理后的结果经过Transformer处理，Transformer的输出依次经过第一层网络架构的多次反卷积处理以得到第一特征向量；在第二层网络架构至第N层网络架构中，最后一个卷积处理的结果直接进行反卷积处理，且在第一层网络架构至第N-1层网络架构中，最后一个反卷积处理的输入为前一个反卷积处理的结果和下一层网络架构的输出的拼接结果，以能够将下一尺度下学习到的暗区区域的图像细节应用到上一尺度中，增大可学习的暗区区域的图像细节。不同网络架构的尺度可以不同，以学习不同尺度下暗区区域的图像细节，使得生成器能够生成一个准确的第一特征向量，以提高第二图像的第一区域中图像细节的准确度。

在一种可能的实现方式中，基于暗区区域的特征向量，生成第一特征向量是在监测到用户触发了对第一图像的修图操作后触发，或者，对第一图像进行修图处理是在第一图像的图像信息满足预设触发条件下触发。

在一种可能的实现方式中，第一图像的图像信息满足预设触发条件包括：第一图像的场景标签指示第一图像在特定场景下拍摄，其中特定场景可以是一个光照强度极低的场景，如光照强度等于或小于5勒克斯（Lux），又如夜晚环境等。和/或，第一图像中特定亮度下的像素总数大于预设数量。如亮度在[0，10]之间（表示0至10之间且包括0和10）的像素总数大于第一图像的像素总数的20%。由此，在第一图像的图像信息满足预设触发条件时自动对第一图像进行修图处理，使得第一图像的修图处理是用户无感知的。

第二方面，本申请提供一种电子设备，电子设备包括： 一个或多个处理器以及存储器；存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，电子设备执行上述图像处理方法。

第三方面，本申请提供一种计算机可读存储介质，计算机可读存储介质用于存储计算机程序，计算机程序被执行时实现上述图像处理方法。

附图说明

图1为本申请实施例提供的拍摄图像至显示图像的示意图；

图2为本申请实施例提供的对图像进行编辑保存的一种示意图；

图3为本申请实施例提供的对图像进行编辑保存的另一种示意图；

图4为本申请实施例提供的电子设备的硬件结构图；

图5为本申请实施例提供的电子设备的软件架构图；

图6为本申请实施例提供的电子设备中软件和硬件交互的示意图；

图7为本申请实施例提供的图像处理方法的信令图；

图8为本申请实施例提供的模型训练的示意图；

图9为本申请实施例提供的生成器的架构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例涉及的多个，是指大于或等于两个。需要说明的是，在本申请实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

电子设备获取图像的方式有多种，如电子设备可以通过图像拍摄装置（如摄像头）拍摄图像；又如，电子设备可以下载图像等等；又如，电子设备可以通过一些应用与其他电子设备交互图像等信息。在电子设备获取到图像后，电子设备可以调用修图软件对图像进行处理，修图软件对图像的处理过程包括：对图像中各像素的像素值进行伽马映射，以通过伽马映射调整图像中各像素的像素值，如一些示例中，伽马映射是通过系数来放大各像素的像素值，以增大图像中各像素的亮度。

其中，图像可以是在光照强度极低的场景下拍摄得到，如图像是在光照强度等于或小于5勒克斯（Lux）下拍摄得到，又如图像是在夜晚环境下拍摄得到，在这些场景下，因为曝光量低（光照强度低导致的）和图像拍摄装置的器件存在局限性，导致图像的信噪比较低，尤其是图像的暗区区域的信噪比特别低。

可以理解的是：信噪比越低说明图像细节越少，信噪比越低的区域中各像素的像素值趋于0或者像素值为0，即图像的暗区区域中一些像素的像素值趋于0或者像素值为0，在通过伽马映射对整张图像中各像素的像素值进行统一调整时，暗区区域中像素值趋于0或者为0的各像素的像素值仍趋于0或者仍为0，使得这部分像素所在区域中的图像细节丢失，导致这些区域存在伪影（artifacts），而这些区域中像素值为0的各像素形成了纯黑区域，从而降低图像质量。

以图1和图2为例，图1和图2示出了电子设备拍摄到一张包括暗区区域的图像后，电子设备对该图像的处理过程。其中，图1中的（1）示出了电子设备开启了相机应用，电子设备显示相机应用的预览界面，并且相机应用的预览界面显示有待拍摄的图像。因为电子设备处于夜晚环境下，待拍摄的图像包括暗区区域和亮区区域，亮区区域的信噪比大于暗区区域的信噪比。用户点击预览界面中的拍照，相机应用调用电子设备的摄像头拍摄到一张图像，图像可以保存在电子设备的图库应用中，在相机应用完成图像的拍摄后，电子设备继续显示相机应用的预览界面，在预览界面的缩略图控件1中显示当前拍摄到的图像的缩略图，如图1中的（2）所示。电子设备退出相机应用的预览界面，返回图1中的（3）所示主界面，主界面包括图库应用。用户点击图库应用后，电子设备显示图1中的（4）所示的照片页签，在照片页签中显示图像的缩略图以及视频的缩略图，如在图1中的（4）显示了在夜晚环境下拍摄到的图像的缩略图。

用户点击该图像的缩略图，电子设备跳转至图1中的（5）所示的图像浏览界面，在图像浏览界面中显示用户所点击的图像。其中，图像浏览界面可以包括标题栏、显示区域和工具栏，在标题栏中至少显示图像的创建参数，如图像的创建参数包括图像的拍摄时间和拍摄地点等。显示区域可以显示用户所点击的图像。工具栏可以显示操作菜单，操作菜单可以包括“分享”、“收藏”、“编辑”、“删除”以及“更多”（表示更多的操作）等操作。用户在点击“编辑”后，从图像浏览界面跳转至图2中的（1）所示的编辑界面，在编辑界面显示“编辑”关联的各选项，如“编辑”关联的各选项包括裁剪选项和修图选项，在跳转至图2中的（1）所示编辑界面后，裁剪选项处于选中状态。用户选中修图选项，跳转至图2中的（2）所示界面，电子设备可以调用修图软件对图像浏览界面显示的图像进行修图处理，修图结果如图2中的（2）所示。在用户点击保存之后，修图后的图像保存在图库应用中，如图2中的（3）所示。从修图结果可知，修图软件改善了暗区区域的部分区域，但是图像存在伪影以及纯黑区域，且修图后的图像中与暗区区域相对应区域仍存在缺少图像细节的问题，图像质量降低。

本申请的一些实施例提供一种图像处理方法，该图像处理方法可以检测出拍摄对象的第一图像中的暗区区域，基于第一图像中的暗区区域，得到暗区分块图像和亮区分块图像，暗区分块图像包括第一图像的暗区区域，亮区分块图像包括第一图像的亮区区域；调用图像生成模型对暗区分块图像进行处理，以获取图像生成模型生成的特征向量（简称特征向量1），调用图像增强模型对亮区分块图像进行处理，以获取图像增强模型生成的特征向量（简称特征向量2）；利用特征向量1和特征向量2，生成拍摄对象的第二图像。其中，特征向量1记录了暗区区域中各像素的像素值，通过这些像素的像素值在第二图像中与暗区区域所在位置相同的区域生成图像细节，同样的特征向量2记录了亮区区域中各像素的像素值，通过这些像素的像素值在第二图像中与亮区区域所在位置相同的区域生成图像细节，使得第二图像中具有图像细节的区域增多，减少第二图像中的伪影以及纯黑区域，提高第二图像的图像质量。为了便于描述，第二图像中与暗区区域所在位置相同的区域简称为第一区域，第二图像中与亮区区域所在位置相同的区域简称为第二区域。

也就是说，本申请的一些实施例提供的图像处理方法可以将图像的暗区区域和亮区区域作为独立区域，对两个独立区域分别进行调整，使得两个独立区域的调整互不影响，这样暗区区域对应的特征向量1中有效像素的数量增多（有效像素是像素值不为0或者不趋于0的像素），使得特征向量1能够记录更多的图像细节，这样基于特征向量1所生成的第一区域的图像细节增多，减少因像素值为0或趋于0导致的伪影以及纯黑区域。此外，特征向量2中各像素的像素值可能小于亮区区域中同一个像素的像素值，以降低基于特征向量2生成的第二区域的亮度，从而第二区域与第一区域之间的亮度差异小于亮区区域与暗区区域之间的亮度差异，使得第一区域和第二区域之间的亮度过渡更加自然，提高图像质量。其中图像细节包括拍摄对象的边缘和拍摄对象的纹理等。

其效果图如图3所示，接续图1中的（5），用户在点击“编辑”后，从图像浏览界面跳转至图3中的（1）所示的编辑界面。其中，图3中的（1）所示的编辑界面与图2中的（1）所示的编辑界面相同，不同之处在于，在用户选中修图选项后，图3中的（2）所示的编辑界面关联本申请实施例提供的图像处理方法，在修图选项处于选中状态时，电子设备调用本申请实施例提供的图像处理方法对图像进行修图处理，修图结果如图3中的（2）所示。在用户点击保存之后，修图后的图像保存在图库应用中，如图3中的（3）所示。将图3中的（2）中的图像与图2中的（2）中的图像进行比对可以发现，图3中的（2）所示图像中的伪影少于图2中的（2）所示图像中的伪影、且图3中的（2）所示图像中的纯黑区域少于图2中的（2）所示图像中的纯黑区域，由此电子设备通过本申请实施例提供的图像处理方法减少了图像中的伪影以及纯黑区域，提高了图像质量。此外，图3中的（2）所示图像中区域之间的亮度差异小于图2中的（2）所示图像中区域之间的亮度差异，以降低不同区域的亮度变化。

在本申请的一些实施例中，图像处理方法可以应用到电子设备中。在一些实施例中，该电子设备可以是手机、平板电脑、桌面型电脑、膝上型电脑、笔记本电脑、超级移动个人计算机（Ultra-mobile Personal Computer，UMPC）、手持计算机、上网本、个人数字助理（Personal Digital Assistant，PDA）、可穿戴电子设备、智能手表等设备。本申请对电子设备的具体形式不做特殊限定。

如图4所示，该电子设备可以包括：处理器，外部存储器接口，内部存储器，通用串行总线（universal serial bus，USB）接口，充电管理模块，电源管理模块，电池，天线1，天线2，移动通信模块，无线通信模块，传感器模块，按键，马达，指示器，摄像头，显示屏，以及用户标识模块（subscriber identification module，SIM）卡接口等。其中音频模块可以包括扬声器，受话器，麦克风，耳机接口等，传感器模块可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。

可以理解的是，本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器可以包括一个或多个处理单元，例如：处理器可以包括应用处理器（Application Processor，AP），调制解调处理器，图形处理器（Graphics ProcessingUnit，GPU），图像信号处理器（Image Signal Processor，ISP），控制器，视频编解码器，数字信号处理器（Digital Signal Processor，DSP），基带处理器，和/或神经网络处理器（Neural-network Processing Unit，NPU）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器是电子设备的神经中枢和指挥中心，控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

显示屏用于显示图像，视频、一系列图形用户界面（Graphical User Interface，GUI）等，如显示摄像头拍摄到的图像以及各种界面，如图像浏览界面和编辑界面等。

外部存储器接口可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口与处理器通信，实现数据存储功能。内部存储器（简称是内存）可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器通过运行存储在内部存储器的指令，从而执行电子设备的各种功能应用以及数据处理。例如，在本申请实施例中，处理器通过运行内部存储器中存储的指令，使得电子设备执行本申请实施例提供的图像处理方法。此外，内部存储器也可以存储数据，如存储图像生成模型和图像增强模型等，内部存储器也可以暂存摄像头拍摄到的图像，在电子设备调用图像处理方法对该图像修图后，电子设备可以将修图后的图像存储到内部存储器中，并删除修图前的图像。

摄像头用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Device，CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备可以包括1个或N个摄像头，N为大于1的正整。

另外，在上述部件之上，运行有操作系统。例如苹果公司所开发的iOS操作系统，谷歌公司所开发的Android开源操作系统，微软公司所开发的Windows操作系统等。在该操作系统上可以安装运行应用程序。

电子设备的操作系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明电子设备的软件结构。图5是电子设备的软件结构框图。软件结构采用分层架构，分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。以Android系统为例，在一些实施例中，将Android系统分为五层，从上至下分别为应用程序层，应用程序框架层（Framework），安卓运行时(Android runtime)和系统库，硬件抽象层（HAL）以及系统内核层（Kernel）。

其中，应用程序层可以包括一系列应用程序包。应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等APP。应用程序框架层为应用程序层的应用程序提供应用编程接口(Application Programming Interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。例如应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

HAL可以包含多个库模块，每个库模块可以为特定类型的硬件组件实现一组接口，如HAL包括图像拆分模块、图像特征生成模块和特征融合模块，通过图像拆分模块、图像特征生成模块和特征融合模块来执行本申请所述的图像处理方法。其中，图像拆分模块用于将摄像对象的第一图像拆分成暗区分块图像和亮区分块图像，暗区分块图像包括第一图像的暗区区域，亮区分块图像包括第一图像的亮区区域。图像特征生成模块用于调用图像生成模型对暗区分块图像进行处理，以获取图像生成模型生成的特征向量1，调用图像增强模型对亮区分块图像进行处理，以获取图像增强模型生成的特征向量2。特征融合模块，用于利用特征向量1和特征向量2，生成拍摄对象的第二图像。第二图像包括第一区域和第二区域，第一区域在第二图像中的位置与暗区区域在第一图像中的位置相同，第二区域在第二图像中的位置与亮区区域在第一图像中的位置相同，并且第一区域中的图像细节利用特征向量1生成，第二区域中的图像细节利用特征向量2生成，特征向量1和特征向量2记录了相对应区域的像素的像素值，相对于第一图像来说，特征向量1中有效像素的数量大于暗区区域的特征向量中有效像素的数量，由此，使得第二图像在改善第二区域的图像细节的同时能够生成第一区域的图像细节，减少第二图像中的伪影以及纯黑区域，提高第二图像的图像质量。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

图6示出了软件和硬件之间的交互过程，在软件和硬件交互过程中，通过图像拆分模块、图像特征生成模块和特征融合模块来执行本申请所述的图像处理方法，其过程可以包括以下步骤：

1）在相机应用打开后，相机应用通过摄像头驱动向摄像头发送拍摄指令，摄像头对拍摄对象进行拍摄，得到拍摄对象的第一图像，第一图像存储到内存的第一存储空间。

2）图库应用从第一存储空间中读取第一图像，在显示屏上显示第一图像。

3）图库应用向图像拆分模块发送图像处理指令。其中，图像处理指令可以在触发对第一图像的修图后发送。

一些示例中，在用户选择对第一图像进行修图后，由图库应用向图像拆分模块发送图像处理指令，如上述图1至图3所示，在用户打开编辑界面且选中编辑界面中的修图选项后，确定触发了对第一图像的修图；又例如，在图像浏览界面中显示第一图像时，用户可以在图像浏览界面上进行右键点击操作，在右键点击操作的作用下图像浏览界面上弹出编辑菜单，编辑菜单包括修图选项。用户点击修图选项后触发对第一图像的修图。

在一些示例中，若第一图像是在特定场景下拍摄得到，则第一图像增加一个场景标签，该场景标签用于指示第一图像在特定场景下拍摄得到。其中特定场景可以是一个光照强度极低的场景，如光照强度等于或小于5勒克斯（Lux），又如夜晚环境等。由此，相机应用在确定当前处于特定场景且在该特定场景下拍摄到第一图像，相机应用可以向图像拆分模块发送图像处理指令，又或者，图库应用在从第一存储空间读取第一图像时确定第一图像具有场景标签，且场景标签指示第一图像在特定场景下拍摄到，则图库应用可以向图像拆分模块发送图像处理指令。

在一些示例中，对第一图像进行直方图统计，以统计不同亮度下的像素数量。若特定亮度下的像素总数大于预设数量，则确定对第一图像进行修图。例如，若亮度在[0，10]之间（表示0至10之间且包括0和10）的像素总数大于第一图像的像素总数的20%，则确定对第一图像进行修图。对第一图像进行直方图统计可以是在摄像头拍摄到第一图像后执行，也可以是在图库应用从第一存储空间中读取第一图像时执行。

在一些示例中，直方图统计和特定场景可以结合，如亮度在[0，10]之间（表示0至10之间且包括0和10）的像素总数大于第一图像的像素总数的20%、且在特定场景下拍摄，确定对第一图像进行修图。通过特定场景和/或直方图统计能够自动触发对第一图像的修图，使得第一图像的修图是用户无感知的。

在本申请的一些实施例中，图库应用还可以向图像拆分模块、图像特征生成模块和特征融合模块发送启动指令，在启动指令作用下这三个模块启动运行；在图库应用关闭后，图库应用可以向这三个模块发送关闭指令，在关闭指令作用下这三个模块停止运行，从而降低这三个模块对资源的占用。

4）图像拆分模块响应图像处理指令，将第一图像拆分成暗区分块图像和亮区分块图像，暗区分块图像包括第一图像的暗区区域，亮区分块图像包括第一图像的亮区区域。图像拆分模块将暗区分块图像和亮区分块图像发送给图像特征生成模块。

5）图像特征生成模块调用图像生成模型对暗区分块图像进行处理，以获取图像生成模型生成的特征向量1，特征向量1用于生成第二图像中第一区域的图像细节，调用图像增强模型对亮区分块图像进行处理，以获取图像增强模型生成的特征向量2，特征向量2用于生成第二图像中第二区域的图像细节。图像特征生成模块将特征向量1和特征向量2发送给特征融合模块。

6）特征融合模块利用特征向量1和特征向量2，生成第二图像。在生成第二图像后，第二图像可以替换显示屏上显示的第一图像，以在显示屏上显示第二图像。第一图像和第二图像是同一个拍摄对象的两张图像。第二图像可以替换第一存储空间存储的第一图像，或者，第二图像存储在第二存储空间中，第二存储空间与图库应用关联，在打开图库应用后，图库应用显示第二存储空间存储的各个图像。

下面结合图7所示信令图对本申请实施例提供的图像处理方法进行说明，图像处理方法可以包括以下步骤：

S11、图像拆分模块确定第一图像中的暗区区域，基于第一图像中的暗区区域对第一图像进行拆分，得到第一图像的暗区区域和第一图像的亮区区域。

在本申请实施例中，图像拆分模块对第一图像进行分割处理，得到多个预设形状的图像块，例如，将第一图像分割成多个正方形的图像块，每个正方形的图像块可以包括256*256像素。然后图像拆分模块对每个图像块分别进行统计，以得到每个图像块的信息量，在图像块的信息量满足预设条件时，确定该图像块为第一图像中的暗区区域。图像拆分模块基于暗区区域对第一图像进行暗区和亮区的划分，将除暗区区域之外的区域确定为亮区区域。

在一些示例中，图像块的信息量可以是图像块的像素均值，若像素均值小于预设均值，确定该图像块为第一图像中的暗区区域。在一些示例中，图像块的信息量可以是预设亮度下的像素总数，若预设亮度下的像素总数大于预设总数，确定该图像块为第一图像中的暗区区域。

以将第一图像拆分成多个256*256像素的图像块为例，若图像块的像素均值小于10，确定该图像块为第一图像中的暗区区域。或者，若图像块中亮度在[0，5]之间（表示0至10之间且包括0和10）的像素总数大于该图像块的像素总数的60%，则确定该图像块为第一图像中的暗区区域。

S12、图像拆分模块利用暗区区域生成暗区分块图像以及利用亮区区域生成亮区分块图像。其中暗区分块图像的尺寸、亮区分块图像的尺寸和第一图像的尺寸相同。

在本申请实施例中，图像拆分模块可以从第一图像中分别提取出暗区区域和亮区区域，暗区区域可以作为暗区分块图像中的暗区区域且暗区区域在暗区分块图像中的位置与其在第一图像中的位置相同，亮区区域作为亮区分块图像中的亮区区域且亮区区域在亮区分块图像中的位置与其在第一图像中的位置相同。

然后，图像拆分模块对暗区分块图像中除暗区区域之外区域的各像素进行第一赋值操作，对亮区分块图像中除亮区区域之外区域的各像素进行第二赋值操作。其中，第一赋值操作可以是为除暗区区域之外区域的各像素赋值第一值，第二赋值操作可以是为除亮区区域之外区域的各像素赋值第二值，通过对暗区分块图像和亮区分块图像的赋值操作，使两者的尺寸与第一图像的尺寸相同，从而生成暗区分块图像和亮区分块图像。第一值和第二值可以相同，也可以不同，例如第一值和第二值都为1或者都为0，这样，图像拆分模块进行赋值操作时无需区分图像是暗区分块图像还是亮区分块图像。又例如第一值可以是1，第二值可以是0，使得暗区分块图像中除暗区区域之外的区域为亮区区域，以及亮区分块图像中除亮区区域之外的区域为暗区区域，达到一张图像中暗区区域和亮区区域能够有效区分的目的。

S13、图像特征生成模块调用图像生成模型对暗区分块图像进行处理，以获取图像生成模型生成的特征向量1，特征向量1用于生成第二图像中第一区域的图像细节。

图像生成模型是通过多组图像样本预先训练得到的，在预先训练过程中使得图像生成模型具备了无中生有的能力，其中，无中生有的能力可以是在图像（尤其是图像的暗区区域）缺少图像细节时，图像生成模型能够生成图像中的图像细节，尤其是生成暗区分块图像中暗区区域的图像细节，从而通过图像生成模型输出特征向量1，特征向量1用于生成第二图像中与暗区区域相对应的第一区域的图像细节。

暗区分块图像中暗区区域中各像素的取值与暗区分块图像中其他区域中各像素的取值可以不同，例如暗区区域中各像素的取值为0或趋于0，其他区域中各像素的取值可以为1，以通过各像素的取值达到区分暗区分块图像中的暗区区域的目的，这样图像生成模型可以主要对暗区区域进行处理。

在一些示例中，图像生成模型可以是一个生成器，例如图像生成模型可以是一个具有Transformer（基于自我注意机制的网络模型）的金字塔型生成器。图像特征生成模块可以调用具有Transformer的金字塔型生成器生成特征向量1。

S14、图像特征生成模块调用图像增强模型对亮区分块图像进行处理，以获取图像增强模型生成的特征向量2，特征向量2用于生成第二图像中第二区域的图像细节。

在本申请实施例中，图像增强模型主要是对亮区分块图像进行增强处理，以改善亮区区域的图像细节，从而使得第二图像的第二区域的图像细节优于第一图像的亮区区域的图像细节。因为亮区分块图像包括第一图像的亮区区域，该亮区区域的大部分图像细节是可知的，所以本申请实施例可以使用一个结构简单的图像增强模型对亮区分块图像进行增强处理。例如图像增强模型可以是一个轻量型U-Net卷积网络模型，降低图像增强模型的复杂度以及加快处理速度。

S15、特征融合模块利用特征向量1生成第二图像中第一区域的图像细节以及利用特征向量2生成第二图像中第二区域的图像细节，第一区域在第二图像中的位置与其在第一图像中的位置相同，第二区域在第二图像中的位置与其在第一图像中的位置相同。即第二图像和第一图像是同一个拍摄对象的两张图像，在通过摄像头拍摄到第一图像后，电子设备可以调用图7所示图像处理方法对第一图像进行修图处理，生成暗区区域的质量优于第一图像的暗区区域的质量的第二图像。

在一些示例中，特征融合模块可以将特征向量1和特征向量2融合成一个特征向量，调用特征融合网络模型对特征向量进行处理，以获得特征融合网络模型生成的第二图像。其中，特征向量1和特征向量2融合可以是特征向量1和特征向量2在x方向（图像的宽度方向）进行拼接。特征融合网络模型可以是一个三层卷积网络模型，通过三层卷积网络模型的三层卷积生成第二图像的特征向量，利用第二图像的特征向量生成第二图像。

在本申请实施例中，图像生成模型、图像增强模型和特征融合网络模型可以同时训练得到，训练过程如图8所示。在图8中轻量型U-Net卷积网络模型为图像增强模型，具有Transformer的金字塔型生成器（简称生成器）为图像生成模型，电子设备预先获取多组图像样本，每组图像样本包括原始图像和修正图像，相对于原始图像来说，修正图像的暗区区域是具有图像细节的。例如，原始图像可以是在夜晚环境下通过摄像头拍摄到的拍摄对象的第一图像，修正图像可以是在光照强度较强（如白天）环境下通过摄像头拍摄到的拍摄对象的第二图像，又或者，修正图像是对第一图像修正后的图像。其中，修正图像作为标签使用，原始图像用于获取亮区分块图像和暗区分块图像，具体过程可以参见图像拆分模块获取亮区分块图像和暗区分块图像的过程，此处不再赘述。

亮区分块图像输入到轻量型U-Net卷积网络模型中，由轻量型U-Net卷积网络模型输出特征向量2；暗区分块图像输入到生成器，由生成器输出特征向量1；特征向量1和特征向量2融合成一个特征向量后，输入到特征融合网络模型中，由特征融合网络模型输出第二图像；对第二图像和修正图像进行回归计算，其中，回归计算是利用损失函数计算第二图像和修正图像之间的损失值，损失函数可以是L1损失函数、L2损失函数和SSIM（StructureSimilarity Index Measure，结构相似性指数）损失函数。在获取到第二图像和修正图像之间的损失值后，利用该损失值调整轻量型U-Net卷积网络模型、生成器和特征融合网络模型的模型参数。对于生成器来说，生成器生成的特征向量1可以输入到判别器中，由判别器判别基于特征向量1生成的图像的真假，然后判别器输出真假程度反馈给生成器，以调整生成器的模型参数。判别器可以通过W-GAN损失函数判别真假程度。

在训练过程中，特征融合网络模型能够学习到不同位置像素赋值过程中特征向量1和特征向量2的权重，如将第二图像中一个像素与第一图像中暗区区域和亮区区域进行比对发现该像素属于暗区区域时，则特征向量1的权重大于特征向量2的权重；若该像素属于亮区区域，则特征向量2的权重大于特征向量1的权重，使得特征融合网络模型能够在像素属于暗区区域时主要使用特征向量1，在像素属于亮区区域时主要使用特征向量2，能够按照像素所属区域组合特征向量1和特征向量2。

其中，判别器可以是一个VGG（Visual Geometry Group）卷积神经网络模型，如判别器是一个VGG-16卷积神经网络模型。生成器的一种网络架构可以参见图9所示，该生成器可以是一个具有三层网络架构的网络模型，每层网络架构的输入可以依次经过多次卷积处理，且第一卷积处理后的结果可以作为下一层网络架构的输入。在第一层网络架构中，最后一个卷积处理后的结果经过Transformer处理，以得到更多的暗区区域的图像细节，Transformer的输出可以依次经过多次反卷积处理以得到生成器输出的特征向量1。在第二层网络架构和第三层网络架构中，最后一个卷积处理的结果直接进行反卷积处理，从而避免Transformer的冗余，计算量减少。并且在第一层网络架构和第二层网络架构中，最后一个反卷积处理的输入为前一个反卷积处理的结果和下一层网络架构的输出的拼接结果，以能够将下一尺度下学习到的暗区区域的图像细节应用到上一尺度中，增大可学习的暗区区域的图像细节。不同网络架构的尺度可以不同，以学习不同尺度下暗区区域的图像细节，使得生成器能够生成一个准确的特征向量1，以提高第二图像的第一区域中图像细节的准确度。不同网络架构的尺度如图9所示，此处不在阐述。

在一些示例中，本申请提供的图像处理方法可以调用图像生成模型生成特征向量1，在利用特征向量1生成第二图像中第一区域的图像细节后，基于第一区域在第二图像中的位置和亮区区域在第一图像中的位置，将第一区域和亮区区域组合，以得到第二图像，第一区域在第二图像中的位置与暗区区域在第一图像中的位置相同。

进一步的，本申请提供的图像处理方法可以调用图像增强模型生成特征向量2，在利用特征向量2生成第二图像中第二区域的图像细节后，将第一区域和第二区域组合以得到第二图像，第二区域在第二图像中的位置与亮区区域在第一图像中的位置相同。

上述调用图像生成模型生成特征向量1以及调用图像增强模型生成特征向量2仅是示例，对于特征向量1和特征向量2的生成方式，本实施例不进行限定。如电子设备可以构建一个图像库，该图像库存储有一个拍摄对象的多张图像和每张图像的特征向量，其中，一张拍摄对象的多张图像可以是在不同亮度下拍摄到的，且这多张图像可以是没有伪影以及纯黑区域的图像，或者是伪影以及纯黑区域很少的图像。在获取到第一图像后从该图像库中查找与其相似的图像，利用相似的图像的特征向量对第一图像的特征向量进行处理，生成特征向量1和特征向量2。在查找与第一图像相似的图像时可以以第一图像的亮区区域的图像细节进行匹配，因为一个拍摄对象有多张图像，那么相似的图像也可以是多张，电子设备可以从多张相似的图像中查找拍摄条件（可以是拍摄时的亮度）与第一图像的拍摄条件相接近时的亮度相接近的图像，基于该图像的特征向量得到特征向量1和特征向量2。

在这里需要说明的一点是：特征向量1是暗区分块图像的特征向量，暗区分块图像包括暗区区域，且特征向量1是记录了图像细节的一个特征向量，那么特征向量1包括了用于改善暗区区域的特征向量（即上述第一特征向量）。同样的，特征向量2是亮区分块图像的特征向量，亮区分块图像包括亮区区域，且特征向量2是记录了图像细节的一个特征向量，那么特征向量2包括了用于改善暗区区域的特征向量（即上述第二特征向量）。

此外，本申请的一些实施例提供一种电子设备，电子设备包括：一个或多个处理器以及存储器；存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，电子设备执行上述图像处理方法。

本申请的一些实施例提供一种计算机可读存储介质，计算机可读存储介质用于存储计算机程序，计算机程序被执行时实现上述图像处理方法。

Claims (13)

1.一种图像处理方法，其特征在于，所述方法包括：

获得第一图像，所述第一图像包括暗区区域和亮区区域；

基于所述暗区区域的特征向量，生成第一特征向量；

利用所述第一特征向量，生成第二图像中的第一区域，所述第一特征向量用于生成所述第一区域中的图像细节，所述第一区域在所述第二图像中的位置与所述暗区区域在所述第一图像中的位置相同；

基于所述第一区域在所述第二图像中的位置和所述亮区区域在所述第一图像中的位置，将所述第一区域和所述亮区区域组合，以得到所述第二图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述亮区区域的特征向量，生成第二特征向量；

利用所述第二特征向量，生成所述第二图像中的第二区域，所述第二特征向量用于生成所述第二区域中的图像细节，所述第二区域在所述第二图像中的位置与所述亮区区域在所述第一图像中的位置相同，且所述第二特征向量使所述第二区域与所述第一区域之间的亮度差异小于所述亮区区域与所述暗区区域之间的亮度差异；

基于所述第一区域在所述第二图像中的位置和所述亮区区域在所述第一图像中的位置，将所述第一区域和所述亮区区域组合包括：基于所述第一区域在所述第二图像中的位置和所述第二区域在所述第二图像中的位置，将所述第一区域和所述第二区域组合。

3.根据权利要求2所述的方法，其特征在于，所述基于所述暗区区域的特征向量，生成第一特征向量和所述基于所述亮区区域的特征向量，生成第二特征向量包括：

调用图像生成模型对暗区分块图像进行处理，以生成第三特征向量，所述暗区分块图像基于所述暗区区域生成，所述第三特征向量包括所述第一特征向量，所述图像生成模型是通过原始图像和修正图像训练生成，所述原始图像是具有暗区区域的图像，所述修正图像是在暗区区域生成图像细节的图像，使得所述图像生成模型具有在所述暗区区域未记录所述图像细节的前提下重建所述图像细节的功能；

调用图像增强模型对亮区分块区域进行处理，以生成第四特征向量，所述亮区分块图像基于所述亮区区域生成，所述第四特征向量包括所述第二特征向量，所述图像增强模型是通过所述原始图像和所述修正图像训练生成，使得所述图像增强模型具有在所述亮区区域记录图像细节的前提下改善图像细节的功能。

4.根据权利要求3所述的方法，其特征在于，所述利用所述第一特征向量，生成第二图像中的第一区域，以及利用所述第二特征向量，生成所述第二图像中的第二区域，以及将所述第一区域和所述第二区域组合包括：

将所述第三特征向量和所述第四特征向量拼接为一个特征向量；

调用特征融合网络模型对拼接成的特征向量进行处理，以获得所述特征融合网络模型生成的所述第二图像。

5.根据权利要求3所述的方法，其特征在于，所述暗区分块图像基于所述暗区区域生成和所述亮区分块图像基于所述亮区区域生成包括：将所述第一图像划分成多个图像块，所述多个图像块中每个图像块的形状相同；

基于每个图像块的信息量与预设条件之间的关系，从所述多个图像块中确定出作为所述暗区区域的图像块，以及基于所述暗区区域，从所述第一图像中确定出所述亮区区域；

基于所述第一图像的尺寸、所述暗区区域的尺寸和所述暗区区域在所述第一图像中的位置，生成暗区分块图像；

基于所述第一图像的尺寸、所述亮区区域的尺寸和所述亮区区域在所述第一图像中的位置，生成亮区分块图像。

6.根据权利要求5所述的方法，其特征在于，所述基于每个图像块的信息量与预设条件之间的关系，从所述多个图像块中确定出作为所述暗区区域的图像块包括：

若所述图像块的像素均值预设均值，将所述图像块确定为所述暗区区域；

或者，

若所述图像块中预设亮度下的像素总数大于预设总数，将所述图像块确定为所述暗区区域。

7.根据权利要求5或6所述的方法，其特征在于，所述基于所述第一图像的尺寸、所述暗区区域的尺寸和所述暗区区域在所述第一图像中的位置，生成暗区分块图像包括：基于所述第一图像的尺寸、所述暗区区域的尺寸和所述暗区区域在所述第一图像中的位置，确定第一待填充区域，对所述第一待填充区域中的每个像素赋值第一值，所述暗区区域和所述第一待填充区域组成所述暗区分块图像；

基于所述第一图像的尺寸、所述亮区区域的尺寸和所述亮区区域在所述第一图像中的位置，生成亮区分块图像包括：基于所述第一图像的尺寸、所述亮区区域的尺寸和所述亮区区域在所述第一图像中的位置，确定第二待填充区域，对所述第二待填充区域中的每个像素赋值第二值，所述亮区区域和所述第二待填充区域组成所述亮区分块图像。

8.根据权利要求7所述的方法，其特征在于，所述第一值和所述第二值相同，所述第一值为0或1。

9.根据权利要求3至6中任意一项所述的方法，其特征在于，所述图像增强模型为轻量型U-Net卷积网络模型，所述图像生成模型为具有Transformer的金字塔型生成器；

所述具有Transformer的金字塔型生成器包括N层网络架构；每层网络架构的输入依次经过多次卷积处理，第一层网络架构的输入为所述暗区区域，第二层网络架构至第N层网络架构的输入为上一层网络架构的第一个卷积处理的结果，且在所述第一层网络架构中最后一个卷积处理后的结果经过Transformer处理，所述Transformer的输出依次经过所述第一层网络架构的多次反卷积处理以得到所述第一特征向量；

在第二层网络架构至第N层网络架构中，最后一个卷积处理的结果直接进行反卷积处理，且在第一层网络架构至第N-1层网络架构中，最后一个反卷积处理的输入为前一个反卷积处理的结果和下一层网络架构的输出的拼接结果。

10.根据权利要求1至6中任意一项所述的方法，其特征在于，所述基于所述暗区区域的特征向量，生成第一特征向量是在监测到用户触发了对所述第一图像的修图操作后触发，或者，对所述第一图像进行修图处理是在所述第一图像的图像信息满足预设触发条件下触发。

11.根据权利要求10所述的方法，其特征在于，所述第一图像的图像信息满足预设触发条件包括：所述第一图像的场景标签指示所述第一图像在特定场景下拍摄，和/或，所述第一图像中特定亮度下的像素总数大于预设数量。

12.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器以及存储器；

所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，所述电子设备执行如权利要求1至11中任意一项所述的图像处理方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被执行时实现如权利要求1至11中任意一项所述的图像处理方法。

Images