CN116055895A - 图像处理方法及其相关设备 - Google Patents

Abstract

本申请提供了一种图像处理方法及其相关设备，涉及图像处理领域，该方法包括：显示第一界面，第一界面包括第一控件；检测到对第一控件的第一操作；响应于第一操作，获取原始图像，原始图像为暗光环境下采集的图像；确定原始图像对应的信噪比分布图；利用目标网络模型对原始图像和信噪比分布图进行处理，得到拍摄图像，其中，目标网络模型用于结合信噪比分布图包括的高信噪比区域和低信噪比区域，对原始图像分区域进行处理，拍摄图像与原始图像包括的内容对应且拍摄图像的质量比原始图像更高。本申请对暗光环境下拍摄的图像分高低信噪比区域进行处理，能够避免图像产生伪纹理，可以降低噪声，提高亮度、对比度、颜色等信息。

Description

图像处理方法及其相关设备

技术领域

本申请涉及图像处理领域，具体地，涉及一种图像处理方法及其相关设备。

背景技术

在暗光环境下拍照（或者视频）时，比如，在夜景环境下拍照，由于电子设备的进光量较少导致拍摄得到的图像亮度低、对比度低、噪声较大。为了提升图像质量和颜色，减小图像的噪声，通常会进行光照增强和颜色校正，以及去噪处理；但是，利用现有的处理方法处理后，容易使得处理后的图像产生伪纹理，并且处理后的图像可能还会出现色彩还原不足、暗区涂抹感严重、去噪能力差等问题。

因此，在暗光环境下对拍摄的图像进行处理时，如何提高图像的质量成为一个亟需解决的问题。

发明内容

本申请提供了一种图像处理方法及其相关设备，对暗光环境下拍摄的图像分高低信噪比区域进行处理，能够避免图像产生伪纹理，可以降低噪声，提高亮度、对比度、颜色等信息。

第一方面，提供了一种图像处理方法，应用于电子设备，该方法包括：

显示第一界面，所述第一界面包括第一控件；

检测到对所述第一控件的第一操作；

响应于所述第一操作，获取原始图像，所述原始图像为暗光环境下采集的图像；

确定所述原始图像对应的信噪比分布图；

利用目标网络模型对所述原始图像和所述信噪比分布图进行处理，得到拍摄图像，其中，所述目标网络模型用于结合所述信噪比分布图包括的高信噪比区域和低信噪比区域，对所述原始图像分区域进行处理，所述拍摄图像与所述原始图像包括的内容对应且所述拍摄图像的质量比所述原始图像更高。

在本申请的实施例中，通过确定暗光环境下拍摄的原始图像的信噪比分布图，将信噪比分布图划分为高信噪比区域和低信噪比区域后，结合信噪比分布图包括的高信噪比区域和低信噪比区域对原始图像利用目标网络模型进行处理，能够避免处理后的图像产生伪纹理，降低其噪声，提高亮度、对比度、颜色等信息。

结合第一方面，在第一方面的某些实现方式中，所述确定所述原始图像对应的信噪比分布图，包括：

对所述原始图像进行滤波，得到滤波后的原始图像；

确定所述原始图像和所述滤波后的原始图像之间的差值的绝对值，得到所述信噪比分布图。

在一种实施例中，滤波可以包括均值滤波、中值滤波、双边滤波、高斯滤波等。

在该实现方式中，通过对原始图像进行滤波，可以将原始图像中包括的纹理信息抹平，仅保留原始图像中的语义结构。

结合第一方面，在第一方面的某些实现方式中，所述方法还包括：

根据信噪比分布图和预设阈值，确定所述高信噪比区域和所述低信噪比区域。

在该实现方式中，通过结合预设阈值进行比较，可以划分出高信噪比区域和低信噪比区域。

结合第一方面，在第一方面的某些实现方式中，所述目标网络模型包括第一目标网络模型、第二目标网络模型、第三目标网络模型和第四目标网络模型；

所述利用目标网络模型对所述原始图像和所述信噪比分布图进行处理，得到拍摄图像，包括：

利用第一目标网络模型提取所述原始图像的特征信息；

针对对应所述高信噪比区域的所述原始图像的特征信息，利用第二目标网络模型进行处理，得到高信噪比区域局部图像；

针对对应所述低信噪比区域的所述原始图像的特征信息，利用第三目标网络模型进行处理，得到低信噪比区域局部图像；

将所述高信噪比区域局部图像和所述低信噪比区域局部图像拼接后，利用第四目标网络模型进行处理，得到拍摄图像。

在该实现方式中，针对暗光环境下拍摄的原始图像，如果利用原始图像的全局信息进行处理，计算量非常大，因此，本申请首先结合信噪比分布图，区分出高信噪比区域和低信噪比区域；然后，针对高信噪比区域和低信噪比区域分两个支路进行不同的处理；然后，再将处理后的数据拼接、利用第四目标网络模型融合后，生成拍摄图像。

结合第一方面，在第一方面的某些实现方式中，所述第三目标网络模型基于transformer网络模型训练而成。

在该实现方式中，对于低信噪比区域而言，往往存在着信息量少，以及噪声大的问题，因此，本申请通过采用transformer网络模型能利用非局部信息来进行学习的特点来进行学习融合，从而使得处理后的低信噪比区域的特征信息能达到更好的增强、降噪效果。

结合第一方面，在第一方面的某些实现方式中，所述第二目标网络模型和第四目标网络模型均基于卷积神经网络模型训练而成。

在该实现方式中，对于高信噪比区域而言，相对于低信噪比区域信息量多，噪声小，因此，本申请通过采用简单的卷积神经网络模型进行快速处理，也能达到更好的增强、降噪效果。

结合第一方面，在第一方面的某些实现方式中，所述第二目标网络模型包括三层卷积层，所述第四目标网络模型包括两层卷积层。

在该实现方式中，由于融合处理的精度要求相对高信噪比区域进行处理的精度要求较低，因此，结合网络模型进行实现时，第四目标网络模型包括的卷积层数量可以少于第二目标网络模型的数量，换句话说，第四目标网络模型的处理能力可以低于第二目标网络模型的处理能力。

结合第一方面，在第一方面的某些实现方式中，所述目标网络模型的参数是根据预测图像与标签图像之间的差异通过反向传播算法进行迭代得到的；

所述预测图像是指将训练图像输入初始网络模型得到的图像，所述初始网络模型是训练前的目标网络模型；所述标签图像和所述训练图像包括的内容对应，且所述标签图像的质量比所述训练图像更高。

结合第一方面，在第一方面的某些实现方式中，所述方法还包括：

检测到第二操作，所述第二操作用于指示开启所述电子设备的暗光场景模式，所述暗光场景模式是指所述电子设备的进光量小于预设进光量阈值的拍摄模式。

结合第一方面，在第一方面的某些实现方式中，所述第一界面是指所述电子设备的主屏界面，所述主屏界面包括相机应用程序，所述第一控件是指所述相机应用程序对应的控件。

在一种可能的实现方式中，所述第一操作是指点击所述相机应用程序的操作。

结合第一方面，在第一方面的某些实现方式中，所述第一界面是指拍照界面，所述第一控件是指用于指示拍照的控件。

在一种可能的实现方式中，所述第一操作是指点击所述用于指示拍照的控件的操作。

结合第一方面，在第一方面的某些实现方式中，所述第一界面是指视频通话界面，所述第一控件是指用于指示视频通话的控件。

在一种可能的实现方式中，所述第一操作是指点击所述用于指示视频通话的控件的操作。

上述以第一操作为点击操作为例进行举例说明；第一操作还可以包括语音指示操作，或者其它的指示电子设备进行拍照或者视频通话的操作；上述为举例说明，并不对本申请作任何限定。

第二方面，提供一种图像处理装置，所述图像处理装置包括一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述图像处理装置执行：

显示第一界面，所述第一界面包括第一控件；

检测到对所述第一控件的第一操作；

响应于所述第一操作，获取原始图像，所述原始图像为暗光环境下采集的图像；

确定所述原始图像对应的信噪比分布图；

利用目标网络模型对所述原始图像和所述信噪比分布图进行处理，得到拍摄图像，其中，所述目标网络模型用于结合所述信噪比分布图包括的高信噪比区域和低信噪比区域，对所述原始图像分区域进行处理，所述拍摄图像与所述原始图像包括的内容对应且所述拍摄图像的质量比所述原始图像更高。

第三方面，提供了一种图像处理装置，包括用于执行第一方面中任一种方法的模块/单元。

第四方面，提供了一种图像处理装置，所述图像处理装置包括：一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述图像处理装置执行第一方面中的任一种图像处理方法。

第五方面，提供了一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行第一方面中的任一种方法。

第六方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面中的任一种方法。

第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面中的任一种方法。

在本申请的实施例中，针对暗光环境下拍摄的原始图像，如果利用原始图像的全局信息进行处理，计算量非常大，因此，本申请首先结合信噪比分布图，区分出高信噪比区域和低信噪比区域；然后，针对高信噪比区域和低信噪比区域进行不同的处理。

基于此，对于低信噪比区域而言，往往存在着信息量少，以及噪声大的问题，因此，本申请通过采用transformer网络模型能利用非局部信息来进行学习的特点来进行学习融合，从而使得处理后的低信噪比区域的特征信息能达到更好的增强、降噪效果。对于高信噪比区域而言，相对于低信噪比区域信息量多，噪声小，因此，本申请通过采用简单的卷积神经网络模型进行快速处理，也能达到更好的增强、降噪效果。

本申请处理后的拍摄图像相对于现有技术处理后的图像来说，不会产生伪纹理、暗区不会出现涂抹感、色彩还原较强、去噪能力也较强。

附图说明

图1是一种适用于本申请的电子设备的硬件系统的示意图；

图2是一种适用于本申请的电子设备的软件系统的示意图；

图3是一种相关技术提供的图像处理方法的流程示意图；

图4是一种适用于本申请实施例的应用场景的示意图；

图5是另一种适用于本申请实施例的应用场景的示意图；

图6是一种适用于本申请的图像处理方法的示意图；

图7是一种适用于本申请的图像处理方法的示意图；

图8是一帧包括高信噪比区域和低信噪比区域的信噪比分布图的示意图；

图9是本申请实施提供的训练方法的示意图；

图10是本申请实施例提供的第一初始网络模型和第一目标网络模型的结构示意图；

图11是本申请实施例提供的一种电子设备的显示界面的示意图；

图12是本申请实施例提供的一种电子设备的显示界面的示意图；

图13是本申请实施例提供的一种图像处理装置的结构示意图；

图14是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

由于本申请实施例涉及大量神经网络的应用，为了便于理解，下面先对本申请实施例可能涉及的神经网络的相关术语和概念进行介绍。

1.Retinex理论

Retinex理论是一种算法，该理论认为人眼可以感知近似一致的色彩信息，这种性质称为色彩恒定性。这种恒定性是视网膜（retina）与大脑皮层（cortex）所共同作用的结果，即Retinex理论。Retinex理论认为人眼视觉系统（human visual system, HVS）所感知到物体的色彩和亮度取决于物体表面的反射特性，所以人类视觉系统往往能过够在不同的光照条件下感知物体的反射率。

2.BM3D

主要可分为三个步骤，即首先对每个参考块进行相似块匹配（Block-Matching）并分别得到一个三维的组合，然后对其进行协同变换和滤波（3D-Transform），最后对各个参考块对应组合的滤波结果进行整合（Aggregation），从而得到最终的降噪结果。

3.神经网络

神经网络是指将多个单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入；每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。

4.深度神经网络

深度神经网络（deep neural network，DNN），也称为多层神经网络，可以理解为具有多层隐含层的神经网络。按照不同层的位置对DNN进行划分，DNN内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层；层与层之间可以是全连接的，也就是说，第i层的任意一个神经元可以与第i+1层的任意一个神经元相连。

5.卷积神经网络

卷积神经网络（convolutional neuron network，CNN）是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器，该特征抽取器可以看作是滤波器；卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。

6.反向传播算法

神经网络可以采用误差反向传播（back propagation，BP）算法在训练过程中修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，用于得到最优的神经网络模型的参数；例如，权重矩阵。

以上是对本申请实施例所涉及的名词的简单介绍，以下不再赘述。

下面将结合附图，对本申请实施例中的技术方案进行描述。

图1示出了一种适用于本申请的电子设备的硬件系统。

电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实（augmented reality，AR）设备、虚拟现实（virtual reality，VR）设备、笔记本电脑、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本、个人数字助理（personal digital assistant，PDA）、投影仪等等，本申请实施例对电子设备100的具体类型不作任何限制。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serial bus，USB）接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块（subscriber identification module，SIM）卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

需要说明的是，图1所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图1所示的部件更多或更少的部件，或者，电子设备100可以包括图1所示的部件中某些部件的组合，或者，电子设备100可以包括图1所示的部件中某些部件的子部件。图1示的部件可以以硬件、软件、或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。例如，处理器110可以包括以下处理单元中的至少一个：应用处理器（application processor，AP）、调制解调处理器、图形处理器（graphics processing unit，GPU）、图像信号处理器（image signal processor，ISP）、控制器、视频编解码器、数字信号处理器（digital signal processor，DSP）、基带处理器、神经网络处理器（neural-network processing unit，NPU）。其中，不同的处理单元可以是独立的器件，也可以是集成的器件。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

示例性地，处理器110可以执行本申请实施例提供的以下方法：显示第一界面，第一界面包括第一控件；检测到对第一控件的第一操作；响应于第一操作，获取原始图像，原始图像为暗光环境下采集的图像；确定原始图像对应的信噪比分布图；利用目标网络模型对原始图像和信噪比分布图进行处理，得到拍摄图像，其中，目标网络模型用于结合信噪比分布图包括的高信噪比区域和低信噪比区域，对原始图像分区域进行处理，拍摄图像与原始图像包括的内容对应且拍摄图像的质量比原始图像更高。

图1所示的各模块间的连接关系只是示意性说明，并不构成对电子设备100的各模块间的连接关系的限定。可选地，电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。

电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194可以用于显示图像或视频。

电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。

ISP 用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件（charge coupled device，CCD）或互补金属氧化物半导体（complementary metal-oxide-semiconductor，CMOS）光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝（red green blue，RGB），YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组（moving picture experts group，MPEG）1、MPEG2、MPEG3和MPEG4。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴（即，x轴、y轴和z轴）的角速度。陀螺仪传感器180B可以用于拍摄防抖。例如，当快门被按下时，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航和体感游戏等场景。

示例性地，在本申请的实施例中陀螺仪传感器180B可以用于采集的抖动信息，抖动信息可以用于表示电子设备在拍摄过程中的位姿变化。

加速度传感器180E可检测电子设备100在各个方向上（一般为x轴、y轴和z轴）加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别电子设备100的姿态，作为横竖屏切换和计步器等应用程序的输入参数。

距离传感器180F用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，例如在拍摄场景中，电子设备100可以利用距离传感器180F测距以实现快速对焦。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。

触摸传感器180K，也称为触控器件。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，并且与显示屏194设置于不同的位置。

上文详细描述了电子设备100的硬件系统，下面介绍图像电子设备100的软件系统。

图2是本申请实施例提供的电子设备的软件系统的示意图。

如图2所示，系统架构中可以包括应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。

应用层210可以包括相机应用程序、图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。

应用框架层220为应用层的应用程序提供应用程序编程接口（applicationprogramming interface，API）和编程框架；应用框架层可以包括一些预定义的函数。

例如，应用框架层220可以包括相机访问接口；相机访问接口中可以包括相机管理与相机设备。其中，相机管理可以用于提供管理相机的访问接口；相机设备可以用于提供访问相机的接口。

硬件抽象层230用于将硬件抽象化。比如，硬件抽象层可以包相机抽象层以及其他硬件设备抽象层；相机硬件抽象层可以调用相机算法库中的算法。

例如，相机算法库中可以包括用于图像处理的软件算法。

驱动层240用于为不同硬件设备提供驱动。例如，驱动层可以包括相机设备驱动；数字信号处理器驱动、图形处理器驱动或者中央处理器驱动。

硬件层250可以包括相机设备以及其他硬件设备。

例如，硬件层250包括相机设备、数字信号处理器、图形处理器或者中央处理器；示例性地，相机设备中可以包括图像信号处理器，图像信号处理器可以用于图像处理。

示例性地，本申请实施例提供的下采样模型的训练方法可以在数字信号处理器、图形处理器或者中央处理器中执行；或者电子设备的其他算例硬件中执行。

目前，在暗光环境下拍照（或者视频）时，比如，在夜景环境下拍照，由于电子设备的进光量较少导致拍摄得到的图像亮度低、对比度低、噪声较大。为了提升图像质量和颜色，减小图像的噪声，如图3所示，现有技术通常会针对拍摄的原始图像进行光照增强和颜色校正，以及去噪处理，得到的处理后的图像可以用于显示。其中，原始图像为欠曝光图像，现有方法通常利用直方图进行均衡化、基于Retinex理论、或者基于CNN网络进行光照增强和颜色校正，以及利用BM3D、神经网络进行去噪。

但是，利用现有的处理方法处理后，容易使得处理后的图像产生伪纹理，并且处理后的图像可能还会出现色彩还原不足、暗区涂抹感严重、去噪能力差等问题。

有鉴于此，本申请实施例提供了一种图像处理方法，通过确定暗光环境下拍摄的原始图像的信噪比分布图，将信噪比分布图划分为高信噪比区域和低信噪比区域后，结合信噪比分布图包括的高信噪比区域和低信噪比区域对原始图像利用目标网络模型进行处理，能够避免处理后的图像产生伪纹理，降低其噪声，提高亮度、对比度、颜色等信息。

下面结合图4与图5对本申请实施例提供的图像处理方法的应用场景进行举例说明。

应用场景一：拍照领域

本申请的图像处理方法可以应用于拍照领域；例如，可以应用于暗光场景的拍摄图像或者录制视频。图4示出了一种拍照场景示意图，如图4所示，在暗光场景下（例如，夜晚）拍照时，电子设备的进光量少导致拍摄得到的图像亮度低、对比度低、噪声较大；图4中的（a）是采用现有技术提供的方法进行图像处理，所得到的拍摄对象A（夜晚下的大树和草坪）的预览图像；图4中的（b）是通过本申请实施例提供的图像处理方法，所得到的同一拍摄对象A的预览图像；图4中的（b）所示的预览图像与图4中的（a）所示的预览图像相比，亮度、对比度、颜色还原度均得到提升，同时消除了伪纹理和噪声；可见，通过本申请实施例的图像处理方法，能够提升图像的亮度、对比度和颜色还原度，提高图像质量。

应用场景二：视频通话

本申请的图像处理方法可以应用于视频通话领域；比如，在暗光场景下视频通话时，由于电子设备的进光量少导致视频通话时显示的图像亮度低、对比度低、噪声较大；如图5所示，图5中的（a）是采样现有方案进行图像处理，得到拍摄对象B（夜晚路灯下的两个皮球）的预览图像；图5中的（b）是通过本申请实施例提供的图像处理方法，所得到的同一拍摄对象B的预览图像；图5中的（b）所示的预览图像与图5中的（a）所示的预览图像相比，亮度、对比度、颜色还原度均得到提升，同时消除了伪纹理和噪声；可见，通过本申请实施例的图像处理方法，能够提升图像的亮度、对比度和颜色还原度，提高图像质量。

应理解，上述为对应用场景的举例说明，并不对本申请的应用场景作任何限定。

下面结合图6至图10对本申请实施例提供的图像处理方法进行详细描述。

图6是本申请实施例提供的一种图像处理方法的示意图。图6所示的图像处理方法可以由图1中所示的电子设备执行，或者，由配置于图1所示的电子设备中的芯片执行；图6所示的图像处理方法300包括S311至S314，下面分别对S311至S314进行详细的描述。

S311、电子设备启动相机，并显示第一界面，第一界面包括第一控件。

S312、电子设备检测到用户在第一界面上对第一控件的第一操作。

S313、响应于第一操作，摄像头采集原始图像，并确定原始图像对应的信噪比分布图。

应理解，原始图像为暗光环境下采集的图像。暗光环境包括夜景、低光照环境等。

示例性地，在暗光环境下，可以通过电子设备的传感器采集Raw域图像，即原始图像为Raw域图像。

应理解，Raw域图像可以是指在Raw颜色空间获取的图像；即Raw域图像可以是指图像位于Raw颜色空间。当然，原始图像也可以为RGB域图像，即RGB域图像可以是指图像位于RGB域颜色空间。或者，原始图像也可以为多光谱图像等其他彩色图像，本申请实施例对此不做限定。

示例性地，如图7所示，本申请可以针对原始图像进行预处理，处理后得到原始图像对应的信噪比分布图。

其中，对原始图像进行预处理可以包括：

步骤一、对原始图像进行滤波，得到滤波后的原始图像。

此处，可以采用均值滤波、中值滤波、双边滤波、高斯滤波等一个或多个滤波算法对原始图像进行处理，将原始图像中包括的纹理信息抹平，仅保留原始图像中的语义结构。

步骤二、确定原始图像与滤波后的原始图像之间的差值的绝对值，得到信噪比分布图。

应理解，信噪比用于指示电子设备中信号与噪声的比例，此处信噪比分布图可以用于指示电子设备获取的原始图像中信噪比的分布情况。

具体地，由于原始图像和滤波后的原始图像的尺寸相同，可以针对同一位置处的像素，将原始图像中的像素值与滤波后的原始图像中的像素值做差，进而确定该差值的绝对值，然后，将该差值的绝对值作为信噪比分布图中同一位置处像素的像素值。

例如，原始图像中第10行第10列像素对应的像素值为（125，230，100）；滤波后的图像中第10行第10列像素对应的像素值为（25，200，200），则确定两个像素值之间的差值的绝对值后，可以得到信噪比分布图中第10行第10列像素对应的像素值可以为（100，30，100）。

除了上述步骤，可选地，本申请实施例中还可以根据预设阈值，将信噪比分布图划分为高信噪比区域和低信噪比区域。

预设阈值可以基于经验值统计得到。结合预设阈值，可以将大于预设阈值的像素划分为高信噪比区域，将小于预设阈值的像素划分为低信噪比区域；针对等于预设阈值的像素可以划分到高信噪比区域，或者也可以划分到低信噪比区域，具体可以根据需要设定划分条件，本申请实施例对此不进行任何限制。例如，可以将大于或等于预设阈值的像素划分为高信噪比区域，将小于预设阈值的像素划分为低信噪比区域。

应理解，当原始图像在滤波过程中去除的噪声越少，针对同一位置处的像素，原始图像和滤波后的原始图像的差值的绝对值越小，该像素所对应的位置则可以被划分到高信噪比区域，所有被划分到高信噪比区域的像素所对应的像素位置可以组成高信噪比区域；相对的，若原始图像在滤波过程中去除的噪声越多，针对同一位置处的像素，原始图像和滤波后的原始图像的差值的绝对值越大，该像素所对应的像素位置则可以被划分到低信噪比区域，所有被划分到低信噪比区域的像素所对应的像素位置可以组成低信噪比区域。换句话说，低信噪比区域，信息量少，噪声大，而高信噪比区域，信息量多，噪声小。

应理解，由于信噪比分布图中的数据分布不具有固定规律，按照预设阈值划分后的属于高信噪比区域的像素的位置彼此之间可能相邻，也可能不相邻；同理，属于低信噪比区域的像素的位置彼此之间可能相邻，也可能不相邻，但是，结合高信噪比区域和低信噪比区域，可以拼接成完整的信噪比分布图。

例如，如图8所示，矩形区域用于指示信噪比分布图，在矩形区域中的椭圆区域用于指示低信噪比区域，除椭圆之外的其他区域用于指示高信噪比区域。结合图8可知，高信噪比区域和低信噪比区域可以拼接组合成一帧信噪比分布图。

上述以一个预设阈值将信噪比分布图划分为高信噪比区域和低信噪比区域为例进行说明，除此之外，本申请还可以设定两个或多个预设阈值，将信噪比分布图划分成三个或三个以上对应不同区间范围的信噪比区域，后续针对该三个或三个以上划分出的信噪比区域可以对原始图像不同位置进行不同的处理。

例如，本申请可以设定两个不同的预设阈值，比如分别为第一预设阈值和第二预设阈值，第一预设阈值大于第二预设阈值。将大于或等于第一预设阈值的像素的位置划分为高信噪比区域，将小于第一预设阈值，而大于或等于第二预设阈值的像素的位置划分为中信噪比区域，还可以将小于第二预设阈值的像素的位置划分为低信噪比区域。后续可以结合高信噪比区域、中信噪比区域、低信噪比区域该三个区域，对原始图像进行不同的处理。

应理解，划分成三个或三个以上信噪比区域，相对于上述仅划分成两个信噪比区域来说，划分的越细，后续进行一系列处理后所达到的处理效果越细腻。

S314、基于原始图像和对应的信噪比分布图，得到拍摄图像。

拍摄图像可以用于显示或进行存储。

示例性地，本申请可以利用目标网络模型对原始图像和信噪比分布图进行处理，处理后得到原始图像对应的拍摄图像。拍摄图像与原始图像包括的内容对应，且拍摄图像的质量比原始图像更高，比如，亮度、对比度、色彩还原度、清晰度等数据，拍摄图像都比原始图像更高或更好。

如图7所示，目标网络模型可以包括第一目标网络模型、第二目标网络模型、第三目标网络模型和第四目标网络模型，第一目标网络模型的输出端与第二目标网络模型和第三目标网络模型的输入端分别相连接，第二目标网络模型、第三目标网络模型的输出端与第四目标网络模型的输入端分别相连接。其中，第一目标网络模型输入端用于输入原始图像，第二目标网络模型和第三目标网络模型的输入端还用于输入原始图像对应的信噪比分布图，第四目标网络模型的输出端用于输出拍摄图像。

基于此结构，上述利用目标网络模型对原始图像和信噪比分布图像进行处理可以进一步包括以下S3141至S3144。

S3141、输入原始图像，利用第一目标网络模型提取原始图像的特征信息。

第一目标网络模型可以基于编解码结构（encoder decoder）的模型训练而成，提取的特征信息可以指示原始图像中的纹理和语义信息。应理解，第一目标网络模型只要具有编解码结构即可，本申请对该模型的具体名称不做限定。

图10用于示意第一目标网络模型的结构。如图10所示，第一目标网络模型可以包括编码器和解码器，编码器可以将输入序列转换成特征信息；解码器可以将之前生成的特征信息，再转化成输出序列。结合图10，本申请可以将原始图像输入第一目标网络模型中，在编码器提取出原始图像的特征信息之后，将该特征信息不进行解码，而直接进行输出。

可选地，在第一目标网络模型中，还可以引入注意力模块，注意力模块用于实现注意力机制，使得针对原始图像进行处理的过程中，更关注重要特征信息，使得重要特征信息在处理过重权重更大。例如，针对红绿蓝三通道，若需要在处理图像时更关注绿色通道，则可以增大绿色通道对应的权重系数，而对其他两个通道对应的权重系数进行减小。

S3142、结合上述S3141提取的原始图像的特征信息，以及划分出的高信噪比区域，针对对应高信噪比区域的原始图像的特征信息，利用第二目标网络模型进行处理，得到高信噪比区域局部图像。

第二目标网络模型可以基于卷积神经网络模型训练而成。

针对暗光环境下拍摄的图片，如果利用原始图像的全局信息进行处理，计算量非常大，因此，本申请首先结合信噪比分布图划分出的高信噪比区域和低信噪比区域，将原始图像的特征信息的位置进行区分；然后，针对位于高信噪比区域和低信噪比区域的特征信息行不同的处理。

应理解，对于高信噪比区域而言，相对于低信噪比区域信息量多，噪声小，因此，可以采用简单的卷积神经网络模型进行快速处理，达到更好的增强、降噪效果。

S3143、结合上述S3141提取的原始图像的特征信息，以及划分出的低信噪比区域，针对对应低信噪比区域的原始图像的特征信息，利用第三目标网络模型进行处理，得到低信噪比区域局部图像。

第三目标网络模型可以基于transformer网络模型训练而成。

应理解，对于低信噪比区域而言，相对于高信噪比区域，往往存在着信息量少，以及噪声大的问题，因此，可以采用transformer网络模型能利用非局部信息（或者说全局信息）来进行学习的特点进行学习融合，从而可以使得处理后的图像达到更好的增强、降噪效果。

此外，还需要说明的是，由于transformer网络模型也是一种编解码结构的网络模型，因此，在电子设备的算力较高的情况下，第一目标网络模型可以与第三目标网络模型相同，也即基于transformer网络模型训练得到第一目标网络模型，然后，利用第一目标网络模型来提取原始图像的特征信息。

S3144、将高信噪比区域局部图像和低信噪比区域局部图像拼接后，利用第四目标网络模型进行处理，得到拍摄图像。

第四目标网络模型可以基于卷积神经网络模型训练而成。第四目标网络模型可以与第三目标网络模型相同，也可以不相同，具体可以根据需要进行设置。

例如，第四目标网络模型可以基于包括两层卷积层的卷积神经网络模型训练而成，而第三目标网络模型可以基于包括三次卷积层的卷积神经网络模型训练而成。此处，需要说明的是，由于融合处理的精度要求相对高信噪比区域进行处理的精度要求较低，因此，结合网络模型进行实现时，第四目标网络模型包括的卷积层数量可以少于第二目标网络模型的卷积层数量，换句话说，第四目标网络模型的处理能力可以低于第二目标网络模型的处理能力。

在本申请的实施例中，针对暗光环境下拍摄的原始图像，如果利用原始图像的全局信息进行处理，计算量非常大，因此，本申请首先结合信噪比分布图，区分出高信噪比区域和低信噪比区域；然后，针对高信噪比区域和低信噪比区域进行不同的处理。

基于此，对于低信噪比区域而言，往往存在着信息量少，以及噪声大的问题，因此，本申请通过采用transformer网络模型能利用非局部信息来进行学习的特点来进行学习融合，从而使得处理后的低信噪比区域的特征信息能达到更好的增强、降噪效果。对于高信噪比区域而言，相对于低信噪比区域信息量多，噪声小，因此，本申请通过采用简单的卷积神经网络模型进行快速处理，也能达到更好的增强、降噪效果。

本申请处理后的拍摄图像相对于现有技术处理后的图像来说，不会产生伪纹理、暗区不会出现涂抹感、色彩还原较强、去噪能力也较强。

可选地，在执行上述方法之前，本申请实施例提供的目标网络模型可以通过以下训练方法得到，也即，本申请提供的方法还可以包括：

S310、结合训练图像和标签图像，对初始网络模型进行训练，得到目标网络模型。

训练图像为在暗光环境下采集的图像，或者，为电子设备中存储的图像，当然，也可能为从服务器下载或从其他电子设备接收到的图像，本申请实施例对此不进行任何限制。

训练图像可以为Raw域图像或RGB域图像，本申请实施例对此不进行限制。

标签图像用于指示与训练图像内容相同，质量相对较好的图像。标签图像可以携带人工或机器标注的标签，该标签用于指示图像为没有伪纹理、暗区没有涂抹感、色彩准确、没有噪声的图像。

初始网络模型为训练前的模型，目标网络模型为训练后生成的模型。目标网络模型的参数是通过反向传播算法得到的。

如图9所示，初始网络模型可以包括第一初始网络模型、第二初始网络模型、第三初始网络模型和第四初始网络模型，第一初始网络模型的输出端与第二初始网络模型和第三初始网络模型的输入端分别相连接，第二初始网络模型、第三初始网络模型的输出端与第四初始网络模型的输入端分别相连接。其中，第一初始网络模型输入端用于输入训练图像，第二初始网络模型和第三初始网络模型的输入端还用于输入训练图像对应的信噪比分布训练图，第四初始网络模型的输出端用于输出预测图像。

示例性地，结合图9所示的初始网络模型的结构，上述利用训练图像，对初始网络模型进行训练，得到目标网络模型，可以包括以下S3101至S3103。

S3101、确定训练图像对应的信噪比分布训练图。

针对训练图像可以进行预处理，处理后得训练图像对应的信噪比分布训练图。

此处，针对训练图像进行预处理的方法与针对原始图像进行预处理的方法可以相同，也可以不同，具体可以根据需要进行设置，本申请实施例对此不进行任何限制。

当针对训练图像进行预处理的方法与针对原始图像进行预处理的方法相同时，例如，可以包括：对训练图像进行滤波，得到滤波后的训练图像；确定训练图像与滤波后的训练图像之间的差值的绝对值，得到信噪比分布训练图。

S3102、将训练图像和对应的信噪比分布训练图输入初始网络模型，得到预测图像。

初始网络模型用于对训练图像进行亮度增强、色彩还原和去噪。

具体地，输入训练图像，利用第一初始网络模型提取训练图像的特征信息；根据预设阈值，将信噪比分布训练图划分为高信噪比区域和低信噪比区域；结合提取的训练图像的特征信息，以及划分出的高信噪比区域，针对对应高信噪比区域的训练图像的特征信息，利用第二初始网络模型进行处理，得到高信噪比区域局部训练图像；结合提取的训练图像的特征信息，以及划分出的低信噪比区域，针对对应低信噪比区域的训练图像的特征信息，利用第三初始网络模型进行处理，得到低信噪比区域局部训练图像；将高信噪比区域局部训练图像和低信噪比区域局部训练图像拼接后，利用第四初始网络模型进行处理，得到预测图像。

S3103、基于预测图像和标签图像，训练初始网络模型，得到目标网络模型。

示例性地，上述S3103还可以描述为：基于预测图像和标签图像，确定两者之间的损失函数，并利用反向传播算法，调整初始网络模型的参数，迭代得到目标网络模型。此处，损失函数可以指示L2或huber loss。

应理解，由于第一初始网络模型、第二初始网络模型、第三初始网络模型和第四初始网络模型在训练过程中，输入和输出的数据相互影响，因此，在训练时，基于预测图像和标签图像，确定两者之间的损失函数，并利用反相传播算法，可以对初始网络模型包括第一初始网络模型、第二初始网络模型、第三初始网络模型和第四初始网络模型的参数一起进行调整。

在一个示例中，可以在电子设备的相机应用程序中开启暗光场景模式，则在电子设备识别到当前的拍摄环境处于进光量较少的暗光场景下，通过本申请实施例提供的图像处理方法对传感器采集的原始图像进行处理，从而输出处理后的图像或者视频。

图11和图12示出了电子设备的一种图形用户界面（graphical user interface，GUI）。

在一个示例中，如图11中的（a）所示的GUI可以是相机应用程序在拍照模式下的显示界面，该显示界面中可以包括拍摄界面410；拍摄界面410上可以包括取景框411与控件；比如，取景框411中可以包括用于指示拍照的控件412与用于指示设置的控件413；检测到用户点击控件413的操作，响应于用户操作显示设置界面，如图11中的（b）所示；在设置界面上包括暗光场景模式414，检测到用户开启暗光场景模式；在电子设备开启暗光场景模式后，可以通过本申请实施例提供的图像处理方法对电子设备采集的图像进行图像处理。

在一个示例中，如图12中的（a）所示的拍摄界面410中可以包括用于指示人工智能（artificial intelligence，AI）暗光场景模式的控件415；检测到用户点击控件415的操作后，响应于用户操作开启AI暗光场景模式，如图12中的（b）所示。在用户开启AI暗光场景模式后，用户可以无需手动选择开启暗光场景模式；即电子设备可以根据拍摄场景的进光量自动识别暗光场景，在暗光场景中自动开启暗光场景模式；开启暗光场景模式后可以采用本申请实施例提供的图像处理方法对获取的图像进行处理，得到处理后的图像。

在本申请的实施例中，针对暗光场景下的拍摄的原始图像，如果利用原始图像的全局信息进行处理，计算量非常大，效率比较低。因此，本申请首先通过预处理，得到原始图像对应的信噪比分布图；再基于预设阈值，将信噪比分布图划分成高信噪比区域和低信噪比区域，由于位于高信噪比区域的特征信息的特点与低信噪比区域的特征信息的特点不同，因此可以进行不同的处理。

基于此，对于低信噪比区域而言，往往存在着信息量少，以及噪声大的问题，因此，本申请通过采用transformer网络模型能利用非局部信息来进行学习的特点来进行学习融合，从而使得处理后的低信噪比区域的特征信息能达到更好的增强、降噪效果。对于高信噪比区域而言，相对于低信噪比区域信息量多，噪声小，因此，本申请通过采用简单的卷积神经网络模型进行快速处理，也能达到更好的增强、降噪效果。

本申请处理后的拍摄图像相对于现有技术处理后的图像来说，不会产生伪纹理、暗区不会出现涂抹感、色彩还原较强、去噪能力也较强。

上文结合图1至图12详细描述了本申请实施例提供的图像处理方法；下面将结合图13详细描述本申请的装置。应理解，本申请实施例中的装置可以执行前述本申请实施例的各种方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。

图13是本申请实施例提供的一种图像处理装置的结构示意图。该图像处理装置500包括显示模块510与处理模块520。

其中，显示模块510用于显示第一界面，所一界面包括第一控件；处理模块520用于检测到对第一控件的第一操作；响应于第一操作，获取原始图像，原始图像为暗光环境下采集的图像；确定原始图像对应的信噪比分布图；利用目标网络模型对原始图像和信噪比分布图进行处理，得到拍摄图像，其中，目标网络模型用于结合信噪比分布图包括的高信噪比区域和低信噪比区域，对原始图像分区域进行处理，拍摄图像与原始图像包括的内容对应且拍摄图像的质量比原始图像更高。

需要说明的是，上述图像处理装置500以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。

例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路（application specific integrated circuit，ASIC）、电子电路、用于执行一个或多个软件或固件程序的处理器（例如共享处理器、专有处理器或组处理器等）和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

图14示出了本申请提供的一种电子设备的结构示意图。图14中的虚线表示该单元或该模块为可选的；电子设备600可以用于实现上述方法实施例中描述的方法。

电子设备600包括一个或多个处理器601，该一个或多个处理器601可支持电子设备600实现方法实施例中的下采样模型的训练方法，或者图像处理方法。处理器601可以是通用处理器或者专用处理器。例如，处理器601可以是中央处理器（central processingunit，CPU）、数字信号处理器（digital signal processor，DSP）、专用集成电路（application specific integrated circuit，ASIC）、现场可编程门阵列（fieldprogrammable gate array，FPGA）或者其它可编程逻辑器件，如分立门、晶体管逻辑器件或分立硬件组件。

处理器601可以用于对电子设备600进行控制，执行软件程序，处理软件程序的数据。电子设备600还可以包括通信单元605，用以实现信号的输入（接收）和输出（发送）。

例如，电子设备600可以是芯片，通信单元605可以是该芯片的输入和/或输出电路，或者，通信单元605可以是该芯片的通信接口，该芯片可以作为终端设备或其它电子设备的组成部分。

又例如，电子设备600可以是终端设备，通信单元605可以是该终端设备的收发器，或者，通信单元605可以是该终端设备的收发电路。

电子设备600中可以包括一个或多个存储器602，其上存有程序604，程序604可被处理器601运行，生成指令603，使得处理器601根据指令603执行上述方法实施例中描述的训练方法，或者图像处理方法。

可选地，存储器602中还可以存储有数据。可选地，处理器601还可以读取存储器602中存储的数据，该数据可以与程序604存储在相同的存储地址，该数据也可以与程序604存储在不同的存储地址。

处理器601和存储器602可以单独设置，也可以集成在一起，例如，集成在终端设备的系统级芯片（system on chip，SOC）上。

示例性地，存储器602可以用于存储本申请实施例中提供的图像处理方法的相关程序604，处理器601可以用于在执行图像处理时调用存储器602中存储的图像处理方法的相关程序604，执行本申请实施例的图像处理方法；例如，显示第一界面，所一界面包括第一控件；检测到对第一控件的第一操作；响应于第一操作，获取原始图像，原始图像为暗光环境下采集的图像；确定原始图像对应的信噪比分布图；利用目标网络模型对原始图像和信噪比分布图进行处理，得到拍摄图像，其中，目标网络模型用于结合信噪比分布图包括的高信噪比区域和低信噪比区域，对原始图像分区域进行处理，拍摄图像与原始图像包括的内容对应且拍摄图像的质量比原始图像更高。

本申请还提供了一种计算机程序产品，该计算机程序产品被处理器601执行时实现本申请中任一方法实施例所述的训练方法或者图像处理方法。

该计算机程序产品可以存储在存储器602中，例如是程序604，程序604经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器601执行的可执行目标文件。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现本申请中任一方法实施例所述的图像处理方法。该计算机程序可以是高级语言程序，也可以是可执行目标程序。

该计算机可读存储介质例如是存储器602。存储器602可以是易失性存储器或非易失性存储器，或者，存储器602可以同时包括易失性存储器和非易失性存储器。其中，非易失性存储器可以是只读存储器（read-only memory，ROM）、可编程只读存储器（programmableROM，PROM）、可擦除可编程只读存储器（erasable PROM，EPROM）、电可擦除可编程只读存储器（electrically EPROM，EEPROM）或闪存。易失性存储器可以是随机存取存储器（randomaccess memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（static RAM，SRAM）、动态随机存取存储器（dynamicRAM，DRAM）、同步动态随机存取存储器（synchronous DRAM，SDRAM）、双倍数据速率同步动态随机存取存储器（double data rate SDRAM，DDR SDRAM）、增强型同步动态随机存取存储器（enhanced SDRAM，ESDRAM）、同步连接动态随机存取存储器（synchlink DRAM，SLDRAM）和直接内存总线随机存取存储器（direct rambus RAM，DR RAM）。

本领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和设备的具体工作过程以及产生的技术效果，可以参考前述方法实施例中对应的过程和技术效果，在此不再赘述。

在本申请所提供的几个实施例中，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例的一些特征可以忽略，或不执行。以上所描述的装置实施例仅仅是示意性的，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统。另外，各单元之间的耦合或各个组件之间的耦合可以是直接耦合，也可以是间接耦合，上述耦合包括电的、机械的或其它形式的连接。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

另外，本文中术语“系统”和“网络”在本文中常被可互换使用。本文中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

总之，以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种图像处理方法，其特征在于，应用于电子设备，所述方法包括：

显示第一界面，所述第一界面包括第一控件；

检测到对所述第一控件的第一操作；

响应于所述第一操作，获取原始图像，所述原始图像为暗光环境下采集的图像；

确定所述原始图像对应的信噪比分布图；

利用目标网络模型对所述原始图像和所述信噪比分布图进行处理，得到拍摄图像，其中，所述目标网络模型用于结合所述信噪比分布图包括的高信噪比区域和低信噪比区域，对所述原始图像分区域进行处理，所述拍摄图像与所述原始图像包括的内容对应且所述拍摄图像的质量比所述原始图像更高。

2.根据权利要求1所述的图像处理方法，其特征在于，所述确定所述原始图像对应的信噪比分布图，包括：

对所述原始图像进行滤波，得到滤波后的原始图像；

确定所述原始图像和所述滤波后的原始图像之间的差值的绝对值，得到所述信噪比分布图。

3.根据权利要求1或2所述的图像处理方法，其特征在于，所述方法还包括：

根据信噪比分布图和预设阈值，确定所述高信噪比区域和所述低信噪比区域。

4.根据权利要求1所述的图像处理方法，其特征在于，所述目标网络模型包括第一目标网络模型、第二目标网络模型、第三目标网络模型和第四目标网络模型；

所述利用目标网络模型对所述原始图像和所述信噪比分布图进行处理，得到拍摄图像，包括：

利用第一目标网络模型提取所述原始图像的特征信息；

针对对应所述高信噪比区域的所述原始图像的特征信息，利用第二目标网络模型进行处理，得到高信噪比区域局部图像；

针对对应所述低信噪比区域的所述原始图像的特征信息，利用第三目标网络模型进行处理，得到低信噪比区域局部图像；

将所述高信噪比区域局部图像和所述低信噪比区域局部图像拼接后，利用第四目标网络模型进行处理，得到拍摄图像。

5.根据权利要求4所述的图像处理方法，其特征在于，所述第三目标网络模型基于transformer网络模型训练而成。

6.根据权利要求4或5所述的图像处理方法，其特征在于，所述第二目标网络模型和第四目标网络模型均基于卷积神经网络模型训练而成。

7.根据权利要求6所述的图像处理方法，其特征在于，所述第二目标网络模型包括三层卷积层，所述第四目标网络模型包括两层卷积层。

8.根据权利要求1所述的图像处理方法，其特征在于，所述目标网络模型的参数是根据预测图像与标签图像之间的差异通过反向传播算法进行迭代得到的；

所述预测图像是指将训练图像输入初始网络模型得到的图像，所述初始网络模型是训练前的目标网络模型；所述标签图像和所述训练图像包括的内容对应，且所述标签图像的质量比所述训练图像更高。

9.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：

检测到第二操作，所述第二操作用于指示开启所述电子设备的暗光场景模式，所述暗光场景模式是指所述电子设备的进光量小于预设进光量阈值的拍摄模式。

10.根据权利要求1所述的图像处理方法，其特征在于，所述第一界面是指所述电子设备的主屏界面，所述主屏界面包括相机应用程序，所述第一控件是指所述相机应用程序对应的控件。

11.根据权利要求1所述的图像处理方法，其特征在于，所述第一界面是指拍照界面，所述第一控件是指用于指示拍照的控件。

12.根据权利要求1所述的图像处理方法，其特征在于，所述第一界面是指视频通话界面，所述第一控件是指用于指示视频通话的控件。

13.一种图像处理装置，其特征在于，所述装置包括：

一个或多个处理器和存储器；

所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至12中任一项所述的图像处理方法。

14.一种芯片系统，其特征在于，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至12中任一项所述的图像处理方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储了计算机程序，当所述计算机程序被处理器执行时，使得处理器执行权利要求1至12中任一项所述的图像处理方法。

Images