CN118096535A - 图像处理方法和装置、电子设备、存储介质 - Google Patents

Abstract

本公开是关于一种图像处理方法和装置、电子设备、存储介质。该方法包括：获取至少三张单色图像和灰度图像；所述至少三张单色图像和所述灰度图像分别由电子设备中图像传感器的不同区域采集；根据所述至少三张单色图像和所述灰度图像获取分辨率超过分辨率阈值的目标图像。本实施例可以在不同区域设置一个镜头以各区域的进光量需求，由于无需一个镜头满足所有区域的进光量需求，可以降低镜头的高度，有利于实现设备小型化或者降低厚度。并且，本实施例还可以获得到高分辨率的目标图像。

Description

图像处理方法和装置、电子设备、存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法和装置、电子设备、存储介质。

背景技术

电子设备通常设置有相机模组，该相机模组包括一个图像传感器和一个镜头，通过镜头收集光线并集聚到图像传感器上成像，实现拍照功能。

随着用户对图像质量的要求越来越高，图像传感器的尺寸也越来越大，从而使得相机模组的镜头也越来越高，导致电子设备无法小型化或者降低厚度，影响使用体验。

发明内容

本公开提供一种图像处理方法和装置、电子设备、存储介质，以解决相关技术的不足。

根据本公开实施例的第一方面，提供一种图像处理方法，所述方法包括：

获取至少三张单色图像和灰度图像；所述至少三张单色图像和所述灰度图像分别由电子设备中图像传感器的不同区域采集；

根据所述至少三张单色图像和所述灰度图像获取分辨率超过分辨率阈值的目标图像。

可选地，根据所述至少三张单色图像和所述灰度图像获取分辨率超过分辨率阈值的目标图像，包括：

根据所述至少三张单色图像和所述灰度图像获取第一亮度图像和第一颜色图像；

根据所述第一亮度图像和所述灰度对齐图像获取分辨率超过所述分辨率阈值的第二亮度图像；

对所述第一颜色图像进行上采样处理，得到分辨率超过所述分辨率阈值的第二颜色图像；所述第二亮度图像和所述第二颜色图像的分辨率相同；

根据所述第二亮度图像和所述第二颜色图像获取所述目标图像。

可选地，根据至少三张单色对齐图像和所述灰度图像获取第一亮度图像和第一颜色图像，包括：

对所述至少三张单色图像和所述灰度图像进行对齐处理，得到至少三张单色对齐图像和灰度对齐图像；

根据所述至少三张单色对齐图像和所述灰度对齐图像获取第一亮度图像和第一颜色图像。

可选地，对所述至少三张单色图像和所述灰度图像进行对齐处理，得到至少三张单色对齐图像和灰度对齐图像，包括：

分别获取所述至少三张单色图像和所述灰度图像的特征，得到至少三张单色图像特征图和灰度图像特征图；

将第一特征图和第二特征图进行单应性变换，得到所述至少三张单色对齐图像和所述灰度对齐图像；所述第一特征图是指至少三张单色对齐图像特征图中的任一特征图；所述第二特征图包括至少三张单色对齐图像特征图中除所述第一特征图之外的剩余特征图和所述灰度图像特征图。

可选地，根据所述至少三张单色图像和所述灰度图像获取第一亮度图像和第一颜色图像，包括：

将所述至少三张单色对齐图像转换到目标色域，得到所述目标色域下的第一亮度图像和第一颜色图像；所述第一亮度图像包括所述至少三张单色对齐图像中的亮度信息，所述第一颜色图像包括所述至少三张单色对齐图像中的颜色信息；

所述目标色域包括以下至少一种：YUV色域、HSB色域、HSL色域、YCbCr色域和YIQ色域。

可选地，对所述第一颜色图像进行上采样处理，得到分辨率超过所述分辨率阈值的第二颜色图像，包括：

分别提取所述第一亮度图像和所述灰度对齐图像的特征，得到亮度图像特征图和灰度对齐图像特征图；

融合所述亮度图像特征图和所述灰度对齐图像特征图，得到融合特征图；

对所述融合特征图进行上采样处理，得到所述第二亮度图像；所述第二亮度图像的分辨率超过所述分辨率阈值。

可选地，根据所述第一亮度图像和所述灰度对齐图像获取分辨率超过所述分辨率阈值的第二亮度图像，包括：

获取预设的图像融合模型；

将所述第一亮度图像和所述灰度对齐图像输入到所述图像融合模型，得到所述图像融合模型输出的第二亮度图像，所述第二亮度图像的分辨率超过分辨率阈值。

可选地，所述图像融合模型包括特征提取模块和上采样模块；

所述特征提取模块用于融合所述第一亮度图像和所述灰度对齐图像的特征，得到融合特征图；

所述上采样模块用于对所述融合特征图像进行上采样，得到所述第二亮度图像。

可选地，所述电子设备的相机模组包括图像传感器和4个镜头，所述图像传感器包括设置有至少三个单色滤光片的第一区域、第二区域和第三区域以及全透光的第四区域；所述第一区域、所述第二区域、所述第三区域和所述第四区域与所述4个镜头一一对应，分别用于采集所述至少三张单色图像和灰度图像。

根据本公开实施例的第二方面，提供一种图像处理装置，所述装置包括：

单色图像获取模块，用于获取至少三张单色图像和灰度图像；所述至少三张单色图像和所述灰度图像分别由电子设备中图像传感器的不同区域采集；

目标图像获取模块，用于根据所述至少三张单色图像和所述灰度图像获取分辨率超过分辨率阈值的目标图像。

可选地，所述目标图像获取模块包括：

亮度颜色图像获取子模块，用于根据所述至少三张单色对齐图像和所述灰度对齐图像获取第一亮度图像和第一颜色图像；

第二图像获取子模块，用于根据所述第一亮度图像和所述灰度对齐图像获取分辨率超过所述分辨率阈值的第二亮度图像；

颜色图像获取子模块，用于对所述第一颜色图像进行上采样处理，得到分辨率超过所述分辨率阈值的第二颜色图像；所述第二亮度图像和所述第二颜色图像的分辨率相同；

目标图像获取子模块，用于根据所述第二亮度图像和所述第二颜色图像获取所述目标图像。

可选地，所述亮度颜色图像获取子模块包括：

对齐图像获取单元，用于对所述至少三张单色图像和所述灰度图像进行对齐处理，得到至少三张单色对齐图像和灰度对齐图像；

亮度颜色获取单元，用于根据所述至少三张单色对齐图像和所述灰度对齐图像获取第一亮度图像和第一颜色图像。

可选地，所述对齐图像获取单元包括：

特征图获取子单元，用于分别获取所述至少三张单色图像和所述灰度图像的特征，得到至少三张单色图像特征图和灰度图像特征图；

对齐图像获取子单元，用于将第一特征图和第二特征图进行单应性变换，得到所述至少三张单色对齐图像和所述灰度对齐图像；所述第一特征图是指至少三张单色对齐图像特征图中的任一特征图；所述第二特征图包括至少三张单色对齐图像特征图中除所述第一特征图之外的剩余特征图和所述灰度图像特征图。

可选地，所述亮度颜色图像获取单元包括：

对齐图像转换子单元，用于将所述至少三张单色对齐图像转换到目标色域，得到所述目标色域下的第一亮度图像和第一颜色图像；所述第一亮度图像包括所述至少三张单色对齐图像中的亮度信息，所述第一颜色图像包括所述至少三张单色对齐图像中的颜色信息；

所述目标色域包括以下至少一种：YUV色域、HSB色域、HSL色域、YCbCr色域和YIQ色域。

可选地，所述颜色图像获取单元包括：

特征图获取子单元，用于分别提取所述第一亮度图像和所述灰度对齐图像的特征，得到亮度图像特征图和灰度对齐图像特征图；

特征图融合子单元，用于融合所述亮度图像特征图和所述灰度对齐图像特征图，得到融合特征图；

上采样处理子单元，用于对所述融合特征图进行上采样处理，得到所述第二亮度图像；所述第二亮度图像的分辨率超过所述分辨率阈值。

可选地，所述第二图像获取子模块包括：

融合模型获取单元，用于获取预设的图像融合模型；

亮度图像获取单元，用于将所述第一亮度图像和所述灰度对齐图像输入到所述图像融合模型，得到所述图像融合模型输出的第二亮度图像，所述第二亮度图像的分辨率超过分辨率阈值。

可选地，所述图像融合模型包括特征提取模块和上采样模块；

所述特征提取模块用于融合所述第一亮度图像和所述灰度对齐图像的特征，得到融合特征图；

所述上采样模块用于对所述融合特征图像进行上采样，得到所述第二亮度图像。

可选地，所述电子设备的相机模组包括图像传感器和4个镜头，所述图像传感器包括设置有至少三个单色滤光片的第一区域、第二区域和第三区域以及全透光的第四区域；所述第一区域、所述第二区域、所述第三区域和所述第四区域与所述4个镜头一一对应，分别用于采集所述至少三张单色图像和灰度图像。

根据本公开实施例的第三方面，提供一种电子设备，包括：

包括图像传感器和4个镜头的相机模组；所述图像传感器包括设置有至少三个单色滤光片的第一区域、第二区域和第三区域以及全透光的第四区域；所述第一区域、所述第二区域、所述第三区域和所述第四区域与所述4个镜头一一对应，分别用于采集所述至少三张单色图像和灰度图像；

存储器与处理器；

所述存储器用于存储所述处理器可执行的计算机程序；

所述处理器用于执行所述存储器中的计算机程序，以实现如第一方面所述的方法。

根据本公开实施例的第四方面，提供一种非暂态计算机可读存储介质，当所述存储介质中的可执行的计算机程序由处理器执行时，能够实现如第一方面所述的方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开实施例提供的方案中可以获取至少三张单色图像和灰度图像；所述至少三张单色图像和所述灰度图像分别由电子设备中图像传感器的不同区域采集，每个区域设置有一个镜头；根据所述至少三张单色图像和所述灰度图像获取分辨率超过分辨率阈值的目标图像。这样，本实施例可以在不同区域设置一个镜头以各区域的进光量需求，由于无需一个镜头满足所有区域的进光量需求，可以降低镜头的高度，有利于实现设备小型化或者降低厚度。并且，本实施例还可以获得到高分辨率的目标图像。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种相机模组的结构示意图。

图2是根据一示例性实施例示出的一种图像传感器中区域划分的示意图。

图3是根据一示例性实施例示出的一种图像处理方法的流程图。

图4是根据一示例性实施例示出的一种红色图像、绿色图像、蓝色图像和灰度图像的示意图。

图5是根据一示例性实施例示出的一种获取目标图像的流程图。

图6是根据一示例性实施例示出的一种第一亮度图像的示意图。

图7是根据一示例性实施例示出的一种获取第二亮度图像的流程图。

图8是根据一示例性实施例示出的另一种获取第二亮度图像的流程图。

图9是根据一示例性实施例示出的一种图像融合模型的框图。

图10是根据一示例性实施例示出的一种第二亮度图像的示意图。

图11是根据一示例性实施例示出的一种第一颜色图像和第二颜色图像的示意图。

图12是根据一示例性实施例示出的一种目标图像的示意图。

图13是根据一示例性实施例示出的一种图像处理方法的框图。

图14是根据一示例性实施例示出的一种图像处理装置的框图。

图15是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性所描述的实施例并不代表与本公开相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置例子。需要说明的是，在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。

为解决上述技术问题，本公开实施例提供了一种图像处理方法和装置、电子设备、存储介质。上述图像处理方法可以适用于具有相机模组的电子设备，该电子设备可以包括但不限于智能手机、智能手表、智能眼镜、车用设备等等，可以根据具体场景进行选择。参见图1，上述相机模组包括图像传感器11和4个镜头12。参见图2，该图像传感器11包括设置有红色滤光片(R)的第一区域21、设置有绿色滤光片(G)的第二区域22、设置有蓝色滤光片(B)的第三区域23和全透光(即无滤光片)的第四区域24；所述第一区域21、所述第二区域22、所述第三区域23和所述第四区域24与所述4个镜头一一对应，分别用于采集红色图像、绿色图像、蓝色图像和灰度图像。其中，图1中右下角的第四个镜头对应的第四区域为未设置滤光片，灰度图像所包含的频率信息更丰富。在上述相机模组的基础上，本公开实施例还提供了一种图像处理方法，图3是根据一示例性实施例示出的一种图像处理方法的流程图.。

参见图3，一种图像处理方法，包括步骤31～步骤32。

在步骤31中，获取至少三张单色图像和灰度图像；所述至少三张单色图像和所述灰度图像分别由电子设备中图像传感器的不同区域采集，每个区域设置有一个镜头。

本步骤中，至少三张单色图像包括红色图像、绿色图像和蓝色图像，红色、绿色图像和蓝色图像可以分别为一张或者多于一张。为方便描述，后续至少三张单色图像以一张红色图像、一张绿色图像和一张蓝色图像为例描述各实施例的方案。

本步骤中，电子设备中处理器可以检测到开启显示屏的需求。然后，处理器可以响应于用户的拍摄操作，控制相机模组启动并拍摄预览场景内的图像。结合图1和图2所示，图像传感器的第一区域21采集到红色图像，图像传感器的第二区域22采集到绿色图像，图像传感器的第三区域23采集到蓝色图像，图像传感器的第四区域24采集到灰度图像，效果如图4所示。参见图4，图4中(a)图为红色图像，(b)图为绿色图像，(c)图为蓝色图像，(d)图为灰度图像。

在一示例中，相机模组在获取到红色图像、绿色图像、蓝色图像和灰度图像之后，可以存储到指定位置，该指定位置可以包括但不限于本地存储器、缓存或者云端等，在此不作限定。此时，处理器可以从指定位置读取红色图像、绿色图像、蓝色图像和灰度图像。

在另一示例中，处理器可以与相机模组通信，获取到相机模组输出的红色图像、绿色图像、蓝色图像和灰度图像。

在步骤32中，根据所述至少三张单色图像和所述灰度图像获取分辨率超过分辨率阈值的目标图像。

在一示例中，处理器可以根据至少三张单色图像和所述灰度图像获取分辨率超过分辨率阈值的目标图像，参见图5，包括步骤51～步骤54。

在步骤51中，处理器可以根据至少三张单色图像和所述灰度图像获取第一亮度图像和第一颜色图像。

考虑到图像传感器中各个区域和镜头的位置不同，因此本步骤中可以对三张单色图像和灰度图像进行对齐。例如，处理器可以对至少三张单色图像和灰度图像进行对齐处理，得到至少三张单色对齐图像和灰度对齐图像。例如，处理器可以分别获取至少三张单色对齐图像和灰度对齐图像的特征，得到至少三张单色图像特征图和灰度图像特征图，即得到红色图像特征图、绿色图像特征图、蓝色图像特征图和灰度图像特征图。然后，处理器可以将第一特征图和第二特征图进行单应性变换，得到红色对齐图像、绿色对齐图像、蓝色对齐图像和灰度对齐图像。其中，第一特征图是指至少三张单色对齐图像特征图中的任一特征图；第二特征图包括至少三张单色对齐图像特征图中除所述第一特征图之外的剩余特征图和所述灰度图像特征图。

以第一特征图是红色图像特征图即以红色图像特征图作为基准为例，处理器可以将绿色图像特征图与红色图像特征图进行单应性变换，将绿色图像特征图与红色图像特征对齐，得到对应后的绿色图像，后称之为绿色对齐图像以示区别。处理器可以将蓝色图像特征图与红色图像特征图进行单应性变换，从而将蓝色图像特征图与红色图像特征对齐，得到对应后的蓝色图像，后称之为蓝色对齐图像以示区别。

处理器可以将灰度图像特征图与红色图像特征图进行单应性变换，从而将灰度图像特征图与红色图像特征对齐，得到对应后的灰度图像，后称之为灰度对齐图像以示区别。

这样，本实施例中通过对齐红色图像、绿色图像、蓝色图像和灰度图像，可以解决4个镜头安装位置不同而造成视场差异的问题。或者说，本实施例中通过对齐图像能够达到图像传感器中不同区域采集相同对象的效果。

本步骤中，处理器可以将红色对齐图像、绿色对齐图像和蓝色对象图像作为一帧RGB彩色图像并转换到目标色域。该目标色域包括以下至少一种：YUV色域、HSB色域、HSL色域、YCbCr色域和YIQ色域。这样，处理器可以得到目标色域下的亮度图像和颜色图像，后续分别称之为第一亮度图像和第一颜色图像。

在一示例中，目标色域为YUV色域，此时Y通道的图像即第一亮度图像如图6所示。

在步骤52中，处理器可以根据所述第一亮度图像和所述灰度对齐图像获取分辨率超过所述分辨率阈值的第二亮度图像。

本步骤中，处理器可以根据所述第一亮度图像和所述灰度对齐图像获取分辨率超过所述分辨率阈值的第二亮度图像，参见图7，包括步骤71～步骤73。

在步骤71中，处理器可以分别提取所述第一亮度图像和所述灰度对齐图像的特征，得到亮度图像特征图和灰度对齐图像特征图。

可理解的是，提取第一亮度图像的特征以及灰度对应图像的特征可以采用主成分分析算法、卷积神经网络或者直方图等算法实现。图像的特征可以包括亮度、边缘、纹理和色彩等。在一示例中，本步骤中采用ResNet网络模型提取特征。

在步骤72中，处理器可以融合所述亮度图像特征图和所述灰度对齐图像特征图，得到融合特征图。本步骤中，处理器在获取亮度图像特征图和灰度对齐图像特征图之后，可以依次融合两个特征图中相同位置的特征点，例如求两个特征点的平均值；当所有特征点都融合后可以得到融合特征图。

在步骤73中，处理器可以对所述融合特征图进行上采样处理，得到所述第二亮度图像；所述第二亮度图像的分辨率超过所述分辨率阈值。本步骤中上采样处理可以包括但不限于插值法、反卷积或反池化法等方法实现，在能够提升上述融合特征图的特征点密度的情况下，相应上采用方法均落入本公开的保护范围。

需要说明的是，图7所示例的方案中第一亮度图像是目标色域下的亮度图像，该第一亮度图像的亮度信息用于表征红色图像、绿色图像和蓝色图像的亮度，并且人眼对亮度信息比较敏感，因此将包含丰富图像纹理信息的第一亮度图像作为步骤71的输入数据。同时，灰度对齐图像是由图像传感器中无滤光片的区域所采集的，其包含了不同频率光信号的信号，其纹理信息较第一亮度图像更丰富，因此将灰度对齐图像作为步骤71的输入数据。图7所示例的方案中融合第一亮度图像和灰度对齐图像，可以使第二亮度图像既包含第一亮度图像的亮度信息又包含灰度对齐图像丰富的纹理信息，从而提高第二亮度图像的分辨率。

在另一示例中，处理器可以根据至少三张单色图像和所述灰度图像获取分辨率超过分辨率阈值的目标图像，参见图8，包括步骤81～步骤82。

在步骤81中，处理器可以获取预设的图像融合模型。

本步骤中，电子设备内存储预设的图像融合模型，参见图9，该图像融合模型包括特征提取模块91和上采样模块92。特征提取模块91用于融合所述第一亮度图像和所述灰度对齐图像的特征，得到融合特征图；上采样模块92用于对所述融合特征图像进行上采样，得到所述第二亮度图像。

在步骤82中，处理器可以将所述第一亮度图像和所述灰度对齐图像输入到所述图像融合模型，得到所述图像融合模型输出的第二亮度图像，第二亮度图像如图10所示。所述第二亮度图像的分辨率超过分辨率阈值。

本示例中通过图像融合模型融合第一亮度图像和灰度对齐图像可以使融合后的第二亮度图像既包含第一亮度图像的亮度信息又包含灰度对齐图像丰富的纹理信息，从而提高第二亮度图像的分辨率。

在步骤53中，处理器可以对所述第一颜色图像进行上采样处理，得到分辨率超过所述分辨率阈值的第二颜色图像，效果如图11所示。参见图11，图11中的左侧图像即第一颜色图像，经过上采样处理变成图11中的右侧图像即第二颜色图像。所述第二亮度图像和所述第二颜色图像的分辨率相同。本步骤中处理器可以对第一颜色图像进行上采样处理，上采样处理可以包括但不限于插值法、反卷积或反池化法等方法实现，在能够提升上述第一颜色图像的像素点密度的情况下，相应上采用方法均落入本公开的保护范围。

在步骤54中，处理器可以根据所述第二亮度图像和所述第二颜色图像获取所述目标图像。考虑到第二亮度图像是目标色域下的亮度图像，第二颜色图像是目标色域下的颜色图像，因此目标色域下的第二亮度图像和第二颜色图像可以反转换，得到RGB色域下的目标图像，效果如图12所示。

至此，本公开实施例提供的方案中可以获取至少三张单色图像和灰度图像；所述至少三张单色图像和所述灰度图像分别由电子设备中图像传感器的不同区域采集，每个区域设置有一个镜头；根据所述至少三张单色图像和所述灰度图像获取分辨率超过分辨率阈值的目标图像。这样，本实施例可以在不同区域设置一个镜头以各区域的进光量需求，由于无需一个镜头满足所有区域的进光量需求，可以降低镜头的高度，有利于实现设备小型化或者降低厚度。并且，本实施例还可以获得到高分辨率的目标图像。

下面结合一实施例描述本公开提供的一种图像处理方法，参见图13，包括：

相机模组的图像传感器分为4个区域即第一区域、第二区域、第三区域和第四区域。并且，相机模组在一次曝光的情况下可以采用到4张图像，即RGB单色图像(即红色图像、绿色图像和蓝色图像)和灰度图像，这4张图像为低分辨率图像。

然后，由于四个镜头的拍摄角度存在差距，使得上述4张图像存在视场差异，因此需要对上述4张图像进行对齐处理。本示例中可以采用特征描述子和RANSAC相结合的方式进行图像对齐处理。例如，以R通道的红色图像为基准图像，分别提取基准图像与其他三个通道的图像(即绿色图像、蓝色图像和灰度图像)的特征点，然后匹配特征点并通过单应性变换，从而对齐4张图像，得到红色对齐图像、绿色对齐图像、蓝色对齐图像和灰度对齐图像。

之后，将红色对齐图像、绿色对齐图像、蓝色对齐图像转换到YUV色域(即目标色域)，得到第一亮度图像和第一颜色图像。其中Y通道为亮度通道，包含更多的图像纹理信息，对应第一亮度图像；UV通道为色度通道，提供图像的色彩信息，对应第一颜色图像。

再者，将第一亮度图像和灰度对齐图像输入到融合模块。该融合模块包括特征提取模块和上采样(pixelshuffle)模块，用于对第一亮度图像和灰度对齐图像进行特征提取、特征融合以及图像上采样等效果，从而得到第二亮度图像。

最终，将第一颜色图像进行上采样处理，得到第二颜色图像。并且将第二颜色图像和第二亮度图像相结合组成YUV色域的图像，并转回RGB图像，得到分辨率超过分辨率阈值的目标图像。

本实施例的方案可以在降低相机模组高度的同时获取到单镜头单图像传感器相同质量图像或视频。并且，本实施例中第四区域相当于全透光的传感器，可以扩大进光量，具有更多的图像纹理信息，有利于提升弱光拍摄场景下的成像质量。

在本公开实施例提供的一种图像处理方法的基础上，本公开还提供了一种图像处理装置，参见图14，所述装置包括：

单色图像获取模块141，用于获取至少三张单色图像和灰度图像；所述至少三张单色图像和所述灰度图像分别由电子设备中图像传感器的不同区域采集；

目标图像获取模块142，用于根据所述至少三张单色图像和所述灰度图像获取分辨率超过分辨率阈值的目标图像。

可选地，所述目标图像获取模块包括：

亮度颜色图像获取子模块，用于根据所述至少三张单色对齐图像和所述灰度对齐图像获取第一亮度图像和第一颜色图像；

第二图像获取子模块，用于根据所述第一亮度图像和所述灰度对齐图像获取分辨率超过所述分辨率阈值的第二亮度图像；

颜色图像获取子模块，用于对所述第一颜色图像进行上采样处理，得到分辨率超过所述分辨率阈值的第二颜色图像；所述第二亮度图像和所述第二颜色图像的分辨率相同；

目标图像获取子模块，用于根据所述第二亮度图像和所述第二颜色图像获取所述目标图像。

可选地，所述亮度颜色图像获取子模块包括：

对齐图像获取单元，用于对所述至少三张单色图像和所述灰度图像进行对齐处理，得到至少三张单色对齐图像和灰度对齐图像；

亮度颜色获取单元，用于根据所述至少三张单色对齐图像和所述灰度对齐图像获取第一亮度图像和第一颜色图像。

可选地，所述对齐图像获取单元包括：

特征图获取子单元，用于分别获取所述至少三张单色图像和所述灰度图像的特征，得到至少三张单色图像特征图和灰度图像特征图；

对齐图像获取子单元，用于将第一特征图和第二特征图进行单应性变换，得到所述至少三张单色对齐图像和所述灰度对齐图像；所述第一特征图是指至少三张单色对齐图像特征图中的任一特征图；所述第二特征图包括至少三张单色对齐图像特征图中除所述第一特征图之外的剩余特征图和所述灰度图像特征图。

可选地，所述亮度颜色图像获取单元包括：

对齐图像转换子单元，用于将所述至少三张单色对齐图像转换到目标色域，得到所述目标色域下的第一亮度图像和第一颜色图像；所述第一亮度图像包括所述至少三张单色对齐图像中的亮度信息，所述第一颜色图像包括所述至少三张单色对齐图像中的颜色信息；

所述目标色域包括以下至少一种：YUV色域、HSB色域、HSL色域、YCbCr色域和YIQ色域。

可选地，所述颜色图像获取单元包括：

特征图获取子单元，用于分别提取所述第一亮度图像和所述灰度对齐图像的特征，得到亮度图像特征图和灰度对齐图像特征图；

特征图融合子单元，用于融合所述亮度图像特征图和所述灰度对齐图像特征图，得到融合特征图；

上采样处理子单元，用于对所述融合特征图进行上采样处理，得到所述第二亮度图像；所述第二亮度图像的分辨率超过所述分辨率阈值。

可选地，所述第二图像获取子模块包括：

融合模型获取单元，用于获取预设的图像融合模型；

亮度图像获取单元，用于将所述第一亮度图像和所述灰度对齐图像输入到所述图像融合模型，得到所述图像融合模型输出的第二亮度图像，所述第二亮度图像的分辨率超过分辨率阈值。

可选地，所述图像融合模型包括特征提取模块和上采样模块；

所述特征提取模块用于融合所述第一亮度图像和所述灰度对齐图像的特征，得到融合特征图；

所述上采样模块用于对所述融合特征图像进行上采样，得到所述第二亮度图像。

可选地，所述电子设备的相机模组包括图像传感器和4个镜头，所述图像传感器包括设置有至少三个单色滤光片的第一区域、第二区域和第三区域以及全透光的第四区域；所述第一区域、所述第二区域、所述第三区域和所述第四区域与所述4个镜头一一对应，分别用于采集所述至少三张单色图像和灰度图像。

需要说明的是，本实施例中示出的系统实施例与上述方法实施例的内容相匹配，可以参考上述所示方法实施例的内容，在此不再赘述。

图15是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备1500可以是智能手机，计算机，数字广播终端，平板设备，医疗设备，健身设备，个人数字助理等，以及上述的车用设备等。

参照图15，电子设备1500可以包括以下一个或多个组件：处理组件1502，存储器1504，电源组件1506，多媒体组件1508，音频组件1510，输入/输出(I/O)的接口1512，传感器组件1514，通信组件1516，图像采集组件1518。

处理组件1502通常控制电子设备1500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1502可以包括一个或多个处理器1520来执行计算机程序。此外，处理组件1502可以包括一个或多个模块，便于处理组件1502和其他组件之间的交互。例如，处理组件1502可以包括多媒体模块，以方便多媒体组件1508和处理组件1502之间的交互。

存储器1504被配置为存储各种类型的数据以支持在电子设备1500的操作。这些数据的示例包括用于在电子设备1500上操作的任何应用程序或方法的计算机程序，联系人数据，电话簿数据，消息，图片，视频等。存储器1504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1506为电子设备1500的各种组件提供电力。电源组件1506可以包括电源管理系统，一个或多个电源，及其他与为电子设备1500生成、管理和分配电力相关联的组件。电源组件1506可以包括电源芯片，控制器可以电源芯片通信，从而控制电源芯片导通或者断开开关器件，使电池向主板电路供电或者不供电。

多媒体组件1508包括在电子设备1500和目标对象之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示屏(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自目标对象的输入信息。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。

音频组件1510被配置为输出和/或输入音频文件信息。例如，音频组件1510包括一个麦克风(MIC)，当电子设备1500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频文件信息。所接收的音频文件信息可以被进一步存储在存储器1504或经由通信组件1516发送。在一些实施例中，音频组件1510还包括一个扬声器，用于输出音频文件信息。

I/O接口1512为处理组件1502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按键等。

传感器组件1514包括一个或多个传感器，用于为电子设备1500提供各个方面的状态评估。例如，传感器组件1514可以检测到电子设备1500的打开/关闭状态，组件的相对定位，例如组件为电子设备1500的显示屏和小键盘，传感器组件1514还可以检测电子设备1500或一个组件的位置改变，目标对象与电子设备1500接触的存在或不存在，电子设备1500方位或加速/减速和电子设备1500的温度变化。本示例中，传感器组件1514可以包括磁力传感器、陀螺仪和磁场传感器，其中磁场传感器包括以下至少一种：霍尔传感器、薄膜磁致电阻传感器、磁性液体加速度传感器。

通信组件1516被配置为便于电子设备1500和其他设备之间有线或无线方式的通信。电子设备1500可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G、5G，或它们的组合。在一个示例性实施例中，通信组件1516经由广播信道接收来自外部广播管理系统的广播信息或广播相关信息。在一个示例性实施例中，通信组件1516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备1500可以被一个或多个应用专用集成电路(ASIC)、数字信息处理器(DSP)、数字信息处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现。

在示例性实施例中，还提供了一种电子设备，包括：

存储器与处理器；

所述存储器用于存储所述处理器可执行的计算机程序；

所述处理器用于执行所述存储器中的计算机程序，以实现如上述的方法。

在示例性实施例中，还提供了一种非暂态计算机可读存储介质，例如包括指令的存储器1504，上述可执行的计算机程序可由处理器执行。其中，可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：

获取至少三张单色图像和灰度图像；所述至少三张单色图像和所述灰度图像分别由电子设备中图像传感器的不同区域采集，每个区域设置有一个镜头；

根据所述至少三张单色图像和所述灰度图像获取分辨率超过分辨率阈值的目标图像。

2.根据权利要求1所述的方法，其特征在于，根据所述至少三张单色图像和所述灰度图像获取分辨率超过分辨率阈值的目标图像，包括：

根据至少三张单色对齐图像和所述灰度图像获取第一亮度图像和第一颜色图像；

根据所述第一亮度图像和所述灰度对齐图像获取分辨率超过所述分辨率阈值的第二亮度图像；对所述第一颜色图像进行上采样处理，得到分辨率超过所述分辨率阈值的第二颜色图像；所述第二亮度图像和所述第二颜色图像的分辨率相同；

根据所述第二亮度图像和所述第二颜色图像获取所述目标图像。

3.根据权利要求2所述的方法，其特征在于，根据至少三张单色图像和所述灰度图像获取第一亮度图像和第一颜色图像，包括：

对所述至少三张单色图像和所述灰度图像进行对齐处理，得到至少三张单色对齐图像和灰度对齐图像；

根据所述至少三张单色对齐图像和所述灰度对齐图像获取第一亮度图像和第一颜色图像。

4.根据权利要求3所述的方法，其特征在于，对所述至少三张单色图像和所述灰度图像进行对齐处理，得到至少三张单色对齐图像和灰度对齐图像，包括：

分别获取所述至少三张单色图像和所述灰度图像的特征，得到至少三张单色图像特征图和灰度图像特征图；

将第一特征图和第二特征图进行单应性变换，得到所述至少三张单色对齐图像和所述灰度对齐图像；所述第一特征图是指至少三张单色对齐图像特征图中的任一特征图；所述第二特征图包括至少三张单色对齐图像特征图中除所述第一特征图之外的剩余特征图和所述灰度图像特征图。

5.根据权利要求2所述的方法，其特征在于，根据所述至少三张单色图像和所述灰度图像获取第一亮度图像和第一颜色图像，包括：

将所述至少三张单色对齐图像转换到目标色域，得到所述目标色域下的第一亮度图像和第一颜色图像；所述第一亮度图像包括所述至少三张单色对齐图像中的亮度信息，所述第一颜色图像包括所述至少三张单色对齐图像中的颜色信息；

所述目标色域包括以下至少一种：YUV色域、HSB色域、HSL色域、YCbCr色域和YIQ色域。

6.根据权利要求2所述的方法，其特征在于，对所述第一颜色图像进行上采样处理，得到分辨率超过所述分辨率阈值的第二颜色图像，包括：

分别提取所述第一亮度图像和所述灰度对齐图像的特征，得到亮度图像特征图和灰度对齐图像特征图；

融合所述亮度图像特征图和所述灰度对齐图像特征图，得到融合特征图；

对所述融合特征图进行上采样处理，得到所述第二亮度图像；所述第二亮度图像的分辨率超过所述分辨率阈值。

7.根据权利要求2所述的方法，其特征在于，根据所述第一亮度图像和所述灰度对齐图像获取分辨率超过所述分辨率阈值的第二亮度图像，包括：

获取预设的图像融合模型；

将所述第一亮度图像和所述灰度对齐图像输入到所述图像融合模型，得到所述图像融合模型输出的第二亮度图像，所述第二亮度图像的分辨率超过分辨率阈值。

8.根据权利要求7所述的方法，其特征在于，所述图像融合模型包括特征提取模块和上采样模块；

所述特征提取模块用于融合所述第一亮度图像和所述灰度对齐图像的特征，得到融合特征图；

所述上采样模块用于对所述融合特征图像进行上采样，得到所述第二亮度图像。

9.根据权利要求1～8任一项所述的方法，其特征在于，所述电子设备的相机模组包括图像传感器和4个镜头，所述图像传感器包括设置有至少三个单色滤光片的第一区域、第二区域和第三区域以及全透光的第四区域；所述第一区域、所述第二区域、所述第三区域和所述第四区域与所述4个镜头一一对应，分别用于采集所述至少三张单色图像和灰度图像。

10.一种图像处理装置，其特征在于，所述装置包括：

单色图像获取模块，用于获取至少三张单色图像和灰度图像分别由电子设备中图像传感器的不同区域采集，每个区域设置有一个镜头；

目标图像获取模块，用于根据所述至少三张单色图像和所述灰度图像获取分辨率超过分辨率阈值的目标图像。

11.一种电子设备，其特征在于，包括：

包括图像传感器和4个镜头的相机模组；所述图像传感器包括设置有至少三个单色滤光片的第一区域、第二区域和第三区域以及全透光的第四区域；所述第一区域、所述第二区域、所述第三区域和所述第四区域与所述4个镜头一一对应，分别用于采集所述至少三张单色图像和灰度图像；

存储器与处理器；

所述存储器用于存储所述处理器可执行的计算机程序；

所述处理器用于执行所述存储器中的计算机程序，以实现如权利要求1～9任一项所述的方法。

12.一种非暂态计算机可读存储介质，其特征在于，当所述存储介质中的可执行的计算机程序由处理器执行时，能够实现如权利要求1～9任一项所述的方法。