CN114331916B - 图像处理方法及电子设备 - Google Patents

Abstract

本申请提供了一种图像处理方法及电子设备。该方法包括：将原始图像拆分为第一图像和第二图像，第一图像为符合第一数据格式的图像。然后，利用通道调整矩阵，对第一图像经过像素级矫正得到的第一矫正图像进行通道矫正，得到第一通道矫正图像。接着，将第二图像经过像素级矫正得到的第二矫正图像转换为符合第一数据格式的残差图像。接下来，根据第一矫正图像、第一通道矫正图像和残差图像，融合得到原始图像对应的第一目标图像。这样，通过调整拆分后的第一图像的通道增益，以及将拆分后的第二图像变换后作为残差和第一图像融合，进一步缩小了与真实色彩的差距，提升了图像的色彩表现力，同时提高了图像质量。

Description

图像处理方法及电子设备

技术领域

本申请涉及终端设备领域，尤其涉及一种图像处理方法及电子设备。

背景技术

对于CMOS（Complementary Metal Oxide Semiconductor，互补金属氧化物半导体）传感器中的CFA (Color Filter Array，色彩滤波阵列)，除了传统的拜尔（Bayer）阵列之外, 近年来也出现了各种各样的多光谱传感器。

多光谱传感器的CFA组成不再仅仅局限于RGB（红绿蓝）三种颜色的滤波片，而是拥有更多颜色、光谱覆盖面积更广的滤波片。由于多光谱传感器的滤波片排列形式不同于拜尔阵列，因此多光谱传感器采集的原始图像的数据格式与拜尔阵列对应的拜耳数据格式不同。

但是，目前没有针对多光谱传感器采集的原始图像的数据格式进行处理的ISP（Image Signal Processor，图像信号处理器）。因此，使用多光谱传感器的电子设备获得的图像质量仍然较差。

发明内容

为了解决上述技术问题，本申请提供一种图像处理方法及电子设备，通过调整拆分后的第一图像的通道增益，以及将拆分后的第二图像变换后作为残差和第一图像融合，进一步缩小了与真实色彩的差距，提升了图像的色彩表现力，同时提高了图像质量。

第一方面，本申请提供一种图像处理方法。该图像处理方法应用于电子设备，包括：首先，将原始图像拆分为第一图像和第二图像，第一图像为符合第一数据格式的图像。然后，利用通道调整矩阵，对第一图像经过像素级矫正得到的第一矫正图像进行通道矫正，得到第一通道矫正图像。接着，将第二图像经过像素级矫正得到的第二矫正图像转换为符合第一数据格式的残差图像。接下来，根据第一矫正图像、第一通道矫正图像和残差图像，融合得到原始图像对应的第一目标图像。这样，通过调整拆分后的第一图像的通道增益，以及将拆分后的第二图像变换后作为残差和第一图像融合，进一步缩小了与真实色彩的差距，提升了图像的色彩表现力，同时提高了图像质量。

根据第一方面，根据第一矫正图像、第一通道矫正图像和残差图像，融合得到原始图像对应的第一目标图像之后，还可以包括：利用基于第一数据格式的图像信号处理模型对第一目标图像进行处理，得到第二目标图像。这样，可以获得图片或视频帧。

根据第一方面，将原始图像拆分为第一图像和第二图像，包括：按照对角线合并方式对原始图像进行拆分，得到第一图像和第二图像，第一图像为符合第一数据格式的图像。这样，可以减少图像数据量，提高处理速度。

根据第一方面，利用通道调整矩阵，对第一图像经过像素级矫正得到的第一矫正图像进行通道矫正之前，还可以包括：利用第一像素级矫正模型对第一图像进行像素级矫正，得到第一矫正图像。这样，可以减小第一图像的图像失真，提高图像质量。

根据第一方面，将第二图像经过像素级矫正得到的第二矫正图像转换为符合第一数据格式的残差图像之前，还可以包括：利用第二像素级矫正模型对第二图像进行像素级矫正，得到第二矫正图像。这样，可以减小第二图像的图像失真，提高图像质量。

根据第一方面，将第二图像经过像素级矫正得到的第二矫正图像转换为符合第一数据格式的残差图像，包括：对第二矫正图像进行线性转换，得到符合第一数据格式的残差图像。这样，可以获得第一图像与真实图像的色彩差异图像，为后续图像融合提供支持。

根据第一方面，对第二矫正图像进行线性转换，得到符合第一数据格式的残差图像，可以包括：对第二矫正图像进行去马赛克处理，得到去马赛克后的多通道矫正图像，利用残差映射模型对多通道矫正图像进行转换，得到多通道残差图像，根据多通道残差图像，重采样得到与第一数据格式匹配的残差图像。这样，可以获得更加准确的残差图像，为提高融合后图像的质量提供支持。

根据第一方面，根据第一矫正图像、第一通道矫正图像和残差图像，融合得到原始图像对应的第一目标图像，可以包括：将第一通道矫正图像和残差图像中位置相同像素点的像素值相加，得到第一融合图像。然后，根据第一掩码对第一融合图像进行掩码操作，得到第一输入图像，第一掩码是根据第二图像得到的。接着，根据第二掩码对第一矫正图像进行掩码操作，得到第二输入图像，第二掩码是对第一掩码进行按位取反得到的。然后，将第一输入图像和第二输入图像中位置相同像素点的像素值相加，得到第一目标图像。这样，通过图像融合，可以缩小与真实色彩的差距，提升色彩表现力。

根据第一方面，根据第一掩码对第一融合图像进行掩码操作，得到第一输入图像之前，还可以包括：根据第一矫正图像获得基于第一数据格式的第一网格统计信息；根据第一网格统计信息，确定指定参数的参数值；根据第二矫正图像获得第二网格统计信息；根据第二网格统计信息，生成第一掩码，第一掩码中，对应第二图像中过曝位置的掩码值为0，对应第二图像中正常曝光位置的掩码值为1。这样，利用掩码可以解决光谱响应差异大带来的局部过曝问题，避免RYYB局部过曝时红色偏黄的问题，提高颜色准确度，同时提高图像质量。

根据第一方面，指定参数包括如下模型中的参数：通道调整模型、残差映射模型以及基于第一数据格式的图像信号处理模型中的颜色转换模型。

根据第一方面，原始图像为多光谱传感器采集的图像。

根据第一方面，第一数据格式为拜耳Bayer格式。

根据第一方面，第一图像对应原始图像中的红、绿、蓝三种颜色的分量，第二图像对应原始图像中除红、绿、蓝三种颜色外的其他颜色的分量。

第二方面，本申请提供一种电子设备，包括：存储器和处理器，存储器与处理器耦合；存储器存储有程序指令，当程序指令由所述处理器执行时，使得电子设备执行第一方面任意一项所述的图像处理方法。

第三方面，本申请提供一种计算机可读存储介质，包括计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行前述的第一方面任意一项所述的图像处理方法。

附图说明

图1为示例性示出的电子设备100的结构示意图；

图2为示例性示出的本申请实施例的电子设备100的软件结构框图；

图3为示例性示出的本申请实施例的图像处理方法的一个流程图；

图4为示例性示出的采用拜耳阵列的传感器中CFA阵列的最小单元的滤波片排列方式示例图；

图5为示例性示出的对角线合并前后图像的像素关系示意图；

图6为示例性示出的去马赛克处理过程的示意图；

图7为示例性示出的重采样过程的示意图；

图8为示例性示出的对图像a的处理过程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一目标对象和第二目标对象等是用于区别不同的目标对象，而不是用于描述目标对象的特定顺序。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。例如，多个处理单元是指两个或两个以上的处理单元；多个系统是指两个或两个以上的系统。

当前，很多电子设备，例如手机、平板、笔记本等，都安装有摄像头。一些摄像头中采用了多光谱传感器（sensor）。

多光谱传感器的滤波片排列形式不同于传统的拜尔阵列。多光谱传感器的滤波片颜色除了RGB之外，也包含了其他更多混合色。不同颜色的滤波片对光谱的响应曲线是不同的，混合色的光谱响应曲线的覆盖范围会更广，这意味着进光量更大。这种形式的多光谱传感器输出的原始图像数据与拜耳数据格式是不同的，因此不能通过基于拜耳数据格式的ISP处理流程（ISP Pipeline）直接进行处理。

假设多光谱传感器输出的原始图像的数据格式为数据格式A。同样，多光谱传感器输出的原始图像，也不能通过与数据格式A不同的其他数据格式（非拜耳数据格式）的ISP处理流程直接进行处理。

本申请实施例的图像处理方法，可以将多光谱传感器采集的原始图像转换为与数据格式A不同的数据格式，从而能够通过转换后的数据格式对应的ISP处理流程，对多光谱传感器采集的原始图像转换后的图像进行处理。

本申请实施例的图像处理方法可以应用于手机、平板、笔记本等电子设备。该电子设备的结构可以如图1所示。

图1为示例性示出的电子设备100的结构示意图。应该理解的是，图1所示电子设备100仅是电子设备的一个范例，并且电子设备100可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图1中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

请参见图1，电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。

其中，处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP 用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。 ISP也可以设置在处理器110中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。本发明实施例中的多光谱传感器即为一种CMOS光电晶体管。

电子设备100的软件系统可以采用分层架构、事件驱动架构、微核架构、微服务架构，或云架构。本申请实施例以分层架构的安卓（Android）系统为例，示例性说明电子设备100的软件结构。

图2为示例性示出的本申请实施例的电子设备100的软件结构框图。

电子设备100的分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，Android系统可以包括应用程序层、应用程序框架层、系统层以及内核层等。

应用程序层可以包括一系列应用程序包。

如图2所示，电子设备100的应用程序层的应用程序包可以包括相机、图库、视频等应用程序。

其中，相机应用可以调用摄像拍摄图片、视频等。

其中，图库应用用于保存相机应用所拍摄的图片、视频。

其中，视频应用可以对相机应用所拍摄的视频进行播放。

如图2所示，应用程序框架层可以包括视图系统等应用程序。

其中，视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

如图2所示，系统库可以包括多个功能模块。例如：媒体库(Media Libraries)等。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。

内核层是硬件和软件之间的层。

如图2所示，内核层可以包括传感器驱动、显示驱动、摄像头驱动等模块。

可以理解的是，图2示出的软件结构中的层以及各层中包含的部件，并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的层，以及每个层中可以包括更多或更少的部件，本申请不做限定。

本发明实施例的图像处理方法的流程可以设置于内核层的软件中，多光谱传感器采集的原始图像经过传感器驱动中图像处理方法的流程处理后，再传递给ISP转换成数字图像信号。

在另一实施例中本发明实施例的图像处理方法的流程也可以设置于独立的专用硬件中。

图3为示例性示出的本申请实施例的图像处理方法的一个流程图。请参见图3，本实施例中，图像处理方法可以包括如下步骤：

S301，将原始图像拆分为第一图像和第二图像，第一图像为符合第一数据格式的图像。

其中，原始图像可以是多光谱传感器采集的图像。

在一个示例性的实现过程中，将原始图像拆分为第一图像和第二图像，可以包括：

按照对角线合并（DiagonalBinning，简称Dbin）方式对原始图像进行拆分，得到第一图像和第二图像，所述第一图像为符合第一数据格式的图像。

例如，假设第一数据格式为拜耳数据格式RGGB，原始图像为图像a。

图4为示例性示出的采用拜耳阵列的传感器中CFA阵列的最小单元的滤波片排列方式示例图。请参见图4的（a）图，数据格式RGGB对应采用拜耳阵列的传感器中，CFA阵列的最小单元为2×2，即2行2列，其中第1行第1列为红（R）滤波片，第1行第2列为绿（G）滤波片，第2行第1列为绿（G）滤波片，第2行第2列为蓝（B）滤波片。整个CFA阵列由多个该最小单元组成。

除了RGGB，拜耳数据格式还可以是BGGR、 GBRG或GRBG，这些数据格式对应的CFA阵列的最小单元也为2×2。请参见图4的（b）图，对于GBRG来说，该最小单元中第1行第1列为绿（G）滤波片，第1行第2列为蓝（B）滤波片，第2行第1列为红（R）滤波片，第2行第2列为绿（G）滤波片。GBRG、GRBG类似，此处不再赘述。

本申请实施例中，原始图像的数据格式与第一数据格式是不同的。

如果图像a对应的像素矩阵尺寸为2m×2n，通过对角线合并方式拆分图像a得到图像a10和图像a20，图像a10和图像a20的像素矩阵尺寸均为m×n，m、n为自然数。

图5为示例性示出的对角线合并前后图像的像素关系示意图。请参见图5，图像a的像素矩阵尺寸为4×4，图像a10和图像a20的像素矩阵尺寸均为2×2。其中，图像a10中的第1行1列的像素值b1是根据图像a中第1行1列的像素值p11和第2行2列的像素值p22得到的，且b1等于p11与p22的和值除以2。图像a20中的第1行1列的像素值c1是根据图像a中第1行2列的像素值p12和第2行1列的像素值p21得到的，且c1等于p12与p21的和值除以2。同理，图像a10中的像素值b2等于图像a中的像素值p13与p24的和值除以2。其他像素值的计算方法原理相同，此处不再赘述。

图像a拆分后，得到的图像a10数据格式为拜耳数据格式RGGB，图像a20数据格式和拜耳数据格式RGGB排列方式相同，但滤波片颜色不同。

S302，利用通道调整矩阵，对第一图像经过像素级矫正得到的第一矫正图像进行通道矫正，得到第一通道矫正图像。

在一个示例性的实现过程中，在利用通道调整矩阵，对第一图像经过像素级矫正得到的第一矫正图像进行通道矫正之前，还可以包括：

利用第一像素级矫正模型对第一图像进行像素级矫正，得到第一矫正图像。

本申请实施例中，第一像素级矫正模型可以包括黑电平矫正模块、坏点矫正模块、镜头阴影矫正模块。

例如，利用第一像素级矫正模型对于前述示例中的图像a10进行像素级矫正，得到图像a11，图像a11即为图像a10对应的第一矫正图像。

接着，利用通道调整矩阵，对图像a11进行通道矫正，得到图像a12，图像a12即为图像a10对应的第一通道矫正图像。图像a11、图像a12的像素矩阵尺寸均为m×n。

本申请实施例中，电子设备中可以预先设置多组残差补色参数的参数值。其中，通道调整矩阵即为残差补色参数中的一种参数。这里，我们将通道调整矩阵作为一个参数，当通道调整矩阵中元素的取值不同时，视为不同的通道调整矩阵。

步骤S302中所使用的通道调整矩阵中的具体元素值，可以根据第一图像获得的网格统计信息确定，确定的方法请参见后续关于确定指定参数的参数值的说明。

S303，将第二图像经过像素级矫正得到的第二矫正图像转换为符合第一数据格式的残差图像。

在一个示例性的实现过程中，将第二图像经过像素级矫正得到的第二矫正图像转换为符合第一数据格式的残差图像之前，还可以包括：

利用第二像素级矫正模型对第二图像经过像素级矫正，得到第二矫正图像。

例如，利用第二像素级矫正模型对于前述示例中的图像a20进行像素级矫正，得到图像a21，图像a21即为图像a20对应的第二矫正图像。图像a21的像素矩阵尺寸为m×n。

本申请实施例中，第二像素级矫正模型可以包括黑电平矫正模块、坏点矫正模块、镜头阴影矫正模块。

其中，第二像素级矫正模型的结构可以与第一像素级矫正模型的结构相同，但两者使用的参数值不同。

在一个示例性的实现过程中，将第二图像经过像素级矫正得到的第二矫正图像转换为符合第一数据格式的残差图像，可以包括：

对第二矫正图像进行线性转换，得到符合第一数据格式的残差图像。符合第一数据格式即与第一数据格式匹配。

本申请实施例中，采用线性转换的方式将第二图像转换为残差图像，计算量小，可以提高处理速度。

在本申请其他实施例中，也可以对第二矫正图像进行非线性转换，得到符合第一数据格式的残差图像。

在一个示例性的实现过程中，对第二矫正图像进行线性转换，得到符合第一数据格式的残差图像，可以包括：

对第二矫正图像进行去马赛克处理，得到去马赛克后的多通道矫正图像；

利用残差映射模型对多通道矫正图像进行转换，得到多通道残差图像；

根据多通道残差图像，重采样得到残差图像。

例如，在第一数据格式为拜耳数据格式RGGB的情况下，对前述示例中的图像a21进行去马赛克处理，得到三个通道的去马赛克图像，也即多通道矫正图像：图像a211（对应红色R通道图像）、图像a212（对应绿色G通道图像）、图像a213（对应蓝色B通道图像）。图像a211、图像a212、图像a213的像素矩阵尺寸均为m×n。

然后利用残差映射模型对图像a211、图像a212、图像a213进行转换，得到多通道残差图像：图像a221（对应图像a211）、图像a222（对应图像a212）、图像a223（对应图像a213）。图像a221、图像a222、图像a223的像素矩阵尺寸均为m×n。

接着，按照拜耳数据格式RGGB，对图像a221、图像a222、图像a223进行重采样，得到图像a20对应的残差图像a23。图像a23的像素矩阵尺寸均为m×n。

这里通过附图对去马赛克处理的过程进行说明。图6为示例性示出的去马赛克处理过程的示意图。请参见图6，图像1为RGGB数据格式的图像，将图1拆分为R、G、B三个分量的图像：图像1R、图像1G、图像1B。以红色分量图像1R为例，将图像1中红色像素点的像素值保留，非红色像素点置空，得到图像1R。对于图像1R中的每个空白像素点，根据该空白像素点周围的像素点的像素值，按照预设的算法计算得到该空白像素点的像素值。例如，图像1R中第2行第2列的空白像素点的像素值，可以根据灰色像素点的像素值计算得到。例如，一种算法可以是，图像1R中第2行第2列的空白像素点的像素值等于其8邻域像素点（图像1R中的灰色像素点，计算时8邻域中空白像素点的像素值等于0）的像素值的平均值。这样，每个空白像素点的像素值计算出来后填充到空白像素点处，即可得到图像1R对应的图像2R。同理可以根据图像1G、图像1B分别得到图像2G、图像2B。前述的图像a211、图像a212、图像a213即可按照图像2R、图像2G、图像2B的获得方式得到。

其中，残差映射模型可以为一个3×3的矩阵，本文称为残差映射矩阵。图像a211、图像a212、图像a213组成一个m×n×3的三维矩阵，该三维矩阵与3×3的残差映射矩阵通过矩阵乘法相乘，得到一个m×n×3的三维矩阵，即3个m×n二维矩阵，即：图像a221、图像a222、图像a223。

这里通过附图对重采样的过程进行说明。图7为示例性示出的重采样过程的示意图。请参见图7，以将图6中的图像2R、图像2G、图像2B重采样得到图像2为例，图像2的像素矩阵尺寸与图像2R、图像2G、图像2B的像素矩阵尺寸相同，也为m×n。图像2数据格式为RGGB，图像2中第1行第1列的像素点的像素值，等于红色分量图像2R中第1行第1列的像素点的像素值；图像2中第1行第2列的像素点的像素值，等于绿色分量图像2G中第1行第2列的像素点的像素值，图像中第2行第1列的像素点的像素值，等于绿色分量图像2G中第2行第1列的像素点的像素值；图像中第2行第2列的像素点的像素值，等于蓝色分量图像2G中第2行第2列的像素点的像素值。可见，重采样过程中，图像2中像素点对应的是哪种颜色，就从哪种颜色的图像中取相应像素点的像素值，作为图像2中的像素值。

S304，根据第一矫正图像、第一通道矫正图像和残差图像，融合得到原始图像对应的第一目标图像。

在一个示例性的实现过程中，根据第一矫正图像、第一通道矫正图像和残差图像，融合得到原始图像对应的第一目标图像，可以包括：

将第一通道矫正图像和残差图像中位置相同像素点的像素值相加，得到第一融合图像；

根据第一掩码对第一融合图像进行掩码操作，得到第一输入图像，第一掩码是根据第二图像得到的；

根据第二掩码对第一矫正图像进行掩码操作，得到第二输入图像，第二掩码是对第一掩码进行按位取反得到的；

将第一输入图像和第二输入图像中位置相同像素点的像素值相加，得到第一目标图像。

例如，将前述示例中图像a12和残差图像a23中位置相同像素点的像素值相加，得到图像a30，图像a30的像素矩阵尺寸相同也为m×n。图像a30即为图像a对应的第一融合图像。其中，位置相同是指像素点所处的行和列相同。例如，图像a30中第1行第1列的像素值，等于图像a12中第1行第1列的像素值与残差图像a23中第1行第1列的像素值之和。

第一掩码、第二掩码为由0和1组成的矩阵，第一掩码和第二掩码中相同位置的掩码值相反。例如，如果第一掩码中第1行第1列的掩码值为1，那么第二掩码中第1行第1列的掩码值为0。

掩码操作即将图像中对应掩码值1的像素点的像素值保留，将图像中对应掩码值0的像素点的像素值置0。

例如，根据第一掩码对前述示例中图像a30进行掩码操作，图像a30中对应第一掩码中掩码值1的像素点的像素值保留，对应掩码值0的像素点的像素值置为0，得到图像a40，图像a40即为图像a30对应的第一输入图像。

根据第二掩码对对前述示例中图像a11进行掩码操作，图像a11中对应第二掩码中掩码值1的像素点的像素值保留，对应掩码值0的像素点的像素值置为0，得到图像a50，图像a50即为图像a11对应的第二输入图像。

然后，将图像a40和图像a50中位置相同像素点的像素值相加，得到图像a60，图像a60即为图像a对应的第一目标图像。

在一个示例性的实现过程中，根据第一掩码对第一融合图像进行掩码操作，得到第一输入图像之前，还可以包括：

根据第一矫正图像获得基于第一数据格式的第一网格统计信息；

根据第一网格统计信息，确定指定参数的参数值；

根据第二矫正图像获得第二网格统计信息；

根据第二网格统计信息，生成第一掩码，第一掩码中，对应第二图像中过曝位置的掩码值为0，对应第二图像中正常曝光位置的掩码值为1。

例如，根据前述示例中的图像a11获得基于数据格式RGGB的网格统计信息1，根据网格统计信息1确定通道调整模型、残差映射模型以及基于数据格式RGGB的ISP模型中的CCM（Color Correction Matrix，颜色转换矩阵）的参数。根据前述示例中的图像a21获得基于数据格式RGGB的网格统计信息2，根据网格统计信息2生成前述的第一掩码。

其中，网格统计信息的获取方式可以如下：

将一幅图像分为多个网格，每个网格的大小相同，每个网格包括多个像素点。在每个网格内，统计各个通道（例如数据格式为RGGB的图像包括3个通道R、G、B）的像素点数量和像素值的和，然后取平均值作为网格的像素值，结果即为网格统计信息。

其中，根据第二网格统计信息，生成第一掩码，可以包括：

将第二网格统计信息中每一网格的像素值与预设阈值进行比较，如果网格的像素值大于预设阈值，确认网格为过曝位置，将该网格中所有像素点对应的掩码值置为0；如果网格的像素值小于或等于预设阈值，确认网格为正常曝光位置，将该网格中所有像素点对应的掩码值置为1。

根据第一网格统计信息，确定的指定参数的参数值中，CCM矩阵的参数值可以通过如下方式拟合得到：第一图像的像素值组成的矩阵与CCM矩阵进行矩阵相乘的结果等于已知的经典24色卡在sRGB域的真值矩阵。

其中，通道调整模型对应的参数为通道调整矩阵、残差映射模型对应的参数为残差映射矩阵，该两个矩阵可以通过如下方式拟合得到：第一图像的像素值组成的矩阵与通道调整矩阵的第一运算结果，与第二图像的像素值组成的矩阵与残差映射矩阵进行矩阵相乘的结果相加，得到第一和值，第一和值与CCM矩阵进行矩阵相乘的结果等于已知的经典24色卡在sRGB域的真值矩阵。

其中，第一运算表示：通道调整矩阵中相应通道的元素值，与第一图像的像素值组成的矩阵中相应通道的像素值相乘。

在一个示例性的实现过程中，根据第一通道矫正图像和残差图像，融合得到原始图像对应的第一目标图像之后，还可以包括：

利用基于第一数据格式的图像信号处理模型对第一目标图像进行处理，得到第二目标图像。

例如，利用基于数据格式RGGB的ISP模型对前述示例中的图像a60进行处理，得到图像a70，图像a70即为图像a对应的第二目标图像。

下面通过附图对本申请实施例的图像处理方法过程进一步进行说明。

图8为示例性示出的对图像a的处理过程示意图。请参见图8，多光谱传感器输出原始图像a，图像a经对角线合并方式拆分图像a10和图像a20，其中，图像a10的数据格式为RGGB。图像a10经过像素级矫正得到图像a11，对图像a11进行网格统计得到统计信息1，对统计信息1进行3A算法计算，根据3A算法计算结果确定前述指定参数的参数值，这些参数值（包括通道调整矩阵、残差映射矩阵以及ISP中的CCM矩阵）用于后续的处理。

接着，对图像a11进行通道矫正，得到图像a12。图像a20经过像素级矫正得到图像a21，对图像a21进行去马赛克处理得到图像a211、图像a212、图像a213，对图像a211、图像a212、图像a213进行转换得到图像a221、图像a222、图像a223。对图像a221、图像a222、图像a223进行重采样得到图像a23。

然后，将图像a23和图像a12相加（相同位置像素点的像素值相加）得到图像a30。对图像a21进行网格统计得到统计信息2，根据统计信息2生成第一掩码，根据第一掩码取反得到第二掩码。用第一掩码对图像a30进行掩码操作得到图像a40。用第二掩码对图像a11进行掩码操作得到图像a50。将图像a40和图像a50相加得到图像a60。利用基于数据格式RGGB的ISP对图像a60进行处理，得到图像a70。图像a70可以是摄像头输出的图片或视频帧。

其中，图8中图像a10的数据格式需要与图8中ISP模块对应的数据格式相同。

其中，图8的ISP中包括使用CCM矩阵进行的颜色转换处理，该颜色转换处理中所使用的CCM矩阵采用前述通过统计信息1计算出来的参数对应的预先配置好的CCM矩阵。

需要说明的是，如果图8的ISP模块中包括像素级矫正处理，则对图像a60进行处理的过程中，可以关闭ISP中的像素级矫正处理模块，即在ISP中不再对图像a60进行像素级矫正处理。这是因为，前述的图像a10和图像a20都已经经过了像素级矫正处理。图8的这种将像素级矫正处理前置的方案能够大大节约计算开销，并且能够降低ISP中算法的复杂度。

在本申请其他实施例中，也可以去掉图8所示实施例中的通道矫正处理。

在本申请其他实施例中，也可以去掉图8中虚线框内的两个像素级矫正处理，此时进入ISP模块的图像需要进行ISP模块中的像素级矫正处理。

本申请实施例，利用通道矫正能够调整图像中各个颜色通道信号的增益，以调整不同颜色通道对整体色彩效果的贡献比。

本申请实施例，通过调整拆分后的第一图像（例如前述的图像a11）的通道增益，以及将第二图像变换后作为残差和第一图像融合，进一步缩小了与真实色彩的差距，提升了图像的色彩表现力，从而具备更加精准的颜色还原能力。

本申请实施例中，由于第二图像相对于第一图像光谱响应曲线更广，在相同曝光时间下第二图像有更高的信噪比，所以第二图像转换的残差图像和第一图像融合后，能够有效提升整体图像的信噪比，进一步提高了图像质量。

本申请实施例中，还通过图像的网格统计信息生成掩码来解决光谱响应差异大带来的局部过曝问题，避免产生RYYB数据格式的图像局部过曝时红色偏黄的问题（RYYB由于黄色Y的光谱响应曲线所覆盖的光谱范围更广，和R、B响应值差异较大，所以易造成Y通道过曝现象），进一步提高了图像质量。

本申请实施例还提供一种电子设备，该电子设备包括存储器和处理器，存储器与处理器耦合，存储器存储有程序指令，当程序指令由所述处理器执行时，使得电子设备前述电子设备所执行的图像处理方法。

可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的图像处理方法。

本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的图像处理方法。

另外，本申请实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的图像处理方法。

其中，本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本申请各个实施例的任意内容，以及同一实施例的任意内容，均可以自由组合。对上述内容的任意组合均在本申请的范围之内。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

结合本申请实施例公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器（Random Access Memory，RAM）、闪存、只读存储器（Read Only Memory，ROM）、可擦除可编程只读存储器（Erasable Programmable ROM，EPROM）、电可擦可编程只读存储器（Electrically EPROM，EEPROM）、寄存器、硬盘、移动硬盘、只读光盘（CD-ROM）或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (15)

1.一种图像处理方法，其特征在于，应用于电子设备，包括：

将原始图像拆分为第一图像和第二图像，所述第一图像为符合第一数据格式的图像；

利用通道调整矩阵，对所述第一图像经过像素级矫正得到的第一矫正图像进行通道矫正，得到第一通道矫正图像；

将所述第二图像经过像素级矫正得到的第二矫正图像转换为符合所述第一数据格式的残差图像；

根据所述第一矫正图像、所述第一通道矫正图像和所述残差图像，融合得到所述原始图像对应的第一目标图像。

2.根据权利要求1所述的方法，其特征在于，根据所述第一矫正图像、所述第一通道矫正图像和所述残差图像，融合得到所述原始图像对应的第一目标图像之后，还包括：

利用基于所述第一数据格式的图像信号处理模型对所述第一目标图像进行处理，得到第二目标图像。

3.根据权利要求1所述的方法，其特征在于，将原始图像拆分为第一图像和第二图像，包括：

按照对角线合并方式对原始图像进行拆分，得到第一图像和第二图像，所述第一图像为符合第一数据格式的图像。

4.根据权利要求1所述的方法，其特征在于，利用通道调整矩阵，对所述第一图像经过像素级矫正得到的第一矫正图像进行通道矫正之前，还包括：

利用第一像素级矫正模型对所述第一图像进行像素级矫正，得到第一矫正图像。

5.根据权利要求1所述的方法，其特征在于，将所述第二图像经过像素级矫正得到的第二矫正图像转换为符合所述第一数据格式的残差图像之前，还包括：

利用第二像素级矫正模型对所述第二图像进行像素级矫正，得到第二矫正图像。

6.根据权利要求1所述的方法，其特征在于，将所述第二图像经过像素级矫正得到的第二矫正图像转换为符合所述第一数据格式的残差图像，包括：

对所述第二矫正图像进行线性转换，得到符合所述第一数据格式的残差图像。

7.根据权利要求6所述的方法，其特征在于，对所述第二矫正图像进行线性转换，得到符合所述第一数据格式的残差图像，包括：

对所述第二矫正图像进行去马赛克处理，得到去马赛克后的多通道矫正图像；

利用残差映射模型对所述多通道矫正图像进行转换，得到多通道残差图像；

根据所述多通道残差图像，重采样得到与所述第一数据格式匹配的残差图像。

8.根据权利要求1所述的方法，其特征在于，根据所述第一矫正图像、所述第一通道矫正图像和所述残差图像，融合得到所述原始图像对应的第一目标图像，包括：

将所述第一通道矫正图像和所述残差图像中位置相同像素点的像素值相加，得到第一融合图像；

根据第一掩码对所述第一融合图像进行掩码操作，得到第一输入图像，所述第一掩码是根据所述第二图像得到的；

根据第二掩码对所述第一矫正图像进行掩码操作，得到第二输入图像，所述第二掩码是对所述第一掩码进行按位取反得到的；

将所述第一输入图像和所述第二输入图像中位置相同像素点的像素值相加，得到第一目标图像。

9.根据权利要求8所述的方法，其特征在于，根据第一掩码对所述第一融合图像进行掩码操作，得到第一输入图像之前，还包括：

根据所述第一矫正图像获得基于所述第一数据格式的第一网格统计信息；

根据所述第一网格统计信息，确定指定参数的参数值；

根据所述第二矫正图像获得第二网格统计信息；

根据所述第二网格统计信息，生成第一掩码，所述第一掩码中，对应所述第二图像中过曝位置的掩码值为0，对应所述第二图像中正常曝光位置的掩码值为1。

10.根据权利要求9所述的方法，其特征在于，所述指定参数包括如下模型中的参数：

通道调整模型、残差映射模型以及基于所述第一数据格式的图像信号处理模型中的颜色转换模型。

11.根据权利要求1所述的方法，其特征在于，所述原始图像为多光谱传感器采集的图像。

12.根据权利要求1所述的方法，其特征在于，所述第一数据格式为拜耳Bayer格式。

13.根据权利要求12所述的方法，其特征在于，所述第一图像对应所述原始图像中的红、绿、蓝三种颜色的分量，所述第二图像对应所述原始图像中除红、绿、蓝三种颜色外的其他颜色的分量。

14.一种电子设备，其特征在于，包括：

存储器和处理器，所述存储器与所述处理器耦合；

所述存储器存储有程序指令，当所述程序指令由所述处理器执行时，使得所述电子设备执行权利要求1-13中任意一项所述的图像处理方法。

15.一种计算机可读存储介质，包括计算机程序，其特征在于，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1-13中任意一项所述的图像处理方法。

Images