CN113689335B - 图像处理方法与装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、图像处理装置、电子设备及非易失性计算机可读存储介质。图像处理方法包括：获取多帧原始raw图，原始raw图为Quadra Bayer格式；调用预设的卷积神经网络对多帧原始raw图进行处理以获取单帧融合raw图，融合raw图为Bayer格式；及对融合raw图进行去马赛克处理获取超分辨率图像，超分辨率图像为RGB三通道图像。本申请实施方式的图像处理方法、图像处理装置、电子设备及非易失性计算机可读存储介质能够利用多帧原始raw图获取单帧融合raw图，并对融合raw图进行去马赛克处理获取超分辨率图像。相较于原始raw图，获取的超分辨率图像质量更优。

Description

图像处理方法与装置、电子设备及计算机可读存储介质

技术邻域

本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备及非易失性计算机可读存储介质。

背景技术

随着手机、CCD、CMOS摄像机等图像采集设备的不断发展，人们对高分辨率图像的需求不断增长，对高质量视觉体验的追求也越来越高。为了提高CCD或CMOS等摄像机传感器的性能，需要一种图像处理方法获取超分辨率图像。

发明内容

本申请实施方式提供了一种图像处理方法、图像处理装置、电子设备及非易失性计算机可读存储介质。

本申请实施方式的图像处理方法包括：获取多帧原始raw图，所述原始raw图为Quadra Bayer格式；调用预设的卷积神经网络对多帧所述原始raw图进行处理以获取单帧融合raw图，所述融合raw图为Bayer格式；及对所述融合raw图进行去马赛克处理获取超分辨率图像，所述超分辨率图像为RGB三通道图像。

本申请实施方式的图像处理装置包括图像传感器及图像处理模块。所述图像传感器用于获取多帧原始raw图，所述原始raw图为Quadra Bayer格式。所述图像处理模块用于调用预设的卷积神经网络进行计算，以对多帧所述原始raw图进行处理以获取单帧融合raw图，所述融合raw图为Bayer格式；及所述图像处理模块还用于对所述融合raw图进行去马赛克处理获取超分辨率图像，所述超分辨率图像为RGB三通道图像。

本申请实施方式的电子设备包括相机和图像处理装置。所述相机用于拍摄图像。所述图像处理装置包括图像传感器及图像处理模块。所述图像传感器用于获取多帧原始raw图，所述原始raw图为Quadra Bayer格式。所述图像处理模块用于调用预设的卷积神经网络进行计算，以对多帧所述原始raw图进行处理以获取单帧融合raw图，所述融合raw图为Bayer格式；及所述图像处理模块还用于对所述融合raw图进行去马赛克处理获取超分辨率图像，所述超分辨率图像为RGB三通道图像。

本申请实施方式的一种包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，使得所述处理器实现本申请实施方式所述的图像处理方法。图像处理方法包括：获取多帧原始raw图，所述原始raw图为Quadra Bayer格式；调用预设的卷积神经网络对多帧所述原始raw图进行处理以获取单帧融合raw图，所述融合raw图为Bayer格式；及对所述融合raw图进行去马赛克处理获取超分辨率图像，所述超分辨率图像为RGB三通道图像。

本申请实施方式的图像处理方法、图像处理装置、电子设备及非易失性计算机可读存储介质能够在raw对图像进行处理以获取超分辨率图像，具体地，能够利用多帧原始raw图获取单帧融合raw图，并对融合raw图进行去马赛克处理获取超分辨率图像。在RAW预的图像噪声模式相对简单、弱相关、易于去噪，图像高频信息丢失少，在RAW域的图像处理可以重构实现Remosaic、Demosaic等功能，达到更优的效果，减少如伪色、拉链效应等问题，提升图像分辨率，相较于原始raw图，获取的超分辨率图像质量更优。

本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的图像处理方法的流程示意图；

图2是本申请某些实施方式的电子设备及图像处理装置的结构示意图；

图3是一些实施方式中Bayer、Quadra Bayer、RGB三通道格式图像的示意图；

图4是本申请某些实施方式的原始raw图和超分辨率图像的示意图；

图5是本申请某些实施方式的图像处理方法的流程示意图；

图6是本申请某些实施方式对原始raw图进行预处理的场景示意图；

图7是本申请某些实施方式的图像处理方法的流程示意图；

图8是本申请某些实施方式的获取单帧融合raw图的场景示意图；

图9是本申请某些实施方式的获取单帧融合raw图的场景示意图；

图10是本申请某些实施方式的图像处理方法的流程示意图；

图11是本申请某些实施方式的图像处理方法的流程示意图；

图12是本申请某些实施方式的图像处理方法的流程示意图；

图13是一些实施方式的图像传感器的输出模式的示意图；

图14是本申请某些实施方式的图像处理方法的流程示意图；

图15是本申请某些实施方式的图像处理方法的流程示意图；

图16是本申请某些实施方式的计算机可读存储介质与处理器的连接关系示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

本申请实施方式提供一种图像处理方法。请参阅图1，本申请实施方式的图像处理方法包括：

01：获取多帧原始raw图，原始raw图为Quadra Bayer格式；

02：调用预设的卷积神经网络对多帧原始raw图进行处理以获取单帧融合raw图，融合raw图为Bayer格式；及

03：对融合raw图进行去马赛克处理获取超分辨率图像，超分辨率图像为RGB三通道图像。

请参阅图2，本申请实施方式还提供一种电子设备1000，电子设备1000包括相机200及图像处理装置100。相机200用于拍摄图像。图像处理装置100用于实现本申请实施方式的图像处理方法。具体地，图像处理装置100包括图像传感器10和图像处理模块20。其中，图像传感器10可用于实现方法01，图像处理模块20可用于实现方法02及方法03。即，图像传感器10用于获取多帧原始raw图，原始raw图为Quadra Bayer格式。图像处理模块20能够调用预设的卷积神经网络进行计算，卷积神经网络用于对多帧原始raw图进行处理以获取单帧融合raw图，融合raw图为Bayer格式；以及用于对融合raw图进行去马赛克处理获取超分辨率图像，超分辨率图像为RGB三通道图像。

在某些实施方式中，图像处理模块20包括神经网络模块21及拜耳处理模块22。神经网络模块21可用于实现方法02，拜耳处理模块22可用于实现方法03。即，神经网络模块21可用于调用预设的卷积神经网络进行计算，卷积神经网络用于对多帧原始raw图进行处理以获取单帧融合raw图。拜耳处理模块22可用于对融合raw图进行去马赛克处理获取超分辨率图像。

在某些实施方式中，图像处理模块20包括经网络模块21，神经网络模块21可用于实现方法02及方法03。即，神经网络模块21可用于调用预设的卷积神经网络进行计算，卷积神经网络用于对多帧原始raw图进行处理以获取单帧融合raw图；卷积神经网络还可用于对融合raw图进行去马赛克处理获取超分辨率图像。也即是说，融合多帧原始raw图获取单帧融合raw图的处理以及对融合raw图进行去马赛克处理均可通过同一卷积神经网络模型执行，对卷积神经网络模型输入多帧原始raw图后由卷积神经网络模型直接输出超分辨率图像。

其中，电子设备1000可以是手机、平板电脑、显示设备、笔记本电脑、智能手表、头显设备、游戏机、可移动平台等设备，在此不一一列举。如图2所示，本申请实施方式以电子设备1000是手机为例进行说明，可以理解，电子设备1000的具体形式并不限于手机。

神经网络模块21可以是可用于神经网络计算的芯片，例如CPU(centralprocessing unit，CPU)、GPU(graphics processing unit，GPU)、FPGA(FieldProgrammable Gate Array，FPGA)、ASIC(Application Specific Integrated Circuit，ASIC)等，在此不一一列举。

预设的卷积神经网络是预先设置的卷积神经网络模型，例如具有预设参数的卷积神经网络模型。在一个实施例中，预设的卷积神经网络可以是训练完成的卷积神经网络模型，能够根据输入卷积神经网络模型的多帧原始raw图进行处理以获取符合需求的单帧融合raw图。在又一个实施例中，预设的卷积神经网络可以是训练未完成的卷积神经网络模型，可利用图像处理模块20重复执行方法02获取单帧融合raw图以对卷积神经网络模型进行训练，直至获取的单帧融合raw图符合需求，例如在预定数量的单帧融合raw图符合需求时，则认为卷积神经网络模型训练完成。其中，训练完成的卷积神经网络模型也可以在后续的使用过程中持续训练，以使后续获取的单帧融合raw图更符合需求。

在某些实施方式中，图像处理装置100还包括存储器30，存储器30用于存储卷积神经网络。图像处理模块20可以从存储器调用预设的卷积神经网络进行计算。图像处理模块20还可以更新卷积神经网络的参数并将更新后的数据传输至存储器，以在下一次调用卷积神经网络时，卷积神经网络具有更新后的参数。

请参阅图3，图3中从左图至右图依次示意Bayer格式图像、Quadra Bayer格式图像、和RGB三通道图像。Bayer格式图像是红色像素R、绿色像素G、蓝色像素B按照拜耳阵列排布的图像。Quadra Bayer格式图像是同色的2行2列4个像素作为一个该颜色的大像素，红色大像素、绿色大像素、蓝色大像素按照拜耳阵列排布的图像。例如图3示意的Quadra Bayer格式图像中，左上角2行2列4个红色像素R作为一个红色大像素，红色大像素、绿色大像素、蓝色大像素按照拜耳阵列排布。RGB三通道图像是根据红色通道图像、蓝色通道图像和绿色通道图像生成的彩色图像，红色通道图像决定RGB三通道图像的红色分量，蓝色通道图像决定RGB三通道图像的蓝色分量，绿色通道图像决定RGB三通道图像的绿色分量。

本申请的实施方式在raw域处理图像以获取超分辨率图像，超分辨率图像为RGB三通道图像。具体地，单帧原始raw图可能因为噪声、抖动等因素而无法准确还原被拍摄对象的信息，可能表现为拍摄的图像不清晰。本申请的实施方式中，可利用卷积神经网络模型融合多帧Quadra Bayer格式的原始raw图生成单帧Bayer格式的融合raw图，在RAW预的图像噪声模式相对简单、弱相关、易于去噪，图像高频信息丢失少，在RAW域的图像处理可以重构实现Remosaic、Demosaic等功能，理论上达到更优效果，减少如伪色、拉链效应等问题，提升图像分辨率，使单帧融合raw图相较于单帧原始raw图能够包含更多的信息量，利用多帧原始raw图的信息还原被拍摄对象的更多细节。本申请的实施方式还通过对融合raw图进行去马赛克处理获取超分辨率图像，以完成图像从raw域到RGB域的转换，还原红、绿、蓝三通道的颜色信息，生成高质量RGB三通道图像。

请参阅图4，图4中左图和右图分别为一帧原始raw图和本申请实施方式的图像处理方法获取的超分辨率图像的示例。相较于原始raw图，本申请实施方式的图像处理方法获取的超分辨率图像包含的信息量更大、图像更清晰、噪声更小、高频细节更清晰、图像质量更优。

本申请实施方式的图像处理方法、图像处理装置100及电子设备1000能够利用多帧原始raw图获取单帧融合raw图，并对融合raw图进行去马赛克处理获取超分辨率图像。相较于原始raw图，获取的超分辨率图像质量更优。

下面结合附图作进一步说明。

请参阅图5，在某些实施方式中，02：对多帧原始raw图进行处理以获取单帧融合raw图，包括：

021：调用预设的卷积神经网络对多帧原始raw图进行像素重建处理以获取单帧融合raw图。

或者，02：对多帧原始raw图进行处理以获取单帧融合raw图，包括：

022：获取预处理参数信息；

023：根据预处理参数信息对多帧原始raw图进行预处理以获取预处理raw图，预处理包括感光校正、黑电平矫正、坏点补偿、镜头阴影校正、白平衡校正中的至少一种；及

024：调用预设的卷积神经网络对多帧预处理raw图进行像素重建处理以获取单帧融合raw图。

其中，方法021和方法024的区别在于进行像素重建处理的raw图是否经过预处理，其过程均为将多帧Quadra Bayer格式的raw图进行像素重建(remosaic)处理生成单帧Bayer格式的raw图的过程。方法021和方法024可通过同一硬件实现。具体地，请结合图2，在某些实施方式中，图像处理模块20还可用于实现021及024中的方法，即图像处理模块20还可用于调用预设的卷积神经网络对多帧原始raw图进行像素重建处理以获取单帧融合raw图，及对多帧预处理raw图进行像素重建处理以获取单帧融合raw图。

请结合图2，在某些实施方式中，图像处理装置100还包括预处理模块40，预处理模块40用于实现022和023中的方法，即预处理模块40用于获取预处理参数信息及根据预处理参数信息对多帧原始raw图进行预处理以获取预处理raw图。

其中，参数信息可包括原始raw图对应的曝光时间、感光度、曝光补偿、快门速度、图像高宽、黑电平参数、白电平参数、色彩转换矩阵、白平衡参数、镜头阴影校正参数等参数中的至少一种，以根据参数信息进行对每帧原始raw图进行预处理。例如，可根据感光度对原始raw图进行感光校正；再例如，可根据黑电平参数对原始raw图进行黑电平矫正；再例如，可根据白平衡参数对原始raw图进行白平衡校正等，在此不一一列举。

预处理raw图仍然是Quadra Bayer格式的raw图。每帧原始raw图经过预处理后得到一帧预处理raw图，即预处理模块40输出的预处理raw图的数量与输入的原始raw图的数量一致。相较于原始raw图，预处理raw图具有更高的画质和更准确的色彩表现，从而根据多帧预处理raw获取的单帧融合raw图能够具有更高的质量，利于获取高质量的超分辨率图像。

请参阅图6，进一步地，在某些实施方式中，预处理参数信息可包括串扰(crosstalk)信息，预处理可包括串扰校准。由于图像传感器10的每个像素所在的位置不同，使得每个像素对应串扰可能不同，即每个像素的感光能力可能存在一定的差异。如图6所示，由于每个像素的感光能力不同，生成的Quadra Bayer格式的原始raw图中每个像素的能量分布可能不均匀，例如图6示意的四个像素对应的能量分别为L1、L2、L3、L4，可能导致图像出现锯齿状格子等色块干扰。本申请的实施方式可根据串扰信息获取图像传感器10的每个像素成像时对应的各像素通道的补偿参数，补偿参数用于校准原始raw图中每个像素的能量，使校准后的预处理raw图中各像素的能量分布均匀，例如校准后，图5示意的预处理raw图的某一区域的四个像素的能量均为Ln，从而平衡图像中各像素的能量分布，减少串扰影响。

请参阅图7，在某些实施方式中，024：调用预设的卷积神经网络对多帧预处理raw图进行像素重建处理以获取单帧融合raw图，包括：

0241：通过多个卷积层提取多帧预处理raw图的邻域特征和帧间信息；及

0242：根据邻域特征和帧间信息，通过多个卷积层和反卷积层进行特征配准和格式转换以获取单帧融合raw图。

请结合图2，在某些实施方式中，图像处理模块20还可用于实现0241及0242中的方法，即图像处理模块20还可用于通过多个卷积层提取多帧预处理raw图的邻域特征和帧间信息；及根据邻域特征和帧间信息，通过多个卷积层和反卷积层进行特征配准和格式转换以获取单帧融合raw图。

请参阅图8，邻域特征是某一项像素及该像素的邻域像素的特征。帧间信息是同一特征在各帧预处理raw图或各帧原始raw图的位置信息。例如，图8中利用R1、R2、R3三帧预处理raw图生成一帧融合raw图Rh，预处理raw图和融合raw图的分辨率相同。假设以预处理raw图R1作为基准帧，预处理raw图R1的像素P6处存在一特征，则经过像素重建处理后应该在融合raw图Rh的像素P6处还原该特征。假设在预处理raw图R1中将像素P6相邻的8个像素P1、P2、P3、P5、P7、P9、P10、P11作为邻域像素，则在融合raw图Rh中对像素P5的像素重建需要将预处理raw图R1的像素P6及像素P6的邻域像素所包含的信息作为像素重建的依据，具体的像素重建过程由卷积神经网络实现。

由于拍摄图像时存在抖动，因此同一特征在不同的原始raw图中对应的像素位置可能不同。通过预处理根据原始raw图生成预处理raw图不会改变特征在图像中的位置，图8以多帧预处理raw图生成一帧融合raw图为例进行说明。预处理raw图R1的像素P6处存在一特征，由于抖动，同一特征在预处理raw图R2中对应的像素为P7，在预处理raw图R2中对应的像素为P10，则在融合raw图Rh中对像素P6的像素重建除了需要将预处理raw图R1的像素P6及像素P6的邻域像素所包含的信息作为像素重建的依据外，还需将预处理raw图R2的像素P7及像素P7的邻域像素、预处理raw图R3的像素P10及像素P10的邻域像素所包含的信息作为像素重建的依据，在像素重建时将预处理raw图R1的像素P6、预处理raw图R2的像素P7、预处理raw图R3的像素P10对齐至融合raw图Rh的像素P6，具体的像素重建过程由卷积神经网络实现。其中，处理raw图R1、R2、R3是由连续拍摄的三帧原始raw图生成的图像。如此，卷积神经网络能够融合不同时域、空域中的同一特征及同一特征的邻域特征生成融合raw图，以准确还原被拍摄对象的特征信息。

其中，特征由预设的参数确定。例如在一个实施例中，可以以图像的灰度梯度变化较大的像素点作为特征点，则特征可由灰度梯度参数确定。在又一实施例中，可以结合语义识别算法识别原始raw图或预处理raw图中的物体，将某一具体的物体作为某一特征，改特征可能对应一个或多个像素。

在一些实施方式中，可通过对单帧Quadra Bayer格式的raw图进行插值处理以获取单帧插值后的raw图，并能够对单帧插值后的raw图进行去马赛克处理获取超分辨率图像。然而，通过插值处理获取的插值后的raw图中，各像素的信息是通过插值算法估计的信息，难以准确还原被拍摄对象的对应特征的信息，根据插值后的raw图获取的超分辨率图像中可能出现纹理细纹、伪彩等现象，导致超分辨率图像的质量较低。本申请的实施方式中，融合raw图中各像素的信息是由多帧原始raw图的对应像素的信息融合生成，即融合raw图中各像素的信息来源于真实像素提供的信息，因此能够准确还原被拍摄对象的对应特征的信息，能够减少纹理细纹、伪彩等现象，使根据融合raw图获取的超分辨率图像具有较高的质量。

在某些实施方式中，可利用像素位移(pixel shift)技术产生预设的抖动并获取多帧原始raw图，以对被拍摄对象的同一特征增加采样点，获取同一特征更丰富的信息，如色彩信息、轮廓信息、位置信息等，以便于利用多个采样点，即利用多帧原始raw图融合生成一帧融合raw图，使融合raw图相较于原始raw图更能够准确地还原被拍摄对象的信息。

进一步地，请参阅图9。图9示意利用卷积神经网络模型根据输入的多帧QuadraBayer格式的raw图获取单帧Bayer格式的raw图的一个实施例。其中，输入的多帧QuadraBayer格式的raw图可以是原始raw图或预处理raw图，单帧Bayer格式的raw图为融合raw图。多帧Quadra Bayer格式的raw图按时间顺序堆叠输入卷积神经网络模型，卷积神经网络模型通过多个卷积层提取多帧Quadra Bayer格式的raw图的邻域特征和帧间信息。具体地，卷积神经网络模型通过四层卷积层构成的编码结构提取邻域特征和帧间信息，四层卷积层对应的卷积核大小为3×3，卷积的步长为2，激活函数为LeakyRelu函数。经过四层卷积层的特征提取、融合后将8帧分辨率为1024×1024的图像转换为128通道的分辨率为64×64的图像。然后根据邻域特征和帧间信息，通过多个卷积层和反卷积层进行特征配准和格式转换以获取单帧融合raw图，具体地，使用四个由卷积层和反卷积层构成的解码结构重建图像信息，其中卷积核大小均为3×3，卷积层的步长为1，反卷积层的步长为2。同时，在解码时加入Concatenation级联融合不同层级的特征信息，以对解码结构中图像的像素信息进行校准，确保解码后获取的像素的信息准确。例如图9中由128通道的分辨率为64×64的图像反卷后得到的256通道的分辨率为128×128的图像与解码结构中分辨率同为128×128的128通道图像级联，假设在256通道的分辨率为128×128的图像中像素Px的灰度值为12，与之级联的分辨率同为128×128的128通道图像中相同位置的像素Px的灰度值为14，则将256通道的分辨率为128×128的图像进行下一次卷积后获取的128通道的分辨率为128×128的图像中同一像素Px的灰度值根据上述灰度值12及灰度值14确定，以确保像素Px的灰度值信息准确。经过解码结构重建信息后能够获取16通道的分辨率为1024×1024的图像，再通过两个卷积核大小为3×3，步长为1，通道数分别为8和1的卷积层处理后获取一帧分辨率为1024×1024的图像，该帧辨率为1024×1024的图像即为Bayer格式的融合raw图，融合raw图的各像素对应的信息根据输入的Quadra Bayer格式的raw图的邻域特征和帧间信息融合获取，QuadraBayer格式到Bayer格式的转化过程和多帧Quadra Bayer格式的图像的信息配准过程在卷积神经网络模型中同步进行。

其中，卷积核的大小、卷积的步长、卷积层的数量并不局限与上述实施例的示例，可根据用户的需求具体设置，此处不作限制。卷积核越大，则邻域特征的范围越大，卷积的步长越小，则特征提取的精度越高。编码结构的卷积层的数量与解码结构的卷积层的数量一致，卷积层的数量越多，则对图像的抽象化程度越高，同一像素富集的信息量越大。

请参阅图10，在某些实施方式中，024：调用预设的卷积神经网络对多帧预处理raw图进行像素重建处理以获取单帧融合raw图，还包括：

0243：获取运动参数；及

0244：根据运动参数获取帧间信息。

请结合图2，在某些实施方式中，电子设备1000还包括陀螺仪300，陀螺仪300用于实现0243中的方法，即陀螺仪300用于在拍摄图像时获取电子设备1000的运动参数。图像处理模块20还可用于实现0244中的方法，即图像处理模块20还可用于根据运动参数获取帧间信息。

请结合图8，其中，运动参数可包括电子设备1000的速度、加速度、角速度等参数中的至少一种，在此不作限制。根据运动参数，能够辅助图像处理模块20计算同一特征在不同的Quadra Bayer格式的raw图中的偏移情况，以便于实现特征的匹配和对齐。其中，特征的匹配是在多帧Quadra Bayer格式的raw图中匹配同一特征，特征的对齐是将同一特征在多帧Quadra Bayer格式的raw图中对应的像素对齐。

请参阅图11，在某些实施方式中，024：调用预设的卷积神经网络对多帧预处理raw图进行像素重建处理以获取单帧融合raw图，还包括：

0245：根据预设的RGB颜色比例修正融合raw图的颜色以获取颜色修正后的融合raw图。

请结合图2，在某些实施方式中，图像处理模块20还可用于实现0244中的方法，即图像处理模块20还可用于根据预设的RGB颜色比例修正融合raw图的颜色以获取颜色修正后的融合raw图。

具体地，请结合图9，在某些实施方式中，预设的RGB颜色比例为输入的QuadraBayer格式的raw图的RGB颜色比例。若能够预先获取输入的Quadra Bayer格式的raw图的RGB颜色比例，则可根据Quadra Bayer格式的raw图的RGB颜色比例的颜色比例修正融合raw图的颜色。例如预设的RGB颜色比例为4：3：3，融合raw图的RGB颜色比例为3：5：2，则可以根据预设的RGB颜色比例修正融合raw图的颜色，例如可多次训练卷积神经网络模型直至获取的融合raw图的RGB颜色比例接近4：3：3；再例如通过插值处理、颜色校正等方式对融合raw图进行修正，使修正后的融合raw图的RGB颜色比例接近4：3：3。

请参阅图9，在某些实施方式中，融合raw图与每帧原始raw图的分辨率均相同。例如融合raw图的分辨率与预处理raw图的分辨率均为1024×1024，而本申请的实施方式中，预处理过程不会改变raw图的分辨率，原始raw图的分辨率与融合raw图的分辨率相同，因此图像处理模块20输出的融合raw图的分辨率与原始raw图的分辨率相同。

在某些实施方式中，融合raw图的分辨率小于每一帧原始raw图的分辨率。进一步地，融合raw图的分辨率与原始raw图的分辨率呈偶数倍关系。具体地，图像处理模块20输出的融合raw图可以是binning处理后的Bayer格式的raw图，融合raw图的分辨率是原始raw图的分辨率的四分之一。binning处理可由图像处理模块20实现，即图像处理模块20能够根据输入的多帧Quadra Bayer格式的raw图输出一帧Binning Bayer格式的raw图作为融合raw图。

请参阅图12，在某些实施方式中，图像处理方法还包括：

04：将图像传感器10设置为Fullsize输出模式；及

05：关闭remosaic功能，使图像传感器10输出原始raw图。

请结合图2，在某些实施方式中，图像处理装置100还包括拍摄模块50，拍摄模块50可用于实现04及05中的方法，即，拍摄模块50可用于将图像传感器10设置为Fullsize输出模式；及关闭remosaic功能，使图像传感器10输出原始raw图。

其中，关闭remosaic功能可以通过关闭remosaic寄存器配置实现，类似地，若要打开remosaic功能，可以通过打开remosaic寄存器配置实现。

请结合图13，图像传感器10生成的图像为Quadra Bayer格式的图像，即原始raw图。通常图像传感器10输出图像包括两种模式：一种是Binning输出模式，将Quadra Bayer格式的图像的每个Quadra大像素合成一个同色的binning像素，binning像素尺寸为Quadra大像素的四分之一，在Binning输出模式下输出的图像分辨率为原始raw图的四分之一，会损失部分图像信息，通常用于显示缩略图；另一种是Fullsize输出模式，也称作remosaic输出模式，在Fullsize输出模式下输出的图像分辨率与原始raw图的分辨率一致，通常在Fullsize输出模式下通过打开remosaic寄存器配置对原始raw图进行remosaic处理获取Bayer格式的raw，以便于进行后续的图像处理。本申请的实施方式中，remosaic处理由卷积神经网络模型实现，以将多帧Quadra Bayer格式的图像融合生成单帧Bayer格式的图像，因此需要对图像处理模块20输入Quadra Bayer格式的图像。拍摄模块50能够将图像传感器10设置为Fullsize输出模式，以使传感器按照原始raw图的分辨率输出图像，拍摄模块50还能够关闭remosaic寄存器配置，如此，传感器在Fullsize输出模式下不会对原始raw图进行remosaic处理，从而使图像传感器10能够输出原始raw图。例如，在imx766传感器中，需将寄存器0X32D6的值设为0，以在Fullsize输出模式下关闭remosaic功能。

在某些实施方式中，在拍摄结束后，拍摄模块50还可用于将图像传感器10切换至Binning输出模式，以便于下次拍摄后显示缩略图。

请参阅图14，在某些实施方式中，图像处理方法还包括：

06：以相同的曝光参数拍摄多帧图像以获取多帧原始raw图。

请结合图2，在某些实施方式中，拍摄模块50还可用于实现06中的方法，即，拍摄模块50还可用于以相同的曝光参数拍摄多帧图像以获取多帧原始raw图。

其中，包括参数包括曝光时间、快门时间及曝光值。进一步地，在某些实施方式中，在拍摄时设置每帧图像的曝光值均为0，以确保每帧图像的曝光值均相同。如此，能够便于多帧Quadra Bayer格式的图像的特征匹配和对齐。

请参阅图15，在某些实施方式中，图像处理方法还包括：

07：通过梯度下降法对超分辨率图像进行后处理以进行锐化和降噪。

请结合图2，在某些实施方式中，图像处理装置100还包括后处理模块60，后处理模块60用于实现07中的方法，即，后处理模块60用于通过梯度下降法对超分辨率图像进行后处理以进行锐化和降噪。

进一步地，在某些实施方式中，后处理模块60能够调用卷积神经网络模型进行后处理计算，卷积神经网络还可用于实现对超分辨率图像进行后处理以进行锐化和降噪，从而提高超分辨率图像的质量。

综上，本申请实施方式的图像处理方法、图像处理装置100及电子设备1000能够利用多帧原始raw图获取单帧融合raw图，并对融合raw图进行去马赛克处理获取超分辨率图像。相较于原始raw图，获取的超分辨率图像质量更优。

请参阅图16，本申请实施方式的一个或多个包含计算机程序401的非易失性计算机可读存储介质400，当计算机程序401被一个或多个处理器80执行时，使得处理器80可执行上述任一实施方式的图像处理方法，例如实现步骤01、02、03、04、05、06、07、021、022、023、024、0241、0242、0243、0244及0245中的一项或多项步骤。

例如，当计算机程序401被一个或多个处理器80执行时，使得处理器80执行以下步骤：

01：获取多帧原始raw图，原始raw图为Quadra Bayer格式；

02：调用预设的卷积神经网络对多帧原始raw图进行处理以获取单帧融合raw图，融合raw图为Bayer格式；及

03：对融合raw图进行去马赛克处理获取超分辨率图像，超分辨率图像为RGB三通道图像。

再例如，在计算机程序401被一个或多个处理器80执行时，使得处理器80执行以下步骤：

06：以相同的曝光参数拍摄多帧图像以获取多帧原始raw图；

04：将图像传感器10设置为Fullsize输出模式；

05：关闭remosaic功能，使图像传感器10输出原始raw图；

01：获取多帧原始raw图，原始raw图为Quadra Bayer格式；

022：获取预处理参数信息；

023：根据预处理参数信息对多帧原始raw图进行预处理以获取预处理raw图，预处理包括感光校正、黑电平矫正、坏点补偿、镜头阴影校正、白平衡校正中的至少一种；

024：调用预设的卷积神经网络对多帧预处理raw图进行像素重建处理以获取单帧融合raw图；

03：对融合raw图进行去马赛克处理获取超分辨率图像，超分辨率图像为RGB三通道图像；及

07：通过梯度下降法对超分辨率图像进行后处理以进行锐化和降噪。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本邻域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术邻域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本邻域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (14)

1.一种图像处理方法，其特征在于，包括：

获取多帧原始raw图，所述原始raw图为QuadraBayer格式，其中，QuadraBayer格式图像是同色的2行2列4个像素作为一个颜色的大像素，红色大像素、绿色大像素、蓝色大像素按照拜耳阵列排布的图像；

调用预设的卷积神经网络对多帧所述原始raw图进行处理以获取单帧融合raw图，所述融合raw图为Bayer格式，其中，Bayer格式图像是红色像素R、绿色像素G、蓝色像素B按照拜耳阵列排布的图像；及

对所述融合raw图进行去马赛克处理获取超分辨率图像，所述超分辨率图像为RGB三通道图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述对多帧所述原始raw图进行处理以获取单帧融合raw图，包括：

调用预设的卷积神经网络对多帧所述原始raw图进行像素重建处理以获取单帧融合raw图。

3.根据权利要求1所述的图像处理方法，其特征在于，所述对多帧所述原始raw图进行处理以获取单帧融合raw图，包括：

获取预处理参数信息；

根据所述预处理参数信息对多帧所述原始raw图进行预处理以获取预处理raw图，所述预处理包括感光校正、黑电平矫正、坏点补偿、镜头阴影校正、白平衡校正中的至少一种；及

调用预设的卷积神经网络对多帧所述预处理raw图进行像素重建处理以获取单帧融合raw图。

4.根据权利要求3所述的图像处理方法，其特征在于，所述对多帧所述预处理raw图进行像素重建处理以获取单帧融合raw图，包括：

通过多个卷积层提取多帧所述预处理raw图的邻域特征和帧间信息；及

根据所述邻域特征和所述帧间信息，通过多个卷积层和反卷积层进行特征配准和格式转换以获取单帧融合raw图。

5.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

将图像传感器设置为Fullsize输出模式；及

关闭remosaic功能，使所述图像传感器输出所述原始raw图。

6.一种图像处理装置，其特征在于，包括：

图像传感器，所述图像传感器用于获取多帧原始raw图，所述原始raw图为QuadraBayer格式，QuadraBayer格式图像是同色的2行2列4个像素作为一个颜色的大像素，红色大像素、绿色大像素、蓝色大像素按照拜耳阵列排布的图像；

图像处理模块，所述图像处理模块用于调用预设的卷积神经网络进行计算，以对多帧所述原始raw图进行处理以获取单帧融合raw图，所述融合raw图为Bayer格式，Bayer格式图像是红色像素R、绿色像素G、蓝色像素B按照拜耳阵列排布的图像；及

所述图像处理模块还用于对所述融合raw图进行去马赛克处理获取超分辨率图像，所述超分辨率图像为RGB三通道图像。

7.根据权利要求6所述的图像处理装置，其特征在于，所述图像处理模块包括：

神经网络模块，所述神经网络模块用于调用预设的卷积神经网络进行计算，所述卷积神经网络用于对多帧所述原始raw图进行处理以获取单帧融合raw图；及

拜耳处理模块，所述拜耳处理模块用于对所述融合raw图进行去马赛克处理获取超分辨率图像。

8.根据权利要求6所述的图像处理装置，其特征在于，所述图像处理模块包括神经网络模块，所述神经网络模块用于调用预设的卷积神经网络进行计算，所述卷积神经网络用于对多帧所述原始raw图进行处理以获取单帧融合raw图，及对所述融合raw图进行去马赛克处理获取超分辨率图像。

9.根据权利要求6所述的图像处理装置，其特征在于，所述图像处理模块包括神经网络模块，所述神经网络模块用于调用预设的卷积神经网络进行计算，所述卷积神经网络用于对多帧所述原始raw图进行像素重建处理以获取单帧融合raw图。

10.根据权利要求6所述的图像处理装置，其特征在于，所述图像处理装置还包括预处理模块，所述预处理模块用于：

获取预处理参数信息；及

根据所述预处理参数信息对多帧所述原始raw图进行预处理以获取预处理raw图，所述预处理包括感光校正、黑电平矫正、坏点补偿、镜头阴影校正、白平衡校正中的至少一种，

所述卷积神经网络还用于对多帧所述预处理raw图进行像素重建处理以获取单帧融合raw图。

11.根据权利要求10所述的图像处理装置，其特征在于，所述图像处理模块还用于：

通过多个卷积层提取多帧所述预处理raw图的邻域特征和帧间信息；及

根据所述邻域特征和所述帧间信息，通过多个卷积层和反卷积层进行特征配准和格式转换以获取单帧融合raw图。

12.根据权利要求6所述的图像处理装置，其特征在于，所述图像处理装置还包括拍摄模块，所述拍摄模块用于：

将图像传感器设置为Fullsize输出模式；及

关闭remosaic功能，使所述图像传感器输出所述原始raw图。

13.一种电子设备，其特征在于，所述电子设备包括：

相机，所述相机用于拍摄图像；及

权利要求6至12中任意一项所述的图像处理装置。

14.一种包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，使得所述处理器实现权利要求1至5中任意一项所述的图像处理方法。