CN115760576A - 图像处理方法、图像处理装置及电子设备 - Google Patents

Abstract

本申请公开了一种图像处理方法、图像处理装置及电子设备，属于图像处理技术领域。该方法包括：获取连续采集的多帧第一格式的第一图像；将多帧所述第一图像输入至目标网络，得到第二格式的目标图像，所述目标图像的分辨率高于所述第一图像的分辨率，所述目标网络是基于多帧第一格式的第二图像训练得到的。

Description

图像处理方法、图像处理装置及电子设备

技术领域

本申请属于图像处理技术领域，具体涉及一种图像处理方法、图像处理装置及电子设备。

背景技术

随着数字图像和多媒体技术的快速发展，各种类型的光学成像系统也越来越多，人们经常会使用电子设备进行远距离拍摄或者是近距离拍摄高清图像。然而各类便携的移动设备由于受到硬件条件的限制(如焦距、光圈及图像传感器尺寸等)，拍摄的图像难以满足人们对高分辨率图像的需求。

图像差值算法可以达到高解像效果，但是获得的图像中容易引入伪色、锯齿或摩尔纹等问题，且图像差值算法的使用范围仅限于拜耳阵列的图像传感器，对于非拜耳阵列的图像传感器，图像差值算法的使用存在较大限制。

发明内容

本申请实施例的目的是提供一种图像处理方法、图像处理装置及电子设备，能够解决图像差值算法的使用范围有限且图像处理效果欠佳的问题。

第一方面，本申请实施例提供了一种图像处理方法，该方法包括：

获取连续采集的多帧第一格式的第一图像；

将多帧所述第一图像输入至目标网络，得到第二格式的目标图像，所述目标图像的分辨率高于所述第一图像的分辨率，所述目标网络是基于多帧第一格式的第二图像训练得到的。

第二方面，本申请实施例提供了一种图像处理装置，该装置包括：

第一获取模块，用于获取连续采集的多帧第一格式的第一图像；

第一处理模块，用于将多帧所述第一图像输入至目标网络，得到第二格式的目标图像，所述目标图像的分辨率高于所述第一图像的分辨率，所述目标网络是基于多帧第一格式的第二图像训练得到的。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

在本申请实施例中，通过采用第一格式的第二图像训练目标网络，从而可以将连续采集的多帧第一格式的第一图像输入至目标网络，最终生成分辨率更高的第二格式的目标图像，无需借助复杂的传统remosaic算法及像素位移算法，并且能够更好的利用多帧第一图像的信息进行图像细节重建，有效提升图像重建效果，同时可以灵活适配各类型传感器上的阵列排布方式。

附图说明

图1是本申请实施例提供的图像处理方法的流程示意图；

图2是本申请实施例提供的图像处理方法的四拜耳阵列示意图；

图3是本申请实施例提供的图像处理方法的出图方式示意图；

图4是本申请实施例提供的图像处理方法的RGB像素生成示意图；

图5是本申请实施例提供的图像处理方法的四拜耳马赛克抽样示意图；

图6是本申请实施例提供的图像处理方法的数据退化流程示意图；

图7是本申请实施例提供的图像处理方法的网络训练流程示意示意图；

图8是本申请实施例提供的图像处理方法的网络基本架构示意图；

图9是本申请实施例提供的图像处理装置的结构示意图；

图10是本申请实施例提供的电子设备的结构示意图；

图11是本申请实施例提供的电子设备的硬件示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法、图像处理装置、电子设备及介质进行详细地说明。

本申请实施例提供的图像处理方法，该图像处理方法的执行主体可以为电子设备或者电子设备中能够实现该图像处理方法的功能模块或功能实体，本申请实施例提及的电子设备包括但不限于手机、平板电脑、电脑、相机、可穿戴设备等，下面以电子设备作为执行主体为例对本申请实施例提供的图像处理方法进行说明。

图1是本申请实施例提供的图像处理方法的流程示意图。

如图1所示，该图像处理方法包括：步骤110和步骤120。

步骤110、获取连续采集的多帧第一格式的第一图像。

相关技术中，电子设备的高清图像拍摄技术和图像传感器(sensor)本身的解析能力有较大关系，而图像传感器像素颗粒度大小会直接影响成像的信噪比，无法同时做到高解像及高信噪比。

为达到高解像效果，引入了非拜耳(Bayer)阵列排布的图像传感器，如四拜耳(Quad Bayer)阵列、九拜耳阵列或十六拜耳阵列等排布的图像传感器。其中，四拜耳阵列是将拜耳阵列中的一个像素分割成2x2的4个像素来提升解像力，但会降低图像的信噪比。

在低照度环境下，为得到高信噪比图像，仍需将2x2的4个像素合并成1个大像素再进行输出，这样无疑也牺牲了图像的解析力。为处理四拜耳阵列数据，需要引入remosaic算法，先将四拜耳格式数据转换成拜耳格式数据，才能给传统的图像信号处理器(ImageSignal Processing，ISP)继续处理。

remosaic算法用于将非拜耳格式数据变成拜耳格式数据，ISP就可以按照标准的拜耳格式数据进行图像处理。

在算法方面，像素位移技术用于得到高解像效果，目前其使用范围仅限于拜耳阵列排布的图像传感器。对于非拜耳阵列排布的图像传感器，传统技术有较大限制，挑战很大。

对于非拜耳阵列排布的图像传感器的超分算法，在传统方案中需要先将非拜耳格式数据经remosaic算法转化成拜耳格式数据，然后再使用拜耳多帧合成算法。remosaic算法本身的开销比较大，且每一帧都需要做remosaic处理，对平台性能及功耗要求都较高。对于如X-Trans等图像传感器，其阵列排布不多见，对于remosaic等算法插值模块需要重新设计，且对设计要求较高，复杂度也会大大提升。

目前，基于深度学习的超分辨率重建(以下简称“超分”)技术取得了显著进展，在降噪场景和去马赛克场景已证明其存在巨大潜力，并且在效果方面可以做到优于传统算法。超分技术利用低分辨率图像重建生成高分辨率图像。对深度学习来说，训练数据本身也是很重要的，关键在于对应用场景的输入数据及输出数据做精确的建模，再通过大数据对网络进行训练。

在本申请实施例中，对不同格式的图像数据进行全场景精确模拟和构建，结合神经网络优异的拟合能力可以较好的解决传统方法设计复杂的痛点，更适用于非拜耳阵列排布的图像传感器在实际超分应用场景中的落地。

在实际执行中，随着互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)技术的进步，可以借助像素隔离技术，减少像素间的光串扰，可以将单像素尺寸做到0.8微米，从而提升图像整体分辨率。目前，已有像素高达4800万的图像传感器。

4800万像素的图像传感器可以使用四拜耳彩色滤光片阵列，相邻的2x2像素采用相同的颜色。四拜耳图像传感器的出图方式有两种。第一种方式是直接输出四拜耳格式数据，如图2所示；另一种方式是将相邻的四个像素合并为一个大像素来生成图像(该过程通常称为binning)，从而生成分辨率为1200万像素的图像，如图3所示。

在本申请实施例中，可以接收用户的第一输入，连续采集多帧第一格式的第一图像。

第一输入为进行图像拍摄的操作，完成图像采集的电子设备可以包括但不限于手机或相机等手持设备，也可以是其他具有拍摄功能的设备，在此不作具体限定。

其中，第一输入可以为如下至少一种方式：

其一，第一输入可以为触控操作，包括但不限于点击操作、滑动操作和按压操作等。

在该实施方式中，接收用户的第一输入，可以为接收用户在电子设备显示屏的显示区域的触控操作。

例如：在显示拍摄预览界面的状态下，在当前界面显示拍摄功能对应的目标控件，触摸目标控件，即可实现第一输入；或者将第一输入设置为在目标时间间隔内对显示区域的连续多次敲击操作。

其二，第一输入可以为实体按键输入。

在该实施方式中，在电子设备的机身上设有与拍摄功能对应的实体按键，接收用户的第一输入，可以为接收用户按压对应的实体按键的第一输入；第一输入还可以为同时按压多个实体按键的组合操作。

其三，第一输入可以为语音输入。

在该实施方式中，终端可以在接收到语音如“拍照”时，触发电子设备进行拍照。

在一些实施例中，第一输入也可以为其他形式，包括但不限于字符输入等，具体可根据实际需要决定，本申请实施例对此不作限定。

在步骤110中，获取连续采集的多帧第一格式的第一图像。

在一些实施例中，第一格式为非Bayer格式，第二格式为RGB格式。

需要说明的是，非拜耳格式的图像即为非拜耳(Bayer)阵列排布的图像传感器所采集的图像，RGB格式的图像是由红(Red)、绿(Green)、蓝(Blue)三个颜色通道的感光数据叠加得到。

根据本申请实施例提供的图像处理方法，通过将多帧非Bayer格式的图像输入至目标网络进行图像重建，可以得到分辨率更高的RGB格式的图像，提升了图像画质。

以第一格式为四拜耳图像传感器采集的图像的格式，第二格式为RGB格式来说明本申请实施例。

在实际执行中，对于手持多帧超分的应用，可以在相同曝光设定下，自动曝光(Auto Exposure，AE)算法根据场景亮度自适应调整sensor增益和曝光时间，手持电子设备拍摄N帧四拜耳格式数据。

步骤120、将多帧第一图像输入至目标网络，得到第二格式的目标图像，目标图像的分辨率高于所述第一图像的分辨率，目标网络是基于多帧第一格式的第二图像训练得到的。

在本步骤中，将多帧第一格式的第一图像输出至目标网络进行处理，得到所述目标网络输出的单帧第二格式的目标图像。则有将多帧四拜耳格式图像输入至目标网络，可以得到单帧RGB格式图像。

在实际执行中，对于获取的每一帧四拜耳格式图像，都是对真实场景的低频采样。手持拍摄过程中存在抖动，可以得到多帧存在小位移的四拜耳格式图像，真实场景中的每个位置在多帧数据里存在着不同的采样信息。通过目标网络重建可以融合多帧信息得到单张每个像素位置都包含RGB三通道值的目标图像，并且目标网络可以对多帧中包含的不同采样信息进行融合，恢复出高频细节，同时实现超分与降噪。

目标网络通过如下几个步骤进行训练：

一、数据退化

图6是本申请实施例提供的图像处理方法的数据退化流程示意图，图6描述了单倍多帧超分的数据退化基本流程，放大多帧超分的数据退化流程与其基本类似，只需在获得RGB格式真值图后插入下采样层即可。

如图6所示，数据退化流程的步骤可包括：

1、拍摄图像，例如：可以在各种场景下使用单反相机拍摄高清图像。

(1)拍摄场景可以包括：绿植、天空、建筑、人像、文字、夜景、商场、室内或室外等场景。

(2)曝光设定：可以使用低感光度(ISO)，长曝光时间进行拍摄，以得到更好信噪比的图像。

(3)可以使用脚架拍摄。

保存相机拍摄得到的拜耳格式(Bayer Raw)图像。拜耳格式图像是相机内部的原始(Raw)格式图像。原始格式数据就是图像传感器将捕捉到的光源信号转化为数字信号的原始数据，包含了物体原始的颜色信息等。原始格式数据一般采用的是拜耳排列方式，本申请实施例对拜耳排列方式不作具体限定。

2、使用拜耳格式图像生成第二格式的样本图像，第二格式即为RGB格式。

生成方法可以为：将拜耳阵列中的R值和B值直接作为RGB像素中的R值和B值，G取拜耳阵列(Bayer pattern)中的G_r值和G_b值的均值，如图4所示。

3、数据增广。

对RGB格式的样本图像进行翻转、镜像及亮度变换等处理，增加训练样本，让数据集尽可能的多样化，使得训练得到的模型具有更强的泛化能力。将变换后的RGB格式样本图像作为真值图，基于真值图与网络推理得到的结果图，计算损失函数(loss)，损失函数可以用于指示算法处理结果与真值图之间的差异程度。

4、对第二格式的样本图像进行处理，得到多帧第一格式的第二图像。

在实际执行中，多帧第一格式的第二图像可以包括N帧第一格式的第二图像，并且可以将其中1帧设置为基准帧(reference)。

其中，总帧数N可根据实际需要进行设定，通常情况下输入帧数越多，可重建得到的细节越好，但对平台的算力要求也越高。因而输入帧数可根据对效果的要求和实际的平台算力水平进行折衷选定。

首先，从第二格式的样本图像退化出基准帧第一格式的第二图像，即可以从RGB格式的样本图像退化出基准帧四拜耳格式的第二图像。

在一些实施例中，将多帧第一图像输入至目标网络，得到第二格式的目标图像之前，该图像处理方法还包括：

对第二格式的样本图像进行抽样处理，得到多帧第一格式的第三图像；

对多帧第三图像进行加噪处理，得到多帧第二图像；

基于样本图像和多帧第二图像，训练目标网络。

在实际执行中，对RGB格式的样本图像进行四拜耳马赛克(Quad mosaic)抽样处理，得到四拜耳格式的第三图像。四拜耳马赛克抽样过程如图5所示，图5以RGGB拜耳阵列为例，从RGB格式的样本图像中取出对应位置处的通道的像素值，组成四拜耳格式的第三图像。

然后对四拜耳格式的第三图像进行加噪退化处理。

电子设备的图像传感器噪声包含高斯噪声(read noise)和与信号相关的泊松噪声(shot noise)两部分。对于某一曝光设定下的图像传感器噪声分布可以通过下式进行描述：

其中，y是观测值，x是真值信号，λ_read和λ_shot由图像传感器增益决定，分别对应高斯噪声和泊松噪声系数，图像传感器增益可以包括模拟增益和数字增益。图像传感器噪声可以通过标定进行精确建模，可预先对电子设备的图像传感器模组进行噪声标定得到噪声模型。在加噪退化时，随机生成图像传感器增益，然后根据该图像传感器增益及噪声模型得到噪声系数，然后在真值图上叠加噪声，得到1帧带噪的四拜耳格式的第二图像，即基准帧四拜耳格式的第二图像。

其次，从第二格式的样本图像退化出N-1帧第一格式的第二图像，即可以从RGB格式的样本图像退化出N-1帧四拜耳格式的第二图像。

在实际手持拍摄过程中移动设备存在抖动，因而需要对输入的各帧图像模拟全局的抖动。对于全局抖动部分，可通过六轴抖动平台模拟用户手持拍摄，并根据拍摄得到的多帧图像计算帧间运动信息。然后在数据退化时利用这些运动信息对RGB格式的样本图像进行相应变换，得到变换后的RGB格式图像。

然后对变换后的RGB格式图像进行四拜耳马赛克抽样处理，得到四拜耳格式的第三图像。接着使用与基准帧相同的图像传感器增益模拟生成噪声，对四拜耳格式的第三图像进行加噪退化，生成N-1帧带噪的四拜耳格式的第二图像。

上述数据退化过程可以是对单帧拜耳原始数据进行退化，此外也可以通过拍摄多帧拜耳原始数据或视频流进行退化。多帧数据可以使用手持拍摄，这样帧间已包含有运动部分，不需要通过单帧模拟。因实际采集的多帧数据或视频流不能完全覆盖所有运动情形，可以再使用单帧的退化方法进行补充。

基于从第二格式的样本图像退化出的基准帧第一格式的第二图像、N-1帧第一格式的第二图像，以及作为真值图的样本图像，对目标网络进行训练。

根据本申请实施例提供的图像处理方法，通过对第二格式的样本图像进行抽样处理和加噪处理，得到第二图像，并基于样本图像和第二图像对目标网络进行训练，可以实现对目标网络的输入数据及输出数据做出精确的建模，从而有利于训练出更为准确的目标网络。

二、网络训练

在实际执行中，目标网络可以包括第一子网络、第二子网络和第三子网络。第一子网络可以对齐模块和线性变换模块，第二子网络可以包括特征提取层、特征融合层、编码解码层等，第三子网络可以包括线性逆变换模块和放大模块。

基于第一子网络、第二子网络和第三子网络，目标网络的网络训练流程如图7所示，并对训练流程说明如下：

1、使用数据退化得到的1帧带噪的四拜耳格式图像(基准帧)和其余N-1帧带噪的四拜耳格式图像作为目标网络进行训练用到的数据集。RGB真值图作为网络训练的真实数据(Groud truth)。

2、对齐模块用于将N-1帧四拜耳格式图像的特征(features)对齐到基准帧四拜耳格式图像。如目标网络中不包含对齐模块，则可在目标网络前加入传统的对齐方法，如金字塔块匹配(Pyramid Block Matching，PBM)或光流对齐等方法预先将N-1帧四拜耳格式图像对齐至基准帧四拜耳格式图像。

3、对于放大的多帧超分算法，可在目标网络中加入像素重组(pixelshuffle)等放大模块或网络后加尺寸调整(resize)模块对图像进行放大处理。

4、网络输出1帧RGB格式图像，并基于真值图计算损失函数。通过训练迭代使损失函数逐渐收敛减小。

5、网络前后处理。

(1)前处理

在实际应用场景中，针对不同的环境照度AE算法会设定不同的感光度值(即图像传感器增益)。目标网络训练时需要考虑不同的噪声水平，这会增加目标网络的负担。可以在网络前加预处理，通过第一子网络中的线性变换模块，对带噪的Quad Bayer输入数据进行亮度空间的线性变换(例如可以是k-Sigma变换)，将不同图像对应的感光度值进行归一化处理，因而经变换后，全图噪声与感光度值无关，更有利于网络训练拟合。k-Sigma变换如下式：

其中，x是输入信号，λ_read和λ_sh_ot由图像传感器增益决定，分别对应高斯噪声和泊松噪声系数。图像传感器增益可以包括模拟增益和数字增益。

经变换后x服从下式描述的分布，与感光度值(图像传感器增益)无关：

其中，x^*是真值信号。

(2)后处理

将第二子网络的输出图像输入至第三子网络中的线性变换模块中进行线性逆变换，例如：进行k-Sgima逆变换，从而可以恢复原信号，即恢复图像中原有的感光度值。可以将k-Sgima逆变换得到的图像经过第三子网络中的放大模块进行放大处理后，得到目标网络输出的1帧RGB格式图像。

(3)网络主体部分，即第二子网络。

常规处理多帧的网络，一般做法是先把多帧数据在通道维度上连接(concat)到一起，再一起送给网络主体部分。如图8所示，本申请中的第二子网络的输入采用多输入方式，每帧图像先分别做特征提取，然后将特征提取后得到特征图融合到一起，再融合后的特征图送给后续模块继续进行处理，这种方式灵活度更高。

为进一步提升网络处理性能，在特征提取前可以预先做space2depth变换，space2depth是将空间(space)数据移到深度(depth)维上，最后再经过编码和解码后输出的特征图通过depth2space变换对空间分辨率进行还原。depth2space变换即为space2depth的逆变换。空间数据指的是宽度(width)和高度(height)维)上的数据，深度指的是神经网络中的通道(Channel)。

第二子网络的基本架构可以采用UNet模型作为基本骨架。

需要说明的是，第一子网络可以用于进行对齐处理和线性变换处理，第二子网络可以包括特征提取层、特征融合层、编码解码层等，第三子网络可以用于进行线性逆变换处理和放大处理。

编码解码层包括编码器和解码器；编码器基于下采样层和残差块构建；解码器基于上采样层和残差块构建。如图8所示，编码器中每个下采样层的输出端均设置有残差块，解码器中每个上采样层的输出端均设置有残差块。

可以理解的是，下采样层和残差块在编码器中的数量和排列方式，以及上采样层和残差块在解码器中的数量和排列方式均可以根据实际设计需求进行设计，在此不作具体限定。例如：图8中编码器包括2个下采样层和3个残差块，残差块和下采样层依次连接，解码器包括2个上采样层和3个残差块，残差块和上采样层依次连接。

编码器中的残差块提取到的特征图可以通过跳层连接与解码器中经过上采样层和残差块输出的特征图进行张量拼接。

编码器(Encoder)通过下采样层扩大感受野，编码器整体呈现逐渐缩小的结构，不断减少池化层的空间维度，缩小特征图的分辨率，以捕获上下文信息。解码器(Decoder)对应有上采样层来进行分辨率恢复。分辨率通过上采样操作依次增大，直到与输入图像的分辨率基本一致。为减少下采样过程带来的空间信息损失，UNet模型中引入了跳层连接(skipconnection)，通过张量拼接(concat)的方式使得上采样恢复的特征图中包含更多信息。

为提升网络训练的收敛性能，本申请实施例在UNet模型基本框架中加入残差块。残差块需要学习的内容少，学习难度变低可以使网络学习更加容易。

(4)目标网络训练的截止条件可以是损失函数小于某一预设的阈值，或网络迭代次数达到一定数量。在满足截止条件的情况下，可以得到训练完成的目标网络。

根据本申请实施例提供的图像处理方法，通过采用第一格式的第二图像训练目标网络，从而可以将连续采集的多帧第一格式的第一图像输入至目标网络，最终生成分辨率更高的第二格式的目标图像，无需借助复杂的传统remosaic算法及像素位移算法，并且能够更好的利用多帧第一图像的信息进行图像细节重建，有效提升图像重建效果，同时可以灵活适配各类型传感器上的阵列排布方式。

在一些实施例中，将多帧第一图像输入至目标网络，得到第二格式的目标图像，包括：

将多帧第一图像输入至目标网络的第一子网络进行预处理，得到多帧预处理后的第一图像，预处理用于对多帧第一图像分别对应的感光度信息进行归一化处理；

将多帧预处理后的第一图像输入至目标网络的第二子网络进行信息融合，得到多帧目标特征图；

将多帧目标特征图输入至目标网络的第三子网络进行图像后处理，得到第二格式的目标图像，图像后处理用于还原多帧目标特征图分别对应的感光度信息。

在实际执行中，得到训练完成的目标网络之后，将多帧第一图像输入至目标网络的第一子网络进行预处理，预处理可以包括对多帧第一图像对齐处理和线性变换处理。

可以理解的是，多帧第一图像可以包括基准帧第一图像和除基准帧第一图像之外的其余帧图像。

对齐处理用于将多帧第一图像中的其余帧图像与基准帧第一图像进行对齐，然后对对齐的第一图像进行线性变换处理，即对多帧第一图像分别对应的感光度信息进行归一化处理线性变换处理，可以使得对齐后的第一图像和感光度值无关。

然后将多帧预处理后的第一图像输入至目标网络的第二子网络进行降噪和信息融合，可以得到多帧目标特征图。

将多帧目标特征图输入至目标网络的第三子网络进行图像后处理，得到第二格式的目标图像，图像后处理可以包括线性变换逆处理，还可以包括放大处理，图像后处理用于还原多帧目标特征图分别对应的感光度信息。

根据本申请实施例提供的图像处理方法，通过目标网络中包含的不同子网络结构，分别对多帧第一图像进行预处理、信息融合和图像后处理，从而可以快速获取到分辨率更高的目标图像。

在一些实施例汇总，将多帧第一图像输入至目标网络的第一子网络进行预处理，得到多帧预处理后的第一图像，包括：

对多帧第一图像进行对齐处理，得到多帧对齐后的第一图像；

对多帧对齐后的第一图像进行线性变换处理，得到多帧预处理后的第一图像。

其中，多帧预处理后的第一格式的第一图像可以包括基准帧带噪的四拜耳格式第一图像和N-1帧带噪的四拜耳格式第一图像。

在实际执行中，先将多帧第一图像输入至对齐模块进行对齐处理，即将N-1帧四拜耳格式第一图像的特征(features)对齐到基准帧四拜耳格式第一图像，得到N帧对齐的特征图，即多帧对齐后的第一图像。

再对多帧对齐后的第一图像输入至线性变换模块进行线性变换处理，这里的线性变换指的是一种亮度空间的线性变换，例如可以是k-Sigma变换，得到多帧线性变换后的第一图像，线性变换后全图噪声与感光度无关。多帧线性变换后的第一图像即为多帧预处理后的第一图像

根据本申请实施例提供的图像处理方法，通过对多帧第一图像进行对齐处理，可以避免设备拍摄时引起的画面整体偏移，通过线性变换可以去除掉因不同感光度所带来不同程度噪声的影响，有效地处理各种噪声。

在一些实施例中，将多帧预处理后的第一图像输入至目标网络的第二子网络进行信息融合，得到多帧目标特征图，包括：

对多帧预处理后的第一图像进行深度空间变换处理，得到多帧第一特征图；

将多帧第一特征图输入至第二子网络的特征提取层，得到多帧第二特征图；

将多帧第二特征图输入至第二子网络的特征融合层，得到第三特征图；

将第三特征图输入至第二子网络的编码解码层，得到第四特征图；

对第四特征图进行深度空间逆变换处理，得到多帧目标特征图。

需要说明的是，第二子网络可以包括特征提取层、特征融合层、编码解码层等结构。

在实际执行中，特征提取之前，可以对多帧预处理后的的第一图像进行深度空间变换处理，深度空间变换处理为空间数据到深度维度的转换，例如可以是space2depth变换，从而可以得到多帧第一特征图。

在得到多帧第一特征图后，将多帧第一特征图分别输入至特征提取层，即对输入的每一帧第一特征图分别做特征提取，从而完成多输入，得到多帧第二特征图。

将特征提取后得到的多帧第二特征图输入至特征融合层中进行特征融合，即将多帧第二特征图融合到一起，得到第三特征图。

将第三特征图输入至编码解码层进行图像重建，得到第四特征图。

在得到编码解码层输出的第四特征图之后，对第四特征图进行深度空间逆变换处理，得到多帧目标特征图。

深度空间逆变换可以为depth2space变换，depth2space变换用于对空间分辨率进行还原。depth2space变换即为space2depth的逆变换，将深度维数据还原至空间数据。

然后可以将多帧目标特征图送入第三子网络中进行图像后处理，得到目标图像。

根据本申请实施例提供的图像处理方法，通过采用多输入方式对多帧第一图像分别进行特征提取，然后进行特征融合，再将融合后的特征图进行图像重建处理，灵活度更高，并且通过深度空间变换和逆变换处理，进一步提升网络处理性能，进而提升图像重建效果。

在一些实施例中，将第三特征图输入至第二子网络的编码解码层，得到第四特征图，包括：

根据编码解码层中的下采样层和残差块，对第三特征图进行下采样，得到下采样后的第三特征图；

根据编码解码层中的上采样层和残差块，对下采样后的第三特征图进行上采样，得到第四特征图。

在实际执行中，如图8所示，编码解码层可以包括编码器和解码器；编码器基于下采样层和残差块构建，解码器基于上采样层和残差块构建。

可以将第三特征图依次输入至编码器中的残差块和下采样层完成下采样操作，实现扩大感受野，缩小第二特征图的分辨率，得到下采样后的第三特征图。残差块可以解决网络性能的退化问题，保证网络训练的准确率。

将下采样后的第三特征图输入至解码器中的残差块和上采样层完成上采样操作，可以恢复第三特征图的分辨率，得到第四特征图。

为减少下采样过程带来的空间信息损失，编码器和解码器之间还引入了跳层连接，通过张量拼接的方式使得上采样恢复的特征图中包含更多信息。

根据本申请实施例提供的图像处理方法，通过在编码解码层进行图像重建，使得输出的特征图中包含更多信息，便于提升目标图像的画质。

在一些实施例中，将多帧目标特征图输入至目标网络的第三子网络进行图像后处理，得到第二格式的目标图像，包括：

对多帧目标特征图进行线性逆变换处理，得到多帧线性逆变换后的目标特征图；

对多帧线性逆变换后的目标特征图进行放大处理，得到第二格式的目标图像。

在实际执行中，对深度空间逆变换后得到的多帧目标特征图进行线性逆变换处理，这里的线性逆变换指的是k-Sigma变换的逆向处理。线性逆变换处理可以还原图像的感光度信息。

k-Sigma变换是一种亮度空间的线性变换，即k-Sigma变换，得到多帧线性逆变换后的目标特征图。

再将多帧线性变换后的目标特征图输入至放大模块进行放大处理，即可得到目标网络输出的单帧第二格式的目标图像。

根据本申请实施例提供的图像处理方法，通过线性逆变换处理和放大处理，可以恢复图像包含的信息，更有助于进行图像细节重建。

可以理解的是，本申请实施例通过对非拜耳格式的输入数据以及输出数据进行全场景精确模拟构建，并结合神经网络优异的拟合能力可以较好的解决传统方法设计复杂的痛点，更适于非拜耳图像传感器在实际超分应用场景中的落地。

在一些实施例中，在第一格式为其他非拜耳格式时，同样也可以采样上述目标网络进行超分重建，例如：X-Trans pattern阵列。只需要把上述实施例中的四拜耳马赛克抽样模块替换成对应阵列的马赛克抽样过程即可轻松实现。而对于传统的remosaic算法，则需要根据新阵列的排布特点来重新设计插值方法，过程复杂，挑战极大。

可以理解的是，本申请提供的图像处理方法同样也可以是用于拜耳格式图像的训练，可以去掉在数据退化过程中的抽样处理，可以根据拜耳格式图像特点对目标网络结构进行适应性调整，在此不作具体限定。

本申请实施例提供的图像处理方法，通过对多帧输入的第一图像，同时进行降噪及融合，实现图像去噪和细节融合，最终生成高清和高信噪比的目标图像，无需借助复杂的传统remosaic算法及像素位移算法；能灵活适配各类型图像传感器上的非拜耳阵列排布或拜耳阵列排布，同时可以实现去马赛克、降噪和超分，能更好的利用多帧信息进行图像细节重建，提升拍摄基础画质。

本申请实施例提供的图像处理方法，执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。

本申请实施例还提供一种图像处理装置。

图9是本申请实施例提供的图像处理装置的结构示意图。

如图9所示，该图像处理装置包括：第一获取模块910和第一处理模块930。

第一获取模块910，用于获取连续采集的多帧第一格式的第一图像；

第一处理模块920，用于将多帧所述第一图像输入至目标网络，得到第二格式的目标图像，所述目标图像的分辨率高于所述第一图像的分辨率，所述目标网络是基于多帧第一格式的第二图像训练得到的。

根据本申请实施例提供的图像处理装置，通过采用目标网络对连续多帧输入的第一格式的第一图像进行图像重建，最终生成分辨率更高的单帧第二格式的目标图像，无需借助复杂的传统remosaic算法及像素位移算法，从而可以通过非拜耳格式图像训练目标网络，来实现非拜耳格式图像的图像重建，还能够有效提升图像重建效果。

在一些实施例中，所述装置还包括：

第二处理模块，用于对第二格式的样本图像进行抽样处理，得到多帧第一格式的第三图像；

第三处理模块，用于对多帧所述第三图像进行加噪处理，得到多帧第二图像；

训练模块，用于基于所述样本图像和多帧所述第二图像，训练所述目标网络。

在一些实施例中，所述第一处理模块920，具体用于：

将多帧所述第一图像输入至所述目标网络的第一子网络进行预处理，得到多帧预处理后的第一图像，所述预处理用于对多帧所述第一图像分别对应的感光度信息进行归一化处理；

将多帧所述预处理后的第一图像输入至所述目标网络的第二子网络进行信息融合，得到多帧目标特征图；

将多帧所述目标特征图输入至所述目标网络的第三子网络进行图像后处理，得到第二格式的目标图像，所述图像后处理用于还原多帧所述目标特征图分别对应的感光度信息。

在一些实施例中，所述第一处理模块920，具体用于：

对多帧所述第一图像进行对齐处理，得到多帧对齐后的第一图像；

对多帧对齐后的所述第一图像进行线性变换处理，得到多帧预处理后的所述第一图像。

在一些实施例中，所述第一处理模块920，具体用于：

对多帧所述预处理后的第一图像进行深度空间变换处理，得到多帧第一特征图；

将多帧所述第一特征图输入至所述第二子网络的特征提取层，得到多帧第二特征图；

将多帧所述第二特征图输入至所述第二子网络的特征融合层，得到第三特征图；

将所述第三特征图输入至所述第二子网络的编码解码层，得到第四特征图；

对所述第四特征图进行深度空间逆变换处理，得到多帧所述目标特征图。

在一些实施例中，所述第一处理模块920，具体用于：

根据所述编码解码层中的下采样层和残差块，对所述第三特征图进行下采样，得到下采样后的第三特征图；

根据所述编码解码层中的上采样层和残差块，对所述下采样后的第三特征图进行上采样，得到所述第四特征图。

在一些实施例中，所述第一处理模块920，具体用于：

对多帧所述目标特征图进行线性逆变换处理，得到多帧线性逆变换后的目标特征图；

对多帧所述线性逆变换后的目标特征图进行放大处理，得到第二格式的目标图像。

在一些实施例中，所述第一格式为非Bayer格式，所述第二格式为RGB格式。

本申请实施例中的图像处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的图像处理装置能够实现图1至图8的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图10所示，本申请实施例还提供一种电子设备1000，包括处理器1001，存储器1002，存储在存储器1002上并可在所述处理器1001上运行的程序或指令，该程序或指令被处理器1001执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图11为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备1100包括但不限于：射频单元1101、网络模块1102、音频输出单元1103、输入单元1104、传感器1105、显示单元1106、用户输入单元1107、接口单元1108、存储器1109以及处理器1110等部件。

本领域技术人员可以理解，电子设备1100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图11中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器1110，用于获取连续采集的多帧第一格式的第一图像；

将多帧所述第一图像输入至目标网络，得到第二格式的目标图像，所述目标图像的分辨率高于所述第一图像的分辨率，所述目标网络是基于多帧第一格式的第二图像训练得到的。

根据本申请实施例提供的电子设备，通过采用第一格式的第二图像训练目标网络，从而可以将连续采集的多帧第一格式的第一图像输入至目标网络，最终生成分辨率更高的第二格式的目标图像，无需借助复杂的传统remosaic算法及像素位移算法，并且能够更好的利用多帧第一图像的信息进行图像细节重建，有效提升图像重建效果，同时可以灵活适配各类型传感器上的阵列排布方式。

可选地，处理器1110，还用于：

对第二格式的样本图像进行抽样处理，得到多帧第一格式的第三图像；

对多帧所述第三图像进行加噪处理，得到多帧第二图像；

基于所述样本图像和多帧所述第二图像，训练所述目标网络。

可选地，处理器1110，还用于：

将多帧所述第一图像输入至所述目标网络的第一子网络进行预处理，得到多帧预处理后的第一图像，所述预处理用于对多帧所述第一图像分别对应的感光度信息进行归一化处理；

将多帧所述预处理后的第一图像输入至所述目标网络的第二子网络进行信息融合，得到多帧目标特征图；

将多帧所述目标特征图输入至所述目标网络的第三子网络进行图像后处理，得到第二格式的目标图像，所述图像后处理用于还原多帧所述目标特征图分别对应的感光度信息。

可选地，处理器1110，还用于：

对多帧所述第一图像进行对齐处理，得到多帧对齐后的第一图像；

对多帧对齐后的所述第一图像进行线性变换处理，得到多帧预处理后的所述第一图像。

可选地，处理器1110，还用于：

对多帧所述预处理后的第一图像进行深度空间变换处理，得到多帧第一特征图；

将多帧所述第一特征图输入至所述第二子网络的特征提取层，得到多帧第二特征图；

将多帧所述第二特征图输入至所述第二子网络的特征融合层，得到第三特征图；

将所述第三特征图输入至所述第二子网络的编码解码层，得到第四特征图；

对所述第四特征图进行深度空间逆变换处理，得到多帧所述目标特征图。

可选地，处理器1110，还用于：

根据所述编码解码层中的下采样层和残差块，对所述第三特征图进行下采样，得到下采样后的第三特征图；

根据所述编码解码层中的上采样层和残差块，对所述下采样后的第三特征图进行上采样，得到所述第四特征图。

可选地，处理器1110，还用于：

对多帧所述目标特征图进行线性逆变换处理，得到多帧线性逆变换后的目标特征图；

对多帧所述线性逆变换后的目标特征图进行放大处理，得到第二格式的目标图像。

可选地，所述第一格式为非Bayer格式，所述第二格式为RGB格式。

应理解的是，本申请实施例中，输入单元1104可以包括图形处理器(GraphicsProcessing Unit，GPU)11041和麦克风11042，图形处理器11041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1106可包括显示面板11061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板11061。用户输入单元1107包括触控面板11071以及其他输入设备11072中的至少一种。触控面板9071，也称为触摸屏。触控面板11071可包括触摸检测装置和触摸控制器两个部分。其他输入设备11072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器1109可用于存储软件程序以及各种数据。存储器1109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1109可以包括易失性存储器或非易失性存储器，或者，存储器1109可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1109包括但不限于这些和任意其它适合类型的存储器。

处理器1110可包括一个或多个处理单元；可选地，处理器1110集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1110中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取连续采集的多帧第一格式的第一图像；

将多帧所述第一图像输入至目标网络，得到第二格式的目标图像，所述目标图像的分辨率高于所述第一图像的分辨率，所述目标网络是基于多帧第一格式的第二图像训练得到的。

2.根据权利要求1所述的图像处理方法，其特征在于，所述将多帧所述第一图像输入至目标网络，得到第二格式的目标图像之前，所述方法还包括：

对第二格式的样本图像进行抽样处理，得到多帧第一格式的第三图像；

对多帧所述第三图像进行加噪处理，得到多帧第二图像；

基于所述样本图像和多帧所述第二图像，训练所述目标网络。

3.根据权利要求1所述的图像处理方法，其特征在于，所述将多帧所述第一图像输入至目标网络，得到第二格式的目标图像，包括：

将多帧所述第一图像输入至所述目标网络的第一子网络进行预处理，得到多帧预处理后的第一图像，所述预处理用于对多帧所述第一图像分别对应的感光度信息进行归一化处理；

将多帧所述预处理后的第一图像输入至所述目标网络的第二子网络进行信息融合，得到多帧目标特征图；

将多帧所述目标特征图输入至所述目标网络的第三子网络进行图像后处理，得到第二格式的目标图像，所述图像后处理用于还原多帧所述目标特征图分别对应的感光度信息。

4.根据权利要求3所述的图像处理方法，其特征在于，所述将多帧所述第一图像输入至所述目标网络的第一子网络进行预处理，得到多帧预处理后的第一图像，包括：

对多帧所述第一图像进行对齐处理，得到多帧对齐后的第一图像；

对多帧对齐后的所述第一图像进行线性变换处理，得到多帧预处理后的所述第一图像。

5.根据权利要求3所述的图像处理方法，其特征在于，所述将多帧所述预处理后的第一图像输入至所述目标网络的第二子网络进行信息融合，得到多帧目标特征图，包括：

对多帧所述预处理后的第一图像进行深度空间变换处理，得到多帧第一特征图；

将多帧所述第一特征图输入至所述第二子网络的特征提取层，得到多帧第二特征图；

将多帧所述第二特征图输入至所述第二子网络的特征融合层，得到第三特征图；

将所述第三特征图输入至所述第二子网络的编码解码层，得到第四特征图；

对所述第四特征图进行深度空间逆变换处理，得到多帧所述目标特征图。

6.根据权利要求5所述的图像处理方法，其特征在于，所述将所述第三特征图输入至所述第二子网络的编码解码层，得到第四特征图，包括：

根据所述编码解码层中的下采样层和残差块，对所述第三特征图进行下采样，得到下采样后的第三特征图；

根据所述编码解码层中的上采样层和残差块，对所述下采样后的第三特征图进行上采样，得到所述第四特征图。

7.根据权利要求3所述的图像处理方法，其特征在于，所述将多帧所述目标特征图输入至所述目标网络的第三子网络进行图像后处理，得到第二格式的目标图像，包括：

对多帧所述目标特征图进行线性逆变换处理，得到多帧线性逆变换后的目标特征图；

对多帧所述线性逆变换后的目标特征图进行放大处理，得到第二格式的目标图像。

8.根据权利要求1-7任一项所述的图像处理方法，其特征在于，所述第一格式为非Bayer格式，所述第二格式为RGB格式。

9.一种图像处理装置，其特征在于，包括：

第一获取模块，用于获取连续采集的多帧第一格式的第一图像；

第一处理模块，用于将多帧所述第一图像输入至目标网络，得到第二格式的目标图像，所述目标图像的分辨率高于所述第一图像的分辨率，所述目标网络是基于多帧第一格式的第二图像训练得到的。

10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-8任一项所述的图像处理方法的步骤。

Images