CN115361533B

CN115361533B - 图像数据处理方法和电子设备

Info

Publication number: CN115361533B
Application number: CN202210997997.7A
Authority: CN
Inventors: 戴文; 艾仕杰; 倪放翊
Original assignee: Shenzhen Goodix Technology Co Ltd
Current assignee: Shenzhen Goodix Technology Co Ltd
Priority date: 2022-08-19
Filing date: 2022-08-19
Publication date: 2023-04-18
Anticipated expiration: 2042-08-19
Also published as: CN115361533A

Abstract

本申请提供一种图像数据处理方法和电子设备，方法中，获取至少2帧RGBW阵列图；生成每一帧RGBW阵列图的第一特征图和第二特征图，第一特征图包括RGBW阵列图中R通道、G通道、B通道和W通道的特征，第二特征图包括RGBW阵列图中W通道的特征；从至少2帧RGBW阵列图中确定1帧RGBW阵列图为参考帧阵列图，其他RGBW阵列图为目标帧阵列图；根据目标帧阵列图的第二特征图和参考帧阵列图的第二特征图，对目标帧阵列图的第一特征图与参考帧阵列图的第一特征图进行图像对齐，得到目标帧阵列图的对齐图像；根据目标帧阵列图的对齐图像和参考帧阵列图的第一特征图确定RGBW图像。本申请能够使用多帧RGBW阵列图生成更为清晰的RGBW图像。

Description

图像数据处理方法和电子设备

技术领域

本申请涉及图像数据处理技术领域，尤其涉及图像数据处理方法和电子设备。

背景技术

随着图像传感器的发展，逐渐开始有电子设备的摄像头模组中搭载RGBW阵列的图像传感器，如何使用摄像头模组输出的多帧RGBW阵列图生成更为清晰的RGBW图像是需要解决的问题。

发明内容

本申请提供了一种图像数据处理方法和电子设备，能够使用多帧RGBW阵列图生成更为清晰的RGBW图像。

第一方面，本申请实施例提供一种图像数据处理方法，包括：获取至少2帧RGBW阵列图；生成每一帧所述RGBW阵列图的第一特征图和第二特征图，所述第一特征图包括所述RGBW阵列图中R通道、G通道、B通道和W通道的特征，所述第二特征图包括所述RGBW阵列图中W通道的特征；从所述至少2帧RGBW阵列图中确定1帧RGBW阵列图为参考帧阵列图，其他RGBW阵列图为目标帧阵列图；根据所述目标帧阵列图的第二特征图和所述参考帧阵列图的第二特征图，对所述目标帧阵列图的第一特征图与所述参考帧阵列图的第一特征图进行图像对齐，得到所述目标帧阵列图的对齐图像；根据所述目标帧阵列图的对齐图像和所述参考帧阵列图的第一特征图确定RGBW图像。该方法中，使用目标帧阵列图的第二特征图和参考帧阵列图的第二特征图进行引导，对目标帧阵列图的第一特征图和参考帧阵列图的第一特征图进行图像对齐，由于W通道的采样率高于R通道、G通道和B通道，使用W通道的特征图进行引导，对目标帧阵列图的第一特征图和参考帧阵列图的第一特征图进行图像对齐，具有更好的对齐效果，且由于特征本身不存在网格效应，可进一步提升对齐性能，从而更好的完成去马赛克的任务，提高RGBW图像的清晰度；W通道的信噪比相比R通道、G通道和B通道都更高，在低光条件下优势尤为明显，对于RGB通道上已经被噪声淹没的信号，在W通道上会有更大的信号幅值和更小的噪声幅值，故使用W通道的特征引导目标帧阵列图的第一特征图的对齐，对于弱边缘和弱纹理的对齐尤其是低光条件下弱边缘和弱纹理的对齐有明显优势，从而可以提高RGBW图像的清晰度。

在一种可能的实现方式中，所述根据所述目标帧阵列图的第二特征图和所述参考帧阵列图的第二特征图，对所述目标帧阵列图的第一特征图与所述参考帧阵列图的第一特征图进行图像对齐，得到所述目标帧阵列图的对齐图像，包括：对所述目标帧阵列图的第二特征图相对于所述参考帧阵列图的第二特征图的运动偏移量进行估计，得到所述目标帧阵列图的运动偏移量估计图；根据所述目标帧阵列图的运动偏移量估计图对所述目标帧阵列图的第一特征图进行采样，得到所述目标帧阵列图的对齐图像。

在一种可能的实现方式中，还包括：对所述RGBW阵列图的第二特征图进行特征提取，得到所述RGBW阵列图的第三特征图；

所述根据所述目标帧阵列图的第二特征图和所述参考帧阵列图的第二特征图，对所述目标帧阵列图的第一特征图与所述参考帧阵列图的第一特征图进行图像对齐，包括：

根据所述目标帧阵列图的第三特征图和所述参考帧阵列图的第三特征图，对所述目标帧阵列图的第一特征图与所述参考帧阵列图的第一特征图进行图像对齐。

通过增加对第二特征图的二次特征提取，可以进一步提高后续处理得到的RGBW图像的清晰度。

在一种可能的实现方式中，所述生成每一帧所述RGBW阵列图的第一特征图和第二特征图，包括：生成每一帧所述RGBW阵列图的第一图像和第二图像，所述第一图像是具有至少4个通道的图像，且所述至少4个通道包括R通道、G通道、B通道和W通道，所述第二图像是所述RGBW阵列图在W通道下的图像；对每一帧所述RGBW阵列图的第一图像进行特征提取，得到所述RGBW阵列图的第一特征图；对每一帧RGBW阵列图的第二图像进行特征提取，得到所述RGBW阵列图的第二特征图。

在一种可能的实现方式中，所述生成每一帧所述RGBW阵列图的第一图像，包括：

对于每一帧所述RGBW阵列图中的每个基本单元，从所述基本单元中采样W通道的像素，得到W通道的阵列图；根据所述W通道的阵列图的分辨率分别对所述基本单元中R通道、G通道和B通道的像素进行重排列，得到R通道、G通道和B通道的阵列图，所述R通道、G通道和B通道的阵列图中不属于所述基本单元的像素的像素值填0；将所述R通道、G通道、B通道和W通道的阵列图级联，得到所述第一图像。

在一种可能的实现方式中，还包括：使用所述RGBW阵列图的第二特征图对所述RGBW阵列图的第一特征图进行引导，得到所述RGBW阵列图的第四特征图；

根据所述目标帧阵列图的第二特征图和所述参考帧阵列图的第二特征图，对所述目标帧阵列图的第四特征图与所述参考帧阵列图的第四特征图进行图像对齐。

在一种可能的实现方式中，所述根据所述目标帧阵列图的对齐图像和所述参考帧阵列图的第一特征图确定RGBW图像，包括：对所述目标帧阵列图的对齐图像和所述参考帧阵列图的第一特征图进行融合处理，得到第一融合图像；根据所述第一融合图像重建所述RGBW图像。

在一种可能的实现方式中，所述根据所述目标帧阵列图的对齐图像和所述参考帧阵列图的第一特征图确定RGBW图像，还包括：使用所述参考帧阵列图的第二特征图对所述第一融合图像进行引导，得到第二融合图像；

所述根据所述第一融合图像重建所述RGBW图像，包括：

根据所述第二融合图像重建所述RGBW图像。

在一种可能的实现方式中，所述对所述目标帧阵列图的对齐图像和所述参考帧阵列图的第一特征图进行融合处理，得到第一融合图像，包括：将所述目标帧阵列图的对齐图像和所述参考帧阵列图的第一特征图进行级联，将级联得到图像的通道数降低至预设第一通道数，得到所述第一融合图像。

第二方面，本申请实施例提供一种电子设备，包括：处理器；存储器；以及一个或多个计算机程序，其中所述计算机程序被存储在所述存储器中，所述计算机程序被所述处理器执行时，使得所述电子设备执行第一方面任一项所述的方法。

第三方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行第一方面任一项的方法。

第四方面，本申请提供一种计算机程序，当计算机程序被计算机执行时，用于执行第一方面任一项的方法。

在一种可能的设计中，第四方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1A为本申请实施例提供的电子设备的一种结构示意图；

图1B为本申请实施例提供的RGBW阵列的基本单元的结构示意图；

图2A为本申请实施例提供的图像数据处理方法的一种流程示意图；

图2B为本申请实施例提供的一种像素重排列方法示意图；

图2C为本申请实施例提供的另一种像素重排列方法示意图；

图3为本申请实施例提供的图像数据处理方法的另一种流程示意图；

图4为本申请实施例提供的图像数据处理方法的第三种流程示意图；

图5为本申请实施例提供的图像数据处理方法的第四种流程示意图；

图6为本申请实施例提供的图像数据处理方法的第五种流程示意图。

具体实施方式

本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。

电子设备(例如手机)的低光成像(或夜景成像)技术一直是一项十分重要的计算摄影任务。相比正常光照下的成像任务，低光成像存在噪声大、场景纹理恢复差、运动鬼影较明显等问题。

为解决电子设备上低光成像质量差的问题，首先可以考虑延长曝光时间，但一般使用便携的电子设备例如手机摄像不会有专业的稳定设备配合，而手持状态下的长曝光拍摄必定会引入严重的运动模糊，导致成像质量进一步变差。

另外，可以从算法方面考虑，如多帧合成降噪等。多帧降噪是一个十分重要且较为成熟的低光成像解决方案，实现方法是连续拍摄多帧正常曝光或短曝光数据进行合成，来达到降噪和恢复纹理的目的，但由于多帧间运动情况不同，容易引入运动鬼影伪像。最初的多帧降噪方案多应用于全分辨率的RGB图像上，近年来的方案更多的面向原始文件图像格式(RAW)数据，即图像传感器直接输出的Bayer-RGGB数据，此时需要考虑的任务除了降噪之外，还包括去马赛克，也就是将多帧Bayer-RGGB直接重建成单帧全分辨率RGB图像，已有的方案或是不支持去马赛克任务，或是在去鬼影和纹理恢复性能上存在一定问题。

同时，随着图像传感器的发展，逐渐开始有电子设备搭载RGBW阵列的图像传感器，W滤光阵列由于具有更高的量子转换效率，对于低光条件下成像相比于Bayer-RGGB阵列更有优势。目前公开的技术并未显式并有效的使用W通道阵列的数据，且未有公开的技术实现处理多帧RGBW阵列图的方案。

而本申请实施例提供的图像数据处理方法，能够使用摄像头模组输出的多帧RGBW阵列图生成更为清晰的RGBW图像。

进一步地，在一些实施例中还能够通过更优的W通道排列方式和W通道信息的显式使用更好的完成去马赛克和去噪任务，提升去鬼影性能，提升对齐精度和纹理恢复性能。

本申请实施例提供的图像数据处理方法可以应用于电子设备，例如手机、平板电脑(PAD)、个人电脑(PC)、可穿戴设备等设备。

图1A为本申请实施例提供的电子设备的一种结构示意图。参见图1A，电子设备100可以包括：处理器110、存储器120、摄像头模组130。

可选地，为了电子设备100的功能更为完善，电子设备100还可以包括：天线，移动通信模块，无线通信模块，音频模块，扬声器，受话器，麦克风，耳机接口等，本申请实施例不作限定。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

存储器120可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。存储器120可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备600使用过程中所创建的数据(比如音频数据，电话本等)等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在存储器120的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。

摄像头模组130用于捕获静态图像或视频。摄像头模组130中可以包括像素阵列、信号读取电路、ISP以及接口电路等。像素阵列采集经由成像对象返回的光信号，并将该光信号转换为电信号，通过电信号强弱反应成像对象的光像；信号读取电路读取每个像素输出的电信号；ISP对像素阵列输出的电信号进行模数转换，输出成像对象的图像数据；接口电路向外(例如电子设备100的处理器110)传输图像数据。像素阵列中的每个像素结构相似，通常每个像素结构可以包括透镜(或者微透镜)、滤光片(Color Filter)以及光敏元件。其中，透镜位于滤光片的上方，滤光片位于光敏元件的上方。经由成像对象后返回的光经过透镜聚焦后，由透镜出射区域射出，经过滤光片过滤后，射入例如光电二极管(Photo-Diode，PD)等光敏元件，由光敏元件将光信号转换为电信号。根据不同滤光片所能透过的光的类型，像素可以包括红色像素(以下称为R像素)、绿色像素(以下称为G像素)、蓝色像素(以下称为B像素)以及白色像素(以下称为W像素)。R像素是指经过滤光片过滤后仅有红色光射入光敏元件，G像素、B像素和W像素的原理与R像素相同，此处不再赘述。

为了采集彩色图像，需要像素阵列中包括的光敏元件阵列上方设置颜色特定排布的滤色器，或者也可以称为颜色滤镜阵列(Color Filter Array，CFA)。目前，对于大部分像素阵列，例如电荷耦合器件(charge coupled device，CCD)和互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)图像传感器，其包括的CFA采用基于RGB三原色的拜耳(Bayer)格式，也称为拜耳阵列。Bayer格式的特点是其基本单元是一个2×2的四像素阵列，包括1个红色像素R，一个蓝色像素B以及2个绿色像素G，其中，两个绿色像素G共顶角相邻设置。这种纯RGB的bayer布局，仅允许通过特定颜色的光，也就是会截断大部分的光子，那么在低光照环境下，就可能无法准确的还原图像。因此，采用基于RGBW四色型像素设计的CFA应运而生，其主要是将发送全部波长光的白色像素W添加至RGB阵列中，例如图1B所示为一种RGBW CFA的基本单元示意图。与标准的Bayer阵列相比，RGBW阵列能吸收更多的光，可以增加每个像素的电荷积累量，从而具有更高的灵敏度，尤其在低光条件下有更好的成像性能。

在一些实施例中，电子设备100可以包括1个或N个摄像头模组130，N为大于1的正整数。在一些实施例中，上述摄像头模组130中的ISP也可以设置于电子设备100中，作为处理器110的一个组成部分。

在一些实施例中，电子设备100可以不包括摄像头模组130，则摄像头模组可以通过接口外接至电子设备，为电子设备提供原始图像数据。

本申请实施例电子设备100中的软件系统可以使用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。以电子设备100中使用

系统为例，安卓系统可以分为5层，从上到下分别是应用层、应用程序框架层、系统运行库层、硬件抽象层和内核层；其中，

应用层可以包括应用程序，例如相机应用。

应用程序框架层为应用程序层的应用程序提供应用编程接口和变成框架，包括预先定义的函数。

系统运行库层可以包括安卓运行时和系统库。

硬件抽象层是位于操作系统内核与硬件电路之间的接口层。

内核层是硬件和软件之间的层，可以包括摄像头驱动。

本申请实施例的图像数据处理方法可以位于应用层，作为具有拍摄功能的应用(例如，相机应用)中提供的功能，或者，也可以位于应用程序框架层，作为电子设备的操作系统提供的、可以由上述具有拍摄功能的应用(例如，相机应用)调用的函数。

以上述具有拍摄功能的应用是相机应用为例，如果本申请实施例图像数据处理方法作为相机应用中提供的功能，则用户在相机应用提供的图像拍摄界面点击界面中的拍摄控件，指示相机应用拍摄图像时，可以触发相机应用执行本申请实施例的图像数据处理方法，得到RGBW图像，将RGBW图像作为拍摄得到的图像向用户显示；类似的，相机应用在被用户触发拍摄视频时，相机应用也可以执行本申请实施例的图像数据处理方法，得到RGBW图像，将RGBW图像作为视频的一帧图像向用户显示。

以上述具有拍摄功能的应用是相机应用为例，如果本申请实施例图像数据处理方法作为电子设备的操作系统提供的可以被应用调用的函数，则，用户在相机应用提供的图像拍摄界面点击界面中的拍摄控件，指示相机应用拍摄图像时，可以触发相机应用调用该函数，将该函数处理得到的RGBW图像作为拍摄得到的图像向用户显示；类似的，相机应用在被用户触发拍摄视频时，相机应用也可以调用该函数，得到RGBW图像，将RGBW图像作为视频的一帧图像向用户显示。

本申请实施例的图像数据处理方法中，可以从位于内核层的摄像头驱动获取摄像头模组拍摄得到的原始图像数据。上述原始图像数据可以是摄像头模组根据RGBW传感器获取到的光信号转换得到的电信号，再由电信号转换得到的数字图像数据；或者，上述原始图像数据可以是摄像头模组根据RGBW传感器获取到的光信号转换得到的电信号，此时，需要由电子设备中的ISP将电信号转换得到数字图像数据。上述数字图像数据中每帧图像的像素与摄像头模组的像素阵列中相同位置像素对应，其仅包括1种颜色，颜色类型与像素阵列中对应像素的像素类型相同，以图1B所示的RGBW阵列的基本单元结构为例，数字图像数据中的每帧图像的第1行第1列的像素对应图1B所示像素阵列中第1行第1列的像素，像素类型为R像素，像素值用于表示R的值，也即是像素阵列中第1行第1列的R像素透过的红光的强弱。由于本申请实施例图像数据处理方法中以像素阵列是RGBW阵列为例，因此，本申请实施例中将数字图像数据中的每一帧图像数据称为RGBW阵列图。

需要说明的是，在相关技术中，RGBW也可以称为WRGB。

以下结合上述电子设备的软硬件结构对本申请实施例图像数据处理方法进行更为详细的说明。

图2A是本申请实施例提供的图像数据处理方法的一种流程示意图，该方法可以由电子设备执行，具体的，可以由电子设备中的处理器执行，进一步地，可以由电子设备中的图像拍摄应用例如相机应用执行，或者图像拍摄应用调用电子设备的操作系统提供的相关服务执行。如图2A所示，该方法可以包括：

步骤201：获取至少2帧RGBW阵列图。

本步骤中可以从摄像头驱动获取至少2帧RGBW阵列图。

需要说明的是，像素阵列中R像素、G像素、B像素、W像素的排布方式本申请实施例不做限定，上述图1B仅为示例。

步骤202：根据每一帧RGBW阵列图生成该帧RGBW阵列图的第一图像和第二图像。

其中，第一图像是至少包括R通道、G通道、B通道、W通道的图像，第二图像是包括W通道的图像。也即是说，第一图像包括RGBW阵列图中4个通道的信息，第二图像包括RGBW阵列图中W通道的信息。

其中，基于不同的生成方法，第一图像和第二图像的分辨率可以相同或者不同。可选地，第一图像和第二图像的分辨率均小于RGBW阵列图的分辨率。

以下，以图1B所示RGBW阵列图的1个基本单元为例，对本步骤中第一图像和第二图像的生成方法进行示例性说明。为了区别图1B所示RGBW阵列基本单元中的每个像素，图2B和图2C中对像素的名称进行区别标识，例如2个G像素分别标识为G1和G2，4个W像素分别标识为W1～W4。

在第一种可能的实现方式中，如图2B所示，可以将图1B所示的1个基本单元中8个像素按照颜色通道和白色通道重排列后作为具有8个通道的1个像素，从而得到的1个像素的像素值为(R、G1、G2、B、W1、W2、W3、W4)；将一帧分辨率为m*n的RGBW阵列图中的每个基本单元都按照上述方法进行像素重排，可以得到分辨率为(m/4)*(n/2)的第一图像，第一图像中每个像素具有8个通道。如图2B所示，从图1B所示的1个基本单元中采样W通道的像素，可以得到例如图2C所示的2*2的仅包括W通道的阵列图；将一帧分辨率为m*n的RGBW阵列图中的每个基本单元都按照上述方法采样W通道的像素，可以得到分辨率为(m/2)*n的第二图像。

第一种可能的实现方式中，第一图像和第二图像的分辨率不相同。

在第二种可能的实现方式中，第二图像的生成方法可以参考上一种实现方式，这里不赘述；对于第一图像的生成：如图2C所示，可以将分辨率为4*2的1个基本单元中的R通道、G通道、B通道和W通道这4个通道分开，依照W通道的分辨率将其重新排列为4通道的2*2阵列图，2*2阵列图中没有原始信息的像素也即不属于基本单元的像素进行填0处理，从而可以得到分辨率为2*2的4通道的图像，例如图2C中左上角的像素的像素值为(R，0，0，W1)，右上角的像素的像素值为(0，G1，0，W2)；将一帧分辨率为m*n的RGBW阵列中的每个基本单元都按照上述方法进行像素重排，可以得到分辨率为(m/2)*n的第一图像，第一图像包括RGBW4个通道。

第二种可能的实现方式中，第一图像和第二图像的分辨率相同。

第二种可能的实现方式中，RGB通道保留了与W通道相同的分辨率，在没有原始信息的区域进行了填0操作，从而生成第一图像时可以保证W通道的分辨率不受损失，也可以保证更优的纹理恢复性能。

步骤203：对于每一帧RGBW阵列图，对该帧RGBW阵列图的第一图像进行特征提取，得到该帧RGBW阵列图的第一特征图，对该帧RGBW阵列图的第二图像进行特征提取，得到该帧RGBW阵列图的第二特征图。

其中，第一特征图是对第一图像进行特征提取得到的特征图，用于表征RGBW4个通道的特征；所述第二特征图是对第二图像进行特征提取得到的特征图，用于表征W通道的特征。

可选地，本步骤中的特征提取可以通过相关编码方法实现。需要说明的是，对第一图像进行编码的方法和第二图像进行编码的方法可以相同，但是方法中的权重值可以有不同的取值。

可选地，第一特征图的分辨率与第一图像的分辨率可以相同，第二特征图的分辨率与第二图像的分辨率可以相同。

步骤204：从至少2帧RGBW阵列图中确定1帧RGBW阵列图为参考帧阵列图，其他RGBW阵列图为目标帧阵列图。

本步骤中从至少2帧RGBW阵列图中确定参考帧阵列图的方法，本申请实施例不做限定。举例来说：

在一种可能的实现方式中，可以将至少2帧RGBW阵列图中拍摄时间位于相对中间的一帧作为参考帧阵列图，例如3帧RGBW阵列图中可以选择中间一帧RGBW阵列图作为参考帧阵列图；

在另一种可能的实现方式中，可以使用计算梯度的方式选择全图梯度和最大的1帧RGBW阵列图作为参考帧阵列图。

需要说明的是，步骤204可以在步骤201～步骤205之间执行，与步骤202和步骤203的执行顺序不限制。

步骤205：对于每个目标帧阵列图，根据目标帧阵列图的第二特征图和参考帧阵列图的第二特征图，对目标帧阵列图的第一特征图和参考帧阵列图的第一特征图进行图像对齐，得到该目标帧阵列图的对齐图像。

可选地，本步骤可以包括：

对目标帧阵列图的第二特征图f_G,tgt相对于参考帧阵列图的第二特征图f_G,ref的运动偏移量进行估计，得到该目标帧阵列图的运动偏移量估计图offset，运动偏移量估计图用于记录目标帧阵列图的第二特征图相对于参考帧阵列图的第二阵列图的运动偏移量估计，公式可以为：offset＝offset_estim(f_G,ref,f_G,tgt)；

根据运动偏移量估计图offset对目标帧阵列图的第一特征图f_M,tgt进行采样，得到该目标帧阵列图的第一特征图相对于参考帧阵列图的第一特征图的对齐图像

也即得到目标帧阵列图的对齐图像

公式可以为：

其中，运动偏移量估计图、目标帧阵列图的第二特征图、参考帧阵列图的第二特征图的分辨率可以相同。

其中，目标帧阵列图的第一特征图的分辨率与运动偏移量估计图的分辨率可以相同也可以不相同，两者不相同时，第一特征图的分辨率可以小于运动偏移量估计图的分辨率。

可选地，目标帧阵列图的对齐图像的分辨率可以与目标帧阵列图的第一特征图的分辨率相同。

其中，上述运动偏移量估计图的计算可以是亚像素精度，也即存在小数数值；相应的，后续根据运动偏移量估计图进行采样得到对齐图像也可以实现亚像素精度的对齐。

由于W通道的采样率高于RGB3个通道中的任一通道，以图1B所示RGBW阵列为例，W通道是G通道的2倍，R通道和B通道的4倍，本步骤中使用W通道的特征图进行引导，对目标帧阵列图的第一特征图和参考帧阵列图的第一特征图进行图像对齐，可以实现原图尺寸像素级别的对齐，且由于特征本身不存在网格效应，可进一步提升对齐性能，从而后续步骤中可以更好的完成去马赛克的任务，提高RGBW图像的清晰度；此外，W通道的信噪比相比R通道、G通道和B通道都更高，在低光条件下优势尤为明显，对于RGB通道上已经被噪声淹没的信号，在W通道上会有更大的信号幅值和更小的噪声幅值，故使用W通道特征引导目标帧阵列图的第一特征图的对齐，对于弱边缘和弱纹理的对齐尤其是低光条件下弱边缘和弱纹理的对齐有明显优势。

步骤206：根据目标帧阵列图的对齐图像和参考帧阵列图的第一特征图生成RGBW图像。

RGBW图像中每个像素具有R通道、G通道、B通道和W通道4个通道，也即是说每个像素的像素值包括：R值、G值、B值和W值。

可选地，RGBW图像可以是全分辨率图像，也即是说，RGBW图像的分辨率与RGBW阵列图的分辨率相同。

可选地，本步骤可以包括：

对目标帧阵列图的对齐图像和参考帧阵列图的第一特征图进行融合处理，得到融合图像；

根据融合图像重建RGBW图像。

可选地，上述融合处理可以先对目标帧阵列图的对齐图像和参考帧阵列图的第一特征图进行级联，得到级联图像，再将级联图像的通道数降为目标通道数(例如，对齐图像的通道数)，得到上述融合图像。

可选地，将级联图像的通道数降为目标通道数时，可以通过对级联图像进行卷积计算的方式实现。以包括3帧RGBW阵列图，中间帧是参考帧为例，此时，上述融合处理的公式可以为：

f_M,merge表示融合图像。

可选地，上述根据融合图像重建RGBW图像可以使用相关解码方法实现，此时，重建步骤的公式可以为：

表示重建后得到的RGBW图像。

图2所示的方法中，使用目标帧阵列图的第二特征图和参考帧阵列图的第二特征图进行引导，对目标帧阵列图的第一特征图和参考帧阵列图的第一特征图进行图像对齐，得到该目标帧阵列图的对齐图像，由于W通道的采样率是G通道的2倍，R通道和B通道的4倍，使用W通道的特征图进行引导，对目标帧阵列图的第一特征图和参考帧阵列图的第一特征图进行图像对齐，可以实现原图尺寸像素级别的对齐，且由于特征本身不存在网格效应，可进一步提升对齐性能，从而更好的完成去马赛克的任务，提高RGBW图像的清晰度；W通道的信噪比相比R通道、G通道和B通道都更高，在低光条件下优势尤为明显，对于RGB通道上已经被噪声淹没的信号，在W通道上会有更大的信号幅值和更小的噪声幅值，故使用W通道特征引导目标帧阵列图的第一特征图的对齐，对于弱边缘和弱纹理的对齐尤其是低光条件下弱边缘和弱纹理的对齐有明显优势。

图3为本申请实施例图像数据处理方法另一种流程示意图，该方法中以获取3帧RGBW阵列图为例。

需要说明的是，在本申请实施例提供的其他实施例中，也可以对2帧RGBW阵列图或者3帧以上的RGBW阵列图执行以下处理，具体实现可以参考图3所示实施例，本申请实施例不再赘述。

参见图3所示，该方法可以包括：

步骤301：获取3帧RGBW阵列图，确定1帧RGBW阵列图为参考帧阵列图，其他帧RGBW阵列图为目标帧阵列图。

假设3帧RGBW阵列图分别为RGBW阵列图1，RGBW阵列图2，RGBW阵列图3，确定RGBW阵列图2为参考帧阵列图，RGBW阵列图1、RGBW阵列图3分别为目标帧阵列图。

可选地，3帧RGBW阵列图的曝光时间相同。

步骤302：对每一帧RGBW阵列图进行像素重排列，得到该帧RGBW阵列图的第一图像和第二图像。

本步骤中的第一图像和第二图像的分辨率可以相同或者不相同。

本步骤的实现可以参考图2中的步骤202，这里不赘述。

图3中，将RGBW阵列图1的第一图像记为RGBW1，第二图像记为W1；将RGBW阵列图2的第一图像记为RGBW2，第二图像记为W2；将RGBW阵列图3的第一图像记为RGBW3，第二图像记为W3。

步骤303：对每一帧RGBW阵列图的第一图像进行特征提取，得到对应的第一特征图，对每一帧RGBW阵列图的第二图像进行特征提取，得到对应的第二特征图。

以RGBW阵列图1为例，对第一图像RGBW1进行特征提取，得到第一特征图f_M1；对第二图像W1进行特征提取，得到第二特征图f_G1。

可选地，本步骤中的特征提取可以通过相关编码方法实现。例如图3所示，可以将每帧RGBW阵列图的第一图像输入预设编码器1进行编码，将第二图像输入预设编码器2进行编码，从而分别实现第一图像和第二图像的特征提取。

需要说明的是，上述编码器1和编码器2的结构可以相同，但是其中设置的权重值可以不同。

步骤304：对每一帧RGBW特征图的第二特征图进行特征提取，得到对应的第三特征图。

仍以RGBW特征图1为例，对第二特征图f_G1进行特征提取，得到第三特征图f′_G1。

可选地，本步骤中的特征提取也可以通过相关编码方法实现。例如图3所示，可以将第二特征图f_G1输入编码器3进行编码，得到第三特征图f′_G1。

可选地，编码器3和编码器2的结构可以相同，但是其中设置的权重值可以不同。

需要说明的是，步骤304为可选步骤。如果不执行步骤304，则后续步骤中每帧RGBW阵列图的第三特征图被替换为第二特征图。

本步骤中通过对第二特征图再次进行特征提取，可以提高后续生成的RGBW图像的清晰度。

通过执行上述步骤302～步骤304，可以得到：每一帧RGBW阵列图的第一特征图和第三特征图，具体的，可以得到：RGBW阵列图1的第一特征图f_M1和第三特征图f′_G1，RGBW阵列图2的第一特征图f_M2和第三特征图f′_G2，RGBW阵列图3的第一特征图f_M3和第三特征图f′_G3。

步骤305：对于每帧目标帧阵列图，对目标帧阵列图的第三特征图相对于参考帧阵列图的第三特征图的运动偏移量进行估计，得到目标帧阵列图的偏移量估计图；根据目标帧阵列图的偏移量估计图，将目标帧阵列图的第一特征图与参考帧特征图的第一特征图进行图像对齐，得到目标帧阵列图的对齐图像。

以目标帧阵列图是RGBW阵列图1为例，对第三特征图f′_G1相对于第三特征图f′_G2的运动偏移量进行估计，得到RGBW阵列图1的偏移量估计图offset1；根据偏移量估计图offset1将RGBW阵列图1的第一特征图f_M1与RGBW阵列图2的第一特征图f_M2进行图像对齐，得到RGBW阵列图1的对齐图像

可选地，根据目标帧阵列图的偏移量估计图将目标帧阵列图的第一特征图与参考帧特征图的第一特征图进行图像对齐，具体可以包括：

根据目标帧阵列图的偏移量估计图对标准阵列图的第一特征图进行采样，得到目标帧阵列图的对齐图像。

上述采样方法可以使用相关技术实现，本申请实施例不再赘述。

通过执行步骤305，可以计算得到每个目标帧阵列图的对齐图像。

步骤306：对目标帧阵列图的对齐图像和参考帧阵列图的第一特征图进行融合处理，得到第一融合图像f_M,merge。

可选地，本步骤可以包括：

将目标帧阵列图的对齐图像和参考帧阵列图的第一特征图进行级联，得到级联图像；

将级联图像的通道数调整至目标通道数，得到第一融合图像。

可选地，第一融合图像的分辨率、目标帧阵列图的对齐图像的分辨率以及参考帧阵列图的第一特征图的分辨率可以相同。

步骤307：将第一融合图像重建为RGBW图像。

可选地，如图3所示，可以将第一融合图像输入一预设解码器进行解码，得到RGBW图像。

图4为本申请实施例图像数据处理方法另一种流程示意图，相对于图3所示方法，在步骤303与步骤305之间增加步骤401，在步骤306与步骤307之间增加步骤402。

需要说明的是，在本申请实施例提供的其他实施例中，也可以相对于图3所示方法仅增加步骤401或者步骤402，具体实现可以参考图4，这里不赘述。

对图4所示实施例与图3所示实施例的区别说明如下：

步骤401：对于每一帧RGBW阵列图，使用RGBW阵列图的第二特征图对RGBW阵列图的第一特征图进行引导，得到RGBW阵列图的第四特征图。

使用RGBW阵列图的第二特征图f_G对该RGBW阵列图的第一特征图f_M进行引导，得到该RGBW阵列图的第四特征图

可以写作以下表达式：

本步骤中对RGBW阵列图的第一特征图进行引导所使用的引导方法本申请实施例不做限定。以下举例说明：

在一种可能的实现方式中，可以使用第二特征图f_G通过一个卷积层回归出一个逐像素的卷积核ker，再使用该卷积核ker对第一特征图f_M进行卷积，公式如下所示：

ker＝conv(f_G,3x3) (1)

具体的，假设第一特征图f_M通道数为m，第二特征图f_G的通道数为n，可以使用一个普通卷积层对第二特征图f_G进行卷积得到卷积核ker；第二特征图f_G的维度为n*h*w，卷积核ker的维度为(m*3*3)*w*h，从而在使用卷积核ker对第一特征图f_M进行卷积时，第一特征图f_M的每一个像素位置，都有一个维度为3*3的权重，从而使用RGBW阵列图的第二特征图f_G学习到一个像素级别的3*3卷积核，并将其应用在RGBW阵列图的第一特征图f_M上。

需要说明的是，上述卷积核的维度仅为示例，也可以使用其他卷积核的维度，本申请实施例不做限定。

在另一种可能的实现方式中，可以使用自适应反归一化的方式对第一特征图进行引导，具体的，可以通过2个卷积层分别对第二特征图f_G进行卷积，得到特征图

和

使用特征图

与第一特征图f_M相乘，将相乘结果与特征图

相加，完成引导过程；公式如下所示：

具体的，假设RGBW阵列图的第一特征图f_M通道数为m，RGBW阵列图的第二特征图f_G的通道数为n，使用2个卷积层分别对第二特征图f_G进行卷积得到特征图

和

上述两个特征图的维度可以与第一特征图f_M相同；之后，再使用特征图

与第一特征图f_M进行像素级别的相乘，将相乘结果与特征图

进行像素级别的相加，完成引导过程。对某特征的归一化操作一般为先减去其均值，再除以标准差，本实现方式中的反归一化是归一化的逆向操作，用于使被引导的特征图像可以更接近引导特征图像的分布，本实现方式中也即是使第一特征图f_M可以更接近第二特征图f_G的分布。

以RGBW阵列图1为例，可以使用RGBW阵列图1的第二特征图f_G1对RGBW阵列图1的第一特征图f_M1进行引导，得到RGBW阵列图1的第四特征图

相应的，图3所示方法的后续步骤(例如，步骤305)中的第一特征图可以被替换为上述的第四特征图。举例来说，如果执行步骤401，则在步骤305中，以目标帧阵列图是RGBW阵列图1为例，根据RGBW阵列图2的第三特征图f′_G2对RGBW阵列图1的第三特征图f′_G1的运动偏移量进行估计，得到RGBW阵列图1的偏移量估计图offset1；根据偏移量估计图offset1将RGBW阵列图1的第四特征图

与RGBW阵列图2的第四特征图

进行图像对齐，得到RGBW阵列图1的对齐图像

通过执行步骤401，使用全采样率的W通道的特征引导低采样率的RGB通道的特征提取，有利于减少RGB通道特征的网格效应，从而可以提升去马赛克任务的性能，进而有助于提升步骤307中得到的RGBW图像的质量。

步骤402：使用参考帧阵列图的第三特征图对第一融合图像进行引导，得到第二融合图像。

相应的，步骤307中的第一融合图像可以被替换为上述的第二融合图像，也即将第二融合图像重建为RGBW图像。

例如图3中，使用作为参考帧阵列图的RGBW阵列图2的第三特征图f′_G2对第一融合图像f_M,mergG进行引导，得到第二融合图像

通过执行步骤402，使用仅有参考帧的W通道特征的第三特征图对第一融合图像进行引导，有利于处理在步骤306的融合处理中未被处理掉的运动鬼影伪像，进而有助于提升步骤307中得到的RGBW图像的质量。

上述图4所示的本申请实施例中，在执行步骤401和步骤402的引导处理时，一般需要引导处理使用的2个图像的分辨率相同，具体的，步骤401中RGBW阵列图的第二特征图与RGBW阵列图的第一特征图的分辨率需要相同，步骤402中参考帧阵列图的第三特征图与第一融合图像分辨率需要相同，为此，如果上述举例中的2个图像的分辨率不相同，则需要对其中1个图像的分辨率进行调整，为了保证后续步骤中得到的RGBW图像的质量，可以将2个图像中高分辨率的图像转换为低分辨率的图像。

基于此，在本申请实施例提供的另一种图像数据处理方法中，可以在图4所示方法的基础上，在步骤401之前增加步骤501，在步骤402之前增加步骤502。如图5所示，具体可以包括：

步骤501：将每一帧RGBW阵列图的第二特征图的分辨率调整至第一特征图的分辨率。

可选地，本步骤可以通过对第二特征图进行编码处理实现。具体的，参见图5所示，可以通过将第二特征图输入至一预设的编码器5实现。需要说明的是，不同帧对应的编码器5的结构可以相同，其中的权重值的取值可以不同。

相应的，步骤401中使用调整分辨率后的第二特征图对第一特征图进行引导。

步骤502：将参考帧阵列图的第三特征图的分辨率调整至融合特征图的分辨率。

可选地，本步骤可以通过对第三特征图进行编码处理实现。具体的，可以通过将第三特征图输入至一预设的编码器实现。

在本申请实施例提供的另一种图像数据处理方法中，图4所示方法中的步骤303和步骤401可以重复多次执行，也即将前一次处理得到的RGBW阵列图的第四特征图重新作为第一图像，第二特征图重新作为第二图像，执行上述步骤303和步骤401，直到重复执行的次数达到预设次数，最后一次执行后得到RGBW阵列图的第四特征图和第二特征图，之后，可以基于最后一次执行得到的RGBW阵列图的第四特征图和第二特征图进行后续步骤的处理。如图6所示，以图4所示方法中的步骤303和步骤401重复执行2次为例，如果重复执行的次数超过2次，具体实现流程可以参考图6，本申请实施例不再赘述。参见图6，以RGBW阵列图1为例，此时，在第一次执行得到RGBW阵列图1的第四特征图

和第二特征图f₁₁后，对RGBW阵列图1的第四特征图

执行步骤303的特征提取，得到RGBW阵列图1的新的第一特征图f_M1C1，对RGBW阵列图1的第二特征图f_G1进行，得到RGBW阵列图1的新的第二特征图f_G1C1，使用新的第二特征图f_G1C1对新的第一特征图f_M1C1进行引导，得到RGBW阵列图1的新的第四特征图

相应的，步骤304中对RGBW阵列图1的新的第二特征图f_G1C1进行特征提取，得到RGBW阵列图1的新的第三特征图f′_G1C1，步骤305中根据RGBW阵列图1的新的第四特征图

和新的第三特征图f′_G1C1进行图像对齐。

基于同样的理由，图5所示方法中的步骤303、步骤501和步骤401也可以重复多次执行，具体实现可以参考图6，本申请实施例不再赘述。

通过重复执行上述步骤，有助于更好地进行特征提取，进而可以是的后续步骤中的图像对齐、引导等得到更好的处理结果，进而使得后续步骤中得到的RGBW图像具有更好的质量。

本申请实施例还提供一种电子设备，包括摄像头模组、处理器和存储器，处理器用于执行本申请任一实施例提供的方法。

本申请实施例还提供一种电子设备，所述设备包括存储介质和中央处理器，所述存储介质可以是非易失性存储介质，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述计算机可执行程序以实现本申请任一实施例提供的方法。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行本申请任一实施例提供的方法。

本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，当其在计算机上运行时，使得计算机执行本申请任一实施例提供的方法。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。

本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种图像数据处理方法，其特征在于，包括：

获取至少2帧RGBW阵列图；

生成每一帧所述RGBW阵列图的第一特征图和第二特征图，所述第一特征图包括所述RGBW阵列图中R通道、G通道、B通道和W通道的特征，所述第二特征图包括所述RGBW阵列图中W通道的特征；

从所述至少2帧RGBW阵列图中确定1帧RGBW阵列图为参考帧阵列图，其他RGBW阵列图为目标帧阵列图；

根据所述目标帧阵列图的第二特征图和所述参考帧阵列图的第二特征图，对所述目标帧阵列图的第一特征图与所述参考帧阵列图的第一特征图进行图像对齐，得到所述目标帧阵列图的对齐图像；

根据所述目标帧阵列图的对齐图像和所述参考帧阵列图的第一特征图确定RGBW图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标帧阵列图的第二特征图和所述参考帧阵列图的第二特征图，对所述目标帧阵列图的第一特征图与所述参考帧阵列图的第一特征图进行图像对齐，得到所述目标帧阵列图的对齐图像，包括：

对所述目标帧阵列图的第二特征图相对于所述参考帧阵列图的第二特征图的运动偏移量进行估计，得到所述目标帧阵列图的运动偏移量估计图；

根据所述目标帧阵列图的运动偏移量估计图对所述目标帧阵列图的第一特征图进行采样，得到所述目标帧阵列图的对齐图像。

3.根据权利要求1或2所述的方法，其特征在于，还包括：

对所述RGBW阵列图的第二特征图进行特征提取，得到所述RGBW阵列图的第三特征图；

4.根据权利要求1或2所述的方法，其特征在于，所述生成每一帧所述RGBW阵列图的第一特征图和第二特征图，包括：

生成每一帧所述RGBW阵列图的第一图像和第二图像，所述第一图像是具有至少4个通道的图像，且所述至少4个通道包括R通道、G通道、B通道和W通道，所述第二图像是所述RGBW阵列图在W通道下的图像；

对每一帧所述RGBW阵列图的第一图像进行特征提取，得到所述RGBW阵列图的第一特征图；对每一帧RGBW阵列图的第二图像进行特征提取，得到所述RGBW阵列图的第二特征图。

5.根据权利要求4所述的方法，其特征在于，所述生成每一帧所述RGBW阵列图的第一图像，包括：

对于每一帧所述RGBW阵列图中的每个基本单元，从所述基本单元中采样W通道的像素，得到W通道的阵列图；

根据所述W通道的阵列图的分辨率分别对所述基本单元中R通道、G通道和B通道的像素进行重排列，得到R通道、G通道和B通道的阵列图，所述R通道、G通道和B通道的阵列图中不属于所述基本单元的像素的像素值填0；

将所述R通道、G通道、B通道和W通道的阵列图级联，得到所述第一图像。

6.根据权利要求1或2所述的方法，其特征在于，还包括：

使用所述RGBW阵列图的第二特征图对所述RGBW阵列图的第一特征图进行引导，得到所述RGBW阵列图的第四特征图；

7.根据权利要求1或2所述的方法，其特征在于，所述根据所述目标帧阵列图的对齐图像和所述参考帧阵列图的第一特征图确定RGBW图像，包括：

对所述目标帧阵列图的对齐图像和所述参考帧阵列图的第一特征图进行融合处理，得到第一融合图像；

根据所述第一融合图像重建所述RGBW图像。

8.根据权利要求7所述的方法，其特征在于，所述根据所述目标帧阵列图的对齐图像和所述参考帧阵列图的第一特征图确定RGBW图像，还包括：

使用所述参考帧阵列图的第二特征图对所述第一融合图像进行引导，得到第二融合图像；

所述根据所述第一融合图像重建所述RGBW图像，包括：

根据所述第二融合图像重建所述RGBW图像。

9.根据权利要求7所述的方法，其特征在于，所述对所述目标帧阵列图的对齐图像和所述参考帧阵列图的第一特征图进行融合处理，得到第一融合图像，包括：

将所述目标帧阵列图的对齐图像和所述参考帧阵列图的第一特征图进行级联，将级联得到图像的通道数降低至预设第一通道数，得到所述第一融合图像。

10.一种电子设备，其特征在于，包括：

处理器；存储器；以及一个或多个计算机程序，其中所述计算机程序被存储在所述存储器中，所述计算机程序被所述处理器执行时，使得所述电子设备执行权利要求1至9任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行权利要求1至9任一项所述的方法。