CN109978788B - 卷积神经网络生成方法、图像去马赛克方法及相关装置 - Google Patents

Abstract

本发明公开了一种用于对图像进行去马赛克处理的卷积神经网络生成方法、图像去马赛克方法、相关装置、计算设备及介质，该卷积神经网络生成方法包括：构建卷积块，卷积块包括第一卷积层；分别构建下采样层、通道分离层、上采样层和第二卷积层；按照预设的连接规则，将一个或多个卷积块、下采样层、通道分离层、上采样层和第二卷积层进行相连，以生成卷积神经网络，卷积神经网络以下采样层和通道分离层为输入，以第二卷积层为输出；根据预先获取的图像数据集合，对卷积神经网络进行训练，以便卷积神经网络的输出指示输入图像去马赛克后对应的图像，图像数据集合包括多个图像组，每个图像组包括原始图像和其所对应的拜尔域马赛克图像。

Description

卷积神经网络生成方法、图像去马赛克方法及相关装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种用于对图像进行去马赛克处理的卷积神经网络生成方法、图像去马赛克方法、相关装置、计算设备及介质。

背景技术

当今主流数码相机，由于技术及成本的制约，通常使用单传感器方案。单传感器方案多以拜耳彩色滤波阵列为主，通过彩色滤波阵列获取到红、绿、蓝三种颜色，用以合成彩色数码图像。在彩色滤波阵列的作用下，超过三分之二的真实信息被丢失，并且红、绿、蓝三种颜色在不同空间位置以不同采样率被采样，使得数码图像呈现出被噪声污染的“马赛克”状。

“去马赛克”是数码图像信号处理流程的第一步，由于“去马塞克”的结果将影响到所有后续数码图像信号处理流程，所有因“去马赛克”产生的噪声或失真将不可避免地向后传递和放大，因此“去马塞克”也是数码图像信号处理流程中最为关键的“第一步”。现有技术通常通过双线性插值或其他一些传统算法进行“去马塞克”，效果不尽人意。

尽管对“去马塞克”算法的研究从未停止，效果更好的算法也不断提出，如残值插值去马赛克算法、基于频域的去马塞克算法、基于小波的去马塞克算法、基于回归的去马赛克算法等。但是，这些仍然属于人为设计的一种信号处理方式，随着数码图像获取设备的普及和广泛应用，使用场景及拍摄目标变得前所未有地不可测，拍摄结果的随机性和不可预见性使得人为设计处理方式难以应对。

发明内容

为此，本发明提供一种用于对图像进行去马赛克处理的卷积神经网络生成方案，并提出了基于该卷积神经网络的图像去马赛克方案，以力图解决或者至少缓解上面存在的问题。

根据本发明的一个方面，提供一种用于对图像进行去马赛克处理的卷积神经网络生成方法，适于在计算设备中执行，该方法包括如下步骤：首先，构建卷积块，卷积块包括第一卷积层；分别构建下采样层、通道分离层、上采样层和第二卷积层；按照预设的连接规则，将一个或多个卷积块、下采样层、通道分离层、上采样层和第二卷积层进行相连，以生成卷积神经网络，卷积神经网络以下采样层和通道分离层为输入，以第二卷积层为输出；根据预先获取的图像数据集合，对卷积神经网络进行训练，以便卷积神经网络的输出指示输入图像去马赛克后对应的图像，图像数据集合包括多个图像组，每个图像组包括原始图像和其所对应的拜尔域马赛克图像。

可选地，在根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成方法中，构建卷积块的步骤还包括：构建激活层；在第一卷积层之后添加激活层，以形成卷积块。

可选地，在根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成方法中，下采样层用于按照预设的第一通道数对输入图像进行通道分离处理，并对分离出的第一通道数张特征图进行下采样。

可选地，在根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成方法中，第一通道数为4。

可选地，在根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成方法中，通道分离层用于对输入图像按照预设的第二通道数进行通道分离处理，以获取第二通道数张特征图。

可选地，在根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成方法中，第二通道数为3。

可选地，在根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成方法中，按照预设的连接规则，将一个或多个卷积块、下采样层、通道分离层、上采样层和第二卷积层进行相连，以生成卷积神经网络的步骤包括：将下采样层、一个或多个卷积块和上采样层依次相连；将通道分离层和上采样层的输出拼接后，作为第二卷积层的输入，以生成以下采样层和通道分离层为输入、以第二卷积层为输出的卷积神经网络。

可选地，在根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成方法中，卷积块的数量为10。

可选地，在根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成方法中，根据预先获取的图像数据集合，对卷积神经网络进行训练的步骤包括：对图像数据集合中每一个图像组，以图像组包括的拜尔域马赛克图像为下采样层和通道分离层的输入，以图像组包括的原始图像为第二卷积层的输出，对卷积神经网络进行训练。

可选地，在根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成方法中，还包括预先生成图像数据集合，预先生成图像数据集合的步骤包括：对每一张待处理图片进行图像预处理，以获取各待处理图片对应的、满足预设尺寸的原始图像；对每一张原始图像，将该原始图像进行拜尔转换处理，以生成对应的拜尔域马赛克图像；将该原始图像与该拜尔域马赛克图像关联，形成图像组；汇集各图像组，以形成图像数据集合。

根据本发明的又一个方面，提供一种图像去马赛克方法，适于在计算设备中执行，该方法基于用于对图像进行去马赛克处理的卷积神经网络生成方法中、训练好的卷积神经网络对图像进行去马赛克处理，包括如下步骤：对待处理的拜尔域原图进行切割，以形成一个或多个满足预设尺寸的图像块；对每一个图像块，将该图像块输入到训练好的卷积神经网络中进行去马赛克处理；获取训练好的卷积神经网络中第二卷积层输出的图像；将各输出的图像按序拼接，以形成与拜尔域原图对应的去马赛克完成图。

根据本发明的又一个方面，提供一种用于对图像进行去马赛克处理的卷积神经网络生成装置，适于驻留在计算设备中，该装置包括第一构建模块、第二构建模块、生成模块和训练模块。其中，第一构建模块适于构建卷积块，卷积块包括第一卷积层；第二构建模块适于分别构建下采样层、通道分离层、上采样层和第二卷积层；生成模块适于按照预设的连接规则，将一个或多个卷积块、下采样层、通道分离层、上采样层和第二卷积层进行相连，以生成卷积神经网络，卷积神经网络以下采样层和通道分离层为输入，以第二卷积层为输出；训练模块适于根据预先获取的图像数据集合，对卷积神经网络进行训练，以便卷积神经网络的输出指示输入图像去马赛克后对应的图像，图像数据集合包括多个图像组，每个图像组包括原始图像和其所对应的拜尔域马赛克图像。

可选地，在根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成装置中，第一构建模块进一步适于构建激活层；在第一卷积层之后添加激活层，以形成卷积块。

可选地，在根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成装置中，下采样层用于按照预设的第一通道数对输入图像进行通道分离处理，并对分离出的第一通道数张特征图进行下采样。

可选地，在根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成装置中，第一通道数为4。

可选地，在根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成装置中，通道分离层用于对输入图像按照预设的第二通道数进行通道分离处理，以获取第二通道数张特征图。

可选地，在根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成装置中，第二通道数为3。

可选地，在根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成装置中，生成模块进一步适于将下采样层、一个或多个卷积块和上采样层依次相连；将通道分离层和上采样层的输出拼接后，作为第二卷积层的输入，以生成以下采样层和通道分离层为输入、以第二卷积层为输出的卷积神经网络。

可选地，在根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成装置中，卷积块的数量为10。

可选地，在根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成装置中，训练模块进一步适于对图像数据集合中每一个图像组，以图像组包括的拜尔域马赛克图像为下采样层和通道分离层的输入，以图像组包括的原始图像为第二卷积层的输出，对卷积神经网络进行训练。

可选地，在根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成装置中，训练模块还适于预先生成图像数据集合，进一步适于对每一张待处理图片进行图像预处理，以获取各待处理图片对应的、满足预设尺寸的原始图像；对每一张原始图像，将该原始图像进行拜尔转换处理，以生成对应的拜尔域马赛克图像；将该原始图像与该拜尔域马赛克图像关联，形成图像组；汇集各图像组，以形成图像数据集合。

根据本发明的又一个方面，提供一种图像去马赛克装置，适于驻留在计算设备中，该装置基于用于对图像进行去马赛克处理的卷积神经网络生成装置中、训练好的卷积神经网络对图像进行去马赛克处理，包括切割模块、处理模块、获取模块和拼接模块。其中，切割模块适于对待处理的拜尔域原图进行切割，以形成一个或多个满足预设尺寸的图像块；处理模块适于对每一个图像块，将该图像块输入到训练好的卷积神经网络中进行去马赛克处理；获取模块适于获取训练好的卷积神经网络中第二卷积层输出的图像；拼接模块适于将各输出的图像按序拼接，以形成与拜尔域原图对应的去马赛克完成图。

根据本发明的又一个方面，提供一种计算设备，包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成方法和/或图像去马赛克方法的指令。

根据本发明的又一个方面，还提供一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成方法和/或图像去马赛克方法。

根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成方案，先按照预设的连接规则，将构建好的一个或多个卷积块、下采样层、通道分离层、上采样层和第二卷积层进行相连，以生成卷积神经网络，再根据预先获取的图像数据集合，对卷积神经网络进行训练，以便其输出指示输入图像去马赛克后对应的图像。其中，卷积神经网络以下采样层和通道分离层为输入，下采样层之后依次相连有一个或多个卷积块和上采样层，通道分离层和上采样层的输出拼接后作为第二卷积层的输入。在上述方案中，用于训练的图像数据集合是利用海量的不同场景、不同情况下拍摄的数据生成的，通过该图像数据集合对卷积神经网络进行大规模训练，使用最终训练好的网络适用于不同场景下不同的拍摄目标。

进而，根据本发明的图像去马赛克方案，基于上述训练好的卷积神经网络对数码设备，如相机拍摄出的拜尔域原图进行去马赛克处理，通过深度学习的方式，使得“去马赛克”不再倚赖于单一人为设计的思路，方案部署便利、运行高效且效果稳定，对后续数码图像信号处理流程效果提升显著，最终确保了数码图像获取设备的图像质量。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明的一个实施例的计算设备100的示意图；

图2示出了根据本发明的一个实施例的用于对图像进行去马赛克处理的卷积神经网络生成200的流程图；

图3示出了根据本发明的一个实施例的卷积块的结构示意图；

图4示出了根据本发明的一个实施例的卷积神经网络的结构示意图；

图5示出了根据本发明的一个实施例的图像去马赛克方法500的流程图；

图6示出了根据本发明的一个实施例的用于对图像进行去马赛克处理的卷积神经网络生成装置600的示意图；以及

图7示出了根据本发明的一个实施例的图像去马赛克装置700的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1是示例计算设备100的框图。在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。

取决于期望的配置，处理器104可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。

取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个程序122以及程序数据124。在一些实施方式中，程序122可以布置为在操作系统上由一个或多个处理器104利用程序数据124执行指令。

计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

计算设备100可以实现为服务器，例如文件服务器、数据库服务器、应用程序服务器和WEB服务器等，也可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备100还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。

在一些实施例中，计算设备100被配置为执行根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成方法200和/或图像去马赛克方法500。其中，计算设备100的一个或多个程序122包括用于执行根据本发明的用于对图像进行去马赛克处理的卷积神经网络生成方法200和/或图像去马赛克方法500的指令。

图2示出了根据本发明的一个实施例的用于对图像进行去马赛克处理的卷积神经网络生成方法200的流程图。用于对图像进行去马赛克处理的卷积神经网络生成方法200适于在计算设备(例如图1所示的计算设备100)中执行。

如图2所示，方法200始于步骤S210。在步骤S210中，构建卷积块，卷积块包括第一卷积层。考虑到控制过拟合现象，根据本发明的一个实施例，在构建卷积块时，还可以构建激活层，在第一卷积层之后添加激活层，以形成卷积块。图3示出了根据本发明的一个实施例的卷积块的结构示意图。如图3所示，在该卷积块中，包括依次相连的第一卷积层和激活层。在该实施方式中，采用ReLU(Rectified Linear Unit)函数作为激活层的激活函数，以调整经过第一卷积层的输出，避免下一层的输出为上一层的线性组合而无法逼近任意函数。

随后，进入步骤S220，分别构建下采样层、通道分离层、上采样层和第二卷积层。根据本发明的一个实施例，下采样层用于按照预设的第一通道数对输入图像进行通道分离处理，并对分离出的第一通道数张特征图进行下采样。通道分离层用于对输入图像按照预设的第二通道数进行通道分离处理，以获取第二通道数张特征图。而上采样层对图像的处理，可以理解为下采样层处理图像的逆过程，上采样层用于对输入图像进行上采样，并按照预设的第二通道数对上采样后的特征图进行通道合并处理，以形成第二通道数张特征图。在该实施方式中，第一通道数为4，第二通道数为3。

接下来，在步骤S230中，按照预设的连接规则，将一个或多个卷积块、下采样层、通道分离层、上采样层和第二卷积层进行相连，以生成卷积神经网络，卷积神经网络以下采样层和通道分离层为输入，以第二卷积层为输出。根据本发明的一个实施例，可通过如下方式按照预设的连接规则生成卷积神经网络。首先，将下采样层、一个或多个卷积块和上采样层依次相连，再将通道分离层和上采样层的输出拼接后，作为第二卷积层的输入，以生成以下采样层和通道分离层为输入、以第二卷积层为输出的卷积神经网络。优选地，卷积块的数量为10。

在该实施方式中，按照预设的连接规则将10个卷积块、下采样层、通道分离层、上采样层和第二卷积层进行相连，从而生成以下采样层和通道分离层为输入，以第二卷积层为输出的卷积神经网络。图4示出了根据本发明的一个实施例的卷积神经网络的结构示意图。如图4所示，在卷积神经网络中，输入分为两路，一路输入到下采样层A1中，即以下采样层A1为输入端，下采样层A1后面依次相连卷积块C1、卷积块C2、卷积块C3、卷积块C4、卷积块C5、卷积块C6、卷积块C7、卷积块C8、卷积块C9、卷积块C10和上采样层D1，另一路输入到通道分离层B1，即以通道分离层B1为输入端，上采样层D1和通道分离层B1的输出进行拼接处理后，输入到第二卷积层E1，第二卷积层E1为卷积神经网络的输出端。

其中，拼接单元是用于将各输入的特征图进行数量上的拼接相加，以对上采样层D1和通道分离层B1的输出进行拼接处理为例，假设上采样层D1输出了3张256px×256px大小的特征图，通道分离层B1也输出了3张256px×256px大小的特征图，则拼接处理是指将上采样层D1输出的3张特征图和通道分离层B1输出的3张特征图进行数量上的相加，最后输出6张256px×256px大小的特征图，但不会对任何一张特征图进行其他处理。

需要说明的是，图4所示出的各处理单元的连接顺序，即为按照预设的连接规则来设置的。关于连接规则的预先设置，可根据实际应用场景、网络训练情况、系统配置和性能要求等进行适当调整，这些对于了解本发明方案的技术人员来说是可以容易想到的，并且也在本发明的保护范围之内，此处不予以赘述。

最后，执行步骤S240，根据预先获取的图像数据集合，对卷积神经网络进行训练，以便卷积神经网络的输出指示输入图像去马赛克后对应的图像，图像数据集合包括多个图像组，每个图像组包括原始图像和其所对应的拜尔域马赛克图像。根据本发明的一个实施例，可通过如下方式根据预先获取的图像数据集合，对卷积神经网络进行训练。在该实施方式中，对图像数据集合中每一个图像组，以图像组包括的拜尔域马赛克图像为下采样层和通道分离层的输入，以图像组包括的原始图像为第二卷积层的输出，对卷积神经网络进行训练。

其中，原始图像为RGB三通道图像，拜尔域马赛克图像为单通道图像，两者尺寸均满足预设尺寸256px×256px。对拜尔域马赛克图像而言，图像中的每个像素只过滤并记录R(Red，红色)、G(Green，绿色)和B(Blue，蓝色)三种颜色的一种，通常图像中50％的像素对应绿色，25％的像素对应红色，还有25％的像素对应蓝色，因此也可称作RGGB图像。

下面将以图像数据集合中的一个图像组X为例，对卷积神经网络的训练过程进行说明。图像组X包括原始图像X1和其对应的拜尔域马赛克图像X2，原始图像X1和拜尔域马赛克图像X2的尺寸为256px×256px。在训练时，是以拜尔域马赛克图像X2为下采样层A1和通道分离层B1的输入、原始图像X1为第二卷积层E1的输出进行卷积神经网络的训练。

具体的，先将拜尔域马赛克图像X2分别输入到下采样层A1和通道分离层B1中，拜尔域马赛克图像X2为单通道图像，尺寸为256px×256px。对下采样层A1来说，将拜尔域马赛克图像X2进行四通道分离处理，得到了4张特征图，分别对应R通道、G通道、G通道和B通道。由于拜尔域马赛克图像X2中像素对应的通道分布为R通道25％，G通道50％，B通道25％，可知四通道分离处理得到的各特征图中均包含白色区域(即像素值为0的区域)，此时下采样层A1会将每一张特征图中白色区域先去除，再进行尺寸缩小处理，以形成宽和高各小一倍的新的特征图。进而，可得下采样层A1的输出为4张128px×128px大小的特征图。对通道分离层B1而言，在对输入的拜尔域马赛克图像X2进行三通道分离处理后，得到3张特征图，分别对应R通道、G通道和B通道，从而获取到通道分离层B1的输出为3张256px×256px大小的特征图。

此后，下采样层A1的输出将作为卷积块C1的输入，并参与到卷积块C1～C10的卷积处理中。表1示出了根据本发明的一个实施例的卷积块C1～C10中第一卷积层的参数设置示例。其中，对表1里边界补零这一参数的值来说，“0”表示不进行边界补零操作，“1”表示将卷积层所输入图像的边缘向外1个像素单位的各行与各列以0填充。若无特别指出，以下涉及边界补零的内容均以上述说明为准。表1的内容具体如下所示：

表1

参照表1对卷积块C1～C10进行参数设置，并基于以上参数对下采样层A1输出的4张128px×128px的特征图进行处理。首先，将这4张128px×128px的特征图输入到卷积块C1。卷积块C1中的第一卷积层有64个卷积核，每个卷积核的参数个数为3×3，相当于64个3×3大小的卷积核进行卷积，步长为1。将该第一卷积层所输入特征图的边缘向外1个像素单位的各行与各列以0填充，则经过该第一卷积层的卷积后，根据

可知，此时得到的图像的尺寸为128px×128px，即获得64张128px×128px大小的特征图，其中

表示向下取整。将这64张128px×128px的特征图输入到卷积块C1的激活层中，经过该激活层的处理后，得到卷积块C1的输出为64张128px×128px的特征图。

进而，进入卷积块C2。将卷积块C1输出的64张128px×128px的特征图，输入到卷积块C2的第一卷积层中，该第一卷积层有64个卷积核，每个卷积核的参数个数为3×3，相当于64个3×3大小的卷积核进行卷积，步长为1。采用边界填充方式，将该第一卷积层所输入特征图的边缘向外1个像素单位的各行与各列以0填充，经过该第一卷积层的卷积后，根据

可知，此时得到的图像的尺寸为128px×128px，即获得64张128px×128px大小的特征图。

接下来，经过卷积块C2中激活层的处理，可得卷积块C2的输出为64张128px×128px的特征图。将卷积块C2的输出输入到卷积块C3后，经过后续处理单元的相关处理，得到卷积块C9的输出为64张128px×128px的特征图。需要说明的是，卷积块C3～C9对图像的相关处理可参照如上卷积块C2的处理过程，此处不再赘述。

此时，将卷积块C9的输出输入到卷积块C10，卷积块C10中的第一卷积层有12个卷积核，每个卷积核的参数个数为3×3，相当于12个3×3大小的卷积核进行卷积，步长为1。将该第一卷积层所输入特征图的边缘向外1个像素单位的各行与各列以0填充，则经过该第一卷积层的卷积后，根据

可知，此时得到的图像的尺寸为128px×128px，即获得12张128px×128px大小的特征图。将这12张128px×128px的特征图输入到卷积块C10的激活层中，经过该激活层的处理后，得到卷积块C10的输出为12张128px×128px的特征图。

再将卷积块C10输出的12张128px×128px的特征图输入到上采样层D1中，上采样层D1先对这12张特征图进行上采样处理，即将特征图进行尺寸放大处理，以形成宽和高各大一倍的新的特征图，并向新的特征图中对应的位置进行像素点填充，再按照R通道、G通道和B通道三种颜色通道，对填充后的特征图进行通道合并处理，以形成3张分别代表R通道、G通道和B通道的特征图。由此可以得出，上采样层D1的输出为3张256px×256px的特征图。

最后，拼接通道分离层B1和上采样层D1的输出，形成了6张256px×256px的特征图，输入到第二卷积层E1中进行卷积处理。第二卷积层E1有3个卷积核，每个卷积核的参数个数为3×3，相当于3个3×3大小的卷积核进行卷积，步长为1。采用边界填充方式，将第二卷积层E1所输入图像的边缘向外1个像素单位的各行与各列以0填充，经过第二卷积层E1的卷积后，根据

可知，此时得到的图像的尺寸为256px×256px，即获得1张256px×256px大小的RGB三通道特征图。

为了训练该卷积神经网络，以输入的拜尔域马赛克图像X2对应的原始图像X1为预知结果，对第二卷积层E1的输出进行调整，将第二卷积层E1的输出与原始图像X1计算欧几里得损失，通过自适应冲量估计优化器反向传播误差，以调整卷积神经网络中的各参数。经过图像数据集合中大量的图像组进行训练后，获得训练好的卷积神经网络。关于欧几里得损失计算和利用自适应冲量估计优化器调整参数的具体实现，现已有成熟的技术方法，此处不予以赘述。

用于训练卷积神经网络的图像数据集合是需要预先生成的，根据本发明的一个实施例，可通过如下方式预先生成图像数据集合。首先，对每一张待处理图片进行图像预处理，以获取各待处理图片对应的、满足预设尺寸的原始图像。其中，预设尺寸优选为256px×256px，若待处理图片不满足预设尺寸，则需要对其进行图像预处理，缩放至预设尺寸以形成对应的原始图像。进一步的，待处理图片通常选用人工拍摄出的高清的RGB三通道图像，在不同拍摄场景下，针对情况较差、常规去马赛克算法经常出现不好结果的情况，如高频及纹理较多的地方，进行加强拍摄。

对每一张原始图像，将该原始图像进行拜尔转换处理，以生成对应的拜尔域马赛克图像。在该实施方式中，对原始图像进行拜尔转换时，通常是按照Bayer Pattern(拜尔模式，一种颜色模式，允许从一个单独平面中得到彩色图像)，相应丢弃RGB三通道中某两个通道的颜色信息，以将RGB三通道的原始图像转换成Bayer单通道图像，即拜尔域马赛克图像。之后，将该原始图像与该拜尔域马赛克图像关联，形成图像组，再汇集各图像组，以形成图像数据集合。

图5示出了根据本发明的一个实施例的图像去马赛克方法500的流程图。图像去马赛克方法500适于在计算设备(例如图1所示的计算设备100)中执行，基于用于对图像进行去马赛克处理的卷积神经网络生成方法中、训练好的卷积神经网络对图像进行去马赛克处理。

如图5所示，方法500始于步骤S510。在步骤S510中，对待处理的拜尔域原图进行切割，以形成一个或多个满足预设尺寸的图像块。其中，拜尔域原图即为Bayer格式的图片，通常是数码相机、录影器、扫描仪等内部的原始图片，因为拜尔域原图中每个像素只过滤并记录R、G、B三种颜色中的一种，这些从单个像素获取的信息并不能完整表现R、G、B各色的组成数值。为了得到RGB全色彩影像，需要对拜尔域原图进行去马赛克处理。

根据本发明的一个实施例，待处理的拜尔域原图为Z1，其尺寸为1024px×1024px，预设尺寸为256px×256px。那么，对拜尔域原图Z1进行切割，可得到16个256px×256px的图像块，将这16个图像块分别记为F1、F2、F3、……、F15和F16。此外，考虑到拜尔域原图的宽或高可能并非256的整数倍，则在切割处理时，根据拜尔域原图的实际大小，先进行尺寸补齐，并将补齐部分的像素设置为0，再对尺寸补齐后的拜尔域原图进行切割，比如，若拜尔域原图的尺寸为1024px×1000px，则先将其尺寸补齐至1024px×1024px，设置补齐部分的像素值为0，再切割尺寸补齐后的拜尔域原图。应注意的是，拜尔域原图的宽和高的数值，应为2的整数倍。

随后，进入步骤S520，对每一个图像块，将该图像块输入到训练好的卷积神经网络中进行去马赛克处理。根据本发明的一个实施例，分别将图像块F1、图像块F2、……、图像块F16输入到训练好的卷积神经网络中进行去马赛克处理。

接下来，在步骤S530中，获取训练好的卷积神经网络中第二卷积层输出的图像。根据本发明的一个实施例，当输入图像块F1时，训练好的卷积神经网络中第二卷积层E1的输出为1张256px×256px的RGB三通道图像，将其即为G1。以此类推，当输入图像F2～F16时，训练好的卷积神经网络中第二卷积层E1的输出对应为1张256px×256px的RGB三通道图像，分别记为G2、G3、……、G15、G16。

最后，执行步骤S540，将各输出的图像按序拼接，以形成与拜尔域原图对应的去马赛克完成图。根据本发明的一个实施例，按照图像块F1～F16的切割顺序，将输出的图像G1～G16进行拼接，以形成与拜尔域原图Z1对应的去马赛克完成图，该去马赛克完成图为1张1024px×1024px大小的RGB三通道图像。

图6示出了根据本发明的一个实施例的用于对图像进行去马赛克处理的卷积神经网络生成装置600。用于对图像进行去马赛克处理的卷积神经网络生成装置600适于驻留在计算设备(例如图1所示的计算设备100)中。如图6所示，用于对图像进行去马赛克处理的卷积神经网络生成装置600包括第一构建模块610、第二构建模块620、生成模块630和训练模块640。

第一构建模块610适于构建卷积块，卷积块包括第一卷积层。

根据本发明的一个实施例，第一构建模块610进一步适于构建激活层，在第一卷积层之后添加激活层，以形成卷积块。

第二构建模块620适于分别构建下采样层、通道分离层、上采样层和第二卷积层。

根据本发明的一个实施例，下采样层用于按照预设的第一通道数对输入图像进行通道分离处理，并对分离出的第一通道数张特征图进行下采样。通道分离层用于对输入图像按照预设的第二通道数进行通道分离处理，以获取第二通道数张特征图。在该实施方式中，第一通道数为4，第二通道数为3。

生成模块630适于按照预设的连接规则，将一个或多个卷积块、下采样层、通道分离层、上采样层和第二卷积层进行相连，以生成卷积神经网络，卷积神经网络以下采样层和通道分离层为输入，以第二卷积层为输出。

根据本发明的一个实施例，生成模块630进一步适于将下采样层、一个或多个卷积块和上采样层依次相连，将通道分离层和上采样层的输出拼接后，作为第二卷积层的输入，以生成以下采样层和通道分离层为输入、以第二卷积层为输出的卷积神经网络。在该实施方式中，卷积块的数量为10。

训练模块640适于根据预先获取的图像数据集合，对卷积神经网络进行训练，以便卷积神经网络的输出指示输入图像去马赛克后对应的图像，图像数据集合包括多个图像组，每个图像组包括原始图像和其所对应的拜尔域马赛克图像。

根据本发明的一个实施例，训练模块640进一步适于对图像数据集合中每一个图像组，以图像组包括的拜尔域马赛克图像为下采样层和通道分离层的输入，以图像组包括的原始图像为第二卷积层的输出，对卷积神经网络进行训练。

根据本发明的又一个实施例，训练模块640还适于预先生成图像数据集合，进一步适于对每一张待处理图片进行图像预处理，以获取各待处理图片对应的、满足预设尺寸的原始图像，对每一张原始图像，将该原始图像进行拜尔转换处理，以生成对应的拜尔域马赛克图像，将该原始图像与该拜尔域马赛克图像关联，形成图像组，汇集各图像组，以形成图像数据集合。

关于用于对图像进行去马赛克处理的卷积神经网络生成的具体步骤以及实施例，在基于图2～4的描述中已经详细公开，此处不再赘述。

图7示出了根据本发明的一个实施例的图像去马赛克装置700的示意图。图像去马赛克装置700适于驻留在计算设备(例如图1所示的计算设备100)中，基于用于对图像进行去马赛克处理的卷积神经网络生成装置中、训练好的卷积神经网络对图像进行去马赛克处理。如图7所示，图像去马赛克装置700包括切割模块710、处理模块720、获取模块730和拼接模块740。

切割模块710适于对待处理的拜尔域原图进行切割，以形成一个或多个满足预设尺寸的图像块。

处理模块720适于对每一个图像块，将该图像块输入到训练好的卷积神经网络中进行去马赛克处理。

获取模块730适于获取训练好的卷积神经网络中第二卷积层输出的图像。

拼接模块740适于将各输出的图像按序拼接，以形成与拜尔域原图对应的去马赛克完成图。

关于图像去马赛克的具体步骤以及实施例，在基于图5的描述中已经详细公开，此处不再赘述。

目前的图像去马赛克方法，仍然属于人为设计的一种信号处理方式，随着数码图像获取设备的普及和广泛应用，使用场景及拍摄目标变得前所未有地不可测，拍摄结果的随机性和不可预见性使得人为设计处理方式难以应对。根据本发明实施例的用于对图像进行去马赛克处理的卷积神经网络生成方案，先按照预设的连接规则，将构建好的一个或多个卷积块、下采样层、通道分离层、上采样层和第二卷积层进行相连，以生成卷积神经网络，再根据预先获取的图像数据集合，对卷积神经网络进行训练，以便其输出指示输入图像去马赛克后对应的图像。其中，卷积神经网络以下采样层和通道分离层为输入，下采样层之后依次相连有一个或多个卷积块和上采样层，通道分离层和上采样层的输出拼接后作为第二卷积层的输入。在上述方案中，用于训练的图像数据集合是利用海量的不同场景、不同情况下拍摄的数据生成的，通过该图像数据集合对卷积神经网络进行大规模训练，使用最终训练好的网络适用于不同场景下不同的拍摄目标。

进而，根据本发明实施例的图像去马赛克方案，基于上述训练好的卷积神经网络对数码设备，如相机拍摄出的拜尔域原图进行去马赛克处理，通过深度学习的方式，使得“去马赛克”不再倚赖于单一人为设计的思路，方案部署便利、运行高效且效果稳定，对后续数码图像信号处理流程效果提升显著，最终确保了数码图像获取设备的图像质量。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组间可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组间组合成一个模块或单元或组间，以及此外可以把它们分成多个子模块或子单元或子组间。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

本发明一并公开了：

A6.如A5所述的方法，其中，第二通道数为3。

A7.如A1-6中任一项所述的方法，其中，按照预设的连接规则，将一个或多个卷积块、下采样层、通道分离层、上采样层和第二卷积层进行相连，以生成卷积神经网络的步骤包括：将下采样层、一个或多个卷积块和上采样层依次相连；将通道分离层和上采样层的输出拼接后，作为第二卷积层的输入，以生成以下采样层和通道分离层为输入、以第二卷积层为输出的卷积神经网络。

A8.如A1-7中任一项所述的方法，其中，卷积块的数量为10。

A9.如A1-8中任一项所述的方法，其中，根据预先获取的图像数据集合，对卷积神经网络进行训练的步骤包括：对图像数据集合中每一个图像组，以图像组包括的拜尔域马赛克图像为所述下采样层和所述通道分离层的输入，以图像组包括的原始图像为所述第二卷积层的输出，对卷积神经网络进行训练。

A10.如A1-9中任一项所述的方法，其中，还包括预先生成图像数据集合，预先生成图像数据集合的步骤包括：对每一张待处理图片进行图像预处理，以获取各待处理图片对应的、满足预设尺寸的原始图像；对每一张原始图像，将原始图像进行拜尔转换处理，以生成对应的拜尔域马赛克图像；将原始图像与拜尔域马赛克图像关联，形成图像组；汇集各图像组，以形成图像数据集合。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的用于对图像进行去马赛克处理的卷积神经网络生成方法和/或图像去马赛克方法。

以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (14)

1.一种用于对图像进行去马赛克处理的卷积神经网络生成方法，适于在计算设备中执行，所述方法包括步骤：

构建卷积块，所述卷积块包括第一卷积层；

分别构建下采样层、通道分离层、上采样层和第二卷积层；

按照预设的连接规则，将一个或多个卷积块、下采样层、通道分离层、上采样层和第二卷积层进行相连，以生成卷积神经网络，所述卷积神经网络以下采样层和通道分离层为输入，以第二卷积层为输出；

根据预先获取的图像数据集合，对所述卷积神经网络进行训练，以便所述卷积神经网络的输出指示输入图像去马赛克后对应的图像，所述图像数据集合包括多个图像组，每个图像组包括原始图像和其所对应的拜尔域马赛克图像，

其中，所述按照预设的连接规则，将一个或多个卷积块、下采样层、通道分离层、上采样层和第二卷积层进行相连，以生成卷积神经网络的步骤包括：将所述下采样层、一个或多个卷积块和所述上采样层依次相连；将所述通道分离层和所述上采样层的输出拼接后，作为所述第二卷积层的输入，以生成以所述下采样层和所述通道分离层为输入、以所述第二卷积层为输出的卷积神经网络。

2.如权利要求1所述的方法，其中，所述构建卷积块的步骤还包括：

构建激活层；

在所述第一卷积层之后添加所述激活层，以形成卷积块。

3.如权利要求2所述的方法，其中，所述下采样层用于按照预设的第一通道数对输入图像进行通道分离处理，并对分离出的第一通道数张特征图进行下采样。

4.如权利要求3所述的方法，其中，所述第一通道数为4。

5.如权利要求4所述的方法，其中，所述通道分离层用于对输入图像按照预设的第二通道数进行通道分离处理，以获取第二通道数张特征图。

6.如权利要求5所述的方法，其中，所述第二通道数为3。

7.如权利要求6所述的方法，其中，所述卷积块的数量为10。

8.如权利要求7所述的方法，其中，所述根据预先获取的图像数据集合，对所述卷积神经网络进行训练的步骤包括：

对所述图像数据集合中每一个图像组，以所述图像组包括的拜尔域马赛克图像为所述下采样层和所述通道分离层的输入，以所述图像组包括的原始图像为所述第二卷积层的输出，对所述卷积神经网络进行训练。

9.如权利要求1-8中任一项所述的方法，其中，还包括预先生成图像数据集合，所述预先生成图像数据集合的步骤包括：

对每一张待处理图片进行图像预处理，以获取各待处理图片对应的、满足预设尺寸的原始图像；

对每一张原始图像，将所述原始图像进行拜尔转换处理，以生成对应的拜尔域马赛克图像；

将所述原始图像与所述拜尔域马赛克图像关联，形成图像组；

汇集各图像组，以形成图像数据集合。

10.一种图像去马赛克方法，适于在计算设备中执行，所述方法基于权利要求1-9中任一项所述的训练好的卷积神经网络对图像进行去马赛克处理，包括步骤：

对待处理的拜尔域原图进行切割，以形成一个或多个满足预设尺寸的图像块；

对每一个图像块，将所述图像块输入到训练好的卷积神经网络中进行去马赛克处理；

获取所述训练好的卷积神经网络中第二卷积层输出的图像；

将各输出的图像按序拼接，以形成与所述拜尔域原图对应的去马赛克完成图。

11.一种用于对图像进行去马赛克处理的卷积神经网络生成装置，适于驻留在计算设备中，所述装置包括：

第一构建模块，适于构建卷积块，所述卷积块包括第一卷积层；

第二构建模块，适于分别构建下采样层、通道分离层、上采样层和第二卷积层；

生成模块，适于按照预设的连接规则，将一个或多个卷积块、下采样层、通道分离层、上采样层和第二卷积层进行相连，以生成卷积神经网络，所述卷积神经网络以下采样层和通道分离层为输入，以第二卷积层为输出，适于将所述下采样层、一个或多个卷积块和所述上采样层依次相连；将所述通道分离层和所述上采样层的输出拼接后，作为所述第二卷积层的输入，以生成以所述下采样层和所述通道分离层为输入、以所述第二卷积层为输出的卷积神经网络；

训练模块，适于根据预先获取的图像数据集合，对所述卷积神经网络进行训练，以便所述卷积神经网络的输出指示输入图像去马赛克后对应的图像，所述图像数据集合包括多个图像组，每个图像组包括原始图像和其所对应的拜尔域马赛克图像。

12.一种图像去马赛克装置，适于驻留在计算设备中，所述装置基于权利要求11所述的训练好的卷积神经网络对图像进行去马赛克处理，包括：

切割模块，适于对待处理的拜尔域原图进行切割，以形成一个或多个满足预设尺寸的图像块；

处理模块，适于对每一个图像块，将所述图像块输入到训练好的卷积神经网络中进行去马赛克处理；

获取模块，适于获取所述训练好的卷积神经网络中第二卷积层输出的图像；

拼接模块，适于将各输出的图像按序拼接，以形成与所述拜尔域原图对应的去马赛克完成图。

13.一种计算设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-9所述的方法中的任一方法的指令或用于执行根据权利要求10所述的方法的指令。

14.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1-9所述的方法中的任一方法或用于执行根据权利要求10所述的方法的指令。

Images