CN109889800A - 图像增强方法和装置、电子设备、存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像增强方法和装置、电子设备、存储介质，其中，方法包括：对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像；对第二分辨率的第一格式图像进行去马赛克处理，获得第二分辨率的第二格式图像，通过神经网络的方法按上述顺序从第一格式图像端到端生成第二分辨率的第二格式图像，改变了传统图像处理中的去马赛克，去噪和超分辨率的顺序，解决了误差传递的问题，提高了图像的成像质量。

Description

图像增强方法和装置、电子设备、存储介质

技术领域

本申请涉及计算机视觉技术，尤其是一种图像增强方法和装置、电子设备、存储介质。

背景技术

由于硬件成本限制，相机厂商大多采用单片传感器芯片，通过在传感器前置彩色滤波器(color filter array，CFA)来捕获图像。最为常见的CFA是Bayer型，经传感器得到的图像称为Bayer型图像。

发明内容

本申请实施例提供的一种图像增强技术。

根据本申请实施例的一个方面，提供的一种图像增强方法，包括：

对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像；

对所述获得的第二分辨率的第一格式图像进行去马赛克处理，获得第二分辨率的第二格式图像。

可选地，在本申请上述任一方法实施例中，所述对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像，包括：

利用联合去噪与超分网络，对所述第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像。

可选地，在本申请上述任一方法实施例中，所述联合去噪与超分网络包括第一卷积块、至少两个深度残差块、上采样块和第二卷积块；

所述利用联合去噪与超分网络，对所述第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像，包括：

基于所述第一卷积块对所述第一分辨率的第一格式图像进行处理，获得多通道特征图；

基于所述至少两个深度残差块对所述多通道特征图进行处理，获得处理后的多通道图像；

基于所述上采样块和第二卷积块对所述处理后的多通道图像进行处理，获得所述第二分辨率的第一格式图像。

可选地，在本申请上述任一方法实施例中，所述基于所述第一卷积块对所述第一分辨率的第一格式图像进行处理，获得多通道特征图，包括：

基于所述第一卷积块对所述第一分辨率的第一格式图像进行通道增加处理，获得多通道特征图。

可选地，在本申请上述任一方法实施例中，所述基于所述上采样块和第二卷积块对所述处理后的多通道图像进行处理，获得所述第二分辨率的第一格式图像，包括：

基于所述上采样块对所述处理后的多通道图像进行上采样，获得所述上采样后的多通道图像；

基于所述第二卷积块对所述上采样后的多通道图像进行通道缩减处理，获得减少通道数的所述第二分辨率的第一格式图像。

可选地，在本申请上述任一方法实施例中，所述对所述获得的第二分辨率图像进行去马赛克处理，获得第二分辨率的第二格式图像，包括：

利用去马赛克网络对所述获得的第二分辨率的第一格式图像进行去马赛克处理，获得第二分辨率的第二格式图像。

可选地，在本申请上述任一方法实施例中，在对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像之前，还包括：

利用第一格式样本图像对所述联合去噪与超分网络和所述去马赛克网络进行训练，所述第一格式样本图像包括对应的参考图像，所述参考图像为第二分辨率的第二格式图像。

可选地，在本申请上述任一方法实施例中，在利用第一格式样本图像对所述联合去噪与超分网络和所述去马赛克网络进行训练之前，还包括：

基于相机对同一目标进行拍摄，获得至少四个第一格式目标图像；

对所述至少四个第一格式目标图像进行像素重组，获得对应至少四个对应不同颜色通道的色彩图像；

对所述获得的至少四个色彩图像进行下采样，获得第一分辨率的第一格式样本图像。

可选地，在本申请上述任一方法实施例中，在对所述至少四个第一格式目标图像进行像素重组，获得对应至少四个对应不同颜色通道的色彩图像之后，还包括：

合并所述至少四个色彩图像中的像素值，获得合并后通道数减少的第二格式目标图像；

基于针对所述同一目标获得的多个第二格式目标图像进行多帧融合降噪处理，获得所述第一格式样本图像对应的参考图像。

可选地，在本申请上述任一方法实施例中，在对所述至少四个第一格式目标图像进行像素重组，获得对应至少四个对应不同颜色通道的色彩图像之前，还包括：

对所述获得的至少四个第一格式目标图像进行预处理，获得预处理后的至少四个第一格式目标图像；

所述对所述至少四个第一格式目标图像进行像素重组，获得对应至少四个对应不同颜色通道的色彩图像，包括：

对所述预处理后的至少四个第一格式目标图像进行像素重组，获得对应至少四个对应不同颜色通道的色彩图像。

可选地，在本申请上述任一方法实施例中，在对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像之前，还包括：

对通过相机采集的第一格式图像进行像素分解处理，获得具有多个通道的色彩图像；

基于所述采集的第一格式图像确定噪声图；

基于所述色彩图像和所述噪声图，获得具有多个通道的第一分辨率的第一格式图像；

所述对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像，包括：

对所述获得的具有多个通道的第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像。

可选地，在本申请上述任一方法实施例中，所述基于所述采集的第一格式图像确定噪声图，包括：

基于所述采集的第一格式图像的感光度获得所述采集的第一格式图像的噪声值；

基于所述采集的第一格式图像的噪声值获得所述噪声图。

可选地，在本申请上述任一方法实施例中，在对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像之前，还包括：

对所述第一分辨率的第一格式图像进行预处理，获得预处理后的第一格式图像；

所述对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像，包括：

对所述预处理后的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像。

根据本申请实施例的另一个方面，提供的一种图像增强装置，包括：

去噪超分处理单元，用于对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像；

去马赛克处理单元，用于对所述第二分辨率的第一格式图像进行去马赛克处理，获得第二分辨率的第二格式图像。

可选地，在本申请上述任一装置实施例中，所述去噪超分处理单元，用于利用联合去噪与超分网络，对所述第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像。

可选地，在本申请上述任一装置实施例中，所述联合去噪与超分网络包括第一卷积块、至少两个深度残差块、上采样块和第二卷积块；

所述去噪超分处理单元，包括：

第一处理模块，用于基于所述第一卷积块对所述第一分辨率的第一格式图像进行处理，获得多通道特征图；

第二处理模块，用于基于所述至少两个深度残差块对所述多通道特征图进行处理，获得处理后的多通道图像；

第三处理模块，用于基于所述上采样块和第二卷积块对所述处理后的多通道图像进行处理，获得所述第二分辨率的第一格式图像。

可选地，在本申请上述任一装置实施例中，所述第一处理模块，具体用于基于所述第一卷积块对所述第一分辨率的第一格式图像进行通道增加处理，获得多通道特征图。

可选地，在本申请上述任一装置实施例中，所述第三处理模块，具体用于基于所述上采样块对所述处理后的多通道图像进行上采样，获得所述上采样后的多通道图像；基于所述第二卷积块对所述上采样后的多通道图像进行通道缩减处理，获得减少通道数的所述第二分辨率的第一格式图像。

可选地，在本申请上述任一装置实施例中，所述去马赛克处理单元，用于利用去马赛克网络对所述获得的第二分辨率的第一格式图像进行去马赛克处理，获得第二分辨率的第二格式图像。

可选地，在本申请上述任一装置实施例中，所述装置还包括：

网络训练单元，用于利用第一格式样本图像对所述联合去噪与超分网络和所述去马赛克网络进行训练，所述第一格式样本图像包括对应的参考图像，所述参考图像为第二分辨率的第二格式图像。

可选地，在本申请上述任一装置实施例中，所述装置还包括：

目标图像获取单元，用于基于相机对同一目标进行拍摄，获得至少四个第一格式目标图像；

像素重组单元，用于对所述至少四个第一格式目标图像进行像素重组，获得对应至少四个对应不同颜色通道的色彩图像；

下采样单元，用于对所述获得的至少四个色彩图像进行下采样，获得第一分辨率的第一格式样本图像。

可选地，在本申请上述任一装置实施例中，所述装置还包括：

通道合并单元，用于合并所述像素重组单元获得的至少四个色彩图像中的像素值，获得合并后通道数减少的第二格式目标图像；

参考图像获取单元，用于基于针对所述同一目标获得的多个第二格式目标图像进行多帧融合降噪处理，获得所述第一格式样本图像对应的参考图像。

可选地，在本申请上述任一装置实施例中，所述装置还包括：

训练预处理单元，用于对所述获得的至少四个第一格式目标图像进行预处理，获得预处理后的至少四个第一格式目标图像；

所述像素重组单元，具体用于对所述预处理后的至少四个第一格式目标图像进行像素重组，获得对应至少四个对应不同颜色通道的色彩图像。

可选地，在本申请上述任一装置实施例中，所述装置还包括：

第一格式图像获取单元，用于对通过相机采集的第一格式图像进行像素分解处理，获得具有多个通道的色彩图像；基于所述采集的第一格式图像确定噪声图；基于所述色彩图像和所述噪声图，获得具有多个通道的第一分辨率的第一格式图像；

所述去噪超分处理单元，用于对所述获得的具有多个通道的第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像。

可选地，在本申请上述任一装置实施例中，所述第一格式图像获取单元在基于所述采集的第一格式图像确定噪声图时，用于基于所述采集的第一格式图像的感光度获得所述采集的第一格式图像的噪声值；基于所述采集的第一格式图像的噪声值获得所述噪声图。

可选地，在本申请上述任一装置实施例中，所述装置还包括：

预处理单元，用于对所述第一分辨率的第一格式图像进行预处理，获得预处理后的第一格式图像；

所述去噪超分处理单元，用于对所述预处理后的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像。

根据本申请实施例的又一个方面，提供的一种电子设备，包括处理器，所述处理器包括上述任意一项实施例所述的图像增强装置。

根据本申请实施例的还一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；

以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成上述任意一项实施例所述的图像增强方法的操作。

根据本申请实施例的再一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任意一项实施例所述的图像增强方法的操作。

根据本申请实施例的再一个方面，提供的一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现上述任意一项实施例所述的图像增强方法的指令。

基于本申请上述实施例提供的一种图像增强方法和装置、电子设备、存储介质，对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像；对获得的第二分辨率的第一格式图像进行去马赛克处理，获得第一格式图像，通过神经网络的方法按上述顺序从第一格式图像端到端生成第二分辨率的第二格式图像，改变了传统图像处理中的去马赛克，去噪和超分辨率的顺序，解决了误差传递的问题，提高了图像的成像质量。

下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：

图1为本申请实施例提供的图像增强方法的一个流程示意图。

图2为本申请实施例提供的图像增强方法中深度残差块的一个可选结构示意图。

图3a为本申请实施例提供的图像增强方法中深度残差块中深度块的一种示例结构。

图3b为本申请实施例提供的图像增强方法中深度残差块中深度块的另一种示例结构。

图4为本申请实施例提供的图像增强方法的又一实施例的流程示意图。

图5为本申请实施例提供的图像增强方法的另一实施例中网络结构示意图。

图6为本申请实施例提供的图像增强方法的还一实施例中获得样本图像的示意图。

图7为本申请实施例提供的图像增强装置的一个结构示意图。

图8为适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。

具体实施方式

现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为了从低分辨率的Bayer图像获得高清无噪的彩色RGB图像，需要经过马赛克、去噪和超分辨率三个环节。

图1为本申请实施例提供的图像增强方法的一个流程示意图。如图1所示，该实施例方法包括：

步骤110，对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像。

其中，第二分辨率大于第一分辨率，可选地，第一分辨率可以为低分辨率，第二分辨率可以为高分辨率，例如，可理解为通过步骤110的处理将第一格式图像的分辨率提高了。

可选地，本申请实施例中的第一格式图像可以是相机采集的Bayer图像。

现有技术中的图像增强处理中，先去马赛克、然后去噪，最后超分辨率。

本申请的发明人在实现本申请的过程中，发现去马赛克处理在分辨率过低的拜耳阵列(Bayer)图像上执行时，会出现摩尔纹、颜色错误、以及拉链效应。本申请实施例通过先将相机图像(如，Bayer图像)进行去噪和超分辨率处理，然后在第二分辨率的Bayer图像上去马赛克，能有效抑制去马赛克误差。

步骤120，对第二分辨率的第一格式图像进行去马赛克处理，获得第二分辨率的第二格式图像。

可选地，本申请实施例中所指去马赛克处理对第一格式图像进行格式转换，将第一格式转换为第二格式，例如，将Bayer图像转换为RGB图像。

本申请上述实施例提供的一种图像增强方法，对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像；对获得的第二分辨率的第一格式图像进行去马赛克处理，获得第二分辨率的第二格式图像，通过神经网络的方法按上述顺序从第一格式图像端到端生成第二分辨率的第二格式图像，改变了传统图像处理中的去马赛克，去噪和超分辨率的顺序，解决了误差传递的问题，提高了图像的成像质量。

在一个或多个可选的实施例中，步骤110包括：

利用联合去噪与超分网络，对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像。

本申请实施例通过一个去噪与超分网络实现对获取的第一分辨率的第一格式图像(例如，通过相机拍摄的Bayer图像)进行去噪和超分辨率处理，以获得的去除噪声后的第二分辨率的第一格式图像再进行去马赛克处理，有效抑制了去马赛克误差。可选地，联合去噪与超分网络的结构可以包括但不限于：第一卷积块、至少两个深度残差块、上采样块和第二卷积块；

利用联合去噪与超分网络，对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像，包括：

基于第一卷积块对第一分辨率的第一格式图像进行处理，获得多通道特征图；

基于至少两个深度残差块对多通道特征图进行处理，获得处理后的多通道图像；

基于上采样块和第二卷积块对处理后的多通道图像进行处理，获得第二分辨率的第一格式图像。

本申请实施例中，通过第一卷积块对获取的第一分辨率的第一格式图像(如，通过相机拍摄的Bayer图像)进行通道扩展，获得多通道特征图，增大了网络学习能力，深度残差块(Residual in Residual Dense Block，RRDB)采用了残差学习(skip connection,residual learning)机制，能够有效提取图像信息，提高模型的学习效率；理论上深度残差块越多，模型提取信息能力越强，但也更容易过拟合，本申请采用至少一个深度残差块，例如，3个残差块；上采样块实现对图像的上采样，增大图像的大小，提高图像的分辨率的技术；再通过第二卷积块将网络通道数进行还原(例如，还原到4，获得重建的Bayer图像)，起到第一格式图像重建的作用，此时通过重建获得的第一格式图像即为去除噪声后的第二分辨率的第一格式图像。

图2为本申请实施例提供的图像增强方法中深度残差块的一个可选结构示意图。如图2所示，在一个可选示例中，深度残差块(Residual in Residual Dense Block，RRDB)的结构主要包括至少一个深度块(Dense Block)，还可以包括至少一个卷积层(Conv)和至少一个线性激活函数层(Leaky Rectified linear function，LRelu)，每个深度块输出的图像与设定的系数β相乘之后和输入该深度块的图像叠加作为下一个深度块的输入，经过至少一个深度块(图2中提供的是3个深度块)的处理，获得重组后的图像，将该图像与设定的系数β相乘之后和输入深度残差块的图像进行叠加，将叠加后的图像输入到至少一个卷积层和至少一个线性激活函数层，本申请实施例中，可将每个卷积层和线性激活函数层作为一个卷积单元，每个卷积单元的输入和输入都分别输入到该卷积单元之后的每一个卷积单元中，例如，包括第一、第二和第三卷积单元，叠加后的图像分别输入到第一、第二和第三卷积单元，第一卷积单元输出的图像分别输入第二和第三卷积单元中，第二卷积单元输出的图像输入到第三卷积单元中，此时，第一卷积单元的输入仅为深度块输出的图像，第二卷积单元的输入为深度块输出的图像和第一卷积单元输出的图像，第三卷积单元的输入为深度块输出的图像、第一卷积单元输出的图像和第二卷积单元输出的图像。可选地，深度残差块在至少一个卷积单元之后还可以包括一个卷积层。

可选地，深度块是深度残差块的主要结构，图3a为本申请实施例提供的图像增强方法中深度残差块中深度块的一种示例结构，包括卷积层(Conv)、批归一化层(BatchNormalization，BN)、激活函数层(ReLU)。图3b为本申请实施例提供的图像增强方法中深度残差块中深度块的另一种示例结构。图3a和图3b中所示的深度块都包括两个卷积层(Conv)和一个激活函数层(ReLU)，这两个示例中的深度块的结构区别仅在于图3a中还包括两个批归一化层(Batch Normalization，BN)，本申请实施例中经过实践证明，采用包括图3b所示的深度块的深度残差块，使用这种结构的深度残差块可恢复图像中更真实的纹理细节。

可选地，基于第一卷积块对第一分辨率的第一格式图像进行处理，获得多通道特征图，包括：

基于第一卷积块对第一分辨率的第一格式图像进行通道增加处理，获得多通道特征图。

可选地，本申请实施例的第一卷积块可以包括一个或多个卷积层，通过一个或多个卷积层对第一格式图像进行处理，增加图像的通道数量，以提高对联合去噪与超分网络对图像的学习能力，本申请实施例不限制第一卷积块的具体结构。

可选地，基于上采样块和第二卷积块对处理后的多通道图像进行处理，获得去除噪声后的第二分辨率图像，包括：

基于上采样块对处理后的多通道图像进行上采样，获得上采样后的多通道图像；

基于第二卷积块对上采样后的多通道图像进行通道缩减处理，获得减少通道数的第二分辨率的第一格式图像。

本申请实施例中的上采样块可采用卷积层加像素洗牌层(pixel shuffle)的结构或其他可实现上采样的结构，第二卷积块可以包括至少一个卷积层；本申请实施例不限制上采样块和第二卷积块的具体结构，作为一个例子，当上采样块包括至少一个卷积层和至少一个像素洗牌层时，可实现第一格式图像的超分辨率；再通过第二卷积块中的卷积层对多通道图像的通道数进行变换，获得减少通道数的去除噪声后的第二分辨率的第一格式图像，例如，获得超分去噪后的RGGB图像。

在一个或多个可选的实施例中，步骤120包括：

利用去马赛克网络对获得的第二分辨率的第一格式图像进行去马赛克处理，获得第二分辨率的第二格式图像。

本申请实施例中采用去马赛克网络通过对经过去噪和超分辨率处理后得到的第二分辨率的第一格式图像进行重建，获得清晰度提高后的第二分辨率的第二格式图像，由于输入到去马赛克网络中的第一格式图像是经过去噪和超分处理的，减少了误差传递。可选地，本申请实施例采用的去马赛克网络可以是现有技术中常用的去马赛克网络，或者包括第三卷积块、至少一个深度残差块、像素洗牌层和第四卷积块，本申请实施例不限制去马赛克网络的具体结构。

图4为本申请实施例提供的图像增强方法的又一实施例的流程示意图。如图4所示，该实施例方法包括：

步骤410，对通过相机采集的第一格式图像进行像素分解处理，获得具有多个通道的色彩图像。

可选地，本申请实施例中第一格式图像可以为相机采集的Bayer图像，为了增大图像的感受野，本申请实施例通过将Bayer图像中对应不同颜色(红色R，绿色Gr，绿色Gb，蓝色B)的像素分解出来，获得多个通道的色彩图像(如，四个通道的色彩图像，每个通道色彩图像的大小在长和宽的方向上变为原图的二分之一)，例如，采集的Bayer图像的大小为B×1×w×h，获得的四个通道色彩图像的大小为B×4×w/2×h/2。

可选地，当通过相机采集的图像其他电子设备无法处理时，可通过预处理对图像进行格式转换，使其他电子设备可以处理，但格式转换并不改变图像内容。

步骤420，基于采集的第一格式图像确定噪声图。

相机拍摄的图像都会存在噪声，本申请实施例基于采集的第一格式图像将采集的第一格式图像中的噪声分解获得噪声图，以在后续去噪过程中更好的去除噪声。

可选地，基于采集的第一格式图像的感光度获得采集的第一格式图像的噪声值；基于采集的第一格式图像的噪声值获得噪声图。

每个相机都具有不同的感光度(ISO)值，本申请实施例通过采集第一格式图像的相机的感光度值，和设定的最大感光度值获得第一格式图像的噪声值，以该噪声值获得与色彩图像相同大小的噪声图，该噪声图中每个像素值都为噪声值。

例如，通过以下公式(1)获得噪声值：

N＝log₁₀ISO/log₁₀ISO_max 公式(1)

其中，ISO表示获得采集的第一格式图像的感光度值，ISO_max表示设定的最大感光度值，例如，本申请实施例可以将ISO_max设定为3000，N表示噪声值，其中采集的第一格式图像的感光度值可通过Python的TIFF库读取。

当单个通道色彩图像的大小为B×1×w/2×h/2时，噪声图的大小为B×1×w/2×h/2。

步骤430，基于色彩图像和噪声图，获得具有多个通道的第一分辨率的第一格式图像。

可选地，通过本申请实施例将上述步骤获得的噪声图合并到色彩图像的最后一维作为联合去噪与超分网络的输入(例如，将大小为B×4×w/2×h/2的四通道色彩图像和大小为B×1×w/2×h/2的噪声图在通道上连接，获得的第一分辨率的第一格式图像大小为B×5×w/2×h/2)。

步骤440，对获得的具有多个通道的第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像。

本申请实施例中进行去噪和超分辨率处理的图像是添加了噪声图的第一分辨率的第一格式图像，经过处理获得的第二分辨率的第一格式图像的分辨率高于第一分辨率的第一格式图像，即，经过去噪和超分辨率处理，对图像去噪的同时，提高了图像的分辨率。

步骤450，对获得的第二分辨率的第一格式图像进行去马赛克处理，获得第二分辨率的第二格式图像。

可选地，第二格式图像可以为RGB图像。

本申请实施例通过改变了去马赛克处理与去噪和超分处理的顺序，克服了现有技术中对第一分辨率图像进行去马赛克处理产生的问题(会出现摩尔纹、颜色错误、以及拉链效应)。

可选地，本申请实施例中的马赛克网络的网络结构可以与联合去噪与超分网络的网络结构类似，例如，包括卷积层、至少一个深度残差块、像素洗牌层和卷积层，通过取马赛克网络对输入的第二分辨率图像进行重组，获得去噪超分后的第二格式图像。

图5为本申请实施例提供的图像增强方法的另一实施例中网络结构示意图。如图5所示，将相机采集的RGGB阵列的Bayer图像(大小为B×1×w×h)按照像素转化为4个通道的色彩图像(大小为B×4×w/2×h/2)，其中，每个通道的图像对应一个颜色(红色R，绿色Gr，绿色Gb，蓝色B)，增大了图像感受野，加快了计算速度。基于Bayer图像的感光(ISO)值和设定的最大感光度值，获得噪声值，以噪声值获得噪声图(大小为B×1×w/2×h/2)，将4个通道的色彩图像和噪声图在通道上连接获得大小为B×5×w/2×h/2的第一分辨率(低分辨率)的Bayer图像，将该第一分辨率(低分辨率)的Bayer图像输入联合去噪与超分网络，经过联合去噪与超分网络的处理，获得超分去噪后的RGGB图像(包括4个通道)；将超分去噪后的RGGB图像输入到去马赛克网络，经过去马赛克网络的处理，获得去噪超分后的RGB图像(包括3个通道)。

在一个或多个可选的实施例中，本申请实施例方法，在执行步骤110之前，还包括：

对第一分辨率的第一格式图像进行预处理，获得预处理后的第一格式图像；

对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像，包括：

对预处理后的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像。

在本申请实施例中，对图像进行去噪、超分辨率以及去马赛克之前，可选地，可以对图像进行预处理。图像预处理的目的有二：其一是图像的白平衡，例如，给Bayer图像的红、绿、蓝三种像素值乘以不同的系数，使得在一定的光照条件下，处理得到的照片色彩与正常人眼所看到的色彩相同。其二是图像的格式转化，例如，相机直接输出的图像为RAW图像格式，无法被主流媒体读取，需要转化为tiff格式。图像预处理可以用主流图像处理工具dcraw实现(具体命令为dcraw-6-T-w-d文件名)。

在一个或多个可选的实施例中，本申请实施例方法，在执行步骤110之前，还包括：

利用第一格式样本图像对联合去噪与超分网络和去马赛克网络进行训练。

其中，第一个样本图像包括对应的参考图像，参考图像为清晰无噪声的第二格式图像。

为了提高联合去噪与超分网络和去马赛克网络对第一格式图像的处理效果，本申请实施例采用具有参考图像的第一格式样本图像对去噪与超分网络和去马赛克网络联合训练，将去噪与超分网络和去马赛克网络作为一个整体网络进行端到端的训练，不仅提高了去噪与超分网络和去马赛克网络的单独的网络性能，同时提高了去噪与超分网络与去马赛克网络之间的匹配度。

可选地，在利用样本图像对联合去噪与超分网络和去马赛克网络进行训练之前，还包括：

基于相机对同一目标进行拍摄，获得至少四个第一格式目标图像；

对至少四个第一格式目标图像进行像素重组，获得对应至少四个对应不同颜色通道的色彩图像；

对获得的至少四个色彩图像进行下采样，获得第一分辨率的第一格式样本图像。

本申请实施例通过相机对同一目标进行多次拍摄(例如，4次)，获得至少四个第一格式目标图像，每两次拍摄之间存在水平方向和/或垂直方向上的像素位移，通过获得的至少四个第一格式目标图像之间的像素位移，可实现快速像素重组，无需经过差值处理，就可以得到不同颜色通道的值，获得对应不同颜色通道的色彩图像，再将每个通道的色彩图像进行下采样处理，获得包括一个通道的第一个格式样本图像。例如，利用相机拍摄目标的第一Bayer图像，基于第一相机图像进行向左平移1个像素，获得第二Bayer图像；基于第一相机图像进行向下平移1个像素，获得第三Bayer图像；基于第一相机图像进行向右平移1个像素，获得第四Bayer图像；基于第一、第二、第三和第四Bayer图像，利用像素位移技术，Bayer图像无需进行插值，就可以得到每一个点处的红(R)，绿(Gr)，绿(Gb)，蓝(B)通道的值，从而组成具有R，Gr，Gb，B四通道的RGGB图像，在对RGGB图像进行下采样获得Bayer图像，将下采样获得的Bayer图像作为第一格式样本图像。

现有技术中，对超分辨率网络进行训练的样本图像(低分辨率图像)是基于高分辨率图经过Bicubic下采样得到，这种下采样模型与真实的下采样模型不一致。本申请实施例提出像素位移均值降采样来获取低分辨率Bayer图像，代替常用的RGB图像上的双三次降采样，解决下采样模型不符合真实情况的问题，采用真实图像获得的样本图像更符合真实情况，训练获得的网络性能更好。

可选地，在对至少四个第一格式目标图像进行像素重组，获得对应至少四个对应不同颜色通道的色彩图像之后，还包括：

合并至少四个色彩图像中的像素值，获得合并后通道数减少的第二格式目标图像；

基于针对同一目标获得的多个第二格式目标图像进行多帧融合降噪处理，获得第一格式样本图像对应的参考图像。

为了实现网络训练，不仅需要获得样本图像，还需要获得样本图像的参考图像，以参考图像作为监督实现对联合去噪与超分网络和去马赛克网络的训练。由于经过去噪、超分和去马赛克处理得到的图像可能与输入图像的维度结构不同，因此，参考图像需要与经过去马斯克处理的图像维度空间保持一致，本申请实施例采用合并通道数和多帧融合降噪处理的方式获得了参考图像。例如，在RGGB图像中取Gr，Gb通道均值，可得到G通道值，从而得到RGB图像。在同一场景下多次拍摄，得到多组RGB图像，进行多帧均值融合降噪即可获取去噪的RGB图像，该RGB图像可用作训练模型的监督图像。在训练时，将监督图像与联合去噪与超分网络和去马赛克网络对样本图像处理获得的预测图像之间的差值作为损失，基于损失对联合去噪与超分网络和去马赛克网络中的网络参数进行调整。

图6为本申请实施例提供的图像增强方法的还一实施例中获得样本图像的示意图。如图6所示，首先通过相机采集目标的第一Bayer图像，基于第一Bayer图像进行向左平移1个像素，获得第二Bayer图像)；基于第一Bayer图像进行向下平移1个像素，获得第三Bayer图像；基于第一Bayer图像进行向右平移1个像素，获得第四Bayer图像；基于第一、第二、第三和第四Bayer图像，利用像素位移技术，Bayer图像无需进行插值，就可以得到每一个点处的红(R)，绿(Gr)，绿(Gb)，蓝(B)通道的值，从而组成具有R，Gr，Gb，B四通道的RGGB图像，在对RGGB图像进行下采样获得Bayer图像，将下采样获得的Bayer图像作为样本图像，例如，在RGGB图像基础上首先进行像素位移降采样获取仅有一个通道的四合一色彩图像，对四合一色彩图像中相同颜色块进行均值处理，即可得到低分辨率的Bayer图像，从RGGB图像到低分辨率图像的过程为本申请实施例中所提出的像素位移Bayer图像下采样；对RGGB图像中Gr通道和Gb通道的值进行取均值，获得G通道的值，从而获得RGB图像，在同一场景下多次拍摄，得到多组RGB图像，进行多帧均值融合降噪即可获取去噪的RGB图像，该RGB图像可用作训练网络的参考图像。

可选地，在对至少四个第一格式目标图像进行像素重组，获得对应至少四个对应不同颜色通道的色彩图像之前，还包括：

对获得的至少四个第一格式目标图像进行预处理，获得预处理后的至少四个第一格式目标图像；

对至少四个第一格式目标图像进行像素重组，获得对应至少四个对应不同颜色通道的色彩图像，包括：

对预处理后的至少四个第一格式目标图像进行像素重组，获得对应至少四个对应不同颜色通道的色彩图像。

在训练过程中同样涉及到对图像进行预处理，将得到的相机图像进行白平衡和格式转换，在训练过程中的预处理与图像增强过程中的预处理类似，可以采用上述对相机采集的图像进行预处理的方式本申请实施例中的相机图像进行预处理；本申请实施例中的预处理可以在获得RGGB图像之前执行。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图7为本申请实施例提供的图像增强装置的一个结构示意图。该实施例的装置可用于实现本申请上述各方法实施例。如图7所示，该实施例的装置包括：

去噪超分处理单元71，用于对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像。

去马赛克处理单元72，用于对第二分辨率的第一格式图像进行去马赛克处理，获得第二分辨率的第二格式图像。

本申请上述实施例提供的一种图像增强装置，对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像；对获得的第二分辨率的第一格式图像进行去马赛克处理，获得第二分辨率的第二格式图像，通过神经网络的方法按上述顺序从第一格式图像端到端生成第二分辨率的第二格式图像，改变了传统图像处理中的去马赛克，去噪和超分辨率的顺序，解决了误差传递的问题，提高了图像的成像质量。

在一个或多个可选的实施例中，去噪超分处理单元71，用于利用联合去噪与超分网络，对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像。

本申请实施例通过一个去噪与超分网络实现对获取的第一分辨率的第一格式图像(例如，通过相机拍摄的Bayer图像)进行去噪和超分辨率处理，以获得的去除噪声后的第二分辨率的第一格式图像再进行去马赛克处理，有效抑制了去马赛克误差。

可选地，联合去噪与超分网络包括第一卷积块、至少两个深度残差块、上采样块和第二卷积块；

去噪超分处理单元71，包括：

第一处理模块，用于基于第一卷积块对所第一分辨率的第一格式图像进行处理，获得多通道特征图；

第二处理模块，用于基于至少两个深度残差块对多通道特征图进行处理，获得处理后的多通道图像；

第三处理模块，用于基于上采样块和第二卷积块对处理后的多通道图像进行处理，获得第二分辨率的第一格式图像。

可选地，第一处理模块，具体用于基于第一卷积块对第一分辨率的第一格式图像进行通道增加处理，获得多通道特征图。

可选地，第三处理模块，具体用于基于上采样块对处理后的多通道图像进行上采样，获得上采样后的多通道图像；基于第二卷积块对上采样后的多通道图像进行通道缩减处理，获得减少通道数的第二分辨率的第一格式图像。

在一个或多个可选的实施例中，去马赛克处理单元72，用于利用去马赛克网络对获得的第二分辨率的第一格式图像进行去马赛克处理，获得第二分辨率的第二格式图像。

本申请实施例中采用去马赛克网络通过对经过去噪和超分辨率处理后得到的第二分辨率的第一格式图像进行重建，获得清晰度提高后的第二分辨率的第二格式图像，由于输入到去马赛克网络中的第一格式图像是经过去噪和超分处理的，减少了误差传递。可选地，本申请实施例采用的去马赛克网络可以是现有技术中常用的去马赛克网络，或者包括第三卷积块、至少一个深度残差块、像素洗牌层和第四卷积块，本申请实施例不限制去马赛克网络的具体结构。

可选地，本申请实施例提供的装置还包括：

网络训练单元，用于利用第一格式样本图像对联合去噪与超分网络和去马赛克网络进行训练，第一格式样本图像包括对应的参考图像，参考图像为第二分辨率的第二格式图像。

可选地，本申请实施例提供的装置还包括：

目标图像获取单元，用于基于相机对同一目标进行拍摄，获得至少四个第一格式目标图像；

像素重组单元，用于对至少四个第一格式目标图像进行像素重组，获得对应至少四个对应不同颜色通道的色彩图像；

下采样单元，用于对获得的至少四个色彩图像进行下采样，获得第一分辨率的第一格式样本图像。

可选地，本申请实施例提供的装置还包括：

通道合并单元，用于合并像素重组单元获得的至少四个色彩图像中的像素值，获得合并后通道数减少的第二格式目标图像；

参考图像获取单元，用于基于针对同一目标获得的多个第二格式目标图像进行多帧融合降噪处理，获得第一格式样本图像对应的参考图像。

可选地，本申请实施例提供的装置还包括：训练预处理单元，用于对获得的至少四个第一格式目标图像进行预处理，获得预处理后的至少四个第一格式目标图像；

像素重组单元，具体用于对预处理后的至少四个第一格式目标图像进行像素重组，获得对应至少四个对应不同颜色通道的色彩图像。

在一个或多个可选的实施例中，本申请实施例提供的装置还包括：

第一格式图像获取单元，用于对通过相机采集的第一格式图像进行像素分解处理，获得具有多个通道的色彩图像；基于采集的第一格式图像确定噪声图；基于色彩图像和噪声图，获得具有多个通道的第一分辨率的第一格式图像；

去噪超分处理单元71，用于对获得的具有多个通道的第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像。

本申请实施例通过改变了去马赛克处理与去噪和超分处理的顺序，克服了现有技术中对第一分辨率图像进行去马赛克处理产生的问题(会出现摩尔纹、颜色错误、以及拉链效应)。

可选地，第一格式图像获取单元在基于采集的第一格式图像确定噪声图时，用于基于采集的第一格式图像的感光度获得采集的第一格式图像的噪声值；基于采集的第一格式图像的噪声值获得噪声图。

在一个或多个可选的实施例中，本申请实施例提供的装置还包括：

预处理单元，用于对第一分辨率的第一格式图像进行预处理，获得预处理后的第一格式图像；

去噪超分处理单元，用于对预处理后的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像。

本申请实施例的另一个方面，还提供了一种电子设备，包括处理器，该处理器包括上述任意一项实施例提供的图像增强装置。

本申请实施例的又一个方面，还提供了一种电子设备，包括：存储器，用于存储可执行指令；

以及处理器，用于与该存储器通信以执行所述可执行指令从而完成上述任意一项实施例提供的图像增强方法的操作。

本申请实施例的还一个方面，还提供了一种计算机存储介质，用于存储计算机可读取的指令，该指令被执行时执行上述任意一项实施例提供的图像增强方法的操作。

本申请实施例的再一个方面，还提供了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在设备上运行时，该设备中的处理器执行用于实现上述任意一项实施例提供的图像增强方法的指令。

本申请实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图8，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备800的结构示意图：如图8所示，电子设备800包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)801，和/或一个或多个专用处理器，专用处理器可作为加速单元813，可包括但不限于图像处理器(GPU)、FPGA、DSP以及其它的ASIC芯片之类专用处理器等，处理器可以根据存储在只读存储器(ROM)802中的可执行指令或者从存储部分808加载到随机访问存储器(RAM)803中的可执行指令而执行各种适当的动作和处理。通信部812可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡。

处理器可与只读存储器802和/或随机访问存储器803中通信以执行可执行指令，通过总线804与通信部812相连、并经通信部812与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像；对获得的第二分辨率的第一格式图像进行去马赛克处理，获得第一格式图像，通过神经网络的方法按上述顺序从第一格式图像端到端生成第二分辨率的第二格式图像。

此外，在RAM 803中，还可存储有装置操作所需的各种程序和数据。CPU801、ROM802以及RAM803通过总线804彼此相连。在有RAM803的情况下，ROM802为可选模块。RAM803存储可执行指令，或在运行时向ROM802中写入可执行指令，可执行指令使中央处理单元801执行上述通信方法对应的操作。输入/输出(I/O)接口805也连接至总线804。通信部812可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

需要说明的，如图8所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图8的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如加速单元813和CPU801可分离设置或者可将加速单元813集成在CPU801上，通信部可分离设置，也可集成设置在CPU801或加速单元813上，等等。这些可替换的实施方式均落入本申请公开的保护范围。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像；对获得的第二分辨率的第一格式图像进行去马赛克处理，获得第一格式图像，通过神经网络的方法按上述顺序从第一格式图像端到端生成第二分辨率的第二格式图像。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的方法中限定的上述功能的操作。

可能以许多方式来实现本申请的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。

本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种图像增强方法，其特征在于，包括：

对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像，所述第二分辨率大于所述第一分辨率；

对所述第二分辨率的第一格式图像进行去马赛克处理，获得第二分辨率的第二格式图像。

2.根据权利要求1所述的方法，其特征在于，所述对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像，包括：

利用联合去噪与超分网络，对所述第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像。

3.根据权利要求2所述的方法，其特征在于，所述联合去噪与超分网络包括第一卷积块、至少两个深度残差块、上采样块和第二卷积块；

所述利用联合去噪与超分网络，对所述第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像，包括：

基于所述第一卷积块对所述第一分辨率的第一格式图像进行处理，获得多通道特征图；

基于所述至少两个深度残差块对所述多通道特征图进行处理，获得处理后的多通道图像；

基于所述上采样块和第二卷积块对所述处理后的多通道图像进行处理，获得所述第二分辨率的第一格式图像。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一卷积块对所述第一分辨率的第一格式图像进行处理，获得多通道特征图，包括：

基于所述第一卷积块对所述第一分辨率的第一格式图像进行通道增加处理，获得多通道特征图。

5.根据权利要求3或4所述的方法，其特征在于，所述基于所述上采样块和第二卷积块对所述处理后的多通道图像进行处理，获得所述第二分辨率的第一格式图像，包括：

基于所述上采样块对所述处理后的多通道图像进行上采样，获得所述上采样后的多通道图像；

基于所述第二卷积块对所述上采样后的多通道图像进行通道缩减处理，获得减少通道数的所述第二分辨率的第一格式图像。

6.一种图像增强装置，其特征在于，包括：

去噪超分处理单元，用于对第一分辨率的第一格式图像进行去噪和超分辨率处理，获得第二分辨率的第一格式图像；

去马赛克处理单元，用于对所述第二分辨率的第一格式图像进行去马赛克处理，获得第二分辨率的第二格式图像。

7.一种电子设备，其特征在于，包括处理器，所述处理器包括权利要求6所述的图像增强装置。

8.一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；

以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至5任意一项所述图像增强方法的操作。

9.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至5任意一项所述图像增强方法的操作。

10.一种计算机程序产品，包括计算机可读代码，其特征在于，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现权利要求1至5任意一项所述图像增强方法的指令。