CN113066027B - 面向Raw域的屏摄图像摩尔纹去除方法 - Google Patents

Abstract

本发明公开了一种面向Raw域的屏摄图像摩尔纹去除方法，构建Raw域去摩尔纹网络RDNet，整体结构由数据分类网络，多尺度去摩尔纹网络和ISP网络组成；训练上述的Raw域去摩尔纹网络RDNet，分别生成Raw域去摩尔纹训练模型和ISP模型；将测试集中的Raw域摩尔纹屏摄图像输入Raw域去摩尔纹网络RDNet，首先通过分类模型获得图像类别标签，再通过多尺度去摩尔纹网络得到Raw域去摩尔纹图像；再将Raw域去摩尔纹图像输入到ISP网络中，最终得到对应的sRGB域去摩尔纹图像。与现有技术相比，本发明能够根据摩尔纹频率分布广泛的特点，去除不同尺度的摩尔纹；以及能够针对屏摄图像中的彩色图像和文本图像分别做出了有针对性的处理。

Description

面向Raw域的屏摄图像摩尔纹去除方法

技术领域

本发明属于图像复原技术领域，特别涉及一种基于Raw域的屏摄图像摩尔纹去除方法。

背景技术

摩尔纹是指两个不同频率的阵列混叠在一起时产生的不规则条纹。当用数码相机拍摄数字显示设备时，相机感光元件和显示设备之间产生混叠，便很容易出现严重影响拍摄图像质量的摩尔纹。由于其形状不规则、颜色多样、密度各异等特点，摩尔纹很难被去除。

现有的去除屏摄图像中摩尔纹的方法主要分为两类：

一类是传统方法，例如：在相机镜头前放置抗混叠滤波器，使用优化图像ISP(Image Signal Processing)过程中的插值算法，以及低秩稀疏矩阵分解等后处理方法；

另一类方法是使用卷积神经网络(CNN)来直接学习摩尔纹图像到对应的干净图像之间的映射。然而，这类方法需要大量的成对并严格对齐的带摩尔纹的图片和干净图片来训练网络。但在现有的研究中，基于此方法的卷积神经网络都是对sRGB域的摩尔纹图像进行处理。由于不同显示屏的显色问题以及sRGB域图像在ISP过程中的非线性处理，sRGB域的屏摄图像与直接截图或保存得到的干净图像之间存在较为严重的色差，导致网络在完成去摩尔纹任务的同时很难恢复出原有的颜色。

Raw域图像包含了图像最原始的信息，未经过ISP过程中的非线性处理；因此在Raw域屏摄图像上进行处理，能更好地实现摩尔纹的去除及颜色的恢复。

发明内容

为克服现有技术的不足，本发明旨在提供一种面向Raw域的屏摄图像摩尔纹去除方法，使用创建的严格对齐具有分类标签的Raw域摩尔纹数据集，分成分类网络、去摩尔纹网络和ISP网络三部分实现数据的分类、摩尔纹的去除与Raw到sRGB的转换，实现在去除摩尔纹的同时完成Raw到sRGB的转换及颜色恢复。

本发明为解决上述问题而采取的技术方案如下：

一种面向Raw域的屏摄图像摩尔纹去除方法，该方法包括以下步骤：

步骤1、构建Raw域去摩尔纹网络RDNet，该RDNet网络的整体结构由数据分类网络、多尺度去摩尔纹网络和ISP网络组成；

步骤2、将训练数据输入到预训练好的分类网络中，获得训练数据的分类标签，再将分类标签与训练数据共同输入Raw域去摩尔纹网络RDNet，在网络训练阶段分别设置多尺度去摩尔纹网络和ISP网络的学习率和各部分损失函数的权重；

步骤3、利用深度学习框架Pytorch训练Raw域去摩尔纹网络RDNet，首先训练ISP网络至收敛，生成ISP模型。后联合多尺度去摩尔纹网络与ISP网络模型共同训练，此阶段只更新多尺度去摩尔纹网络部分权重，ISP模型权重不变，直到损失收敛，生成Raw域去摩尔纹训练模型；

步骤4、将测试集中的Raw域摩尔纹屏摄图像输入Raw域去摩尔纹网络RDNet，通过分类模型获得图像类别标签，再通过多尺度去摩尔纹网络得到Raw域去摩尔纹图像；再将Raw域去摩尔纹图像输入到ISP网络中，得到sRGB域去摩尔纹图像。

与现有技术相比，本发明能够达成以下的有益技术效果：

1)根据摩尔纹频率分布广泛的特点，去除不同尺度的摩尔纹；

2)能够针对屏摄图像中的彩色图像和文本图像分别做出了有针对性的处理。

附图说明

图1为本发明的一种面向Raw域的屏摄图像摩尔纹去除方法整体流程图；

图2为本发明的Raw域去摩尔纹网络RDNet框架图；

图3为本发明的去摩尔纹结果：(3a)Raw域带摩尔纹图像，(3b)sRGB域带摩尔纹图像，(3c)经网络去摩尔纹并变换到sRGB域的图像，(3d)原始干净图像。

图4为各种摩尔纹去除方法结果比较示意图。(4a)sRGB域带摩尔纹图像，(4b)深度学习方法DMCNN去除摩尔纹之后的结果，(4c)深度学习方法MopNet去除摩尔纹之后的结果，(4d)深度学习方法AMNet去除摩尔纹之后的结果，(4e)改进后的深度学习方法FHDe2Net去除摩尔纹之后的结果，(4f)深度学习方法U-Net去除摩尔纹之后的结果，(4g)本发明方法去除摩尔纹之后的结果，(4h)原始干净图像。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述。

获得本发明所需的训练数据集即构建一个严格对齐且具有类别标签的Raw域摩尔纹屏摄图像数据集，该数据集由Raw域摩尔纹屏摄图像、Raw域干净图像、sRGB域摩尔纹屏摄图像、sRGB域干净图像组成的图像对构成，称之为Raw域摩尔纹屏摄图像数据集，数据集分为训练集和测试集。Raw域摩尔纹屏摄图像与sRGB域摩尔纹屏摄图像由多种不同型号的手机相机拍摄获得；sRGB域的干净图像由直接下载或截屏获得，Raw域的干净图像由对应的sRGB域干净图像经深度学习方法CycleISP中的sRGB到Raw网络生成获得，四者一一对应，组成多个图像对，图像对中同时包含了Raw域摩尔纹图像与Raw域干净图像、RGB域摩尔纹图像与sRGB域干净图像之间的映射关系；对得到的图像对首先采用SIFT和RANSAC算法进行粗对齐，此后采用DeepFlow算法进行严格对齐并切块处理。SIFT和RANSAC是一种粗略的图像配准算法，SIFT主要用于关键点检测和特征匹配，RANSAC算法用于检测消除误匹配点，并计算获取变换矩阵，进行图像变换，最终实现两张不对齐图像的粗略对齐。简单来说可以分为关键点检测、特征匹配、图像变换三步；Deepflow为一种精确的光流匹配算法，将匹配算法与变分方法相结合，在两张不对齐图像之间建立稠密对应集，来实现像素级别的对齐。算法原理较为复杂，但该算法集成于Opencv的函数库中，可直接进行使用。我们的步骤：首先采用SIFT和RANSAC图像配准算法对两张完全不对齐的图像进行粗对齐，此过程采用matlab代码实现；此后将粗对齐的图像采用Deepflow光流配准算法进一步精对齐，最终实现图像严格对齐，此过程采用封装好的Opencv函数实现。绝大部分图像用于神经网络的训练，剩余的小部分图像用于神经网络的测试。

如图1所示，为本发明的一种面向Raw域的屏摄图像摩尔纹去除方法整体流程图；利用上述得数据集作为训练数据，在卷积神经网络RDNet上进行训练，数据分类网络部分用于获取数据集的类别标签，多尺度去摩尔纹网络部分实现Raw域去摩尔纹，ISP网络部分实现了sRGB域转换及颜色恢复。基于深度学习的方法实现了针对Raw域屏摄图像中的摩尔纹去除，更为普适性且方便训练。该流程具体包括以下步骤：

步骤1、构建Raw域去摩尔纹网络RDNet，该RDNet网络的整体结构由数据分类网络、多尺度去摩尔纹网络和ISP网络组成；其中，数据分类网络用于获取数据集的类别标签，多尺度去摩尔纹网络用于去除Raw域摩尔纹屏摄图像上的摩尔纹，得到Raw域去摩尔纹图像；ISP网络用于实现对Raw域去摩尔纹图像的sRGB域转换及颜色恢复，最终得到sRGB域去摩尔纹图像。如图2所示，为本发明的Raw域去摩尔纹网络RDNet框架图；该框架的具体描述如下：

1)数据分类网络模型由现有的VGG16模型finetune(微调)获得，不进行重新训练，因此结构不单独进行描述。

2)多尺度去摩尔纹网络由多尺度特征融合编码器和具有disentangled策略的解码器构成，结构描述如下：

多尺度特征融合编码器部分共由三个不同尺度的编码器构成，每个编码器由卷积、池化层和熔合块结构(FB，Fusion Block)组成；具有disentangled策略的解码器部分由两个解码器构成，每个解码器由卷积、池化层和通道注意模块(CAB，Channel attentionblock)组成；每一个编码器部分的结构依序包括第一卷积层—第二卷积层—第一熔合块结构(FB)—第一最大池化层—第三卷积层—第四卷积层—第二熔合模块结构(FB)—第二最大池化层—第五卷积层—第六卷积层—三个不同尺度的编码器输出特征图在像素维度上逐点相加，其中，下一级编码器的中间特征输入至上一级熔合块结构之前均进行了上采样操作，卷积层后均接有LReLu激活函数；

每个解码器部分的结构依序包括第一上采样层—第一融合层—第一卷积层—第一通道注意模块CA—第二卷积层—第二上采样层—第二融合层—第三卷积层—第二通道注意模块CA—第四卷积层—第五卷积层，其中，第一融合层为在通道维度合并第一上采样层和编码器中的第二熔合模块的输出，第二融合层为在通道维度合并第二上采样层和编码器中的第一熔合模块的输出；

第五卷积层后不接激活函数，其余卷积层后均接有LReLu激活函数。

3)ISP网络由深度学习中经典的U-Net网络组成，结构描述如下：

ISP网络结构依序包括第一卷积—第二卷积层—第一最大池化层—第三卷积层—第四卷积层—第二最大池化层—第五卷积层—第六卷积层—第一上采样层—第一融合层—第七卷积层—第八卷积层—第二上采样层—第二融合层—第九卷积层—第十卷积层—第十一卷积层；其中，第一融合层为在通道维度合并第一上采样层和第四卷积层的输出，第二融合层为在通道维度合并第二上采样层和第二卷积层的输出；

第十一卷积层后不接激活函数，其余卷积层后均接有LReLu激活函数。

步骤2、将训练数据输入到Raw域去摩尔纹网络RDNet，在网络训练阶段分别设置多尺度去摩尔纹网络和ISP网络的学习率和各部分损失函数的权重，例如：去摩尔纹部分网络初始学习率设置为0.0002，每迭代十次，学习率降低一倍，迭代次数为25次；ISP部分网络学习率设置为0.0002，迭代次数为20次；

步骤3、利用深度学习框架Pytorch训练Raw域去摩尔纹网络RDNet，首先训练ISP网络至收敛，生成ISP模型。后联合多尺度去摩尔纹网络与ISP网络模型共同训练，此阶段只更新多尺度去摩尔纹网络部分权重，ISP模型权重不变，直到损失收敛，生成Raw域去摩尔纹训练模型；

步骤4、将测试集中的Raw域摩尔纹屏摄图像输入Raw域去摩尔纹网络RDNet，通过分类模型获得图像类别标签，再通过多尺度去摩尔纹网络得到Raw域去摩尔纹图像；再将Raw域去摩尔纹图像输入到ISP网络中，得到sRGB域去摩尔纹图像。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种面向Raw域的屏摄图像摩尔纹去除方法，其特征在于，该方法包括以下步骤：

步骤1、构建Raw域去摩尔纹网络RDNet，该RDNet网络的整体结构由数据分类网络、多尺度去摩尔纹网络和ISP网络组成；

步骤2、将训练数据输入到预训练好的分类网络中，获得训练数据的分类标签，再将分类标签与训练数据共同输入Raw域去摩尔纹网络RDNet，在网络训练阶段分别设置多尺度去摩尔纹网络和ISP网络的学习率和各部分损失函数的权重；

步骤3、利用深度学习框架Pytorch训练Raw域去摩尔纹网络RDNet，首先训练ISP网络至收敛，生成ISP模型；然后联合多尺度去摩尔纹网络与ISP网络模型共同训练，此阶段只更新多尺度去摩尔纹网络部分权重，ISP模型权重不变，直到损失收敛，生成Raw域去摩尔纹训练模型；

步骤4、将测试集中的Raw域摩尔纹屏摄图像输入Raw域去摩尔纹网络RDNet，通过分类模型获得图像类别标签，再通过多尺度去摩尔纹网络得到Raw域去摩尔纹图像；再将Raw域去摩尔纹图像输入到ISP网络中，得到sRGB域去摩尔纹图像。

2.如权利要求1所述的一种面向Raw域的屏摄图像摩尔纹去除方法，其特征在于，所述多尺度去摩尔纹网络由多尺度特征融合编码器和具有disentangled策略的解码器构成，具体结构如下：

多尺度特征融合编码器部分共由三个不同尺度的编码器构成，每个编码器由卷积、池化层和熔合块结构组成；具有disentangled策略的解码器部分由两个解码器构成，每个解码器由卷积、池化层和通道注意模块组成；每一个编码器部分的结构依序包括第一卷积层—第二卷积层—第一熔合块结构—第一最大池化层—第三卷积层—第四卷积层—第二熔合模块结构—第二最大池化层—第五卷积层—第六卷积层—三个不同尺度的编码器输出特征图在像素维度上逐点相加，其中，下一级编码器的中间特征输入至上一级熔合块结构之前均进行了上采样操作，卷积层后均接有LReLu激活函数；

每个解码器部分的结构依序包括第一上采样层—第一融合层—第一卷积层—第一通道注意模块CA—第二卷积层—第二上采样层—第二融合层—第三卷积层—第二通道注意模块CA—第四卷积层—第五卷积层，其中，第一融合层为在通道维度合并第一上采样层和编码器中的第二熔合模块的输出，第二融合层为在通道维度合并第二上采样层和编码器中的第一熔合模块的输出；

第五卷积层后不接激活函数，其余卷积层后均接有LReLu激活函数。

3.如权利要求1所述的一种面向Raw域的屏摄图像摩尔纹去除方法，其特征在于，所述ISP网络由深度学习中经典的U-Net网络组成，具体结构如下：

ISP网络结构依序包括第一卷积—第二卷积层—第一最大池化层—第三卷积层—第四卷积层—第二最大池化层—第五卷积层—第六卷积层—第一上采样层—第一融合层—第七卷积层—第八卷积层—第二上采样层—第二融合层—第九卷积层—第十卷积层—第十一卷积层；其中，第一融合层为在通道维度合并第一上采样层和第四卷积层的输出，第二融合层为在通道维度合并第二上采样层和第二卷积层的输出；

第十一卷积层后不接激活函数，其余卷积层后均接有LReLu激活函数。

Images