CN112184591A - 一种基于深度学习图像摩尔纹消除的图像复原方法 - Google Patents

Abstract

本发明涉及一种基于深度学习图像摩尔纹消除的图像复原方法，首先采集图像数据集并预处理；其次利用前景感知网络对训练后的图像数据集进行前景学习，再通过检测网络从学习后的图像数据集中获得目标边缘特征图，接着利用多分辨率分支的多尺度卷积模块网络执行摩尔纹消除操作和色调修正操作，通过对不同分支网络的输出特征图融合获得多尺度融合特征图；最后利用合成网络生成消除摩尔纹后的图像；本发明对多数类型的摩尔纹消除均有良好的图像还原效果，具有很强的泛化能力与鲁棒性能，还能较好的保存原图片的细节信息。

Description

一种基于深度学习图像摩尔纹消除的图像复原方法

技术领域

本发明属于图像去噪复原技术领域，特别是涉及一种基于深度学习图像摩尔纹消除的图像复原方法。

背景技术

对电视、电脑、公共场合的LED屏幕拍照时常常会在照片上出现波纹图案，降低了照片的图像质量。这是因为相机滤色镜阵列会干扰屏幕的亚像素布局，显示屏和摄像头感光芯片都是由一个个小元件组成的阵列，显示屏由红绿蓝三色构成的显示单元整齐排列构成，形成具有周期性的结构。摄像头的感光芯片由一个个感光单元排列组成，也具有周期性结构，传感器接收到的像素排列与显示器上的像素排列错位从而显示出摩尔纹。摩尔纹图案相比原图像在频率、形状和颜色等方面都产生了变化。

不仅仅是在拍摄屏幕时看到摩尔纹，在拍摄密集条纹形状的衣服、玻璃窗户、大楼、电梯时，相机成像元件和被拍摄物体的纹路图像也会产生摩尔纹。

摩尔纹的产生是由于图像叠加产生的图像噪音，当两个重复图案(线条、圆圈或者点)以不对齐的方式叠加，由于像素排列的错位，产生类似波的干涉现象，从而形成不同形态的摩尔纹。摩尔纹放大了错位，两种重复图案间轻微的错位都可能会产生大规模且显著的摩尔纹，随着未对准程度的增加，摩尔纹的频率也可能增加。要消除摩尔纹，需要满足屏幕点或条纹的间距小于相机像素尺寸，但这通常不可能。

一般图像噪声通常是低频信息，而图像的细节信息大多隐含在高频信息里，所以易分离。但摩尔纹较特殊，它广泛地存在于高频与低频信息中，所以不能通过简单的信号处理过滤掉，除此之外摩尔纹还会导致原图像色彩扭曲，摩尔纹是一种混叠干扰噪声，它的结构与场景信息、相机采样频率等相关，不同场景下摩尔纹形状不同，没有明显的分布规律，这些特点都加剧了摩尔纹的消除难度。

现有的对摩尔纹消除领域的研究中，去除摩尔纹的方法主要分成两大类。一类是使用传统方法，利用摩尔纹的空间和频率特性，在YUV和RGB上联合处理，进而去除摩尔纹。但是这类传统方法一般只能去除频率较高的摩尔纹，而且易导致图像细节模糊。另一类方法是使用卷积神经网络学习带摩尔纹的图像到对应干净原图之间的映射。这类方法需要大量成对的带摩尔纹图像与无污染原图来训练网络，而且训练得到的网络对于拍摄过程中亮度与对比度的畸变不具有很好的鲁棒性。因此，现有技术需要进一步改进和完善。

发明内容

为解决上述现有技术中因摩尔纹出现的图像不清晰、不具备良好的鲁棒性的技术问题，本发明设计了一种基于深度学习图像摩尔纹消除的图像复原方法，具有很强的泛化能力与鲁棒性能，实现了良好的摩尔纹消除效果，具体技术方案如下：

一种基于深度学习图像摩尔纹消除的图像复原方法，包括如下步骤：

S1、采集图像数据集，对图像数据集进行预处理；

S2、利用前景感知网络对预处理后的图像数据集进行物体的前景学习过程，获得学习后的数据；

S3、通过检测网络中的边缘提取层从学习后的数据中提取每个颜色通道的边缘图，以获得目标边缘特征图；

S4、利用多分辨率分支的多尺度卷积模块网络对目标边缘特征图依次执行摩尔纹消除操作和色调迁移操作，以消除不同频段的摩尔纹，通过对不同分支网络的输出特征图进行融合获得最终的多尺度融合特征图；

S5、利用合成网络将图像数据集、目标边缘特征图、多尺度融合特征图进行合并，生成消除摩尔纹后的图像。

优选的，所述步骤S1中，所述采集图像数据集的方法为利用4台不同品牌的智能手机随机对3台不同品牌的显示器所展示的多组不同的照片进行相互交叉拍摄，并在拍摄过程中随机改变手机与电脑屏幕之间的距离、角度以及环境光线，共计拍摄获得含有15000张图片的图像数据集；所述对图像数据集进行预处理的过程为对图像数据集进行扩充、清洗、裁剪及标注的过程。

优选的，所述扩充的具体实施过程为对图像数据集内的图片利用水平翻转或随机角度旋转的方式进行图片数量的扩充；所述清洗的具体实施过程为对图像数据集内的每张图片进行数据分块读取操作，并使读取得到的数据能够解析出每张图片的尺寸后停止清洗的过程；所述裁剪的具体实施过程为采用随机裁剪方式将图像数据集内的照片处理成256*256像素的大小；所述标注的具体实施过程为对图像数据集内的每张图片上的摩尔纹属性进行标注，并获得对应属性特征图的过程。

优选的，所述步骤S2中，所述前景感知网络由特征金字塔子网络、前景关系模块、轻量级解码器以及前景优化模块构建得到。

优选的，所述步骤S4中，所述摩尔纹消除模块可学习摩尔纹的频率分布信息；所述摩尔纹的消除借助于带通滤波器实现；所述色调迁移包括全局色调修正和局部色调修正两个步骤，所述全局色调修正用于校正图像全局色彩的偏移量，所述局部色调修正用于对像素进行局部微调。

优选的，所述步骤S5中，所述生成消除摩尔纹后的图像的具体实施过程为利用合成网络中的合并层将图像数据集、目标边缘特征图、多尺度融合特征图进行合并，将合并处理后的图像输出至合成网络中的优化处理网络得到摩尔消除后的图像特征图，最后经过合成网络中的合并层再一次合并图像后利用转换层转换为可显示的消除摩尔纹后的图像。

优选的，所述步骤S4中，所述多分辨率分支的多尺度卷积模块网络具备不低于4个的分支网络。

本发明的有益效果：

1、本发明的图像复原方法与传统技术相比，实践条件更宽松且性能更优越，摩尔纹是一种混叠干扰噪声，它的结构与场景信息、相机采样频率等相关，不同场景下摩尔纹形状不同，没有明显的分布规律，这些特点都加剧了摩尔纹的消除难度。过去的研究方法一般只能去除频率较高的摩尔纹，而且易导致图像细节模糊，或者是在训练过程中需要大量严格对应的带摩尔纹图像与无污染原图的成对数据集，而数据集资源的获取很稀缺，所以方法也具有很大局限性。本发明中使用4台手机以及3台显示器，显示器中展示多组不同图片，图像采集时，随机改变手机和电脑屏幕间的距离、角度以及环境的光线。数据集易获取，且不需要成对数据集，还保证了数据集样本的多样性。

2、本发明所提供的图像复原方法可针对一张图片中不同频率范围的摩尔纹分布不一致的情况，不同尺度的特征图聚焦于不同频率段的摩尔纹，实现对图像中分布广、对图像质量不良影响程度高的摩尔纹给予更大关注度，并对合并后的特征图做进一步的压缩激活处理，确保得到权值重新正确分布的特征图模型，动态地对权值高的范围加强训练强度，从而更好地消除图像中的摩尔纹噪音。

3、本发明的图像复原方法主要针对摩尔纹的颜色属性以及频率属性进行学习，这是基于对摩尔纹特性分析后得出最重要的两个属性，通过提取输入图像中摩尔纹的颜色、频率两个属性，得到输入图像的对应属性特征图，通过网络对属性特征图的学习可以增强合成网络对不同摩尔纹消除的泛化能力。

附图说明

图1为本发明的图像复原方法的执行流程图；

图2为本发明多分辨率分支的多尺度卷积模块网络运行流程图；

图3为本发明合成网络的运行流程图；

图4a为摩尔纹未消除前的图像示例；

图4b为摩尔纹消除后的图像示例。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明的保护范围。

以下首先就本发明的技术术语进行解释与说明：

感受野：感受野表示输入空间中一个特定CNN特征的范围区域。一个特征的感受野可以采用区域的中心位置和特征大小进行描述。CNN中每层的Feature Map上的像素点在原始图像中映射的区域大小，相当于高层的特征图中的像素点受原图多大区域的影响。

上采样：上采样又称为放大图像或图像插值，主要目的是放大原图像，从而可以显示在更高分辨率的显示设备上。图像放大几乎都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。

下采样：即缩小图像，主要目的有两个：使得图像符合显示区域的大小以及生成对应图像的缩略图。

数据增强：图像增强的方式有很多，如裁剪、翻转、旋转、缩放、扭曲等几何变换，还有像素扰动、添加噪声、光照调节、对比度调节、样本加和或插值、分割补丁等。数据增强可以提高模型性能，原因在于：增强的样本和原来的样本存在强相关性，数据增强扩充了数据集，并且可以带来某种正则化作用，因为模型会更集中地观测数据总的普遍模式，而消除了某些和普遍模式无关的数据，进而可以减小模型的结构风险。

超分辨率技术：通过合成图像中的子像素信息来提高图像分辨率。

高斯滤波：一种线性平滑滤波，适用于消除高斯噪声，对整幅图像进行加权平均，每一个像素点的值，都由本身和邻域内的其他像素值经过加权平均后得到。

实施例1：一种基于深度学习图像摩尔纹消除的图像复原方法。

如图1至图3所示，一种基于深度学习图像摩尔纹消除的图像复原方法，具体包括如下步骤：

一种基于深度学习图像摩尔纹消除的图像复原方法，包括如下步骤：

S1、采集图像数据集，对图像数据集进行预处理；

步骤S1中，采集图像数据集的方法为利用4台不同品牌的智能手机随机对3台不同品牌的显示器所展示的多组不同的照片进行相互交叉拍摄，并在拍摄过程中随机改变手机与电脑屏幕之间的距离、角度以及环境光线，共计拍摄获得含有15000张图片的图像数据集；所述对图像数据集进行预处理的过程为对图像数据集进行扩充、清洗、裁剪及标注的过程；扩充的具体实施过程为对图像数据集内的图片利用水平翻转或随机角度旋转的方式进行图片数量的扩充；清洗的具体实施过程为对图像数据集内的每张图片进行数据分块读取操作，并使读取得到的数据能够解析出每张图片的尺寸后停止清洗的过程；所述裁剪的具体实施过程为采用随机裁剪方式将图像数据集内的照片处理成256*256像素的大小；所述标注的具体实施过程为对图像数据集内的每张图片上的摩尔纹属性进行标注，并获得对应属性特征图的过程。

S2、利用前景感知网络对预处理后的图像数据集进行物体的前景学习过程，获得学习后的数据；

步骤S2中，前景感知网络由特征金字塔子网络、前景关系模块、轻量级解码器以及前景优化模块构建得到。

当图像数据集输入到前景感知网络中后，首先会进行多次卷积处理的过程，目的是降低图片的分辨率，逐层提取更深层次的语义信息，下采样过程则大量使用步长为1、3*3大小的卷积核；特征金字塔子网络负责多尺度的对象分割；前景关系模块用于学习前景区分性信息，训练过程中学习到的潜在场景语义和前景关系用于改善前景特征的区分结果；轻量级解码器旨在恢复原图像语义特征的空间分辨率；前景优化模块减弱前景与背景间不平衡的程度，使得模型在训练过程中集中在前景区域。

S3、通过检测网络中的边缘提取层从学习后的数据中提取每个颜色通道的边缘图，考虑到不同颜色通道上摩尔纹强度的分布差异，通过提取每个颜色通道的边缘图，以对每个颜色通道的边缘图进行边缘检测处理，从而获得目标边缘特征图。

S4、利用多分辨率分支的多尺度卷积模块网络对目标边缘特征图依次执行摩尔纹消除操作和色调迁移操作，以消除不同频段的摩尔纹，通过对不同分支网络的输出特征图进行融合获得最终的多尺度融合特征图；而多分辨率分支的多尺度卷积模块网络需具备不低于4个的分支网络。

步骤S4中，摩尔纹消除模块可学习摩尔纹的频率分布信息；摩尔纹的消除也通常借助于带通滤波器来实现；色调迁移包括全局色调修正和局部色调修正两个步骤，全局色调修正用于校正图像全局色彩的偏移量，局部色调修正用于对像素进行局部微调。

使用多分辨率分支的多尺度卷积神经网络处理含有摩尔纹的图像数据集时，可细分为从粗尺度到细尺度的模型架构去除分布在不同频率段的摩尔纹，采用渐进式上采样策略平滑的提高分辨率，先对粗尺度结果进行上采样，并逐步恢复到原图像数据集的尺寸大小，将其与细尺度分支的输入连接，进一步进行残差学习。由于不同尺度上的频率会相互影响，可以使用可学习的带通滤波器学习摩尔纹图像的先验，而带通滤波器会为每个频率引入一个可学习的权重，从而对不同尺度分支网络的输出结果求和以获得最终输出。

逐点进行色调修正通常很困难，利用带有摩尔纹的图像和干净图像间存在颜色偏移的特性，对输入图像执行高斯滤波操作，可使得多分辨率分支的多尺度卷积神经网络能够更加注重于颜色的学习，而不会将学习重点错误地放在摩尔纹几何或内容属性上；色调修正过程细分为两个步骤，针对全局的色调修正以及针对局部的色调修正，全局色调修正是一个糅合了注意力机制的通道注意模块，对于一般的通道注意力模块，注意力会直接作用在输入图像上，而针对全局的色调修正，其注意力作用在局部特征上，一般的通道注意力模块旨在自适应通道特征的重校准，而全局色调修正的目标对象是全局的颜色偏移，旨在避免不规则、不均匀的局部颜色伪影。

不同分支网络输出的特征图关注的是不同频率段的摩尔纹，提取多个不同分支网络输出的特征图再进行融合，从而降低摩尔纹频谱的分布差异。不同尺度下的特征图聚焦于不同频率段的摩尔纹，一张图片中不同频率的摩尔纹分布不一致，对于图像中分布广、对图像质量不良影响程度高的摩尔纹给予更大的关注度，对合并后的特征图做进一步的压缩激活处理，得到权值重新正确分布的特征图，模型会动态地对权值高的范围加强训练强度，从而更好地消除图像中的摩尔纹噪音。

S5、利用合成网络将图像数据集、目标边缘特征图、多尺度融合特征图进行合并，生成消除摩尔纹后的图像。

步骤S5中，生成消除摩尔纹后的图像的具体实施过程为利用合成网络中的合并层将图像数据集、目标边缘特征图、多尺度融合特征图进行合并，将合并处理后的图像输出至合成网络中的优化处理网络得到摩尔纹消除后的图像，最后经过合成网络中的合并层再一次合并图像后利用转换层转换为可显示的消除摩尔纹后的图像。图像数据集中每个像素点均由三个颜色通道的像素值组成，每个颜色通道中边缘图的像素点由该颜色通道的梯度强度组成。通过提取输入图像中摩尔纹的颜色、频率两个属性，得到输入图像的对应属性特征图，通过网络对属性特征图的学习可以增强合成网络对不同摩尔纹消除的泛化能力。

本发明的工作过程和原理：本发明的图像复原方法用于对生活中随处可见不同尺度、不同频率、不同颜色的摩尔纹噪音进行消除。当利用相机或手机或其它拍摄设备对电视、电脑、公共场合LED屏幕等显示设备进行拍照时常常会在照片上出现波纹图案，降低了照片的图像质量，不仅仅在拍摄屏幕时看到摩尔纹，在拍摄密集条纹形状的衣服、玻璃窗户、大楼、电梯时，照片也可能产生摩尔纹。面对大量差异化的生活场景，需要一个具有强泛化能力以及强鲁棒性的摩尔纹消除网络。本发明中的模型主要针对摩尔纹的颜色属性以及频率属性进行学习，这是基于对摩尔纹特性分析后得出最重要的两个属性，这也是本发明训练得到的模型具有强泛化能力的理论依据。网络模型包括了前景感知网络，用于分割图像中物体的前景；检测网络，用于获得目标边缘特征图；基于多尺度分支网络的设计理念，为了针对不同频率段的摩尔纹进行学习；顺序执行每个分支网络上的摩尔纹消除模块以及色调迁移模块，色调迁移模块中涉及两类学习过程：全局色调修正以及局部色调修正；当前分支的输出特征与其他分支网络的输出特征相融合；多尺度融合特征图输入进合成网络，合成网络利用原始特征图、属性特征图以及多尺度融合特征图最终生成消除摩尔纹后的图像。本发明对各种类型、形状、背景材料的摩尔纹消除都达到很好的图像还原效果，本发明的神经网络模型具有很强的泛化能力与鲁棒性，不仅实现良好的摩尔纹消除效果，还能较好地保存原图片的细节信息，利用本发明的消除方法消除摩尔纹后的效果图参见附图4a-4b。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (7)

1.一种基于深度学习图像摩尔纹消除的图像复原方法，其特征在于，包括如下步骤：

S1、采集图像数据集，对图像数据集进行预处理；

S2、利用前景感知网络对预处理后的图像数据集进行物体的前景学习过程，获得学习后的数据；

S3、通过检测网络中的边缘提取层从学习后的数据中提取每个颜色通道的边缘图，以获得目标边缘特征图；

S4、利用多分辨率分支的多尺度卷积模块网络对目标边缘特征图依次执行摩尔纹消除操作和色调迁移操作，以消除不同频段的摩尔纹，通过对不同分支网络的输出特征图进行融合获得最终的多尺度融合特征图；

S5、利用合成网络将图像数据集、目标边缘特征图、多尺度融合特征图进行合并，生成消除摩尔纹后的图像。

2.根据权利要求1所述的一种基于深度学习图像摩尔纹消除的图像复原方法，其特征在于，所述步骤S1中，所述采集图像数据集的方法为利用4台不同品牌的智能手机随机对3台不同品牌的显示器所展示的多组不同的照片进行相互交叉拍摄，并在拍摄过程中随机改变手机与电脑屏幕之间的距离、角度以及环境光线，共计拍摄获得含有15000张图片的图像数据集；所述对图像数据集进行预处理的过程为对图像数据集进行扩充、清洗、裁剪及标注的过程。

3.根据权利要求2所述的一种基于深度学习图像摩尔纹消除的图像复原方法，其特征在于，所述扩充的具体实施过程为对图像数据集内的图片利用水平翻转或随机角度旋转的方式进行图片数量的扩充；所述清洗的具体实施过程为对图像数据集内的每张图片进行数据分块读取操作，并使读取得到的数据能够解析出每张图片的尺寸后停止清洗的过程；所述裁剪的具体实施过程为采用随机裁剪方式将图像数据集内的照片处理成256*256像素的大小；所述标注的具体实施过程为对图像数据集内的每张图片上的摩尔纹属性进行标注，并获得对应属性特征图的过程。

4.根据权利要求1所述的一种基于深度学习图像摩尔纹消除的图像复原方法，其特征在于，所述步骤S2中，所述前景感知网络由特征金字塔子网络、前景关系模块、轻量级解码器以及前景优化模块构建得到。

5.根据权利要求1所述的一种基于深度学习图像摩尔纹消除的图像复原方法，其特征在于，所述步骤S4中，所述摩尔纹消除模块可学习摩尔纹的频率分布信息；所述摩尔纹的消除借助于带通滤波器实现；所述色调迁移包括全局色调修正和局部色调修正两个步骤，所述全局色调修正用于校正图像全局色彩的偏移量，所述局部色调修正用于对像素进行局部微调。

6.根据权利要求1所述的一种基于深度学习图像摩尔纹消除的图像复原方法，其特征在于，所述步骤S5中，所述生成消除摩尔纹后的图像的具体实施过程为利用合成网络中的合并层将图像数据集、目标边缘特征图、多尺度融合特征图进行合并，将合并处理后的图像输出至合成网络中的优化处理网络得到摩尔消除后的图像特征图，最后经过合成网络中的合并层再一次合并图像后利用转换层转换为可显示的消除摩尔纹后的图像。

7.根据权利要求1所述的一种基于深度学习图像摩尔纹消除的图像复原方法，其特征在于，所述步骤S4中，所述多分辨率分支的多尺度卷积模块网络具备不低于4个的分支网络。

Images