CN115908184B - 一种摩尔纹图案的自动去除方法和装置 - Google Patents

Abstract

本发明涉及一种摩尔纹图案的自动去除方法和装置。该方法包括：获取含摩尔纹图案的图像，对其作傅里叶变换，得到频谱图；对频谱图进行高斯滤波处理，得到平滑后的频谱图；在平滑后的频谱图中查找峰值点，并进行峰值过滤；对峰值过滤后的频谱图作中值滤波，并恢复中心区域；对恢复中心区域后的频谱图作反傅里叶变换；对反傅里叶变换后的图像进行增强处理，得到去除摩尔纹图案后的图像。本发明提出的基于峰值滤波和图像增强的摩尔纹图案去除方法，能够在有效保留原始屏幕拍摄图像前景内容信息的前提下，快速有效地去除图像中的摩尔纹图案，较为理想地提高了图像修复后的视觉质量。

Description

一种摩尔纹图案的自动去除方法和装置

技术领域

本发明属于图像处理领域，涉及一种摩尔纹图案的自动去除方法和装置，尤其涉及一种基于峰值滤波和图像增强的摩尔纹图案的去除方法和装置。

背景技术

随着多媒体技术的发展和电子设备的普及，如今，数码相机和智能手机在人们的生活中扮演着越来越重要的角色，已经成为人们沟通交流的主要工具。但当使用这些设备拍摄电子屏幕时，便会出现水波纹形状的摩尔纹图案，严重影响了图像的视觉质量。为此，人们提出了摩尔纹去除技术，旨在减少摩尔纹对图像的影响，进一步提高图像的视觉质量。

虽然目前已经有很多摩尔纹去除方法，但仍存在一些问题。例如，基于手工方式的摩尔纹去除方法主要通过利用摩尔纹图案的特定先验知识作插值处理来保留图像的细节区域；或试图将摩尔纹与背景图像分离，而后利用特定信号去除手段去除摩尔纹，但此类方法大多都过于复杂，难以应用于实际场景。基于卷积神经网络的摩尔纹去除方法大多通过学习并提取“含摩尔纹图像”和“不含摩尔纹图像”的特征来达到目的，虽取得了一定效果，但一定程度上忽略了摩尔纹分量在不同尺度或频率间的关联性。并且，此类方法需要大量“优质”训练集，这也是较为困难的。

针对上述问题，在保持较低计算复杂度和低成本的同时，摩尔纹图案的自动去除面临着巨大的挑战。

发明内容

本发明的目的就是通过去除图像傅里叶变换后的若干峰值来完成对图像的摩尔纹去除。本发明通过观察“不含摩尔纹图像”和“含摩尔纹”图像在频域中的分布差异，试图建立频域摩尔纹去除模型，而后，利用大津法对所得图像作二值化和图像增强处理，进一步提高图像的视觉质量。基于此，本发明可以在保持低成本和有效保留图片中文字信息的前提下，有效地去除图像的摩尔纹。

为了实现上述目的，本发明采取如下的技术方案：

一种摩尔纹图案的自动去除方法，包括以下步骤：

获取含摩尔纹图案的图像，对其作傅里叶变换，得到频谱图；

对频谱图进行高斯滤波处理，得到平滑后的频谱图；

在平滑后的频谱图中查找峰值点，并进行峰值过滤；

对峰值过滤后的频谱图作中值滤波，并恢复中心区域；

对恢复中心区域后的频谱图作反傅里叶变换；

对反傅里叶变换后的图像进行增强处理，得到去除摩尔纹图案后的图像。

优选地，在所述傅里叶变换之后，将图像频域进行移位操作，即将变换后的频谱图的中心由矩阵的原点平移到矩阵的中心，使得低频区域集中在频谱图的中心；然后对移位后的频谱图进行所述高斯滤波处理。

优选地，所述在平滑后的频谱图中查找峰值点，并进行峰值过滤，包括：

在平滑后的频谱图中寻找最大峰值点，以其行列为参照，设置两个峰值点之间的最小距离δ，然后找到所涵盖范围内的其余峰值点；

针对所有峰值点进行滤波操作，即以找到的峰值点为中心，选择m×n大小的图像区域，并计算峰值点周围区域内所有像素值的平均值μ，利用平均值μ重新计算峰值点周围区域内每个新的像素值X_ij，i＝1,2,…,m,j＝1,2,…,n。

优选地，所述X_ij的计算方式如下：

其中x_i,j为峰值点周围区域内原始像素值。

优选地，所述恢复中心区域，包括：将高斯滤波后的图像频谱图的中心区域替换中值滤波后的中心区域，保留原始图像中的前景内容信息，进而恢复中心区域。

优选地，所述增强处理，包括：首先，利用大津法对滤波后的图像进行二值化处理；其次，对二值化图像作腐蚀处理；最后，对腐蚀后的图像作膨胀处理。

一种摩尔纹图案的自动去除装置，其包括：

峰值滤波模块，用于获取含摩尔纹图案的图像，对其作傅里叶变换，得到频谱图；对频谱图进行高斯滤波处理，得到平滑后的频谱图；在平滑后的频谱图中查找峰值点，并进行峰值过滤；对峰值过滤后的频谱图作中值滤波，并恢复中心区域；以及对恢复中心区域后的频谱图作反傅里叶变换；

图像增强模块，用于对峰值滤波模块处理后的图像进行增强处理，得到去除摩尔纹图案后的图像。

相对于现有技术，本发明通过观察“不含摩尔纹图像”和含“摩尔纹”图像在频域中的分布差异，明确了摩尔纹的分布规律，同时结合图像增强技术，进一步提高了视觉质量。对于相同的图像，本发明去除摩尔纹的效果以及计算复杂度明显优于现有技术。

附图说明

图1：本发明的实施例所述的一种摩尔纹图案的自动去除方法流程示意图。

图2：为屏幕拍摄图像的频谱图以及移位后的频谱图，其中(a)为原始的屏幕拍摄图像，(b)为(a)进行傅里叶变换后的频谱图，(c)为将(b)进行移位操作后的频谱图。

图3：为图像频谱图进行高斯滤波前后的频域系数分布对比示意图，其中(a)为高斯滤波前的频域分布，(b)为(a)进行高斯滤波后的频域分布图。

图4：为去峰值后的图像频谱对比图，其中(a)为原始图像频域图，(b)为去峰值后的频谱图。

图5：为屏幕拍摄图像去除摩尔纹图案后的效果示意图，(a)为原始屏幕拍摄图像，(b)为图像(a)进行峰值滤波后的效果，(c)为图像(b)进行二值化处理的效果，(d)为图像(c)进行膨胀处理的效果，(e)为图像(d)进行腐蚀处理的效果。

图6：本发明的实施例所述的一种摩尔纹图案的自动去除装置的模块组成示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明所示的摩尔纹图案自动去除方法主要包含两个部分，分别为图像频域的峰值滤波和图像空域的图像增强。所述的峰值滤波过程为：首先，在获取原始含摩尔纹图像后，对其作傅里叶变换；其次，进行高斯滤波，平滑图像，而后筛选峰值点并以其为中心，衰减包含自身在内的周围区域的若干点；第三，对衰减后的数据作中值滤波，平滑图像，并恢复中心区域，保留图像文字信息；第四，对其作反傅里叶变换，得到滤波后的图像。所述的图像增强过程为：首先，利用大津法对滤波后的图像进行二值化；其次，对二值化图像作腐蚀处理；最后，对腐蚀后的图像作膨胀处理。下面具体介绍其实现过程。

1.读取带有摩尔纹图案的屏幕拍摄图像，并进行二维傅里叶变换后得到频谱图，然后对频谱图系数作移位操作。

首先，对包含摩尔纹图案的屏幕拍摄图像进行二维傅里叶变换，将其变换到频谱图，过程如下：

其中，f(x,y)代表原始二维屏幕拍摄图像像素值，F(u,v)是与之对应的图像频域值，M和N分别代表该图像的高度和宽度。

通常情况下，图像中的噪声往往代表着图像灰度值的突变，存在于图像频谱图的高频区域，而对于图像中的其他大部分内容则主要集中在低频区域。摩尔纹图案可以视为屏幕拍摄图像中的噪声部分，同样存在图像频谱图的高频区域。需要说明的是，对原始的屏幕拍摄图像进行傅里叶变换后，图像频谱图系数的低频区域集中分布在四个角落。为了进一步便于后续操作，将图像频域进行移位操作，即将变换后的图像频谱图的中心由矩阵的原点平移到矩阵的中心，使得低频区域集中在图像频谱图的中心。图2展示了图像频域图和移位后的图像频谱图效果，其中(a)为原始屏幕拍摄图像测试样例1，(b)为(a)进行傅里叶变换后的频谱图，(c)为将(b)进行移位操作后的频谱图。值得注意的是，图2中所绘的图像频谱图中的频谱幅度都经历了对数变换，以此拉伸对比度，使得人眼更直观地观察频谱分布情况。由此看到，移位后的图像频域图更便于后续图像处理操作。

2.对移位后的图像频谱数据进行图像滤波处理，得到平滑后的频谱图像。

对移位后的图像频谱数据进行高斯滤波处理操作，使其更加平滑，处理后的频谱图像中的峰值点更突出，从而屏蔽了更多的干扰噪音。具体地，通过高斯滤波对整个图像频谱图的像素值作加权平均，主要是通过一个模板来扫描图像中的每个像素，而后用模板确定的邻域内像素的加权平均灰度值来代替模板中心像素点的值。其中，需要设置高斯滤波核的大小以及标准差，二者的值越大，则图像的像素值越趋于平滑，图像也就越模糊。在本实施例中，高斯滤波核的大小为7*7，标准差为1.5。图3为图像频域系数进行高斯滤波前后的频域分布对比示意图，其中(a)为高斯滤波前的频域分布，(b)为(a)进行高斯滤波后的频域分布图。由图3可以看到，高斯滤波运算明显去除了图像频谱图中的噪点，使得整个频谱图像变得光滑。

3.在平滑后的图像频谱图中查找峰值点，然后进行峰值过滤操作。

首先，在平滑后的图像频谱图中寻找最大峰值点，分别以其行坐标或者列坐标为查找范围，设置两个峰值点之间的最小距离δ，然后分别沿着行坐标方向或者列坐标方向，找到距离最大峰值点小于δ的其余峰值点。在实施例中，令δ＝50像素。

接着，针对所有峰值点进行滤波操作，即以找到的峰值点为中心，选择m×n大小的图像区域，并计算峰值点周围区域内所有图像频谱图像素值的平均值μ。

然后，重新计算峰值点周围区域内每个新的像素值X_ij(i＝1,2,...,m,j＝1,2,....,n)，X_ij的具体计算方式如下：

其中x_i,j为峰值点周围区域内原始像素值。在本实施例中，令m＝n＝64，包含峰值点在内的65×65区域内的像素值得到更新。

最后，依次将所有峰值点进行上述相同操作，从而完成过滤峰值点的目的。如图4所示，本方法有效去除了大多数无用峰值点，使得图像频谱图更加光滑。

4.对峰值滤波后的图像频谱图数据作中值滤波，使其更加平滑。在本实施例中，设置中值滤波器的尺寸为31×31，即以每个像素周围31×31邻域中的中位数值来替换原始像素值。

5.将高斯滤波后的图像频谱图的中心区域替换中值滤波后的中心区域，保留原始屏幕拍摄图像中的前景内容信息，进而恢复中心区域。其中，中心区域是指以最大峰值点为中心的周围邻域。一般地，当保留的图像频谱图中心区域越大，原始屏幕拍摄图像中的前景内容信息保留越完整。但相应地，摩尔纹图案区域被保留的可能性也越大。在本实施例中，以最大峰值点为中心，设置中心区域的大小为50×50像素，即恢复包含最大峰值点在内50×50的中心区域。

6.最后，将经过上述处理后的图像频谱图进行反傅里叶变换操作得到滤波处理后的屏幕拍摄图像，具体方式如下：

可选地，为了得到摩尔纹图案去除后的干净前景内容图像，还需要进行如下的图像增强处理操作：

1.图像二值化处理。

利用大津法对峰值滤波后的图像作二值化处理，具体过程如下：

首先，初始化最大类间方差为0，并初始化阈值为1；

其次，对比图像中每个像素值与该阈值的大小关系，以此将图像中的像素点分为大于阈值和小于阈值两类；

接着，计算划分出来的两个类别的类间方差，如果该类间方差大于设定的最大类间方差，则用新的类间方差更新最大类间方差；

然后，对阈值作加1操作，而后重复上述操作直至阈值为255，便可得到最大的类间方差以及最佳阈值；

最后，遍历每个像素，对于大于最佳阈值的，令其值为255；对于小于最佳阈值的，令其值为0，以此实现图像的二值化。具体而言，类间方差的计算方法如下：

其中，L代表该图像总的像素值，L₁和L₂分别代表基于当前阈值划分为第一类和第二类的像素数数目；S₁和S₂分别代表基于当前阈值划分为第一类和第二类的总像素灰度值大小。

2.二值图像的腐蚀和膨胀操作。

对二值化后的图像分别作腐蚀和膨胀操作，进一步提高图像的视觉质量。图像的膨胀和腐蚀是两种基本的形态学运算，主要用来寻找图像中的极大区域和极小区域，腐蚀是对图像中的高亮区域或白色部分进行缩减细化，使得结果图比原图的高亮区域更小，以此来处理图像中的毛刺和噪点，具体方法如下：

其中，A表示图像数据，B表示设定的腐蚀模板，z表示腐蚀模板B的中心值，B_z表示以z为中心的整个腐蚀模板B，通过将模板B与图像A作卷积操作，即可得到覆盖区域的像素最小值，而后再将区域的像素最小值代替原始像素值。与之相对地，膨胀则是对图像的高亮区域或白色部分进行扩张，使得结果图比原图的高亮区域更大，以此来填补图像中的缺陷，使得字体间的间距变小。其计算方式如下：

其中，A表示图像数据，B表示设定的膨胀模板，z表示膨胀模板B的中心值，B_z表示以z为中心的整个膨胀模板B，通过将模板与图像作“与”运算，即可得到覆盖区域的像素最大值，而后再将区域像素的最大值代替原始像素值。

在本实施例中，利用边长为4的立方体结构进行图像腐蚀和膨胀。值得注意的是，这里并不局限于使用该立方体结构来进行图像腐蚀和膨胀。

图5为屏幕拍摄图像去除摩尔纹图案后的效果示意图，其中(a)为原始屏幕拍摄图像，(b)为(a)进行峰值滤波后的效果，(c)为(b)进行二值化处理的效果，(d)为(c)进行膨胀处理的效果，(e)为(d)进行腐蚀处理的效果。由图5可以看出，本方法较好地去除了摩尔纹图案，并且通过二值化、腐蚀和膨胀处理显著提高了图像的质量。

综上，本发明提出的基于峰值滤波和图像增强的摩尔纹图案去除方法，能在有效保留原始屏幕拍摄图像前景内容信息的前提下，快速有效地去除图像中的摩尔纹图案，较为理想地提高了图像修复后的视觉质量。

本发明的方法不仅适用于通过屏幕拍摄方式得到的图像中摩尔纹图案的去除，也适用于采用其他方式获得的含摩尔纹图案的图像，采用本发明方法均能快速有效地去除图像中的摩尔纹图案。

本发明的另一实施例提供一种摩尔纹图案的自动去除装置，如图6所示，其包括：

峰值滤波模块，用于获取含摩尔纹图案的图像，对其作傅里叶变换，得到频谱图；对频谱图进行高斯滤波处理，得到平滑后的频谱图；在平滑后的频谱图中查找峰值点，并进行峰值过滤；对峰值过滤后的频谱图作中值滤波，并恢复中心区域；以及对恢复中心区域后的频谱图作反傅里叶变换；

图像增强模块，用于对峰值滤波模块处理后的图像进行增强处理，得到去除摩尔纹图案后的图像。

其中峰值滤波模块具体还可以包括傅里叶变换子模块、高斯滤波处理子模块、峰值过滤子模块、中值滤波子模块、中心区域恢复子模块、反傅里叶变换子模块等，图像增强模块具体还可以包括二值化处理子模块、腐蚀处理子模块、膨胀处理子模块等。各模块的具体实施过程参见前文对本发明方法的描述。

本发明的另一实施例提供一种计算机设备(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。

本发明的另一实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。

以上公开的本发明的具体实施例，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例所公开的内容，本发明的保护范围以权利要求书界定的范围为准。

Claims (7)

1.一种摩尔纹图案的自动去除方法，其特征在于，包括以下步骤：

获取含摩尔纹图案的图像，对其作傅里叶变换，得到频谱图；

对频谱图进行高斯滤波处理，得到平滑后的频谱图；

在平滑后的频谱图中查找峰值点，并进行峰值过滤；

对峰值过滤后的频谱图作中值滤波，并恢复中心区域；

对恢复中心区域后的频谱图作反傅里叶变换；

对反傅里叶变换后的图像进行增强处理，得到去除摩尔纹图案后的图像；

在所述傅里叶变换之后，将图像频域进行移位操作，即将变换后的频谱图的中心由矩阵的原点平移到矩阵的中心，使得低频区域集中在频谱图的中心；然后对移位后的频谱图进行所述高斯滤波处理；

所述在平滑后的频谱图中查找峰值点，并进行峰值过滤，包括：

在平滑后的图像频谱图中寻找最大峰值点，分别以其行坐标或者列坐标为查找范围，设置两个峰值点之间的最小距离δ，然后分别沿着行坐标方向或者列坐标方向，找到距离最大峰值点小于δ的其余峰值点；

针对所有峰值点进行滤波操作，即以找到的峰值点为中心，选择m×n大小的图像区域，并计算峰值点周围区域内所有像素值的平均值μ，利用平均值μ重新计算峰值点周围区域内每个新的像素值X_ij，i＝1,2,…,m,j＝1,2,…,n；

所述恢复中心区域，包括：将高斯滤波后的图像频谱图的中心区域替换中值滤波后的中心区域，保留原始图像中的前景内容信息，进而恢复中心区域。

2.根据权利要求1所述的方法，其特征在于，所述X_ij的计算方式如下：

其中x_i,j为峰值点周围区域内原始像素值。

3.根据权利要求1所述的方法，其特征在于，所述增强处理，包括：首先，利用大津法对滤波后的图像进行二值化处理；其次，对二值化图像作腐蚀处理；最后，对腐蚀后的图像作膨胀处理。

4.根据权利要求3所述的方法，其特征在于，利用大津法对峰值滤波后的图像作所述二值化处理；所述腐蚀处理是对图像中的高亮区域或白色部分进行缩减细化，使得结果图比原图的高亮区域更小，以处理图像中的毛刺和噪点；所述膨胀则处理是对图像的高亮区域或白色部分进行扩张，使得结果图比原图的高亮区域更大，以填补图像中的缺陷，使得字体间的间距变小。

5.一种摩尔纹图案的自动去除装置，其特征在于，包括：

峰值滤波模块，用于获取含摩尔纹图案的图像，对其作傅里叶变换，得到频谱图；对频谱图进行高斯滤波处理，得到平滑后的频谱图；在平滑后的频谱图中查找峰值点，并进行峰值过滤；对峰值过滤后的频谱图作中值滤波，并恢复中心区域；以及对恢复中心区域后的频谱图作反傅里叶变换；

图像增强模块，用于对峰值滤波模块处理后的图像进行增强处理，得到去除摩尔纹图案后的图像；

在所述傅里叶变换之后，将图像频域进行移位操作，即将变换后的频谱图的中心由矩阵的原点平移到矩阵的中心，使得低频区域集中在频谱图的中心；然后对移位后的频谱图进行所述高斯滤波处理；

所述在平滑后的频谱图中查找峰值点，并进行峰值过滤，包括：

在平滑后的图像频谱图中寻找最大峰值点，分别以其行坐标或者列坐标为查找范围，设置两个峰值点之间的最小距离δ，然后分别沿着行坐标方向或者列坐标方向，找到距离最大峰值点小于δ的其余峰值点；

针对所有峰值点进行滤波操作，即以找到的峰值点为中心，选择m×n大小的图像区域，并计算峰值点周围区域内所有像素值的平均值μ，利用平均值μ重新计算峰值点周围区域内每个新的像素值X_ij，i＝1,2,…,m,j＝1,2,…,n；

所述恢复中心区域，包括：将高斯滤波后的图像频谱图的中心区域替换中值滤波后的中心区域，保留原始图像中的前景内容信息，进而恢复中心区域。

6.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～4中任一项所述方法的指令。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～4中任一项所述的方法。