CN112116544A - 一种抵抗图像平滑滤波的预处理方法 - Google Patents

Abstract

本发明提供了一种抵抗图像平滑滤波的预处理方法，包括以下步骤：一种抵抗图像平滑滤波的预处理方法，包括以下步骤：1)记服务器端的原始图像为X，图像传送到客户端会经历图像平滑滤波，这个过程表示为：

2)设图像预处理的函数为g(·)，使得预处理后图像X^*＝g(X)与原始图像X尽可能一样，则：f(X^*)≈X求解可建模为以下优化问题：

将公式进一步转化为等式求根的形式，即求解根X^*使得：f(X^*)‑X＝0，3)使用零阶优化算法迭代求解公式(4)，其具体表达式为：X⁽ⁱ⁾←X^(i‑1)+(X‑f(X^(i‑1)))其中X⁽ⁱ⁾代表第i次迭代产生的图像。本发明提供的一种抵抗图像平滑滤波的预处理方法，无需假设平滑滤波函数具体形式可知，仅在平滑滤波函数可访问的情况下，即能生成可抵抗平滑滤波的图像。

Description

一种抵抗图像平滑滤波的预处理方法

技术领域

本发明涉及图像处理领域，具体是指一种抵抗图像平滑滤波的预处理方法。

背景技术

随着互联网发展，人们越来越习惯于在网络上分享图像。图像分享最常见的模型是服务器-客户端模型(Server-Client model)。提供并发送图片的一方可看作服务器端，而接收图像的一端是客户端。在这个过程中，分享的图像会受到各种滤波器处理，图像平滑滤波便是其中最为基础的图像滤波类型之一。比如定制的图像平滑滤波函数来去除噪声，或在传输通道受到图像平滑模糊退化滤波。图像平滑滤波在保留图像主要信息(如边缘)的情况下，模糊或去除掉一些图像细节，实现去除图像噪声等目的。但经过图像平滑滤波的图像在具体细节显示上模糊，会影响用户对图像视觉信息的感知。为了在客户端能得到与原始图像尽可能一致的图像，常见的策略是使用图像后处理算法对平滑滤波后的图像进行恢复，通过算法尽量还原丢掉的图像细节。这种图像后处理的算法可大致分为两类：基于模型的算法以及基于深度神经网络的算法。基于模型的方法，通常会根据图像的退化过程以及自然图像的先验知识，构建优化模型，通过解优化问题来寻求最佳的恢复图像。而基于深度神经网络的方法，例如方法[5]，则是属于数据驱动的判别式模型。它能够实现端到端的映射，即直接将退化的模糊图像映射到清晰图像。但是，神经网络高度依赖于大量且高质量的数据样本来学习网络参数，当数据不足或质量较差时会出现过拟合，导致泛化性能下降。以上两类图像后处理方法通常在客户端实现，算法的运行需要大量计算资源和时间开销。尽管有很多工作对算法优化加速，但对计算资源受限的客户端(如手机)依然存在不小的计算负担。此外，在客户端大规模地部署图像后处理算法也需要成本，这也阻碍了其现实应用。

另外一种解决策略是在图像发送给客户端前进行预处理，客户端在接收到图像后，不需要或者很少量进行处理。这种图像预处理的优势较为明显，即不需要在客户端部署后处理算法，从而能极大减少了客户端计算资源需求压力。但这种图像预处理策略研究实现难度较大，相关工作较少。

目前没有针对抵抗图像平滑滤波的预处理技术研究，但存在一些与本发明相关的抵抗图像滤波的预处理算法。其中最为相关的是抵抗图像/视频压缩噪声的预处理技术。这里图像/视频压缩算法视作图像滤波的一种。为了抵抗JPEG压缩算法引起的压缩噪声，OferHadar等人设计了一组低通滤波器，提出在图像压缩前使用这组滤波器对原始图像进行预处理，去除其高频信息。实验结果表明该预处理算法能缓解JPEG块状噪声(blockingartifacts)，预处理图像经JPEG压缩后的视觉感知质量明显优于原始图像经过JPEG压缩。但设计低通滤波器预处理是针对JPEG压缩算法，并不适用于图像平滑滤波领域。YehudaDar等人[7]综合考虑HEVC压缩产生的视频/图像噪声及在客户端显示时产生的运动模糊问题，提出使用交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)优化算法来对视频/图像进行预处理。需要指出的是，该方法需要明确知道造成运动模糊函数(可视作图像平滑滤波)的具体信息，否则优化算法不可解。2020年，Hossein Talebi等人[8]提出使用深度神经网络对原始图像进行预处理。通过对JPEG算法中的量化系数函数进行可微近似，Hossein Talebi等人将可微版的JPEG编解码器嵌入到神经网络训练流程中。但在网络构建和训练过程中，JPEG压缩算法的所有的算法实现细节都必须知道，否则无法在训练神经网络的时候将误差梯度回传，进而导致无法学习预处理神经网络。综上，目前相关的图像预处理方法多是针对图像压缩算法领域，并且要求完全知道图像滤波函数的具体信息，否则无法实现抵抗图像滤波算法的效果。

发明内容

以解决上述背景技术中提出的问题，本发明的目的在于提供一种抵抗图像平滑滤波的预处理方法，无需假设平滑滤波函数具体形式可知，仅在平滑滤波函数可访问的情况下，即能生成可抵抗平滑滤波的图像。

为解决上述技术问题，本发明提供的技术方案为：

一种抵抗图像平滑滤波的预处理方法，包括以下步骤：

1)记服务器端的原始图像为X，图像传送到客户端会经历图像平滑滤波，这个过程表示为：

其中，f(·)是图像平滑函数，

是经过图像平滑操作后的图像；

2)设图像预处理的函数为g(·)，使得预处理后图像X^*＝g(X)与原始图像X尽可能一样，则：

f(X^*)≈X (2)

求解可建模为以下优化问题：

其中，d(·,·)为衡量两幅图像相似度的指标函数；将公式(2)进一步转化为等式求根的形式，即求解根X^*使得：

f(X^*)-X＝0 (4)；

3)使用零阶优化算法迭代求解公式(4)，其具体表达式为：

X⁽ⁱ⁾←X^(i-1)+(X-f(X^(i-1))) (5)

其中X⁽ⁱ⁾代表第i次迭代产生的图像，i＝0,1,2,…,M；M为最大迭代次数；第0次迭代图像X⁽⁰⁾为初始化原始图像；

4)预先设定阈值，比较相邻两次迭代中间图像的PSNR提升效果，若PSNR值提升效果小于预先设定阈值则迭代结束，结束条件具体表达为：

PSNR(X⁽ⁱ⁾,X)-PSNR(X^(i-1),X)<τ (6)

其中，PSNR(X,Y)用于计算图像X与Y之间的相似度，具体表达式为：

其中Max为图像像素值的最大动态范围值，MSE(X,Y)为计算图像X与Y之间的均值平方差，表达式为

W和H分别为图像的宽度和高度，

代表弗罗贝尼乌斯-范数。

作为改进，所述图像平滑函数可访问，其函数形式是不可知的。

作为改进，其特征在于，所述d(·,·)指标函数使用反映图像质量的客观标准峰值信噪。

本发明的有益效果是：

本发明仅在图像平滑滤波函数可访问但具体形式未知的情况下，实现能够抵抗图像平滑滤波的图像预处理，使用零阶优化算法对原始图像进行迭代处理，实现抵抗图像平滑滤波的图像预处理。

附图说明

图1为本发明实施的流程图。

具体实施方式

图像平滑滤波可以实现图像去噪等功能，但滤波也不可避免地抹掉了很多图像细节，影响用户对图像的视觉感知质量。为恢复还原图像细节，大多方法采用图像后处理策略，但后处理策略通常需要大量计算和时间开销，在计算资源受限的设备上不实用；而现存少数图像预处理方案，都需要假设图像平滑滤波函数具体操作形式可知。

本发明提供一种可以抵抗图像平滑滤波的预处理方法，无需假设平滑滤波函数具体形式可知，仅在平滑滤波函数可访问的情况下，即能生成可抵抗平滑滤波的图像。所述预处理方法为：

1)记服务器端的原始图像为X，图像传送到客户端会经历图像平滑滤波，这个过程表示为：

其中，f(·)是图像平滑函数，

是经过图像平滑操作后的图像，图像平滑函数是可访问，但其函数形式是不可知的。即图像平滑函数可作为一个黑箱函数，用户只知道输入和输出，不知道f(·)的具体实现，图像平滑滤波可以实现去除噪声。

2)平滑滤波也不可避免地抹掉了很多图像细节，在具体细节显示上比较模糊，进而用户对图像的视觉感知质量。为了在客户端能得到与原始图像尽可能一致的图像；因此需要对原始图像进行预处理操作，将原始图像经过预处理后传送至客户端，客户端只需要按照传统方式进行解码显示，不需要进行额外的图像后处理恢复等操作，即：

设图像预处理的函数为g(·)，使得预处理后图像X^*＝g(X)与原始图像X尽可能一样，则：

f(X^*)≈X (2)

求解可建模为以下优化问题：

其中，d(·,·)为衡量两幅图像相似度的指标函数；可使用反映图像质量的客观标准峰值信噪比，因为(3)中的图像平滑滤波函数f(·)具体形式是不可知，无法使用常见解析解优化算法求解。因此，将公式(2)进一步转化为等式求根的形式，即求解根X*使得：

f(X^*)-X＝0 (4)；

3)使用零阶优化算法迭代求解公式(4)，其具体表达式为：

X⁽ⁱ⁾←X^(i-1)+(X-f(X^(i-1))) (5)

其中X⁽ⁱ⁾代表第i次迭代产生的图像，i＝0,1,2,…,M；M为最大迭代次数；第0次迭代图像X⁽⁰⁾为初始化原始图像，图像预处理函数g(·)不是一个具体数学表达式，而是通过公式(5)中的迭代步骤完成g(·)的功能；

4)预先设定阈值，比较相邻两次迭代中间图像的PSNR提升效果，若PSNR值提升效果小于预先设定阈值则迭代结束，结束条件具体表达为：

PSNR(X⁽ⁱ⁾,X)-PSNR(X^(i-1),X)<τ (6)

其中，PSNR(X,Y)用于计算图像X与Y之间的相似度，具体表达式为：

其中Max为图像像素值的最大动态范围值，如对于8比特位表示的图像，Max为255，MSE(X,Y)为计算图像X与Y之间的均值平方差，表达式为

W和H分别为图像的宽度和高度，

代表弗罗贝尼乌斯-范数。

综上，本发明是一种无需知道图像平滑滤波函数具体形式，即可实现抵抗其平滑滤波影响的图像预处理方法，具体步骤如下：

(1)预处理图像生成；

(2)输入：原始图像X，图像平滑滤波函数f(·)，最大迭代次数M，相邻两次迭代中PSNR提升阈值τ；

(3)输出：预处理图像X^*。

具体算法为：

初始化迭代图像为原始图像：X⁽⁰⁾←X

FOR迭代次数i＝1to M DO

X⁽ⁱ⁾←X^(i-1)+(X-f(X^(i-1)))

IF PSNR(X⁽ⁱ⁾,X)-PSNR(X^(i-1),X)<τ

BREAK

END FOR

X^*←X⁽ⁱ⁾

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种抵抗图像平滑滤波的预处理方法，其特征在于，包括以下步骤：

1)记服务器端的原始图像为X，图像传送到客户端会经历图像平滑滤波，这个过程表示为：

其中，f(·)是图像平滑函数，

是经过图像平滑操作后的图像；

2)设图像预处理的函数为g(·)，使得预处理后图像X^*＝g(X)与原始图像X尽可能一样，则：

f(X^*)≈X (2)

求解可建模为以下优化问题：

其中，d(·,·)为衡量两幅图像相似度的指标函数；将公式(2)进一步转化为等式求根的形式，即求解根X^*使得：

f(X^*)-X＝0 (4)；

3)使用零阶优化算法迭代求解公式(4)，其具体表达式为：

X⁽ⁱ⁾←X^(i-1)+(X-f(X^(i-1))) (5)

其中X⁽ⁱ⁾代表第i次迭代产生的图像，i＝0,1,2,…,M；M为最大迭代次数；第0次迭代图像X⁽⁰⁾为初始化原始图像；

4)预先设定阈值，比较相邻两次迭代中间图像的PSNR提升效果，若PSNR值提升效果小于预先设定阈值则迭代结束，结束条件具体表达为：

PSNR(X⁽ⁱ⁾,X)-PSNR(X^(i-1),X)<τ (6)

其中，PSNR(X,Y)用于计算图像X与Y之间的相似度，具体表达式为：

其中Max为图像像素值的最大动态范围值，MSE(X,Y)为计算图像X与Y之间的均值平方差，表达式为

W和H分别为图像的宽度和高度，

代表弗罗贝尼乌斯-范数。

2.根据权利要求1所述的一种抵抗图像平滑滤波的预处理方法，其特征在于，所述图像平滑函数可访问，其函数形式是不可知的。

3.根据权利要求1所述的一种抵抗图像平滑滤波的预处理方法，其特征在于，所述d(·,·)指标函数使用反映图像质量的客观标准峰值信噪。

Images