CN111640077A

CN111640077A - 一种简单高效的模糊文本图片清晰化处理方法

Info

Publication number: CN111640077A
Application number: CN202010480039.3A
Authority: CN
Inventors: 扆亮海; 刘文平
Original assignee: Individual
Current assignee: Individual
Priority date: 2020-05-29
Filing date: 2020-05-29
Publication date: 2020-09-08

Abstract

本发明提供一种简单高效的模糊文本图片清晰化处理方法，通过分析文本图片特有的稀疏性先验知识，用A₀范数约束模糊文本图片清晰化的亮度及梯度，用A₂范数约束模糊核，针对文本图片的全局运动模糊，提出了基于稀疏性先验知识的模糊文本图片清晰化处理方法。在清晰化处理之前，先对模糊文本图片进行去噪，然后采用交替迭代的方法求解A₀先验知识稀疏化模型得到模糊核和中间清晰文本图片；再通过超拉普拉斯先验非盲去卷积算法恢复出清晰的文本图像，最后通过一种简单高效的双边残差滤波法除去余振伪影，本发明提出的方法与现有技术的其它方法相比，有更好的模糊文本图片复原效果，特别适合文本图片的信息化处理。

Description

一种简单高效的模糊文本图片清晰化处理方法

技术领域

本发明涉及一种模糊文本图片清晰化处理方法，特别涉及一种简单高效的模糊文本图片清晰化处理方法，属于模糊文本图片处理技术领域。

背景技术

随着可视化信息技术的高速发展，数码相机、智能手机等快速普及，数字图像成为人们获取信息的重要形式，其质量的好坏对人们获取其中的信息十分重要。文本图片是含有文字或字符的图像，文本图片作为一类特殊的图像，其应用场景十分广泛。但现实生活中，由于各种原因，人们得到的很多文本图片都是模糊的，很多情况下人们都需要从模糊的文本图片中恢复出清晰的文字或字符，提取其中的重要信息。比如人们偏向通过手机拍照记录一些文字信息，但在拍摄过程中，由于抖动等原因导致获取的文本图片产生不同程度的模糊，人们后期只能通过推断、记忆和想象猜测图像中的文字信息，这是十分苦恼的，也是十分不准确的，对后续工作将产生一系列不利影响；从计算机视觉上讲，对模糊文本图片进行复原，对于后续如字符识别等的处理也十分重要。因此，对模糊文本图片进行复原具有十分重要的意义和迫切的现实需求。

对模糊文本图片复原过程中需要知道导致文本图片模糊的原因，然后根据该原因建立对应的数学模型，从中提取相关信息，沿着文本图片模糊的逆过程恢复出尽可能清晰的文本图片，模糊文本图片复原的本质是一个求解反问题的过程。

求解这个反问题必须知道模糊退化的先验知识，即导致文本图片产生模糊的原因，由于求逆的过程会出现解的不确定性，要得到最理想的解，还需在求解过程中，对解的结果添加一定的约束条件，即清晰文本图片的先验知识。

导致图像退化的原因有很多，如拍摄物体与成像设备间的相对运动，大气的扰动效应所导致的图像的高斯模糊，拍照时镜头聚焦不准所导致的[图像的散焦模糊。由于模糊文本图片本身是静止的，导致其模糊的原因通常是成像系统抖动导致的全局运动模糊。

现有技术对大量的普通图片进行统计分析，发现其梯度分布近似服从重尾分布，该分布模型被作为模糊图像清晰化中清晰图片的一个先验条件。但文本图片作为一类特殊的图片，并不满足这个先验条件，现有技术中的模糊图像清晰化方法对模糊文本图片并不适用。因此，把文本图片与普通图片分离开来研究十分必要。

现有技术从提升成像系统稳定性角度出发，研发出了智能防抖相机，这是从预防模糊的角度出发，但对已经存在的模糊文本图片仍无法处理。也有很多现有技术从改进模糊图像清晰化处理方法的角度出发，但由于文本图片的特殊特征，这些方法对模糊文本图片清晰化处理的效果不好，也有现有技术专门做了模糊文本图像清晰化处理方法的研究，但只适用于背景单一的文本图片，并且效果十分有限，对于有复杂背景的文本图片效果更差。

现有技术的模糊图像清晰化技术起源于上世纪60年代初，按模糊图像的点扩散函数是否已知，模糊图像清晰化分为模糊图像的盲恢复和非盲的模糊图像清晰化。

现有技术常用的非盲模糊图像清晰化方法有维纳滤波、约束最小二乘方滤波等。维纳滤波是最早也最为熟知的线性模糊图像清晰化方法，这种方法对噪声十分敏感，由于噪声的影响，其恢复出的清晰图像中通常都有比较严重的振铃效应，这种方法仅适用于噪声及模糊核均已知的情况。现有技术还有基于非线性迭代的模糊图像清晰化方法，它是从最大似然公式中推导来的，其中图像用泊松分布模型化，对待求解的清晰图像进行约束，当迭代收敛时，模型的最大似然函数能够得到一个令人满意的方程。但这种方法在迭代过程中，会将模糊图像中原有的噪声放大，并且占用计算资源很大。

模糊图像的盲复原是将点扩散函数未知的模糊图像清晰化的方法，模糊图像的盲复原分为两类：一类是先估计模糊核，采用估计出的模糊核，再用现有的方法进行复原。另一类是模糊核与清晰图像的估计相结合，清晰图像和模糊核的先验知识作为约束条件，用迭代运算估计目标图像和模糊核，直到最终结果符合要求为止，但这种方法比较复杂，计算量大，恢复出的图像含有很多振铃效应，对于复杂轨迹的模糊核，效果更差。

文本图片作为一种特殊的图片，其复原和清晰化处理方法发展比较缓慢，出现了一些对背景单一的文本图片清晰化处理的方法，但效果不尽如人意，对于背景较为复杂的文本图片，现有技术没有相关研究，只是简单使用普通的图片复原算法对复杂背景的文本图片进行复原，效果很差，几乎没有实用价值。

综上，针对现有技术存在的一些缺陷，本发明拟解决以下问题：

一是现有技术主流的基于普通清晰图片梯度服从重尾分布而设计的图像清晰化处理方法，对于普通图片清晰化处理有着很好的效果，但是对于模糊的文本图片，效果却并不理想，现有技术不能运用到模糊文本图片的清晰化处理上来，由于清晰文字图片与模糊文本图片之间的差异很大，现有技术没有专门针对模糊文本图片清晰化处理的方法，文字文本的恢复能力很差，几乎没有实际采用价值，现有技术的方法局限性大。

二是现有技术针对图像中的高斯噪声以及脉冲噪声，没有采用专门适合模糊文本图像去噪的滤波算法除去模糊文本图像中的噪声，不能自适应根据脉冲噪声的数量来确定合适大小的矩形窗，不能够除去噪声的同时，保护文本图像边缘细节。不能自评估加权均值滤波，容易造成细节退化，对于模糊文本图像中的高斯噪声及脉冲噪声除去效果不好，容易丢失模糊文本图像的边缘信息。

三是现有技术没有掌握文本图片去运动模糊问题的核心问题，没有对文本图片进行分析，没有对其梯度分布及亮度分布进行统计，没有发现文本图片的梯度分布及亮度分布都满足先验知识稀疏性，对模糊文本图像的处理基本沿用普通图像清晰化处理的思路，没有专门针对模糊文本图像的思路和方法，没有结合模糊文本图像先验知识的针对性设计，不能有效估计模糊核以及复原清晰的文本图片。

四是针对模糊核已知的情况，不能达到高质量复原文本图片效果的同时，还保证算法的高效性。没有针对恢复出的文本图片含有伪影问题的解决方案，文本图片算法的算法复杂度高，不容易实现，图像复原效果质量不平稳，差异性很大，模糊文本图片清晰化处理控制能力和服务质量保障机制较差，图片清晰化处理效果的判定不精准，图片清晰化处理方法不具有鲁棒性和高效性。

发明内容

针对现有技术的不足，本发明提供一种简单高效的模糊文本图片清晰化处理方法，针对文本图片的全局运动模糊，提出了基于稀疏性先验知识的模糊文本图片清晰化处理方法。在清晰化处理之前，先对模糊文本图片进行去噪，然后采用交替迭代的方法求解A₀先验知识稀疏化模型得到模糊核和中间清晰文本图片；再通过超拉普拉斯先验非盲去卷积算法恢复出清晰的文本图像，最后通过一种简单高效的双边残差滤波法除去余振伪影，本发明提出的方法与现有技术的其它方法相比，有更好的模糊文本图片复原效果，特别适合文本图片的信息化处理，算法复杂度低，很容易实现且效果明显，模糊文本图片清晰化处理质量比较平稳，实现了专门针对文字图像的清晰复原方法，对文字符号的恢复能力大幅提高，达到了高效专业的文本图片清晰化处理效果。

为达到以上技术效果，本发明所采用的技术方案如下：

一种简单高效的模糊文本图片清晰化处理方法，采用A₀范数约束恢复文本图片的亮度和梯度，用A₂范数约束模糊核，基于文本图片特有先验知识建立稀疏化模型；

一是分析普通图像与文本图片的特征差异，提出文本图片特有的先验知识，即文本图片的亮度以及梯度满足稀疏化特性，并用A₀范数约束；

二是分析模糊核的特性，并用A₂范数约束，结合文本图片以及模糊核的先验知识列出基于A₀稀疏化先验知识的目标函数；

三是从文本图像去噪的角度，采用基于自适应中值滤波和自评估权重均值滤波的混合滤波方法；

四是采用交替迭代的方法求解A₀先验知识稀疏化模型得到模糊核和中间清晰文本图片；

五是采用超拉普拉斯先验非盲去卷积算法恢复出清晰的文本图片；

六是采用盲去卷积与非盲去卷积估计出来的两幅清晰图像的残差，采用双边残差滤波除去余振伪影，得到最终的清晰文本图片；

基于文本图片特有先验知识建立稀疏化模型中，采用清晰文本图片的亮度满足稀疏特征作为先验知识约束盲去卷积的解，给定一张图像b，定义C_t(b)为图像b中亮度值不为0的像素点的个数，有：

C_t(b)＝||b||₀ 式1

其中||·||₀表示向量中非零元素的个数；

采用A₀范数约束清晰文本图片的梯度方向：

总结清晰文本图片的亮度特征和梯度方向特征，得到清晰文本图片的先验知识如式3：

其中a是一个权重参数。

一种简单高效的模糊文本图片清晰化处理方法，进一步的，在模糊核未知情况下复原清晰的文本图片，需要准确的估计模糊核D,用模糊核的先验知识C(D)进行约束求解；

本发明采用高斯模型作为先验知识约束模糊核，通过临界值化处理，对模糊核进行以下的稀疏约束：

当e＝2时，表示是用高斯先验稀疏约束项约束模糊核；当e＝1时，表示是用拉普拉斯先验稀疏约束项约束模糊核；当0＜e＜1时，表示是用超拉普拉斯先验稀疏约束项约束模糊核；

本发明采用高斯先验稀疏约束，即

获得全局最优解。

一种简单高效的模糊文本图片清晰化处理方法，进一步的，目标函数的构造中，以最大后验估计为框架，构造正则化方法，将文本图片的先验信息C(b)与模糊核的先验信息C(D)结合，得到基于文本图片特有先验知识建立稀疏化模型：

即：

其中，b为清晰文本图片，j为模糊文本图片，D为模糊核，

是卷积操作符，k是模糊核先验的权重，i是清晰文本图片先验的权重。

一种简单高效的模糊文本图片清晰化处理方法，进一步的，本发明提出自适应中值滤波和自评估加权均值滤波相结合的自适应自评估混合滤波法去噪，先分辨模糊文本图片中脉冲噪声的噪声点并采用自适应中值滤波除去，然后再采用自适应中值滤波除去模糊文本图片中的高斯噪声。

一种简单高效的模糊文本图片清晰化处理方法，进一步的，本发明采用自适应中值滤波在不造成细节退化的前提下除去脉冲噪声，自适应中值滤波除去脉冲噪声的具体步骤以下：

第一步，以(i,j)为中心点，选用A*A的矩形窗E；

第二步，找出矩形窗E中所有像素点亮度的最大值与最小值，矩形窗中亮度值为最大最小值处的点即为脉冲噪声点，把它们标记为1，其它的点标记为0，即为非脉冲噪声点；

第三步，统计脉冲噪声点的个数，用q表达，矩形窗E中所有的像素点个数为s，本发明用n＝q/s度量模糊文本图片中噪声的多少，当n≤0.1时，矩形窗A＝3，当0.1≤n≤0.35时，矩形窗A＝5，当n≥0.35时，矩形窗A＝7；

第四步，对第二步中标记出的脉冲噪声点进行中值滤波，其余的非脉冲噪声点不变；

自适应中值滤波能够自动判定文本图片中的脉冲噪声点，并且只针对标记出的脉冲噪声点进行中值滤波，对其它非脉冲噪声点无影响，在滤除脉冲噪声的同时，保证非脉冲噪声点处的信息不丢失。

一种简单高效的模糊文本图片清晰化处理方法，进一步的，本发明在灰度图像中采用自评估加权均值滤波在不造成细节退化的情况下滤除高斯噪声，自评估加权均值滤波除去高斯噪声的具体步骤以下：

第1步，以(i,j)为中心点，选用A*A的矩形窗E；

第2步，在矩形窗E中，采用A*A的滤波窗口，将矩形窗内的所有的图像点均放入集合F中：

第3步，计算得到集合中各元素的加权系数c；

第4步，由第3步得到各加权系数的均值，并将大于该均值的加权系数保持不变，小于该均值的加权系数设置为0，再求解集合F中各像数值的加权平均值作为窗口中心点处的像素值；

通过自适应中值滤波除去脉冲噪声，再通过自评估加权均值滤波除去高斯噪声后，模糊文本图片中的噪声基本上已被滤除，再把除去噪声之后的模糊文本图片进行清晰化处理；

一种简单高效的模糊文本图片清晰化处理方法，进一步的，求解A₀先验知识稀疏化模型中，将式5分解成以下两个子项进行求解：

式10是在已知模糊核D，求解清晰文本图片b；

式11是在已知清晰文本图片b，求解模糊核D。

一种简单高效的模糊文本图片清晰化处理方法，进一步的，本发明采用超拉普拉斯先验非盲去卷积算法恢复出清晰文本图片，超拉普拉斯模型为：

其中，b为清晰文本图片，j为模糊文本图片，D为模糊核，

是卷积操作符，

为水平方向上的梯度，

是垂直方向上的梯度,式25中，当e＝2时，为高斯型,当e＝1时，为拉普拉斯型；当0＜e＜1时，为超拉普拉斯型，此处e∈[0.5，0.8]；

采用交替迭代法求解，引入辅助变量R＝(R_g，x，R_g，y)，把

从|·|^e中分离出来，式25改写为：

其中，r表示辅助变量R与真实值▽b之间的差异，算法迭代过程中，为达到逐渐优化的目的，r的值从小到大依次递增,采用交替迭代法优化求解式26；

第一，固定R，优化b：

当R固定时，式26包含卷积运算，用傅里叶变换转化为：

其中B(·)代表傅里叶变换，根据帕萨瓦尔定理得到：

其中B^-1(·)代表反傅里叶变换，

代表复数共轭，将式28求得的结果b作为已知量带入式26，再进一步优化R；

第二，固定b，优化R：

当b固定时，式26中与R无关项都可去掉，得到优化结果为：

R＝arg min|R|^e+r(R-v)² 式29

式29中，

e是描述图像梯度长尾分布的参数，设e＝0.5，表明图像的梯度服从超拉普拉斯分布，令R的倒数等于0，由于sign(R)＝sign(ν)，得到：

R³-2νR²+ν²R-sign(ν)/16r²＝0 式30

转化为求解一个一元三次方程的问题,本发明采用查表法求解式30的根，求解过程由粗到细，让r从1开始，依次增大r_k倍，直到r_max＝256时结束，其中r每变化一次，都作为新的常量带入式29进行重复迭代，恢复出的文本图像含有少量振铃效应。

一种简单高效的模糊文本图片清晰化处理方法，进一步的，本发明采用金字塔迭代求解的方式，方法整体流程为：

步骤一，输入带噪声的模糊文本图片j，模糊核大小初始值D，以及经验参数；

步骤二，采用基于自适应中值滤波和自评估权重均值滤波的混合滤波方法对文本图像去噪处理；

步骤三，求解A₀先验知识稀疏化模型，已知模糊文本图片j，求解模糊核D，中间清晰文本图片b₁，具体为：

For g＝1to A<A表示图像金字塔的层数>，

求解中间文本图片b，

求解模糊核D，

循环至A后算法结束；

步骤四，超拉普拉斯先验非盲去卷积，已知模糊文本图片j，模糊核D，求解中间清晰文本图片b₂，具体为：

根据步骤三得到的模糊核D，用基于超拉普拉斯先验的快速图像清晰化处理算法对模糊文本图片j清晰化处理；

步骤五，采用双边残差滤波除去余振伪影，得到最终的清晰文本图片b₄。

与现有技术相比，本发明的优点和创新点在于：

一是本发明提供的一种简单高效的模糊文本图片清晰化处理方法，针对现有技术主流的基于普通清晰图片梯度服从重尾分布而设计的图像清晰化处理方法，对于普通图片清晰化处理有着很好的效果，但是对于模糊的文本图片，效果却并不理想，现有技术不能运用到模糊文本图片的清晰化处理上来，本发明进一步分析了清晰文字图片与模糊文本图片之间的差异，提出了本发明专门针对模糊文本图片清晰化处理的方法，实现了专门针对文字图像的清晰复原方法，对文字文本的恢复能力大幅提高，达到了高效专业的文本图片清晰化处理效果。通过分别对背景单一的文本图片、背景复杂的文本图片及低照度图片进行实验，并与现有技术的其它图像清洗处理算法进行比较，通过客观评价为主、主观评价为辅的评价方法，检验本发明的有效性、先进性和实用性。

二是本发明提供的一种简单高效的模糊文本图片清晰化处理方法，针对图像中常见的高斯噪声以及脉冲噪声，采用自适应中值滤波与自评估加权均值滤波相结合的滤波算法除去模糊文本图像中的噪声。本发明的自适应中值滤波能够根据脉冲噪声的数量来确定合适大小的矩形窗，既能够除去噪声，又可以有效保护文本图像边缘细节。本发明的自评估加权均值滤波能很好的在不造成细节退化的情况下滤除高斯噪声。该混合滤波算法对于模糊文本图像中的高斯噪声以及脉冲噪声有很好的除去效果，并不会丢失模糊文本图像的边缘信息，非常适合文本图片的去噪，减少噪声对后续估计模糊核的干扰，也非常有利于文本图片清晰化处理的后续工作。

三是本发明提供的一种简单高效的模糊文本图片清晰化处理方法，针对文本图片去运动模糊问题，本发明通过对大量的文本图片进行分析，对其梯度分布及亮度分布进行统计，发现了文本图片的梯度分布及亮度分布都满足先验知识稀疏性。基于清晰文本图片的这个性质，本发明用A₀范数约束文本图片的梯度及亮度，提出了一种简单高效的基于A₀范数的文本图片去运动模糊方法。为快速求解这个A₀范数的最优化解，本发明引入了两个辅助变量，将原来的最优化问题转化成两个子优化项，然后用交替最小化的方法求解。实验结果表明，本发明的方法能有效地估计模糊核以及复原清晰的文本图片。

四是本发明提供的一种简单高效的模糊文本图片清晰化处理方法，针对模糊核已知的情况，本发明的超拉普拉斯先验的非盲去卷积方法，在达到高质量复原文本图片效果的同时，还保证了算法的高效性。最后，针对恢复出的文本图片含有伪影的问题，通过一种简单高效的除去余振伪影的算法，并结合盲去卷积恢复出清晰图像，消除振铃效应，得到最终的清晰文本图片。

五是本发明提供的一种简单高效的模糊文本图片清晰化处理方法，算法复杂度低，很容易实现且效果明显，模糊文本图片清晰化处理质量比较平稳，研发了面向模糊文本图片恢复的自评估自适应清晰化处理系统，具有良好的质量控制能力和服务质量保障机制，模糊文本图片恢复质量的判定更为精准，使得模糊文本图片清晰化处理方法更具鲁棒性和高效性。

附图说明

图1是本发明不同类别图像的梯度分布统计示意图。

图2是本发明文本图片的亮度直方图及水平方向梯度直方图对比示意图。

图3是本发明的模糊文本图片清晰化处理方法各阶段效果对比示意图。

具体实施方式

下面结合附图，对本发明提供的一种简单高效的模糊文本图片清晰化处理方法的技术方案进行进一步的描述，使本领域的技术人员可以更好的理解本发明并能予以实施。

本发明提供的一种简单高效的模糊文本图片清晰化处理方法，采用A₀范数约束恢复文本图片的亮度和梯度，用A₂范数约束模糊核，基于文本图片特有先验知识建立稀疏化模型；

六是采用盲去卷积与非盲去卷积估计出来的两幅清晰图像的残差，采用双边残差滤波除去余振伪影，得到最终的清晰文本图片。

一、基于文本图片特有先验知识建立稀疏化模型

在模糊文本图片清晰化处理过程中，由于最终结果的不确定性，需要一些清晰文本图片特定的先验知识约束待求的解。本发明分别从普通图片、文本图片和模糊核的先验知识，确定要求解的目标函数，建立基于文本图片特有先验知识的稀疏化模型。

(一)文本图片的特殊性

通过对大量的普通图片进行分析，统计其梯度分布，发现普通清晰图片的梯度分布都近似满足一个重尾分布曲线，重尾分布曲线可作为清晰化处理算法中的一个先验条件。

如图1所示，分别是清晰普通图片、模糊普通图片、清晰文本图片的梯度分布，其中曲线(a)是清晰普通图片的梯度分布，曲线(b)是模糊普通图片的梯度分布，曲线是(c)清晰文本图片的梯度分布。

由于清晰普通图片大部分区域比较平滑，所以清晰普通图片的梯度在零值附近的数量很大，图像的边缘信息在梯度分布图中表现为一个长长的拖尾，即重尾分布；由于模糊图像大部分区域平滑，所以模糊图像的梯度在零值附近的数量仍然很大，但由于模糊核的作用，图像的边缘信息一定程度丢失，并没有清晰图像明显，在梯度分布图中只形成了一个较短的拖尾，不满足重尾分布。因此，是否满足重尾分布是普通图片清晰化处理判断的重要特征。

但是，从图1的图(d)可以看到，清晰的文本图片的梯度与模糊普通图片的梯度接近，并不满足重尾分布，所以，现有技术的基于普通清晰图片梯度服从重尾分布而设计的图像清晰化处理方法，对于模糊文本图片的清晰化处理并不适用，现有技术不能运用到模糊文本图片的清晰化处理上来，本发明需要进一步分析清晰文字图与模糊文本图片之间的差异。

(二)文本图片的先验知识

为准确掌握清晰文本图片的特征，本发明分别对背景单一的清晰文本图片和背景单一的模糊文本图片的亮度直方图及水平方向梯度方向直方图进行分析，如图2所示，图(a)、图(d)分别为清晰文本图片和模糊文本图片，图(b)、图(e)分别为图(a)与图(d)的亮度直方图；图(c)、图(b)分别为图(a)与图(d)的梯度方向直方图。

对比图2中的图(b)和图(e)，背景单一的清晰文本图片的亮度值主要集中在0和255处，即背景单一的清晰文本图片的亮度分布具有双峰特征。背景单一的文本图片可看作二值图像，其背景对应于像素强度值为255处，文字部分对应于像素强度值为0处，这与图(b)所示的结果相吻合，而模糊图像的亮度直方图(e)，并不满足双峰特征，它没有亮度值为0的突出点。

如果只考虑亮度值为0的突出点，清晰文本图片的亮度稀疏，模糊文本图片没有亮度值为0的突出点，亮度分布更加稠密。本发明采用清晰文本图片的亮度满足稀疏特征作为先验知识约束盲去卷积的解，相比于A₁、A₂范数，A₀范数是衡量稀疏性的最好指标，给定一张图像b，定义C_t(b)为图像b中亮度值不为0的像素点的个数，则有：

C_t(b)＝||b||₀ 式1

其中||·||₀表示向量中非零元素的个数。

对比图2中的图(c)和图(f)，清晰文本图片的梯度方向直方图基本都集中在0值处，因为清晰文本图片的亮度值可近似认为是二值化的，只有在文字边缘才会发生梯度变化，所以其梯度方向直方图中只含极少的非零值。与清晰文本图片的梯度方向直方图相比，模糊文本图片中的非零值更密集。同理，本发明也采用A₀范数约束清晰文本图片的梯度方向：

其中a是一个权重参数。

尽管式3的先验知识是通过分析背景单一的文本图片的特征所推导的，但实验表明这个先验知识也可用于处理背景较复杂的文本图片。

(三)模糊核先验知识

在模糊核未知情况下，为复原出清晰的文本图片，需要准确的估计模糊核D,需要用模糊核的一些先验知识C(D)进行约束求解。关于模糊核的先验知识主要有以下几种：

(1)稀疏性约束，模糊核中各像素点的亮度的大小反映成像设备或被摄物体在成像过程中停留的时间，即亮度值大的点成像设备或被摄物体在该处停留时间长，亮度值小的点成像系统或拍摄物体在该处停留时间较短，模糊核是用二维矩阵描述拍摄物体与成像系统间发生相对运动轨迹的一种方式，这种轨迹是一条连续的曲线，模糊核中亮度值为非零值的点很少，模糊核满足稀疏性。

(2)光滑性约束，模糊图像由成像设备与被摄物体发生相对位移产生，可认为这种相对运动的轨迹是连续的，且该运动轨迹一般情况下二次可导。

(3)非负性约束，图像是光子在传感器上累积形成的，模糊核中所有的元素的亮度值均大于等于零，图像中各点的亮度值不能为负值，即D(x,y)≥0,

其中Ω_D表示模糊核D的所有坐标集合。

(4)形状性约束，模糊核的形状可用参数形式表述，如匀速直线运动模糊的模糊核形状是一条细直线，轨迹复杂的运动模糊的模糊核形状是一条细且弯的曲线，散焦模糊中可用圆盘参数形式表示模糊核。

(5)能量守恒约束，模糊核在模糊原始清晰图像过程中，不会减掉原始图像的亮度或丢失原始图像的能量，即模糊过程中能量守恒。

本发明用高斯模型作为先验知识约束模糊核，然后通过临界值化处理，把模糊核的大部分元素设置为0，使其满足稀疏性，即对模糊核进行以下的稀疏约束：

当e＝2时，表示是用高斯先验稀疏约束项约束模糊核；当e＝1时，表示是用拉普拉斯先验稀疏约束项约束模糊核；当0＜e＜1时，表示是用超拉普拉斯先验稀疏约束项约束模糊核。

本发明采用高斯先验稀疏约束，即

与超拉普拉斯先验稀疏约束项和拉普拉斯先验稀疏约束项相比，高斯先验稀疏约束项能极大的缩短计算时间，获得全局最优解。

(四)目标函数的构造

通过分析普通图片、文本图片和模糊核的先验知识，本发明采用提到的先验知识信息，尽可能获得效果最佳的结果。最大后验估计从以往得到的经验数据为初始点，对难以观察的量进行点估计。最大后验估计与最大似然估计的区别是：最大后验估计将估计量的先验知识引入到求解过程中，可看成是最大似然估计的标准化处理。

本发明以最大后验估计为框架，构造正则化方法，将文本图片的先验信息C(b)与模糊核的先验信息C(D)结合，得到基于文本图片特有先验知识建立稀疏化模型：

即：

其中，b为清晰文本图片，j为模糊文本图片，D为模糊核，

二、模糊文本图片去噪

现有技术的模糊图像清晰化方法直接忽略了噪声的影响，或者是在清晰化处理过程中逐步滤除噪声。噪声会对模糊核的估计及最终的模糊图像清晰化造成很大的影响。本发明在对模糊文本图片的模糊核进行估计之前，先对模糊文本图片进行去噪处理，再对除去噪声后的模糊文本图片进行后续的模糊图像清晰化处理。

(一)中值滤波去噪

中值滤波是一种非线性滤波，能有效的除去脉冲噪声，并在除去噪声的同时，还能保证图像的边缘不被平滑。这种特征线性滤波不具有，中值滤波算法简单，实现容易。

中值滤波用图像中各点邻域中所有像素点亮度值的中值替代图像中的该点的亮度值，除去突兀的噪声点。本发明选用A*A的矩形窗，模糊文本图片j经中值滤波后得到的图像为：

其中，

是模糊文本图片j经过中值滤波后，所得图像在点(x,y)处的像素值，用E_xy表示(x,y)点处尺寸大小为p*q的邻域窗口，j(p,q)是矩形窗中某点的像素值，median函数是对点(x,y)，把其邻域E_xy中各点亮度值的大小进行排序，取中值替代模糊文本图片j中点(x,y)处的亮度值j(x,y)。

当脉冲噪声的密度很大时，用窗口较大的滤波器除去脉冲噪声的效果较好，但容易导致边缘信息的丢失，图像的边缘细节发生一定程度的模糊。虽然窗口较小的滤波器对模糊图像的边缘信息保持较好，但其除去脉冲噪声的效果又不明显。所以，根据脉冲噪声的密度大小自适应选择滤波器矩形窗的大小十分重要。

(二)均值滤波去噪

除去高斯噪声的方法是均值滤波，用该点邻域中各点亮度值的平均值代替该点的亮度值。本发明选用A*A的矩形窗，模糊文本图片j经过用中值滤波去噪，得到的图像为：

其中，j(p,q)是矩形窗中某点的亮度值，

是模糊文本图片j经均值滤波后得到图像的点(x,y)处的亮度值，用E_xy表示(x,y)点处尺寸大小为p*q的邻域窗口。

当选择的邻域窗口较大时，包含的像素点也较多，除去高斯噪声的效果也比较好，但也十分容易丢失图像边缘信息，导致图像的边缘模糊，在除去噪声时要格外注意这种情况，选择合适大小的矩形窗。

(三)基于自适应中值滤波和自评估权重均值滤波的混合滤波方法

中值滤波能有效的除去脉冲噪声,均值滤波能有效的除去高斯噪声。但当图像中的噪声复杂，或者噪声为脉冲噪声和高斯噪声的混合形式时，上述方法不能适用。为了解决此问题，本发明提出了自适应中值滤波和自评估加权均值滤波相结合的自适应自评估混合滤波法去噪，先分辨模糊文本图片中脉冲噪声的噪声点并除去，然后再除去模糊文本图片中的高斯噪声。

(1)自适应中值滤波除去脉冲噪声

灰度图像中存在的杂乱不均的亮暗点即为脉冲噪声，本发明采用自适应中值滤波在不造成细节退化的前提下除去脉冲噪声，自适应中值滤波除去脉冲噪声的具体步骤以下：

第一步，以(i,j)为中心点，选用A*A的矩形窗E；

第四步，对第二步中标记出的脉冲噪声点进行中值滤波，其余的非脉冲噪声点不变。

自适应中值滤波能够自动判定文本图片中的脉冲噪声点，并且只针对标记出的脉冲噪声点进行中值滤波，对其它非脉冲噪声点无影响，所以自适应中值滤波对文本图片中脉冲噪声的除去效果好，在滤除脉冲噪声的同时，保证非脉冲噪声点处的信息不丢失。自适应中值滤波根据脉冲噪声污染程度选择合适大小的矩形窗，既可以有效除去噪声，又可以保留文本图片的细节信息。

(2)自评估加权均值滤波除去高斯噪声

滤除脉冲噪声后，模糊文本图片中还可能有高斯噪声，本发明在灰度图像中采用自评估加权均值滤波在不造成细节退化的情况下滤除高斯噪声，自评估加权均值滤波除去高斯噪声的具体步骤以下：

第1步，以(i,j)为中心点，选用A*A的矩形窗E；

第3步，计算得到集合中各元素的加权系数c；

第4步，由第3步得到各加权系数的均值，并将大于该均值的加权系数保持不变，小于该均值的加权系数设置为0，再求解集合F中各像数值的加权平均值作为窗口中心点处的像素值。

由于相邻像素点间有一定的相关性，离中心点越近，像素点间的相关性就越大，除去高斯噪声的效果越好，并避免边缘信息的丢失。经过上述步骤，模糊文本图片中无论是平坦还是边缘处，都能很好的除去高斯噪声。

通过自适应中值滤波除去脉冲噪声，再通过自评估加权均值滤波除去高斯噪声后，模糊文本图片中的噪声基本上已被滤除，再把除去噪声之后的模糊文本图片进行清晰化处理，就能得到较清晰的文本图片。

三、求解A₀先验知识稀疏化模型

由于A₀范数最小化问题求解十分困难，本发明将式5分解成以下两个子项进行求解：

式10是在已知模糊核D，求解清晰文本图片b；

式11是在已知清晰文本图片b，求解模糊核D。

(一)已知模糊核D估计中间图像b

式11是A₀范数最小化问题，由于A₀范数最小化问题在实际应用中很难求解，本发明提出交替能量最小化方法，此处引入两个辅助变量，用V代表b，用H＝(H_x,H_y)代表

目标函数式6改写成以下形式：

其中，当r和t的值无限逼近无穷时，式12的解无限接近式10，式12的求解过程用交替迭代最小化法，即固定其中的两个变量，估算另外一个变量，采用交替迭代的方法求解。求解开始时，将V和H均初始化为0矩阵。

(1)固定V和H，求解b

在迭代求解的过程过，当V和H已知时，b的值可以通过式12转化为：

这就转变成一个最小二乘的问题，最优解写为：

其中F(·)表示傅里叶变换，F^-1(·)表示反傅里叶变换，

表示复数共轭，

其中

代表水平方向的差分操作符，

代表垂直方向的差分操作符。

(2)固定b，分别求解V和H

迭代求解过程中，当b已知时，V和H的值可以通过式12分别转化为：

式15与式16都是逐像素求解最小值的问题，对式15得到：

1)当

时，分二种情况求解：

若V_i≠0时，有||V_i||₀＝1，

此时，只有在V_i＝b_i时，式15取得最小值；

若V_i＝0时，则有||V_i||₀＝0，此时式15取得最小值为|b_i|²；

2)当

时，分二种情况求解：

若V_i≠0时，有||V_i||₀＝1，

此时，只有在V_i＝b_i时，式15取得最小值；

若V_i＝0时，则有||V_i||₀＝0，此时式15取得最小值为|b_i|²；

综上所述，式15的解为：

对式16得到：

1)当

时，分二种情况求解：

若H_i≠0时，则有||H_i|_|0，

此时，只有在

时，式16取得最小值；

若H_i＝0时，则有||H_i||₀＝0，此时，式16取得最小值为

2)当

时，分二种情况求解：

若H_i≠0时，则有||H_i||₀＝1，

此时，只有在

时，式16取得最小值；

若H_i＝0时，则有||H_i||₀＝0，此时，式16取得最小值为

综上所述，式16的解为：

通过上述交替迭代求解的方法，求出式12的解，式12的解即为10的解。

(二)已知中间图像b估计模糊核D

式18为已知中间文本图片b，估计模糊核D的问题，是一个A₂范数最小化的问题，直接用快速傅里叶变换进行求解。本发明采用基于梯度稀疏化先验知识估计模糊核的方法，通过计算机用快速傅里叶变换的方法进行求解，基于梯度稀疏化先验知识估计模糊核的方法简单高效，具体方法为：

式11是一个最小二乘的问题，改写为以下能量函数：

其中ω_*∈{ω₁，ω₂}表示每个偏导数的权重，将k设为5，把式19写成矩阵形式：

F_D(d)＝(Bd-J)^T(Bd-J)+kd^Td 式20

其中B是一个包含5个b_*的矩阵，d是代表模糊核D的矢量，H是一个包含5个j_*的矩阵,本发明使用共轭梯度法求式20：

求解式22的速度取决于B的尺寸大小，当模糊文本图片b的尺寸为qxq，模糊核D的尺寸为pxp时，B的大小就为5q²xp²，直接计算Bd需要繁重的计算和高端存储器，尽管B^TB的尺寸q²xp²与Bd相比相对较小，然而预先计算B^TB需要大量的计算。因为Bd对应于五个b和D的卷积，采用快速傅里叶变换进行提速，得到：

其中F(·)表示傅里叶变换，F^-1(·)表示反傅里叶变换，

表示复数共轭；

其中

其中，

是

位移i个单位后的矢量。

求解过程中每轮只需进行2次快速傅里叶变换，收敛所需的迭代次数，在最优化求解中十分重要，相比于采用单个像素点估算模糊核的方法，本发明估算模糊核的方法收敛速度更快。

A₀先验知识稀疏化模型采用图像金字塔迭代的方式，由粗到细估算模糊核及中间文本图片。通过该算法可得到效果较好的模糊核D及中间文本图片b，如图3中图(b)所示。对背景单一的文本图片，清晰化处理效果较好，但对复杂背景的文本图片，丢失了一些细节，且出现了大量的振铃效应。

四、超拉普拉斯先验非盲去卷积

经过几次交替迭代运算后，最终得到估计的模糊核D，恢复出的清晰文本图片b。如图3中图(b)所示，对背景单一且文字稀疏的文本图片，恢复效果理想；但对于背景复杂的模糊文本图片，恢复的图像效果并不是很好。因此，本发明在恢复清晰图像阶段，对算法做一些改进。

在模糊核D完全确定的情况下，非盲去卷积算法比盲去卷积算法更实用，也更容易求解。通过交替迭代求解已经知道了模糊核D，可把恢复清晰文本图片问题转化成非盲去卷积问题。

本发明采用超拉普拉斯先验非盲去卷积算法恢复出清晰文本图片，该算法能很好的保留文本图片的细节边缘，并且求解过程很快。

本发明采用的超拉普拉斯模型为：

其中，b为清晰文本图片，j为模糊文本图片，D为模糊核，

是卷积操作符，

为水平方向上的梯度，

是垂直方向上的梯度,式25中，当e＝2时，为高斯型,当e＝1时，为拉普拉斯型；当0＜e＜1时，为超拉普拉斯型，经统计，此处e∈[0.5，0.8]。

本发明采用交替迭代法求解，引入辅助变量R＝(R_g，x，R_g，y)，把

从|·|^e中分离出来，式25改写为：

其中，r表示辅助变量R与真实值

之间的差异，算法迭代过程中，为达到逐渐优化的目的，r的值从小到大依次递增,采用交替迭代法优化求解式26。

(一)固定R，优化b

当R固定时，式26包含卷积运算，用傅里叶变换转化为：

其中B(·)代表傅里叶变换，根据帕萨瓦尔定理得到：

其中B^-1(·)代表反傅里叶变换，

代表复数共轭，将式28求得的结果b作为已知量带入式26，再进一步优化R。

(二)固定b，优化R

当b固定时，式26中与R无关项都可去掉，得到优化结果为：

R＝arg min|R|^e+r(R-v)² 式29

式29中，

R³-2vR²+v²R-sign(v)/16r²＝0 式30

转化为求解一个一元三次方程的问题,本发明采用查表法求解式30的根，求解过程由粗到细，让r从1开始，依次增大r_k倍，直到r_max＝256时结束。其中r每变化一次，都作为新的常量带入式29进行重复迭代。恢复出的结果如图3(c)所示，恢复出的图像含有少量振铃效应。

五、双边残差滤波法除去余振伪影

由本发明求解A₀先验知识稀疏化模型得到恢复出的清晰图像如图3(b)所示，对于背景单一的文本图像，恢复效果很好，但对于复杂背景的文本图片丢失了一些细节，且有少量的振铃效应。

把本发明求解A₀先验知识稀疏化模型得到的模糊核带入到本发明的超拉普拉斯先验的非盲去卷积算法进行求解，恢复出的清晰图像如图3(c)所示，对于背景单一的文本图片，恢复出的图像(c)与图(b)相比，含有大量振铃效应；对于背景复杂的文本图片，恢复出的图像(c)与图(b)相比，效果更好，但仍然有少量振铃效应。

综上所述，本发明提出的A₀先验知识稀疏化模型求解方法，对于背景单一的文本图片复原效果较好，对于背景复杂的文本图片复原效果较差；本发明的非盲去卷积算法对于背景复杂的文本图片复原效果较好，对于背景单一的文本图片复原效果较差。

为了结合上述两种方法的优点，本发明提出双边残差滤波除去余振伪影，先用基于超拉普拉斯先验的非盲去卷积算法估计出清晰文本图片b₁，然后采用本发明求解A₀先验知识稀疏化模型中已知模糊核D估计中间图像b的方法，盲去卷积估计清晰文本图片b₂，与之前不同的是只采用梯度约束，再对估计的两个清晰文本图片b₁、b₂取残差b₃＝b₁-b₂，并且用双边残差滤波器滤除此残差b₃中的伪影得到b₃ ^※，最后通过b₄＝b₁-b₃ ^※，得到清晰文本图片b₄。

从图3可以看出，本发明最提出的模糊文本图片清晰化处理方法，对于背景单一的文本图片以及背景复杂的文本图片的清晰化处理均有很好的效果。

六、方法整体流程

本发明提供的一种简单高效的模糊文本图片清晰化处理方法，采用金字塔迭代求解的方式，方法整体流程为：

For g＝1 to A(A表示图像金字塔的层数)，

求解中间文本图片b，

求解模糊核D，

循环至A后算法结束；

七、实验评估

为了评估本发明方法的优劣，分别对背景单一文字稀疏的文本图片、背景单一文字密集的文本图片、背景复杂的文本图片，以及低照度的模糊图像进行了大量的清晰化处理实验，并与现有技术去模糊效果较好的几种方法进行客观的比较，最后用恢复出的清晰图像与原清晰图像的结构相似度来检验算法的优劣。实验表明，本发明提出的算法，对于模糊文本图片复原有着很好的有效性和鲁棒性，与其它的算法相比，有着更好的复原效果，特别是对于含有文字或字符的图像，具有非常明显的优势。