CN103020905B - 针对文字图像的稀疏约束自适应nlm超分辨率重建方法 - Google Patents

Abstract

本发明涉及针对文字图像的稀疏约束自适应NLM超分辨率重建方法。是文字图像检测与识别的前提，在智慧城市、物联网视频感知等方面具有广泛应用前景。利用字符图像的统计稀疏性、结构稀疏性自适应的计算权值调节因子h，解决了现有NLM方法超分辨率重建算法中h参数根据经验设定的问题；提出利用L-1范数距离来度量图像子块的相似度，避免了重建的过度平滑；实验分析得出搜索窗参数p和比较窗参数q的最佳值，既能取得较高的重建精度，又能有效降低算法时间复杂度；通过块匹配方法达到高精确亚像素运动估计；超分辨率上采样因子达到2-5倍。通过自适应总变分算法对重建结果去模糊，在抑制噪声和寄生波纹的同时，有效保持了图像的边缘纹理信息。

Description

针对文字图像的稀疏约束自适应NLM超分辨率重建方法

技术领域

本发明涉及针对文字图像的稀疏约束自适应NLM超分辨率重建方法，尤其针对低分辨率文字图像的自适应h参数NLM(Non-localmean)超分辨率重建方法，在字符文字取证、物联网视频感知、智慧城市领域等方面具有广泛应用前景。

背景技术

改善图像质量是图像处理领域的重要课题，图像超分辨率作为改善图像质量的一项重要技术已经成为目前研究的热点。高分辨率文字图像是文字图像识别等应用的前提，在文字取证、物联网视频感知、智慧城市领域等方面具有广泛应用前景，如交通路口视频监控是违章、肇事等车辆的车牌、车型检测与识别的一个重要环节。目前，一方面由于成像设备等因素的制约，监控视频图像分辨率较低，此外，天气、光照以及光学系统像差、散焦、抖动等因素常常导致获得的字符序列图像和交通视频中车牌字符图像分辨率低、无法识别；另一方面由于监控设备在成像过程中CCD存在欠采样、在视频采集和传输环节中，数据压缩编码也会造成信息丢失，使本来已经难以辨认的视频文字图像或车牌字符更加难以检测与识别。但视频序列图像之间存在大量帧间冗余和互补信息，这些帧间互补信息以及单幅图像的自相似冗余信息为超分辨率重建提供了数据基础和技术可行性。

基于时间分辨率与空间分辨率在一定条件下相互转化的准则，超分辨重建利用多幅低分辨率的图像序列，由算法处理多帧图像的互补信息，获得一帧高空间分辨率的图像。传统的超分辨率重建算法主要包括频率域方法和空间域方法。现有的NLM超分辨率重建算法没有针对字符图像的重建的研究，并且存在参数选择依赖经验和图像比较子块之间的相似性度量等问题，参数选择不合适导致超分辨重建失败或者产生过平滑。

发明内容

本发明主要是解决现有技术所存在的序列低分辨率图像字符空间分辨率低和可辨识能力差；权值增益调节因子h、搜索窗、比较窗的参数难以选择等的技术问题；提供了一种解决了现有NLM方法超分辨率重建算法中h参数根据经验设定的问题；在权值矩阵计算中提出利用L-1范数距离来度量图像子块的相似度，避免了重建结果的过度平滑；既能取得较高的重建精度，又能有效降低算法时间复杂度；能够达到高精确亚像素匹配；并能在抑制噪声和寄生波纹的同时，有效保持图像的边缘纹理信息的一种针对文字图像的基于NLM方法的超分辨率重建方法。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种针对文字图像的稀疏约束自适应NLM超分辨率重建方法，其特征

在于，包括以下步骤：

步骤1，由参数输入模块输入超分辨率重建所需数据及参数，包括：低分辨率字符图像观测序列{y_t}，t＝1,2,3...n、超分辨率尺度因子s、高分辨率网格图像搜索窗尺寸p、低分辨率网格图像比较窗尺寸q；

步骤2，由初始化模块针对上述输入的参数进行高分辨率网格图像初始化，即对每帧低分辨率字符图像{y_t}进行s倍最邻近插值，得到其高分辨率初始估计网格图像

步骤3，由图像边界延拓模块对每帧高分辨率初始估计网格图像进行图像边界延拓，得到延拓后图像

步骤4，由权值调节因子模块获取权值调节因子h，即计算步骤3中每帧高分辨率初始估计网格图像的像素平均灰度值差avgΔx，由avgΔx计算出当前帧图像权值矩阵的权值调节因子h；

步骤5，由逐点超分辨率重建模块进行逐点超分辨率重建，即针对步骤3中的高分辨率初始估计网格图像中每个像素点(k,l)，依据(k,l)为中心的对应搜索窗，进行Z字型遍历逐点进行超分辨率重建计算；

步骤6，由迭代更新模块以代替步骤3中的初始估计重复步骤4、5、6进行高分辨率网格图像数据迭代更新，得到n次迭代后的重建结果

步骤7，由字符图像去模糊模块用自适应TV去模糊算法对步骤6中获取的重建超分辨率重建结果进行去模糊，最终得到去模糊的清晰高分辨率字符图像

在上述的针对文字图像的稀疏约束自适应NLM超分辨率重建方法，所述的步骤4中包括以下子步骤：

步骤4.1.由权值矩阵获取子单元进行权值矩阵W的获取，即根据调节因子h基于式一进行权值计算，计算高分辨率初始估计网格图像中，以像素(k,l)为中心的搜索窗中每个像素(i,j)对应的权值w_{(k，l，i，j，t)}，遍历完高分辨率初始估计图像中所有像素后得到权值矩阵W：

$w_{(k,l,i,j,t)}=\exp (-\frac{{\left|\right|R_{k,l}{Z}_{t_0}-R_{\mathrm{si},\mathrm{sj}}{Y}_t\left|\right|}_1^1}{h^2})$ 式一

其中，是以像素(k,l)为中心的q×q图像子块比较窗；R_si,sjY_t是以像素(i,j)为中心的q×q图像子块比较窗，搜索、比较窗关系；h是权值调节因子；

步骤4.2.由高分辨率网格图像获取子单元将低分辨率图像{y_t}进行零填充上采样得到高分辨率网格图像{Y_t，s}，将高分辨率网格图像{Y_t，s}点乘以权值矩阵W，加权平均后归一化处理得到初始超分辨率重建结果

在上述的针对文字图像的稀疏约束自适应NLM超分辨率重建方法，所述步骤1中，超分辨率升尺度因子s的选择取值为2至5，重建图像空间分辨率能达到原图的2到5倍。

在上述的针对文字图像的稀疏约束自适应NLM超分辨率重建方法，所述步骤1中，低分辨率字符图像比较窗尺寸q指在低分辨率格字符图像上用来相似性计算的比较窗大小，重建算法中低分辨率网格图像比较窗尺寸对应的高分辨率网格图像比较窗尺寸Q由式二得到，低分辨率字符图像比较窗大小根据图像字符的纹理特征来调整：

Q＝(q-1)×s+1式二。

在上述的针对文字图像的稀疏约束自适应NLM超分辨率重建方法，所述的步骤3中，将高分辨率初始估计图像边缘根据镜像延拓算法进行延拓，能够在超分辨率重建中保留图像边缘信息，延拓区域宽度width由式三得到：

$\mathrm{width}=\frac{p}{2}+\frac{(q-1)\×s+1}{2}$ 式三。

在上述的针对文字图像的稀疏约束自适应NLM超分辨率重建方法，所述步骤4中，因子h的选择与图像纹理特征相关，通过计算图像统计特征中的像素平均灰度值差avgΔx实现自适应选择h，如下式所示：

$h=\sqrt{(\frac{\mathrm{avg\Δx}}{2}\×{\log }_{10}e)/6},e=2.71828\·\·\·$ 式四

其中，avgΔx是高分辨率初始估计网格图像的像素平均灰度值差，如式五所示：

$\mathrm{avg\Δx}=\frac{\left\{\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\underset{j=i+1}{\overset{n}{\mathrm{\Σ}}}\right[\mathrm{pixel}\left(i\right)-\mathrm{pixel}\left(j\right)\left]\right\}}{n(n-1)/2}$ 式五

其中，n是图像中总像素个数，pixel(i)是第i个像素的灰度值。

在上述的针对文字图像的稀疏约束自适应NLM超分辨率重建方法，所述的步骤4中，权值计算公式中图像相似性度量方法根据字符图像的细小纹理和空域结构稀疏的特点，采用式六L-1范数图像距离来度量图像子块的相似性，即imgdist为图像子块相似性距离参数：

$\mathrm{imgdist}={\left|\right|R_{k,l}{Z}_{t_0}-R_{\mathrm{si},\mathrm{sj}}{Y}_t\left|\right|}_1^1$ 式六。

因此，本发明具有如下优点：1.基于字符图像的统计稀疏性、结构稀疏性等先验信息自适应的选择权值调节因子h，解决了现有NLM方法超分辨率重建算法中h参数根据经验设定的问题；2.在权值矩阵计算中提出利用L-1范数距离来度量图像子块的相似度，避免了重建结果的过度平滑；3.通过实验分析得出搜索窗参数p和比较窗参数q的最佳值，既能取得较高的重建精度，又能有效降低算法时间复杂度；4，通过图像匹配中的块匹配方法计算权值，达到高精确亚像素匹配；5.通过自适应TV算法对超分辨率重建结果去模糊，在抑制噪声和寄生波纹的同时，有效的保持了图像的边缘纹理信息。

附图说明

图1是本发明的算法流程示意图。

图2是本发明超分辨率重建Z字型遍历示意图。

图3是本发明搜索窗与比较窗示意图。

图4是本发明图像零插值后结果中存在的两类像素点.

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

1.首先介绍一下本发明涉及到的理论方法基础：

字符图像作为一种特殊的图像有其显著的特点：首先，字符图像的空域灰度密度分布具有较强的统计稀疏性，即具有明显重拖尾现象。其次，字符图像有较强的自相似性和结构稀疏性，图像中的同一字符复现概率高，并且字符间同样笔画结构也存在极大的复现率，这使得字符图像的冗余信息更多，表现为很强的结构稀疏性。再者，字符图像的纹理细节较多，在处理过程中容易造成细节丢失。最后，字符图像的层次结构高度结构化，行距和字符间距基本不变。字符图像的这些特点作为NLM方法超分辨率重建参数选择的先验稀疏约束能提高重建精度。

图像超分辨重建过程实质是图像退化过程的逆过程，该逆过程表明获取的低分辨率观测图像是由高分辨图像经过光学降晰、CCD下采样、噪声污染模拟得到观测图像。而超分辨重建是该过程的逆问题，即希望从退化后的图像序列得到高分辨率图像，逆问题通常是病态问题。

现有的超分辨率重建研究，主要是从单幅和多幅两个角度入手的，多幅超分辨从理论上与单幅超分辨有着明显的不同。随观测序列图像帧数的增加，从图像序列中获得互补信息、高概率重建高分辨图像的可能性增加。但传统方法需要准确已知图像之间的相对运动矢量，即需要精确到亚像素的运动估计，目前绝大多数的多幅超分辨方法的精度都受到亚像素运动估计的限制。多幅超分辨重建方法最大的优点是充分利用了帧间互补信息，但缺点也十分明显——重建结果强烈依赖于配准精度，配准误差严重影响重建结果。而在图像处理领域，图像亚像素配准一直以来都是一个难题，而运动估计由于运动模式的不同（如视频图像局部位移和整个场景的全局位移就有着很大的差别），难于找到统一、高精度的处理方法。

本发明所立足的NLM超分辨重建方法是多幅超分辨重建方法，但与上述的传统多幅超分辨方法相比，不需要进行精确的配准，并且引入了h参数自适应选择方法和L-1范数相似性度量方法，对已有NLM算法性能有明显改进，验证试验表明本发明具有显著优势。

基于NLM方法的图像超分辨率重建算法是NLM去噪算法的推广，而NLM图像去噪算法是BilateralFilter的推广。传统的去噪算法基本都归于局部邻域平均——即由某像素的某种固定的、各向同性的邻域模板中所有像素点的某种形式的加权平均，计算得到该像素最终的消噪值，比如常用的高斯模板平均。而NLM算法利用了图像的局部自相似性，通过寻找图像中重复出现的细节子块并将之进行加权平均进行消噪，理论上可以利用整幅图像而非一个邻域的信息进行去噪，并且其加权平均算法基于图像子块相似度而非空间邻域距离，因而称为非局部的算法。实验和研究表明这种方法具有较高的精度。

NLM超分辨率重建方法需要预先确定的三个主要输入参数：搜索窗参数p、比较窗参数q和权值调节因子h，这三个参数对超分辨重建结果质量有不同程度的影响。

高分辨网格图像搜索窗尺寸p决定了重建中参与加权平均的像素个数。为了利用图像序列帧间的互补信息，p值应大于图像序列的最大位移量，以保证在p×p搜索邻域中能找到图像中同一个目标的互补信息。同时，由于字符图像具有较强自相似性和结构稀疏性，搜索窗尺寸p越大，互补信息越多，则重建结果越好。但是随着搜索窗尺寸p的增大，超分辨率重建的计算时间复杂度显著增大，增长速度与p²成正比。因此，有必要选择一个合适的搜索窗尺寸，既能保证较好的重建效果，又能有效降低算法复杂度。本发明针对字符图像选取p＝15像素，满足上述条件。

低分辨率网格图像比较窗尺寸q决定了超分辨率重建中比较块的大小。在NLM方法图像去噪中，当图像比较窗尺寸大于5×5时，比较窗尺寸对重建精度影响并不大，都能达到较好的效果。但在超分辨率重建中，q的取值与字符图像的纹理特征先验知识相关。若低分辨率图像字符的笔画较小，而比较窗如果取的太大，会导致字符笔画信息的过多丢失。

权值矩阵W的计算是重建算法的关键步骤，权值调节因子h决定了权值w_{(k，l，i，j，t)}随着图像比较子块差异大小衰减的速度。由式一可知，若h较小，即使两个图像比较子块即使相似性很高，也难以获得较高的权值，只有两个图像比较子块十分相似且存在互补信息时才可获得较大权值。若h较大，则两个图像比较子块在相似性很低的情况下也能获得较高的权值进而参与加权计算。在实际应用中，若h取得过小会导致没有足够的像素点参与超分辨重建，使结果图像呈现出明显的马赛克现象，导致较大的重建误差；若h取得过大会导致过量的像素点参与重建，进而产生很强的过平滑现象，本发明针对字符图像提出了一种自适应选择h参数的方法。

权值矩阵W的空间分布与h和密切相关，本专利采用L-1范数作为图像比较块之间的相似程度的度量，即在分析大量字符图像超分辨率重建实验数据的基础上，发现在搜索窗和比较窗为固定值的条件下，当权值矩阵W中权值满足式七时，超分辨率重建精度高，即：

${10}^{-6}\≤w=e^{-\frac{\mathrm{imdist}\_l_1}{h^2}}\≤1$ 式七

由于权值上限为1，因此衰减因子h只需满足：

$h\≥\sqrt{(\mathrm{imdist}\_l_1\×{\log }_{10}e)/6}$ 式八

但是在NLM方法超分辨率重建过程中h需要初始值，而imdist_l₁是在超分辨过程中计算得到。本发明采用像素平均灰度值差avgΔx代替imdist_l₁，对于一般字符图像有：

avgΔx＝2imdist_l₁式九将式九带入式八得到：

$h\≥\sqrt{(\frac{\mathrm{avg\Δx}}{2}\×{\log }_{10}e)/6}$ 式十

NLM超分辨率重建方法中权值大小与相似性度量方法直接相关，现有的NLM方法超分辨率重建所采用的图像子块相似性度量方法为L-2范数距离度量，如式十一：

$\mathrm{imdist}\_l_2={\left|\right|R_{k,l}{Z}_{t_0}-R_{\mathrm{si},\mathrm{sj}}{Y}_t\left|\right|}_2^2$ 式十一

理论分析和实验表明，L-2范数距离度量方法用在字符图像超分辨率重建中容易造成字符纹理细节和边缘过平滑模糊。而超分辨率重建的目的是为了恢复出字符的纹理细节和边缘，因此本发明采用式十二所示L-1范数距离度量方法，纹理细节和边缘保持效果较好。

$\mathrm{imdist}\_l_1={\left|\right|R_{k,l}{Z}_{t_0}-R_{\mathrm{si},\mathrm{sj}}{Y}_t\left|\right|}_1^1$ 式十二

2.本发明的具体计算流程如下：

步骤1，由参数输入模块输入超分辨率重建所需数据及参数，包括：低分辨率字符图像观测序列{y_t},t＝1,2,3...n、超分辨率尺度因子s、高分辨率网格图像搜索窗尺寸p、低分辨率网格图像比较窗尺寸q；

步骤2，由初始化模块针对上述输入的参数进行高分辨率网格图像初始化，即对每帧低分辨率字符图像{y_t}进行s倍最邻近插值，得到其高分辨率初始估计网格图像

步骤3，由图像边界延拓模块对每帧高分辨率初始估计网格图像进行图像边界延拓，得到延拓后图像

步骤4，由权值调节因子模块获取权值调节因子h，即计算步骤3中每帧高分辨率初始估计网格图像的像素平均灰度值差avgΔx，由avgΔx计算出当前帧图像权值矩阵的权值调节因子h，进一步包括以下子步骤：

步骤4.1.由权值矩阵获取子单元进行权值矩阵W的获取，即根据调节因子h基于式一进行权值计算，计算高分辨率初始估计网格图像中，以像素(k,l)为中心的搜索窗中每个像素(i,j)对应的权值w_{(k，l，i，j，t)}，遍历完高分辨率初始估计图像中所有像素后得到式一权值矩阵W。

步骤4.2.由高分辨率网格图像获取子单元将低分辨率图像{y_t}进行零填充上采样得到高分辨率网格图像{Y_t，s}，将高分辨率网格图像{Y_t，s}点乘以权值矩阵W，加权平均后归一化处理得到初始超分辨率重建结果

步骤5，由逐点超分辨率重建模块进行逐点超分辨率重建，即针对步骤3中的高分辨率初始估计网格图像中每个像素点(k,l)，依据(k,l)为中心的对应搜索窗，进行Z字型遍历逐点进行超分辨率重建；

步骤6，有迭代更新模块以代替步骤3中的初始估计重复步骤4、5、6进行高分辨率网格图像数据迭代更新，得到n次迭代后的重建结果

步骤7，由字符图像去模糊模块用自适应TV去模糊算法对步骤6中获取的重建超分辨率重建结果进行去模糊，最终得到去模糊的清晰高分辨率字符图像

2.下面是采用本发明的具体实施范例。

(1)输入低分辨率待超分辨图像序列{y_t}、升尺度因子s、搜索窗初始尺寸p×p、比较窗尺寸q×q。在所有的输入都准备完毕之后，进行超分辨率重建数据的初始化。

(2)计算每幅高分辨率初始估计网格图像的像素平均灰度值差avgΔx，根据式四计算出权值调节因子h。

(3)对高分辨率初始估计网格图像中每个像素点(k,l)，依据(k,l)对应的搜索窗，进行‘Z’字型搜索，逐点进行超分辨率重建计算。在p×p搜索窗内按照式一计算出搜索窗中每个像素(i,j)对像素点(k,l)的权值，得到权值矩阵W。高分辨图像的初始估计由低分辨率图像最邻近插值计算得到，因此高分辨估计图像中存在两类像素点：在上采样s倍的高分辨率网格中，部分数据由观测低分辨率图像实际观测值另一部分是插值得到的估计值，如图4右图中字母所代表的像素点。

备注：N^L(k,l)代表低分辨率图像中搜索邻域，中心像素为(k,l)的比较窗，R_si，sjY_t表示搜索窗中心像素为(i，j)的比较窗，L表示低分辨率图像。

(4)计算得到权值矩阵后，对图像子块进行上采样加权平均，如式十三所示。

$V^n=V^{n-1}+w[k,l,i,j,t]\left(R_{k,l}^H\right)D_p^T\left(R_{i,j}^L{y}_t\right),n=\mathrm{1,2},...,k$ 式十三

其中：V⁰表示初始高分辨率零值网格图像；表示将高分辨率图像子块映射到高分辨率图像中，以(k,l)为中心的对应网格位置；表示低分辨率图像中，以(i,j)为中心的比较块；表示对低分辨率图像子块进行上采样操作，重采样方式为零填充。上式实际上是将位于(i,j)∈N^L(k,l,t₀)的图像子块经过零填充上采样之后，乘以权值w[k,l,i,j,t]，累加填补到高分辨率网格对应位置(k,l)∈V处。以同样的方式将图像中的所有像素遍历完毕后，归一化后即可得到一次迭代超分辨重建结果

(5)以代替步骤2中的初始估计重复步骤(2)、步骤(3)和步骤(4)，由式十三进行网格图像数据迭代更新，得到n次迭代后的重建结果

(6)自适应TV去模糊算法对重建超分辨率重建结果去模糊，得到去模糊的清晰高分辨率字符图像

3、本发明实验及结果分析

本发明通过模拟观测模型获得低分辨率字符图像序列，实验采用了三组低分辨率字符图像序列，其中一组完全汉字字符图像、一组完全英文字符图像和一组混合字符图像。由本发明的方法能够更充分的挖掘图像序列的亚像素信息、字符图像的自相似性和统计稀疏性，由本发明方法得到高分辨率字符图像与用文献[2][5]中算法以及lanczos插值方法得到的结果作对比，在PSNR、MSSIM、RMSE三项客观评价指标上均具有显著的优势，并且利用本发明方法得到的高分辨率字符图像中字符的边缘保持较好，细节纹理清晰可见，实验结果客观评价参见表1、表2和表3。本发明方法在上采样尺度因子s为5时，在重建精度和寄生波纹抑制方面比经典的NLM方法相比具有明显优势。

在相同的输入条件下，本发明能够做到5倍升尺度因子的超分辨率重建，并且重建图像质量与用文献[2][5]中算法以及lanczos插值方法比较也有显著优势，5倍实验结果客观评价参见表4。

备注：表1~表4中文字识别率采用文字识别软件ABBYYFineReader11测试。

表1为字符图像上采样尺度因子3重建结果及分析。

表2为英文字符图像上采样尺度因子3重建结果及分析。

表3为汉字图像3倍上采样尺度因子重建结果及分析。

表4为英文字符图像5倍上采样因子重建结果及分析。

上述具体实施例仅仅是对本发明思想作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的思想或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种针对文字图像的稀疏约束自适应NLM超分辨率重建方法，其特征在于，包括以下步骤：

步骤1，由参数输入模块输入超分辨率重建所需数据及参数，包括：低分辨率字符图像观测序列{y_t},t＝1,2,3...n、超分辨率尺度因子s、高分辨率网格图像搜索窗尺寸p、低分辨率网格图像比较窗尺寸q，其中n为大于0的正整数；

步骤2，由初始化模块针对上述输入的参数进行高分辨率网格图像初始化，即对每帧低分辨率字符图像观测序列{y_t}进行s倍最邻近插值，得到其高分辨率初始估计网格图像

步骤3，由图像边界延拓模块对每帧高分辨率初始估计网格图像进行图像边界延拓，得到延拓后图像将高分辨率初始估计网格图像边缘根据镜像延拓算法进行延拓，能够在超分辨率重建中保留图像边缘信息；延拓区域宽度width由式三得到：

$width=\frac{p}{2}+\frac{(q-1)\×s+1}{2}$ 式三；

步骤4，由权值调节因子模块获取权值调节因子h，即计算步骤3中每帧高分辨率初始估计网格图像的像素平均灰度值差avgΔx，由avgΔx计算出当前帧图像权值矩阵的权值调节因子h；包括以下子步骤：

步骤4.1.由权值矩阵获取子单元进行权值矩阵W的获取，即根据权值调节因子h基于式一进行权值计算，计算高分辨率初始估计网格图像中，以像素(k,l)为中心的搜索窗中每个像素(i,j)对应的权值w_(k,l,i,j,t)，遍历完高分辨率初始估计网格图像中所有像素后得到权值矩阵W：

$w_{(k,l,i,j,t)}=\exp (-\frac{\left|\right|R_{k,l}{Z}_{t_0}-R_{si,sj}{Y}_t|{|}_1^1}{h^2})$ 式一

其中，是以像素(k,l)为中心的q×q图像子块比较窗；是以像素(i,j)为中心的q×q图像子块比较窗；h是权值调节因子；

步骤4.2.由高分辨率网格图像获取子单元将低分辨率字符图像观测序列{y_t}进行零填充上采样得到高分辨率网格图像{Y_t,s}，将高分辨率网格图像{Y_t,s}点乘以权值矩阵W，加权平均后归一化处理得到初始超分辨率重建结果

步骤5，由逐点超分辨率重建模块进行逐点超分辨率重建，即针对步骤3中的高分辨率初始估计网格图像中每个像素点(k,l)，依据(k,l)为中心的对应搜索窗，进行Z字型遍历逐点进行超分辨率重建计算；

步骤6，由迭代更新模块以代替步骤3中的高分辨率初始估计网格图像重复步骤4、5、6进行高分辨率网格图像数据迭代更新，得到n次迭代后的重建结果

步骤7，由字符图像去模糊模块用自适应TV去模糊算法对步骤6中获取的重建超分辨率重建结果进行去模糊，最终得到去模糊的清晰高分辨率字符图像

2.根据权利要求1所述的针对文字图像的稀疏约束自适应NLM超分辨率重建方法，其特征在于，所述步骤1中，超分辨率升尺度因子s的选择取值为2至5，重建图像空间分辨率能达到原图的2到5倍。

3.根据权利要求1所述的针对文字图像的稀疏约束自适应NLM超分辨率重建方法，其特征在于，所述步骤1中，低分辨率字符图像比较窗尺寸q指在低分辨率格字符图像上用来相似性计算的比较窗大小，重建算法中低分辨率网格图像比较窗尺寸对应的高分辨率网格图像比较窗尺寸Q由式二得到，低分辨率字符图像比较窗大小根据图像字符的纹理特征来调整：

Q＝(q-1)×s+1式二。

4.根据权利要求1所述的针对文字图像的稀疏约束自适应NLM超分辨率重建方法，其特征在于，所述步骤4中，权值调节因子h的选择与图像纹理特征相关，通过计算图像统计特征中的像素平均灰度值差avgΔx实现自适应选择h，如下式所示：

$h=\sqrt{(\frac{avg\mathrm{\Δ}x}{2}\×{\log }_{10}e)/6},e=2.71828...$ 式四

其中，avgΔx是高分辨率初始估计网格图像的像素平均灰度值差，如式五所示：

$avg\mathrm{\Δ}x=\frac{\{\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\underset{j=i+1}{\overset{n}{\mathrm{\Σ}}}\[pixel\left(i\right)-pixel\left(j\right)\]\}}{n(n-1)/2}$ 式五

其中，n是图像中总像素个数，pixel(i)是第i个像素的灰度值。

5.根据权利要求1所述的针对文字图像的稀疏约束自适应NLM超分辨率重建方法，其特征在于，所述的步骤4中，权值计算公式中图像相似性度量方法根据字符图像的细小纹理和空域结构稀疏的特点，采用式六L-1范数图像距离来度量图像子块的相似性，即imgdist为图像子块相似性距离参数：

$imgdist=\left|\right|R_{k,l}{Z}_{t_0}-R_{si,sj}{Y}_t|{|}_1^1$ 式六。