CN102013094A - 提高文本图像清晰度的方法及系统 - Google Patents

Abstract

本发明揭示了一种提高文本图像清晰度的方法及系统，先拍摄一幅文档图像，接着近距离拍摄文档的各个局部区域；然后提取这些清晰的局部区域图像以及原文档图像的特征点，接着进行匹配，得到局部图像与原文档图像的对应匹配特征点；根据特征点对，计算局部图像到原文档图像的透视变换矩阵；然后按照透视变化矩阵将清晰的局部图像进行变换，将变换后的局部图像去替代原来文档图像所在的区域。本发明采用图像处理、计算机视觉等领域的技术，利用多幅清晰的局部文档图像去替代原来文档的所在区域，通过这种替代方式提高了图像的清晰度，也使文字更容易辨别。本发明解决了用户使用相机在拍摄一幅较大文档时，拍摄到的文本图片模糊不清的问题。

Description

提高文本图像清晰度的方法及系统

技术领域

本发明属于图像处理技术领域，涉及一种提高图像清晰度的方法，尤其涉及一种提高文本图像清晰度的方法；同时，本发明还涉及一种提高文本图像清晰度的系统。

背景技术

随着智能相机性能的提升，目前自带的数码相机已经成为了智能手机的标准配置了。人们经常用手机上的相机来扫描或者拍摄文本图像。而目前的智能手机上的扫描仪功能，都是先用相机拍摄文本图片后，再加上一些图像预处理，就得到最终的扫描结果。这种手机扫描仪存在一个比较明显的缺点就是当所拍摄的文本(文档)比较大时，由于相机相对离的较远，此时得到的图像中文字分辨率比较低，噪声大，导致文本图片中的很多文字都不是很清楚。

引起字体模糊的主要原因是：

(1)手机的相机像素有限，一般的手机相机拍出来的照片像素都是介于三百万至五百万之间，因此对于一幅较大的文档时，要想拍清楚文档的所有细节，是不太可能的。

(2)由于要拍摄出完整的文档，文档较大时必然要使相机离得比较远，因此在较远时，镜头对平面文档的对焦不可能非常准确，此时必会引起文本图像的模糊。

对于提高图像的清晰度和分辨率的方法中，专利“United States Patent7106914：Bayesian image super resolution”和专利“United States Patent7613363：Image superresolution through edge extraction and contrastenhancement都介绍了提高图像分辨率使图像更清楚的方法。中国专利CN200910153544.0也公开了一种适用于压缩域的视频超分辨率方法，充分利用前后多帧的信息来超分辨率重建目标帧，主要包括以下步骤：首先，解压缩低分辨视频，得到各种信息；然后，利用得到的信息，使用贝叶斯框架，来分别得到当前窗口内的各单幅超分辨率图像；最后，利用当前窗口内的各单幅超分辨率图像来重建目标帧的最终的超分辨率图像。

上述方案均通过拍摄多幅相同分辨率的图像，然后通过一定的算法处理从而提高文本图像的清晰度，这类方法的一大缺点就是所花时间较长，而且对提高文本图像的清晰度效果不是很明显，不太适合用于手机平台，也不适合处理文本图像。

发明内容

本发明所要解决的技术问题是：提供一种提高文本图像清晰度的方法，可提高整个文档图像的清晰度。

此外，本发明进一步提供一种提高文本图像清晰度的系统，可提高整个文档图像的清晰度。

为解决上述技术问题，本发明采用如下技术方案：

一种提高文本图像清晰度的方法，先拍摄一幅文档图像，接着近距离拍摄文档的各个局部区域，然后提取这些清晰的局部区域图像以及原文档图像的特征点，接着进行匹配，得到局部图像与原文档图像的对应匹配特征点，根据特征点对，计算局部图像到原文档图像的透视变换矩阵，然后按照透视变化矩阵将清晰的局部图像进行变换，将变换后的局部图像去替代原来文档图像所在的区域，利用这种替代方式最后提高整个文档图像的清晰度。

一种提高文本图像清晰度的方法，所述方法包括如下步骤：

S1、拍摄整幅文本图像；

S2、拍摄该文本的各个局部区域；

S3、提取局部区域图像以及原整幅图像的特征点，进行匹配，得到局部图像与原文本图像的对应匹配特征点；

S4、根据特征点对，计算局部图像到原文本图像的透视变换矩阵；

S5、按照透视变化矩阵将清晰的局部图像进行变换；

S6、将变换后的局部图像替代整幅文本图像中对应的区域。

作为本发明的一种优选方案，所述步骤S1中，拍摄整幅文本图像的方法为：调整相机离文本的距离，当要拍摄的文本恰好充满整个手机屏幕，此时按下拍摄按钮，得到初始的文本图像。

作为本发明的一种优选方案，所述步骤S2中，调整相机的距离，使相机离文本更近些；当所要拍摄的文本局部区域占整个文本面积的设定范围时，按下拍摄按钮；此时由于相机距离文本较近，所获得局部图像中的文字将更加清楚。

作为本发明的一种优选方案，所述步骤S3中，局部图像跟整幅文本图像进行特征匹配的方法包括：

S31，确定感兴趣的特征关键点；S32，提取关键点周围区域的特征向量描述子；S33，通过特征点的欧式距离来匹配各个特征向量描述子；

步骤S33中，匹配策略采用最近邻比例匹配：对于二幅图像的特征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的二个特征点，如果最近点的距离d_nearst除以第二近点的距离d_second小于设定阈值，则认为该最近点为匹配点，否则不接收。

作为本发明的一种优选方案，所述步骤S4中，根据匹配的特征点对计算透视变换矩阵的方法为：

根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵；

设定src_points为整幅文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表示点的数目；设定dst_points为局部图像所在平面的匹配点坐标，大小为2xN；

透视变化矩阵为3×3的矩阵，使得

$s_i\left[\begin{array}{c}{x}_i^{\′}\\ y_i^{\′}\\ 1\end{array}\right]\≈H\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right];$

其中(x_i，y_i，1)为dst_points一个点的坐标，(x′_i，y′_i，1)为src_point一个点的坐标；

输出的3x3的透视变化矩阵，使得反投影错误总和最小，即下式最小：

$\underset{i}{\mathrm{\Σ}}({(x_i^{\′}-\frac{h_{11}{x}_i+h_{12}{y}_i+h_{13}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2+{(y_i^{\′}-\frac{h_{21}{x}_i+h_{22}{y}_i+h_{23}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2).$

作为本发明的一种优选方案，所述步骤S5中，通过透视变换矩阵对局部图像进行变换的方法为：

得到透视变化矩阵之后，将局部图像的每个像素点按照透视变化矩阵进行变换，得到变换后的局部图像，变化后的局部图像将和整幅文本图像处于同一坐标系下。

作为本发明的一种优选方案，所述步骤S6包括：计算有效区域，将变换后的局部图像按照有效区域进行粘贴；

有效区域的计算方法为：变化之前局部图像的四个顶点，左上点，右上点，左下点，右下点。这个四个点通过透视变化矩阵变换，得到变换后的位置坐标，然后计算这四个变换后顶点的有效的内接矩形，此内接矩形代表要要粘贴的有效区域；

按照有效区域进行粘贴局部图像的方法为：通过计算出来的粘贴区域，将要进行粘贴的区域中，直接用局部图像像素替代原始文本图像的像素。

一种提高文本图像清晰度的方法，所述方法包括如下步骤：

步骤110，获取文本全图；

步骤120，将相机离的近些，拍摄文本的局部区域，得到待粘贴的清晰局部图像；

步骤130，将局部图像与文本全图进行特征匹配；

步骤140，判断特征匹配是否成功；判断标准：匹配上的特征点对是否达到设定值，如低于设定值，无法计算透视变化矩阵，则判断为失败，转到步骤170，如特征匹配对的点数达到或超过设定值，判断匹配成功，转到步骤150；

步骤150，通过步骤130得到的匹配上的特征点，计算二幅图像之间的透视变化矩阵，并将局部图像依照透视变化矩阵进行变换；

步骤160，将变换后的局部图像替代原文本全图的相应区域；

步骤170，判断：是否还有需要拍摄的其它局部区域；如还有，转到步骤120，拍摄文本的下一个区域，如没有要拍摄的局部区域，则转到步骤180；

步骤180，结束。

一种提高文本图像清晰度的系统，所述系统包括：

摄像单元，用以拍摄整幅文本图像，同时用于拍摄该文本的各个局部区域；

特征点匹配单元，用以提取局部区域图像以及原整幅图像的特征点，进行匹配，得到局部图像与原文本图像的对应匹配特征点；

透视变换矩阵计算单元，用以根据特征点对，计算局部图像到原文本图像的透视变换矩阵；

局部图像变换单元，用以按照透视变化矩阵将清晰的局部图像进行变换；

整合单元，用以将变换后的局部图像替代整幅文本图像中对应的区域。

作为本发明的一种优选方案，所述特征点匹配单元将局部图像跟整幅文本图像进行特征匹配的方法包括：

步骤131，确定感兴趣的特征关键点；步骤132，提取关键点周围区域的特征向量描述子；步骤133，通过特征点的欧式距离来匹配各个特征向量描述子；

匹配策略采用最近邻比例匹配：对于二幅图像的特征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的二个特征点，如果最近点的距离d_nearst除以第二近点的距离d_sec ond小于设定阈值，则认为该最近点为匹配点，否则不接收；

所述透视变换矩阵计算单元根据匹配的特征点对计算透视变换矩阵的方法为：根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵；设定src_points为整幅文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表示点的数目；设定dst_points为局部图像所在平面的匹配点坐标，大小为2xN；透视变化矩阵为3×3的矩阵，使得

其中(x_i，y_i，1)为dst_points中一个点的坐标，(x′_i，y′_i，1)为src_point中一个点的坐标；输出的3x3的透视变化矩阵，使得反投影错误总和最小，即下式最小：

$\underset{i}{\mathrm{\Σ}}({(x_i^{\′}-\frac{h_{11}{x}_i+h_{12}{y}_i+h_{13}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2+{(y_i^{\′}-\frac{h_{21}{x}_i+h_{22}{y}_i+h_{23}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2);$

所述局部图像变换单元通过透视变换矩阵对局部图像进行变换的方法为：得到透视变化矩阵之后，将局部图像的每个像素点按照透视变化矩阵进行变换，得到变换后的局部图像，变化后的局部图像将和整幅文本图像处于同一坐标系下；

所述整合单元包括：有效区域计算单元，用以将变换后的局部图像按照有效区域进行粘贴的粘贴单元；

所述有效区域计算单元的计算方法为：变化之前局部图像的四个顶点，左上点，右上点，左下点，右下点；这个四个点通过透视变化矩阵变换，得到变换后的位置坐标，然后计算这四个变换后顶点的有效的内接矩形，此内接矩形代表要要粘贴的有效区域；

所述粘贴单元按照有效区域进行粘贴局部图像的方法为：通过计算出来的粘贴区域，将要进行粘贴的区域中，直接用局部图像像素替代原始文本图像的像素。

为了实行本发明，一般需具备如下硬件条件：智能手机或者数码相机，该设备中需要有一般的运算和存储装置，包括一定频率的CPU(中央处理器)，有一定用来运算的内存和用来存储系统软件，应用软件和各种数据的存储空间等。智能手机或者数码相机要有自动对焦的功能。

本发明的有益效果在于：本发明提出的提高文本图像清晰度的方法及系统，采用图像处理，计算机视觉等领域的技术，利用多幅清晰的局部文档图像去替代原来文档的所在区域，通过这种替代方式提高了图像的清晰度，也使文字更容易辨别。本发明解决了用户使用相机在拍摄一幅较大文档时，拍摄到的文本图片模糊不清的问题。

附图说明

图1为本发明提高文本图像清晰度方法的流程图。

图2为获取整幅文本图像的示意图。

图3为获取局部文本图像的示意图。

图4为获取的局部文本图像的示意图。

图5为局部图像跟文档原图进行特征匹配的示意图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例一

本发明揭示了本发明提供了一种提高文本图像清晰度的方法，先拍摄一幅文档图像，接着近距离拍摄文档的各个局部区域，然后提取这些清晰的局部区域图像以及原文档图像的特征点，接着进行匹配，得到局部图像与原文档图像的对应匹配特征点，根据特征点对，计算局部图像到原文档图像的透视变换矩阵，然后按照透视变化矩阵将清晰的局部图像进行变换，将变换后的局部图像去替代原来文档图像所在的区域，利用这种替代方式最后提高整个文档图像的清晰度。

请参阅图1，本实施例中，提高文本图像清晰度的方法的具体步骤如下：

【步骤110】获取文本全图。

获取初始文本图像的方式为：

调整相机离文档的距离，当要拍摄的文档恰好充满整个手机屏幕，此时按下拍摄按钮，得到初始的文本图像。初始文本图像获取的示例见图1。

【步骤120】将相机离的近些，拍摄文本的局部区域，得到待粘贴的清晰局部图像。

获取局部图像的拍摄方式为：

调整相机的距离，使相机离文档更近些，当所要拍摄的文档局部区域占整个文档面积的1/6至1/3时(具体大小由用户自主决定)，按下拍摄按钮，此时由于相机距离文档较近，所获得局部图像中的文字将更加清楚。局部图像拍摄的示例见图2、图3。

【步骤130】将局部图像与文本全图进行特征匹配。

局部图像跟初始文本图像进行特征匹配的方法为：

在现有技术中，提取图像中的特征点，然后根据特征点的描述子进行匹配的方法有很多，其中SIFT(scale invariant Features)就是一种很好的尺度不变局部特征，它对平移、旋转、尺度、亮度变化具有不变性，同时对一定范围内的噪声、仿射变换以及光照变化也都保持一定程度的鲁棒性。(Lowe，D.Distinctive image features from scale-invariant keypoints，IJCV，volume60，pages 91-110，2004)。基于SIFT的特征匹配包括三个步骤：第一，确定感兴趣的特征关键点(feature detection)。第二，提取关键点周围区域的特征向量描述子(feature description)。第三，各个特征向量描述子之间的匹配(feature matching)。度量的方法一般采用欧式距离。

匹配策略采用最近邻比例匹配：比如对于二幅图像的特征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的二个特征点，如果最近点的距离d_nearst除以第二近点的距离d_sec ond小于设定阈值，这认为该最近点为匹配点，否则不接收。这种匹配方法准确率比较高，因为是匹配点的话，第一近邻点代表正确匹配点，则第二近邻点为不正确匹配点。一般情况下，不正确点的距离要比正确点的距离大。由此可以推出d_nearst/d_sec ond的比值比较小。如果不是匹配点，由于第一近和第二近的特征向量都是不匹配，二者的距离差异性比较小，因此d_nearst/d_sec ond比值将会比较接近1。通过最近邻匹配，设置合理的比例阈值，一般设置为0.7，就可以很好的找出匹配点。图像之间特征匹配的示例见图4。

【步骤140】判断特征匹配是否成功。判断标准：匹配上的特征点对是否达到四个以上，如低于四个，无法计算透视变化矩阵，则判断为失败，转到步骤170，如特征匹配对的点数超过四个，判断为成功，转到步骤150。

【步骤150】通过步骤130得到的匹配上的特征点，计算二幅图像之间的透视变化矩阵，并将局部图像依照透视变化矩阵进行变换。

根据匹配的特征点对计算透视变换矩阵的方法为：

根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵(homography矩阵)。

在这里假设src_points为初始文本图像中所在平面的匹配点坐标，大小为2xN，这儿N表示点的数目。假设dst_points为局部图像所在平面的匹配点坐标，大小为2xN。

homography为3×3的矩阵，使得

$s_i\left[\begin{array}{c}{x}_i^{\′}\\ y_i^{\′}\\ 1\end{array}\right]\≈H\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]$

其中(x_i，y_i，1)为dst_points一个点的坐标，(x′_i，y′_i，1)为src_point一个点的坐标。

输出的3x3的homography矩阵，使得反投影错误总和最小，即下式最小：

$\underset{i}{\mathrm{\Σ}}({(x_i^{\′}-\frac{h_{11}{x}_i+h_{12}{y}_i+h_{13}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2+{(y_i^{\′}-\frac{h_{21}{x}_i+h_{22}{y}_i+h_{23}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2)$

通过透视变换矩阵对局部图像进行变换的方法为：

得到透视变化矩阵(homography矩阵)之后，将局部图像的每个像素点按照homography矩阵进行变换，得到变换后的局部图像，这样子变化后的局部图像将和初始文本图像处于同一坐标系下。

【步骤160】将变换后的局部图像，替代原文档全图的相应区域；包括：计算有效区域，将变换后的局部图像按照有效区域进行粘贴。

有效区域的计算的方法为：

变化之前局部图像的四个顶点，左上点，右上点，左下点，右下点。这个四个点通过透视变化矩阵变换，得到变换后的位置坐标，然后计算这四个变换后顶点的有效的内接矩形，此内接矩形代表要要粘贴的有效区域。

将变换后的局部图像，按照有效区域进行粘贴的方法为：

通过上面计算出来的粘贴区域，将要进行粘贴的区域中，直接用局部图像像素替代原始文本图像的像素。

【步骤170】判断：是否还有需要拍摄的其它局部区域。如还有，转到步骤120，拍摄文本的下一个区域，如没有要拍摄的局部区域，则转到步骤180。

【步骤180】结束。

综上所述，本发明提出的提高文本图像清晰度的方法，采用图像处理，计算机视觉等领域的技术，利用多幅清晰的局部文档图像去替代原来文档的所在区域，通过这种替代方式提高了图像的清晰度，也使文字更容易辨别。本发明解决了用户使用相机在拍摄一幅较大文档时，拍摄到的文本图片模糊不清的问题。

实施例二

本实施例揭示一种提高文本图像清晰度的系统，所述系统包括：摄像单元、特征点匹配单元、透视变换矩阵计算单元、局部图像变换单元、整合单元。

摄像单元用以拍摄整幅文本图像，同时用于拍摄该文本的各个局部区域。

特征点匹配单元用以提取局部区域图像以及原整幅图像的特征点，进行匹配，得到局部图像与原文本图像的对应匹配特征点。

透视变换矩阵计算单元用以根据特征点对，计算局部图像到原文本图像的透视变换矩阵。

局部图像变换单元用以按照透视变化矩阵将清晰的局部图像进行变换。

整合单元用以将变换后的局部图像替代整幅文本图像中对应的区域。

所述特征点匹配单元将局部图像跟整幅文本图像进行特征匹配的方法包括：步骤131，确定感兴趣的特征关键点；步骤132，提取关键点周围区域的特征向量描述子；步骤133，通过特征点的欧式距离来匹配各个特征向量描述子。

匹配策略采用最近邻比例匹配：对于二幅图像的特征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的二个特征点，如果最近点的距离d_nearst除以第二近点的距离d_sec ond小于设定阈值，则认为该最近点为匹配点，否则不接收。

所述透视变换矩阵计算单元根据匹配的特征点对计算透视变换矩阵的方法为：根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵。

设定src_points为初始文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表示点的数目；设定dst_points为局部图像所在平面的匹配点坐标，大小为2xN；透视变化矩阵为3×3的矩阵，使得

其中(x_i，y_i，1)为dst_points点对应的齐次坐标，(x′_i，y′_i，1)为src_points点对应的齐次坐标。

在计算匹配点的阶段，得到src_points和dst_points是笛卡尔坐标，对于N个点，大小是2×N。而在计算透视变化矩阵H时，采用的是齐次坐标。齐次坐标用N+1个分量来描述N维的笛卡尔坐标。比如，2D齐次坐标是在笛卡尔坐标(x，y)的基础上增加一个新分量1，变成(x，y，1)。例如：笛卡尔坐标中的点(1，2)在齐次坐标中就是(1，2，1)。

输出的3x3的透视变化矩阵，使得反投影错误总和最小，即下式最小：

$\underset{i}{\mathrm{\Σ}}({(x_i^{\′}-\frac{h_{11}{x}_i+h_{12}{y}_i+h_{13}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2+{(y_i^{\′}-\frac{h_{21}{x}_i+h_{22}{y}_i+h_{23}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2);$

所述局部图像变换单元通过透视变换矩阵对局部图像进行变换的方法为：得到透视变化矩阵之后，将局部图像的每个像素点按照透视变化矩阵进行变换，得到变换后的局部图像，变化后的局部图像将和整幅文本图像处于同一坐标系下。

所述整合单元包括：有效区域计算单元，用以将变换后的局部图像按照有效区域进行粘贴的粘贴单元。

所述有效区域计算单元的计算方法为：变化之前局部图像的四个顶点，左上点，右上点，左下点，右下点；这个四个点通过透视变化矩阵变换，得到变换后的位置坐标，然后计算这四个变换后顶点的有效的内接矩形，此内接矩形代表要要粘贴的有效区域。

所述粘贴单元按照有效区域进行粘贴局部图像的方法为：通过计算出来的粘贴区域，将要进行粘贴的区域中，直接用局部图像像素替代原始文本图像的像素。

这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。

Claims (14)

1.一种提高文本图像清晰度的方法，其特征在于，所述方法包括如下步骤：步骤110，获取文本全图；方法为：调整相机离文本的距离，当要拍摄的文本恰好充满整个手机屏幕，此时按下拍摄按钮，得到初始的文本图像；步骤120，调整相机与文件间的距离，拍摄文本的局部区域，得到待粘贴的清晰局部图像；

步骤130，将局部图像与文本全图进行特征匹配；特征匹配的方法包括：步骤131，确定感兴趣的特征关键点；步骤132，提取关键点周围区域的特征向量描述子；步骤133，通过特征点的欧式距离来匹配各个特征向量描述子；步骤133中，匹配策略采用最近邻比例匹配：对于二幅图像的特征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的二个特征点，如果最近点的距离d_nearst除以第二近点的距离d_sec ond小于设定阈值，则认为该最近点为匹配点，否则不接收；

步骤140，判断特征匹配是否成功；判断标准：匹配上的特征点对是否达到设定值，如低于设定值，无法计算透视变化矩阵，则判断为失败，转到步骤170，如特征匹配对的点数达到或超过设定值，判断匹配成功，转到步骤150；

步骤150，通过步骤130得到的匹配上的特征点，计算二幅图像之间的透视变化矩阵，并将局部图像依照透视变化矩阵进行变换；其中，根据匹配的特征点对计算透视变换矩阵的方法为：根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵；设定src_points为初始文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表示点的数目；设定dst_points为局部图像所在平面的匹配点坐标，大小为2xN；透视变化矩阵为3×3的矩阵，使得

其中(x_i，y_i，1)为dst_points中一个点的坐标，(x′_i，y′_i，1)为src_point中一个点的坐标；输出的3x3的透视变化矩阵，使得反投影错误总和最小，即下式最小：其中，通过透视变换矩阵对局部图像进行变换的方法为：得到透视变化矩阵之后，将局部图像的每个像素点按照透视变化矩阵进行变换，得到变换后的局部图像，变化后的局部图像将和初始文本图像处于同一坐标系下；

步骤160，将变换后的局部图像替代原文本全图的相应区域；步骤160包括：计算有效区域，将变换后的局部图像按照有效区域进行粘贴；有效区域的计算方法为：变化之前局部图像的四个顶点，左上点，右上点，左下点，右下点；这个四个点通过透视变化矩阵变换，得到变换后的位置坐标，然后计算这四个变换后顶点的有效的内接矩形，此内接矩形代表要要粘贴的有效区域；按照有效区域进行粘贴局部图像的方法为：通过计算出来的粘贴区域，将要进行粘贴的区域中，直接用局部图像像素替代原始文本图像的像素；

步骤170，判断：是否还有需要拍摄的其它局部区域；如还有，转到步骤120，拍摄文本的下一个区域，如没有要拍摄的局部区域，则转到步骤180；步骤180，结束。

2.一种提高文本图像清晰度的方法，其特征在于，所述方法包括如下步骤：

S1、拍摄整幅文本图像；

S2、拍摄该文本的各个局部区域；

S3、提取局部区域图像以及原整幅图像的特征点，进行匹配，得到局部图像与原文本图像的对应匹配特征点；

S4、根据特征点对，计算局部图像到原文本图像的透视变换矩阵；

S5、按照透视变化矩阵将清晰的局部图像进行变换；

S6、将变换后的局部图像替代整幅文本图像中对应的区域。

3.根据权利要求2所述的提高文本图像清晰度的方法，其特征在于：

所述步骤S1中，拍摄整幅文本图像的方法包括：调整相机离文本的距离，当要拍摄的文本恰好充满整个手机屏幕，此时按下拍摄按钮，得到初始的文本图像；

所述步骤S2中，调整相机的距离，使相机离文本更近些；当所要拍摄的文本局部区域占整个文本面积的设定范围时，按下拍摄按钮；此时由于相机距离文本较近，所获得局部图像中的文字将更加清楚。

4.根据权利要求2所述的提高文本图像清晰度的方法，其特征在于：

所述步骤S3中，局部图像跟整幅文本图像进行特征匹配的方法包括：

S31，确定感兴趣的特征关键点；S32，提取关键点周围区域的特征向量描述子；S33，通过特征点的欧式距离来匹配各个特征向量描述子；

步骤S33中，匹配策略采用最近邻比例匹配：对于二幅图像的特征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的二个特征点，如果最近点的距离d_nearst除以第二近点的距离d_sec ond小于设定阈值，则认为该最近点为匹配点，否则不接收。

5.根据权利要求2所述的提高文本图像清晰度的方法，其特征在于：

所述步骤S4中，根据匹配的特征点对计算透视变换矩阵的方法包括：

根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵；

设定src_points为整幅文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表示点的数目；设定dst_points为局部图像所在平面的匹配点坐标，大小为2xN；

透视变化矩阵为3×3的矩阵，使得

$s_i\left[\begin{array}{c}{x}_i^{\′}\\ y_i^{\′}\\ 1\end{array}\right]\≈H\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right];$

其中(x_i，y_i，1)为dst_points一个点的坐标，(x′_i，y′_i，1)为src_point一个点的坐标；

输出的3x3的透视变化矩阵，使得反投影错误总和最小，即下式最小：

$\underset{i}{\mathrm{\Σ}}({(x_i^{\′}-\frac{h_{11}{x}_i+h_{12}{y}_i+h_{13}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2+{(y_i^{\′}-\frac{h_{21}{x}_i+h_{22}{y}_i+h_{23}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2).$

6.根据权利要求2所述的提高文本图像清晰度的方法，其特征在于：

所述步骤S5中，通过透视变换矩阵对局部图像进行变换的方法包括：

得到透视变化矩阵之后，将局部图像的每个像素点按照透视变化矩阵进行变换，得到变换后的局部图像，变化后的局部图像将和整幅文本图像处于同一坐标系下。

7.根据权利要求2所述的提高文本图像清晰度的方法，其特征在于：

所述步骤S6包括：计算有效区域，将变换后的局部图像按照有效区域进行粘贴；

有效区域的计算方法为：变化之前局部图像的四个顶点，左上点，右上点，左下点，右下点；这个四个点通过透视变化矩阵变换，得到变换后的位置坐标，然后计算这四个变换后顶点的有效的内接矩形，此内接矩形代表要要粘贴的有效区域；

按照有效区域进行粘贴局部图像的方法为：通过计算出来的粘贴区域，将要进行粘贴的区域中，直接用局部图像像素替代原始文本图像的像素。

8.一种提高文本图像清晰度的方法，其特征在于，所述方法包括如下步骤：

步骤110，获取文本全图；

步骤120，将相机离的近些，拍摄文本的局部区域，得到待粘贴的清晰局部图像；

步骤130，将局部图像与文本全图进行特征匹配；

步骤140，判断特征匹配是否成功；判断标准：匹配上的特征点对是否达到设定值，如低于设定值，无法计算透视变化矩阵，则判断为失败，转到步骤170，如特征匹配对的点数达到或超过设定值，判断匹配成功，转到步骤150；

步骤150，通过步骤130得到的匹配上的特征点，计算二幅图像之间的透视变化矩阵，并将局部图像依照透视变化矩阵进行变换；

步骤160，将变换后的局部图像替代原文本全图的相应区域；

步骤170，判断：是否还有需要拍摄的其它局部区域；如还有，转到步骤120，拍摄文本的下一个区域，如没有要拍摄的局部区域，则转到步骤180；步骤180，结束。

9.根据权利要求8所述的提高文本图像清晰度的方法，其特征在于：

所述步骤130中，局部图像跟初始文本图像进行特征匹配的方法包括：

步骤131，确定感兴趣的特征关键点；步骤132，提取关键点周围区域的特征向量描述子；步骤133，通过特征点的欧式距离来匹配各个特征向量描述子；

步骤133中，匹配策略采用最近邻比例匹配：对于二幅图像的特征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的二个特征点，如果最近点的距离d_nearst除以第二近点的距离d_sec ond小于设定阈值，则认为该最近点为匹配点，否则不接收。

10.根据权利要求8所述的提高文本图像清晰度的方法，其特征在于：

所述步骤150中，根据匹配的特征点对计算透视变换矩阵的方法包括：

根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵；

设定src_points为初始文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表示点的数目；设定dst_points为局部图像所在平面的匹配点坐标，大小为2xN；

透视变化矩阵为3×3的矩阵，使得

$s_i\left[\begin{array}{c}{x}_i^{\′}\\ y_i^{\′}\\ 1\end{array}\right]\≈H\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right];$

其中(x_i，y_i，1)为dst_points中一个点的坐标，(x′_i，y′_i，1)为src_point中一个点的坐标；

输出的3x3的透视变化矩阵，使得反投影错误总和最小，即下式最小：

$\underset{i}{\mathrm{\Σ}}({(x_i^{\′}-\frac{h_{11}{x}_i+h_{12}{y}_i+h_{13}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2+{(y_i^{\′}-\frac{h_{21}{x}_i+h_{22}{y}_i+h_{23}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2).$

11.根据权利要求8所述的提高文本图像清晰度的方法，其特征在于：

所述步骤150中，通过透视变换矩阵对局部图像进行变换的方法包括：

得到透视变化矩阵之后，将局部图像的每个像素点按照透视变化矩阵进行变换，得到变换后的局部图像，变化后的局部图像将和初始文本图像处于同一坐标系下。

12.根据权利要求8所述的提高文本图像清晰度的方法，其特征在于：

所述步骤160包括：计算有效区域，将变换后的局部图像按照有效区域进行粘贴；

有效区域的计算方法为：变化之前局部图像的四个顶点，左上点，右上点，左下点，右下点；这个四个点通过透视变化矩阵变换，得到变换后的位置坐标，然后计算这四个变换后顶点的有效的内接矩形，此内接矩形代表要要粘贴的有效区域；

按照有效区域进行粘贴局部图像的方法为：通过计算出来的粘贴区域，将要进行粘贴的区域中，直接用局部图像像素替代原始文本图像的像素。

13.一种提高文本图像清晰度的系统，其特征在于，所述系统包括：

摄像单元，用以拍摄整幅文本图像，同时用于拍摄该文本的各个局部区域；

特征点匹配单元，用以提取局部区域图像以及原整幅图像的特征点，进行匹配，得到局部图像与原文本图像的对应匹配特征点；

透视变换矩阵计算单元，用以根据特征点对，计算局部图像到原文本图像的透视变换矩阵；

局部图像变换单元，用以按照透视变化矩阵将清晰的局部图像进行变换；

整合单元，用以将变换后的局部图像替代整幅文本图像中对应的区域。

14.根据权利要求13所述的提高文本图像清晰度的系统，其特征在于：

所述特征点匹配单元将局部图像跟整幅文本图像进行特征匹配的方法包括：

步骤131，确定感兴趣的特征关键点；步骤132，提取关键点周围区域的特征向量描述子；步骤133，通过特征点的欧式距离来匹配各个特征向量描述子；

匹配策略采用最近邻比例匹配：对于二幅图像的特征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的二个特征点，如果最近点的距离d_nearst除以第二近点的距离d_sec ond小于设定阈值，则认为该最近点为匹配点，否则不接收；

所述透视变换矩阵计算单元根据匹配的特征点对计算透视变换矩阵的方法为：根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵；设定src_points为整幅文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表示点的数目；设定dst_points为局部图像所在平面的匹配点坐标，大小为2xN；透视变化矩阵为3×3的矩阵，使得

其中(x_i，y_i，1)为dst_points中一个点的坐标，(x′_i，y′_i，1)为src_point中一个点的坐标；输出的3x3的透视变化矩阵，使得反投影错误总和最小，即下式最小： $\underset{i}{\mathrm{\Σ}}({(x_i^{\′}-\frac{h_{11}{x}_i+h_{12}{y}_i+h_{13}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2+{(y_i^{\′}-\frac{h_{21}{x}_i+h_{22}{y}_i+h_{23}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2);$

所述局部图像变换单元通过透视变换矩阵对局部图像进行变换的方法为：得到透视变化矩阵之后，将局部图像的每个像素点按照透视变化矩阵进行变换，得到变换后的局部图像，变化后的局部图像将和整幅文本图像处于同一坐标系下；

所述整合单元包括：有效区域计算单元，用以将变换后的局部图像按照有效区域进行粘贴的粘贴单元；

所述有效区域计算单元的计算方法为：变化之前局部图像的四个顶点，左上点，右上点，左下点，右下点；这个四个点通过透视变化矩阵变换，得到变换后的位置坐标，然后计算这四个变换后顶点的有效的内接矩形，此内接矩形代表要要粘贴的有效区域；

所述粘贴单元按照有效区域进行粘贴局部图像的方法为：通过计算出来的粘贴区域，将要进行粘贴的区域中，直接用局部图像像素替代原始文本图像的像素。

Images