CN101976449A - 拍摄多幅文本图像并拼接的方法 - Google Patents

Abstract

本发明揭示了一种拍摄多幅文本图像并拼接的方法，所述方法包括如下步骤：拍摄整个文本，得到的整个文本全图作为模板图像；将整个文本全图划分为L个区域；计算要拍摄的区域，并逐次拍摄；如果上一次拍摄的是第k个区域，则此次要拍摄的是第k+1个区域；将模板图像中的对应区域的图像设置为半透明，并充满屏幕的填充区域；基于半透明模板图像的拍摄提示，用户拍摄对应区域文本的局部图像；判断文档的所有局部图像是否拍摄完，如果判断还有要拍摄的局部图像，则继续拍摄。本发明能够保证拍摄到所有的局部图像能够覆盖了整个文档区域，使用这些局部图像拼接出来的文档全图不会出现有空洞或者有缺角的情况，从而一次拼接就能够达到良好的效果。

Description

拍摄多幅文本图像并拼接的方法 

技术领域

本发明属于图像处理技术领域，涉及一种图像拼接方法，尤其涉及一种拍摄多幅文本图像并拼接的方法。 

背景技术

随着技术的发展，现在的智能手机一般都集成了带有自动对焦的数码相机功能，人们经常用手机上的相机来扫描或者拍摄文本图像。对于“名片”这种小型的文本，用手机自带的拥有自动对焦功能的相机扫描出来的文本图像，其文字都是非常清楚的，但是对于要扫描的对象是较大文档时，比如杂志封面，试卷或者A3大小的文档等等，由于现在手机上相机的像素是三百万至五百万之间，拍摄出的整个文本图像的细节必然不够，因此图像中字体会有些模糊。 

为了得到一个高分辨的文档全图，一种常用的解决方案就是采用传统的图像拼接技术，及使相机离文档比较近，先拍摄该文档的各个局部区域，得到比较清晰的局部文本图像后，再将这些局部图像拼接起来，生成一个文本全图。这样通过拼接得到的文本全图，其分辨率可以达到千万像素以上。 

但是这种方案存在的一个缺点就是：有时候用户拍摄的局部文档图像并没有完整的覆盖到文档各个区域，导致最后拼接出来的文档全图会出现空洞或者有缺角的现象。如果发现最后拼接出来的全图不完整，再重拍一下所有的局部图像进行再次拼接，这种方式非常耗费时间。 

另一个缺点就是需要每幅局部图像之间要有重叠区域，在图像拼接阶段是基 于这些重叠区域计算匹配的特征对，然后根据匹配上的特征对，计算二幅图像之间的变化矩阵，再根据变化矩阵将二幅图像变化到同一个平面上来进行拼接。如图像重叠区域过小，或者重叠区域没有纹理信息。那么各个局部图像之间的拼接将会失败，这也是现在全景拼图软件常存在的问题。为了让各个局部图像相互之间有重叠区域，那么用户在拍摄的时候就不能随意乱拍文档了，必须依次拍摄，而且保证各个拍摄的局部图像有重叠。这种有很多限制要求的拍摄方式对于手机用户来说及其不方便。 

发明内容

本发明所要解决的技术问题是：提供一种拍摄多幅文本图像并拼接的方法，能够保证拍摄到所有的局部图像能够覆盖了整个文档区域，使用这些局部图像拼接出来的文档全图不会出现有空洞或者有缺角的情况，从而一次拼接就能够达到良好的效果。 

为了克服现有技术的二个缺点，一种有效的解决方案就是在拍摄的时候，提示用户拍摄指定的区域，保证所有指定区域恰好覆盖了整个文档。另外在拼接全图的过程中，先获得一个初始的文本全图(直接用手机拍摄该文档得到的全图，该全图分辨率比较低)，然后将获得的局部图像跟初始文本全图进行特征匹配，然后根据局部图像与初始文本全图的匹配点对，将局部图像都变化到初始文本图像所在的平面，从而对各局部图像之间的重叠区域没有要求。为此，本发明提出了一种拍摄文本局部图像的方法，该方法能够使局部图像覆盖整个文档，而且拍摄的过程中也保存了初始的文本图像。 

为解决上述技术问题，本发明采用如下技术方案： 

一种拍摄多幅文本图像并拼接的方法，所述方法包括如下步骤： 

步骤110，使相机离文本较远，恰好能够拍摄整个文本，得到的整个文本全图作为模板图像； 

步骤120，用户将整个文本全图划分为N*M个均匀区域； 

步骤130，计算要拍摄的区域，如果上次拍摄的是第k个区域，则此次要拍摄的是第k+1个区域，将该区域的图像作为半透明模板图充满屏幕的填充区域，其中填充区域每条边跟屏幕边缘的距离为i个像素； 

步骤140，基于半透明文档模板图的拍摄提示，用户拍摄所在区域文档的局部图像； 

步骤150，判断文档的所有局部图像是否拍摄完，如判断结果是已经拍摄完毕，转向步骤160，如果判断还有要拍摄的局部图像，则转向步骤130； 

步骤160，将所有局部图像拼接为一幅完整全图。 

作为本发明的一种优选方案，步骤130中，提示用户拍摄下个区域的方法包括： 

以上述划分的区域为基准，把要拍摄的某区域剪切出来作为模板图像，然后在手机的拍摄屏幕中设置填充区域，填充区域的每条边缘跟显示屏边缘的距离为i个像素点； 

根据填充区域，将模板图像缩小到恰好能够充满填充区域，模板图像的像素透明度设置为半透明，使得在拍摄局部图像时，既可预览到要拍摄的局部图像，还可将要拍摄的局部图像跟模板图像进行对比。 

作为本发明的一种优选方案，所述步骤140中，拍摄局部图像的方法包括：调整相机的距离，当预览到要拍摄的局部图像跟模板图像几乎吻合时，此时按下 拍摄按钮，得到局部图像。 

作为本发明的一种优选方案，所述步骤160中，拼接步骤包括：将局部图像与模板图像进行特征匹配，接着基于匹配上的特征点对，计算局部图像与初始文本图像的透视变化矩阵，然后局部图像通过透视变化矩阵变化到初始文本图像的所在平面，经过变化处理后的所有局部图像将处于同一个平面，而后进行拼接。 

作为本发明的一种优选方案，所述步骤160具体包括： 

步骤161，将一幅还没有进行处理的局部图像与模板图像进行特征匹配，得到特征匹配点对；局部图像跟模板图像进行特征匹配的方法包括：步骤1611，确定感兴趣的特征关键点；步骤1612，提取关键点周围区域的特征向量描述子；步骤1613，通过特征点的欧式距离来匹配各个特征向量描述子；步骤1613中，匹配策略采用最近邻比例匹配：对于二幅图像的特征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的二个特征点，如果最近点的距离d_nearst除以第二近点的距离d_sec ond小于设定阈值，则认为该最近点为匹配点，否则不接收； 

步骤162，判断特征匹配是否成功；判断标准：匹配上的特征点对是否达到设定值；若低于设定值，无法计算图像之间的变化矩阵，则判断为失败，转到步骤S3重新拍摄对应图像；若特征匹配对的点数达到或超过设定值，判断为成功，转到步骤163； 

步骤163，通过匹配的特征，计算对应局部图像与模板图像之间的透视变化矩阵，然后将局部图像按照变化矩阵，得到该局部图像变换后的图片； 

其中，根据匹配上的特征点对计算透视变换矩阵的方法包括：根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵；设定 src_points为模板文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表示点的数目；设定dst_points为局部图像所在平面的匹配点坐标，大小为2xN；透视变化矩阵为3×3的矩阵，使得 

其中(x_i，y_i，1)为dst_points一个点的坐标，(x′_i，y′_i，1)为src_point一个点的坐标； 

输出的3x3的透视变化矩阵，使得反投影错误最小，即下式最小： 

$\underset{i}{\mathrm{\Σ}}({(x_i^{\′}-\frac{h_{11}{x}_i+h_{12}{y}_i+h_{13}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2+{(y_i^{\′}-\frac{h_{21}{x}_i+h_{22}{y}_i+h_{23}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2);$

将局部图像通过变换矩阵得到变换后的局部图像的方法包括：修改透视变化矩阵 

第三行(h₃₁，h₃₂，h₃₃)是控制放大缩小的系数，为此将(h₃₁，h₃₂，h₃₃)变化成(h₃₁/scale，h₃₂/scale，h₃₃/scale)，scale为局部图像变化后相对于模板图像的放大系数；通过透视变化矩阵变换后得到的局部图像，分辨率是原模板图像的scale倍；此时按照修改后的透视变化矩阵，将局部图像都变换到同一坐标系下，而后进行下一步的拼接处理； 

步骤164，判断：是否所有局部图像都已处理完；如果答案为是，则转到步骤165，否则转到步骤161，处理下一幅局部图像； 

步骤165，将所有变化后的文本图像，根据其有效区域将其拼接起来，得到拼接全图；将所有变换后的局部图像进行拼接的方法包括：将需要拼接的局部图像变化到同一坐标系之后，进行图像的拼接； 

步骤166，对拼接得到的全图进行后处理；拼接全图的后处理步骤包括：如果所有局部图像拼接出来的全图，出现漏洞或者缺角时，此时可以将模板图像放 大scale倍，然后直接用模板图像在该区域的像素填充缺失部分的区域，通过上述后处理，保证得到完整的图像。 

一种拍摄多幅文本图像并拼接的方法，拍得的多幅文本图像用于文本图像的拼接；所述方法包括如下步骤： 

步骤S1，拍摄整个文本，得到的整个文本全图作为模板图像； 

步骤S2，将整个文本全图划分为L个区域； 

步骤S3，计算要拍摄的区域，并逐次拍摄；如果上一次拍摄的是第k个区域，则此次要拍摄的是第k+1个区域，k≤L-1；将模板图像中的对应区域的图像设置为半透明，并充满屏幕的填充区域； 

步骤S4，基于半透明模板图像的拍摄提示，用户拍摄对应区域文本的局部图像； 

步骤S5，判断文档的所有局部图像是否拍摄完，如果判断还有要拍摄的局部图像，则转向步骤S3。 

一种拍摄多幅文本图像并拼接的方法，拍得的多幅文本图像用于文本图像的拼接；所述方法包括如下步骤： 

步骤S1，拍摄整个文本，得到的整个文本全图作为模板图像； 

步骤S2，将整个文本全图划分为L个区域； 

步骤S3，计算要拍摄的区域，并逐次拍摄；如果上一次拍摄的是第k个区域，则此次要拍摄的是第k+1个区域，k≤L-1；将模板图像中的对应区域的图像设置为半透明，并充满屏幕的填充区域； 

步骤S4，基于半透明模板图像的拍摄提示，用户拍摄对应区域文本的局部图像； 

步骤S5，判断文档的所有局部图像是否拍摄完，如判断结果是已经拍摄完毕，转向步骤S6，如果判断还有要拍摄的局部图像，则转向步骤S3； 

步骤S6，分别将所有局部图像与模板图像匹配，拼接成新的文本图像。 

作为本发明的一种优选方案，步骤S3中，填充区域每条边跟屏幕边缘的距离为设定像素值。 

作为本发明的一种优选方案，所述步骤S6的拼接方法包括： 

步骤S61，将一幅还没有进行处理的局部图像与模板图像进行特征匹配，得到特征匹配点对；局部图像跟模板图像进行特征匹配的方法包括：步骤S611，确定感兴趣的特征关键点；步骤S612，提取关键点周围区域的特征向量描述子；步骤S613，通过特征点的欧式距离来匹配各个特征向量描述子；步骤S613中，匹配策略采用最近邻比例匹配：对于二幅图像的特征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的二个特征点，如果最近点的距离d_nearst除以第二近点的距离d_sec ond小于设定阈值，则认为该最近点为匹配点，否则不接收； 

步骤S62，判断特征匹配是否成功；判断标准：匹配上的特征点对是否达到设定值；若低于设定值，无法计算图像之间的变化矩阵，则判断为失败，转到步骤S3重新拍摄对应图像；若特征匹配对的点数达到或超过设定值，判断为成功，转到步骤S63； 

步骤S63，通过匹配的特征，计算对应局部图像与模板图像之间的透视变化矩阵，然后将局部图像按照变化矩阵，得到该局部图像变换后的图片； 

其中，根据匹配上的特征点对计算透视变换矩阵的方法包括：根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵；设定src_points为模板文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表示点的数目；设定dst_points为局部图像所在平面的匹配点坐标，大小为2xN；透视变化矩阵为3×3的矩阵，使得 

其中(x_i，y_i，1)为dst_points一个点的坐标，(x′_i，y′_i，1)为src_point一个点的坐标； 

输出的3x3的透视变化矩阵，使得反投影错误最小，即下式最小： 

$\underset{i}{\mathrm{\Σ}}({(x_i^{\′}-\frac{h_{11}{x}_i+h_{12}{y}_i+h_{13}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2+{(y_i^{\′}-\frac{h_{21}{x}_i+h_{22}{y}_i+h_{23}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2);$

将局部图像通过变换矩阵得到变换后的局部图像的方法包括：修改透视变化矩阵 第三行(h₃₁，h₃₂，h₃₃)是控制放大缩小的系数，为此将(h₃₁，h₃₂，h₃₃)变化成(h₃₁/scale，h₃₂/scale，h₃₃/scale)，scale为局部图像变化后相对于模板图像的放大系数；通过透视变化矩阵变换后得到的局部图像，分辨率是原模板图像的scale倍；此时按照修改后的透视变化矩阵，将局部图像都变换到同一坐标系下，而后进行下一步的拼接处理； 

步骤S64，判断：是否所有局部图像都已处理完；如果答案为是，则转到步骤S65，否则转到步骤S61，处理下一幅局部图像； 

步骤S65，将所有变化后的文本图像，根据其有效区域将其拼接起来，得到拼接全图；将所有变换后的局部图像进行拼接的方法包括：将需要拼接的局部图像变化到同一坐标系之后，进行图像的拼接； 

步骤S66，对拼接得到的全图进行后处理；拼接全图的后处理步骤包括：如果所有局部图像拼接出来的全图，出现漏洞或者缺角时，此时可以将模板图像放大scale倍，然后直接用模板图像在该区域的像素填充缺失部分的区域，通过上述后处理，保证得到完整的图像。 

本发明的有益效果在于：本发明提出的拍摄多幅文本图像并拼接的方法，能保证拍摄到所有的局部图像能够完整的覆盖整个文档区域，使最后拼出来的文档图像不会出现有空洞有缺角的情况。另外该文本图像的拍摄方法能够知道各个局部图像的在文档全图中的对应位置，使接下来的图像拼接过程中，能够有效的提高特征匹配的速度和精确度。本发明的拍摄方法非常适合手机上的文档拼接。 

附图说明

图1为本发明拍摄多幅文本图像并拼接方法的流程图。 

图2为将模板图像分为2×2区域的示意图。 

图3为屏幕填充区域的设置示意图。 

图4为基于模板图像提示的初始画面示意图。 

具体实施方式

下面结合附图详细说明本发明的优选实施例。 

实施例一 

本发明揭示了一种拍摄多幅文本图像并拼接的方法，请参阅图1，所述方法包括如下步骤： 

【步骤110】使相机离文档较远，恰好能够拍摄整个文档，得到的这个文本全图。 

拍摄初始文本图像的方法包括：调整相机离文档的距离，当要拍摄的文档恰好充满整个手机屏幕，此时按下拍摄按钮，得到初始的文本图像。 

【步骤120】用户选择，将整个文本全图划分为N*M个均匀区域，一般划分为2×2或者3×3均匀区域。 

划分区域的的方法的方法包括：将整个初始文本图像划分大小N*M均匀区域。划分区域的的一个示例见图2，其中N取2，M取2。 

【步骤130】计算要拍摄的区域，如果上次拍摄的是第k个区域，则这次要拍摄的是第k+1个区域，将该区域的图像作为半透明模板图充满屏幕的填充区域，其中填充区域每条边跟屏幕边缘的距离为i个像素，对于手机屏幕显示像素为480×320，i值一般设置为20。 

提示用户拍摄下个区域的方法包括： 

以前面划分的区域为基准，把要拍摄的某个均匀区域剪切出来作为模板图像，然后在手机的拍摄屏幕中设置填充区域，填充区域的每条边缘跟显示屏边缘的距离为i个像素点，对于480×320的显示屏，i值一般设置为20. 

根据填充区域，将模板图像缩小到恰好能够充满填充区域，模板图像的像素透明度设置为百分之三十，这样在拍摄局部图像时，既可以预览到要拍摄的局部图像，而且还可以将要拍摄的局部图像跟模板图像进行对比。 

填充区域的设置见图3，基于模板图像提示的示例见图4。 

【步骤140】基于半透明文档模板图像的拍摄提示，用户拍摄所在区域文档的局部图像。 

拍摄局部图像的方法包括：调整相机的距离，当预览到要拍摄的局部图像跟模板图像几乎吻合时，此时按下拍摄按钮，得到局部图像。 

【步骤150】判断文档的所有局部图像是否拍摄完，如判断结果是已经拍摄完毕，转向步骤160，如果判断还有要拍摄的局部图像，则转向步骤130。判断是否拍摄完的标准：“例如，在步骤120中，选择划分的是2×2区域，如果第四个区域的图像已经拍摄完，说明所有局部图像已经扫描完毕”。 

【步骤160】将所有局部图像拼接为一幅完整全图。将所有局部图像拼接为一幅完整全图的方法如下： 

由于在拍摄过程中得到了初始的文本图像。因此在图像拼接阶段，可以将这些局部图像与初始的文本图像进行特征匹配，接着基于匹配上的特征点对，计算局部图像与初始文本图像的透视变化矩阵(Homography矩阵)，然后局部图像通过Homography矩阵变化到初始文本图像的所在平面，经过变化处理后的所有局部图像将处于同一个平面，此时可以进行拼接。 

本实施例中，所述步骤160具体包括： 

步骤161，将一幅还没有进行处理的局部图像与模板图像进行特征匹配，得到特征匹配点对；局部图像跟模板图像进行特征匹配的方法包括：步骤1611，确定感兴趣的特征关键点；步骤1612，提取关键点周围区域的特征向量描述子；步骤1613，通过特征点的欧式距离来匹配各个特征向量描述子；步骤1613中，匹配策略采用最近邻比例匹配：对于二幅图像的特征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的二个特征点，如果最近点的距离d_nearst除以第二近点的距离d_sec ond小于设定阈值，则认为该最近点为匹配点，否则不接收； 

步骤162，判断特征匹配是否成功；判断标准：匹配上的特征点对是否达到设定值；若低于设定值，无法计算图像之间的变化矩阵，则判断为失败，转到步骤S3重新拍摄对应图像；若特征匹配对的点数达到或超过设定值，判断为成功，转到步骤163； 

步骤163，通过匹配的特征，计算对应局部图像与模板图像之间的透视变化矩阵，然后将局部图像按照变化矩阵，得到该局部图像变换后的图片； 

其中，根据匹配上的特征点对计算透视变换矩阵的方法包括：根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵。 

设定src_points为初始文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表示点的数目；设定dst_points为局部图像所在平面的匹配点坐标，大小为2xN；透视变化矩阵为3×3的矩阵，使得 

其中(x_i，y_i，1)为dst_points点对应的齐次坐标，(x′_i，y′_i，1)为src_points点对应的齐次坐标。 

在计算匹配点的阶段，得到src_points和dst_points是笛卡尔坐标，对于N个点，大小是2×N。而在计算透视变化矩阵H时，采用的是齐次坐标。齐次坐标用N+1个分量来描述N维的笛卡尔坐标。比如，2D齐次坐标是在笛卡尔坐标(x，y)的基础上增加一个新分量1，变成(x，y，1)。例如：笛卡尔坐标中的点(1，2)在齐次坐标中就是(1，2，1)。 

输出的3x3的透视变化矩阵，使得反投影错误最小，即下式最小： 

$\underset{i}{\mathrm{\Σ}}({(x_i^{\′}-\frac{h_{11}{x}_i+h_{12}{y}_i+h_{13}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2+{(y_i^{\′}-\frac{h_{21}{x}_i+h_{22}{y}_i+h_{23}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2);$

将局部图像通过变换矩阵得到变换后的局部图像的方法包括：修改透视变化 矩阵 

第三行(h₃₁，h₃₂，h₃₃)是控制放大缩小的系数，为此将(h₃₁，h₃₂，h₃₃)变化成(h₃₁/scale，h₃₂/scale，h₃₃/scale)，scale为局部图像变化后相对于模板图像的放大系数；通过透视变化矩阵变换后得到的局部图像，分辨率是原模板图像的scale倍；此时按照修改后的透视变化矩阵，将局部图像都变换到同一坐标系下，而后进行下一步的拼接处理； 

步骤164，判断：是否所有局部图像都已处理完；如果答案为是，则转到步骤165，否则转到步骤161，处理下一幅局部图像； 

步骤165，将所有变化后的文本图像，根据其有效区域将其拼接起来，得到拼接全图；将所有变换后的局部图像进行拼接的方法包括：将需要拼接的局部图像变化到同一坐标系之后，进行图像的拼接； 

步骤166，对拼接得到的全图进行后处理；拼接全图的后处理步骤包括：如果所有局部图像拼接出来的全图，出现漏洞或者缺角时，此时可以将模板图像放大scale倍，然后直接用模板图像在该区域的像素填充缺失部分的区域，通过上述后处理，保证得到完整的图像。 

实施例二 

本实施例揭示一种拍摄多幅文本图像并拼接的方法，拍得的多幅文本图像用于文本图像的拼接；所述方法包括如下步骤： 

步骤S1，拍摄整个文本，得到的整个文本全图作为模板图像； 

步骤S2，将整个文本全图划分为L个区域； 

步骤S3，计算要拍摄的区域，并逐次拍摄；如果上一次拍摄的是第k个区 域，则此次要拍摄的是第k+1个区域，k≤L-1；将模板图像中的对应区域的图像设置为半透明，并充满屏幕的填充区域； 

步骤S4，基于半透明模板图像的拍摄提示，用户拍摄对应区域文本的局部图像； 

步骤S5，判断文档的所有局部图像是否拍摄完，如果判断还有要拍摄的局部图像，则转向步骤S3。 

实施例三 

本实施例揭示一种拍摄多幅文本图像并拼接的方法，拍得的多幅文本图像用于文本图像的拼接；所述方法包括如下步骤： 

步骤S1，拍摄整个文本，得到的整个文本全图作为模板图像； 

步骤S2，将整个文本全图划分为L个区域； 

步骤S3，计算要拍摄的区域，并逐次拍摄；如果上一次拍摄的是第k个区域，则此次要拍摄的是第k+1个区域，k≤L-1；将模板图像中的对应区域的图像设置为半透明，并充满屏幕的填充区域。其中，填充区域每条边跟屏幕边缘的距离可以为0，或者为设定像素值。 

步骤S4，基于半透明模板图像的拍摄提示，用户拍摄对应区域文本的局部图像； 

步骤S5，判断文档的所有局部图像是否拍摄完，如判断结果是已经拍摄完毕，转向步骤S6，如果判断还有要拍摄的局部图像，则转向步骤S3； 

步骤S6，分别将所有局部图像与模板图像匹配，拼接成新的文本图像。 

本实施例中，所述步骤S6的拼接方法包括： 

步骤S61，将一幅还没有进行处理的局部图像与模板图像进行特征匹配，得到特征匹配点对；局部图像跟模板图像进行特征匹配的方法包括：步骤S611，确定感兴趣的特征关键点；步骤S612，提取关键点周围区域的特征向量描述子；步骤S613，通过特征点的欧式距离来匹配各个特征向量描述子；步骤S613中，匹配策略采用最近邻比例匹配：对于二幅图像的特征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的二个特征点，如果最近点的距离d_nearst除以第二近点的距离d_sec ond小于设定阈值，则认为该最近点为匹配点，否则不接收； 

步骤S62，判断特征匹配是否成功；判断标准：匹配上的特征点对是否达到设定值；若低于设定值，无法计算图像之间的变化矩阵，则判断为失败，转到步骤S3重新拍摄对应图像；若特征匹配对的点数达到或超过设定值，判断为成功，转到步骤S63； 

步骤S63，通过匹配的特征，计算对应局部图像与模板图像之间的透视变化矩阵，然后将局部图像按照变化矩阵，得到该局部图像变换后的图片； 

其中，根据匹配上的特征点对计算透视变换矩阵的方法包括：根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵；设定src_points为模板文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表示点的数目；设定dst_points为局部图像所在平面的匹配点坐标，大小为2xN；透视变化矩阵为3×3的矩阵，使得 

其中(x_i，y_i，1)为dst_points一个点的坐标，(x′_i，y′_i，1)为src_point一个点的坐标； 

输出的3x3的透视变化矩阵，使得反投影错误最小，即下式最小： 

$\underset{i}{\mathrm{\Σ}}({(x_i^{\′}-\frac{h_{11}{x}_i+h_{12}{y}_i+h_{13}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2+{(y_i^{\′}-\frac{h_{21}{x}_i+h_{22}{y}_i+h_{23}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2);$

将局部图像通过变换矩阵得到变换后的局部图像的方法包括：修改透视变化矩阵 

第三行(h₃₁，h₃₂，h₃₃)是控制放大缩小的系数，为此将(h₃₁，h₃₂，h₃₃)变化成(h₃₁/scale，h₃₂/scale，h₃₃/scale)，scale为局部图像变化后相对于模板图像的放大系数；通过透视变化矩阵变换后得到的局部图像，分辨率是原模板图像的scale倍；此时按照修改后的透视变化矩阵，将局部图像都变换到同一坐标系下，而后进行下一步的拼接处理； 

步骤S64，判断：是否所有局部图像都已处理完；如果答案为是，则转到步骤S65，否则转到步骤S61，处理下一幅局部图像； 

步骤S65，将所有变化后的文本图像，根据其有效区域将其拼接起来，得到拼接全图；将所有变换后的局部图像进行拼接的方法包括：将需要拼接的局部图像变化到同一坐标系之后，进行图像的拼接； 

步骤S66，对拼接得到的全图进行后处理；拼接全图的后处理步骤包括：如果所有局部图像拼接出来的全图，出现漏洞或者缺角时，此时可以将模板图像放大scale倍，然后直接用模板图像在该区域的像素填充缺失部分的区域，通过上述后处理，保证得到完整的图像。 

综上所述，本发明提出的拍摄多幅文本图像并拼接的方法，能保证拍摄到所有的局部图像能够完整的覆盖整个文档区域，使最后拼出来的文档图像不会出现有空洞有缺角的情况。另外该文本图像的拍摄方法能够知道各个局部图像的在文 档全图中的对应位置，使接下来的图像拼接过程中，能够有效的提高特征匹配的速度和精确度。本发明的拍摄方法非常适合手机上的文档拼接。 

这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。 

Claims (10)

1.一种拍摄多幅文本图像并拼接的方法，其特征在于，所述方法包括如下步骤：

步骤110，使相机离文本较远，恰好能够拍摄整个文本，得到的整个文本全图作为模板图像；

步骤120，用户将整个文本全图划分为N*M个均匀区域；

步骤130，计算要拍摄的区域，如果上次拍摄的是第k个区域，则此次要拍摄的是第k+1个区域，将该区域的图像作为半透明模板图充满屏幕的填充区域，其中填充区域每条边跟屏幕边缘的距离为i个像素；并提示用户拍摄；

提示用户拍摄下个区域的方法包括：以上述划分的区域为基准，把要拍摄的某区域剪切出来作为模板图像，然后在手机的拍摄屏幕中设置填充区域，填充区域的每条边缘跟显示屏边缘的距离为i个像素点；根据填充区域，将模板图像缩小到恰好能够充满填充区域，模板图像的像素透明度设置为半透明，使得在拍摄局部图像时，既可预览到要拍摄的局部图像，还可将要拍摄的局部图像跟模板图像进行对比；

步骤140，基于半透明文档模板图的拍摄提示，用户拍摄所在区域文档的局部图像；拍摄局部图像的方法包括：调整相机的距离，当预览到要拍摄的局部图像跟模板图像几乎吻合时，此时按下拍摄按钮，得到局部图像；

步骤150，判断文档的所有局部图像是否拍摄完，如判断结果是已经拍摄完毕，转向步骤160，如果判断还有要拍摄的局部图像，则转向步骤130；

步骤160，将所有局部图像拼接为一幅完整全图；该步骤包括：将局部图像与模板图像进行特征匹配，接着基于匹配上的特征点对，计算局部图像与初始文本图像的透视变化矩阵，然后局部图像通过透视变化矩阵变化到初始文本图像的所在平面，经过变化处理后的所有局部图像将处于同一个平面，而后进行拼接；具体包括：

步骤161，将一幅还没有进行处理的局部图像与模板图像进行特征匹配，得到特征匹配点对；局部图像跟模板图像进行特征匹配的方法包括：步骤1611，确定感兴趣的特征关键点；步骤1612，提取关键点周围区域的特征向量描述子；步骤1613，通过特征点的欧式距离来匹配各个特征向量描述子；步骤1613中，匹配策略采用最近邻比例匹配：对于二幅图像的特征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的二个特征点，如果最近点的距离d_nearst除以第二近点的距离d_sec ond小于设定阈值，则认为该最近点为匹配点，否则不接收；

步骤162，判断特征匹配是否成功；判断标准：匹配上的特征点对是否达到设定值；若低于设定值，无法计算图像之间的变化矩阵，则判断为失败，转到步骤S3重新拍摄对应图像；若特征匹配对的点数达到或超过设定值，判断为成功，转到步骤163；

步骤163，通过匹配的特征，计算对应局部图像与模板图像之间的透视变化矩阵，然后将局部图像按照变化矩阵，得到该局部图像变换后的图片；

其中，根据匹配上的特征点对计算透视变换矩阵的方法包括：根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵；设定src_points为模板文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表示点的数目；设定dst_points为局部图像所在平面的匹配点坐标，大小为2xN；透视变化矩阵为3×3的矩阵，使得

其中(x_i，y_i，1)为dst_points一个点的坐标，(x′_i，y′_i，1)为src_point一个点的坐标；

输出的3x3的透视变化矩阵，使得反投影错误最小，即下式最小：

$\underset{i}{\mathrm{\Σ}}({(x_i^{\′}-\frac{h_{11}{x}_i+h_{12}{y}_i+h_{13}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2+{(y_i^{\′}-\frac{h_{21}{x}_i+h_{22}{y}_i+h_{23}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2);$

将局部图像通过变换矩阵得到变换后的局部图像的方法包括：修改透视变化矩阵

第三行(h₃₁，h₃₂，h₃₃)是控制放大缩小的系数，为此将(h₃₁，h₃₂，h₃₃)变化成(h₃₁/scale，h₃₂/scale，h₃₃/scale)，scale为局部图像变化后相对于模板图像的放大系数；通过透视变化矩阵变换后得到的局部图像，分辨率是原模板图像的scale倍；此时按照修改后的透视变化矩阵，将局部图像都变换到同一坐标系下，而后进行下一步的拼接处理；

步骤164，判断：是否所有局部图像都已处理完；如果答案为是，则转到步骤165，否则转到步骤161，处理下一幅局部图像；

步骤165，将所有变化后的文本图像，根据其有效区域将其拼接起来，得到拼接全图；将所有变换后的局部图像进行拼接的方法包括：将需要拼接的局部图像变化到同一坐标系之后，进行图像的拼接；

步骤166，对拼接得到的全图进行后处理；拼接全图的后处理步骤包括：如果所有局部图像拼接出来的全图，出现漏洞或者缺角时，此时可以将模板图像放大scale倍，然后直接用模板图像在该区域的像素填充缺失部分的区域，通过上述后处理，保证得到完整的图像。

2.一种拍摄多幅文本图像并拼接的方法，其特征在于，所述方法包括如下步骤：

步骤110，使相机离文本较远，恰好能够拍摄整个文本，得到的整个文本全图作为模板图像；

步骤120，用户将整个文本全图划分为N*M个均匀区域；

步骤130，计算要拍摄的区域，如果上次拍摄的是第k个区域，则此次要拍摄的是第k+1个区域，将该区域的图像作为半透明模板图充满屏幕的填充区域，其中填充区域每条边跟屏幕边缘的距离为i个像素；

步骤140，基于半透明文档模板图的拍摄提示，用户拍摄所在区域文档的局部图像；

步骤150，判断文档的所有局部图像是否拍摄完，如判断结果是已经拍摄完毕，转向步骤160，如果判断还有要拍摄的局部图像，则转向步骤130；

步骤160，将所有局部图像拼接为一幅完整全图。

3.根据权利要求2所述的拍摄多幅文本图像并拼接的方法，其特征在于：

步骤130中，提示用户拍摄下个区域的方法包括：

以上述划分的区域为基准，把要拍摄的某区域剪切出来作为模板图像，然后在手机的拍摄屏幕中设置填充区域，填充区域的每条边缘跟显示屏边缘的距离为i个像素点；

根据填充区域，将模板图像缩小到恰好能够充满填充区域，模板图像的像素透明度设置为半透明，使得在拍摄局部图像时，既可预览到要拍摄的局部图像，还可将要拍摄的局部图像跟模板图像进行对比。

4.根据权利要求2所述的拍摄多幅文本图像并拼接的方法，其特征在于：

所述步骤140中，拍摄局部图像的方法包括：调整相机的距离，当预览到要拍摄的局部图像跟模板图像几乎吻合时，此时按下拍摄按钮，得到局部图像。

5.根据权利要求2所述的拍摄多幅文本图像并拼接的方法，其特征在于：

所述步骤160中，拼接步骤包括：将局部图像与模板图像进行特征匹配，接着基于匹配上的特征点对，计算局部图像与初始文本图像的透视变化矩阵，然后局部图像通过透视变化矩阵变化到初始文本图像的所在平面，经过变化处理后的所有局部图像将处于同一个平面，而后进行拼接。

6.根据权利要求5所述的拍摄多幅文本图像并拼接的方法，其特征在于：

所述步骤160具体包括：

步骤161，将一幅还没有进行处理的局部图像与模板图像进行特征匹配，得到特征匹配点对；局部图像跟模板图像进行特征匹配的方法包括：步骤1611，确定感兴趣的特征关键点；步骤1612，提取关键点周围区域的特征向量描述子；步骤1613，通过特征点的欧式距离来匹配各个特征向量描述子；步骤1613中，匹配策略采用最近邻比例匹配：对于二幅图像的特征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的二个特征点，如果最近点的距离d_nearst除以第二近点的距离d_sec ond小于设定阈值，则认为该最近点为匹配点，否则不接收；

步骤162，判断特征匹配是否成功；判断标准：匹配上的特征点对是否达到设定值；若低于设定值，无法计算图像之间的变化矩阵，则判断为失败，转到步骤S3重新拍摄对应图像；若特征匹配对的点数达到或超过设定值，判断为成功，转到步骤163；

步骤163，通过匹配的特征，计算对应局部图像与模板图像之间的透视变化矩阵，然后将局部图像按照变化矩阵，得到该局部图像变换后的图片；

其中，根据匹配上的特征点对计算透视变换矩阵的方法包括：根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵；设定src_points为模板文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表示点的数目；设定dst_points为局部图像所在平面的匹配点坐标，大小为2xN；透视变化矩阵为3×3的矩阵，使得

其中(x_i，y_i，1)为dst_points一个点的坐标，(x′_i，y′_i，1)为src_point一个点的坐标；

输出的3x3的透视变化矩阵，使得反投影错误最小，即下式最小：

$\underset{i}{\mathrm{\Σ}}({(x_i^{\′}-\frac{h_{11}{x}_i+h_{12}{y}_i+h_{13}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2+{(y_i^{\′}-\frac{h_{21}{x}_i+h_{22}{y}_i+h_{23}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2);$

将局部图像通过变换矩阵得到变换后的局部图像的方法包括：修改透视变化矩阵第三行(h₃₁，h₃₂，h₃₃)是控制放大缩小的系数，为此将(h₃₁，h₃₂，h₃₃)变化成(h₃₁/scale，h₃₂/scale，h₃₃/scale)，scale为局部图像变化后相对于模板图像的放大系数；通过透视变化矩阵变换后得到的局部图像，分辨率是原模板图像的scale倍；此时按照修改后的透视变化矩阵，将局部图像都变换到同一坐标系下，而后进行下一步的拼接处理；

步骤164，判断：是否所有局部图像都已处理完；如果答案为是，则转到步骤165，否则转到步骤161，处理下一幅局部图像；

步骤165，将所有变化后的文本图像，根据其有效区域将其拼接起来，得到拼接全图；将所有变换后的局部图像进行拼接的方法包括：将需要拼接的局部图像变化到同一坐标系之后，进行图像的拼接；

步骤166，对拼接得到的全图进行后处理；拼接全图的后处理步骤包括：如果所有局部图像拼接出来的全图，出现漏洞或者缺角时，此时可以将模板图像放大scale倍，然后直接用模板图像在该区域的像素填充缺失部分的区域，通过上述后处理，保证得到完整的图像。

7.一种拍摄多幅文本图像并拼接的方法，其特征在于，拍得的多幅文本图像用于文本图像的拼接；所述方法包括如下步骤：

步骤S1，拍摄整个文本，得到的整个文本全图作为模板图像；

步骤S2，将整个文本全图划分为L个区域；

步骤S3，计算要拍摄的区域，并逐次拍摄；如果上一次拍摄的是第k个区域，则此次要拍摄的是第k+1个区域，k≤L-1；将模板图像中的对应区域的图像设置为半透明，并充满屏幕的填充区域；

步骤S4，基于半透明模板图像的拍摄提示，用户拍摄对应区域文本的局部图像；

步骤S5，判断文档的所有局部图像是否拍摄完，如果判断还有要拍摄的局部图像，则转向步骤S3。

8.一种拍摄多幅文本图像并拼接的方法，其特征在于，拍得的多幅文本图像用于文本图像的拼接；所述方法包括如下步骤：

步骤S1，拍摄整个文本，得到的整个文本全图作为模板图像；

步骤S2，将整个文本全图划分为L个区域；

步骤S3，计算要拍摄的区域，并逐次拍摄；如果上一次拍摄的是第k个区域，则此次要拍摄的是第k+1个区域，k≤L-1；将模板图像中的对应区域的图像设置为半透明，并充满屏幕的填充区域；

步骤S4，基于半透明模板图像的拍摄提示，用户拍摄对应区域文本的局部图像；

步骤S5，判断文档的所有局部图像是否拍摄完，如判断结果是已经拍摄完毕，转向步骤S6，如果判断还有要拍摄的局部图像，则转向步骤S3；

步骤S6，分别将所有局部图像与模板图像匹配，拼接成新的文本图像。

9.根据权利要求8所述的拍摄多幅文本图像并拼接的方法，其特征在于：

步骤S3中，填充区域每条边跟屏幕边缘的距离为设定像素值。

10.根据权利要求8所述的拍摄多幅文本图像并拼接的方法，其特征在于：

所述步骤S6的拼接方法包括：

步骤S61，将一幅还没有进行处理的局部图像与模板图像进行特征匹配，得到特征匹配点对；局部图像跟模板图像进行特征匹配的方法包括：步骤S611，确定感兴趣的特征关键点；步骤S612，提取关键点周围区域的特征向量描述子；步骤S613，通过特征点的欧式距离来匹配各个特征向量描述子；步骤S613中，匹配策略采用最近邻比例匹配：对于二幅图像的特征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的二个特征点，如果最近点的距离d_nearst除以第二近点的距离d_sec ond小于设定阈值，则认为该最近点为匹配点，否则不接收；

步骤S62，判断特征匹配是否成功；判断标准：匹配上的特征点对是否达到设定值；若低于设定值，无法计算图像之间的变化矩阵，则判断为失败，转到步骤S3重新拍摄对应图像；若特征匹配对的点数达到或超过设定值，判断为成功，转到步骤S63；

步骤S63，通过匹配的特征，计算对应局部图像与模板图像之间的透视变化矩阵，然后将局部图像按照变化矩阵，得到该局部图像变换后的图片；

其中，根据匹配上的特征点对计算透视变换矩阵的方法包括：根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵；设定src_points为模板文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表示点的数目；设定dst_points为局部图像所在平面的匹配点坐标，大小为2xN；透视变化矩阵为3×3的矩阵，使得

其中(x_i，y_i，1)为dst_points一个点的坐标，(x′_i，y′_i，1)为src_point一个点的坐标；

输出的3x3的透视变化矩阵，使得反投影错误最小，即下式最小：

$\underset{i}{\mathrm{\Σ}}({(x_i^{\′}-\frac{h_{11}{x}_i+h_{12}{y}_i+h_{13}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2+{(y_i^{\′}-\frac{h_{21}{x}_i+h_{22}{y}_i+h_{23}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2);$

将局部图像通过变换矩阵得到变换后的局部图像的方法包括：修改透视变化矩阵

第三行(h₃₁，h₃₂，h₃₃)是控制放大缩小的系数，为此将(h₃₁，h₃₂，h₃₃)变化成(h₃₁/scale，h₃₂/scale，h₃₃/scale)，scale为局部图像变化后相对于模板图像的放大系数；通过透视变化矩阵变换后得到的局部图像，分辨率是原模板图像的scale倍；此时按照修改后的透视变化矩阵，将局部图像都变换到同一坐标系下，而后进行下一步的拼接处理；

步骤S64，判断：是否所有局部图像都已处理完；如果答案为是，则转到步骤S65，否则转到步骤S61，处理下一幅局部图像；

步骤S65，将所有变化后的文本图像，根据其有效区域将其拼接起来，得到拼接全图；将所有变换后的局部图像进行拼接的方法包括：将需要拼接的局部图像变化到同一坐标系之后，进行图像的拼接；

步骤S66，对拼接得到的全图进行后处理；拼接全图的后处理步骤包括：如果所有局部图像拼接出来的全图，出现漏洞或者缺角时，此时可以将模板图像放大scale倍，然后直接用模板图像在该区域的像素填充缺失部分的区域，通过上述后处理，保证得到完整的图像。

Images