CN113496467A - 一种藏文图像拼接方法及系统 - Google Patents

Abstract

本发明属于计算机视觉和图像处理技术领域，公开了一种藏文图像拼接方法，包括分区采集图像，拼接图像，去除背景噪点的步骤，通过建立神经网络模型对两待拼接图像拼接边的图像要素进行关联运算，得到待拼接图像的角点及边的方向，方便进行图像精确拼接和剔除背景噪点。本发明还提供了一种藏文图像拼接系统，可以精准地吸取藏文单页、进行翻页操作和定位，使用数字相机采集文献的局部图像并进行拼接和去除背景噪点工作，该系统同时兼容多种大小的文献纸张，具有很高的实用性。

Description

一种藏文图像拼接方法及系统

技术领域

本发明属于计算机视觉和图像处理技术领域，具体公开了一种藏文图像拼接方法。

背景技术

对藏文古籍文献的保护是保护我国古籍文献的一个重要方面，由于藏文古籍文献年代很远，还有不合理的保存方法以及其他原因，导致纸质版古籍文献破损，甚至不能翻阅、字体变得模糊，因此找到合适的方法进行保存是有必要的。

对藏文古籍文献的保护是保护我国古籍文献的一个重要方面，由于藏文古籍文献年代很远，还有不合理的保存方法以及其他原因，导致纸质版古籍文献破损，甚至不能翻阅、字体变得模糊，因此找到合适的方法进行保存是有必要的。

藏文古籍文献数字化保护也因此成为一个值得研究的课题。藏文古籍文献数字化建设既可以很好地保护藏文古籍文献，也可以促进藏族文化的发展。要对藏文古籍文献进行数字化建设，首先就要对其进行采集、拍摄，藏文古籍文献大部分是长条活页的形式，具有长而窄的特点，并且篇幅较大，无法通过一次拍摄就完成整幅文档内容的采集，需要进行多次、多方位的拍摄，获得局部图像，然后使用图像拼接技术，使之形成完整的文档图像，然后定位文档区域，去掉多余的背景，才能得到结果。

除了藏文古籍文献拍摄过程遇到的困难，对采集到的藏文古籍文献局部图像要进行的图像处理过程，还存在以下难点：

利用传统的工艺，使用Photoshop等传统的图像处理软件，每人每天只能处理200页的图像拼接工作。如果使用专用的图像拼接软件，也不会超过400 页每天的速度，效率非常低。

显示器的分辨率大小远远小于图像的大小，为了达到精确拼接的效果，需要在图像的各个位置进行切换，这使得图像拼接的过程非常麻烦。图像拼接后如果需要微调，操作更是不方便。

藏文古籍文献纸张大小不一，相机拍摄的图像难免会包含无用的背景。想要去除背景部分，就需要对古籍文献进行定位。藏文古籍文献有多种多样的颜色，传统的图像处理方法不能保证对不同颜色的藏文古籍文献都能很好地定位。

采集文献图像需要移动文献纸张，而且文献要进行翻页来采集正反两面的内容，想要实现机器自动化大批量采集文献图像，很难保证机器能准确无误没有偏差地对纸张进行操作，文献纸张堆放不可避免地存在歪斜和错位。传统的图像处理方法只能对正着摆放的单一文献的图像进行定位，必须保证文献非常整齐地堆放，如果文献纸张歪斜，或者发生偏移使下方的文献出现在图像中，定位效果就非常差。

由于以上技术难点，导致藏文古籍文献数字化无损图像采集效率低下，图像质量不高，阻碍了古籍文献修复行业的发展。

发明内容

为了解决现有技术的不足，本发明提供一种藏文图像拼接方法及系统，能够批量对长条形藏文文献分区获取图像，并进行精准拼接和去背景处理。

一方面本发明提供了一种藏文图像拼接方法，包括以下步骤：S1，分区采集图像；S2，图像拼接；S3，去除背景噪点；步骤S2中包括建立神经网络模型，对两待拼接图像拼接边的图像要素进行关联运算，获得所述两待拼接图像角点及边的方向的步骤。

这样，待拼接的文献内容即使有点歪斜，也不影响运算程序对分段图像边缘及角点的识别，可以通过运算精准的找到拼接边，实现快速拼接。

为了保证对图像拼接无误，优选的，还包括图像处理方与监控方进行信息交换的步骤。这样，当出现系统故障时，能够第一时间发现并调整。

优选的，任一所述步骤能与其他步骤同时进行。也即可同时进行获取下页图像、拼接当前页图像和去除上页背景噪点的工作，提升了效率。

优选的，在所述S1步骤中按时间顺序依次获取图像进行拼接，待拼接的图像大小、分辨率及缩放倍数一致。这样可以节省运算时间，进一步提升效率。

本发明的另一方案在于提供一种藏文图像拼接系统，包括计算机和与其通信连接的文献定位放置台、纸张取放及翻转机构、数码相机，所述计算机包括处理电路及与其电性耦接的存储器和人机交互界面，其特征在于，所述存储器配置储存至少一程序，所述程序包含多个指令，所述处理电路运行所述程序，能执行上述藏文图像拼接方法的对应步骤。

为了更高效的利用计算机的协同能力，进一步提升拼接效率和质量，优选的，所述程序为包括主线程和子线程的多线程结构，所述主线程控制所述人机交互界面，子线程处理图像拼接和去除背景噪点。

相对于现有技术，本发明具有以下有益效果：

1.提升了藏文文献的拼接效率。

2.操作简单，不需要专业人员操作。

3.定位精确，可全程机械化操作，避免人为碰伤古籍文献。

4.去除背景噪点非常有效，能瞬间生成完美无噪点的拼接图。

附图说明

图1：本发明藏文图像拼接方法实施例的程序流程图；

图2：本发明藏文图像拼接方法实施例的人机交互界面示意图。

图3：本发明藏文图像拼接系统实施例的外框架图；

图4：本发明藏文图像拼接系统实施例的分离吸具分区示意图；

图5：本发明藏文图像拼接系统实施例的翻转吸具分区示意图；

图6：本发明藏文图像拼接系统实施例的内部结构图；

图7：本发明藏文图像拼接系统实施例的电气原理图；

图8：本发明藏文图像拼接系统实施例的气动原理图；

图中，1.分区1吸盘；2.分区2吸盘；3.分区3吸盘；4.分区4吸盘；5.分区 5吸盘；

①支架；②导轨Ⅰ；③升降组件；④旋转气缸；⑤电磁阀；⑥翻转吸具；⑦纸盒1；⑧电机；⑨导轨Ⅱ；电控箱；分离吸具；控制阀组；操作按钮；纸盒2。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述，所描述的实施例是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创新劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，本发明一种藏文图像拼接方法的一个实施例是将该方法编制成应用程序，程序中包括基于深度学习领域神经网络模型建构的角点检测模块和角点匹配模块，工作人员操作计算机执行程序自动完成藏文图像拼接方法的步骤，该程序包括以下步骤：

步骤1：点击“开始拼接”按钮，程序会生成一个子线程来处理相机图片。

步骤2：首先会进入相机图片文件夹，尝试获取相机图片，在尝试的过程中会有对应的提示信息。如果文件夹中有图片，就将图片显示于主界面。主界面是由主线程控制，所以在子线程处理相机图片的时候，主界面不会卡住。如果文件夹中没有图片，程序会等待6秒，然后再次尝试获取相机图片。一共会尝试30次，也就是一共3分钟，如果还不能获取到相机图片，程序会提示获取图片超时，子线程会关闭。成功获取到相机图片，程序会有对应的提示信息；获取相机图片失败，程序也会有相应的提示信息。

步骤3：在成功获取到相机图片之后，程序会判断相机拍摄的图像中有没有文献，也就是看图像是不是只有背景。事先已经计算了背景图片的RGB 三个颜色通道的亮度平均值，然后计算获取到的相机图片的RGB三个颜色通道的亮度平均值。如果对应的三个值都很接近，差距都在10之内，就说明获取到的相机图片很可能只有背景图像；就算不是背景图片，也因为和背景颜色过于接近，导致图像拼接效果会比较差，所以程序的子线程会关闭，同时会提示拼接完成。

步骤4：当获取到包含文献图像的相机图片之后，子线程会开始拼接图片。程序使用了opencv的imread函数读取相机图片，然后使用opencv的 stitching模块创建一个拼接器stitcher。拼接器stitcher将imread函数读取的相机图片拼接成一张完整的图片，然后会使用opencv的imwrite函数，将完整的图片保存。

步骤5：在拼接完成之后，程序会有相应的提示信息，然后完整的图片会显示在主界面上。程序点击了“开始拼接”按钮之后，随时可以通过点击“结束处理”按钮来手动关闭子线程，同时会提示拼接完成。

步骤6：点击“去背景”按钮，程序会生成一个子线程来处理拼接结果图片。

步骤7：首先会进入拼接结果图片文件夹，尝试获取拼接结果图片，在尝试的过程中会有对应的提示信息。主界面是由主线程控制，所以在子线程处理相机图片的时候，主界面不会卡住。如果文件夹中没有图片，程序会等待6秒，然后再次尝试获取相机图片。尝试30次，如果还不能获取到拼接结果图片，程序会提示获取图片超时，子线程会关闭。无论是否获取到拼接结果图片，程序均会人机交互界面上生成对应的提示信息。

步骤8：将拼接结果图像输入到深度学习领域神经网络模型中。

步骤9：使用深度学习领域的角点检测模块来提取文档图像的特征，该模块是建立在具有注意力机制的扩展VGG16网络上的，分为两个使用相同特征的分支，角点检测分支用来检测角点置信度图中的角点的类别，边检测分支用来检测边图中的边的方向。

步骤10：在角点检测模块中，根据预测位置和置信度得分产生了许多角点，只保留置信度大于0.5的角点，同时对置信度图中的角点执行非最大值抑制以获得离散的四组角点。

步骤11：使用角点匹配模块输出图像中所有文档的四边形轮廓的位置，将角点检测模块检测到的角点视为角点匹配图中的图节点，将检测到的不同角点之间的带有方向的连线视为一个向量，将角点检测模块检测到的从这些角点出发的最邻近的带有方向的边视为一个向量，这两个向量构成的夹角的内积称为关联分数，关联分数越高代表内积越大，内积越大代表夹角越小，也就代表该连线越有可能是文档的边，关联分数被视为角点匹配图中的图边值，利用贪心算法的思想，选择最匹配的相邻角点，输出文档图像的四边形轮廓位置。

步骤12：利用角点匹配模块输出的文档图像的四边形轮廓位置，对拼接结果图像进行裁剪，这样就只保留了文献的内容信息，去除了图像中无用的背景信息，然后将完整的图片保存。

步骤13：在去背景完成之后，程序会有相应的提示信息，然后完整的图片会显示在主界面上。程序点击了“去背景”按钮之后，随时可以通过点击“结束处理”按钮来手动关闭子线程，同时会提示去背景完成。

参见图2，本发明提供的一种图像采集方法的程序界面示意图，包括以下区域：

区域1：包括三个图像显示控件，显示程序子线程获取的相机图片，这三张待拼接图片将拼接成一张完整的图片。

区域2：包括一个图像显示控件，显示拼接完成、去背景完成的完整图片。

区域3：包括一个文字显示控件，程序会在不同阶段给出不同的提示信息，这些信息都会被显示在这个控件上。

区域4：包括三个按钮控件，点击“开始拼接”按钮之后会拼接图片；点击“去背景”按钮之后会去除图像中的背景；点击“结束处理”之后会手动关闭相应子线程。程序正常停止运行只有两种情况，一是所有的文献都处理完成，这时程序会自动停止；二是点击“结束处理”按钮，手动停止程序。

说明书附图3-8包括本发明一种藏文图像拼接系统的一个实施例的机械结构及电气原理图，其中完成获取图像功能的部件是一个带有滚轮的立方体，包括支架①，其内部固定有导轨Ⅰ②；导轨Ⅱ⑨；升降组件③；旋转气缸④；电磁阀⑤；翻转吸具⑥；底部有刻度标尺和定位板的抽屉式纸盒1⑦及；电机⑧；固定在支架①的外侧板上，与系统内的电气元件电连接。

图4中标有相同数字的吸盘区域为一个分区，数字即为对应的分区号。当按下操作面板分区1按钮，运行时分区1吸盘接通真空；当按下操作面板分区 2按钮，运行时分区1、2吸盘同时接通真空；按下操作面板分区3按钮，运行时分区1、3吸盘同时接通真空；按下操作面板分区4按钮，运行时分区1、4吸盘同时接通真空；按下操作面板分区5按钮，运行时分区1、5吸盘同时接通真空。

图5为藏文图像拼接系统的翻转吸具分区示意图，共分成Ⅰ和Ⅱ两个区。运行时系统会根据分区启动按钮开关自行选择真空接通区域。

该系统功能实现的分步骤描述：

步骤1：按下复位按钮，翻转吸具⑥和分离吸具回到各自初始位置。

步骤2：根据纸盒2中的刻度标尺，将需要采集的藏文文献资料放置到纸盒2的居中位置。

步骤3：根据需要采集的藏文文献资料和纸盒1⑦的刻度标尺，调节纸盒1 ⑦的定位板的位置。

步骤4：根据藏文文献纸面大小及吸具分区示意图按下中对应分区启动键，分离吸具开始向右运动到翻转吸具⑥正上方。位于上方的柜体顶部的数字化采集相机开始采集第1张文献资料的正面信息。采集完成后分离吸具开始向左返回到正上方。

步骤5：分离吸具开始向下运动，当位于分离吸具上的感应装置检测到吸具已到达文献位置，分离吸具向下运动停止。按照选择的分区启动按钮，打开对应的电磁阀⑤，分离吸具上的SBS吸盘开始工作，分离、抓取第1张文献资料。分离吸具开始向上运动到顶点。到达顶点后，分离吸具开始向右运动到翻转吸具⑥正上方。

步骤6：分离吸具到达翻转吸具⑥正上方后，位于上方的柜体顶部的数字化采集相机开始采集第2张文献资料的正面信息。同时分离吸具稍向下运动。

步骤7：关闭分离吸具上的SBS吸具，第1张文献资料被放置到翻转吸具⑥上，同时翻转吸具⑥上的真空打开，文献资料被吸附在翻转吸具表面。分离吸具向上返回并向左返回到正上方停止。

步骤8：升降组件③带动翻转吸具⑥向上运动到顶点。电磁阀⑤得电，控制旋转气缸④带动翻转吸具⑥完成翻转。

步骤9：翻转吸具⑥完成翻转后，升降组件③带动翻转吸具⑥向下运动。到达底部后，翻转吸具⑥真空关闭，吹气打开，文献资料在重力和吹气压力的作用下，定位到纸盒1⑦。翻转吸具⑥吹气关闭。

步骤10：升降组件③带动翻转吸具⑥向上运动到中间位置。升降组件③和翻转吸具⑥向左运动到分离吸具下方。位于纸盒1⑦上方的柜体顶部的数字化采集相机开始采集第1张文献资料的反面信息。采集完成后，升降组件③和翻转吸具⑥向右返回纸盒1⑦上方。

步骤11：升降组件③继续带动翻转吸具⑥向上运动到顶点。到达顶点后，电磁阀⑤关闭，旋转气缸④带动翻转吸具⑥翻转回起始位置。第1张文献资料信息采集完成。

请见图7，本发明提供的一种藏文古籍文献数字化无损图像采集装置的电气原理图。

请见图8，本发明提供的一种藏文古籍文献数字化无损图像采集装置的气动原理图。

本发明实现了藏文古籍文献数字化无损图像采集，全自动运行、操作简单且效率高，能克服现有的技术在拼接、去背景功能上存在的问题，装置采用了真空吸盘技术，可以精准地吸取单张文献纸张，不会破坏文献，同时兼容多种大小的文献纸张，性价比高，具有很高的实用性。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种藏文图像拼接方法，包括以下步骤：S1，分区采集图像；S2，图像拼接；S3，去除背景噪点；其特征在于，步骤S2中包括建立神经网络模型，对两待拼接图像拼接边的图像要素进行关联运算，获得所述两待拼接图像角点及边的方向的步骤。

2.根据权利要求1所述的一种藏文图像拼接方法，其特征在于，还包括图像处理方与监控方进行信息交换的步骤。

3.根据权利要求2所述的一种藏文图像拼接方法，其特征在于，任一所述步骤能与其他步骤同时进行。

4.根据权利要求2所述的一种藏文图像拼接方法，其特征在于，在所述S1步骤中按时间顺序依次获取图像进行拼接，待拼接的图像大小、分辨率及缩放倍数一致。

5.一种藏文图像拼接系统，包括计算机和与其通信连接的文献定位放置台、纸张取放及翻转机构、数码相机，所述计算机包括处理电路及与其电性耦接的存储器和人机交互界面，其特征在于，所述存储器配置储存至少一程序，所述程序包含多个指令，所述处理电路运行所述程序，能执行权利要求1-4中任一项所述的一种藏文图像拼接方法。

6.根据权利要求5所述的一种藏文图像拼接系统，所述程序为包括主线程和子线程的多线程结构，所述主线程控制所述人机交互界面，子线程处理图像拼接和去除背景噪点。

Images