CN117253234B - 扫描笔连续图像拼接方法、装置、介质及计算机设备 - Google Patents
扫描笔连续图像拼接方法、装置、介质及计算机设备 Download PDFInfo
- Publication number
- CN117253234B CN117253234B CN202311544175.4A CN202311544175A CN117253234B CN 117253234 B CN117253234 B CN 117253234B CN 202311544175 A CN202311544175 A CN 202311544175A CN 117253234 B CN117253234 B CN 117253234B
- Authority
- CN
- China
- Prior art keywords
- image
- splicing
- frame image
- fitting degree
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 64
- 238000006073 displacement reaction Methods 0.000 claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000001914 filtration Methods 0.000 claims abstract description 15
- 238000010606 normalization Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 11
- 230000008901 benefit Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012790 confirmation Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/141—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/96—Management of image or video recognition tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
一种扫描笔连续图像拼接方法、装置、介质及计算机设备，属于扫描笔图像处理技术领域，步骤包括：获取扫描的连续帧图像进行无效过滤处理并按时序排列；获取当前帧图像和对比帧图像，自当前帧图像中根据扫描移动方向确认提取区域并提取包含字符像素点的模板图像，提取对比帧图像中包含所有字符像素点的图像区域做空白像素填充处理并获取待匹配图像；根据最佳匹配点算法获取最佳匹配点；根据最佳匹配点计算当前帧图像中的拼接点坐标及与对比帧图像的相对位移，根据拼接点坐标和相对位移将当前帧图像叠加拼接在对比帧图像上并获取连续拼接结果图。本发明的方法和装置在保证拼接效果的同时实现了高速的图像拼接。
Description
技术领域
本发明涉及一种扫描笔连续图像拼接方法、装置、介质及计算机设备，属于扫描笔图像处理技术领域。
背景技术
图像拼接技术就是将数张有重叠部分的图像（可能是不同时间、不同视角或者不同传感器获得的）拼成一幅无缝的全景图或高分辨率图像的技术。图像配准（imagealignment）和图像融合是图像拼接的两个关键技术。图像配准是图像融合的基础 ,而且图像配准算法的计算量一般非常大 ,因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。早期的图像配准技术主要采用点匹配法 ,这类方法速度慢、精度低 ,而且常常需要人工选取初始匹配点,无法适应大数据量图像的融合。图像拼接的方法很多,不同的算法步骤会有一定差异,但大致的过程是相同的。
此外，现有的图像拼接都是基于对图像像素特征的识别，找到基准点，然后进行图像拼接，计算量大，且拼接的结果往往还是存在裂痕。尤其涉及文档的拼接，没必要进行如此大的计算量，且文档拼接的目的还是获得可以识别的文字。
传统图像全局图像拼接方法的局限性，以及人工扫描获取图片方法的干扰性太强，出现OCR识别效果太差的问题。市场需要一种能够保障达到识别需求的拼接效果，同时可以实现高速图像拼接的图像拼接算法，用以满足高速高质完成图像拼接并节省云端算力的需求。
发明内容
针对上述现有技术的不足，本发明的目的在于提供一种扫描笔连续图像拼接方法、装置、介质及计算机设备。
根据本发明的实施方案，提供第一个方案为：
一种扫描笔连续图像拼接方法，包括如下步骤：
获取扫描终端输出的连续帧图像，对所述连续帧图像进行无效过滤处理并获取按时序排列的连续待拼接图像；
获取当前帧图像，将当前帧图像在连续待拼接图像中的前一时序的图像作为对比帧图像，所述对比帧图像为初始图像或连续拼接结果图的最后一帧图像；
自当前帧图像中根据扫描终端的扫描移动方向确认提取区域，自提取区域中提取包含字符像素点的第一模板图像，提取对比帧图像中包含所有字符像素点的图像区域做空白像素填充处理并获取待匹配图像；
根据最佳匹配点算法将第一模板图像和待匹配图像进行配准处理并获取最佳匹配点；
根据最佳匹配点计算当前帧图像中的拼接点坐标及当前帧图像与对比帧图像的相对位移，根据拼接点坐标和相对位移将当前帧图像叠加拼接在对比帧图像上并获取连续拼接结果图。
进一步地，所述最佳匹配点算法的步骤包括：
通过归一化相关系数算法将第一模板图像和待匹配图像进行配准处理并获取第一拟合度和第一拼接点坐标；
若第一拟合度达到第一阈值，则将第一拼接点坐标作为最佳匹配点；
若第一拟合度未达到第一阈值，则扩展第一模板图像并获取当前帧图像的不同比例的第一模板图像和第二模板图像，通过双模板二值化算法将第一模板图像和第二模板图像分别与待匹配图像进行配准处理并获取第二拟合度、第二拼接点坐标、第三拟合度及第三拼接点坐标，将第二拟合度和第三拟合度进行优势比对并将胜出的拼接点坐标作为最佳匹配点。
进一步地，所述通过归一化相关系数算法将第一模板图像和待匹配图像进行配准处理并获取第一拟合度和第一拼接点坐标的步骤包括：
将第一模板图像和待匹配图像通过归一化处理后再进行配准处理；
所述第一模板图像的提取方法为：自当前帧图像中沿扫描终端的相反扫描方向选取前1/5-1/3确认提取区域，自提取区域中提取包含字符像素点的第一模板图像；
第一阈值的选取范围为0.85-0.95。
进一步地，所述扩展第一模板图像并获取当前帧图像的不同比例的第一模板图像和第二模板图像的步骤包括：
获取第一模板图像在当前帧图像中的第一选取比例，根据该第一选取比例的1.5-3倍选取第二模板图像在当前帧图像中的第二选取比例，根据第二选取比例扩展第一模板图像的提取区域并获取扩展提取区域，并自扩展提取区域中提取包含字符像素点的第二模板图像。
进一步地，所述将第二拟合度和第三拟合度进行优势比对并将胜出的拼接点坐标作为最佳匹配点的步骤包括：
获取第一模板图像及第二模板图像通过双模板二值化算法获取的第二拟合度、第二相对位移、第二拼接点坐标，以及，第三拟合度、第三相对位移、第三拼接点坐标；
若第二相对位移、第三相对位移的X轴向位移均为正值，且第二拟合度、第三拟合度均大于 0.5 且不同时为1；
则将第二拼接点、第三拼接点分别引入拼接曲线，计算引入前后拼接曲线的斜率变化程度，选取引入拼接曲线后拼接曲线的斜率变化程度较小的拼接点作为最佳匹配点；
其中，所述拼接曲线为由第一帧图像至当前对比帧图像获取的所有最佳匹配点组成的离散点拟合出的曲线。
进一步地，还包括步骤：
若第二拟合度、第三拟合度不全大于0.5时，选取较大拟合度值的拼接点作为胜出的拼接点坐标，同时限制条件为：第二拟合度、第三拟合度不小于0.3，第二拟合度、第三拟合度不同时为1，胜出的拼接点坐标的相对位移的X轴向位移及Y轴向位移同时为正值。
进一步地，还包括步骤：
若未获取最佳匹配点，则返回归一化相关系数算法并将第一拟合度与第二阈值比较，若第一拟合度大于第二阈值，则选取第一拼接点坐标作为最佳匹配点，若第一拟合度小于第二阈值，则标定该当前帧图像拼接失败，输入至失败缓存序列，读取下一帧连续拼接图像作为当前帧图像。
根据本发明的实施方案，利用本发明提供的第一个方案中的扫描笔连续图像拼接方法，提供第二个方案为：
一种扫描笔连续图像拼接装置，包括：
无效图像过滤模块，用于获取扫描终端输出的连续帧图像，对所述连续帧图像进行无效过滤处理并获取按时序排列的连续待拼接图像；
图像读取模块，用于获取的当前帧图像，将当前帧图像在连续待拼接图像中的前一时序的图像作为对比帧图像，所述对比帧图像为初始图像或连续拼接结果图的最后一帧图像；
模板提取模块，用于自当前帧图像中根据扫描终端的扫描移动方向确认提取区域，自提取区域中提取包含字符像素点的第一模板图像，提取对比帧图像中包含所有字符像素点的图像区域做空白像素填充处理并获取待匹配图像；
算法调用模块，用于根据最佳匹配点算法将第一模板图像和待匹配图像进行配准处理并获取最佳匹配点；
拼接模块，用于根据最佳匹配点计算当前帧图像中的拼接点坐标及当前帧图像与对比帧图像的相对位移，根据拼接点坐标和相对位移将当前帧图像叠加拼接在对比帧图像上并获取连续拼接结果图。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
获取扫描终端输出的连续帧图像，对所述连续帧图像进行无效过滤处理并获取按时序排列的连续待拼接图像；
获取当前帧图像，将当前帧图像在连续待拼接图像中的前一时序的图像作为对比帧图像，所述对比帧图像为初始图像或连续拼接结果图的最后一帧图像；
自当前帧图像中根据扫描终端的扫描移动方向确认提取区域，自提取区域中提取包含字符像素点的第一模板图像，提取对比帧图像中包含所有字符像素点的图像区域做空白像素填充处理并获取待匹配图像；
根据最佳匹配点算法将第一模板图像和待匹配图像进行配准处理并获取最佳匹配点；
根据最佳匹配点计算当前帧图像中的拼接点坐标及当前帧图像与对比帧图像的相对位移，根据拼接点坐标和相对位移将当前帧图像叠加拼接在对比帧图像上并获取连续拼接结果图。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
获取扫描终端输出的连续帧图像，对所述连续帧图像进行无效过滤处理并获取按时序排列的连续待拼接图像；
获取当前帧图像，将当前帧图像在连续待拼接图像中的前一时序的图像作为对比帧图像，所述对比帧图像为初始图像或连续拼接结果图的最后一帧图像；
自当前帧图像中根据扫描终端的扫描移动方向确认提取区域，自提取区域中提取包含字符像素点的第一模板图像，提取对比帧图像中包含所有字符像素点的图像区域做空白像素填充处理并获取待匹配图像；
根据最佳匹配点算法将第一模板图像和待匹配图像进行配准处理并获取最佳匹配点；
根据最佳匹配点计算当前帧图像中的拼接点坐标及当前帧图像与对比帧图像的相对位移，根据拼接点坐标和相对位移将当前帧图像叠加拼接在对比帧图像上并获取连续拼接结果图。
与现有技术相比，本申请提供的技术方案独权的有益效果。
1、在保证拼接效果的同时实现了高速的图像拼接；具体表现为提高了模板配准的配准速度，降低了配准运算量，同时，用仅包含字符像素点的模板与仅包含字符像素点的待匹配图像做配准处理，进一步过滤了可能的无效像素点，优化了配准的准确率；
2、采用归一化+双模板二值化的双层算法模块，通过归一化算法保证了整体计算量较低、计算速度较快，同时，通过拟合度控制准确率，在第一拟合度未达到第一阈值时，采用双模板提升精度，以兼顾速度和准确率；通过斜率保证双模板二值化筛选出的拼接点为正确的最佳匹配点；
3、计算数据量的减少直接提高了服务器的处理的速度，同时降低了设备的计算负载，这样在不增加算力的情况下，可以负载更多的扫描终端；
4、通过逐帧扫描传输，降低了传输带宽的要求，可以实现分布式传输，传输速度快、带宽要求低；
5、通过云端计算中心进行拼接计算，终端设备不再需要设置相关的硬件设备，减低成本的同时，可以实现更加高效、高质的图像处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为一个实施例中扫描笔连续图像拼接方法的流程示意图一；
图2为一个实施例中扫描笔连续图像拼接方法的流程示意图二；
图3为一个实施例中扫描笔连续图像拼接方法中最佳拼接点的确定流程示意图；
图4为一个实施例中扫描笔连续图像拼接装置的结构框图；
图5为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本领域的技术人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
如图1-图2所示，示出了扫描笔连续图像拼接方法流程示意图；如图3所示，示出了扫描笔连续图像拼接方法中最佳拼接点的确定流程示意图。
现有扫描笔图像处理方法为了提高拼精度而采用特征提取法进行图像拼接计算，数据量大，处理速度慢，造成扫描后的文字输出显示迟钝。
需要从算法选择上降低数据处理量，从实践中发现为了进行OCR识别，文字部分是我们进行图像处理的目标，周边信息是噪声，图像拼接时仅提取文字部分进行处理将大大降低数据处理量。
同时扫描过程中的相邻两帧图像，后一帧图形的前部包含前一帧的信息较多，后一帧图形的后部包含前一帧的信息较少。
因此通过将后一帧图像作为当前帧，从前部提取模板图像，前一帧图像作为对比帧，从中提取待匹配图像，将模板图像和待匹配图像进行配准处理时，云计算量大大减少。
据此提出，一种扫描笔连续图像拼接方法，包括如下步骤：
S101：获取扫描终端输出的连续帧图像，对所述连续帧图像进行无效过滤处理并获取按时序排列的连续待拼接图像；
S102：获取当前帧图像，将当前帧图像在连续待拼接图像中的前一时序的图像作为对比帧图像，所述对比帧图像为初始图像或连续拼接结果图的最后一帧图像；
S103：自当前帧图像中根据扫描终端的扫描移动方向确认提取区域，自提取区域中提取包含字符像素点的第一模板图像，提取对比帧图像中包含所有字符像素点的图像区域做空白像素填充处理并获取待匹配图像；
S104：根据最佳匹配点算法将第一模板图像和待匹配图像进行配准处理并获取最佳匹配点；
S105：根据最佳匹配点计算当前帧图像中的拼接点坐标及当前帧图像与对比帧图像的相对位移，根据拼接点坐标和相对位移将当前帧图像叠加拼接在对比帧图像上并获取连续拼接结果图。
需要说明的是，采用上述算法，提高了模板配准的配准速度，降低了配准运算量，同时，用仅包含字符像素点的模板与仅包含字符像素点的待匹配图像做配准处理，进一步过滤了可能的无效像素点，优化了配准的准确率。
在匹配点算法的选用上，优先考虑计算量小，配准快的算法，通过对算法进行优化，来保证拼接效果。
归一化处理通过亮暗处理模板图像和待匹配图像，计算量相对较小，图像配准处理速度较快。但是，归一化处理相应也存在精度不足的问题，归一化相关系数算法指调用算法模块对两个图像进行处理，算法模块输出至少三个参数：拟合度、拼接点坐标、相对位移。
本方案设置了归一化+双模板二值化的双层算法模块，通过归一化算法保证了整体计算量较低、计算速度较快，同时，通过拟合度控制准确率，在第一拟合度未达到第一阈值时，采用双模板提升精度，以兼顾速度和准确率。
优化后的最佳匹配点算法的步骤包括：
通过归一化相关系数算法将第一模板图像和待匹配图像进行配准处理并获取第一拟合度和第一拼接点坐标；
若第一拟合度达到第一阈值，则将第一拼接点坐标作为最佳匹配点；
若第一拟合度未达到第一阈值，则扩展第一模板图像并获取当前帧图像的不同比例的第一模板图像和第二模板图像，通过双模板二值化算法将第一模板图像和第二模板图像分别与待匹配图像进行配准处理并获取第二拟合度、第二拼接点坐标、第三拟合度及第三拼接点坐标，将第二拟合度和第三拟合度进行优势比对并将胜出的拼接点坐标作为最佳匹配点。
所述通过归一化相关系数算法将第一模板图像和待匹配图像进行配准处理并获取第一拟合度和第一拼接点坐标的步骤包括：
将第一模板图像和待匹配图像通过归一化处理后再进行配准处理；
所述第一模板图像的提取方法为：自当前帧图像中沿扫描终端的相反扫描方向选取前1/5-1/3确认提取区域，自提取区域中提取包含字符像素点的第一模板图像；
第一阈值的选取范围为0.85-0.95。
在日常的扫描中，大多数的扫描图像通过归一化相关系数法可以达到正常的拼接要求，第一阈值的设计保障了采用归一化相关系数算法步骤获取的最佳拼接点，只拼接拟合度高的待拼接图像，如果拟合度相对较低，将通过双模板二值化算法获取最佳拼接点，以提高这部分的图像的拼接效果。
所述扩展第一模板图像并获取当前帧图像的不同比例的第一模板图像和第二模板图像的步骤包括：
获取第一模板图像在当前帧图像中的第一选取比例，根据该第一选取比例的1.5-3倍选取第二模板图像在当前帧图像中的第二选取比例，根据第二选取比例扩展第一模板图像的提取区域并获取扩展提取区域，并自扩展提取区域中提取包含字符像素点的第二模板图像。
所述将第二拟合度和第三拟合度进行优势比对并将胜出的拼接点坐标作为最佳匹配点的步骤包括：
获取第一模板图像及第二模板图像通过双模板二值化算法获取的第二拟合度、第二相对位移、第二拼接点坐标，以及，第三拟合度、第三相对位移、第三拼接点坐标；
若第二相对位移、第三相对位移的X轴向位移均为正值，且第二拟合度、第三拟合度均大于 0.5 且不同时为 1，
则将第二拼接点、第三拼接点分别引入拼接曲线，计算引入前后拼接曲线的斜率变化程度，选取引入拼接曲线后拼接曲线的斜率变化程度较小的拼接点作为胜出的拼接点，将胜出拼接点坐标作为最佳匹配点。
其中，所述拼接曲线为由第一帧图像至当前对比帧图像获取的所有最佳匹配点组成的离散点拟合出的曲线。
需要说明的是，在双模板二值化算法中计算出两个拼接点，选取引入拼接曲线后拼接曲线的斜率变化程度较小的拼接点作为胜出的拼接点，将胜出拼接点坐标作为最佳匹配点；其算法设计的依据是在图像扫描中，单次扫描过程通常是连续的，其移动过程也是连续的，同时移动是平滑的，一般不会出现突然大幅偏离历史扫描路径的情况；所以连续拼接图像的拼接曲线也应和扫描路径基本一致，是一条平滑过渡的直线或曲线。
当拼接曲线出现了大幅度的偏移时，可能出现的情况是上一次的扫描终止开始了新的扫描或者扫描操作出现了异常情况。当出现上述情况时，可以采取算法判断出现的情况类型作出从出现大幅偏移的扫描图像开始新的拼接过程或终止此次拼接的处理。
下面将对胜出的拼接点的选取算法给出具体实施方式。
其中一种实现方式，选用多项式对拼接点进行拟合；
以三阶多项式为例；更高阶的多项式也同样适用。
调取第一帧图像至当前对比帧图像获取的所有最佳匹配点的坐标和第二拼接点、第三拼接点的坐标；
由第一帧图像至当前对比帧图像获取的所有最佳匹配点组成的离散点拟合出的曲线方程的系数为，/>，/>，/>；
第二拼接点引入后组成的离散点拟合出的曲线方程的系数为，/>，/>，/>；
第三拼接点引入后组成的离散点拟合出的曲线方程的系数为，/>，/>，/>；
第二拼接点引入后拼接曲线的斜率变化程度表示为：
；
第二拼接点引入后拼接曲线的斜率变化程度表示为：
；
选取与/>中值较小的拼接点作为胜出的拼接点，将胜出拼接点坐标作为最佳匹配点。
在算法中采用另一种简化的处理方式得到了同样良好的效果，即斜率比较法；其算法设计的依据也是基于扫描过程的连续性，一般不会出现突然大幅偏离历史扫描路径的情况，所以相邻几帧拼接图像的位移通常也应该是接近的，这样就给了我们一个启示，通过调取前两帧的最佳拼接点坐标和第二拼接点的坐标、第三拼接点的坐标，可以计算出：
第一斜率：当前帧之前两帧图像对应最佳拼接点连线的斜率；
第二斜率：第二拼接点与前一帧图像对应最佳拼接点连线的斜率；
第三斜率：第三拼接点与前一帧图像对应最佳拼接点连线的斜率；
第二拼接点斜率变化值：；
第二拼接点斜率变化值：；
选取与/>中值较小的拼接点作为胜出的拼接点，将胜出拼接点坐标作为最佳匹配点。
优势拼接点得选取是在拟合程度都较高的情况下，相邻拼接帧的移动趋势与上一次的拼接移动趋势越接近，说明产生的偏移一致性和连续性越好，更加符合扫描的连贯移动趋势。
双模板二值化算法还包括步骤：
若第二拟合度、第三拟合度不全大于0.5时，选取较大拟合度值的拼接点作为胜出的拼接点坐标，同时限制条件为：第二拟合度、第三拟合度不小于0.3，第二拟合度、第三拟合度不同时为1，胜出的拼接点坐标的相对位移的X轴向位移及Y轴向位移同时为正值。
双模板二值化算法还包括步骤：
若未获取最佳匹配点，则返回归一化相关系数算法并将第一拟合度与第二阈值比较，若第一拟合度大于第二阈值，则选取第一拼接点坐标作为最佳匹配点，若第一拟合度小于第二阈值，则标定该当前帧图像拼接失败，输入至失败缓存序列，读取下一帧连续拼接图像作为当前帧图像。
需要说明的是，拼接失败的图片可以进行标记后组成性能指标数据库，用于评估图像拼接算法、验证优化方法的性能，或者研究如何提高图像拼接的准确性和鲁棒性等方面的问题。
现给出一种评估图像拼接算法的方法，将获取扫描终端输出的连续帧图像，对所述连续帧图像进行无效过滤处理并获取按时序排列的连续待拼接图像；将连续待拼接图像采用新的拼接算法进行拼接，统计性能指标数据库中的图片在新的拼接算法中成功拼接的图片数量占性能指标数据库图片总量的百分比，成功拼接图片的百分比越高，说明新的拼接算法拼接适应性越好。
实施例二
如图4所示，示出了扫描笔连续图像拼接装置的结构框图。
一种扫描笔连续图像拼接装置，包括：
无效图像过滤模块100，用于获取扫描终端输出的连续帧图像，对所述连续帧图像进行无效过滤处理并获取按时序排列的连续待拼接图像；
图像读取模块200，用于获取的当前帧图像，将当前帧图像在连续待拼接图像中的前一时序的图像作为对比帧图像，所述对比帧图像为初始图像或连续拼接结果图的最后一帧图像；
模板提取模块300，用于自当前帧图像中根据扫描终端的扫描移动方向确认提取区域，自提取区域中提取包含字符像素点的第一模板图像，提取对比帧图像中包含所有字符像素点的图像区域做空白像素填充处理并获取待匹配图像；
算法调用模块400，用于根据最佳匹配点算法将第一模板图像和待匹配图像进行配准处理并获取最佳匹配点；
拼接模块500，用于根据最佳匹配点计算当前帧图像中的拼接点坐标及当前帧图像与对比帧图像的相对位移，根据拼接点坐标和相对位移将当前帧图像叠加拼接在对比帧图像上并获取连续拼接结果图。
实施例三
图5示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图4所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现扫描笔连续图像拼接方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行扫描笔连续图像拼接方法。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
获取扫描终端输出的连续帧图像，对所述连续帧图像进行无效过滤处理并获取按时序排列的连续待拼接图像；
获取当前帧图像，将当前帧图像在连续待拼接图像中的前一时序的图像作为对比帧图像，所述对比帧图像为初始图像或连续拼接结果图的最后一帧图像；
自当前帧图像中根据扫描终端的扫描移动方向确认提取区域，自提取区域中提取包含字符像素点的第一模板图像，提取对比帧图像中包含所有字符像素点的图像区域做空白像素填充处理并获取待匹配图像；
根据最佳匹配点算法将第一模板图像和待匹配图像进行配准处理并获取最佳匹配点；
根据最佳匹配点计算当前帧图像中的拼接点坐标及当前帧图像与对比帧图像的相对位移，根据拼接点坐标和相对位移将当前帧图像叠加拼接在对比帧图像上并获取连续拼接结果图。
在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
获取扫描终端输出的连续帧图像，对所述连续帧图像进行无效过滤处理并获取按时序排列的连续待拼接图像；
获取当前帧图像，将当前帧图像在连续待拼接图像中的前一时序的图像作为对比帧图像，所述对比帧图像为初始图像或连续拼接结果图的最后一帧图像；
自当前帧图像中根据扫描终端的扫描移动方向确认提取区域，自提取区域中提取包含字符像素点的第一模板图像，提取对比帧图像中包含所有字符像素点的图像区域做空白像素填充处理并获取待匹配图像；
根据最佳匹配点算法将第一模板图像和待匹配图像进行配准处理并获取最佳匹配点；
根据最佳匹配点计算当前帧图像中的拼接点坐标及当前帧图像与对比帧图像的相对位移，根据拼接点坐标和相对位移将当前帧图像叠加拼接在对比帧图像上并获取连续拼接结果图。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种扫描笔连续图像拼接方法，其特征在于，包括如下步骤：
获取扫描终端输出的连续帧图像，对所述连续帧图像进行无效过滤处理并获取按时序排列的连续待拼接图像；
获取当前帧图像，将当前帧图像在连续待拼接图像中的前一时序的图像作为对比帧图像，所述对比帧图像为初始图像或连续拼接结果图的最后一帧图像；
自当前帧图像中根据扫描终端的扫描移动方向确认提取区域，自提取区域中提取包含字符像素点的第一模板图像，提取对比帧图像中包含所有字符像素点的图像区域做空白像素填充处理并获取待匹配图像；
根据最佳匹配点算法将第一模板图像和待匹配图像进行配准处理并获取最佳匹配点；
根据最佳匹配点计算当前帧图像中的拼接点坐标及当前帧图像与对比帧图像的相对位移，根据拼接点坐标和相对位移将当前帧图像叠加拼接在对比帧图像上并获取连续拼接结果图；
所述最佳匹配点算法的步骤包括：
通过归一化相关系数算法将第一模板图像和待匹配图像进行配准处理并获取第一拟合度和第一拼接点坐标；
若第一拟合度达到第一阈值，则将第一拼接点坐标作为最佳匹配点；
若第一拟合度未达到第一阈值，则扩展第一模板图像并获取当前帧图像的不同比例的第一模板图像和第二模板图像，通过双模板二值化算法将第一模板图像和第二模板图像分别与待匹配图像进行配准处理并获取第二拟合度、第二拼接点坐标、第三拟合度及第三拼接点坐标，将第二拟合度和第三拟合度进行优势比对并将胜出的拼接点坐标作为最佳匹配点。
2.根据权利要求1所述的扫描笔连续图像拼接方法，其特征在于，所述通过归一化相关系数算法将第一模板图像和待匹配图像进行配准处理并获取第一拟合度和第一拼接点坐标的步骤包括：
将第一模板图像和待匹配图像通过归一化处理后再进行配准处理；
所述第一模板图像的提取方法为：自当前帧图像中沿扫描终端的相反扫描方向选取前1/5-1/3确认提取区域，自提取区域中提取包含字符像素点的第一模板图像；
第一阈值的选取范围为0.85-0.95。
3.根据权利要求2所述的扫描笔连续图像拼接方法，其特征在于，所述扩展第一模板图像并获取当前帧图像的不同比例的第一模板图像和第二模板图像的步骤包括：
获取第一模板图像在当前帧图像中的第一选取比例，根据该第一选取比例的1.5-3倍选取第二模板图像在当前帧图像中的第二选取比例，根据第二选取比例扩展第一模板图像的提取区域并获取扩展提取区域，并自扩展提取区域中提取包含字符像素点的第二模板图像。
4.根据权利要求1所述的扫描笔连续图像拼接方法，其特征在于，所述将第二拟合度和第三拟合度进行优势比对并将胜出的拼接点坐标作为最佳匹配点的步骤包括：
获取第一模板图像及第二模板图像通过双模板二值化算法获取的第二拟合度、第二相对位移、第二拼接点坐标，以及，第三拟合度、第三相对位移、第三拼接点坐标；
若第二相对位移、第三相对位移的X轴向位移均为正值，且第二拟合度、第三拟合度均大于 0.5 且不同时为1；
则将第二拼接点、第三拼接点分别引入拼接曲线，计算引入前后拼接曲线的斜率变化程度，选取引入拼接曲线后拼接曲线的斜率变化程度较小的拼接点作为最佳匹配点；
其中，所述拼接曲线为由第一帧图像至当前对比帧图像获取的所有最佳匹配点组成的离散点拟合出的曲线。
5.根据权利要求4所述的扫描笔连续图像拼接方法，其特征在于，还包括步骤：
若第二拟合度、第三拟合度不全大于0.5时，选取较大拟合度值的拼接点作为胜出的拼接点坐标，同时限制条件为：第二拟合度、第三拟合度不小于0.3，第二拟合度、第三拟合度不同时为1，胜出的拼接点坐标的相对位移的X轴向位移及Y轴向位移同时为正值。
6.根据权利要求5所述的扫描笔连续图像拼接方法，其特征在于，还包括步骤：
若未获取最佳匹配点，则返回归一化相关系数算法并将第一拟合度与第二阈值比较，若第一拟合度大于第二阈值，则选取第一拼接点坐标作为最佳匹配点，若第一拟合度小于第二阈值，则标定该当前帧图像拼接失败，输入至失败缓存序列，读取下一帧连续拼接图像作为当前帧图像。
7.一种扫描笔连续图像拼接装置，其特征在于，包括：
无效图像过滤模块，用于获取扫描终端输出的连续帧图像，对所述连续帧图像进行无效过滤处理并获取按时序排列的连续待拼接图像；
图像读取模块，用于获取的当前帧图像，将当前帧图像在连续待拼接图像中的前一时序的图像作为对比帧图像，所述对比帧图像为初始图像或连续拼接结果图的最后一帧图像；
模板提取模块，用于自当前帧图像中根据扫描终端的扫描移动方向确认提取区域，自提取区域中提取包含字符像素点的第一模板图像，提取对比帧图像中包含所有字符像素点的图像区域做空白像素填充处理并获取待匹配图像；
算法调用模块，用于根据最佳匹配点算法将第一模板图像和待匹配图像进行配准处理并获取最佳匹配点；
拼接模块，用于根据最佳匹配点计算当前帧图像中的拼接点坐标及当前帧图像与对比帧图像的相对位移，根据拼接点坐标和相对位移将当前帧图像叠加拼接在对比帧图像上并获取连续拼接结果图；
所述最佳匹配点的计算步骤包括：
通过归一化相关系数算法将第一模板图像和待匹配图像进行配准处理并获取第一拟合度和第一拼接点坐标；
若第一拟合度达到第一阈值，则将第一拼接点坐标作为最佳匹配点；
若第一拟合度未达到第一阈值，则扩展第一模板图像并获取当前帧图像的不同比例的第一模板图像和第二模板图像，通过双模板二值化算法将第一模板图像和第二模板图像分别与待匹配图像进行配准处理并获取第二拟合度、第二拼接点坐标、第三拟合度及第三拼接点坐标，将第二拟合度和第三拟合度进行优势比对并将胜出的拼接点坐标作为最佳匹配点。
8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311544175.4A CN117253234B (zh) | 2023-11-20 | 2023-11-20 | 扫描笔连续图像拼接方法、装置、介质及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311544175.4A CN117253234B (zh) | 2023-11-20 | 2023-11-20 | 扫描笔连续图像拼接方法、装置、介质及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117253234A CN117253234A (zh) | 2023-12-19 |
| CN117253234B true CN117253234B (zh) | 2024-03-12 |
Family
ID=89133613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311544175.4A Active CN117253234B (zh) | 2023-11-20 | 2023-11-20 | 扫描笔连续图像拼接方法、装置、介质及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117253234B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117956093B (zh) * | 2024-03-27 | 2024-06-18 | 深圳市云希谷科技有限公司 | 扫描笔文本扫描方法、装置、介质及计算机设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112383671A (zh) * | 2020-11-03 | 2021-02-19 | 安徽淘云科技有限公司 | 扫描方法、装置、扫描笔和存储介质 |
| CN113628113A (zh) * | 2021-08-11 | 2021-11-09 | 科大讯飞股份有限公司 | 一种图像拼接方法及其相关设备 |
| CN114926345A (zh) * | 2022-06-22 | 2022-08-19 | 上海商汤智能科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN115205113A (zh) * | 2022-06-15 | 2022-10-18 | 科大讯飞股份有限公司 | 一种图像拼接方法、装置、设备及存储介质 |
| CN115760561A (zh) * | 2021-08-31 | 2023-03-07 | 广东艾檬电子科技有限公司 | 图像拼接方法、终端设备以及计算机可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10580135B2 (en) * | 2016-07-14 | 2020-03-03 | Shanghai United Imaging Healthcare Co., Ltd. | System and method for splicing images |
-
2023
- 2023-11-20 CN CN202311544175.4A patent/CN117253234B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112383671A (zh) * | 2020-11-03 | 2021-02-19 | 安徽淘云科技有限公司 | 扫描方法、装置、扫描笔和存储介质 |
| CN113628113A (zh) * | 2021-08-11 | 2021-11-09 | 科大讯飞股份有限公司 | 一种图像拼接方法及其相关设备 |
| CN115760561A (zh) * | 2021-08-31 | 2023-03-07 | 广东艾檬电子科技有限公司 | 图像拼接方法、终端设备以及计算机可读存储介质 |
| CN115205113A (zh) * | 2022-06-15 | 2022-10-18 | 科大讯飞股份有限公司 | 一种图像拼接方法、装置、设备及存储介质 |
| CN114926345A (zh) * | 2022-06-22 | 2022-08-19 | 上海商汤智能科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Microwave Subsurface Imaging of Composite Structures Using Complementary Split Ring Resonators;Greeshmaja Govind等;《IEEE Sensors Journal》;20180915;第18卷(第18期);第7442 - 7449页 * |
| 基于扫描笔的发票识别系统设计;陈银;《中国优秀硕士学位论文全文数据库信息科技辑》(第03期);第I138-6470页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117253234A (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117253234B (zh) | 扫描笔连续图像拼接方法、装置、介质及计算机设备 | |
| EP2209090B1 (en) | Image restoring apparatus and method thereof | |
| CN110569341B (zh) | 配置聊天机器人的方法、装置、计算机设备和存储介质 | |
| US20230252664A1 (en) | Image Registration Method and Apparatus, Electronic Apparatus, and Storage Medium | |
| CN113221925B (zh) | 一种基于多尺度图像的目标检测方法及装置 | |
| CN108280829A (zh) | 焊缝图像识别方法、计算机装置及计算机可读存储介质 | |
| CN111145106A (zh) | 一种图像增强方法、装置、介质及设备 | |
| EP4266250A1 (en) | Image processing method and chip, and electronic device | |
| CN112465936A (zh) | 人像卡通化方法、装置、机器人及存储介质 | |
| CN111160232A (zh) | 正面人脸重建方法、装置及系统 | |
| CN112819720A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113902808A (zh) | 相机标定方法、装置、设备及存储介质 | |
| CN113557520A (zh) | 字符处理及字符识别方法、存储介质和终端设备 | |
| CN116993592B (zh) | 一种图像超分辨率重建模型的构建方法、装置及应用 | |
| CN113808033A (zh) | 图像文档校正方法、系统、终端及介质 | |
| CN111145107B (zh) | 一种图像美化方法、装置、介质及设备 | |
| JP5918684B2 (ja) | ステレオ画像処理装置及びステレオ画像処理方法 | |
| CN112634298B (zh) | 图像处理方法及装置、存储介质、终端 | |
| CN110378852A (zh) | 图像增强方法、装置、计算机设备和存储介质 | |
| CN110866535B (zh) | 视差图的获取方法、装置、计算机设备和存储介质 | |
| CN111612690B (zh) | 一种图像拼接方法及系统 | |
| CN110458134B (zh) | 一种人脸识别方法及装置 | |
| CN114356201A (zh) | 一种书写美化方法、装置、设备和可读存储介质 | |
| CN114399601A (zh) | 一种单目rgb摄像头的三维重建方法、系统和介质 | |
| CN113766090B (zh) | 一种图像处理方法、终端以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |