CN111612696B - 图像拼接方法、装置、介质及电子设备 - Google Patents
图像拼接方法、装置、介质及电子设备 Download PDFInfo
- Publication number
- CN111612696B CN111612696B CN202010436479.9A CN202010436479A CN111612696B CN 111612696 B CN111612696 B CN 111612696B CN 202010436479 A CN202010436479 A CN 202010436479A CN 111612696 B CN111612696 B CN 111612696B
- Authority
- CN
- China
- Prior art keywords
- image
- frame image
- input frame
- current
- subsequent input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 15
- 239000013598 vector Substances 0.000 claims description 90
- 230000004927 fusion Effects 0.000 claims description 38
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 239000012634 fragment Substances 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 12
- 238000007526 fusion splicing Methods 0.000 description 7
- 238000012015 optical character recognition Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明的实施例提供了一种图像拼接方法、装置、介质及电子设备，涉及图像处理技术领域。该方法包括：获取当前全景图像，其中，所述当前全景图像包括当前帧图像；获取实时扫描采集的后续输入帧图像，并计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离；根据所述最佳匹配偏移距离将所述后续输入帧图像拼接到所述当前全景图像中，并通过拼接完成的当前全景图像更新所述当前全景图像以及通过所述后续输入帧图像更新所述当前帧图像。本发明实施例的技术方案能够在快速实现图像片段拼接的同时，保证拼接得到的全景图像的准确率较高，效果较好，并且提升图像拼接的效率。
Description
技术领域
本发明的实施例涉及图像处理技术领域，更具体地，本发明的实施例涉及图像拼接方法、图像拼接装置、计算机可读存储介质以及电子设备。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
随着互联网技术的发展，即时图像扫描设备(例如电子扫描笔，又称微型扫描仪或手刮式扫描笔)已经成为人们生活服务中不可缺少的一部分，而即时图像扫描设备又离不开图像拼接技术。图像拼接技术(Image Stitching)可以是指将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅无缝的全景图像或高分辨率图像的技术。
目前的技术方案中，要么根据硬件标定的方法，直接将图像片段进行融合拼接；要么根据图像配准的方法，对图像片段进行配准后拼接。
发明内容
通过硬件标定的技术方案虽然能够简单、快速地完成图像的拼接，但是在即时图像扫描设备的使用场景中，由于扫描速度的不同和空间关系参数并不固定的问题，导致硬件标定或标记刻度的成本投入较大，拼接的效果也并不理想；通过图像配准的技术方案，在即时图像扫描设备的使用场景中，导致图像匹配拼接误差较大，图像特征提取耗时较长，图像拼接效率较低。
因此在相关技术中，难以达到令人满意的图像拼接方案。
为此，非常需要一种改进的图像拼接方法，以使得能够在快速实现图像片段拼接的同时，保证拼接得到的全景图像的准确率较高，效果较好，并且提升图像拼接的效率。
在本上下文中，本发明的实施例期望提供一种图像拼接方法、图像拼接装置、计算机可读存储介质以及电子设备。
在本发明实施例的第一方面中，提供了一种图像拼接方法，包括：
获取当前全景图像，其中，所述当前全景图像包括当前帧图像；
获取实时扫描采集的后续输入帧图像，并计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离；
根据所述最佳匹配偏移距离将所述后续输入帧图像拼接到所述当前全景图像中，并通过拼接完成的当前全景图像更新所述当前全景图像以及通过所述后续输入帧图像更新所述当前帧图像。
在本发明的一些实施例中，基于前述方案，所述计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离，包括：
将所述后续输入帧图像切分成图像块；
基于所述后续输入帧图像对应的所述图像块，计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离。
在本发明的一些实施例中，基于前述方案，基于所述后续输入帧图像对应的所述图像块，计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离，包括：
将每个所述图像块在所述当前帧图像上进行匹配位移，以计算所述图像块在所有偏移位置上与所述当前帧图像的相关匹配系数；以及
确定每个所述图像块在匹配位移时与所述图像块对应的原始位置的滑动偏移向量；
根据所述相关匹配系数以及所述滑动偏移向量，计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离。
在本发明的一些实施例中，基于前述方案，根据所述相关匹配系数以及所述滑动偏移向量，计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离，包括：
从所述相关匹配系数中确定所述图像块与所述当前帧图像的最大相关匹配系数；
根据所述最大相关匹配系数对应的目标偏移位置，确定所述图像块在所述目标偏移位置处的目标滑动偏移向量；
根据所述目标滑动偏移向量计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离。
在本发明的一些实施例中，基于前述方案，所述根据所述相关匹配系数以及所述滑动偏移向量，计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离，包括：
过滤所述最大相关匹配系数小于相关匹配系数阈值的所述图像块；
计算剩余的所述图像块对应的所述目标滑动偏移向量的向量模长，并将所述向量模长中的统计特征值对应的目标滑动偏移向量作为所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离。
在本发明的一些实施例中，基于前述方案，所述后续输入帧图像包括与所述当前全景图像对应的重叠图像区域和非重叠图像区域；
所述根据所述最佳匹配偏移距离将所述后续输入帧图像拼接到所述当前全景图像中，包括：
计算所述重叠图像区域中任一点处的融合系数；
根据所述融合系数将所述后续输入帧图像对应的所述重叠图像区域与所述当前全景图像进行加权融合，以将所述后续输入帧图像拼接到所述当前全景图像中。
在本发明的一些实施例中，基于前述方案，所述方法还包括：
基于融合后的重叠图像区域，根据所述后续输入帧图像中所述重叠图像区域和所述非重叠图像区域的相对位置，将所述非重叠图像区域拼接到所述当前全景图像中以完成所述后续输入帧图像与所述当前全景图像的拼接处理。
在本发明实施例的第二方面中，提供了一种图像拼接装置，包括：
全景图像获取模块，用于获取当前全景图像，其中，所述当前全景图像包括当前帧图像；
最佳匹配偏移距离计算模块，用于获取实时扫描采集的后续输入帧图像，并计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离；
后续输入帧图像拼接模块，用于根据所述最佳匹配偏移距离将所述后续输入帧图像拼接到所述当前全景图像中，并通过拼接完成的当前全景图像更新所述当前全景图像以及通过所述后续输入帧图像更新所述当前帧图像。
在本发明的一些实施例中，基于前述方案，所述最佳匹配偏移距离计算模块还包括：
后续输入帧图像切分单元，用于将所述后续输入帧图像切分成图像块；
偏移距离计算单元，用于基于所述后续输入帧图像对应的所述图像块，计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离。
在本发明的一些实施例中，基于前述方案，所述偏移距离计算单元还包括：
相关匹配系数计算单元，用于将每个所述图像块在所述当前帧图像上进行匹配位移，以计算所述图像块在所有偏移位置上与所述当前帧图像的相关匹配系数；以及
滑动偏移向量确定单元，用于确定每个所述图像块在匹配位移时与所述图像块对应的原始位置的滑动偏移向量；
最佳匹配偏移距离计算单元，用于根据所述相关匹配系数以及所述滑动偏移向量，计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离。
在本发明的一些实施例中，基于前述方案，所述最佳匹配偏移距离计算单元被配置为：
从所述相关匹配系数中确定所述图像块与所述当前帧图像的最大相关匹配系数；
根据所述最大相关匹配系数对应的目标偏移位置，确定所述图像块在所述目标偏移位置处的目标滑动偏移向量；
根据所述目标滑动偏移向量计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离。
在本发明的一些实施例中，基于前述方案，所述最佳匹配偏移距离计算单元还被配置为：
过滤所述最大相关匹配系数小于相关匹配系数阈值的所述图像块；
计算剩余的所述图像块对应的所述目标滑动偏移向量的向量模长，并将所述向量模长中的统计特征值对应的目标滑动偏移向量作为所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离。
在本发明的一些实施例中，基于前述方案，所述后续输入帧图像包括与所述当前全景图像对应的重叠图像区域和非重叠图像区域；
所述后续输入帧图像拼接模块还包括图像加权融合单元，所述图像加权融合被配置为：
计算所述重叠图像区域中任一点处的融合系数；
根据所述融合系数将所述后续输入帧图像对应的所述重叠图像区域与所述当前全景图像进行加权融合，以将所述后续输入帧图像拼接到所述当前全景图像中。
在本发明的一些实施例中，基于前述方案，所述后续输入帧图像拼接模块还包括非重叠图像区域拼接单元，所述非重叠图像区域拼接单元被配置为：
基于融合后的重叠图像区域，根据所述后续输入帧图像中所述重叠图像区域和所述非重叠图像区域的相对位置，将所述非重叠图像区域拼接到所述当前全景图像中以完成所述后续输入帧图像与所述当前全景图像的拼接处理。
在本发明实施例的第三方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的图像拼接方法。
在本发明实施例的第四方面中，提供了一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上述第一方面所述的图像拼接方法。
根据本发明实施例的技术方案，一方面，计算当前全景图像中的当前帧图像与实时扫描采集的后续输入帧图像对应的最佳匹配偏移距离，并根据最佳匹配偏移距离将后续输入帧图像拼接到当前全景图像中，能够提高图像拼接的准确性，提升拼接得到的全景图像的图像质量；另一方面，仅需要计算前后两帧图像之间的最佳匹配偏移距离即可完成图像拼接，降低图像拼接(如硬件标定方案)的成本投入；再一方面，通过计算得到的最佳匹配偏移距离进行图像拼接，能够提升图像的拼接效率，提高实时高帧率图像扫描场景下的全景图像成像效率；再一方面，通过拼接完成的当前全景图像更新已存储的当前全景图像以及通过后续输入帧图像更新已存储的当前帧图像，能够在停止扫描时实时将已扫描的内容成像，提升系统的成像响应速度，且生成的全景图像不受因扫描速度不同而产生的影响，提升用户的使用体验。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施例的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施例，其中：
图1示意性示出了根据本发明的一些实施例的示例性应用场景的系统架构的示意框图；
图2示意性地示出了根据本发明的一些实施例的图像拼接方法的流程示意图；
图3示意性地示出了根据本发明的一些实施例的通过切分帧图像确定最佳匹配偏移距离的流程示意图；
图4示意性地示出了根据本发明的一些实施例的通过相关匹配系数以及滑动偏移向量确定最佳匹配偏移距离的流程示意图；
图5示意性地示出了根据本发明的一些实施例的根据目标滑动偏移向量确定最佳匹配偏移距离的流程示意图；
图6示意性地示出了根据本发明的一些实施例的通过筛选目标滑动偏移向量确定最佳匹配偏移距离的流程示意图；
图7示意性地示出了根据本发明的一些实施例的融合重叠图像区域的流程示意图；
图8示意性地示出了根据本发明的一些实施例的通过图像拼接方法实现扫描图像拼接的实例示意图；
图9示意性地示出了根据本发明的一些实施例的图像拼接装置的示意框图；
图10示意性地示出了根据本发明的一些实施例的图像扫描拼接装置的示意框图；
图11示意性地示出了根据本发明的示例实施例的存储介质的示意图；以及
图12示意性地示出了根据发明的示例实施例的电子设备的方框图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施例来描述本发明的原理和精神。应当理解，给出这些实施例仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施例可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施例，提出了一种图像拼接方法、图像拼接装置、介质和电子设备。
在本文中，需要理解的是，所涉及的术语，比如扫描图像序列(Scan imagesequence)可以是指即时图像扫描设备通过光学传感器以一定的帧率在文本材料上扫描，获得的相邻帧之间有重叠成像的图像序列。图像特征(Image features)可以包含图像的颜色特征、纹理特征、形状特征和空间关系特征等统计信息，特征点是常用的图像特征，其包括特征点位置和特征描述子，特征描述子具有尺度旋转不变性，因此有内容重叠的图像通常包含相似的特征点；图像配准(Image registration)可以是指是根据图像间特征匹配建立一张图像与另一张图像的空间投影关系的过程，可以将两张图像变换到同一坐标系下，是图像拼接技术的核心问题。此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的若干代表性实施例，详细阐释本发明的原理和精神。
发明概述
本发明人发现，一种技术方案中，通过硬件标定的方法实现图像拼接，具体的，例如，申请号为CN200910247061.7的专利申请中公开了使用相机内部参数和空间关系参数计算图像间的投影关系，将预置场景中的图像序列直接拼接的技术方案；再例如，申请号为CN201210052033.1的专利申请中公开了使用扫描装置上的滚轮标志计算运动位移，根据位移信息对图像片段融合的技术方案。
但是，该技术方案在即时图像扫描设备(例如电子扫描笔)的使用场景下，由于扫描速度的不同，空间关系参数并不固定，导致硬件标定或标记刻度的难度较高，成本投入较高，拼接得到的全景图像的质量也较差。
另一种技术方案中，通过图像配准的方法实现图像拼接，具体的，例如，申请号为CN201110141351.0的专利申请中公开了计算二值化后的图像序列间的像素值拼接系数，通过跳帧筛选图像并预测拼接信息的技术方案；再例如，申请号为CN201711431274.6的专利申请中公开了使用光流法对图像序列中的图像特征点(SURF)进行跟踪，通过计算运动向量进行图像配准。
但是，该技术方案中，一方面，与常规拼接图像不同，文本图像的轮廓特征明显但纹理特征较少，如中文汉字的横、撇、竖笔画(例如汉字“一，三，四，十”)在不同的字中可能存在相同的特征描述子，特别是采用二值统计特征容易导致误匹配；另一方面，为支持用户快速扫描，电子词典扫描笔通常采用120或者更高的帧率进行采集，尽管有SURF(SpeededUp Robust Features，一种类似于尺度不变特征变换算法SIFT的兴趣点检测及描述子算法)、ORB(Oriented FAST and Rotated BRIEF，快速特征点提取和描述算法)等轻量特征方法，但在嵌入式设备上实时处理高帧率的扫描图像，特征提取耗时较长，计算量较大，导致成像效率较低。
基于上述内容，本发明的基本思想在于，获取当前全景图像以及当前全景图像对应的当前帧图像，计算实时扫描采集的后续输入帧图像与当前帧图像对应的最佳匹配偏移距离，并根据最佳匹配偏移距离将后续输入帧图像拼接到当前全景图像中，最后通过拼接完成的当前全景图像更新当前全景图像以及通过后续输入帧图像更新当前帧图像，从而能够提高图像拼接的准确性，提升拼接得到的全景图像的图像质量，提升图像的拼接效率，提高实时高帧率图像扫描场景下的全景图像成像效率，同时降低了图像拼接的成本投入，且实时将已扫描的内容成像，生成的全景图像不受因扫描速度不同而产生的影响，提升系统的成像响应速度，提升用户的使用体验。
在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施例。
应用场景总览
首先参考图1，图1示出了可以应用本公开实施例的一种图像拼接方法及装置的示例性应用场景的系统架构的示意框图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路等等。终端设备101、102、103可以是具有显示屏和光学扫描装置的各种电子设备，包括但不限于连接有便携扫描仪器的台式计算机或者便携式计算机、智能手机和电子扫描笔等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
本公开实施例所提供的图像拼接方法一般由终端设备101、102、103执行，相应地，图像拼接装置一般设置于终端设备101、102、103中。但本领域技术人员容易理解的是，本公开实施例所提供的图像拼接方法也可以由服务器105执行，相应的，图像拼接装置也可以设置于服务器105中，本示例性实施例中对此不做特殊限定。举例而言，在一种示例性实施例中，可以是用户通过终端设备101、102、103将后续输入帧图像上传至服务器105，服务器105通过本公开实施例所提供的图像拼接方法将后续输入帧图像与当前全景图像中的当前帧图像进行拼接，并在停止输入后将拼接好的全景图像传输给终端设备101、102、103等以在终端设备101、102、103进行扫描内容成像或者进行OCR(Optical Character Recognition，光学字符识别)识别，以及更新已存储的当前全景图像以及对应的当前帧图像。
应该理解的是，图1所示的应用场景仅是本发明的实施例可以在其中得以实现的一个示例。本发明实施例的适用范围不受到该应用场景任何方面的限制。
示例性方法
下面结合图1的应用场景，参考图2来描述根据本发明示例性实施例的图像拼接方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施例在此方面不受任何限制。相反，本发明的实施例可以应用于适用的任何场景。
本公开首先提供了一种图像拼接方法，该方法执行主体可以是终端设备，也可以是服务器，本公开对此不做特殊限定，本示例实施例中以终端设备执行该方法为例进行说明，特别的，终端设备可以是即时扫描图像设备，例如电子扫描笔、微型扫描仪等，本示例实施例不以此为限。
参照图2所示，在步骤S210中，获取当前全景图像。
在示例实施例中，当前全景图像可以是指一次扫描操作中，当前时刻对应的已经拼接融合生成的图像，例如，假设对于图像序列{A，B，C，D}，扫描操作当前时刻已扫描采集图像帧C，下一刻即将扫描图像帧D，此时，图像帧A，B，C已融合拼接生成的完整图像可以认为是当前全景图像，当然，此处仅是示意性举例说明，并不应对本示例实施例产生任何特殊限定。
当前全景图像可以包括当前帧图像，当前帧图像可以是指拼接构成当前全景图像的最新的图像帧，例如，假设对于图像序列{A，B，C，D}，扫描操作当前时刻已扫描采集图像帧C，下一刻即将扫描图像帧D，此时，图像帧A，B，C已融合拼接生成当前全景图像，当前时刻已拼接到当前全景图像中的图像帧C可以认为是当前帧图像，当然，此处仅是示意性举例说明，并不应对本示例实施例产生任何特殊限定。
在当前时刻将当前图像帧拼接融合到上一帧图像对应的全景图像以生成当前全景图像，然后将当前全景图像存储到预设的存储单元。在后续的命令需要调用当前全景图像时，从该存储单元获取当前全景图像，例如，假设在获取到新输入的图像帧时，此时接收到的是融合拼接指令，因此可以从存储单元获取当前全景图像并将新输入的图像帧融合拼接到当前全景图像中，同时更新存储单元中的当前全景图像；或者，在接收到输出全景图像的指令时，从存储单元获取当前全景图像，并将当前全景图像作为最终的全景图像进行显示或者进行OCR识别。
在步骤S220中，获取实时扫描采集的后续输入帧图像，并计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离。
在示例实施例中，后续输入帧图像可以是指需要融合拼接到当前全景图像中的图像帧，后续输入帧图像相当于当前图像帧的下一时刻采集的图像帧，例如，假设对于图像序列{A，B，C，D}，此时，图像帧A，B，C已融合拼接生成当前全景图像，则扫描操作当前时刻已扫描采集图像帧C为当前帧图像，而下一刻即将扫描的图像帧D可以认为是后续输入帧图像，当然，此处仅是示意性举例说明，并不应对本示例实施例产生任何特殊限定。
最佳匹配偏移距离可以是指将后续输入帧图像融合拼接到当前帧图像中最佳的偏移向量对应的模长，通过最佳匹配偏移距离能够确定将后续输入帧图像融合拼接到当前帧图像中的最佳位置，并实现后续输入帧图像与当前帧图像的无缝融合拼接。
在步骤S230中，根据所述最佳匹配偏移距离将所述后续输入帧图像拼接到所述当前全景图像中，并通过拼接完成的当前全景图像更新所述当前全景图像以及通过所述后续输入帧图像更新所述当前帧图像。
在示例实施例中，在确定当前帧图像与后续输入帧图像对应的最佳匹配偏移距离之后，根据最佳匹配偏移距离将后续输入帧图像拼接到当前全景图像中得到新的当前全景图像，此时得到的新的当前全景图像相当于下一时刻帧图像对应的当前全景图像，而后续输入帧图像相当于下一时刻帧图像对应的当前帧图像，因此，此时需要根据新的当前全景图像以及后续输入帧图像更新预设的存储单元中存储的当前全景图像以及当前帧图像，以便于后续融合拼接相对于后续输入帧图像的下一时刻帧图像，例如，假设对于图像序列{A，B，C，D，E}，此时，存储单元存储的是当前全景图像ABC以及当前帧图像C，此时根据当前帧图像C和后续输入帧图像D对应的最佳匹配偏移距离将后续输入帧图像D融合拼接到当前全景图像ABC生成全景图像ABCD，但是在融合拼接相对于后续输入帧图像的下一刻帧图像E时，就需要在全景图像ABCD的基础上继续融合，因此，此时可以将预设的存储单元中的当前全景图像ABC更新为新的当前全景图像ABCD，将后续输入帧图像D作为新的当前帧图像更新当前帧图像C，以便于后续进行下一刻帧图像E的融合拼接，当然，此处仅是示意性举例说明，并不应对本示例实施例产生任何特殊限定。
在每融合一帧图像之后，将存储单元中的当前全景图像以及当前帧图像进行更新，便于融合后续帧图像的同时，能够实时将已扫描的内容成像，实现随停随成像的效果，提升系统的成像响应速度，且生成的全景图像不受因扫描速度不同而产生的影响，提升用户的使用体验。
根据图2示例实施例的技术方案，一方面，计算当前全景图像中的当前帧图像与实时扫描采集的后续输入帧图像对应的最佳匹配偏移距离，并根据最佳匹配偏移距离将后续输入帧图像拼接到当前全景图像中，能够提高图像拼接的准确性，提升拼接得到的全景图像的图像质量；另一方面，仅需要计算前后两帧图像之间的最佳匹配偏移距离即可完成图像拼接，降低图像拼接(如硬件标定方案)的成本投入；再一方面，通过计算得到的最佳匹配偏移距离进行图像拼接，能够提升图像的拼接效率，提高实时高帧率图像扫描场景下的全景图像成像效率；再一方面，通过拼接完成的当前全景图像更新已存储的当前全景图像以及通过后续输入帧图像更新已存储的当前帧图像，能够在停止扫描时实时将已扫描的内容成像，提升系统的成像响应速度，且生成的全景图像不受因扫描速度不同而产生的影响，提升用户的使用体验。
具体的，可以参照图3中的步骤计算最佳匹配偏移距离，图3示意性地示出了根据本发明的一些实施例的通过切分帧图像确定最佳匹配偏移距离的流程示意图。
参考图3所示，在步骤S310中，将后续输入帧图像切分成图像块；
在步骤S320中，基于后续输入帧图像对应的图像块，计算后续输入帧图像与当前帧图像对应的最佳匹配偏移距离。
其中，图像块可以是指将后续输入帧图像进行分割后的图像区域，例如，可以将后续输入帧图像平均分割成5*5(此处仅是示意性举例说明，对此不做特殊限定)的图像区域，即将后续输入帧图像平均分割成25个图像块，当然，也可以是根据实际需求(例如图像大小、图像特征等参数需求)将后续输入帧图像切割成特定形状、特定数量的图像块，本示例实施例对此不做特殊限定。
将后续输入帧图像切割成图像块，并根据图像块计算后续输入帧图像与当前帧图像对应的最佳匹配偏移距离，能够降低计算过程中的计算量，提升计算效率。
进一步的，可以参照图4中的步骤，根据图3中得到的图像块计算最佳匹配偏移距离，图4示意性地示出了根据本发明的一些实施例的通过相关匹配系数以及滑动偏移向量确定最佳匹配偏移距离的流程示意图。
参考图4所示，在步骤S410中，将每个图像块在当前帧图像上进行匹配位移，以计算图像块在所有偏移位置上与当前帧图像的相关匹配系数；以及
在步骤S420中，确定每个图像块在匹配位移时与图像块对应的原始位置的滑动偏移向量；
在步骤S430中，根据相关匹配系数以及滑动偏移向量，计算后续输入帧图像与当前帧图像对应的最佳匹配偏移距离。
其中，匹配位移可以是指将后续输入帧图像对应的图像块在当前帧图像上进行全局滑动匹配计算，即可以认为是，先计算每个图像块与图像块的初始位置处当前帧图像上对应的图像区域的相关匹配系数，然后根据设置的步长以及滑动方向将该图像块移动一次，并计算该图像块与移动后的位置处当前帧图像上对应的图像区域的相关匹配系数，再次根据设置的步长以及滑动方向将该图像块移动一次并计算相关匹配系数，直到该图像块与当前帧图像的所有位置处完成相关匹配系数计算。
相关匹配系数可以是指用于衡量图像块与当前帧图像上对应图像区域的匹配程度的数据，例如，图像块与当前帧图像上不同图像区域的相关匹配系数可以是0.1，0.5，0.7，0.9，0.5，其中，相关匹配系数为0.9的图像区域可以认为与该图像块最为匹配，相关匹配系数为0.1的图像区域可以认为与该图像块最不匹配，当然，此处仅是示意性举例说明，并不应对本示例实施例造成任何特殊限定。
滑动偏移向量可以是指每个图像块在匹配位移时，该图像块在当前图像帧上的偏移位置与该图像块的原始位置对应的向量，该向量的方向可以表示图像块在与当前帧图像匹配位移时相对于原始位置的偏移方向，该向量的模长可以表示图像块在与当前帧图像匹配位移时相对于原始位置的偏移距离。
优选的，假设图像块进行匹配位移时在当前帧图像上的偏移位置记为(x，y)，则可以通过关系式(1)计算后续输入帧图像的图像块在偏移位置(x，y)上的当前帧图像的图像区域(图像块)对应的相关匹配系数：
其中，R(x，y)可以表示相关匹配系数，T可以表示后续输入帧图像，I可以表示当前帧图像，T'(x'，y')以及I'(x+x'，y+y')可以分别通过关系式(2)和关系式(3)进行表示：
T'(x'，y')＝T(x'，y')-1/(w·h)·∑x”，y”T(x”，y”) (2)
I'(x+x'，y+y')＝I(x+x'，y+y')-1/(w·h)·∑x”，y”I(x+x”，y+y”) (3)
其中，w可以表示图像块对应的宽度，h可以表示图像块对应的高度，(x'，y')以及(x”，y”)均可以表示当前帧图像或者后续输入帧图像上的所有位置，T(x'，y')以及T(x”，y”)可以分别表示后续输入帧图像中在(x'，y')以及(x”，y”)处的图像块，I(x+x'，y+y')以及I(x+x”，y+y”)可以分别表示当前帧图像中在(x'，y')以及(x”，y”)处图像块进行匹配位移时对应的图像区域。表达式(2)和表达式(3)的计算可以理解为归一化操作。
在示例实施例中，在确定了每个图像块的相关匹配系数以及滑动偏移向量之后，则可以根据相关匹配系数以及滑动偏移向量，计算后续输入帧图像与当前帧图像对应的最佳匹配偏移距离。
在示例实施例中，可以基于图4中步骤计算得到的相关匹配系数以及滑动偏移向量，通过图5中的步骤筛选目标滑动偏移向量，进而根据目标滑动偏移向量确定最佳匹配偏移距离，图5示意性地示出了根据本发明的一些实施例的根据目标滑动偏移向量确定最佳匹配偏移距离的流程示意图。
参考图5所示，在步骤S510中，从相关匹配系数中确定图像块与当前帧图像的最大相关匹配系数；
在步骤S520中，根据最大相关匹配系数对应的目标偏移位置，确定图像块在目标偏移位置处的目标滑动偏移向量；
在步骤S530中，根据目标滑动偏移向量计算后续输入帧图像与当前帧图像对应的最佳匹配偏移距离。
其中，最大相关匹配系数可以是指每个图像块与当前帧图像对应的相关匹配系数中数值最大的，例如，图像块与当前帧图像上不同图像区域的相关匹配系数可以是0.1，0.5，0.7，0.9，0.5，则图像块的最大相关匹配系数为0.9，此时可以认为该图像块与相关匹配系数为0.9对应的位置的图像区域是最为匹配的，当然，此处仅是示意性举例说明，并不应对本示例实施例造成任何特殊限定。
目标偏移位置可以是指图像块在计算得到最大相关匹配系数时对应在当前帧图像上的位置区域，即目标偏移位置可以表示图像块在匹配位移时在当前帧图像上找到的最为匹配的图像区域。图像块在当前帧图像上的每个偏移位置均对应一个滑动偏移向量。目标滑动偏移向量可以是指图像块在计算得到最大相关匹配系数时的位置区域对应的滑动偏移向量，即目标滑动偏移向量可以表示图像块与当前帧图像上最为匹配的图像区域对应的滑动偏移向量。
图6示意性地示出了根据本发明的一些实施例的通过筛选目标滑动偏移向量确定最佳匹配偏移距离的流程示意图。
参考图6所示，在步骤S610中，过滤最大相关匹配系数小于相关匹配系数阈值的图像块；
在步骤S620中，计算剩余的图像块对应的目标滑动偏移向量的向量模长；
在步骤S630中，将向量模长中的统计特征值对应的目标滑动偏移向量作为后续输入帧图像与当前帧图像对应的最佳匹配偏移距离。
其中，相关匹配系数阈值可以是指预先设置的、用于筛选最大相关匹配系数不满足要求的图像块的数值，例如，相关匹配系数阈值可以是0.5，即将最大相关匹配系数小于0.5的图像块进行剔除，当然，相关匹配系数阈值也可以是0.4、0.3等，具体数值可以根据实际情况进行自定义设定，本示例实施例对此不做特殊限定。
统计特征值可以是表征多个向量模长对应的统计参数，例如，统计特征值可以是多个向量模长对应的平均值，也可以是多个向量模长对应的中值，当然，还可以是多个向量模长对应的加权平均值，本示例实施例对此不做特殊限定。
优选的，可以将多个向量模长对应的中值作为后续输入帧图像与当前帧图像对应的最佳匹配偏移距离。
在示例实施例中，可以计算过滤后剩余的图像块对应的目标滑动偏移向量的向量模长，可以根据平面向量模长公式进行计算，在此不再赘述。将得到的多个向量模长进行排序，并将多个向量模长对应的中值作为后续输入帧图像与当前帧图像对应的最佳匹配偏移距离。
通过过滤最大相关匹配系数小于相关匹配系数阈值的图像块，可以剔除可能影响最佳匹配偏移距离的准确度的图像块，提升最佳匹配偏移距离的准确性，同时降低后续计算的计算量，提升系统性能。
图7示意性地示出了根据本发明的一些实施例的融合重叠图像区域的流程示意图。
参考图7所示，在步骤S710中，计算重叠图像区域中任一点处的融合系数；
在步骤S720中，根据融合系数将后续输入帧图像对应的重叠图像区域与当前全景图像进行加权融合，以将后续输入帧图像拼接到当前全景图像中。
其中，后续输入帧图像可以包括与当前全景图像对应的重叠图像区域和非重叠图像区域，重叠图像区域可以是指根据最佳匹配偏移距离确定的、后续输入帧图像与当前全景图像重叠的区域，具体的，可以根据最佳匹配偏移距离将后续输入帧图像移动到当前全景图像对应的坐标系中，将后续输入帧图像与当前全景图像的重叠部分作为重叠图像区域，将后续输入帧图像与当前全景图像的不重叠部分作为非重叠图像区域。
融合系数可以是指将后续输入帧图像变换到当前全景图像对应的坐标系中进行加权融合的参数。
具体的，可以通过以下步骤计算融合系数：
确定全景图像中的当前帧图像中心点与后续输入帧图像中心点的连线，并计算重叠图像区域在该连线上的投影区域AB，则重叠图像区域中任一点C(x，y)处的融合系数可以表示为关系式(4)：
其中，αx，y可以表示融合系数，可以表示投影区域AB对应的向量，/>可以表示投影区域AB中的A端点与重叠图像区域中任一点C对应的向量，/>可以表示向量/>的模长。
在示例实施例中，在根据最佳匹配偏移距离确定重叠图像区域和非重叠区域之后，可以计算重叠图像区域中任一点处的融合系数，然后根据融合系数将后续输入帧图像与当前全景图像对应的重叠图像区域进行加权融合，具体加权融合的过程可以表示为关系式(5)：
S'(x，y)＝αx，yT(x，y)+(1-αx，y)S(x，y) (5)
其中，αx，y可以表示融合系数，T(x，y)可以表示后续输入帧图像中(x，y)处的图像块(像素值)，S(x，y)可以表示当前全景图像中(x，y)处的图像区域(像素值)，S'(x，y)可以表示当前全景图像中(x，y)处融合拼接后得到的图像区域(像素值)。
在示例实施例中，可以基于融合后的重叠图像区域，将非重叠图像区域拼接到当前全景图像中，即在根据最佳匹配偏移距离以及融合系数将重叠图像区域加权融合到当前全景图像之后，由于重叠图像区域与非重叠图像区域本身就是属于同一个后续输入帧图像，因此不需要重新对非重叠图像区域进行图像坐标转换和图像块(像素值)融合，只需要根据重叠图像区域与非重叠图像区域的相对位置，直接将非重叠图像区域对应的图像块(像素值)复制并拼接到融合后的重叠图像区域后面(相对位置)即可，此时，可以完成将后续输入帧图像中的非重叠图像区域对应的图像块(像素值)拼接到当前全景图像中，实现后续输入帧图像中的非重叠图像区域与当前全景图像的拼接处理。
图8示意性地示出了根据本发明的一些实施例的通过图像拼接方法实现扫描图像拼接的实例示意图。
参考图8所示，步骤S810，通过光学扫描装置高帧率实时扫描并获取帧图像801(当然，本示例实施例中可以是在扫描获取到一帧图像时便实时进行融合拼接，随扫描随融合拼接，随停随成像)；
步骤S820，通过本示例实施例中的图像拼接装置802(图像拼接方法)将当前时刻获取的帧图像801与历史存储的当前全景图像(帧图像)进行融合拼接得到全景图像803，并在停止扫描时，将全景图像803通过显示单元进行成像，可选的，将全景图像803进行OCR识别后通过显示单元显示OCR识别结果。
示例性装置
在介绍了本发明示例性实施例的方法之后，接下来，参考图9对本发明示例性实施例的图像拼接装置进行描述。
在图9中，图像拼接装置900可以包括：全景图像获取模块910、最佳匹配偏移距离计算模块920以及后续输入帧图像拼接模块930。其中：全景图像获取模块910用于获取当前全景图像，其中，所述当前全景图像包括当前帧图像；最佳匹配偏移距离计算模块920用于获取实时扫描采集的后续输入帧图像，并计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离；后续输入帧图像拼接模块930用于根据所述最佳匹配偏移距离将所述后续输入帧图像拼接到所述当前全景图像中，并通过拼接完成的当前全景图像更新所述当前全景图像以及通过所述后续输入帧图像更新所述当前帧图像。
在本发明的一些实施例中，基于前述方案，所述最佳匹配偏移距离计算模块920还包括：
后续输入帧图像切分单元，用于将所述后续输入帧图像切分成图像块；
偏移距离计算单元，用于基于所述后续输入帧图像对应的所述图像块，计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离。
在本发明的一些实施例中，基于前述方案，所述偏移距离计算单元还包括：
相关匹配系数计算单元，用于将每个所述图像块在所述当前帧图像上进行匹配位移，以计算所述图像块在所有偏移位置上与所述当前帧图像的相关匹配系数；以及
滑动偏移向量确定单元，用于确定每个所述图像块在匹配位移时与所述图像块对应的原始位置的滑动偏移向量；
最佳匹配偏移距离计算单元，用于根据所述相关匹配系数以及所述滑动偏移向量，计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离。
在本发明的一些实施例中，基于前述方案，所述最佳匹配偏移距离计算单元被配置为：
从所述相关匹配系数中确定所述图像块与所述当前帧图像的最大相关匹配系数；
根据所述最大相关匹配系数对应的目标偏移位置，确定所述图像块在所述目标偏移位置处的目标滑动偏移向量；
根据所述目标滑动偏移向量计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离。
在本发明的一些实施例中，基于前述方案，所述最佳匹配偏移距离计算单元还被配置为：
过滤所述最大相关匹配系数小于相关匹配系数阈值的所述图像块；
计算剩余的所述图像块对应的所述目标滑动偏移向量的向量模长，并将所述向量模长中的统计特征值对应的目标滑动偏移向量作为所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离。
在本发明的一些实施例中，基于前述方案，所述后续输入帧图像包括与所述当前全景图像对应的重叠图像区域和非重叠图像区域；
所述后续输入帧图像拼接模块930还包括图像加权融合单元，所述图像加权融合单元被配置为：
计算所述重叠图像区域中任一点处的融合系数；
根据所述融合系数将所述后续输入帧图像对应的所述重叠图像区域与所述当前全景图像进行加权融合，以将所述后续输入帧图像拼接到所述当前全景图像中。
在本发明的一些实施例中，基于前述方案，所述后续输入帧图像拼接模块930还包括非重叠图像区域拼接单元，所述非重叠图像区域拼接单元被配置为：
基于融合后的重叠图像区域，根据所述后续输入帧图像中所述重叠图像区域和所述非重叠图像区域的相对位置，将所述非重叠图像区域拼接到所述当前全景图像中以完成所述后续输入帧图像与所述当前全景图像的拼接处理。
图10示意性地示出了根据本发明的一些实施例的图像扫描拼接装置的示意框图。
参考图10所示，本示例实施例还提供了一种图像扫描拼接装置1000，该图像扫描拼接装置1000可以包括显示模块1010、图像拼接模块1020以及采集模块1030。
其中，显示模块1010可以包括用于显示融合拼接的到的全景图像或者OCR识别结果的LCD显示屏。
图像拼接模块1020用于将扫描图像序列拼接成全景图像，可以包括：
存储单元，用于存储当前帧和当前序列融合成的当前全景图像；
匹配单元，用于接收后续输入帧图像并计算后续输入帧图像与当前帧图像的投影关系(最佳匹配偏移距离)；
融合单元，用于根据投影关系(最佳匹配偏移距离)将重叠图像区域融合，拼接非重叠图像区域，并更新存储单元中的当前帧图像和当前全景图像。
采集模块1030可以包括镜头、光学传感器、LED照明灯和触控杆，用于采集扫描图像序列。
示例性介质
在介绍了本发明示例性实施例的装置之后，接下来，对本发明示例性实施例的存储介质进行说明。
在一些实施例中，本发明的各个方面还可以实现为一种介质，其上存储有程序代码，当所述程序代码被设备的处理器执行时用于实现本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的图像拼接方法中的步骤。
例如，所述设备的处理器执行所述程序代码时可以实现如图2中所述的步骤S210，获取当前全景图像，其中，所述当前全景图像包括当前帧图像；步骤S220，获取实时扫描采集的后续输入帧图像，并计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离；步骤S230，根据所述最佳匹配偏移距离将所述后续输入帧图像拼接到所述当前全景图像中，并通过拼接完成的当前全景图像更新所述当前全景图像以及通过所述后续输入帧图像更新所述当前帧图像。
参考图11所示，描述了根据本发明的实施例的用于实现上述图像拼接方法的程序产品1100，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备。
示例性计算设备
在介绍了本发明示例性实施例的图像拼接方法、图像拼接装置以及存储介质之后，接下来，介绍根据本发明的示例性实施例的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施例中，根据本发明的电子设备可以至少包括至少一个处理单元、以及至少一个存储单元。其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的图像拼接方法中的步骤。例如，所述处理单元可以执行如图2中所示的步骤S210，获取当前全景图像，其中，所述当前全景图像包括当前帧图像；步骤S220，获取实时扫描采集的后续输入帧图像，并计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离；步骤S230，根据所述最佳匹配偏移距离将所述后续输入帧图像拼接到所述当前全景图像中，并通过拼接完成的当前全景图像更新所述当前全景图像以及通过所述后续输入帧图像更新所述当前帧图像。
下面参照图12来描述根据本发明的示例实施例的电子设备1200。图12所示的电子设备1200仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图12所示，电子设备1200以通用计算设备的形式表现。电子设备1200的组件可以包括但不限于：上述至少一个处理单元1201、上述至少一个存储单元1202、连接不同系统组件(包括存储单元1202和处理单元1201)的总线1203、显示单元1207。
总线1203包括数据总线、地址总线和控制总线。
存储单元1202可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1221和/或高速缓存存储器1222，还可以进一步包括只读存储器(ROM)1223。
存储单元1202还可以包括具有一组(至少一个)程序模块1224的程序/实用工具1225，这样的程序模块1224包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备1200也可以与一个或多个外部设备1204(例如键盘、指向设备、蓝牙设备等)通信，这种通信可以通过输入/输出(I/O)接口1205进行。并且，电子设备1200还可以通过网络适配器1206与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1206通过总线1203与电子设备1200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了图像拼接装置的若干单元/模块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施例，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施例描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施例，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
Claims (14)
1.一种图像拼接方法，其特征在于，包括：
获取当前全景图像，其中，所述当前全景图像包括当前帧图像；
获取实时扫描采集的后续输入帧图像，并计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离；
根据所述最佳匹配偏移距离将所述后续输入帧图像拼接到所述当前全景图像中，并通过拼接完成的当前全景图像更新所述当前全景图像以及通过所述后续输入帧图像更新所述当前帧图像；
其中，所述计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离，包括：
将所述后续输入帧图像切分成图像块；
基于所述后续输入帧图像对应的所述图像块，计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离。
2.根据权利要求1所述的图像拼接方法，其特征在于，基于所述后续输入帧图像对应的所述图像块，计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离，包括：
将每个所述图像块在所述当前帧图像上进行匹配位移，以计算所述图像块在所有偏移位置上与所述当前帧图像的相关匹配系数；以及
确定每个所述图像块在匹配位移时与所述图像块对应的原始位置的滑动偏移向量；
根据所述相关匹配系数以及所述滑动偏移向量，计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离。
3.根据权利要求2所述的图像拼接方法，其特征在于，根据所述相关匹配系数以及所述滑动偏移向量，计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离，包括：
从所述相关匹配系数中确定所述图像块与所述当前帧图像的最大相关匹配系数；
根据所述最大相关匹配系数对应的目标偏移位置，确定所述图像块在所述目标偏移位置处的目标滑动偏移向量；
根据所述目标滑动偏移向量计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离。
4.根据权利要求3所述的图像拼接方法，其特征在于，所述根据所述相关匹配系数以及所述滑动偏移向量，计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离，包括：
过滤所述最大相关匹配系数小于相关匹配系数阈值的所述图像块；
计算剩余的所述图像块对应的所述目标滑动偏移向量的向量模长，并将所述向量模长中的统计特征值对应的目标滑动偏移向量作为所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离。
5.根据权利要求1所述的图像拼接方法，其特征在于，所述后续输入帧图像包括与所述当前全景图像对应的重叠图像区域和非重叠图像区域；
所述根据所述最佳匹配偏移距离将所述后续输入帧图像拼接到所述当前全景图像中，包括：
计算所述重叠图像区域中任一点处的融合系数；
根据所述融合系数将所述后续输入帧图像对应的所述重叠图像区域与所述当前全景图像进行加权融合，以将所述后续输入帧图像拼接到所述当前全景图像中。
6.根据权利要求5所述的图像拼接方法，其特征在于，所述方法还包括：
基于融合后的重叠图像区域，根据所述后续输入帧图像中所述重叠图像区域和所述非重叠图像区域的相对位置，将所述非重叠图像区域拼接到所述当前全景图像中以完成所述后续输入帧图像与所述当前全景图像的拼接处理。
7.一种图像拼接装置，其特征在于，包括：
全景图像获取模块，用于获取当前全景图像，其中，所述当前全景图像包括当前帧图像；
最佳匹配偏移距离计算模块，用于获取实时扫描采集的后续输入帧图像，并计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离；
后续输入帧图像拼接模块，用于根据所述最佳匹配偏移距离将所述后续输入帧图像拼接到所述当前全景图像中，并通过拼接完成的当前全景图像更新所述当前全景图像以及通过所述后续输入帧图像更新所述当前帧图像；
其中，所述最佳匹配偏移距离计算模块还包括：
后续输入帧图像切分单元，用于将所述后续输入帧图像切分成图像块；
偏移距离计算单元，用于基于所述后续输入帧图像对应的所述图像块，计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离。
8.根据权利要求7所述的图像拼接装置，其特征在于，所述偏移距离计算单元还包括：
相关匹配系数计算单元，用于将每个所述图像块在所述当前帧图像上进行匹配位移，以计算所述图像块在所有偏移位置上与所述当前帧图像的相关匹配系数；以及
滑动偏移向量确定单元，用于确定每个所述图像块在匹配位移时与所述图像块对应的原始位置的滑动偏移向量；
最佳匹配偏移距离计算单元，用于根据所述相关匹配系数以及所述滑动偏移向量，计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离。
9.根据权利要求8所述的图像拼接装置，其特征在于，所述最佳匹配偏移距离计算单元被配置为：
从所述相关匹配系数中确定所述图像块与所述当前帧图像的最大相关匹配系数；
根据所述最大相关匹配系数对应的目标偏移位置，确定所述图像块在所述目标偏移位置处的目标滑动偏移向量；
根据所述目标滑动偏移向量计算所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离。
10.根据权利要求9所述的图像拼接装置，其特征在于，所述最佳匹配偏移距离计算单元还被配置为：
过滤所述最大相关匹配系数小于相关匹配系数阈值的所述图像块；
计算剩余的所述图像块对应的所述目标滑动偏移向量的向量模长，并将所述向量模长中的统计特征值对应的目标滑动偏移向量作为所述后续输入帧图像与所述当前帧图像对应的最佳匹配偏移距离。
11.根据权利要求7所述的图像拼接装置，其特征在于，所述后续输入帧图像包括与所述当前全景图像对应的重叠图像区域和非重叠图像区域；
所述后续输入帧图像拼接模块还包括图像加权融合单元，所述图像加权融合被配置为：
计算所述重叠图像区域中任一点处的融合系数；
根据所述融合系数将所述后续输入帧图像对应的所述重叠图像区域与所述当前全景图像进行加权融合，以将所述后续输入帧图像拼接到所述当前全景图像中。
12.根据权利要求11所述的图像拼接装置，其特征在于，所述后续输入帧图像拼接模块还包括非重叠图像区域拼接单元，所述非重叠图像区域拼接单元被配置为：
基于融合后的重叠图像区域，根据所述后续输入帧图像中所述重叠图像区域和所述非重叠图像区域的相对位置，将所述非重叠图像区域拼接到所述当前全景图像中以完成所述后续输入帧图像与所述当前全景图像的拼接处理。
13.一种电子设备，其特征在于，包括：
处理器；以及
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如权利要求1至6中任意一项所述的图像拼接方法。
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任意一项所述的图像拼接方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010436479.9A CN111612696B (zh) | 2020-05-21 | 2020-05-21 | 图像拼接方法、装置、介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010436479.9A CN111612696B (zh) | 2020-05-21 | 2020-05-21 | 图像拼接方法、装置、介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111612696A CN111612696A (zh) | 2020-09-01 |
| CN111612696B true CN111612696B (zh) | 2024-04-02 |
Family
ID=72199901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010436479.9A Active CN111612696B (zh) | 2020-05-21 | 2020-05-21 | 图像拼接方法、装置、介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111612696B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112541438A (zh) * | 2020-12-15 | 2021-03-23 | 深兰人工智能(深圳)有限公司 | 文本识别方法及装置 |
| CN112819696A (zh) * | 2021-01-29 | 2021-05-18 | 青岛海信移动通信技术股份有限公司 | 电子设备及其图像处理方法 |
| CN113628113A (zh) * | 2021-08-11 | 2021-11-09 | 科大讯飞股份有限公司 | 一种图像拼接方法及其相关设备 |
| CN115797164B (zh) * | 2021-09-09 | 2023-12-12 | 同方威视技术股份有限公司 | 固定视场中的图像拼接方法、装置、系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101751659A (zh) * | 2009-12-24 | 2010-06-23 | 北京优纳科技有限公司 | 大容量快速图像拼接方法 |
| CN102063611A (zh) * | 2010-01-21 | 2011-05-18 | 汉王科技股份有限公司 | 一种文字输入方法和系统 |
| CN105894443A (zh) * | 2016-03-31 | 2016-08-24 | 河海大学 | 一种基于改进的surf算法的实时视频拼接方法 |
| CN110097063A (zh) * | 2019-04-30 | 2019-08-06 | 网易有道信息技术（北京）有限公司 | 电子设备的数据处理方法、介质、装置和计算设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012089116A1 (zh) * | 2010-12-27 | 2012-07-05 | 汉王科技股份有限公司 | 扫描识别装置和方法 |
-
2020
- 2020-05-21 CN CN202010436479.9A patent/CN111612696B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101751659A (zh) * | 2009-12-24 | 2010-06-23 | 北京优纳科技有限公司 | 大容量快速图像拼接方法 |
| CN102063611A (zh) * | 2010-01-21 | 2011-05-18 | 汉王科技股份有限公司 | 一种文字输入方法和系统 |
| CN105894443A (zh) * | 2016-03-31 | 2016-08-24 | 河海大学 | 一种基于改进的surf算法的实时视频拼接方法 |
| CN110097063A (zh) * | 2019-04-30 | 2019-08-06 | 网易有道信息技术（北京）有限公司 | 电子设备的数据处理方法、介质、装置和计算设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111612696A (zh) | 2020-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111612696B (zh) | 图像拼接方法、装置、介质及电子设备 | |
| EP3882808B1 (en) | Face detection model training method and apparatus, and face key point detection method and apparatus | |
| CN108256479B (zh) | 人脸跟踪方法和装置 | |
| CN111062312A (zh) | 手势识别方法、手势控制方法、装置、介质与终端设备 | |
| US11600008B2 (en) | Human-tracking methods, systems, and storage media | |
| US20110311100A1 (en) | Method, Apparatus and Computer Program Product for Providing Object Tracking Using Template Switching and Feature Adaptation | |
| CN107273895B (zh) | 用于头戴式智能设备的视频流实时文本识别及翻译的方法 | |
| CN111553923B (zh) | 一种图像处理方法、电子设备及计算机可读存储介质 | |
| JP2012234494A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| EP3093822B1 (en) | Displaying a target object imaged in a moving picture | |
| EP3872760A2 (en) | Method and apparatus of training depth estimation network, and method and apparatus of estimating depth of image | |
| US20180352186A1 (en) | Method for estimating a timestamp in a video stream and method of augmenting a video stream with information | |
| CN110516598B (zh) | 用于生成图像的方法和装置 | |
| CN111553362A (zh) | 一种视频处理方法、电子设备和计算机可读存储介质 | |
| Choi et al. | Sparse seam-carving for structure preserving image retargeting | |
| CN106407978B (zh) | 一种结合似物度的无约束视频中显著物体检测方法 | |
| CN110827301A (zh) | 用于处理图像的方法和装置 | |
| CN113312949B (zh) | 视频数据处理方法、视频数据处理装置和电子设备 | |
| CN117011137A (zh) | 基于rgb相似度特征匹配的图像拼接方法、装置及设备 | |
| CN110766611A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN116188535A (zh) | 基于光流估计的视频跟踪方法、装置、设备及存储介质 | |
| US11647294B2 (en) | Panoramic video data process | |
| CN114663810B (zh) | 基于多模态的物体图像增广方法及装置、设备及存储介质 | |
| CN112085842A (zh) | 深度值确定方法及装置、电子设备和存储介质 | |
| CN113537359A (zh) | 训练数据的生成方法及装置、计算机可读介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |