CN110390640A - 基于模板的泊松融合图像拼接方法、系统、设备及介质 - Google Patents
基于模板的泊松融合图像拼接方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN110390640A CN110390640A CN201910688853.1A CN201910688853A CN110390640A CN 110390640 A CN110390640 A CN 110390640A CN 201910688853 A CN201910688853 A CN 201910688853A CN 110390640 A CN110390640 A CN 110390640A
- Authority
- CN
- China
- Prior art keywords
- image
- spliced
- template
- algorithm
- splicing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 71
- 239000002245 particle Substances 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims description 49
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 238000000746 purification Methods 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 2
- 238000007500 overflow downdraw method Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 8
- 230000007704 transition Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000007526 fusion splicing Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请公开了基于模板的泊松融合图像拼接方法、系统、设备及介质，包括：获取两幅待拼接的图像，对每一幅待拼接的图像进行特征点提取；利用粒子群算法将一幅待拼接图像与另外一幅待拼接图像进行特征点匹配；为一幅待拼接图像与另外一幅待拼接图像，找到重叠区域；基于灰度值和图割算法，在每个重叠区域内找到最佳缝合线；基于最佳缝合线，创建模板；基于模板和泊松融合算法，对待拼接图像进行拼接，得到全景图像。本公开所提出的方法能更好的实现多图像的拼接，有效地解决了拼接结果中重影和缝隙的问题。
Description
技术领域
本公开涉及图像处理和计算机视觉技术领域，特别是涉及基于模板的泊松融合图像拼接方法、系统、设备及介质。
背景技术
本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。
在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：
图像拼接技术是计算机视觉的一个重要研究方向，由于大多数相机和监控设备的视角相对比较窄，因此全景图像非常重要的，可以显示大范围的环境视图。拼接技术的出现和发展为获取更广视角、更高分辨率以及全景图像提供了有效的解决方案，已经广泛应用于虚拟现实、医学影像、智能监控、军事导航等领域。
图像检测匹配的关键步骤通常包含：特征点检测、特征描述、匹配。目前图像检测匹配技术的算法很多，各自采用的检测方法、描述方法、匹配方式都各有不同之处，所以各种算法在运行速度，检测点数目，匹配正确率等性能上都表现出各自的优缺点。
基于像素的匹配和基于特征的匹配是两类主要的配准方法，前者直接计算不同图像的像素之间的差异来配准图像，而后者利用图像特征确定匹配区域，根据特征点变换图像进行配准。由于不依赖于图像尺度和方向的特征描述子，以及高效可靠的特征检测和匹配方法相继出现，因此基于特征的图像配准具有稳定、准确性好等优点，成为目前图像拼接方面的主流配准方法。
Chris提出了Harris兴趣点检测算法，该方法实现了提取出的特征点具有平移和旋转不变性，对参数变化、噪声、图像变化和光照变换等有较好的鲁棒性，但不足之处是对图像的尺度变化不具有特征不变性。SIFT(Scale Invariant Feature Transform)算法对图像平移、旋转、收缩，扩放等均保持不变性，但SIFT算法提取出的特征点数量过多，导致计算量大，速度慢，效率低。Bay等人在SIFT算法基础之上提出了加速稳健特征(speeded uprobust features，SURF)算法，SURF算法在尺度和仿射变换下都保持了不变性，运算速度比SIFT的运算速度提高了3～5倍，准确度并未降低。
近年来，围绕着彩色的图像检测匹配，研究人员研究并提出不同的解决方案，例如提出Harris特征点用同心圆与SIFT算法的结合；提出SIFT算法和ORB算法的结合；SIFT与粒子群优化的图像匹配；BRISK算法采用多尺度角点检测算法等。
目前较为常用的图像融合算法是线性加权融合算法，如直接平均法。但重叠区域的像素值不是简单的叠加而是先进行加权后再进行叠加和平均。通过选取合适的权值，能够将重叠区域在处理时过渡平滑，有效避免拼接重影。因此该方法实现简单快速，但易被过渡带宽干扰，使得拼接图像出现不平滑与重影的问题，导致算法的稳定性差。有研究人员提出的多频带融合算法的思路是在不同频率内对图像进行分解，利用取不同的过渡带宽度分别进行加权插值处理后再进行融合处理，虽然拼接融合后的图像质量不错。但该算法在实现时工作量较大，计算时间长。
直接拼接法、渐入渐出加权平均法和多分辨率融合法是常用的三种图像融合方法。直接拼接融合法是融合方法中最简单的一种，但基本没有在实践中得到应用。直接拼接融合方法拼接后的图像是由三部分组成：除去重叠区域的左图像、右图像重叠区域的像素值和右图像除去重叠区域。渐入渐出加权平均融合法是对两幅图像的权系数的分别计算是重叠区域边界与重叠区域像素当前位置相对距离进行计算的。多分辨率融合方法是对图像进行解释使用图像金字塔的结构。图像金字塔是经过有约束条件的连续下采样获得的一种排列成金字塔形状的分辨率递减的原始图像。
但目前图像拼接部分存在的一些问题影响了拼接的效果，比如说：光照差、尺寸不对齐、运动物体等。这些问题会在重叠区域造成拼接时的缝隙和重影。
发明内容
为了解决现有技术的不足，本公开提供了基于模板的泊松融合图像拼接方法、系统、设备及介质；
第一方面，本公开提供了基于模板的泊松融合图像拼接方法；
基于模板的泊松融合图像拼接方法，包括：
获取两幅待拼接的图像，对每一幅待拼接的图像进行特征点提取；
利用粒子群算法将一幅待拼接图像与另外一幅待拼接图像进行特征点匹配；
为一幅待拼接图像与另外一幅待拼接图像，找到重叠区域；
基于灰度值和图割算法，在每个重叠区域内找到最佳缝合线；
基于最佳缝合线，创建模板；
基于模板和泊松融合算法，对待拼接图像进行拼接，得到全景图像。
第二方面，本公开还提供了基于模板的泊松融合图像拼接系统；
基于模板的泊松融合图像拼接系统，包括：
特征点提取模块，用于获取两幅待拼接的图像，对每一幅待拼接的图像进行特征点提取；
特征点匹配模块，用于利用粒子群算法将一幅待拼接图像与另外一幅待拼接图像进行特征点匹配；
重叠区域查找模块，用于为一幅待拼接图像与另外一幅待拼接图像，找到重叠区域；
最佳缝合线查找模块，用于基于灰度值和图割算法，在每个重叠区域内找到最佳缝合线；
模板创建模块，用于基于最佳缝合线，创建模板；
图像拼接模块，用于基于模板和泊松融合算法，对待拼接图像进行拼接，得到全景图像。
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
与现有技术相比，本公开的有益效果是：
针对图像拼接领域存在的重影与缝隙的问题，我们提出了一种基于模板改进的泊松融合图像拼接方法。使用粒子群算法优化搜索策略提高图像配准的精确度，找到相对准确的重叠区域，使用图割结合灰度值的方法找到最佳缝合线。针对泊松融合方法的特性，设计创建每张图片专属的模板，通过泊松融合实现全景拼接。经过大量的实验和对比显示，本公开所提出的方法能更好的实现多图像的拼接，有效地解决了拼接结果中重影和缝隙的问题。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本申请实施例一的方法流程图。
图2为本申请实施例一柱面投影原理示意图；
图3(a)-图3(c)为本申请实施例一柱面转换结果示意图，图3(a)为左侧投影，图3(b)为中间投影，图3(c)为右侧投影；
图4(a)-图4(c)为本申请实施例一泊松融合原理图示意图；
图5为本申请实施例一缝合线的初始定位示意图；
图6(a)-图6(c)为本申请实施例一模板创建结果示意图；图6(a)为左侧模板，图6(b)为中间模板，图6(c)为右侧模板；
图7为本申请实施例一对雪山图像进行泊松融合拼接结果示意图；
图8(a)-图8(d)为本申请实施例一提纯后的配准图和未提纯的配准图的对比结果示意图，图8(a)为未提纯的配准图，图8(b)为提纯的配准图，图8(c)为未提纯的配准图；图8(d)为提纯的配准图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本公开使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一，本实施例提供了基于模板的泊松融合图像拼接方法；
如图1所示，基于模板的泊松融合图像拼接方法，包括：
S1：获取两幅待拼接的图像，对每一幅待拼接的图像进行特征点提取；
S2：利用粒子群算法将一幅待拼接图像与另外一幅待拼接图像进行特征点匹配；
S3：为一幅待拼接图像与另外一幅待拼接图像，找到重叠区域；
S4：基于灰度值和图割算法，在每个重叠区域内找到最佳缝合线；
S5：基于最佳缝合线，创建模板；
S6：基于模板和泊松融合算法，对待拼接图像进行拼接，得到全景图像。
作为一个或多个实施例，所述对每一幅待拼接的图像进行特征点提取；具体步骤包括：采用ORB(Oriented FAST and Rotated BRIEF)算法对待拼接的图像进行特征点提取。
作为一个或多个实施例，利用粒子群算法将一幅待拼接图像与另外一幅待拼接图像进行特征点匹配；具体步骤包括：
以当前待拼接图像为基准图像，以另外一幅待拼接图像为目标图像，利用粒子群算法对基准图像中的每一个特征点，在目标图像中寻找一个使适应度最小的全局最优解，作为与基准图像中的特征点相匹配的特征点；进而实现特征点的提纯。
作为一个或多个实施例，所述为一幅待拼接图像与另外一幅待拼接图像，找到重叠区域；具体步骤包括：
S31：当基准图像经过极线校正，再进行柱面投影后，利用单应性矩阵来预对齐目标图像；
S32：利用基准图像和目标图像相匹配的特征点和预对齐区域，在预对齐区域从上到下分别遍历基准图像和目标图像每一列每个像素点的像素值；通过计算基准图像每一列从上到下对应像素点强度，与目标图像每一列从上到下对应像素点强度的差值的平方和；其中，差值的平方和小于设定阈值的列即为重叠的列；将所有重叠的列进行拼接得到的图像区域即为重叠区域。
作为一个或多个实施例，所述基于灰度值和图割算法，在每个重叠区域内找到最佳缝合线；具体步骤包括：
将基准图像与目标图像匹配的特征点输入到图割算法中，输出基准图像与目标图像最佳匹配特征点；
计算基准图像与目标图像的对应的最佳匹配特征点的灰度差值；
保留灰度差值小于设定阈值的点为最终拼接点；
将最终的拼接点进行连接，得到最佳缝合线。
作为一个或多个实施例，所述基于最佳缝合线，创建模板；具体步骤包括：
创建一个目标图像模板，目标图像模板大小与目标图像相同；
根据最佳缝合线将模板分为两部分，保留图像信息的像素赋值为255，透明图像信息的像素赋值为0，模板创建完毕。
作为一个或多个实施例，所述基于模板和泊松融合算法，对待拼接图像进行拼接，得到全景图像；具体步骤包括：
将创建的模板、基准图像和目标图像，均作为泊松融合的输入，通过泊松融合算法，输出融合完整的拼接图像。
图像配准主要是将两幅图像的各像素点坐标统一到同一个坐标系中，即找到两幅图像间空间对应关系。基于图像的特征点匹配的常用算法有ORB，SURF和SIFT特征点算法。其中SIFT特征点算法具有对旋转、尺度缩放、亮度变化保持不变，对视角变化、仿射变化、噪声也保持一定程度的稳定性。本公开采用了一种粒子群优化的ORB特征描述子的图像检测匹配方法，(这里的改进就是在ORB算法的基础上，加入了粒子群算法对结果进行约束提纯。)以ORB算法提取特征点为基底，在图像匹配的搜索策略上进行精进，因群体智能算法粒子群优化算法PSO具有较高的收敛精度速度，兼具优越的全局寻优能力，因此将其运用在搜索策略优化上，以提高匹配的精度，以其中一幅待拼接图像为拓板，对其中每一个特征点在另外一幅待拼接图像中找寻一个使适应度最小的全局最优解，通过仿真实验证明，当迭代次数达到一定时，正确匹配率趋于稳定，得到优化的阈值，通过设定优化的阈值范围，剔除不符合要求的匹配对，使得匹配错误率降低。
图8(a)-图8(d)表示经过粒子群优化的ORB算法进行提纯后的配准图和未提纯的配准图的对比，经过提纯后的配准结果更加准确。粒子群优化的ORB算法是在ORB算法的基础上，加入了粒子群算法对结果进行约束提纯。提高图像匹配的准确度。
经过特征点匹配筛选掉不精确的特征点，然后对图像进行透视变换找到重叠区域。在透视变换模型中，首先以一幅待拼接图像作为基准图像，另一幅待拼接图像为目标图像，通过匹配点之间的对应关系，计算出变换矩阵，就可实现图像的拼接过程，变换模型为：
式(1)中，H为投影变换矩阵，(x2,y2)为图像I2对应匹配点的像素坐标。
在图像拼接的理论计算中，可以通过4组相匹配的特征点计算出单应性矩阵H。实际计算时，一般要提取20对以上的匹配点对，求出的H值才会比较准确。
通过一个单应性矩阵对拼接图像进行配准，要求重叠的图像近似于一个平面的重叠。这个过程是针对解决图像拼接中将会出现重影或者不对齐的问题。
当获得不同图像间的变换参数后，为了减小拼接后图像的畸变，需要根据使用场景选择合适的映射模型。常采用的映射模型有球面、正方体面和圆柱面三种模型。由于柱面全景图像能够实现360°水平视角，垂直方向也有一定的视角，可以方便地使用传统的图像处理方法，得到了广泛应用。
柱面投影即通过获取柱面坐标与直角坐标之间的关系，把图像映射到柱面中，从而获取柱面成像结果，达成人们的视觉一致性。
柱面投影原理用图2进行描述。
图2中，o代表投影中心，Cylinder代表投影柱面，l代表投影图像，l’代表投影图像l的柱面投影图像。
依次对待拼接图像进行柱面转换，获取不同柱面图像序列，根据柱面平移量，为融合提供素材，柱面转换结果如图3(a)-图3(c)所示；图3(a)为左侧投影，图3(b)为中间投影，图3(c)为右侧投影；
基于模板的泊松融合：
泊松融合最初用于场景融合，由于在保留原图像梯度信息的前提下，能够较好地消除拼接痕迹，成为图像融合领域的研究热点。该融合法的基本思想是利用源图像块内梯度场进行模插值处理，重构出区域内的像素值，从而实现图像之间的无缝融合。泊松融合原理如图4(a)、图4(b)和图4(c)所示；
其中,g是原图中场景，v是g的梯度场，S表示融合之后的图像域，Ω是S中覆盖的场景，是其边界，f*是已知标量函数，表示Ω外的像素值，f为未知标量函数，表示Ω内的像素值。若要实现平滑过渡无缝隙，Ω内的梯度值需尽可能小，从而将图像无缝融合处理转化为梯度场最小化问题。f可用下式求解：
其中，为梯度算子，函数F的最小值满足欧拉-拉格朗日方程，因此它的解可用拉普拉斯等式表示：
其中，为拉普拉斯算子。
泊松方程利用g的梯度场v作为引导场巧妙地解决过渡平滑问题，引导场的目的是让f的梯度尽可能接近g的梯度，在最大保持图像细节信息的同时，保证边界不会出现明显过渡痕迹。优化后采用下式公式计算：
再次带入欧拉-拉格朗日方程，结果如下：
其中，div(v)表示梯度场v的散度。该式为泊松融合技术的数学基础，在重合场景的图像拼接处理中，将图像的梯度场作为指导场，即可以实现图像融合。
泊松融合主要是将源图像中的模板待拼接部分嵌入到目标图像中，从而生成新的图像。通过保留源图像的梯度信息，可以很好地融合源图像和目标图像的背景。根据泊松融合的边缘融合特性，我们提出了模板的概念，模板可以更好地消除鬼影，缩小间隙，实现图像融合。其中确定缝合线是创建模板的关键。
缝合线是图像拼接后在重叠区域内形成的一条把两幅拼接在一起的图像明显可区分开的分界线。不消除它对拼接图像的视觉效果将产生不良影响，消除它可采用泊松融合方法。消除缝合线之前，需要先找到缝合线在全景图中的准确位置。
在两幅图像中都存在的场景，称为重叠区域，只有重叠区域在两幅图像中的信息才产生立体信息。首先我们要找到两幅图像的重叠区域，根据特征点匹配确定相似特征点的分布区域。当图像经过极线校正再进行柱面投影后，利用单应性矩阵来预对齐图像，并且匹配点的强度是相似的。利用这些信息，我们可以通过计算两列之间的从上到下对应像素点的强度差值的平方和，确定最近的两列，从而确定重叠区域。
对于彩色图像，颜色具有RGB三个通道，计算它们三个通道强度距离的平均值。A图像(w×h)中第i列和B图像中第k列之间的距离为：
其中代表A图像中位于第j行k列像素点的R通道值，其他的以此类推。对于B图像中第i列，假设A图像中与之距离最小的列为m，那么：
d(m,i)＝mind(k,i)k:0→w (7)
这样就为B图像中每一列(0≤i<w)找到与之距离最小的A图像中的列，这些距离中如果当i＝n时最小，那么：
d(m,n)＝mind(m,i)i:0→w (8)
即，两幅图中A图中的每一列从B图中找到距离最小的一列，然后在这些距离中寻找最小距离，从而确定距离最小的两列，计算重叠区域。
将重叠区域平均划分两部分，重叠区域内的像素一部分取自待拼接图像，另一部分取于基准图像(有相同重叠区域的图像)，结合图割算法求出缝合线。用图5进行描述拼接缝。
图5中，图像A代表基准图，图像B代表待配准图，图像大小都是M×N，Ω代表重叠部分。点Pi(xi,yi)是Ω轴线中的一点，其第i行在重叠部分中的长度是Li，针对和Pi(xi,yi)相邻的点Pi(xi+j,yi)，按照点的顺序对两张图像的灰度差Δgij进行计算：
对Li+1个位置的灰度差进行计算后，选取的点P′i(x′i,y′i)将其看作该行最终拼接点，则由每行拼接点的线即为最终拼接缝。
创建一个目标图像模板，大小与目标图像相同，根据拼接缝将模板分为两部分，保留图像信息的像素赋值为255，透明图像信息的像素赋值为0，此模板是为了后续的融合使用。多张图像进行拼接时，可以根据模板进行泊松融合方法进行拼接。模板的创建能更好的使用融合方法，按照模板对图像进行拼接能较好的消除重影问题，同时在处理拼接缝边缘的时候更易于图像过渡，模板创建结果如图6(a)-图6(c)所示：图6(a)为左侧模板，图6(b)为中间模板，图6(c)为右侧模板；根据该模板，对雪山图像进行泊松融合拼接，结果如图7所示。
本公开针对目前图像拼接结果中鬼影和缝隙问题，提出了一种基于改进模板的泊松融合的图像拼接方法。这种方法能够较好的实现全景图像的真实效果。本公开的核心想法是，首先使用粒子群算法优化搜索策略提高特征点匹配的精确度，然后通过柱面投影等方式找到重叠区域，结合图割的方法找到缝合线，接下来再结合灰度值找到最佳缝合线，并创建模板，最后使用泊松融合方法进行图像全景拼接。
如图1所示，其具体实现过程为：图像配准。详细步骤为：利用粒子群算法对特征点进行提纯。进行特征点匹配。经过柱面投影为后续拼接做准备。图像合成：找到缝合线；自创模板；根据模板进行泊松融合。
实施例二，本实施例提供了基于模板的泊松融合图像拼接系统；
基于模板的泊松融合图像拼接系统，包括：
特征点提取模块，用于获取两幅待拼接的图像，对每一幅待拼接的图像进行特征点提取；
特征点匹配模块，用于利用粒子群算法将一幅待拼接图像与另外一幅待拼接图像进行特征点匹配；
重叠区域查找模块，用于为一幅待拼接图像与另外一幅待拼接图像，找到重叠区域；
最佳缝合线查找模块，用于基于灰度值和图割算法，在每个重叠区域内找到最佳缝合线；
模板创建模块，用于基于最佳缝合线，创建模板；
图像拼接模块，用于基于模板和泊松融合算法，对待拼接图像进行拼接，得到全景图像。
实施例三，本实施例还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成方法中的各个操作，为了简洁，在此不再赘述。
所述电子设备可以是移动终端以及非移动终端，非移动终端包括台式计算机，移动终端包括智能手机(Smart Phone，如Android手机、IOS手机等)、智能眼镜、智能手表、智能手环、平板电脑、笔记本电脑、个人数字助理等可以进行无线通信的移动互联网设备。
应理解，在本公开中，该处理器可以是中央处理单元CPU，该处理器还算可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本公开所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。本领域普通技术人员可以意识到，结合本公开中所公开的实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外一点，所显示或讨论的相互之间的耦合或者直接耦合或者通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.基于模板的泊松融合图像拼接方法，其特征是，包括：
获取两幅待拼接的图像，对每一幅待拼接的图像进行特征点提取；
利用粒子群算法将一幅待拼接图像与另外一幅待拼接图像进行特征点匹配；
为一幅待拼接图像与另外一幅待拼接图像，找到重叠区域；
基于灰度值和图割算法，在每个重叠区域内找到最佳缝合线；
基于最佳缝合线，创建模板；
基于模板和泊松融合算法，对待拼接图像进行拼接，得到全景图像。
2.如权利要求1所述的方法，其特征是，所述对每一幅待拼接的图像进行特征点提取；具体步骤包括：采用ORB算法对待拼接的图像进行特征点提取。
3.如权利要求1所述的方法，其特征是，利用粒子群算法将一幅待拼接图像与另外一幅待拼接图像进行特征点匹配；具体步骤包括：
以当前待拼接图像为基准图像，以另外一幅待拼接图像为目标图像，利用粒子群算法对基准图像中的每一个特征点，在目标图像中寻找一个使适应度最小的全局最优解，作为与基准图像中的特征点相匹配的特征点；进而实现特征点的提纯。
4.如权利要求1所述的方法，其特征是，所述为一幅待拼接图像与另外一幅待拼接图像，找到重叠区域；具体步骤包括：
S31：当基准图像经过极线校正，再进行柱面投影后，利用单应性矩阵来预对齐目标图像；
S32：利用基准图像和目标图像相匹配的特征点和预对齐区域，在预对齐区域从上到下分别遍历基准图像和目标图像每一列每个像素点的像素值；通过计算基准图像每一列从上到下对应像素点强度，与目标图像每一列从上到下对应像素点强度的差值的平方和；其中，差值的平方和小于设定阈值的列即为重叠的列；将所有重叠的列进行拼接得到的图像区域即为重叠区域。
5.如权利要求1所述的方法，其特征是，所述基于灰度值和图割算法，在每个重叠区域内找到最佳缝合线；具体步骤包括：
将基准图像与目标图像匹配的特征点输入到图割算法中，输出基准图像与目标图像初始缝合线上的保留的匹配点；
计算基准图像与目标图像的对应的最佳匹配特征点的灰度差值；
保留灰度差值小于设定阈值的点为最终拼接点；
将最终的拼接点进行连接，得到最佳缝合线。
6.如权利要求1所述的方法，其特征是，所述基于最佳缝合线，创建模板；具体步骤包括：
创建一个目标图像模板，目标图像模板大小与目标图像相同；
根据最佳缝合线将模板分为两部分，保留图像信息的像素赋值为255，透明图像信息的像素赋值为0，模板创建完毕。
7.如权利要求1所述的方法，其特征是，所述基于模板和泊松融合算法，对待拼接图像进行拼接，得到全景图像；具体步骤包括：
将创建的模板、基准图像和目标图像，均作为泊松融合的输入，通过泊松融合算法，输出融合完整的拼接图像。
8.基于模板的泊松融合图像拼接系统，其特征是，包括：
特征点提取模块，用于获取两幅待拼接的图像，对每一幅待拼接的图像进行特征点提取；
特征点匹配模块，用于利用粒子群算法将一幅待拼接图像与另外一幅待拼接图像进行特征点匹配；
重叠区域查找模块，用于为一幅待拼接图像与另外一幅待拼接图像，找到重叠区域；
最佳缝合线查找模块，用于基于灰度值和图割算法，在每个重叠区域内找到最佳缝合线；
模板创建模块，用于基于最佳缝合线，创建模板；
图像拼接模块，用于基于模板和泊松融合算法，对待拼接图像进行拼接，得到全景图像。
9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910688853.1A CN110390640B (zh) | 2019-07-29 | 2019-07-29 | 基于模板的泊松融合图像拼接方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910688853.1A CN110390640B (zh) | 2019-07-29 | 2019-07-29 | 基于模板的泊松融合图像拼接方法、系统、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110390640A true CN110390640A (zh) | 2019-10-29 |
| CN110390640B CN110390640B (zh) | 2023-04-28 |
Family
ID=68287860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910688853.1A Active CN110390640B (zh) | 2019-07-29 | 2019-07-29 | 基于模板的泊松融合图像拼接方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110390640B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766611A (zh) * | 2019-10-31 | 2020-02-07 | 北京沃东天骏信息技术有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111083368A (zh) * | 2019-12-26 | 2020-04-28 | 南京感动科技有限公司 | 一种基于云端的模拟物理云台全景视频展示系统 |
| CN111192241A (zh) * | 2019-12-23 | 2020-05-22 | 深圳市优必选科技股份有限公司 | 一种人脸图像的质量评估方法、装置及计算机存储介质 |
| CN111243034A (zh) * | 2020-01-17 | 2020-06-05 | 广州市晶华精密光学股份有限公司 | 一种全景辅助泊车标定方法、装置、设备及存储介质 |
| CN111415319A (zh) * | 2020-03-20 | 2020-07-14 | 成科扬 | 一种基于时序网络预测与金字塔融合的视频图像修复方法 |
| CN112017114A (zh) * | 2020-06-08 | 2020-12-01 | 武汉精视遥测科技有限公司 | 一种隧道检测半幅图像拼接全幅图像的方法及系统 |
| CN112037134A (zh) * | 2020-09-10 | 2020-12-04 | 中国空气动力研究与发展中心计算空气动力研究所 | 一种背景同质处理的图像拼接方法、存储介质及终端 |
| CN112102169A (zh) * | 2020-09-15 | 2020-12-18 | 合肥英睿系统技术有限公司 | 一种红外图像拼接方法、装置和存储介质 |
| CN112927143A (zh) * | 2021-04-09 | 2021-06-08 | 中国工商银行股份有限公司 | 图像拼接方法、装置、电子设备及存储介质 |
| CN113222980A (zh) * | 2021-06-01 | 2021-08-06 | 安徽建筑大学 | 一种基于无人机平台的洪涝灾害查勘方法 |
| CN113240688A (zh) * | 2021-06-01 | 2021-08-10 | 安徽建筑大学 | 一种一体化洪涝灾害精准监测预警方法 |
| CN113344787A (zh) * | 2021-06-11 | 2021-09-03 | 北京中交华安科技有限公司 | 最佳缝合线自动调整算法、交通预警方法及系统 |
| CN113643341A (zh) * | 2021-10-12 | 2021-11-12 | 四川大学 | 一种基于分辨率自适应的异尺度目标图像配准方法 |
| CN113645443A (zh) * | 2021-07-16 | 2021-11-12 | 南京理工大学 | 基于fpga的环绕视频拼接显示方法及系统 |
| CN113706382A (zh) * | 2021-08-27 | 2021-11-26 | 中电科星河北斗技术(西安)有限公司 | 基于四叉树均匀化法的图像拼接方法、装置及存储介质 |
| CN114372919A (zh) * | 2022-03-22 | 2022-04-19 | 鹰驾科技（深圳）有限公司 | 一种双挂汽车列车全景环视图像拼接方法及系统 |
| CN114511448A (zh) * | 2022-04-19 | 2022-05-17 | 深圳思谋信息科技有限公司 | 拼接图像的方法、装置、设备和介质 |
| CN116051370A (zh) * | 2022-12-21 | 2023-05-02 | 长川科技(苏州)有限公司 | 晶粒图像的拼接方法，装置，电子设备 |
| CN118015237A (zh) * | 2024-04-09 | 2024-05-10 | 松立控股集团股份有限公司 | 基于全局相似性最佳接缝的多视角图像拼接方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107301620A (zh) * | 2017-06-02 | 2017-10-27 | 西安电子科技大学 | 基于相机阵列的全景成像方法 |
| CN109712070A (zh) * | 2018-12-04 | 2019-05-03 | 天津津航技术物理研究所 | 一种基于泊松融合的红外周视图像拼接方法 |
| CN109948398A (zh) * | 2017-12-20 | 2019-06-28 | 深圳开阳电子股份有限公司 | 全景泊车的图像处理方法及全景泊车装置 |
-
2019
- 2019-07-29 CN CN201910688853.1A patent/CN110390640B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107301620A (zh) * | 2017-06-02 | 2017-10-27 | 西安电子科技大学 | 基于相机阵列的全景成像方法 |
| CN109948398A (zh) * | 2017-12-20 | 2019-06-28 | 深圳开阳电子股份有限公司 | 全景泊车的图像处理方法及全景泊车装置 |
| CN109712070A (zh) * | 2018-12-04 | 2019-05-03 | 天津津航技术物理研究所 | 一种基于泊松融合的红外周视图像拼接方法 |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766611A (zh) * | 2019-10-31 | 2020-02-07 | 北京沃东天骏信息技术有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111192241B (zh) * | 2019-12-23 | 2024-02-13 | 深圳市优必选科技股份有限公司 | 一种人脸图像的质量评估方法、装置及计算机存储介质 |
| CN111192241A (zh) * | 2019-12-23 | 2020-05-22 | 深圳市优必选科技股份有限公司 | 一种人脸图像的质量评估方法、装置及计算机存储介质 |
| CN111083368A (zh) * | 2019-12-26 | 2020-04-28 | 南京感动科技有限公司 | 一种基于云端的模拟物理云台全景视频展示系统 |
| CN111243034A (zh) * | 2020-01-17 | 2020-06-05 | 广州市晶华精密光学股份有限公司 | 一种全景辅助泊车标定方法、装置、设备及存储介质 |
| CN111415319A (zh) * | 2020-03-20 | 2020-07-14 | 成科扬 | 一种基于时序网络预测与金字塔融合的视频图像修复方法 |
| CN112017114A (zh) * | 2020-06-08 | 2020-12-01 | 武汉精视遥测科技有限公司 | 一种隧道检测半幅图像拼接全幅图像的方法及系统 |
| CN112017114B (zh) * | 2020-06-08 | 2023-08-04 | 武汉精视遥测科技有限公司 | 一种隧道检测半幅图像拼接全幅图像的方法及系统 |
| CN112037134A (zh) * | 2020-09-10 | 2020-12-04 | 中国空气动力研究与发展中心计算空气动力研究所 | 一种背景同质处理的图像拼接方法、存储介质及终端 |
| CN112037134B (zh) * | 2020-09-10 | 2023-04-21 | 中国空气动力研究与发展中心计算空气动力研究所 | 一种背景同质处理的图像拼接方法、存储介质及终端 |
| CN112102169A (zh) * | 2020-09-15 | 2020-12-18 | 合肥英睿系统技术有限公司 | 一种红外图像拼接方法、装置和存储介质 |
| CN112927143A (zh) * | 2021-04-09 | 2021-06-08 | 中国工商银行股份有限公司 | 图像拼接方法、装置、电子设备及存储介质 |
| CN112927143B (zh) * | 2021-04-09 | 2024-04-19 | 中国工商银行股份有限公司 | 图像拼接方法、装置、电子设备及存储介质 |
| CN113240688A (zh) * | 2021-06-01 | 2021-08-10 | 安徽建筑大学 | 一种一体化洪涝灾害精准监测预警方法 |
| CN113222980A (zh) * | 2021-06-01 | 2021-08-06 | 安徽建筑大学 | 一种基于无人机平台的洪涝灾害查勘方法 |
| CN113344787A (zh) * | 2021-06-11 | 2021-09-03 | 北京中交华安科技有限公司 | 最佳缝合线自动调整算法、交通预警方法及系统 |
| CN113344787B (zh) * | 2021-06-11 | 2022-02-01 | 北京中交华安科技有限公司 | 最佳缝合线自动调整算法、交通预警方法及系统 |
| CN113645443B (zh) * | 2021-07-16 | 2022-05-13 | 南京理工大学 | 基于fpga的环绕视频拼接显示方法及系统 |
| CN113645443A (zh) * | 2021-07-16 | 2021-11-12 | 南京理工大学 | 基于fpga的环绕视频拼接显示方法及系统 |
| CN113706382A (zh) * | 2021-08-27 | 2021-11-26 | 中电科星河北斗技术(西安)有限公司 | 基于四叉树均匀化法的图像拼接方法、装置及存储介质 |
| CN113643341B (zh) * | 2021-10-12 | 2021-12-28 | 四川大学 | 一种基于分辨率自适应的异尺度目标图像配准方法 |
| CN113643341A (zh) * | 2021-10-12 | 2021-11-12 | 四川大学 | 一种基于分辨率自适应的异尺度目标图像配准方法 |
| CN114372919A (zh) * | 2022-03-22 | 2022-04-19 | 鹰驾科技（深圳）有限公司 | 一种双挂汽车列车全景环视图像拼接方法及系统 |
| CN114511448A (zh) * | 2022-04-19 | 2022-05-17 | 深圳思谋信息科技有限公司 | 拼接图像的方法、装置、设备和介质 |
| CN116051370A (zh) * | 2022-12-21 | 2023-05-02 | 长川科技(苏州)有限公司 | 晶粒图像的拼接方法，装置，电子设备 |
| CN118015237A (zh) * | 2024-04-09 | 2024-05-10 | 松立控股集团股份有限公司 | 基于全局相似性最佳接缝的多视角图像拼接方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110390640B (zh) | 2023-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110390640B (zh) | 基于模板的泊松融合图像拼接方法、系统、设备及介质 | |
| US11562498B2 (en) | Systems and methods for hybrid depth regularization | |
| CN107301620B (zh) | 基于相机阵列的全景成像方法 | |
| CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
| JP6525467B1 (ja) | 画像間の光学フローの効率的な決定 | |
| CN105245841B (zh) | 一种基于cuda的全景视频监控系统 | |
| CN104732482B (zh) | 一种基于控制点的多分辨率图像拼接方法 | |
| CN104376548B (zh) | 一种基于改进型surf算法的图像快速拼接方法 | |
| US8761457B1 (en) | Aligning ground based images and aerial imagery | |
| Zhang et al. | Application of migration image registration algorithm based on improved SURF in remote sensing image mosaic | |
| CN103106688A (zh) | 基于双层配准方法的室内三维场景重建方法 | |
| CN104463859B (zh) | 一种基于跟踪指定点的实时视频拼接方法 | |
| KR20120021666A (ko) | 파노라마 영상 생성 방법 | |
| CN106447602A (zh) | 一种图像拼接方法及装置 | |
| CN111292413A (zh) | 图像模型的处理方法及装置、存储介质、电子装置 | |
| CN110415304B (zh) | 一种视觉标定方法及系统 | |
| CN114143528A (zh) | 多视频流融合方法、电子设备、存储介质 | |
| Bastanlar et al. | Multi-view structure-from-motion for hybrid camera scenarios | |
| CN108629742B (zh) | 真正射影像阴影检测与补偿方法、装置及存储介质 | |
| CN113160048A (zh) | 一种缝合线引导的图像拼接方法 | |
| Fu et al. | Image stitching techniques applied to plane or 3-D models: a review | |
| CN112365518A (zh) | 基于最佳缝合线自选区域渐入渐出算法的图像拼接方法 | |
| CN104809720B (zh) | 基于小交叉视场的两相机目标关联方法 | |
| CN107067368B (zh) | 基于影像变形的街景影像拼接方法及系统 | |
| CN111738061A (zh) | 基于区域特征提取的双目视觉立体匹配方法及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501 Patentee after: Qilu University of Technology (Shandong Academy of Sciences) Country or region after: China Address before: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501 Patentee before: Qilu University of Technology Country or region before: China |