CN112215749A - 基于柱面投影的图像拼接方法、系统、设备及存储介质 - Google Patents
基于柱面投影的图像拼接方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN112215749A CN112215749A CN202010365104.8A CN202010365104A CN112215749A CN 112215749 A CN112215749 A CN 112215749A CN 202010365104 A CN202010365104 A CN 202010365104A CN 112215749 A CN112215749 A CN 112215749A
- Authority
- CN
- China
- Prior art keywords
- image
- point set
- control point
- tps
- cylindrical projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000006243 chemical reaction Methods 0.000 claims abstract description 72
- 238000012545 processing Methods 0.000 claims abstract description 48
- 230000009466 transformation Effects 0.000 claims abstract description 48
- 239000011159 matrix material Substances 0.000 claims description 51
- 230000004927 fusion Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 abstract description 14
- 238000004891 communication Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明实施例涉及图像处理技术领域，公开了基于柱面投影的图像拼接方法、系统、设备及存储介质。本发明实施例先获取与待拼接图像对应的控制点集；对控制点集进行薄板样条TPS插值变换处理，以得到TPS变换参数；根据TPS变换参数对待拼接图像进行柱面投影，以得到投影图像；对投影图像进行图像拼接，以得到目标拼接图像。可见，本发明实施例通过融合柱面投影和TPS插值变换处理，使得图像拼接技术可适用于水平方向360°情况下的大视角影像匹配，优化了图像拼接效果，解决了当前图像拼接技术拼接效果较差的技术问题。此外，在二次配准架构下，通过高精度的区域生长匹配，进一步地优化了图像拼接效果。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及基于柱面投影的图像拼接方法、系统、设备及存储介质。
背景技术
随着城市安防事业的快速发展，视场宏大、信息全面的全景影像获取到了越来越多的应用场景。
特别是针对一些场景较大的公共区域，往往需要多个监控摄像机进行同时监控，才能掌控该场景的动态信息。
但是，这些监控相机的画面往往并不连续，相互之间衔接也不自然。若直接将这些不连续的画面投影到电视墙上，分立、碎片化的画面会让监控人员产生较差的视觉感受，从而无法快速、全面及准确地监控整个场景。
可见，这种状况使得图像拼接技术变得愈加重要。
就图像拼接技术而言，图像拼接技术往往利用相邻相机的重叠画面，并通过校正、投影及融合等方法将这些独立的影像拼接起来，形成一幅能够涵盖整个场景的全景影像，从而大大增强人们的视觉体验、提升了工作效率。
但是，目前，并没有一种拼接效果较好的图像拼接技术可供实际应用。
发明内容
为了解决当前图像拼接技术拼接效果较差的技术问题，本发明实施例提供基于柱面投影的图像拼接方法、系统、设备及存储介质。
第一方面，本发明实施例提供一种基于柱面投影的图像拼接方法，包括：
获取与待拼接图像对应的控制点集；
对所述控制点集进行薄板样条TPS插值变换处理，以得到TPS 变换参数；
根据所述TPS变换参数对所述待拼接图像进行柱面投影，以得到投影图像；
对所述投影图像进行图像拼接，以得到目标拼接图像。
优选地，所述控制点集包括原始控制点集与虚拟控制点集；
相应地，所述对所述控制点集进行薄板样条TPS插值变换处理，以得到TPS变换参数，具体包括：
通过预设TPS变换公式处理所述原始控制点集与所述虚拟控制点集，以得到第一TPS变换参数。
优选地，所述获取与待拼接图像对应的控制点集之前，所述基于柱面投影的图像拼接方法还包括：
将待拼接图像与预设基准图像进行特征点匹配，以得到第一同名点对；
根据所述第一同名点对构建原始控制点集。
优选地，所述获取与待拼接图像对应的控制点集之前，所述基于柱面投影的图像拼接方法还包括：
在非重叠区域中确定间隔点；
对所述间隔点进行投影，以得到投影点；
将所述投影点与所述间隔点组成第二同名点对，以构建由所述第二同名点对组成的虚拟控制点集。
优选地，所述对所述间隔点进行投影，以得到投影点之前，所述基于柱面投影的图像拼接方法还包括：
获取与所述原始控制点集对应的单应性矩阵；
基于所述单应性矩阵恢复相机参数，并根据所述相机参数确定相对旋转矩阵；
根据所述相对旋转矩阵确定全局旋转矩阵；
相应地，所述对所述间隔点进行投影，以得到投影点，具体包括：
根据所述全局旋转矩阵对所述间隔点进行投影，以得到投影点。
优选地，所述通过预设TPS变换公式处理所述原始控制点集与所述虚拟控制点集，以得到第一TPS变换参数之后，所述基于柱面投影的图像拼接方法还包括：
根据所述第一TPS变换参数对所述待拼接图像进行柱面投影，以得到第一投影图像；
采用区域生长匹配法处理所述第一投影图像，以获取加密控制点集；
通过所述预设TPS变换公式处理所述原始控制点集、所述虚拟控制点集及所述加密控制点集，以得到第二TPS变换参数；
相应地，所述根据所述TPS变换参数对所述待拼接图像进行柱面投影，以得到投影图像，具体包括：
根据所述第二TPS变换参数对所述待拼接图像进行柱面投影，以得到第二投影图像。
优选地，所述对所述投影图像进行图像拼接，以得到目标拼接图像，具体包括：
基于渐入渐出式加权平均融合方式对所述投影图像进行图像拼接，以得到目标拼接图像。
第二方面，本发明实施例提供一种基于柱面投影的图像拼接系统，包括：
点集获取模块，用于获取与待拼接图像对应的控制点集；
TPS处理模块，用于对所述控制点集进行薄板样条TPS插值变换处理，以得到TPS变换参数；
柱面投影模块，用于根据所述TPS变换参数对所述待拼接图像进行柱面投影，以得到投影图像；
图像拼接模块，用于对所述投影图像进行图像拼接，以得到目标拼接图像。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明第一方面提供的一种基于柱面投影的图像拼接方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明第一方面提供的一种基于柱面投影的图像拼接方法的步骤。
本发明实施例提供的基于柱面投影的图像拼接方法、系统、设备及存储介质，先获取与待拼接图像对应的控制点集；对控制点集进行薄板样条TPS插值变换处理，以得到TPS变换参数；根据TPS变换参数对待拼接图像进行柱面投影，以得到投影图像；对投影图像进行图像拼接，以得到目标拼接图像。可见，本发明实施例通过融合柱面投影和TPS插值变换处理，使得图像拼接技术可适用于水平方向360°情况下的大视角影像匹配，优化了图像拼接效果，解决了当前图像拼接技术拼接效果较差的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于柱面投影的图像拼接方法的流程图；
图2为本发明又一实施例提供的一种基于柱面投影的图像拼接方法的流程图；
图3为本发明再一实施例提供的一种基于柱面投影的图像拼接方法的流程图；
图4为本发明实施例提供的一种基于柱面投影的图像拼接系统的结构示意图；
图5为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种基于柱面投影的图像拼接方法的流程图，如图1所示，该方法包括：
S1，获取与待拼接图像对应的控制点集。
应当理解的是，就传统的图像拼接技术而言，比如有，可采用单目镜头旋转进行获取，这种方案由于不是在同一时刻对场景进行拍摄，只适用于静态场景；还有，可寻找特征点通过单应性变化拼接，这种方案当所摄场景较近、场景内容包含多个平面(比如，墙面、地面同时存在)或相邻影像视差较大时，图像拼接结果通常会出现较为明显的拼接裂缝；还有，可通过网格优化变形，这种方案能够适应较多场景的应用，但是，拼接效果取决于网格的大小与参数的设定，且容易出现失真变形；还有，可通过搜索最佳缝合线进行影像拼接，这种方案是在已有的配准结果中寻找差异最小的区域作为缝合区域，拼接效果取决于配准结果的好坏。
可见，这些传统方案虽然能在特定场景下取得不坏的拼接结果，但都存在一些缺陷，无法保证带来较优的拼接效果。
可以理解的是，为了提升图像拼接操作的拼接效果，以获得一个更优的拼接后图像，本发明实施例通过融合柱面投影和薄板样条 (TPS，Thin Plate Spline)插值变换处理，使得图像拼接技术可适用于水平方向360°情况下的大视角影像匹配，优化了图像拼接效果。
需知，传统的未引入柱面投影的TPS变换操作中运用的仿射变换容易导致影像变形不自然，单应性变换只适用于视场角小于140°的情景，而柱面投影可以满足水平360°影像的拼接变换。
在具体实现中，可先由多路监控相机采集并传输得到实时图像，该实时图像即为待拼接图像。
其中，与待拼接图像对应的控制点集由待拼接图像中的同名点对构成，同名点对是指一个图像中的一个点与对应图像中的对应点这两个点构成的点对。
S2，对所述控制点集进行薄板样条TPS插值变换处理，以得到 TPS变换参数。
S3，根据所述TPS变换参数对所述待拼接图像进行柱面投影，以得到投影图像。
接着，可先进行TPS插值变换处理，再基于TPS变换参数进行柱面投影操作，以得到投影图像。可见，此时融合了TPS插值变换处理与柱面投影这两类操作，从而可适用于大视角场景下的图像拼接情形。
S4，对所述投影图像进行图像拼接，以得到目标拼接图像。
然后，在获得多个投影图像后，将投影图像进行拼接处理，以得到拼接后的全景影像，即上述目标拼接图像。
本发明实施例提供的基于柱面投影的图像拼接方法，先获取与待拼接图像对应的控制点集；对控制点集进行薄板样条TPS插值变换处理，以得到TPS变换参数；根据TPS变换参数对待拼接图像进行柱面投影，以得到投影图像；对投影图像进行图像拼接，以得到目标拼接图像。可见，本发明实施例通过融合柱面投影和TPS插值变换处理，使得图像拼接技术可适用于水平方向360°情况下的大视角影像匹配，优化了图像拼接效果，解决了当前图像拼接技术拼接效果较差的技术问题。
图2为本发明又一实施例提供的一种基于柱面投影的图像拼接方法的流程图，本发明又一实施例基于上述图1所示的实施例。
本实施例中，所述控制点集包括原始控制点集与虚拟控制点集。
相应地，所述S2，具体包括：
S21，通过预设TPS变换公式处理所述原始控制点集与所述虚拟控制点集，以得到第一TPS变换参数。
在具体实现中，为了实现TPS插值变换处理，可采用预设TPS变换公式进行该TPS插值变换处理操作。
其中，预设TPS变换公式如下，
其中，[X Y Z]T表示像素点(xj，yj)所对应的物空间坐标，Rj、 Kj分别表示当前影像所对应相机按照针孔成像原理所得的旋转矩阵与内参矩阵；f表示相机焦距，fx(xj,yj)、fy(xj,yj)分别为影像j经过 TPS变换得到的对应影像i上的x、y轴坐标；Ai，Bi(i＝1,…,n)为基于同名点对线性求解的TPS变换参数，n为引入计算的控制点集中的点数， rij为控制点对(xi，yi)、(xj，yj)的欧式距离。
可以理解的是，预设基准图像上的点(fx(xj,yj)，fy(xj,yj))与待拼接图像上的点(xj，yj)构成控制点对，所有的控制点对组合成为控制点集，该控制点集包含了原始控制点集与虚拟控制点集)。接着，将该控制点集引入到上述公式中便能得到变换参数Ai， Bi(i＝1,…,n)，其中，n为控制点集中的控制点对数量。
可见，通过Ai和Bi就能求取待拼接图像中的非控制点在预设基准图像上的对应点坐标。其中，变换参数Ai，Bi即为上述的第一TPS变换参数，即，使用第一TPS变换参数可处理除了同名点对之外的其他点。
可见，通过在预设TPS变换公式中代入原始控制点集与虚拟控制点集，可得到第一TPS变换参数。此第一TPS变换参数对应于原始控制点集与虚拟控制点集。
其中，TPS变换参数包括第一TPS变换参数。
本发明实施例提供的基于柱面投影的图像拼接方法，在TPS变换中引入了柱面投影操作，具体地，本发明实施例将实施一次引入了柱面投影操作后的TPS变换操作。
此外，明显地，在获取第一TPS变换参数后，可根据第一TPS变换参数对待拼接图像进行柱面投影操作，以得到变换后的待拼接图像。
在上述实施例的基础上，优选地，所述获取与待拼接图像对应的控制点集之前，所述基于柱面投影的图像拼接方法还包括：
将待拼接图像与预设基准图像进行特征点匹配，以得到第一同名点对；
根据所述第一同名点对构建原始控制点集。
可以理解的是，本发明实施例将给出一类原始控制点集的构建方式。
具体地，可先确定多个待拼接图像之间的拼接线，再通过特征点匹配以获得同名点集。
其中，此处获得的同名点集为由多个第一同名点对构成的点集。第一同名点对是指左图像上的一个点与对应的右图像上的一个点，这两个点合在就是一个第一同名点对。
接着，可将此处获得的同名点集作为参数控制量纳入原始控制点集中，以便于后续的参数处理操作。
其中，预设基准图像可为多个待拼接图像中的任一图像，以此作为基准。
可见，原始控制点集包括由待拼接图像与预设基准图像进行特征点匹配而生成的同名点对。
进一步地，在进行特征点匹配之前，可先对相机所拍摄到的待拼接图像进行Wallis匀光处理，基于匀光处理后的图像进行特征点匹配。通过匀光处理，可减少预设基准影像与待拼接图像之间的亮度差异。
本发明实施例提供的基于柱面投影的图像拼接方法，给出一类原始控制点集的构建方式，通过运行这些参数控制量便于后续的参数处理操作。
图3为本发明再一实施例提供的一种基于柱面投影的图像拼接方法的流程图，本发明再一实施例基于上述图2所示的实施例。
本实施例中，所述S1之前，所述基于柱面投影的图像拼接方法还包括：
S11，在非重叠区域中确定间隔点。
可以理解的是，本发明实施例将给出一类虚拟控制点集的构建方式。
具体地，为了获取虚拟控制点集，可先确定待拼接图像与预设基准图像之间的重叠部分即重叠区域，然后，在非重叠区域的边界上等间隔地选取若干点。其中，选取到的若干点可记为间隔点。
S12，对所述间隔点进行投影，以得到投影点。
S13，将所述投影点与所述间隔点组成第二同名点对，以构建由所述第二同名点对组成的虚拟控制点集。
接着，可对这些点进行柱面投影，并将投影后的点作为基准影像点与投影前的点即间隔点组成同名点对，将此时组成的同名点对纳入虚拟控制点集。
此外，通过在TPS插值变换处理时使用虚拟控制点集，可以抑制在非重叠区域可能产生的较大程度的变形。
本发明实施例提供的基于柱面投影的图像拼接方法，给出一类虚拟控制点集的构建方式，通过运行这些参数控制量可以抑制在非重叠区域可能产生的较大程度的变形。
在上述实施例的基础上，优选地，所述对所述间隔点进行投影，以得到投影点之前，所述基于柱面投影的图像拼接方法还包括：
获取与所述原始控制点集对应的单应性矩阵；
基于所述单应性矩阵恢复相机参数，并根据所述相机参数确定相对旋转矩阵；
根据所述相对旋转矩阵确定全局旋转矩阵；
相应地，所述对所述间隔点进行投影，以得到投影点，具体包括：
根据所述全局旋转矩阵对所述间隔点进行投影，以得到投影点。
可以理解的是，为了获得用于间隔点投影的全局旋转矩阵，可先求取单应性矩阵。
具体地，可基于通过特征点匹配获取到的原始控制点集进行基于 LM(Least-Median robust method)算法的单应性矩阵求解，以得到单应性矩阵，如此可减少投影误差。
接着，可基于单应性矩阵恢复相机参数，该相机参数可具体为焦距，再根据焦距确定相对旋转矩阵。
其中，单应性矩阵可记为Hij，Hij具体表示图像j投影到图像i的单应性矩阵；焦距可记为f，相对旋转矩阵可记为Rij。
其中，上述为了确定相对旋转矩阵操作对应的矩阵确定公式可参见下式，
其中，K为忽略了偏移量只包含相机焦距f的内参矩阵；(xj，yj) 表示图像i的坐标，Ri表示物空间坐标点[X Y Z]投影到影像i坐标点的旋转矩阵，Rij为影像i到影像j的大小为3*3的相对旋转矩阵，Rij ＝[r1 r2 r3 r4 r5 r6 r7 r8 r9]，Hij为影像j投影到影像i的单应性矩阵， fi、fj分别为影像i和影像j的焦距；h1-h8表示3*3大小的单应性矩阵Hij的八个分量，即Hij＝[h1 h2 h3 h4 h5 h6 h7 h8 1]。
其中，该矩阵确定公式可细分为三个子公式，从上至下分别为第一子公式、第二子公式及第三子公式。其中，第一子公式为被大括号包括的公式，第二子公式为确定
的公式，第三子公式为确定fi 2的公式。
就第一子公式而言，K为忽略了偏移量只包含焦距f的内参矩阵， Rij为图像i到图像j的相对旋转矩阵，图像i表示预设基准图像，图像j表示待拼接图像。
由于Rij为正交矩阵，Rij的各行两两正交、各列两两正交，则可得到第二子公式和第三子公式，从而确定出两台相机的焦距，再将焦距带入第一子公式中便能获取相对旋转矩阵Rij。
可以理解的是，在获得相对旋转矩阵后，可基于相对旋转矩阵确定全局旋转矩阵。这是考虑到虽然光束法平差可增强影像间的约束，通过对相对旋转矩阵进行波形校正，可解决光束法平差带来的蛇形分布问题。
具体地，可通过如下所示的全局矩阵确定公式确定全局旋转矩阵，
其中，
Rj为任一相机的相对旋转矩阵，表示预设基准图像所对应的相机到待拼接图像j所对应的相机的旋转矩阵；Rg为欲求取的全局旋转矩阵。
接着，可根据全局旋转矩阵对间隔点进行柱面投影，最终，可构建出虚拟控制点集。
在上述实施例的基础上，优选地，所述通过预设TPS变换公式处理所述原始控制点集与所述虚拟控制点集，以得到第一TPS变换参数之后，所述基于柱面投影的图像拼接方法还包括：
根据所述第一TPS变换参数对所述待拼接图像进行柱面投影，以得到第一投影图像；
采用区域生长匹配法处理所述第一投影图像，以获取加密控制点集；
通过所述预设TPS变换公式处理所述原始控制点集、所述虚拟控制点集及所述加密控制点集，以得到第二TPS变换参数；
相应地，所述根据所述TPS变换参数对所述待拼接图像进行柱面投影，以得到投影图像，具体包括：
根据所述第二TPS变换参数对所述待拼接图像进行柱面投影，以得到第二投影图像。
可以理解的是，本发明实施例可启用二次影像配准架构，即，先基于原始控制点集与虚拟控制点集进行第一次图像配准，再基于原始控制点集、虚拟控制点集及加密控制点集进行第二次图像配准。
就第一次图像配准而言，将获得与第一TPS变换参数对应的第一投影图像。
就第二次图像配准而言，可先获得加密控制点集。具体地，可先采用区域生长匹配法处理柱面投影后的预设基准图像与第一投影图像，以获取加密控制点集。
再将加密控制点集与虚拟控制点集、原始控制点集一起代入预设 TPS变换公式进行第二次TPS变换，以得到最终的待拼接图像对应的变换参数，即第二TPS变换参数。
最终，将基于第二TPS变换参数将待拼接图像投影到预设基准图像上，以得到第二投影图像；并通过第二投影图像进行图像拼接，以得到目标拼接图像。
本发明实施例提供的基于柱面投影的图像拼接方法，启用了二次影像配准架构，可进行两次图像配准。此外，在二次配准架构下，运用高精度的区域生长匹配法，可增加加密控制点的数量，这使得配准结果的精度更高，进一步地优化了图像拼接效果。
进一步地，就区域生长匹配法的一类应用方式而言，可对预设基准图像进行预处理，以得到目标基准图像；对第一投影图像进行预处理，以得到目标投影图像；采用区域生长匹配法处理所述目标基准图像与所述目标投影图像，以获取加密控制点集。
其一，就预设基准图像的处理操作而言，可对预设基准影像进行局部对比度归一化(LCN，Local Contrast Normalization)预处理，使得影像对具有亮度不变性。
其中，预处理操作对应的处理公式如下所示，
其中，ILCN表示当前像素的局部对比度归一化数值，μ表示像素I 方形邻域内的像素平均值，σ表示标准差，K表示一个常量值。
其二，就第一投影图像的处理操作而言，可对第一次TPS变换后的待拼接图像即第一投影图像进行阴影检测，再进行与预设基准图像相同的LCN预处理，以得到目标投影图像。
其中，阴影检测可采用阈值判断法，将对标准差σ超过一定阈值的位置断定为阴影。
其三，就区域生长匹配法而言，可确定与拼接线对应的拼接线区域，并在拼接线区域一定范围内的原始控制点作为种子点以四领域方式进行生长匹配。其中，以差的绝对值之和(SAD，Sum of absolute differences)作为匹配代价，当代价满足一定阈值时，便将该生长点作为新的种子点继续生长。
此外，可采用如下所示的代价确定公式，以计算SAD匹配代价，
其中，SAD(p,q)表示坐标点(p,q)的SAD匹配代价，n表示匹配窗口内的像素点个数，LCNL(p,q)、LCNR(p+u,q+v)分别表示LCN转换后的左、右影像在坐标点(p,q)、(p+u,q+v)上的值。
可见，区域生长匹配法获取的同名点对便为加密控制点集，以在预设基准图像与待拼接图像的融合区域中增加控制点数。
本发明实施例提供的基于柱面投影的图像拼接方法，通过基于 SAD的区域生长匹配法增加拼接线邻近区域内的加密控制点，使融合区域中薄板样条变换的控制点更多，使得配准结果的精度更高；同时，以区域生长匹配法得到数量大的、覆盖面广的加密控制点集，最终得到视场角更大、配准精度更高的全景影像，这也对城市实景地图、自动驾驶、目标检测及行为识别等应用具有较高的使用价值。
其中，加密控制点是指加密控制点集中的点。
在上述实施例的基础上，优选地，所述对所述投影图像进行图像拼接，以得到目标拼接图像，具体包括：
基于渐入渐出式加权平均融合方式对所述投影图像进行图像拼接，以得到目标拼接图像。
具体地，可先基于拼接线设置一块较窄的区域作为融合区域进行图像融合操作即图像拼接操作，在两次融入柱面投影的TPS配准下，通过渐入渐出式的加权融合进行影像的拼接，可以进一步地消除影像对之间亮度差异带来的拼接缝。
其中，融合区域是重叠区域的部分区域，是基于拼接线从重叠区域中进行的部分截取。
此外，鉴于传统方法是在拼接线上进行动态规划匹配以得到加密控制点，由于渐入渐出式的加权融合是在具有一定宽度的区域内进行，而只分布在拼接线上的加密控制点无法保证融合区域内其他地方的配准精度，所以，可采用区域生长匹配法增加融合区域的控制点数。
综上，回顾本发明实施例，将先在待拼接图像中选择一幅图像作为参考影像，然后，向左右两个方向发散逐步与相邻图像进行拼接，每一对图像拼接遵循相同步骤，从而得到目标拼接图像。
具体地，可先获取与待拼接图像对应的控制点集；根据控制点集恢复相机参数，得到柱面投影模型；对控制点集进行引入柱面投影模型的第一次TPS插值变换处理，以得到TPS变换参数和投影变换后的待拼接图像；对所述待拼接图像进行区域生长法匹配，得到加密控制点集；对控制点集和加密控制点集进行引入柱面投影模型的第二次 TPS插值变换处理，得到最终的TPS变换参数和投影变换后的待拼接图像；对最终的投影变换图像进行图像拼接，以得到目标拼接图像。
更具体地，首先对待拼接图像和参考图像进行特征匹配得到原始控制点集；基于控制点集寻找一条拼接线并求取单应性矩阵，并恢复相机参数；由相机参数建立柱面投影模型；将参考图像柱面投影所得影像作为基准图像，此时原始控制点集的对应点坐标也换成基准图像下的坐标；在影像对非重叠区域边界选择若干点进行柱面投影，将原始图像上的点与柱面变换后的点作为虚拟控制点对，从而得到虚拟控制点集；将柱面投影模型代入TPS插值变换模型，引入原始控制点集与虚拟控制点集，进行柱面投影下的TPS变换参数求解，对待拼接图像进行第一次投影变换；对第一次变换所得的待拼接图像与基准图像进行拼接线区域的区域生长匹配，将第一次变换后的待拼接图像的匹配点反投影回原始待拼接图像平面并与基准图像上的对应匹配点组成加密控制点对，从而组成加密控制点集；将加密控制点集、虚拟控制点集及原始控制点集引入柱面投影下的TPS变换，求取TPS 变换参数，对原始待拼接图像进行第二次投影变换，并将其拼接到基准图像；基于拼接线通过渐入渐出式的加权融合完成高精度影像拼接。
图4为本发明实施例提供的一种基于柱面投影的图像拼接系统的结构示意图，如图4所示，该系统包括：点集获取模块301、TPS 处理模块302、柱面投影模块303以及图像拼接模块304；
点集获取模块301，用于获取与待拼接图像对应的控制点集；
TPS处理模块302，用于对所述控制点集进行薄板样条TPS插值变换处理，以得到TPS变换参数；
柱面投影模块303，用于根据所述TPS变换参数对所述待拼接图像进行柱面投影，以得到投影图像；
图像拼接模块304，用于对所述投影图像进行图像拼接，以得到目标拼接图像。
本发明实施例提供的基于柱面投影的图像拼接系统，先获取与待拼接图像对应的控制点集；对控制点集进行薄板样条TPS插值变换处理，以得到TPS变换参数；根据TPS变换参数对待拼接图像进行柱面投影，以得到投影图像；对投影图像进行图像拼接，以得到目标拼接图像。可见，本发明实施例通过融合柱面投影和TPS插值变换处理，使得图像拼接技术可适用于水平方向360°情况下的大视角影像匹配，可应用于大视角和大视差的场景，优化了图像拼接效果，解决了当前图像拼接技术拼接效果较差的技术问题。
本发明实施例提供的系统实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
图5为本发明实施例提供的一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)401、通信接口 (Communications Interface)402、存储器(memory)403和总线404，其中，处理器401，通信接口402，存储器403通过总线404完成相互间的通信。通信接口402可以用于电子设备的信息传输。处理器401 可以调用存储器403中的逻辑指令，以执行包括如下的方法：
获取与待拼接图像对应的控制点集；
对所述控制点集进行薄板样条TPS插值变换处理，以得到TPS 变换参数；
根据所述TPS变换参数对所述待拼接图像进行柱面投影，以得到投影图像；
对所述投影图像进行图像拼接，以得到目标拼接图像。
此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明上述各方法实施例的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：
获取与待拼接图像对应的控制点集；
对所述控制点集进行薄板样条TPS插值变换处理，以得到TPS 变换参数；
根据所述TPS变换参数对所述待拼接图像进行柱面投影，以得到投影图像；
对所述投影图像进行图像拼接，以得到目标拼接图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于柱面投影的图像拼接方法，其特征在于，包括：
获取与待拼接图像对应的控制点集；
对所述控制点集进行薄板样条TPS插值变换处理，以得到TPS变换参数；
根据所述TPS变换参数对所述待拼接图像进行柱面投影，以得到投影图像；
对所述投影图像进行图像拼接，以得到目标拼接图像。
2.根据权利要求1所述的基于柱面投影的图像拼接方法，其特征在于，所述控制点集包括原始控制点集与虚拟控制点集；
相应地，所述对所述控制点集进行薄板样条TPS插值变换处理，以得到TPS变换参数，具体包括：
通过预设TPS变换公式处理所述原始控制点集与所述虚拟控制点集，以得到第一TPS变换参数。
3.根据权利要求2所述的基于柱面投影的图像拼接方法，其特征在于，所述获取与待拼接图像对应的控制点集之前，所述基于柱面投影的图像拼接方法还包括：
将待拼接图像与预设基准图像进行特征点匹配，以得到第一同名点对；
根据所述第一同名点对构建原始控制点集。
4.根据权利要求2所述的基于柱面投影的图像拼接方法，其特征在于，所述获取与待拼接图像对应的控制点集之前，所述基于柱面投影的图像拼接方法还包括：
在非重叠区域中确定间隔点；
对所述间隔点进行投影，以得到投影点；
将所述投影点与所述间隔点组成第二同名点对，以构建由所述第二同名点对组成的虚拟控制点集。
5.根据权利要求4所述的基于柱面投影的图像拼接方法，其特征在于，所述对所述间隔点进行投影，以得到投影点之前，所述基于柱面投影的图像拼接方法还包括：
获取与所述原始控制点集对应的单应性矩阵；
基于所述单应性矩阵恢复相机参数，并根据所述相机参数确定相对旋转矩阵；
根据所述相对旋转矩阵确定全局旋转矩阵；
相应地，所述对所述间隔点进行投影，以得到投影点，具体包括：
根据所述全局旋转矩阵对所述间隔点进行投影，以得到投影点。
6.根据权利要求2所述的基于柱面投影的图像拼接方法，其特征在于，所述通过预设TPS变换公式处理所述原始控制点集与所述虚拟控制点集，以得到第一TPS变换参数之后，所述基于柱面投影的图像拼接方法还包括：
根据所述第一TPS变换参数对所述待拼接图像进行柱面投影，以得到第一投影图像；
采用区域生长匹配法处理所述第一投影图像，以获取加密控制点集；
通过所述预设TPS变换公式处理所述原始控制点集、所述虚拟控制点集及所述加密控制点集，以得到第二TPS变换参数；
相应地，所述根据所述TPS变换参数对所述待拼接图像进行柱面投影，以得到投影图像，具体包括：
根据所述第二TPS变换参数对所述待拼接图像进行柱面投影，以得到第二投影图像。
7.根据权利要求1至6中任一项所述的基于柱面投影的图像拼接方法，其特征在于，所述对所述投影图像进行图像拼接，以得到目标拼接图像，具体包括：
基于渐入渐出式加权平均融合方式对所述投影图像进行图像拼接，以得到目标拼接图像。
8.一种基于柱面投影的图像拼接系统，其特征在于，包括：
点集获取模块，用于获取与待拼接图像对应的控制点集；
TPS处理模块，用于对所述控制点集进行薄板样条TPS插值变换处理，以得到TPS变换参数；
柱面投影模块，用于根据所述TPS变换参数对所述待拼接图像进行柱面投影，以得到投影图像；
图像拼接模块，用于对所述投影图像进行图像拼接，以得到目标拼接图像。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项所述基于柱面投影的图像拼接方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述基于柱面投影的图像拼接方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010365104.8A CN112215749B (zh) | 2020-04-30 | 2020-04-30 | 基于柱面投影的图像拼接方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010365104.8A CN112215749B (zh) | 2020-04-30 | 2020-04-30 | 基于柱面投影的图像拼接方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112215749A true CN112215749A (zh) | 2021-01-12 |
| CN112215749B CN112215749B (zh) | 2024-07-19 |
Family
ID=74058674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010365104.8A Active CN112215749B (zh) | 2020-04-30 | 2020-04-30 | 基于柱面投影的图像拼接方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112215749B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034362A (zh) * | 2021-03-08 | 2021-06-25 | 桂林电子科技大学 | 一种高速公路隧道监控全景影像拼接方法 |
| CN113159169A (zh) * | 2021-04-20 | 2021-07-23 | 福州大学 | 基于先验目标特征点指导的匹配变形与切缝优化的图像拼接方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100149183A1 (en) * | 2006-12-15 | 2010-06-17 | Loewke Kevin E | Image mosaicing systems and methods |
| CN108401551B (zh) * | 2012-10-26 | 2015-02-04 | 北京理工大学 | 双镜头微光立体全景成像装置及其超大视场测距方法 |
| WO2016165016A1 (en) * | 2015-04-14 | 2016-10-20 | Magor Communications Corporation | View synthesis-panorama |
| CN107330856A (zh) * | 2017-06-17 | 2017-11-07 | 南京理工大学 | 一种基于投影变换和薄板样条的全景成像方法 |
| WO2018110822A1 (en) * | 2016-12-16 | 2018-06-21 | Cj Cgv Co., Ltd. | Method of projecting image onto curved projection area and projection system therefor |
| CN109064409A (zh) * | 2018-10-19 | 2018-12-21 | 广西师范大学 | 一种移动机器人的视觉图像拼接系统及方法 |
| CN109544447A (zh) * | 2018-10-26 | 2019-03-29 | 广西师范大学 | 一种图像拼接方法、装置及存储介质 |
| CN109859105A (zh) * | 2019-01-21 | 2019-06-07 | 桂林电子科技大学 | 一种无参数影像自然拼接方法 |
| CN110136090A (zh) * | 2019-04-11 | 2019-08-16 | 中国地质大学（武汉） | 以局部保持配准的鲁棒弹性模型无人机图像拼接方法 |
-
2020
- 2020-04-30 CN CN202010365104.8A patent/CN112215749B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100149183A1 (en) * | 2006-12-15 | 2010-06-17 | Loewke Kevin E | Image mosaicing systems and methods |
| CN108401551B (zh) * | 2012-10-26 | 2015-02-04 | 北京理工大学 | 双镜头微光立体全景成像装置及其超大视场测距方法 |
| WO2016165016A1 (en) * | 2015-04-14 | 2016-10-20 | Magor Communications Corporation | View synthesis-panorama |
| WO2018110822A1 (en) * | 2016-12-16 | 2018-06-21 | Cj Cgv Co., Ltd. | Method of projecting image onto curved projection area and projection system therefor |
| CN107330856A (zh) * | 2017-06-17 | 2017-11-07 | 南京理工大学 | 一种基于投影变换和薄板样条的全景成像方法 |
| CN109064409A (zh) * | 2018-10-19 | 2018-12-21 | 广西师范大学 | 一种移动机器人的视觉图像拼接系统及方法 |
| CN109544447A (zh) * | 2018-10-26 | 2019-03-29 | 广西师范大学 | 一种图像拼接方法、装置及存储介质 |
| CN109859105A (zh) * | 2019-01-21 | 2019-06-07 | 桂林电子科技大学 | 一种无参数影像自然拼接方法 |
| CN110136090A (zh) * | 2019-04-11 | 2019-08-16 | 中国地质大学（武汉） | 以局部保持配准的鲁棒弹性模型无人机图像拼接方法 |
Non-Patent Citations (2)
| Title |
|---|
| KANG SUN; YI WAN: "Image Stitching with Weighted Elastic Registration", 2018 10TH INTERNATIONAL CONFERENCE ON COMMUNICATIONS, CIRCUITS AND SYSTEMS (ICCCAS) * |
| 马清: "基于特征点匹配算法研究及其在全景图像拼接中的应用", 中国优秀硕士学位论文全文数据库 (信息科技辑) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034362A (zh) * | 2021-03-08 | 2021-06-25 | 桂林电子科技大学 | 一种高速公路隧道监控全景影像拼接方法 |
| CN113159169A (zh) * | 2021-04-20 | 2021-07-23 | 福州大学 | 基于先验目标特征点指导的匹配变形与切缝优化的图像拼接方法 |
| CN113159169B (zh) * | 2021-04-20 | 2022-07-05 | 福州大学 | 基于先验目标特征点的匹配变形与切缝优化图像拼接方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112215749B (zh) | 2024-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021227360A1 (zh) | 一种交互式视频投影方法、装置、设备及存储介质 | |
| Huang et al. | Panoramic stereo imaging system with automatic disparity warping and seaming | |
| CN105957007B (zh) | 基于特征点平面相似度的图像拼接方法 | |
| CN110782394A (zh) | 全景视频快速拼接方法及系统 | |
| CN110853151B (zh) | 一种基于视频的三维立体点集恢复方法 | |
| CN106157304A (zh) | 一种基于多个相机的全景图拼接方法及系统 | |
| JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| CN105005964B (zh) | 基于视频序列影像的地理场景全景图快速生成方法 | |
| CN106981078B (zh) | 视线校正方法、装置、智能会议终端及存储介质 | |
| US20170270654A1 (en) | Camera calibration using depth data | |
| CN112215749B (zh) | 基于柱面投影的图像拼接方法、系统、设备及存储介质 | |
| WO2021035627A1 (zh) | 获取深度图的方法、装置及计算机存储介质 | |
| CN111461963A (zh) | 一种鱼眼图像拼接方法及装置 | |
| KR20060056050A (ko) | 자동화된 360°파노라마 이미지 생성 방법 | |
| CN115294207A (zh) | 智慧校园监控视频与三维gis模型的融合调度系统及方法 | |
| CN108898550B (zh) | 基于空间三角面片拟合的图像拼接方法 | |
| WO2020133080A1 (zh) | 物体定位方法、装置、计算机设备及存储介质 | |
| CN113112532B (zh) | 一种多ToF相机系统实时配准方法 | |
| JP4554231B2 (ja) | 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置 | |
| CN107067368B (zh) | 基于影像变形的街景影像拼接方法及系统 | |
| CN117196955A (zh) | 一种全景图像拼接方法及终端 | |
| CN110796690B (zh) | 图像匹配方法和图像匹配装置 | |
| CN108269278B (zh) | 一种场景建模的方法及装置 | |
| KR20110133677A (ko) | 3ｄ 영상 처리 장치 및 그 방법 | |
| CN113689339A (zh) | 图像拼接方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220629 Address after: 230094 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, No. 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province Applicant after: Hefei lushenshi Technology Co.,Ltd. Address before: Room 3032, gate 6, block B, 768 Creative Industry Park, 5 Xueyuan Road, Haidian District, Beijing 100083 Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD. Applicant before: Hefei lushenshi Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |