CN115546084A - 一种基于配准融合与接缝线辅助的图像拼接系统及方法 - Google Patents

一种基于配准融合与接缝线辅助的图像拼接系统及方法 Download PDF

Info

Publication number
CN115546084A
CN115546084A CN202211251737.1A CN202211251737A CN115546084A CN 115546084 A CN115546084 A CN 115546084A CN 202211251737 A CN202211251737 A CN 202211251737A CN 115546084 A CN115546084 A CN 115546084A
Authority
CN
China
Prior art keywords
registration
image
result
module
line segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211251737.1A
Other languages
English (en)
Inventor
殷亚凤
凌晨宇
谢磊
陆桑璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202211251737.1A priority Critical patent/CN115546084A/zh
Publication of CN115546084A publication Critical patent/CN115546084A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于配准融合与接缝线辅助的图像拼接系统及方法，包括：图像重叠区域配准模块、图像非重叠区域配准模块及配准融合模块；图像重叠区域配准模块，包括：特征点配对模块、初步配准模块、线段配对模块、精确配准模块及接缝线计算模块；图像非重叠区域配准模块，包括：线段斜率计算模块和畸变矫正模块；本发明能够同时处理存在较大视差和较大拍摄角度差的图像拼接问题，基于配准融合和接缝线算法，消除视差带来的图像配准误差以及重影，避免拍摄角度差导致的畸变问题。

Description

一种基于配准融合与接缝线辅助的图像拼接系统及方法
技术领域
本发明属于数字图像处理领域，具体涉及一种基于配准融合与接缝线辅助的图像拼接系统及方法。
背景技术
图像拼接是指将两幅或多幅在不同视角下拍摄的图片合并，以生成宽视野图片的一种方法。图像拼接的关键是图像配准，即计算不同图像在空间位置上的对齐方式：相邻图像重叠区域的像素要尽可能相同，以保证不同图像对相同目标的描述是一致的。
传统的图像拼接方法包含特征配对和图像配准两个步骤；在特征配对阶段，首先对每幅图片检测特征点，然后对两两相邻的图片计算特征点对；在图像配准阶段，基于特征点对的位置计算图像之间的透视变换关系，使图像在变换后重叠区域的像素尽可能相同。
传统的图像拼接方法存在如下弊端：在拍摄不同图片时，要求相机只能够绕镜头的光心旋转，以防止产生视差。如果图片之间存在视差，那么图片重叠区域中物体的相对位置关系会存在差异，使用单个透视变换无法将所有物体全部对齐，这将导致传统算法的图像配准结果中会存在重影；如果相邻图片之间拍摄角度之差过大，在配准时图像的非重叠区域会出现严重的畸变。
发明内容
针对于上述现有技术的不足，本发明的目的在于提供一种基于配准融合与接缝线辅助的图像拼接系统及方法，以解决传统的图像拼接方法无法处理的视差以及畸变的问题。
为达到上述目的，本发明采用的技术方案如下：
本发明的一种基于配准融合与接缝线辅助的图像拼接系统，包括：图像重叠区域配准模块、图像非重叠区域配准模块及配准融合模块；其中，
图像重叠区域配准模块，包括：特征点配对模块、初步配准模块、线段配对模块、精确配准模块及接缝线计算模块；
所述特征点配对模块，用于检测图像的特征点，并对图像之间的特征点配对，得到特征点对；
所述初步配准模块，利用所述特征点配对模块得到的特征点对，计算得到一个能够将图像重叠区域全局对齐的网格变换RO，并基于网格变换RO计算得到初步配准结果；
所述线段配对模块，用于检测图像的线段，并对两张图像的线段进行匹配；
所述精确配准模块，利用线段配对结果优化网格变换RO，得到新的网格变换RA，基于网格变换RA计算得到精确配准结果，该精确配准结果能够准确对齐重叠区域的线段；
所述接缝线计算模块，基于所述精确配准结果，在图像重叠区域找到一个接缝线，将图像重叠区域分割，以消除由视差导致的重影问题；
图像非重叠区域配准模块，包括：线段斜率计算模块和畸变矫正模块；
所述线段斜率计算模块，利用特征点对，计算得到一个能够最小化图像非重叠区域畸变的透视变换，并基于该透视变换，确定图像中每一条线段的斜率；
所述畸变矫正模块，利用特征点对及线段的斜率，计算得到一个能够最小化图像非重叠区域畸变且保持线段结构的网格变换RS，并基于网格变换RS计算得到畸变矫正的配准结果；
配准融合模块，将所述精确配准结果和畸变矫正的配准结果融合得到一个具有准确对齐和畸变矫正的配准结果，并根据接缝线计算模块得到的接缝线消除配准结果中由视差导致的重影，得到最终的拼接结果。
进一步地，所述特征点配对模块的具体过程包括：
(11)接收两张输入图像，一张作为目标图像，另一张作为参考图像；
(12)基于尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)算子对输入图像检测特征点；
(13)基于尺度不变特征变换特征点，计算得到两图之间的特征点对；
(14)基于随机取样一致性(Random Sample Consensus，RANSAC)算法，对特征点对进行多轮筛选，得到筛选后的特征点对集合。
进一步地，所述初步配准模块的具体过程包括：
(21)对特征点对(内点)集合中每一对特征点赋予初始权重；
(22)利用随机取样一致性算法，从特征点对集合中筛选权重之和最大的相同景深特征点对子集；
(23)利用步骤(22)中选择的特征点对子集，使用移动直接线性变换(MovingDirect Linear Transform，MDLT)算法计算目标图像的网格变换，并得到中间配准结果；
(24)计算步骤(23)中的中间配准结果对应的配准误差和畸变误差；其中，配准误差为配准重叠区域像素的平均差，反映图像在全局上的对齐精度，畸变误差为图像之间特征点对的偏差，反映配准结果中存在的畸变程度；
(25)根据当前的配准误差和畸变误差，更新配准误差和畸变误差的最小值；
(26)通过比对配准误差和畸变误差的当前值与最小值，判断中间配准结果是否为局部最优配准结果；
(27)如果连续3轮没有更新局部最优配准结果，则结束循环，并将当前局部最优配准结果作为初步配准的最终结果；否则进入步骤(28)；
(28)减少步骤(22)中所选择的特征点对的权重，并执行步骤(22)。
进一步地，所述线段配对模块的具体过程包括：
(31)对初步配准结果利用线段检测器(Line Segment Detector，LSD)进行线段检测；
(32)对两图之间的线段进行配对。
进一步地，所述精确配准模块的具体过程包括：
(41)将目标图像中每条成功匹配的线段的端点，映射到参考图像上与之配对的线段所在直线上，得到新的点对集合；
(42)将新的点对集合与计算初步配准时使用的特征点对集合合并，并使用移动直接线性变换(MDLT)算法重新计算目标图像的网格变换RA，精确地对齐目标图像与参考图像之间的线段，得到精确配准结果。
进一步地，所述接缝线计算模块的具体过程包括：
(51)创建一个与精确配准结果等大的掩膜矩阵，将所有元素赋予初始值0；
(52)记录所有未成功配对线段的像素的位置，并将掩膜矩阵对应位置的元素设为一个高的惩罚值；
(53)根据掩膜矩阵和精确配准结果建立无向图，相邻两节点之间的边权为两点之间的色差与掩膜矩阵在两节点位置的元素值之和；
(54)使用最大流算法从无向图中计算得到最小割，所述最小割即所求的接缝线。
进一步地，所述线段斜率计算模块的具体过程包括：
(61)计算目标图像在精确配准结果中每条线段的斜率；
(62)对特征点对(内点)集合中每一对特征点赋予初始权重；
(63)利用随机取样一致性算法，从特征点对集合中找到权重之和最大的相同景深特征点对子集；
(64)利用选择的特征点对子集，通过直接线性变换(Direct Linear Transform，DLT)算法计算目标图像的透视变换，并得到中间配准结果；
(65)计算步骤(64)中的中间配准结果对应的配准误差和畸变误差；其中，配准误差为目标图像在中间配准结果中的所有线段斜率与精确配准中的所有线段斜率偏差之和，反映目标图像与参考图像透视关系的一致性；畸变误差为目标图像在中间配准结果中内角相对于直角的变化值，通常非重叠区域的图像内角大小变化会更大，而角度变化越大说明该透视变换存在越严重的畸变；
(66)根据步骤(65)中的配准误差和畸变误差，更新配准误差和畸变误差的最小值，并判断中间配准结果是否为局部最优配准结果；
(67)如果连续3轮没有更新局部最优配准结果，则结束循环，并将当前最优配准结果作为斜率计算的最终结果，并以该结果中线段的斜率作为线段的最终斜率；否则执行步骤(68)；
(68)减少配准时所选特征点对的权重，并执行步骤(63)。
进一步地，所述畸变矫正模块通过最小化一个能量函数，来计算目标图像的网格变换，以减少对应配准的畸变；所述能量函数包含：对齐项、正则项和斜率项；
对齐项，用于保证重叠区域的对齐精度；
正则项，用于减少非重叠区域的畸变；
斜率项，用于避免线段的弯曲。
进一步地，所述配准融合模块的具体过程包括：
(71)基于精确配准中得到的接缝线，将参考图像分割开，将靠近目标图像的一侧删除；
(72)计算目标图像的配准结果，该配准结果由精确配准结果和畸变矫正对应的配准结果相融合；
(73)基于接缝线，将目标图像中靠近参考图像的一侧删除；
(74)将参考图像与目标图像拼接，得到图像拼接结果。
本发明还提供一种基于配准融合与接缝线辅助的图像拼接方法，步骤如下：
1)检测图像的特征点，并对图像之间的特征点配对，得到特征点对；
2)利用所述特征点对，计算得到一个能够将图像重叠区域全局对齐的网格变换RO，并基于网格变换RO计算得到初步配准结果；
3)在初步配准的基础上，进行线段的检测和匹配；
4)根据线段匹配的结果，对网格变换RO进行优化得到网格变换RA，使其能够准确对齐重叠区域的线段，并基于网格变换RA得到精确配准结果；
5)根据线段匹配的结果，从精确配准结果中计算接缝线，消除视差导致的重影；
6)利用步骤1)中所述的特征点对，确定目标图像中每一条线段的最终斜率；
7)基于线段的最终斜率，计算得到一个能够最小化图像非重叠区域畸变且保持线段结构的网格变换RS，并基于网格变换RS计算得到畸变矫正的配准结果；
8)将精确配准结果和畸变矫正的配准结果融合，得到具有精确对齐和畸变矫正的配准结果，并使用步骤5)中所述的接缝线消除配准中的重影，完成图像拼接。
本发明的有益效果：
1、本发明采用特征点对和线段配对相结合的方式配准图像，能够避免由视差导致的特征缺失的问题，保证图像重叠区域配准的准确性；
2、本发明采用基于线段的接缝线算法，能够消除由视差导致的图像配准的重影问题，并且能够避免接缝线两侧物体轮廓割裂的问题；
3、本发明采用基于线段斜率控制的畸变矫正方法，能够有效减少非重叠区域的畸变，并且避免线段的弯曲；
4、本发明对重叠区域和非重叠区域分别计算配准，并对配准进行融合，能够提高图像配准的灵活性，使配准结果能够同时做到视差容忍和畸变矫正。
附图说明
图1为本发明的模块设计原理图。
图2为特征点配对的原理示意图。
图3为初步配准的原理示意图。
图4为线段配对的原理示意图。
图5为线段斜率计算的原理示意图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
本发明通过分别对图像的重叠区域和非重叠区域计算局部最优解，来减少视差导致的配准误差以及配准结果存在的畸变。
参照图1所示，本发明的一种基于配准融合与接缝线辅助的图像拼接系统，包括：图像重叠区域配准模块、图像非重叠区域配准模块及配准融合模块；其中，
图像重叠区域配准模块，包括：特征点配对模块、初步配准模块、线段配对模块、精确配准模块及接缝线计算模块；
所述特征点配对模块，用于检测图像的特征点，并对图像之间的特征点配对，得到特征点对；
所述初步配准模块，利用所述特征点配对模块得到的特征点对，计算得到一个能够将图像重叠区域全局对齐的网格变换RO，并基于网格变换RO计算得到初步配准结果；
所述线段配对模块，用于检测图像的线段，并对两张图像的线段进行匹配；
所述精确配准模块，利用线段配对结果优化网格变换RO，得到新的网格变换RA，基于网格变换RA计算得到精确配准结果，该精确配准结果能够准确对齐重叠区域的线段；
所述接缝线计算模块，基于所述精确配准结果，在图像重叠区域找到一个接缝线，将图像重叠区域分割，以消除由视差导致的重影问题；
图像非重叠区域配准模块，包括：线段斜率计算模块和畸变矫正模块；
所述线段斜率计算模块，利用特征点对，计算得到一个能够最小化图像非重叠区域畸变的透视变换，并基于该透视变换，确定图像中每一条线段的斜率；
所述畸变矫正模块，利用特征点对及线段的斜率，计算得到一个能够最小化图像非重叠区域畸变且保持线段结构的网格变换RS，并基于网格变换RS计算得到畸变矫正的配准结果；
配准融合模块，将所述精确配准结果和畸变矫正的配准结果融合得到一个具有准确对齐和畸变矫正的配准结果，并根据接缝线计算模块得到的接缝线消除配准结果中由视差导致的重影，得到最终的拼接结果。
参照图2所示，所述特征点配对模块的具体过程包括：
(11)接收两张输入图像I1和I2，将I1作为目标图像，I2作为参考图像；
(12)基于尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)算子对图像I1和I2检测特征点；
(13)基于尺度不变特征变换特征点，计算目标图像I1与参考图像I2之间的特征点对；
(14)基于随机取样一致性(Random Sample Consensus，RANSAC)算法，对特征点对进行多轮筛选，具体流程为：
(141)令F为匹配的SIFT特征点对集合，并初始化筛选结果Ffilter＝φ；
(142)利用随机取样一致性算法，从特征点对集合F中找到特征点对数目最多的内点集合Finlier；
(143)如果Finlier中包含的特征点对数目大于或等于阈值φ＝5，则令F＝F-Finlier，Ffilter＝Ffilter∪Finlier，并回到步骤(142)；否则，结束筛选，集合Ffilter为特征点对最终的筛选结果。
参照图3所示，所述初步配准模块基于随机算法，计算局部最优的配准结果，其具体过程包括：
(21)对特征点对(内点)集合Ffilter中每一对特征点赋予初始权重1，初始化最小配准误差Pmin＝∞，最小畸变误差Dmin＝∞；
(22)利用随机取样一致性算法，从特征点对集合Ffilter中找到权重之和最大的相同景深特征点对子集Winlier；
(23)利用步骤(22)中选择的特征点对子集Winlier，通过移动直接线性变换(MovingDirect Linear Transform，MDLT)算法计算目标图像I1的网格变换，并得到目标图像I1和参考图像I2的中间配准结果T；
(24)计算步骤(23)中的中间配准结果T对应的配准误差PO和畸变误差DO，其中，
配准误差PO：为中间配准结果T中目标图像I1与参考图像I2重叠区域像素的平均颜色距离，反应图像全局上的对齐精度，公式表达为：
Figure BDA0003888315570000061
其中，N为重叠区域像素的数目，I1(p)和I2(p)分别为目标图像I1和参考图像I2(p)在像素p处的RGB颜色值；
畸变误差DO：为中间配准结果T中目标图像I1与参考图像I2特征点对之间的偏差，反映配准结果中存在的畸变程度，具体计算步骤为：
(241)令集合V为目标图像I1与参考图像I2每一对特征点的偏移量，公式表达为：
Figure BDA0003888315570000062
其中，
Figure BDA0003888315570000071
为特征点对集合F中的一对特征点，
Figure BDA0003888315570000072
位于I1，
Figure BDA0003888315570000073
位于I2，
Figure BDA0003888315570000074
将特征点p的位置用二维向量表示；
(242)利用随机取样一致性算法，从集合V中筛选角度差小于
Figure BDA0003888315570000075
且向量模长相差小于1像素最大的向量集合Vinlier；
(243)从V中删除子集Vinlier，如果随机取样一致性筛选的次数小于阈值t＝3，则回到步骤(242)；否则，结束计算，最终目标图像I1与参考图像I2的畸变误差等于集合V中剩余的向量数目；
(25)根据当前的畸变误差DO和配准误差PO，更新畸变误差和畸变误差的最小值Dmin和Pmin；
(26)如果满足αDO<Dmin或(DO<αDmin)∧(PO<Pmin)，其中α＝1.2，则将中间配准结果T视为局部最优配准结果TO；
(27)如果连续3轮没有更新局部最优配准结果，则结束循环，并将当前局部最优配准结果TO作为初步配准的最终结果；否则进入步骤(28)；
(28)将步骤(22)中所选特征点对Winlier对应的权重除以
Figure BDA0003888315570000076
其中，|Winlier|为Winlier的特征点对数目，|Ffilter|为特征点配对模块中筛选的特征点对数目，然后回到步骤(242)。
参照图4所示，所述线段配对模块的具体过程包括：
(31)设I′1与I′2分别为目标图像I1与参考图像I2在初步配准结果TO中形变后的结果，利用线段检测器(Line Segment Detector，LSD)对I′1与I′2进行线段检测；
(32)对目标图像I1上的线段与参考图像I2上的线段进行配对，对目标图像I′1上的每一条线段，使用如下算法寻找在参考图像I′2的线段集合中与其配对的线段：
(321)选择目标图像I′1上的一条线段l，令L为参考图像I′2上的线段集合；
(322)从L中删去所有斜率与l相差大于阈值
Figure BDA0003888315570000077
的线段，如果L为空，则不存在与l配对的线段；
(323)从L中删去所有与l中点距离大于阈值d＝10像素的线段，如果L为空，则不存在与l配对的线段；
(324)对L中的每条线段，计算其与线段l的线带描述符(Line Band Descriptor，LBD)的距离，并选择距离最小的线段与l匹配。
其中，所述精确配准模块的具体过程包括：
(41)目标图像I1中每条成功匹配的线段l1的端点，映射到参考图像I2中与之配对的线段所在直线上，对于l1上的每一个端点，其原始端点位置与映射后的端点位置构成一对新的点对，当所有成功匹配的线段的端点完成映射后得到新的点对集合Fed，具体步骤如下：
(411)记录I1中每条成功匹配的线段l1的端点位置，得到端点集合E；
(412)在初步配准结果TO中，对于I′1上每条成功匹配的线段l1和I′2上与之匹配的线段l2，计算线段l1端点在线段l2所在直线上的投影，并记录直线上的垂足位置，得到垂足集合P；
(413)将集合E中的端点与P中的点配对，得到点对集合Fed；
(42)记计算初步配准结果TO时使用的特征点对集合为Fo，将新的点对集合Fed与Fo合并，并使用移动直接线性变换算法重新计算I1的网格变换RA，得到目标图像I1与参考图像I2的精确配准结果TA。
其中，所述接缝线计算模块的具体过程包括：
(51)创建一个配准结果TA等大的掩膜矩阵(Mask Matrix)MA，将所有元素赋予初始值0；
(52)设I′1与I′2分别为I1与I2在精确配准TA中形变后的结果，对于I′1和I′2上每一条没有配对的线段，记录其所有像素的位置，并将MA上对应位置的元素赋予惩罚值ψ＝1000000；
(53)根据TA和MA建立无向图G，具体方式如下：
(531)向无向图G中添加一个源点s和一个汇点t；
(532)对于配准结果TA中的每一个像素p，添加节点v(p)至无向图G中；
(533)对于相邻的像素p和q，向无向图G中添加边e(p，q)，如果p和q位于I′1与I′2的重叠区域，则边权w(p，q)的计算如下：
w(p，q)＝|I1(p)-I2(p)|+|Iq(q)-I2(q)|+MA(p)+MA(q)
其中，I1(p)和I2(p)分别表示I1和I2在p处的RGB颜色值，MA(p)表示掩膜矩阵MA在p处的元素值；否则，边权w(p，q)＝1000000；
(534)对于I′1或I′2的非重叠区域像素p，如果p∈I′1，则向无向图G中添加边e(s，p)，边权w(s，p)＝1000000；如果p∈I′2，则向无向图G中添加边e(p，t)，边权w(p，t)＝1000000；
(54)使用最大流算法从无向图G中计算最小割，所求最小割即所求的接缝线。
参照图5所示，所述线段斜率计算模块也是基于随机算法计算局部最优解，其具体过程包括：
(61)计算目标图像I1在精确配准结果TA中，每条线段的斜率；
(62)对特征点对(内点)集合Ffilter中每一对特征点赋予初始权重1，初始化最小配准误差Pmin＝∞，最小畸变误差Dmin＝∞；
(63)利用随机取样一致性算法算法，从特征点对集合Ffilter中找到权重之和最大的相同景深特征点对子集Winlier；
(64)利用选择的特征点对子集，通过直接线性变换(Direct Linear Transform，DLT)算法计算目标图像I1的透视变换，并得到目标图像I1与参考图像I2的配准结果T；
(65)计算步骤(64)中的中间配准结果T对应的配准误差PH和畸变误差DH，其中，
配准误差PH：为目标图像I1在中间配准结果T中的斜率与精确配准TA中的所有线段斜率偏差之和，反映目标图像I1与参考图像I2透视关系的一致性，公式表达为：
Figure BDA0003888315570000091
其中，
Figure BDA0003888315570000092
为在中间配准结果T中，线段(p,q)对应的向量，
Figure BDA0003888315570000093
为在配准结果TA中，线段(p,q)对应的向量；
畸变误差DH：为中间配准结果T中目标图像I1的内角相对于直角的变化值，通常非重叠区域的图像内角大小变化会更大，而角度变化越大说明T对应的透视变换存在越严重的畸变，公式表达为：
Figure BDA0003888315570000094
其中，θi为在中间配准结果T中，目标图像I1的内角；
(66)根据步骤(65)中的配准误差PH和畸变误差DH，更新最小配准误差Pmin和最小畸变误差Dmin，如果满足βPH<Pmin或者(PH<βPmin)∧(DH<Dmin)，其中β＝1.2，则视中间配准结果T为局部最佳配准结果TH；
(67)如果连续3轮没有更新局部最优配准结果，则结束循环，并将当前最优配准结果TH作为斜率计算的最终结果，并以该结果中线段的斜率作为线段的最终斜率；否则执行步骤(68)；
(68)将Winlier对应的特征点的权重除以
Figure BDA0003888315570000095
其中|Winlier|为Winlier中特征点对的数目，|Ffilter|为步骤(14)中筛选得到的Ffilter中特征点对的数目，然后回到步骤(63)。
其中，所述畸变矫正模块的具体过程包括：
(71)定义能量函数
Figure BDA0003888315570000096
其表达式如下：
Figure BDA0003888315570000097
其中，Ea为对齐项，用于保证重叠区域的对齐精度；Er为正则项，用于减少非重叠区域的畸变；Es为斜率项，用于避免线段的弯曲；
(72)对齐项的定义为：
Figure BDA0003888315570000101
其中，
Figure BDA0003888315570000102
为变量，为我们需要求的目标图像I1的网格点位置，V是目标图像I1在配准结果TH中网格点的位置；
(73)正则项的定义为：
Figure BDA0003888315570000103
其中，C和R分别为目标图像I1网格点阵的列数和行数，
Figure BDA0003888315570000104
为变量，为我们需要求的目标图像I1的网格点位置，
Figure BDA0003888315570000105
是其中位于第i列第j行的网格点位置；
(74)斜率项的定义为：
Figure BDA0003888315570000106
其中，L是目标图像I1的线段集合，φ(p)将p的位置用p所在的网格对应的4个顶点线性表示，(p′，q′)是线段(p,q)在配准结果TH中的位置，(p′，q′)⊥是与(p′，q′)对应向量相垂直的向量；
(75)通过最小化能量函数
Figure BDA0003888315570000107
得到目标图像I1每个网格点的目标位置，并基于该网格变换计算目标图像I1与参考图像I2的配准结果TM。
其中，所述配准融合模块的具体过程包括：
(81)基于精确配准中得到的接缝线S，将参考图像I2分割开，将靠近目标图像I1一侧的所有像素删除；
(82)计算目标图像I1的配准结果，该配准结果由精确配准结果和畸变矫正对应的配准结果相融合：令WA为配准结果TA中I1的配准函数，WM为配准结果TM中I1的配准函数，基于接缝线S的位置计算目标图像I1的配准函数WC，函数WC在位p的表达式由该处的WA和WM相融合，公式表达为：
WC(p)＝(1-(1/2)d)WA(p)+(1/2)dWM(p)
其中，WA(p)和WM(p)分别为WA和WM在像素p处的取值，d为像素p与接缝线S的欧氏距离；
(83)基于接缝线S，将I1配准融合的结果中靠近参考图像I2一侧的所有像素删除；
(84)将I′1与I2拼接，得到图像拼接结果。
本发明还提供一种基于配准融合和接缝线辅助的图像拼接方法，步骤如下：
1)检测图像的特征点，并对图像之间的特征点配对，得到特征点对；
2)利用所述特征点对，计算得到一个能够将图像重叠区域全局对齐的网格变换RO，并基于网格变换RO计算得到初步配准结果；
3)在初步配准的基础上，进行线段的检测和匹配；
4)根据线段匹配的结果，对网格变换RO进行优化得到网格变换RA，使其能够准确对齐重叠区域的线段，并基于网格变换RA得到精确配准结果；
5)根据线段匹配的结果，从精确配准结果中计算接缝线，消除视差导致的重影；
6)利用步骤1)中所述的特征点对，确定目标图像中每一条线段的最终斜率；
7)基于线段的最终斜率，计算得到一个能够最小化图像非重叠区域畸变且保持线段结构的网格变换RS，并基于网格变换RS计算得到畸变矫正的配准结果；
8)将精确配准结果和畸变矫正的配准结果融合，得到具有精确对齐和畸变矫正的配准结果，并使用步骤5)中所述的接缝线消除配准中的重影，完成图像拼接。
本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (10)

1.一种基于配准融合与接缝线辅助的图像拼接系统，其特征在于，包括：图像重叠区域配准模块、图像非重叠区域配准模块及配准融合模块；
图像重叠区域配准模块，包括：特征点配对模块、初步配准模块、线段配对模块、精确配准模块及接缝线计算模块；
所述特征点配对模块，用于检测图像的特征点，并对图像之间的特征点配对，得到特征点对；
所述初步配准模块，利用所述特征点配对模块得到的特征点对，计算得到一个能够将图像重叠区域全局对齐的网格变换RO，并基于网格变换RO计算得到初步配准结果；
所述线段配对模块，用于检测图像的线段，并对两张图像的线段进行匹配；
所述精确配准模块，利用线段配对结果优化网格变换RO，得到新的网格变换RA，基于网格变换RA计算得到精确配准结果，该精确配准结果能够准确对齐重叠区域的线段；
所述接缝线计算模块，基于所述精确配准结果，在图像重叠区域找到一个接缝线，将图像重叠区域分割，以消除由视差导致的重影问题；
图像非重叠区域配准模块，包括：线段斜率计算模块和畸变矫正模块；
所述线段斜率计算模块，利用特征点对，计算得到一个能够最小化图像非重叠区域畸变的透视变换，并基于该透视变换，确定图像中每一条线段的斜率；
所述畸变矫正模块，利用特征点对及线段的斜率，计算得到一个能够最小化图像非重叠区域畸变且保持线段结构的网格变换RS，并基于网格变换RS计算得到畸变矫正的配准结果；
配准融合模块，将所述精确配准结果和畸变矫正的配准结果融合得到一个具有准确对齐和畸变矫正的配准结果，并根据接缝线计算模块得到的接缝线消除配准结果中由视差导致的重影，得到最终的拼接结果。
2.根据权利要求1所述的基于配准融合与接缝线辅助的图像拼接系统，其特征在于，所述特征点配对模块的具体过程包括：
(11)接收两张输入图像，一张作为目标图像，另一张作为参考图像；
(12)基于尺度不变特征变换算子对输入图像检测特征点；
(13)基于尺度不变特征变换特征点，计算得到两图之间的特征点对；
(14)基于随机取样一致性算法，对特征点对进行多轮筛选，得到筛选后的特征点对集合。
3.根据权利要求2所述的基于配准融合与接缝线辅助的图像拼接系统，其特征在于，所述初步配准模块的具体过程包括：
(21)对特征点对集合中每一对特征点赋予初始权重；
(22)利用随机取样一致性算法，从特征点对集合中筛选权重之和最大的相同景深特征点对子集；
(23)利用步骤(22)中选择的特征点对子集，使用移动直接线性变换算法计算目标图像的网格变换，并得到中间配准结果；
(24)计算步骤(23)中的中间配准结果对应的配准误差和畸变误差；其中，配准误差为配准重叠区域像素的平均差，反映图像在全局上的对齐精度，畸变误差为图像之间特征点对的偏差，反映配准结果中存在的畸变程度；
(25)根据当前的配准误差和畸变误差，更新配准误差和畸变误差的最小值；
(26)通过比对配准误差和畸变误差的当前值与最小值，判断中间配准结果是否为局部最优配准结果；
(27)如果连续3轮没有更新局部最优配准结果，则结束循环，并将当前局部最优配准结果作为初步配准的最终结果；否则进入步骤(28)；
(28)减少步骤(22)中所选择的特征点对的权重，并执行步骤(22)。
4.根据权利要求3所述的基于配准融合与接缝线辅助的图像拼接系统，其特征在于，所述线段配对模块的具体过程包括：
(31)对初步配准结果利用线段检测器进行线段检测；
(32)对两图之间的线段进行配对。
5.根据权利要求4所述的基于配准融合与接缝线辅助的图像拼接系统，其特征在于，所述精确配准模块的具体过程包括：
(41)将目标图像中每条成功匹配的线段的端点，映射到参考图像上与之配对的线段所在直线上，得到新的点对集合；
(42)将新的点对集合与计算初步配准时使用的特征点对集合合并，并使用移动直接线性变换算法重新计算目标图像的网格变换RA，精确地对齐目标图像与参考图像之间的线段，得到精确配准结果。
6.根据权利要求5所述的基于配准融合与接缝线辅助的图像拼接系统，其特征在于，所述接缝线计算模块的具体过程包括：
(51)创建一个与精确配准结果等大的掩膜矩阵，将所有元素赋予初始值0；
(52)记录所有未成功配对线段的像素的位置，并将掩膜矩阵对应位置的元素设为一个高的惩罚值；
(53)根据掩膜矩阵和精确配准结果建立无向图，相邻两节点之间的边权为两点之间的色差与掩膜矩阵在两节点位置的元素值之和；
(54)使用最大流算法从无向图中计算得到最小割，所述最小割即所求的接缝线。
7.根据权利要求6所述的基于配准融合与接缝线辅助的图像拼接系统，其特征在于，所述线段斜率计算模块的具体过程包括：
(61)计算目标图像在精确配准结果中每条线段的斜率；
(62)对特征点对集合中每一对特征点赋予初始权重；
(63)利用随机取样一致性算法，从特征点对集合中找到权重之和最大的相同景深特征点对子集；
(64)利用选择的特征点对子集，通过直接线性变换算法计算目标图像的透视变换，并得到中间配准结果；
(65)计算步骤(64)中的中间配准结果对应的配准误差和畸变误差；其中，配准误差为目标图像在中间配准结果中的所有线段斜率与精确配准中的所有线段斜率偏差之和，反映目标图像与参考图像透视关系的一致性；畸变误差为目标图像在中间配准结果中内角相对于直角的变化值；
(66)根据步骤(65)中的配准误差和畸变误差，更新配准误差和畸变误差的最小值，并判断中间配准结果是否为局部最优配准结果；
(67)如果连续3轮没有更新局部最优配准结果，则结束循环，并将当前最优配准结果作为斜率计算的最终结果，并以该结果中线段的斜率作为线段的最终斜率；否则执行步骤(68)；
(68)减少配准时所选特征点对的权重，并执行步骤(63)。
8.根据权利要求7所述的基于配准融合与接缝线辅助的图像拼接系统，其特征在于，所述畸变矫正模块通过最小化一个能量函数，来计算目标图像的网格变换，以减少对应配准的畸变；所述能量函数包含：对齐项、正则项和斜率项；
对齐项，用于保证重叠区域的对齐精度；
正则项，用于减少非重叠区域的畸变；
斜率项，用于避免线段的弯曲。
9.根据权利要求8所述的基于配准融合与接缝线辅助的图像拼接系统，其特征在于，所述配准融合模块的具体过程包括：
(71)基于精确配准中得到的接缝线，将参考图像分割开，将靠近目标图像的一侧删除；
(72)计算目标图像的配准结果，该配准结果由精确配准结果和畸变矫正对应的配准结果相融合；
(73)基于接缝线，将目标图像中靠近参考图像的一侧删除；
(74)将参考图像与目标图像拼接，得到图像拼接结果。
10.一种基于配准融合与接缝线辅助的图像拼接方法，基于权利要求1-9中任意一项所述系统，其特征在于，步骤如下：
1)检测图像的特征点，并对图像之间的特征点配对，得到特征点对；
2)利用所述特征点对，计算得到一个能够将图像重叠区域全局对齐的网格变换RO，并基于网格变换RO计算得到初步配准结果；
3)在初步配准的基础上，进行线段的检测和匹配；
4)根据线段匹配的结果，对网格变换RO进行优化得到网格变换RA，使其能够准确对齐重叠区域的线段，并基于网格变换RA得到精确配准结果；
5)根据线段匹配的结果，从精确配准结果中计算接缝线，消除视差导致的重影；
6)利用步骤1)中所述的特征点对，确定目标图像中每一条线段的最终斜率；
7)基于线段的最终斜率，计算得到一个能够最小化图像非重叠区域畸变且保持线段结构的网格变换RS，并基于网格变换RS计算得到畸变矫正的配准结果；
8)将精确配准结果和畸变矫正的配准结果融合，得到具有精确对齐和畸变矫正的配准结果，并使用步骤5)中所述的接缝线消除配准中的重影，完成图像拼接。
CN202211251737.1A 2022-10-13 2022-10-13 一种基于配准融合与接缝线辅助的图像拼接系统及方法 Pending CN115546084A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211251737.1A CN115546084A (zh) 2022-10-13 2022-10-13 一种基于配准融合与接缝线辅助的图像拼接系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211251737.1A CN115546084A (zh) 2022-10-13 2022-10-13 一种基于配准融合与接缝线辅助的图像拼接系统及方法

Publications (1)

Publication Number Publication Date
CN115546084A true CN115546084A (zh) 2022-12-30

Family

ID=84733169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211251737.1A Pending CN115546084A (zh) 2022-10-13 2022-10-13 一种基于配准融合与接缝线辅助的图像拼接系统及方法

Country Status (1)

Country Link
CN (1) CN115546084A (zh)

Similar Documents

Publication Publication Date Title
Jiang et al. Cotr: Correspondence transformer for matching across images
Li et al. Blind geometric distortion correction on images through deep learning
Moulon et al. Adaptive structure from motion with a contrario model estimation
CN105957007B (zh) 基于特征点平面相似度的图像拼接方法
CN109903227B (zh) 基于相机几何位置关系的全景影像拼接方法
US8447140B1 (en) Method and apparatus for estimating rotation, focal lengths and radial distortion in panoramic image stitching
CN111553939B (zh) 一种多目摄像机的图像配准算法
TWI639136B (zh) 即時視訊畫面拼接方法
CN110111250B (zh) 一种鲁棒的自动全景无人机图像拼接方法及装置
CN108734657B (zh) 一种具有视差处理能力的图像拼接方法
CN102222337A (zh) 用于图像拼接的鱼眼图像校正方法
Micušık et al. Para-catadioptric camera auto-calibration from epipolar geometry
CN107492080B (zh) 免定标便捷的单目镜头图像径向畸变矫正方法
CN107220955A (zh) 一种基于重叠区域特征点对的图像亮度均衡方法
CN115965686A (zh) 一种融合点线特征的半直接视觉定位方法
Liu et al. Depth-guided sparse structure-from-motion for movies and tv shows
CN111127353A (zh) 一种基于块配准和匹配的高动态图像去鬼影方法
CN111899158B (zh) 考虑几何畸变的图像拼接方法
Wang et al. Model-aware pre-training for radial distortion rectification
CN112465702B (zh) 一种多路超高清视频同步自适应拼接显示处理方法
CN110910457B (zh) 基于角点特征的多光谱立体相机外参计算方法
CN108520541A (zh) 一种广角摄像机的标定方法
US11849099B2 (en) Multi-view image fusion by image space equalization and stereo-based rectification from two different cameras
US20070280555A1 (en) Image registration based on concentric image partitions
CN107256563A (zh) 基于差异液位图像序列的水下三维重建系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination