CN114155150A - 一种应用于大视差场景的图像拼接方法及装置 - Google Patents

一种应用于大视差场景的图像拼接方法及装置 Download PDF

Info

Publication number
CN114155150A
CN114155150A CN202111493251.4A CN202111493251A CN114155150A CN 114155150 A CN114155150 A CN 114155150A CN 202111493251 A CN202111493251 A CN 202111493251A CN 114155150 A CN114155150 A CN 114155150A
Authority
CN
China
Prior art keywords
image
determining
undirected graph
transformation matrix
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111493251.4A
Other languages
English (en)
Inventor
崔晨
齐帅
马也模
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Bank of China
Original Assignee
Agricultural Bank of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Bank of China filed Critical Agricultural Bank of China
Priority to CN202111493251.4A priority Critical patent/CN114155150A/zh
Publication of CN114155150A publication Critical patent/CN114155150A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种应用于大视差场景的图像拼接方法及装置，包括：获取待拼接的第一图像和第二图像；进行特征点提取，获得与第一图像对应的第一特征点集合以及与第二图像对应的第二特征点集合；基于特征点集合确定局部变换矩阵；利用局部变换矩阵对第一图像和第二图像进行图像配准，获得图像重叠区域；基于配准后的图像以及匹配的特征点，生成无向图，并确定重叠区域的目标缝合线；利用目标缝合线对第一图像和第二图像进行拼接，获得目标全景图像。本发明先基于局部变换矩阵对图像进行校准得到重叠区域，获得重叠区域的目标缝合线进行图像融合，解决了大视差图像拼接中的对齐不准确的问题，提升了图像拼接的精准性。

Description

一种应用于大视差场景的图像拼接方法及装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种应用于大视差场景的图像拼接方法及装置。
背景技术
图像拼接是指将一系列的有重叠区域的小视角，低分辨率图像，经过一定的图像配准与融合技术，生成一张具有高分辨率的，大视角的全景图像。视差是从不同的两个位置观察同一个物体时产生的视角差异。当待拼接图像之间存在大视差的情况时，若利用传统的图像拼接技术对所有匹配特征点进行对齐会产生一定程度的伪影和模糊现象，由于大视差的存在导致图像所描述场景内的物体相对位置可能发生改变，所以严格对齐所有匹配特征点会产生错误对齐的现象，而伪影或者模糊等不好的视觉效果的出现是因为错误对齐产生的。
目前已有的加权融合、金字塔融合、中值滤波融合、多频段融合方法都是对重叠区域的像素进行某种方式的融合，每个像素都不同程度来源于参考图像和目标图像中，是一种像素级的融合方法，但是这种融合方法并不能解决图像拼接中存在的大视差图像拼接问题。所以图像拼接技术中的大视差处理问题急需一种新的方法来解决。
发明内容
针对于上述问题，本发明提供一种应用于大视差场景的图像拼接方法及装置，提升了大视差场景下全景图像拼接的精准性。
为了实现上述目的，本发明提供了如下技术方案：
一种应用于大视差场景的图像拼接方法，包括：
获取待拼接的第一图像和第二图像；
分别对所述第一图像和所述第二图像进行特征点提取，获得与所述第一图像对应的第一特征点集合以及与所述第二图像对应的第二特征点集合；
基于所述第一特征点集合和所述第二特征点集合，确定局部变换矩阵；
利用所述局部变换矩阵对所述第一图像和所述第二图像进行图像配准，获得所述第一图像和所述第二图像的重叠区域；
基于配准后的图像以及匹配的特征点，生成无向图；
基于所述无向图，确定所述重叠区域的目标缝合线；
利用所述目标缝合线对所述第一图像和所述第二图像进行拼接，获得目标全景图像。
可选地，所述基于所述第一特征点集合和所述第二特征点集合，确定局部变换矩阵，包括：
分别对所述第一图像和所述第二图像进行网格划分，并基于所述第一特征点集合和所述第二特征点集合，确定在每一网格内的所有特征点；
计算每一网格内的特征点与网格中心点之间的差值，并基于所述差值和预设参数，计算获得特征点在对应网格中的位置的权重参数；
基于所述权重参数，确定局部变换矩阵，其中，所述局部变换矩阵为能够使得第一图像中的目标网格中的特征点映射到第二图像中对应的网格中的特征点。
可选地，所述利用所述局部变换矩阵对所述第一图像和所述第二图像进行图像配准，获得所述第一图像和所述第二图像的重叠区域，包括：
根据所述局部变换矩阵将所述第一图像变换到第二图像对应的坐标系，以使得角点坐标变换到同一坐标；
通过所述第一图像和所述第二图像角点坐标差值，计算出所述第一图像和所述第二图像的重叠区域。
可选地，所述基于配准后的图像以及匹配的特征点，生成无向图，包括：
基于配准后的图像以及匹配的特征点，确定重叠区域的上下两个边界的特征点；
将所述上下两个边界的特征点分别确定为触发点进行图形绘制，获得无向图。
可选地，所述基于所述无向图，确定所述重叠区域的目标缝合线，包括：
连接所述无向图出发点与其领域内所有特征点以及计算所述无向图每条边对应的权值；
基于所述无向图每条边对应的权值，确定能量函数；
基于能量最小化，对所述能量函数进行求解，获得目标缝合线，其中，在所述目标缝合线左右两侧的图像部分是所述重叠区域中图像特征差异最小的部分。
一种应用于大视差场景的图像拼接装置，包括：
获取单元，用于获取待拼接的第一图像和第二图像；
提取单元，用于分别对所述第一图像和所述第二图像进行特征点提取，获得与所述第一图像对应的第一特征点集合以及与所述第二图像对应的第二特征点集合；
第一确定单元，用于基于所述第一特征点集合和所述第二特征点集合，确定局部变换矩阵；
配准单元，用于利用所述局部变换矩阵对所述第一图像和所述第二图像进行图像配准，获得所述第一图像和所述第二图像的重叠区域；
生成单元，用于基于配准后的图像以及匹配的特征点，生成无向图；
第二确定单元，用于基于所述无向图，确定所述重叠区域的目标缝合线；
拼接单元，用于利用所述目标缝合线对所述第一图像和所述第二图像进行拼接，获得目标全景图像。
可选地，所述第一确定单元包括：
网格划分子单元，用于分别对所述第一图像和所述第二图像进行网格划分，并基于所述第一特征点集合和所述第二特征点集合，确定在每一网格内的所有特征点；
第一计算子单元，用于计算每一网格内的特征点与网格中心点之间的差值，并基于所述差值和预设参数，计算获得特征点在对应网格中的位置的权重参数；
第一确定子单元，用于基于所述权重参数，确定局部变换矩阵，其中，所述局部变换矩阵为能够使得第一图像中的目标网格中的特征点映射到第二图像中对应的网格中的特征点。
可选地，所述配准单元包括：
变换子单元，用于根据所述局部变换矩阵将所述第一图像变换到第二图像对应的坐标系，以使得角点坐标变换到同一坐标；
第二计算子单元，用于通过所述第一图像和所述第二图像角点坐标差值，计算出所述第一图像和所述第二图像的重叠区域。
可选地，所述生成单元包括：
第二确定子单元，用于基于配准后的图像以及匹配的特征点，确定重叠区域的上下两个边界的特征点；
绘制子单元，用于将所述上下两个边界的特征点分别确定为触发点进行图形绘制，获得无向图。
可选地，所述第二确定单元包括：
连接子单元，用于连接所述无向图出发点与其领域内所有特征点以及计算所述无向图每条边对应的权值；
第三确定子单元，用于基于所述无向图每条边对应的权值，确定能量函数；
求解子单元，用于基于能量最小化，对所述能量函数进行求解，获得目标缝合线，其中，在所述目标缝合线左右两侧的图像部分是所述重叠区域中图像特征差异最小的部分。
相较于现有技术，本发明提供了一种应用于大视差场景的图像拼接方法及装置，包括：获取待拼接的第一图像和第二图像；进行特征点提取，获得与第一图像对应的第一特征点集合以及与第二图像对应的第二特征点集合；基于第一特征点集合和第二特征点集合，确定局部变换矩阵；利用局部变换矩阵对第一图像和第二图像进行图像配准，获得第一图像和第二图像的重叠区域；基于配准后的图像以及匹配的特征点，生成无向图；基于无向图，确定重叠区域的目标缝合线；利用目标缝合线对第一图像和第二图像进行拼接，获得目标全景图像。本发明先基于局部变换矩阵对图像进行校准得到重叠区域，获得重叠区域的目标缝合线进行图像融合，解决了大视差图像拼接中的对齐不准确的问题，提升了图像拼接的精准性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种应用于大视差场景的图像拼接方法的流程示意图；
图2为本发明实施例提供的一种构造无向图的示意图；
图3为本发明实施例提供的一种应用于大视差场景的图像拼接装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
在本发明实施例中提供了一种应用于大视差场景的图像拼接方法，首先使用基于局部的投影变换矩阵对待拼接图像进行配准，然后根据图像配准后的相对位置定位出重叠区域，之后找出重叠区域的目标缝合线即最优缝合线，并利用其进行图像融合，最终合成全景图像。整个图像拼接流程重点解决了大视差处理这一重点问题，拼接后的图像能够使得具有更加良好的视觉效果。
为了便于对本发明实施例进行说明，现将相关术语进行解释。
大视差场景：视差是指从两个不同位置观察同一个物体时，此物体在视野中的位置变化和差异。当观察点距离较远或者目标物体距离两个观察点较近就会造成视差较大的情况。
图像拼接：将两张或更多的有重叠部分的图像，拼接成一张全景图或是高分辨率图像的技术。
图割算法：利用最小割最大流算法进行图像的分割。
参见图1，为本发明实施例提供的一种应用于大视差场景的图像拼接方法的流程示意图，该方法可以包括以下步骤：
S101、获取待拼接的第一图像和第二图像。
S102、分别对所述第一图像和所述第二图像进行特征点提取，获得与所述第一图像对应的第一特征点集合以及与所述第二图像对应的第二特征点集合。
S103、基于所述第一特征点集合和所述第二特征点集合，确定局部变换矩阵。
S104、利用所述局部变换矩阵对所述第一图像和所述第二图像进行图像配准，获得所述第一图像和所述第二图像的重叠区域。
其中，待拼接的第一图像和第二图像可以是基于不同的采集装置采集的针对同一场景的图像，也可以是同一采集装置在不同的角度采集的同一场景的图像。在本发明实施例中第一图像和第二图像的采集场景针对的是大视差场景，需要说明的是第一图像和第二图像仅是当前步骤需要进行拼接的具有重叠部分的图像，在图像拼接处理过程中可以对多张有重叠部分的图像进行拼接。可以对第一图像和第二图像进行图像预处理，以提升待拼接图像整体的指令。例如，可以对图像进行图像大小的统一、旋转变化、尺寸缩放、图像增强等处理，本发明实施例对此不进行限制。
在获得了第一图像和第二图像之后，可以对第一图像和第二退选哪个进行特征点提取，以完成后续的图像校准。可以通过特征点提取模板提取每一图像的特征点，从而得到对应的特征点集合，在该特征点集合中记录了对应图像的所有特征点。
然后基于能够匹配的特征点确定对应的变换矩阵，需要说明的是本发明实施例中利用的是局部变换矩阵，不同于通常采用的全局变换矩阵。
例如，在第一图像和第二图像中存在一对匹配的特征点，Y＝[x,y,1]T和Y'＝[x',y',1]T，此时存在一个投影变换矩阵H能够将Y映射到Y'，即存在如式(1-1)所示的映射关系：
Figure BDA0003399195440000071
公式(1-1)可以改写成03×1＝Y'×HY，即：
Figure BDA0003399195440000072
在(1-1)式中，此时H变换矩阵表示为一个9×1的向量，而剩余的3×9的矩阵其实只有两行是线性独立的。当给定N个匹配特征点
Figure BDA0003399195440000073
和
Figure BDA0003399195440000074
此时变换矩阵H可以估计得到：
Figure BDA0003399195440000075
其中，ai是(1-3)式中相互线性独立的两行，A是2N×9的矩阵。
经过上式计算后可以得到一个全局的投影变换矩阵，但是对待拼接图像整体使用一个投影变化矩阵具有拼接效果的局限性。因此，在本发明实施例中采用的是基于局部区域的投影变换处理模式。
在基于局部区域的投影变换方法中，以两幅待拼接图像为例(如，第一图像和第二图像)，首先将两幅图像进行网格化划分(即在横纵方向上均分)，然后求每个网格内所有特征点所使用的变换矩阵(即局部变换矩阵)。在本申请后续的实施例中会详细说明该过程，此处不进行详述。
在获得了局部变换矩阵后，可以基于该局部变换矩阵进行图像的配准，从而可以确定第一图像和第二图像的重叠区域。
S105、基于配准后的图像以及匹配的特征点，生成无向图；
S106、基于所述无向图，确定所述重叠区域的目标缝合线；
S107、利用所述目标缝合线对所述第一图像和所述第二图像进行拼接，获得目标全景图像。
基于前述处理可以得到基于局部区域的投影变换矩阵，该变换矩阵能够考虑到局部区域的细节，在图像配准过程中达到良好的对齐效果。
基于缝合线的图像拼接技术首先在待拼接的第一图像和第二图像的重叠区域找到一条缝合线，然后被缝合线分开的重叠区域的两部分一部分来自于第一图像，一部分来自第二图像。这种融合方法解决了大视差图像拼接中同样的物体在第一图像和第二图像中相对问题的变化问题。
在本发明实施例中首先根据配准完成的图像以及匹配的特征点集构造无向图，然后为无向图中每条边计算初始化权值，然后构造出能量函数，之后基于能量函数最小化的思想求取最优路径(即目标缝合线)，最终根据该目标缝合线所在位置进行图像的融合从而得到最终的全景图像。
本发明实施例提供了一种应用于大视差场景的图像拼接方法，包括：获取待拼接的第一图像和第二图像；进行特征点提取，获得与第一图像对应的第一特征点集合以及与第二图像对应的第二特征点集合；基于第一特征点集合和第二特征点集合，确定局部变换矩阵；利用局部变换矩阵对第一图像和第二图像进行图像配准，获得第一图像和第二图像的重叠区域；基于配准后的图像以及匹配的特征点，生成无向图；基于无向图，确定重叠区域的目标缝合线；利用目标缝合线对第一图像和第二图像进行拼接，获得目标全景图像。本发明先基于局部变换矩阵对图像进行校准得到重叠区域，获得重叠区域的目标缝合线进行图像融合，解决了大视差图像拼接中的对齐不准确的问题，提升了图像拼接的精准性。
在本发明的一种可能实现的实施方式中，提供了确定局部变换矩阵的过程，可以包括：
分别对所述第一图像和所述第二图像进行网格划分，并基于所述第一特征点集合和所述第二特征点集合，确定在每一网格内的所有特征点；
计算每一网格内的特征点与网格中心点之间的差值，并基于所述差值和预设参数，计算获得特征点在对应网格中的位置的权重参数；
基于所述权重参数，确定局部变换矩阵，其中，所述局部变换矩阵为能够使得第一图像中的目标网格中的特征点映射到第二图像中对应的网格中的特征点。
具体的，在基于局部区域的投影变换过程中，首先将第一图像和第二图像进行网格化划分(即在横纵方向上均分)，然后求每个网格内所有特征点所使用的变换矩阵(即局部变换矩阵)。变换矩阵如下式：
Figure BDA0003399195440000091
其中，
Figure BDA0003399195440000092
为特征点在对应网格中的位置的权重参数，即其取值取决于特征点所在第i个网格中的位置。假设x*是第i个网格的中心点，则权重系数可以计算得到：
Figure BDA0003399195440000093
其中，在本发明的实施例中预设参数包括σ和η，σ是尺度参数，η∈[0,1]是为了避免产生数值问题而引入的参数。从式(1-5)中可以看出，当中心点离特征点越近则权重系数越大，即当前特征点在求取整个网格的混合变换矩阵中发挥着越重要的作用。经过上述处理可以得到基于局部区域的投影变换矩阵，该变换矩阵能够考虑到局部区域的细节，在配准环节中达到良好的对齐效果。
对应的，在本发明实施例中，所述利用所述局部变换矩阵对所述第一图像和所述第二图像进行图像配准，获得所述第一图像和所述第二图像的重叠区域，包括：根据所述局部变换矩阵将所述第一图像变换到第二图像对应的坐标系，以使得角点坐标变换到同一坐标；通过所述第一图像和所述第二图像角点坐标差值，计算出所述第一图像和所述第二图像的重叠区域。
在本发明实施例中还提供了一种生成无向图的方法，该方法可以包括：基于配准后的图像以及匹配的特征点，确定重叠区域的上下两个边界的特征点；
将所述上下两个边界的特征点分别确定为触发点进行图形绘制，获得无向图。
进一步，所述基于所述无向图，确定所述重叠区域的目标缝合线，包括：
连接所述无向图出发点与其领域内所有特征点以及计算所述无向图每条边对应的权值；
基于所述无向图每条边对应的权值，确定能量函数；
基于能量最小化，对所述能量函数进行求解，获得目标缝合线，其中，在所述目标缝合线左右两侧的图像部分是所述重叠区域中图像特征差异最小的部分。
具体的，根据输入的配准后的图像和匹配的特征点集定位出第一图像和第二图像的重叠区域。选取两种节点作为绘制无向图的出发点，一般选取重叠部分的上下两个边界的特征点。从出发点开始绘制无向图，连接出发点与其临域内所有特征点并计算每条边对应的权值。利用最小割(代价最小化)的思想求取最短路径，即最优的目标缝合线；根据得到的缝合线对图像的特征点进行分类，分别赋予不同的标签，标签不同则代表分别来自不同的两幅图像(第一图像和第二图像)。
边缘图像是对原始图像进行边缘提取后得到的结果，而边缘作为两个不同属性区域的过渡处，往往是属性发生突变的位置，所以在此处也是信息量最多的地方。需要对输入图像提取得到边缘图像，然后依据边缘图像构造无向图。
基于图割的缝合线搜索方法能够搜索到全局最优的缝合线，该算法集合无向图方法进行使用，首先将初始图像构造为无向图，参见图2，为本发明实施例提供的一种构造无向图的示意图。待拼接图像中的特征点即为无向图中的节点。另外还有位于图像外的两个终点，无向图中每一条边都有对应的权值，如果相邻两个特征点的图像特征差异最小，则这两个特征点很可能取自同一副图像中，所以这两个特征点之间边的权值就较大。其中，图像特征包括颜色、亮度以及纹理等信息。如果相邻两个特征点的颜色、亮度以及纹理等信息差异较大，则这两个特征点很可能取自不同的两幅图像，所以它们之间边的权值较小。所以基于图割的缝合线搜索算法就是基于代价最小化来找到最优的缝合线，从而保证结果是全局最优的。
初始化无向图中边的权值，将待拼接图像构造成无向图之后，需要对无向图中每条边赋予权值：
c(a,b)＝F(a)|D(a)|+F(b)|D(b)| (1-6)
在式(1-6)中c(a,b)代表连接a到b的权值，|D(a)|,|D(b)|代表当前节点在第一图像和第二图像的边缘图像中的差异值，而F()是新定义的函数：
Figure BDA0003399195440000111
在式(1-7)中oa,oi代表特征点a和特征点i的位置坐标，g()代表高斯方程，σ是为了防止产生数值问题而引入的约束，且σ＝0.01。
能量函数可以定义为：
Figure BDA0003399195440000112
从式(1-8)可以看出两个特征点在第一图像和第二图像的边缘图像中差异越大则连接这两个特征点的边的权值越大，因为缝合线左右两边的附近部分应该是重叠区域中在亮度、颜色或者纹理上差异最小的部分，这样基于缝合线的图像融合才能保证图像的平滑性以及避免产生明显的分界线。
基于图割的缝合线搜索算法解决了基于动态规划的缝合线搜索可能会陷入局部最优解的问题，同时具有大视差场景的拼接中会存在部分区域不能够完全对齐的问题，本发明在使用基于局部的投影变换模型之前对匹配的特征点做了下采样，降低了对齐程度，但依然能保证待拼接的第一图像和第二图像映射到统一的坐标系之后拥有正确的相对位置。
由于大视差图像场景中的物体其相对位置存在差异，像素级融合方法是以某种特定的方式将分别取自待拼接图像的第一图像和第二图像的像素融合，所以对齐重叠区域所有匹配特征点会造成不好的视觉效果，因此这种不需要将重叠区域所有已匹配特征点严格对齐的融合方法能够很好解决图像拼接技术中存在的大视差图像的拼接问题。使用基于图割算法的缝合线搜索能够保证搜索到的缝合线是全局最优的，从而保证了图像融合的准确性，而且基于缝合线的图像融合方法主要思想是在待拼接的第一图像和第二图像的重叠区域部分不需要严格对齐，在该重叠部分搜索一条缝合线，然后缝合线的左右两部分一部分来自于参考图像而另一部分则来自于目标图像。
通过本发明中提出的基于局部的投影变换模型对待拼接图像进行配准，然后根据图像配准后的相对位置定位出重叠区域，之后找出重叠区域的最优缝合线并利用缝合线进行图像融合，从而得到一副视觉效果良好的全景图像。
参见图3，在本发明的另一实施例中还提供了一种应用于大视差场景的图像拼接装置，该装置可以包括：
获取单元10，用于获取待拼接的第一图像和第二图像；
提取单元20，用于分别对所述第一图像和所述第二图像进行特征点提取，获得与所述第一图像对应的第一特征点集合以及与所述第二图像对应的第二特征点集合；
第一确定单元30，用于基于所述第一特征点集合和所述第二特征点集合，确定局部变换矩阵；
配准单元40，用于利用所述局部变换矩阵对所述第一图像和所述第二图像进行图像配准，获得所述第一图像和所述第二图像的重叠区域；
生成单元50，用于基于配准后的图像以及匹配的特征点，生成无向图；
第二确定单元60，用于基于所述无向图，确定所述重叠区域的目标缝合线；
拼接单元70，用于利用所述目标缝合线对所述第一图像和所述第二图像进行拼接，获得目标全景图像。
本发明实施例提供了一种应用于大视差场景的图像拼接装置，获取待拼接的第一图像和第二图像；进行特征点提取，获得与第一图像对应的第一特征点集合以及与第二图像对应的第二特征点集合；基于第一特征点集合和第二特征点集合，确定局部变换矩阵；利用局部变换矩阵对第一图像和第二图像进行图像配准，获得第一图像和第二图像的重叠区域；基于配准后的图像以及匹配的特征点，生成无向图；基于无向图，确定重叠区域的目标缝合线；利用目标缝合线对第一图像和第二图像进行拼接，获得目标全景图像。本发明先基于局部变换矩阵对图像进行校准得到重叠区域，获得重叠区域的目标缝合线进行图像融合，解决了大视差图像拼接中的对齐不准确的问题，提升了图像拼接的精准性。
在一种可能的实施方式中，所述第一确定单元包括：
网格划分子单元，用于分别对所述第一图像和所述第二图像进行网格划分，并基于所述第一特征点集合和所述第二特征点集合，确定在每一网格内的所有特征点；
第一计算子单元，用于计算每一网格内的特征点与网格中心点之间的差值，并基于所述差值和预设参数，计算获得特征点在对应网格中的位置的权重参数；
第一确定子单元，用于基于所述权重参数，确定局部变换矩阵，其中，所述局部变换矩阵为能够使得第一图像中的目标网格中的特征点映射到第二图像中对应的网格中的特征点。
对应的，所述配准单元包括：
变换子单元，用于根据所述局部变换矩阵将所述第一图像变换到第二图像对应的坐标系，以使得角点坐标变换到同一坐标；
第二计算子单元，用于通过所述第一图像和所述第二图像角点坐标差值，计算出所述第一图像和所述第二图像的重叠区域。
进一步地，所述生成单元包括：
第二确定子单元，用于基于配准后的图像以及匹配的特征点，确定重叠区域的上下两个边界的特征点；
绘制子单元，用于将所述上下两个边界的特征点分别确定为触发点进行图形绘制，获得无向图。
可选地，所述第二确定单元包括：
连接子单元，用于连接所述无向图出发点与其领域内所有特征点以及计算所述无向图每条边对应的权值；
第三确定子单元，用于基于所述无向图每条边对应的权值，确定能量函数；
求解子单元，用于基于能量最小化，对所述能量函数进行求解，获得目标缝合线，其中，在所述目标缝合线左右两侧的图像部分是所述重叠区域中图像特征差异最小的部分。
基于前述实施例，本发明的实施例提供一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如上一种应用于大视差场景的图像拼接方法的步骤。
本发明实施例还提供了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现的一种应用于大视差场景的图像拼接方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种应用于大视差场景的图像拼接方法，其特征在于，包括：
获取待拼接的第一图像和第二图像；
分别对所述第一图像和所述第二图像进行特征点提取，获得与所述第一图像对应的第一特征点集合以及与所述第二图像对应的第二特征点集合；
基于所述第一特征点集合和所述第二特征点集合，确定局部变换矩阵；
利用所述局部变换矩阵对所述第一图像和所述第二图像进行图像配准，获得所述第一图像和所述第二图像的重叠区域；
基于配准后的图像以及匹配的特征点，生成无向图；
基于所述无向图，确定所述重叠区域的目标缝合线；
利用所述目标缝合线对所述第一图像和所述第二图像进行拼接，获得目标全景图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一特征点集合和所述第二特征点集合，确定局部变换矩阵，包括：
分别对所述第一图像和所述第二图像进行网格划分，并基于所述第一特征点集合和所述第二特征点集合，确定在每一网格内的所有特征点；
计算每一网格内的特征点与网格中心点之间的差值，并基于所述差值和预设参数，计算获得特征点在对应网格中的位置的权重参数；
基于所述权重参数，确定局部变换矩阵，其中，所述局部变换矩阵为能够使得第一图像中的目标网格中的特征点映射到第二图像中对应的网格中的特征点。
3.根据权利要求1所述的方法，其特征在于，所述利用所述局部变换矩阵对所述第一图像和所述第二图像进行图像配准，获得所述第一图像和所述第二图像的重叠区域，包括：
根据所述局部变换矩阵将所述第一图像变换到第二图像对应的坐标系，以使得角点坐标变换到同一坐标；
通过所述第一图像和所述第二图像角点坐标差值，计算出所述第一图像和所述第二图像的重叠区域。
4.根据权利要求1所述的方法，其特征在于，所述基于配准后的图像以及匹配的特征点，生成无向图，包括：
基于配准后的图像以及匹配的特征点，确定重叠区域的上下两个边界的特征点；
将所述上下两个边界的特征点分别确定为触发点进行图形绘制，获得无向图。
5.根据权利要求4所述的方法，其特征在于，所述基于所述无向图，确定所述重叠区域的目标缝合线，包括：
连接所述无向图出发点与其领域内所有特征点以及计算所述无向图每条边对应的权值；
基于所述无向图每条边对应的权值，确定能量函数；
基于能量最小化，对所述能量函数进行求解，获得目标缝合线，其中，在所述目标缝合线左右两侧的图像部分是所述重叠区域中图像特征差异最小的部分。
6.一种应用于大视差场景的图像拼接装置，其特征在于，包括：
获取单元，用于获取待拼接的第一图像和第二图像；
提取单元，用于分别对所述第一图像和所述第二图像进行特征点提取，获得与所述第一图像对应的第一特征点集合以及与所述第二图像对应的第二特征点集合；
第一确定单元，用于基于所述第一特征点集合和所述第二特征点集合，确定局部变换矩阵；
配准单元，用于利用所述局部变换矩阵对所述第一图像和所述第二图像进行图像配准，获得所述第一图像和所述第二图像的重叠区域；
生成单元，用于基于配准后的图像以及匹配的特征点，生成无向图；
第二确定单元，用于基于所述无向图，确定所述重叠区域的目标缝合线；
拼接单元，用于利用所述目标缝合线对所述第一图像和所述第二图像进行拼接，获得目标全景图像。
7.根据权利要求6所述的装置，其特征在于，所述第一确定单元包括：
网格划分子单元，用于分别对所述第一图像和所述第二图像进行网格划分，并基于所述第一特征点集合和所述第二特征点集合，确定在每一网格内的所有特征点；
第一计算子单元，用于计算每一网格内的特征点与网格中心点之间的差值，并基于所述差值和预设参数，计算获得特征点在对应网格中的位置的权重参数；
第一确定子单元，用于基于所述权重参数，确定局部变换矩阵，其中，所述局部变换矩阵为能够使得第一图像中的目标网格中的特征点映射到第二图像中对应的网格中的特征点。
8.根据权利要求6所述的装置，其特征在于，所述配准单元包括：
变换子单元，用于根据所述局部变换矩阵将所述第一图像变换到第二图像对应的坐标系，以使得角点坐标变换到同一坐标；
第二计算子单元，用于通过所述第一图像和所述第二图像角点坐标差值，计算出所述第一图像和所述第二图像的重叠区域。
9.根据权利要求6所述的装置，其特征在于，所述生成单元包括：
第二确定子单元，用于基于配准后的图像以及匹配的特征点，确定重叠区域的上下两个边界的特征点；
绘制子单元，用于将所述上下两个边界的特征点分别确定为触发点进行图形绘制，获得无向图。
10.根据权利要求6所述的装置，其特征在于，所述第二确定单元包括：
连接子单元，用于连接所述无向图出发点与其领域内所有特征点以及计算所述无向图每条边对应的权值；
第三确定子单元，用于基于所述无向图每条边对应的权值，确定能量函数；
求解子单元，用于基于能量最小化，对所述能量函数进行求解，获得目标缝合线，其中，在所述目标缝合线左右两侧的图像部分是所述重叠区域中图像特征差异最小的部分。
CN202111493251.4A 2021-12-08 2021-12-08 一种应用于大视差场景的图像拼接方法及装置 Pending CN114155150A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111493251.4A CN114155150A (zh) 2021-12-08 2021-12-08 一种应用于大视差场景的图像拼接方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111493251.4A CN114155150A (zh) 2021-12-08 2021-12-08 一种应用于大视差场景的图像拼接方法及装置

Publications (1)

Publication Number Publication Date
CN114155150A true CN114155150A (zh) 2022-03-08

Family

ID=80453528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111493251.4A Pending CN114155150A (zh) 2021-12-08 2021-12-08 一种应用于大视差场景的图像拼接方法及装置

Country Status (1)

Country Link
CN (1) CN114155150A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170449A (zh) * 2022-06-30 2022-10-11 陕西科技大学 一种多模态融合场景图生成方法、系统、设备和介质
CN115546027A (zh) * 2022-10-13 2022-12-30 爱芯元智半导体(上海)有限公司 图像缝合线确定方法、装置以及存储介质
CN115861050A (zh) * 2022-08-29 2023-03-28 如你所视(北京)科技有限公司 用于生成全景图像的方法、装置、设备和存储介质
CN117372252A (zh) * 2023-12-06 2024-01-09 国仪量子技术(合肥)股份有限公司 图像拼接方法、装置及存储介质、电子设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170449A (zh) * 2022-06-30 2022-10-11 陕西科技大学 一种多模态融合场景图生成方法、系统、设备和介质
CN115170449B (zh) * 2022-06-30 2023-09-22 陕西科技大学 一种多模态融合场景图生成方法、系统、设备和介质
CN115861050A (zh) * 2022-08-29 2023-03-28 如你所视(北京)科技有限公司 用于生成全景图像的方法、装置、设备和存储介质
CN115546027A (zh) * 2022-10-13 2022-12-30 爱芯元智半导体(上海)有限公司 图像缝合线确定方法、装置以及存储介质
CN115546027B (zh) * 2022-10-13 2023-08-29 爱芯元智半导体(上海)有限公司 图像缝合线确定方法、装置以及存储介质
CN117372252A (zh) * 2023-12-06 2024-01-09 国仪量子技术(合肥)股份有限公司 图像拼接方法、装置及存储介质、电子设备
CN117372252B (zh) * 2023-12-06 2024-02-23 国仪量子技术(合肥)股份有限公司 图像拼接方法、装置及存储介质、电子设备

Similar Documents

Publication Publication Date Title
CN114155150A (zh) 一种应用于大视差场景的图像拼接方法及装置
CN110135455B (zh) 影像匹配方法、装置及计算机可读存储介质
CN112367514B (zh) 三维场景构建方法、装置、系统和存储介质
CN110390640B (zh) 基于模板的泊松融合图像拼接方法、系统、设备及介质
Gao et al. Constructing image panoramas using dual-homography warping
CN108833785B (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
US11521311B1 (en) Collaborative disparity decomposition
US9129399B2 (en) Optical flow with nearest neighbor field fusion
EP2383699B1 (en) Method for estimating a pose of an articulated object model
CN108446694B (zh) 一种目标检测方法及装置
Mills et al. Global seamline networks for orthomosaic generation via local search
Mistry et al. Image stitching using Harris feature detection
CN112862685A (zh) 图像拼接的处理方法、装置和电子系统
CN111220235B (zh) 水位监测方法及装置
CN114143528A (zh) 多视频流融合方法、电子设备、存储介质
WO2021244161A1 (zh) 基于多目全景图像的模型生成方法及装置
US20180114291A1 (en) Image processing method and device as well as non-transitory computer-readable medium
Pan et al. Seamline network refinement based on area Voronoi diagrams with overlap
CN116109684B (zh) 面向变电场站在线视频监测二三维数据映射方法及装置
CN111709876B (zh) 一种图像拼接的方法及装置、设备、存储介质
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
Patil et al. A comparative evaluation of SGM variants (including a new variant, tMGM) for dense stereo matching
CN113435266B (zh) 基于极值点特征增强的fcos智能目标检测方法
CN117173012A (zh) 无监督的多视角图像生成方法、装置、设备及存储介质
CN111738061A (zh) 基于区域特征提取的双目视觉立体匹配方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination