CN116579920A - 一种基于异构多模全景立体成像系统图像拼接方法及系统 - Google Patents

Abstract

本申请公开了一种基于异构多模全景立体成像系统图像拼接方法及系统，方法包括：输入原始待拼接图像，通过SIFT算法对所述待拼接图像进行特征点搜索与匹配；根据搜索与匹配的特征点计算得到单应性矩阵；对所述单应性矩阵加入位置权重来估计局部单应性矩阵；利用RANSAC算法和所述单应性矩阵得到全局相似变换；根据所述全局相似变换与所述局部单应性矩阵得到全局最优单应性矩阵；基于所述全局最优单应性矩阵对所述原始待拼接图像进行平移交换，完成图像拼接。本申请解决了拼接图像重叠区域会存在明显的错位、重影，且非重叠区域会存在严重的畸变现象。提出针对异构多模全景成像系统的全景图像拼接方法。

Description

一种基于异构多模全景立体成像系统图像拼接方法及系统

技术领域

本申请属于图像中全景图像拼接技术领域，具体涉及一种基于异构多模全景立体成像系统图像拼接方法及系统。

背景技术

在信息时代快速发展的今天，人们可以轻松地获取各种数量庞大的信息，特别是那些来自视觉方面的图像和视频信息。随着多媒体设备的广泛普及，如相机、监控摄像头、手机等具有视频采集和展示功能的设备的普及，人们可以方便地从这些设备中获取视频信息。然而，由于单一设备所采集的场景范围较窄，例如标准镜头的视角仅约为50度，远低于人类的视角，因此无法满足实际需求。为了获得更广阔、高分辨率的场景，需要将多个采集设备所拍摄的视频图像进行拼接，从而扩大视野范围。

当待拼接的图像存在较大视差时，拼接后的图像重叠区域会出现明显的错位和重影，同时非重叠区域也会出现严重的畸变。为了解决这个问题，本发明通过引入了局部单应性变换线性化和全局相似性变换。在进行特征点匹配后，使用RANSAC算法筛选出内点，以更准确地计算单应性矩阵。根据非重叠区域像素点位置计算每个点对应的相似性变换，有效缓解非重叠区域的畸变问题。为了评估算法的有效性，本研究构建了主客观两种评价指标体系。相较于传统的图像拼接算法，本文提出的算法能够有效解决重叠区域重影、错位以及非重叠区域的畸变问题，从而显著提高拼接效果。

发明内容

本申请旨在解决现有技术的不足，提出一种针对异构多模全景成像系统的全景图像拼接方法，包括：

S1、获取原始待拼接图像，通过SIFT算法对所述待拼接图像进行特征点搜索与匹配；

S2、根据搜索与匹配的特征点计算得到单应性矩阵；

S3、对所述单应性矩阵加入位置权重来估计局部单应性矩阵；

S4、利用RANSAC算法和所述单应性矩阵得到全局相似变换；

S5、根据所述全局相似变换与所述局部单应性矩阵得到全局最优单应性矩阵；

S6、基于所述全局最优单应性矩阵对所述原始待拼接图像进行平移交换，完成图像拼接。

可选的，所述S1中，对所述拼接图像进行特征点搜索与匹配包括：通过SIFT算法计算出特征点，并对相邻图像的特征点进行搜索与匹配。

可选的，特征点进行搜索与匹配的过程包括：

设图像I和I′在重叠部分的匹配点是p＝[x,y]^T和p′＝[x′,y′]^T；

在齐次坐标下和/>用单应性矩阵H∈^3×3表示为：

其中，代表图像I的特征匹配点的齐次坐标；/>代表图像I′对应的特征匹配点的齐次坐标；H代表单应性矩阵；

对所述单应性矩阵展开并进行两边交叉相乘，得到交叉相乘后的单应性矩阵，表示为：

相邻图像的N个匹配点集合可以表示为和/>

其中，代表图像I的所有N个匹配特征点，/>代表图像I′的所有N个匹配特征点，h₁、h₂和h₃分别代表单应性矩阵H的每一行；x和y代表特征点/>的横坐标和纵坐标；x′和y′代表特征点/>的横坐标和纵坐标。

可选的，所述S2中，得到单应性矩阵的过程包括：

根据特征点位置计算出像素点的不同权重来得到单应性变换矩阵；所述单应性矩阵表示为：

其中，a_i,1代表O_3×1矩阵的第一行；a_i,2代表O_3×1矩阵的第二行；同时保证||h||＝1保证单应性矩阵只有8个自由度；||Ah||代表DLT代数误差。

可选的，估计局部单应性矩阵的过程包括：

对所述单应性矩阵加入位置权重来估计局部反应性矩阵，在位置P_j处的局部单应性矩阵为：

其中，a_i,1代表O_3×1矩阵的第一行；a_i,2代表O_3×1矩阵的第二行；

权重矩阵W_j＝diag([w_1,j w_2,j...w_N,j])；权重使用高斯函数生成，公式表示为：

w_i,j＝max(exp(-||P_i-P_j||²/σ²),γ)；

h_j代表第j维最小化代数误差；w_i,j代表坐标点(i,j)处的权重；P_i代表所求权重的位置；P_j代表p_i周围的特征点集合；||P_i-P_j||代表p_j与p_i的像素差值；σ代表图像方差；γ∈[0,1]为了防止权重出现数值问题。

可选的，所述利用RANSAC算法和所述单应性矩阵得到全局相似变换的过程包括：

利用带有阈值ε_g的RANSAC算法取出去除异常值，获得有效特征匹配点；

使用带有阈值ε_g的RANSAC算法在所述有效特征匹配点中寻找预设内点的平面的单应性变换，并去除所述内点；

重复所述去除内点过程，直至内点数量小于η；

根据剩余内点计算单应性矩阵，比较单应性变换的旋转角度，选择最小的旋转角度作为全局相似变换。

可选的，根据所述全局相似变换与所述局部相似变换得到全局最优单应性矩阵的过程包括：

将局部相似性变换与全局相似性变换进行线性加权得到全局最优单应性矩阵，公式为：

其中，是局部单应性变换矩阵，S代表全局相似变换矩阵，μ_h和μ_s是加权系数，且μ_h+μ_s＝1；/>是局部单应性变换矩阵。

可选的，对所述原始待拼接图像进行平移交换的计算方法包括：

其中，是局部单应性变换矩阵；/>代表全局相似变换矩阵。

本申请还提供了一种基于异构多模全景立体成像系统图像拼接系统，包括：特征点获取模块、单应性矩阵计算模块、局部单应性矩阵估计模块、全局相似变换模块、全局最优单应性矩阵获取模块和拼接模块；

所述特征点获取模块用于输入原始待拼接图像，通过SIFT算法对所述待拼接图像进行特征点搜索与匹配；

所述单应性矩阵计算模块用于根据搜索与匹配的特征点计算得到单应性矩阵；

所述局部单应性矩阵估计模块用于对所述单应性矩阵加入位置权重来估计局部单应性矩阵；

所述全局相似变换模块用于利用RANSAC算法和所述单应性矩阵得到全局相似变换；

所述全局最优单应性矩阵获取模块用于根据所述全局相似变换与所述局部单应性矩阵得到全局最优单应性矩阵；

所述拼接模块用于基于所述全局最优单应性矩阵对所述原始待拼接图像进行平移交换，完成图像拼接。

与现有技术相比，本申请的有益效果为：

(1)解决了拼接图像重叠区域会存在明显的错位、重影，且非重叠区域会存在严重的畸变现象。

(2)提出针对异构多模全景成像系统的全景图像拼接方法。

附图说明

为了更清楚地说明本申请的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一种针对异构多模全景成像系统的全景图像拼接方法的方法步骤图；

图2为本申请实施例一种针对异构多模全景成像系统的全景图像拼接方法及系统中输入的原始带拼接图像；

图3为本申请实施例一种针对异构多模全景成像系统的全景图像拼接方法及系统中RANSAC算法去除异常值过程图像；

图4为本申请实施例一种针对异构多模全景成像系统的全景图像拼接方法及系统中算法输出结果图像；

图5为本申请实施例一种针对异构多模全景成像系统的全景图像拼接方法及系统的异构多模全景立体成像系统；

图6为本申请实施例一种针对异构多模全景成像系统的全景图像拼接方法及系统的海上异构多模全景立体成像系统图像拼接效果中的系统可见光图像拼接效果图；

图7为本申请实施例一种针对异构多模全景成像系统的全景图像拼接方法及系统的海上异构多模全景立体成像系统图像拼接效果中的系统红外图像拼接效果图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

实施例一

在本实施例中，如图1所示，一种针对异构多模全景成像系统的全景图像拼接方法及系统，具体包括：

S1、输入原始待拼接图像，通过SIFT算法对所述待拼接图像进行特征点搜索与匹配；其中，尺度不变性特征转换(SIFT)是一种图像视觉算法，可以在不同尺度和旋转角度下提取出稳定的特征点，并且对光线、噪声等因素具有很强的鲁棒性。SIFT已被广泛应用于凸现识别、图像拼接、图像检测等领域。SIFT算法的核心原理是在图像的不同尺度上询查特征点，彬估计算这些特征点的方向。SIFT算法的特征匹配具有很强的抗干扰能力，可以保持稳定性和鲁棒性，无论图片经过怎样的平移、光照或旋转的变化。尺度不变性的概念是指同一个物体在不同尺度上的图像表示，该算法利用高斯核函数对初始待拼接图像进行变化，获得不同尺度下的图片，然后再每个尺度下提取其特征点。对拼接图像进行特征点搜索与匹配包括：通过SIFT算法计算出特征点，并将相邻图像的特征点进行搜索与匹配。

特征点进行搜索与匹配的过程包括：设图像I和I′在重叠部分的匹配点是p＝[x,y]^T和p′＝[x′,y′]^T，在齐次坐标下和/>可以用单应性矩阵H∈^3×3表示为：

其中，代表图像I的特征匹配点的齐次坐标；/>代表图像I′对应的特征匹配点的齐次坐标；H代表单应性矩阵；

展开为如下形式：

对公式(2)两边交叉相乘可以得到：

相邻图像的N个匹配点集合可以表示为和/>AutoStitching相邻图像只计算一个全局的单应性矩阵。相邻图像的N个匹配点集合可以表示为/>和/>其中，代表图像I的所有N个匹配特征点，/>代表图像I′的所有N个匹配特征点，h₁、h₂和h₃分别代表单应性矩阵H的每一行；x和y代表特征点/>的横坐标和纵坐标；x′和y′代表特征点的横坐标和纵坐标。

S2、根据搜索与匹配的特征点计算得到单应性矩阵；其中，得到单应性矩阵的过程包括：

但是如果相邻图像不是通过简单的旋转或者平移，重叠区域不可避免的产生重影与错位。为了缓解这一问题，根据根据特征点位置计算出像素点的不同权重来得到单应性变换矩阵；单应性变换矩阵表示为：

其中，a_i,1代表O_3×1矩阵的第一行；a_i,2代表O_3×1矩阵的第二行；同时保证||h||＝1保证单应性矩阵只有8个自由度；||Ah||代表DLT代数误差。同时加入||h||²＝1的约束。

S3、对单应性变换矩阵加入位置权重来估计局部单应性矩阵；估计局部单应性矩阵的过程包括：

引入移动DLT框架，通过在公式(4)中对单应性矩阵加入位置权重来估计局部反应性矩阵，在位置P_j处的局部单应性变换为：

其中，a_i,1代表O_3×1矩阵的第一行；a_i,2代表O_3×1矩阵的第二行；

可以表示为其中权重矩阵W_j＝diag([w_1,j w_2,j...w_N,j])。权重使用高斯函数生成。距离P_j越近，权重值越大。权重公式为：

w_i,j＝max(exp(-||P_i-P_j||²/σ²),γ) (6)；

h_j代表第j维最小化代数误差；w_i,j代表坐标点(i,j)处的权重；P_i代表所求权重的位置；P_j代表p_i周围的特征点集合；||P_i-P_j||代表p_j与p_i的像素差值；σ代表图像方差；γ∈[0,1]为了防止权重出现数值问题。

对于非重叠区域的每个像素点，可以利用重叠区域的局部单应型变换线性加权组合进行计算。因此，选取适当的偏移量十分重要。偏移量误差较大会使非重叠区域产生较为严重的畸变效果。我们对APAP算法进行改进，使用移动DLT方法估计非重叠区域的单应性变换，来缓解拼接图像非重叠区域的畸变。

在非重叠区域的单应性变换会产生畸变效果，这种效果的原因主要是单应性变换是一维透射变换。然而实际对应点的变换是非线性的，在转换为2-D的过程中会出现严重的视角扭曲。这种扭曲可以通过线性化变换来缓解。

对于图像中的一个像素点p附近的任意点q处的单应性线性化可以通过单应性矩阵h(q)的泰勒级数得到

h(q)＝h(p)+J_h(p)(q-p)+ο(||q-p||) (7)；

其中，J_h(p)是h在点p处的雅可比矩阵。然而在1-D的情况下，在非重叠区域的任意点q处计算线性化并不简单。因为重叠区域和非重叠区域之间的边界可能包含多个点，无法确定雅可比矩阵在哪里计算。因此边界上的像素点需要进行线性化，并计算变换的加权平均值。

对于R个边界点集合线性化的加权组合为

其中α_i是||q-p_i||的函数，我们使用代替高斯函数作为权重。因为相比于高斯分布相比我们使用的权重在尾部衰减较慢，因此更加稳定。在非重叠区域很大程度上缓解畸变效果。

S4、利用RANSAC算法和单应性矩阵得到全局相似变换；其中，经过单应性线性化的方法在很大程度上减轻了非重叠区域的畸变，接下来通过非重叠区域的相似性变换的方法进一步减小畸变，使拼接图像更加自然。

如果全局相似变换近似目标图像和参考图像之间的相机运动，那么相似性变换就可以补偿相机的运动。然而，使用所有的匹配特征点寻找全局相似性变换可能不是最优解，尤其是重叠区域包含不同的图像平面的场景。

利用RANSAC算法和单应性矩阵得到全局相似变换的过程包括：利用带有阈值ε_g的RANSAC算法取出去除异常值，如图3所示，获得有效特征匹配点；使用带有阈值ε_g的RANSAC算法在有效特征匹配点中寻找预设内点的平面的单应性变换，并去除内点；重复去除内点过程，直至内点数量小于η；根据内点计算单应性矩阵，比较单应性变换的旋转角度，选择最小的旋转角度作为全局相似变换。

计算出全局相似性变化后，利用该变换调节目标图像的扭曲程度，最终达到缓解拼接图像中的透射失真效果。

S5、根据全局相似变换与局部相似变换得到全局最优单应性矩阵；其中，如果只调整非重叠区域会造成非重叠区域与重叠区域边界不自然的效果。

根据全局相似变换与局部相似变换得到全局最优单应性矩阵的过程包括：

将局部相似性变换与全局相似性变换进行线性加权得到全局最优单应性矩阵，公式为：

其中，是局部单应性变换矩阵，S是全局相似变换，μ_h和μ_s是加权系数，且μ_h+μ_s＝1；/>是局部单应性变换矩阵。

S6、基于全局最优单应型矩阵对原始待拼接图像进行平移交换，完成图像拼接。

对原始待拼接图像进行平移交换的计算方法包括：

在本实施例中，是局部单应性变换矩阵；/>代表全局相似变换矩阵。

实施例二

本申请还包括一种基于异构多模全景立体成像系统图像拼接系统，包括：特征点获取模块、单应性矩阵计算模块、局部单应性矩阵估计模块、全局相似变换模块、全局最优单应性矩阵获取模块和拼接模块；

所述特征点获取模块用于输入原始待拼接图像，通过SIFT算法对所述待拼接图像进行特征点搜索与匹配；

所述单应性矩阵计算模块用于根据搜索与匹配的特征点计算得到单应性矩阵；

所述局部单应性矩阵估计模块用于对所述单应性矩阵加入位置权重来估计局部单应性矩阵；

所述全局相似变换模块用于利用RANSAC算法和所述单应性矩阵得到全局相似变换；

所述全局最优单应性矩阵获取模块用于根据所述全局相似变换与所述局部单应性矩阵得到全局最优单应性矩阵；

所述拼接模块用于基于所述全局最优单应性矩阵对所述原始待拼接图像进行平移交换，完成图像拼接。

通过在拼接算法中引入局部单应性变换线性化以为全局相似性变换，提出一种基于异构多模全景立体成像系统图像拼接方法，以解决拼接图像重叠区域会存在的明显错位、重影，且非重叠区域会存在严重的畸变现象。本发明首先将基于异构多模全景立体成像系统采集图像特征点搜索、匹配，再使用RANSACk算法筛选异常特征点，计算得到全局最优单应性矩阵，然后通过平移变换检高目标图像移动到参考图像的对应位置，完成图像拼接。最后将本社情实施方法应用于多模全景立体呈现该系统个，在海上实船环境进行拼接效果验证。

在本实施例中，采用windows10操作系统、Intel(R)Core(TM)i5-8300H CPU、8G内存，软件为opencv3.4.7。采用APAP图像拼接算法与本文拼接算法对比。首先，针对原始图像，如图2所示，进行特征点的搜索和匹配，使用RANSAC算法筛选内点。在图像3中，红色点表示异常值，绿色点表示匹配成功的特征点。接着，通过特征点的筛选，提高了全局相似性变换的精度。最后，与APAP图像拼接算法进行比较，APAP图像重叠区域会出现透视失真，图像非重叠区域也存在透视失真的情况。本申请算法输出效果如图4所示，在重叠区域的重影和错位效果明显小于APAP算法，并且非重叠区域的畸变程度也得到了很大程度的缓解。

用自主研发的异构多模全景立体成像系统进行算法验证。系统采用Linux操作系统、Hisilicon Hi3559AV100 CPU、双核ARM Cortex A73@1.8GHz+双核ARM Cortex A53@1.2GHz+ARM Cortex A53@1.2GHz；双核ARM Mali G71@900MHz，内存8GB，搭载12路4K相机，保证水平视场角达到360°，垂直视场角达到30°，系统内部搭载opencv3.4.7外部库。此系统支持可见光与红外光图像采集，2km以内可成像分辨能力优于3m的能力，能适用于夜间、浓雾等环境，保障高可靠性，系统结构如图5所示。本方法在此系统进行实验验证，实验结果如图6-7所示。

以上所述的实施例仅是对本申请优选方式进行的描述，并非对本申请的范围进行限定，在不脱离本申请设计精神的前提下，本领域普通技术人员对本申请的技术方案做出的各种变形和改进，均应落入本申请权利要求书确定的保护范围内。

Claims (9)

1.一种基于异构多模全景立体成像系统图像拼接方法，其特征在于，包括以下步骤：

S1、获取原始待拼接图像，通过SIFT算法对所述待拼接图像进行特征点搜索与匹配；

S2、根据搜索与匹配的特征点计算得到单应性矩阵；

S3、对所述单应性矩阵加入位置权重来估计局部单应性矩阵；

S4、利用RANSAC算法和所述单应性矩阵得到全局相似变换；

S5、根据所述全局相似变换与所述局部单应性矩阵得到全局最优单应性矩阵；

S6、基于所述全局最优单应性矩阵对所述原始待拼接图像进行平移交换，完成图像拼接。

2.根据权利要求1所述的基于异构多模全景立体成像系统图像拼接方法，其特征在于，所述S1中，对所述拼接图像进行特征点搜索与匹配包括：通过SIFT算法计算出特征点，并对相邻图像的特征点进行搜索与匹配。

3.根据权利要求2所述的基于异构多模全景立体成像系统图像拼接方法，其特征在于，特征点进行搜索与匹配的过程包括：

设图像I和I′在重叠部分的匹配点是p＝[x,y]^T和p′＝[x′,y′]^T；

在齐次坐标下和/>用单应性矩阵H∈^3×3表示为：

其中，代表图像I的特征匹配点的齐次坐标；/>代表图像I′对应的特征匹配点的齐次坐标；H代表单应性矩阵；

对所述单应性矩阵展开并进行两边交叉相乘，得到交叉相乘后的单应性矩阵，表示为：

相邻图像的N个匹配点集合可以表示为和/>

其中，代表图像I的所有N个匹配特征点，/>代表图像I′的所有N个匹配特征点，h₁、h₂和h₃分别代表单应性矩阵H的每一行；x和y代表特征点/>的横坐标和纵坐标；x′和y′代表特征点/>的横坐标和纵坐标。

4.根据权利要求1所述的基于异构多模全景立体成像系统图像拼接方法，其特征在于，所述S2中，得到单应性矩阵的过程包括：

根据特征点位置计算出像素点的不同权重来得到单应性变换矩阵；所述单应性矩阵表示为：

其中，a_i,1代表O_3×1矩阵的第一行；a_i,2代表O_3×1矩阵的第二行；同时保证||h||＝1保证单应性矩阵只有8个自由度；||Ah||代表DLT代数误差。

5.根据权利要求4所述的基于异构多模全景立体成像系统图像拼接方法，其特征在于，估计局部单应性矩阵的过程包括：

对所述单应性矩阵加入位置权重来估计局部反应性矩阵，在位置P_j处的局部单应性矩阵为：

其中，a_i,1代表O_3×1矩阵的第一行

a_i,2代表O_3×1矩阵的第二行

权重矩阵W_j＝diag([w_1,j w_2,j...w_N,j])；权重使用高斯函数生成，公式表示为

w_i,j＝max(exp(-||P_i-P_j||²/σ²),γ)

h_j代表第j维最小化代数误差；w_i,j代表坐标点(i,j)处的权重；P_i代表所求权重的位置；P_j代表p_i周围的特征点集合；||P_i-P_j||代表p_j与p_i的像素差值；σ代表图像方差；γ∈[0,1]为了防止权重出现数值问题。

6.根据权利要求5所述的基于异构多模全景立体成像系统图像拼接方法，其特征在于，所述利用RANSAC算法和所述单应性矩阵得到全局相似变换的过程包括：

利用带有阈值ε_g的RANSAC算法取出去除异常值，获得有效特征匹配点；

使用带有阈值ε_g的RANSAC算法在所述有效特征匹配点中寻找预设内点的平面的单应性变换，并去除所述内点；

重复所述去除内点过程，直至内点数量小于η；

根据剩余内点计算单应性矩阵，比较单应性变换的旋转角度，选择最小的旋转角度作为全局相似变换。

7.根据权利要求6所述的基于异构多模全景立体成像系统图像拼接方法，其特征在于，根据所述全局相似变换与所述局部相似变换得到全局最优单应性矩阵的过程包括：

将局部相似性变换与全局相似性变换进行线性加权得到全局最优单应性矩阵，公式为：

其中，是局部单应性变换矩阵，S代表全局相似变换矩阵，μ_h和μ_s是加权系数，且μ_h+μ_s＝1；/>是局部单应性变换矩阵。

8.根据权利要求7所述的基于异构多模全景立体成像系统图像拼接方法，其特征在于，对所述原始待拼接图像进行平移交换的计算方法包括：

其中，是局部单应性变换矩阵；/>代表全局相似变换矩阵。

9.一种基于异构多模全景立体成像系统图像拼接系统，其特征在于，包括：特征点获取模块、单应性矩阵计算模块、局部单应性矩阵估计模块、全局相似变换模块、全局最优单应性矩阵获取模块和拼接模块；

所述特征点获取模块用于输入原始待拼接图像，通过SIFT算法对所述待拼接图像进行特征点搜索与匹配；

所述单应性矩阵计算模块用于根据搜索与匹配的特征点计算得到单应性矩阵；

所述局部单应性矩阵估计模块用于对所述单应性矩阵加入位置权重来估计局部单应性矩阵；

所述全局相似变换模块用于利用RANSAC算法和所述单应性矩阵得到全局相似变换；

所述全局最优单应性矩阵获取模块用于根据所述全局相似变换与所述局部单应性矩阵得到全局最优单应性矩阵；

所述拼接模块用于基于所述全局最优单应性矩阵对所述原始待拼接图像进行平移交换，完成图像拼接。