CN113163111B - 基于高斯加权或正弦加权的全景图像缝合方法、存储介质及终端 - Google Patents

Abstract

本发明公开了基于高斯加权或正弦加权的全景图像缝合方法、存储介质及终端，涉及图像处理技术领域，所述缝合方法包括以下内容：通过带有重叠视场区域的摄像机采集得到上下对齐的两张图像，其左右两幅图像重叠区域宽度为ω；以输入的某一幅图像为参考标准，调整剩余图像使其与参考图像同步；该方法针对目前全景监控应用的主要场景(由近及远)中图像缝合时出现的拼缝明显、过度不自然，尤其是“鬼影”的问题进行了改进，使得场景的全景效果得到进一步的提升和改善。而且该方法能够自适应计算场景中重叠区域中目标到相机的距离，在实际实用中具有很好的自适应性。

Description

基于高斯加权或正弦加权的全景图像缝合方法、存储介质及 终端

技术领域

本发明涉及图像处理技术领域，尤其涉及基于高斯加权或正弦加权的全景图像缝合方法、存储介质及终端。

背景技术

图像缝合技术在全景图像拼接有着十分重要的作用。所谓的图像缝合就是在图像拼接对齐之后，由于两张图像角度、曝光、光心等不同，导致拼接后的图像仍然后很明显界线痕迹，为了更好消除该界线，就用到了图像缝合技术。

一般情况下，按照实际应用的流程，图像缝合技术用在图像拼接之后，图像拼接已经可以保证两张图像的位置(含x方向和y方向)是对齐的，当然也可以通过两个摄像机的位置来保证图像对准。而由于图像的场景比较复杂，因此导致图像缝合比较困难。目前图像缝合算法很多，有直接法，多频段法等等，例如：大连理工大学就采用了多频段的缝合算法，将图像用金字塔方式分为低、中、高频，然后采用了线性加权算法完成图像缝合。该方法虽然在实际图像在存在配准误差的情况下，角度、曝光的不同的问题以及缝合区域出现的图像模糊问题都得到了一定的解决，但是该方法对于缝合后图像中存在的鬼影问题仍然没有办法；因此如何消除缝合后图像中存在的鬼影，以提高在场景下全景视觉的效果是现阶段需要解决的问题。

发明内容

本发明的目的在于克服现有技术的不足，提供基于高斯加权或正弦加权的全景图像缝合方法、存储介质及终端，解决了现有缝合方法存在的缺陷。

本发明的目的是通过以下技术方案来实现的：基于高斯加权或正弦加权的全景图像缝合方法，所述缝合方法包括以下内容：

以输入的某一幅图像为参考标准，调整剩余图像使其与参考图像同步；

提取完成调整后的图像重叠区域的特征点；

对图像重叠区域的宽度进行几何变换；

将变换后的通过加权算法得到最终的缝合图像。

在对输入图像进行调整之前还需要采集待缝合的图像，并确定图像重叠区域宽度ω。

所述以输入的某一幅图像为标准，调整剩余图像使其与标准图像同步包括以下内容：

确定某一幅图像为参考图像；

以参考图像的亮度为参考标准，调节剩余图像的亮度使其与参考图像的亮度一致。

所述对图像重叠区域的宽度进行几何变换包括以下内容：

通过图像中重叠区域内的特征点计算重叠区域内景物到摄像机的距离；

按照距离由近到远进行排列，得到不同距离对应的图像重叠区域不同行的宽度ω_i；

根据不同行的图像重叠区域宽度ω_i对图像进行几何变换。

所述将变换后的图像通过加权算法得到最终的缝合图像包括通过高斯加权算法或者正弦加权算法得到最终缝合图像。

所述通过正弦加权算法得到最终缝合图像包括以下内容：

将图像输入到正弦函数模型中；

按照图像重叠区域宽度ω计算不同行的重叠区域宽度ω_i的正弦加权缝合函数，得到对应行重叠区域宽度ω_i的缝合图像；

将所有行的缝合图像进行合成得到最终缝合图像。

所述通过高斯加权算法得到最终缝合图像包括以下内容：

将图像输入到高斯函数模型中；

按照图像重叠区域宽度ω计算不同行的重叠区域宽度ω_i的高斯加权缝合函数，得到对应行重叠区域宽度ω_i的缝合图像；

将所有行的缝合图像进行合成得到最终缝合图像。

所述提取完成调整后的图像重叠区域的特征点包括通过SIFT图像特征提取算法实现对重叠区域内的特征点的提取；包括首先计算图像的DoG图像，然后在DoG图像中检测局部极值，最后通过黑森矩阵最大特征的方法对极值进行筛选出稳定极值

一种存储介质，其内部存储有计算机程序指令，所述计算机程序指令运行时执行所述的基于高斯加权或正弦加权的全景图像缝合方法的步骤。

一种终端，包括存储器和处理器，所述存储器上存储有可以在所述处理器上运行的计算机程序指令，所述处理器运行所述计算机程序指令时执行所述的基于高斯加权或正弦加权的全景图像缝合方法的步骤。

本发明的有益效果是：基于高斯加权或正弦加权的全景图像缝合方法、存储介质及终端，该方法针对目前全景监控应用的主要场景(由近及远)中图像缝合时出现的拼缝明显、过度不自然，尤其是“鬼影”的问题进行了改进，使得场景的全景效果得到进一步的提升和改善。而且该方法能够自适应计算场景中重叠区域中目标到相机的距离，在实际实用中具有很好的自适应性。

附图说明

图1为本发明的方法流程图；

图2为双目测距的几何原理图；

图3a为摄像机采集的待缝合左侧图像；

图3b为摄像机采集的待缝合右侧图像；

图4a为变换后的待缝合左侧图像；

图4b为变换后的待缝合右侧图像；

图5为通过本发明方法缝合后的图像；

图6现有方法缝合后的图像；

图7a为现有方法缝合后的图像细节放大图像；

图7b为本发明方法缝合后的图像细节放大图像。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“上”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

发明人意外地发现由于两张图像的拍摄角度不同、曝光时间的不同，更重要的还有图像的成像模型不同都会导致最终的配准缝合存在细小的误差，实际上真正的多相机缝合中鬼影的主要原因是由于两个相机重叠区域中目标物体到相机的距离变化而引起的；因此，对于发明人意外发现引起图像缝合中鬼影的原因，采用本发明的缝合方法能够得到有效地解决。

本申请中的“鬼影”是指在缝合区域内由于部分区域没有对齐导致一些目标图像出现的重影现象。

如图1所示，基于高斯加权或正弦加权的全景图像缝合方法，所述缝合方法包括以下内容：

S1、通过带有重叠视场区域的摄像机采集得到上下对齐的两张图像，其左右两幅图像重叠区域宽度为ω；

S2、以输入的某一幅图像为参考标准，调整剩余图像使其与参考图像同步；

S3、通过SIFT(尺度不变特征变换)图像特征提取算法实现重叠区域内的特征点的提取；

S4、对图像重叠区域的宽度进行几何变换；

S5、将变换后的通过加权算法得到最终的缝合图像。

进一步地，所述以输入的某一幅图像为标准，调整剩余图像使其与标准图像同步包括以下内容：

S21、确定左右两幅图像中的某一幅图像为参考图像；

S22、以参考图像的亮度为参考标准，调节另一幅图像的亮度使其与参考图像的亮度一致。

进一步地，如图2所示，对图像重叠区域的宽度进行几何变换包括以下内容：该图的几何关系可以计算出两个图像重叠区域内的P点到相机的距离di，该距离决定了两张图像重叠区域宽度的不同，越远重叠宽度越小，越近重叠宽度越大(鬼影的主要原因是近处能对齐的时候，远处不能对齐；远处对齐的时候近处不能对齐)，按照由近到远的宽度的线性变换，可以对重叠区域进行几何后变换，其变化效果是原始图像的矩形变为了直角梯形。

S41、通过图像中重叠区域内的特征点计算重叠区域内景物到摄像机的距离；

S42、按照距离由近到远进行排列，得到不同距离对应的图像重叠区域不同行的宽度ω_i；

如果缝合重叠区域最近处距离d₁，最远处距离d₂，最近处重叠宽度ω₁，最远处重叠区域ω₂，则ω_i与d_i成线性关系，满足ω_i＝(ω₁-ω₂)*d_i/(d₂-d₁)；

S43、根据不同行的图像重叠区域宽度ω_i对图像进行几何变换。

进一步地，将变换后的图像通过加权算法得到最终的缝合图像包括通过高斯加权算法或者正弦加权算法得到最终缝合图像。

所述通过正弦加权算法得到最终缝合图像包括以下内容：

A1、将图像输入到正弦函数模型中；

A2、按照图像重叠区域宽度ω计算不同行的重叠区域宽度ω_i的正弦加权缝合函数，得到对应行重叠区域宽度ω_i的缝合图像；

A3、将所有行的缝合图像进行合成得到最终缝合图像。

进一步地，正弦函数模型为：(x)＝Sin(x)；

进而得到的不同行的重叠区域宽度ω_i的正弦加权缝合函数为：

f(x)＝f₁(x)·(1-S(ω_i))+f₂(x)·S(ω_i)，(0＜S＜π/(2ω_i))

其中，f₁(x)表示左侧图像，f₂(x)表示右侧图像，ω_i为重叠区域第i行的宽度，S为正弦函数。

所述通过高斯加权算法得到最终缝合图像包括以下内容：

B1、将图像输入到高斯函数模型中；

B2、按照图像重叠区域宽度ω计算不同行的重叠区域宽度ω_i的高斯加权缝合函数，得到对应行重叠区域宽度ω_i的缝合图像；

B3、将所有行的缝合图像进行合成得到最终缝合图像。

进一步地，高斯函数模型为：

进而得到的不同行的重叠区域宽度ω_i的高斯加权缝合函数为：

f(x)＝f₁(x)·(1-G/ω_i)+f₂(x)·G/ω_i，(0＜G＜ω_i)

其中，f₁(x)表示左侧图像，f₂(x)表示右侧图像，ω_i为重叠区域第i行的宽度，G为归一化高斯函数。

所述提取完成调整后的图像重叠区域的特征点包括通过SIFT图像特征提取算法实现对重叠区域内的特征点的提取。

具体为，首先计算图像的DoG图像，然后在DoG图像中检测局部极值，最后通过黑森矩阵最大特征的方法对极值进行筛选出稳定极值。

如图3a-图7b所示，图3a和图3b为原始左右两张矩形图像；图4a和图4b为变换后的直角梯形图像；图5为按照本专利方法缝合后的图像，拼缝区域为由近及远，缝合区域过度平滑自然，无“鬼影”。图6图用现有的加权缝合方法获得的图像，存在缝合区域模糊和鬼影；图7a和图7b是对图5和图6放大后的缝合区域对比，明显看到图7a(即图6)的缝合区域鬼影严重。

本发明的又一实施例为一种存储介质，其内部存储有计算机程序指令，所述计算机程序指令运行时执行所述的基于高斯加权或正弦加权的全景图像缝合方法的步骤。

本发明的又一实施例为一种终端，包括存储器和处理器，所述存储器上存储有可以在所述处理器上运行的计算机程序指令，所述处理器运行所述计算机程序指令时执行所述的基于高斯加权或正弦加权的全景图像缝合方法的步骤。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.基于高斯加权或正弦加权的全景图像缝合方法，其特征在于：所述缝合方法包括以下内容：

采集待缝合的图像，并确定图像重叠区域宽度ω；

以输入的某一幅图像为参考标准，调整剩余图像使其与参考图像同步；

提取完成调整后的图像重叠区域的特征点；

对图像重叠区域的宽度进行几何变换；

将变换后的通过加权算法得到最终的缝合图像；

所述对图像重叠区域的宽度进行几何变换包括以下内容：

通过图像中重叠区域内的特征点计算重叠区域内景物到摄像机的距离；

按照距离由近到远进行排列，得到不同距离对应的图像重叠区域不同行的宽度ω_i；

如果缝合重叠区域最近处距离d₁，最远处距离d₂，最近处重叠宽度ω₁，最远处重叠区域ω₂，则ω_i与d_i成线性关系，满足ω_i＝(ω₁-ω₂)*d_i/(d₂-d₁)；d_i为两个图像重叠区域内的P点到相机的距离；

根据不同行的图像重叠区域宽度ω_i对图像进行几何变换；

其中，所述将变换后的图像通过加权算法得到最终的缝合图像包括通过高斯加权算法或者正弦加权算法得到最终缝合图像；

通过正弦加权算法得到最终缝合图像包括以下内容：

将图像输入到正弦函数模型中；

按照图像重叠区域宽度ω计算不同行的重叠区域宽度ω_i的正弦加权缝合函数，得到对应行重叠区域宽度ω_i的缝合图像；

将所有行的缝合图像进行合成得到最终缝合图像；

其中，正弦函数模型为：S(x)＝Sin(x)；得到的不同行的重叠区域宽度ω_i的正弦加权缝合函数为：

f(x)＝f₁(x)·(1-S(ω_i))+f₂(x)·S(ω_i)，(0＜S＜π/(2ω_i))

其中，f₁(x)表示左侧图像，f₂(x)表示右侧图像，ω_i为重叠区域第i行的宽度，S为正弦函数；

通过高斯加权算法得到最终缝合图像包括以下内容：

将图像输入到高斯函数模型中；

按照图像重叠区域宽度ω计算不同行的重叠区域宽度ω_i的高斯加权缝合函数，得到对应行重叠区域宽度ω_i的缝合图像；

将所有行的缝合图像进行合成得到最终缝合图像；

其中，高斯函数模型为：

得到的不同行的重叠区域宽度ω_i的高斯加权缝合函数为：

f(x)＝f₁(x)·(1-G/ω_i)+f₂(x)·G/ω_i，(0＜G＜ω_i)

其中，f₁(x)表示左侧图像，f₂(x)表示右侧图像，ω_i为重叠区域第i行的宽度，G为归一化高斯函数。

2.根据权利要求1所述的基于高斯加权或正弦加权的全景图像缝合方法，其特征在于：所述以输入的某一幅图像为标准，调整剩余图像使其与标准图像同步包括以下内容：

确定某一幅图像为参考图像；

以参考图像的亮度为参考标准，调节剩余图像的亮度使其与参考图像的亮度一致。

3.根据权利要求1所述的基于高斯加权或正弦加权的全景图像缝合方法，其特征在于：所述提取完成调整后的图像重叠区域的特征点包括通过SIFT图像特征提取算法实现对重叠区域内的特征点的提取；包括首先计算图像的DoG图像，然后在DoG图像中检测局部极值，最后通过黑森矩阵最大特征的方法对极值进行筛选出稳定极值。

4.一种存储介质，其内部存储有计算机程序指令，其特征在于：所述计算机程序指令运行时执行权利要求1-3中任意一项所述的基于高斯加权或正弦加权的全景图像缝合方法的步骤。

5.一种终端，包括存储器和处理器，所述存储器上存储有可以在所述处理器上运行的计算机程序指令，其特征在于：所述处理器运行所述计算机程序指令时执行权利要求1-3中任意一项所述的基于高斯加权或正弦加权的全景图像缝合方法的步骤。

Images