CN112017138B - 一种基于场景三维结构的图像拼接方法 - Google Patents

Abstract

本发明提供了一种基于场景三维结构的图像拼接方法，利用现有设备获取场景的深度信息，生成深度图，将三维场景用空间平面表示，配准深度图像和高清相机图像，标定深度获取设备和高清相机的内参数以及外参数，依据多视几何原理推导得出高清相机图像和深度图像之间的多投影关系，根据投影关系，分别将多张高清图像投影到深度图像上，实现高清图像的拼接。本发明根据场景的三维结构和相机参数推导得到图像之间的投影矩阵，算法复杂度低，不需要高清相机之间有视场重叠，极大的提高了相机的利用率，相比现有利用特征点匹配关系求取图像之间投影关系的方法，本方法无需提取特征点，算法精度不依赖于特征点数量和质量，具有更高的鲁棒性。

Description

一种基于场景三维结构的图像拼接方法

技术领域

本发明涉及全景成像、图像拼接技术领域，具体涉及一种三维结构的图像拼接方法。

背景技术

视觉是人类获取信息最重要的途径之一，也是采集、记录、存储并展示信息最有效的手段之一。随着信息技术的进步和图像传感器成本降低，越来越多的视频采集设备出现在日常生活中，广泛应用于视频监控、视频通话、体育赛事转播、虚拟现实等领域。近年来，计算机处理能力和显示设备分辨率提升大幅提升，人们对成像设备的性能也提出了更高的要求。在视野开阔的地方，要求成像设备有更大的视场，以便观察事件发生的全过程，而对于远景目标，不仅要看的到，更要看的清晰。“看的更宽、看的更远、看的更清”成为新的需求。

多相机成像系统是宽视场高分辨图像获取的最有效的方案之一，将多台相机图像拼接为一张宽视场图像是其中最为关键的技术，影响着宽视场图像的视觉效果。图像拼接技术经过几十年的发展，研究人员提出了许多各具特色的拼接方法，适用于不同的应用场景。然而现有的图像拼接方法大多通过特征点对的选取来求解图像之间的关系，其准确率严重依赖于场景内容丰富程度、视场重叠区域多少等因素。相机之间保留较大的视场重叠可以保证特征点对的数量，进而提高图像拼接的准确率，然而却不可避免的带来相机有效分辨率的浪费。因此，提出一种无需特征点匹配的图像拼接方法，提高相机的利用率，具有重要的研究意义和应用价值。

发明内容

为了克服现有技术的不足，本发明提供一种基于场景三维结构的图像拼接方法。本发明提出一种基于场景三维结构的图像拼接方法，该方法能够克服传统图像拼接方法中对于特征点匹配精度的依赖，同时能够解决现有技术在图像重叠区域较少的情况下图像投影关系求解不精确的问题。

本发明解决其技术问题所采用的技术方案的详细步骤如下：

S1利用现有设备获取场景的深度信息，生成深度图；

S2将三维场景用空间平面表示，具体步骤为：

S201根据S1的深度图利用坐标转换原理结合RGB信息重建场景的三维点云；

S202对于三维点云中的每个点p_i＝(x_i,y_i,z_i)，寻找空间中k个与之相邻的点N_pi，用矩阵C描述该点的空间特征，公式为：

其中

是N_pi的质心；

S203矩阵C特征值最小的特征向量v₀近似为在点p_i处的平面法向，依据三维点p_i与p_i的相邻点平面法向的夹角大小，将p_i划分到不同的平面上，划分依据是：将平面法向的夹角小于等于给定阈值的点划分到同一个平面上，将平面法向的夹角大于给定阈值的点划分到其他平面，平面法向的夹角计算公式如下：

其中

和

分别为点云中相邻两个点的平面单位法向；

S3配准深度图像和高清相机图像；

S301采用多视几何理论配准S1步骤所获得的深度图和可见光相机拍摄的彩色图；

S302分别提取深度图像中的特征点和高清相机的图像特征点，采用多视几何关系通过相机参数进行约束，实现深度图像和高清图像特征点之间的匹配；

S303根据S302中所得特征点的匹配关系，利用多视几何中单应估计原理求解得到单应矩阵，并用BA算法实现优化配准；

S4标定深度获取设备和高清相机的内参数以及外参数；

S5依据多视几何原理推导得出高清相机图像和深度图像之间的多投影关系；

对于三维场景中某一平面π，单位法向用n表示，d为平面π到深度获取设备的距离，令w＝n/d，K_i为高清相机的内参数，其中i＝1,2,…,s，s为高清相机的个数，K'为深度获取设备的内参数，R_i和t_i表示高清相机和深度相机之间的位置关系，则平面π上的点在两台设备图像之间的投影关系用H_i描述，表示为：

H_i＝K'(R_i+t_iw^T)K_i ^-1

S6根据S5中获得的投影关系H_i，分别将多张高清图像投影到深度图像上，实现高清图像的拼接；其中，根据深度图像和高清图像的配准关系得到高清图像对应的三维场景结构，再利用步骤S4计算得到的多投影矩阵分别将多张高清图像投影到深度图像上，实现高清图像的拼接。

所述步骤S4中标定深度获取设备和高清相机的内参数以及外参数，采用张氏标定方法。

本发明的有益效果在于：

1)本发明提出的图像拼接方法根据场景的三维结构和相机参数推导得到图像之间的投影矩阵，算法复杂度低。

2)本发明提出的图像拼接方法不需要高清相机之间有视场重叠，极大的提高了相机的利用率。

3)相比现有利用特征点匹配关系求取图像之间投影关系的方法，本方法无需提取特征点，算法精度不依赖于特征点数量和质量，具有更高的鲁棒性。

附图说明

图1为本发明基于场景三维结构的图像拼接方法的成像系统示意图。

图2为本发明基于场景三维结构的图像拼接方法的步骤流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

为了使本发明的目的、技术方案及要点更加明晰，下面结合附图及实施例，对本发明的实施步骤做进一步的详细说明。

深度获取设备包括各种深度相机、光场相机等，本实施例以光场相机为例进行说明，高清相机阵列可采用不同视场角、不同数量的组合，本实施例中选用两台高清相机进行说明，其摆放位置与视场覆盖关系如图1所示，相机101、102、103分别为高清相机，光场相机、高清相机。其中光场相机视场覆盖高清相机的视场，而两台高清相机视场几乎没有重叠。

如图2所示，一种基于场景三维结构的图像拼接方法，包括以下步骤：

S1利用光场相机获取场景的深度信息。

S2将三维场景用空间平面表示。

S3配准深度图像和高清相机图像。

S4标定光场相机和高清相机的内参数以及外参数。

S5依据多视几何原理推导得出高清相机图像和深度图像之间的多投影关系。

S6分别将多张高清图像投影到深度图像上，实现高清图像的拼接。

所述的基于场景三维结构的图像拼接方法中，所述步骤S1中的利用光场相机获取场景的深度信息的方法具体为：

采用基于深度学习的光场深度估计方法估计场景深度，得到中心视点对应的深度图。

在本发明所述的基于场景三维结构的图像拼接方法中，所述步骤S2中将三维场景用空间平面表示的方法，具体为：

S201根据求得的深度图像重建场景的三维点云。

S202对于点云中的每个点p_i＝(x_i,y_i,z_i)，使用K-D树的方法寻找空间中k个与之相邻的点N_pi，用矩阵C描述该点的空间特征，公式为：

其中

是N_pi的质心

S203矩阵C特征值最小的特征向量v₀可近似为在点p_i处的平面法向。依据点p_i和其相邻点平面法向的夹角大小，将其划分到不同的平面上。具体为将平面法向的夹角小于给定阈值的点，划分到同一个平面上，夹角计算公式如下：

其中

和

分别为点云中相邻两个点的平面单位法向。

θ的阈值选取为80°。

所述的基于场景三维结构的图像拼接方法中，所述步骤S3中配准深度图像和高清相机图像的方法，具体为：

S301采用SURF算法，分别提取并匹配光场中心视点图像和高清相机图像的特征点。

S302根据特征点的匹配关系，利用RANSAC算法求解并优化配准参数。

所述的基于场景三维结构的图像拼接方法中，所述步骤S4中标定光场相机和高清相机的内参数以及外参数采用张氏标定的方法。

所述的基于场景三维结构的图像拼接方法中，所述步骤S5中依据多视几何原理推导得出高清相机图像和深度图像之间的多投影关系，具体为：

对于三维场景中某一平面π，单位法向用n表示，d为平面π到深度获取设备的距离，令w＝n/d，K_i,i＝1,2,…,s为高清相机的内参数，s为高清相机的个数，K'为深度获取设备的内参数，R_i和t_i表示高清相机和深度相机之间的位置关系，则平面π上的点在两台设备图像之间的投影关系用H_i描述，表示为：

H_i＝K'(R_i+t_iw^T)K_i ^-1

S6根据S5中获得的投影关系H_i，分别将多张高清图像投影到深度图像上，实现高清图像的拼接；

进一步的，所述的基于场景三维结构的图像拼接方法中，所述步骤S6中分别将多张高清图像投影到深度图像上，实现高清图像的拼接，具体为：

根据深度图像和高清图像的配准关系得到高清图像对应的三维场景结构，再利用步骤S4计算得到的多投影矩阵分别将多张高清图像投影到深度图像上，实现高清图像的拼接。

Claims (2)

1.一种基于场景三维结构的图像拼接方法，其特征在于包括下述步骤：

S1利用现有设备获取场景的深度信息，生成深度图；

S2将三维场景用空间平面表示，具体步骤为：

S201根据S1的深度图利用坐标转换原理结合RGB信息重建场景的三维点云；

S202对于三维点云中的每个点p_i＝(x_i,y_i,z_i)，寻找空间中k个与之相邻的点N_pi，用矩阵C描述该点的空间特征，公式为：

其中

是N_pi的质心；

S203矩阵C特征值最小的特征向量v₀近似为在点p_i处的平面法向，依据三维点p_i与p_i的相邻点平面法向的夹角大小，将p_i划分到不同的平面上，划分依据是：将平面法向的夹角小于等于给定阈值的点划分到同一个平面上，将平面法向的夹角大于给定阈值的点划分到其他平面，平面法向的夹角计算公式如下：

其中

和

分别为点云中相邻两个点的平面单位法向；

S3配准深度图像和高清相机图像；

S301采用多视几何理论配准S1步骤所获得的深度图和可见光相机拍摄的彩色图；

S302分别提取深度图像中的特征点和高清相机的图像特征点，采用多视几何关系通过相机参数进行约束，实现深度图像和高清图像特征点之间的匹配；

S303根据S302中所得特征点的匹配关系，利用多视几何中单应估计原理求解得到单应矩阵，并用BA算法实现优化配准；

S4标定深度获取设备和高清相机的内参数以及外参数；

S5依据多视几何原理推导得出高清相机图像和深度图像之间的多投影关系；

对于三维场景中某一平面π，单位法向用n表示，d为平面π到深度获取设备的距离，令w＝n/d，K_i为高清相机的内参数，其中i＝1,2,…,s，s为高清相机的个数，K'为深度获取设备的内参数，R_i和t_i表示高清相机和深度相机之间的位置关系，则平面π上的点在两台设备图像之间的投影关系用H_i描述，表示为：

H_i＝K'(R_i+t_iw^T)K_i ^-1

S6根据S5中获得的投影关系H_i，分别将多张高清图像投影到深度图像上，实现高清图像的拼接；其中，根据深度图像和高清图像的配准关系得到高清图像对应的三维场景结构，再利用步骤S4计算得到的多投影矩阵分别将多张高清图像投影到深度图像上，实现高清图像的拼接。

2.根据权利要求1所述的基于场景三维结构的图像拼接方法，其特征在于：

所述步骤S4中标定深度获取设备和高清相机的内参数以及外参数，采用张氏标定方法。

Images