CN103198524A - 一种大规模室外场景三维重建方法 - Google Patents

Abstract

本发明公开了一种大规模室外场景三维重建方法，包括以下步骤：使用多相机采集系统，在不同的视点采集室外场景的图像，并标定相机的参数；根据多相机采集系统中相机的相对位置关系和成像范围将多个相机分成相机簇；对同簇的相机，根据其拍摄的图像恢复场景中局部区域的三维结构；以及对不同局部区域的三维重建结果进行配准与融合，恢复场景中全拍摄范围的三维结构。本发明的大规模室外场景三维重建方法使用特定构造的多相机采集系统，使用基于室外场景的相机自标定方法，根据多视点采集的图像，由局部区域的三维重建结果恢复全拍摄范围的室外场景空间信息，重建范围大，方法原理明确，实现成本低。

Description

一种大规模室外场景三维重建方法

技术领域

本发明属于计算机视觉技术领域，特别涉及一种大规模室外场景三维重建方法。

背景技术

随着计算机视觉技术的发展和人们生产生活需求的增加，三维重建技术有着良好的应用前景。室外场景的三维重建可在城市规划建设、环境观测保护、数字导航方面起到重要作用。

用计算机技术重建物体三维模型的技术主要包括：几何造型法，三维扫描法，基于图像的方法。室外场景的三维可视化方法有：基于星载图像或机载图像建立场景的三维模型；基于距离的方法；基于图像的方法。其中：

基于星载图像或机载图像的方法需要进行卫星拍摄或航拍，实现成本高，且仅能获得场景的顶部数据，不能获取地面数据，观测精度有限，难以实现对场景中特定建筑物的建模。

基于距离的方法利用激光测距仪和摄像机直接获取场景中景物的三维几何和纹理信息，可以较为准确地获取三维场景的稠密点云。对于大规模场景的测量和建模，通常需要载体设备和导航系统，测量数据量大，测量时间长，且三维重建过程复杂度较高。

基于图像的方法根据多视点图像提取出场景的几何信息，然而现有的基于图像的室外场景三维建模方法仅适合简单场景，不适合大规模场景的建模。由于相机视角范围有限，若对大规模场景进行建模，需要大量的不同视点的图像，这使处理的成本和复杂度增加。基于图像进行三维重建需要进行相机标定，就拍摄室外景物而言，由于不适合使用标定物，需要根据室外景物的特征进行自标定，而当拍摄视点数量大，视点变化复杂时，相机标定难度和复杂度增加，三维重建的精度不高。

因此现有的基于图像的方法并不适用于大规模室外场景的三维重建。

发明内容

本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择。为此，本发明的目的在于提出一种重建范围大，方法原理明确，实现成本低的大规模室外场景三维重建方法。

根据本发明实施例的大规模室外场景三维重建方法，包括以下步骤：S1：使用多相机采集系统，在不同的视点采集室外场景的图像，并标定相机的参数；S2：根据所述多相机采集系统中相机的相对位置关系和成像范围将多个相机分成相机簇；S3：对同簇的相机，根据其拍摄的图像恢复场景中局部区域的三维结构；以及S4：对不同局部区域的三维重建结果进行配准与融合，恢复场景中全拍摄范围的三维结构。

在本发明的一个实施例中，所述步骤S1进一步包括：101：调整所述多相机采集系统中各相机的焦距，使其适于拍摄所观测的室外场景，并在拍摄过程中保持相机焦距不变；102：选取不同视点，将所述多相机采集系统移动至对应位置，拍摄各视点下室外场景的图像；103：对每个相机，根据所述相机在不同视点处采集的图像，提取有效景物信息，标定相机内部参数；以及104：对每个相机，根据所述相机在不同视点处采集的图像，以及已标定的所述相机内部参数，标定相机外部参数。

在本发明的一个实施例中，所述步骤103进一步包括：对单幅图像，使用交互或非交互的方法提取图像中的几何特征；综合不同视点处图像中的几何特征，建立关于相机内部参数的约束；通过求解关于相机内部参数的约束优化问题，标定相机内部参数。

在本发明的一个实施例中，所述步骤104进一步包括：选定世界坐标系与给定的一个摄像机坐标系重合，根据同一相机在不同视点所采集的图像，以及不同相机在不同视点所采集的图像，通过特征匹配求出基本矩阵，进而根据基本矩阵与相机内、外参数的关系，在已知相机内部参数的条件下，求出相机外部参数。

在本发明的一个实施例中，所述步骤S2进一步包括：201：按系统中相机的相对位置关系，将相机初始划分为若干簇，同簇的相位置相邻；以及202：根据所述步骤201的相机簇划分的初始结果进行优化，将系统在一个给定的位置采集的所有图像划分为若干图像子集，使得不同子集的图像之间的重叠区域小于一定阈值，属于同一子集的图像对应的相机划分为同一簇。

在本发明的一个实施例中，所述步骤S3进一步包括：301：确定同簇的相机之间的层次关系，优先使用层次高的相机采集的图像进行三维重建；302：对同一相机在不同视点拍摄的图像，取相邻视点的图像进行几何校正，使用双目立体匹配方法对选取的待重建区域求取深度图，计算待重建区域内每个像素对应的物点的三维坐标；以及303：对同簇内不同相机的三维重建结果进行融合。

在本发明的一个实施例中，所述步骤301中，选取位置接近相机簇中心的相机为层次优先级高，由中心位置向边界位置相机的层次优先级递降。

在本发明的一个实施例中，所述步骤302中，根据所述相机内部参数和相机外部参数，估计当前相机和优先级在它上一级的相机在给定视点处的成像重叠范围，选取当前相机在给定视点处的待重建区域，该区域与所述重叠范围仅有微小交集。

在本发明的一个实施例中，所述步骤303中，当某一物点在同一相机的不同视点图像中均有投影时，若根据每一对相邻视点计算的物点世界坐标存在差异，则采用线性加权方法或投票机制确定唯一的物点世界坐标；当某一物点在不同相机的图像中均有投影时，对于某一相机恢复的物点，若以其为中心的小邻域内存在被其他相机恢复的物点，且投影点的匹配相似度高，则合并两个物点为一点。

在本发明的一个实施例中，所述步骤S4进一步包括：401：根据相机的外部参数，将各个相机簇的三维重建结果变换到相同的世界坐标系下，组合为全局的三维重建结果；402：对于相邻的相机簇，将成像重叠区域的图像点所映射的物点进行融合，若匹配的图像点映射为不同的物点，采用线性加权方法或投票机制确定唯一的物点世界坐标；以及403：若重叠区域存在未映射为物点的像素点，则采用线性插值方法计算映射的物点世界坐标。

本发明实施例的大规模室外场景三维重建方法通过使用特定构造的多相机采集系统，在不同的视点采集室外场景的图像，结合室外场景的景物特征标点相机的参数，根据拍摄的图像重建场景中局部区域的三维结构，并进而重建全拍摄范围内的场景三维结构。具有重建范围大，方法原理明确，实现成本低的优点。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明实施例的大规模室外场景三维重建方法的流程图；

图2是本发明一个实施例的多相机采集系统的实物示意图（a）和光路示意图（b）；

图3是图1的步骤S1的详细流程图；

图4是图1的步骤S2的详细流程图；

图5是图1的步骤S3的详细流程图；

图6是图1的步骤S4的详细流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

现有的室外大规模场景三维重建方法中，基于星载图像或机载图像的方法需要进行卫星拍摄或航拍，实现成本高，且仅能获得场景的顶部数据，观测精度有限，难以实现对场景中特定建筑物的建模。

基于距离的方法利用激光测距仪和摄像机直接获取场景中景物的三维几何和纹理信息，重建精度高，但对于大规模场景的测量和建模，通常需要载体设备和导航系统，测量数据量大，测量时间长，且算法复杂度高。

基于图像的方法中，现有的方法通常使用单相机或少量相机进行多视角拍摄，仅适合简单场景，不适合大规模场景的建模。基于图像的室外场景三维重建通常需要进行相机的自标定。相机视角范围有限时，若对大规模场景进行建模，需要大量的不同视点的图像。而当拍摄视点数量大，视点变化复杂时，相机标定难度和复杂度增加，三维重建的精度不高。

为了解决上面的问题，本发明提出一种大规模室外场景三维重建方法，其核心思想为：使用多相机采集系统，在不同的视点采集室外场景的图像，并标定相机的参数；根据系统中相机的相对位置关系和成像范围将相机分组；对同组的相机，根据其拍摄的图像恢复场景中局部区域的三维结构；对不同局部区域的三维重建结果进行融合与对齐，恢复全拍摄范围内的场景三维结构。本发明使用特定构造的多相机采集系统，使用基于室外场景的相机自标定方法，根据多视点采集的图像，由局部区域的三维重建结果恢复全拍摄范围的室外场景空间信息，重建范围大，方法原理明确，实现成本低。

如图1所示，根据本发明实施例的大规模室外场景三维重建方法，包括以下步骤：

步骤S1，使用多相机采集系统，在不同的视点采集室外场景的图像，并标定相机的参数。

在本发明的一个实施例中，采用如图2所示的多相机采集系统。

如图2（a）所示，该多相机采集系统的主要组成部分为一个主透镜1和相机阵列2，两者相对位置不变。其中，相机阵列2又包括弧面的阵列支架21和多个相机22。其中多个相机22被安装在阵列支架21上，阵列支架21的每个圆孔为一个相机22的安装位置，如此形成了相机阵列2。为简便起见，图2（a）中仅示出了一个相机，但实际上相机22的数目和排列方式可根据实际需要而定，当全部圆孔均安装相机进行采集时可以达到本系统的最大成像能力。

如图2（b）所示，是该多相机采集系统光学元件的光路的简化示意图。位于左侧的元件为主透镜1，位于右侧的元件为微透镜阵列，在实际的系统中，微透镜阵列由规则排列的相机的镜头构成，即相机阵列2。由于相机22镜头孔径远小于主透镜1孔径，故可视为微透镜。即，每个微透镜及其成像平面代表一个相机。其中，主透镜1用于对大视角范围和远距离的景物成像，像点位于透镜的焦平面附近。相机22位于主透镜1之后，以一定方式排布，形成相机阵列2，对主透镜1所成的像进行二次采集。相机22孔径远小于主透镜1孔径，每个相机22所成的像均为室外场景的局部。

需要说明的是，多相机采集系统的形式并不仅限于上述一种，也可为其他形式。

如图3所示，步骤S1进一步包括以下过程：

步骤101：调整采集系统中各相机的焦距，使其适于拍摄所观测的室外场景，并在本次拍摄过程中保持相机焦距不变。

具体地，在本发明的一个实施例中，采用图2所示的多相机采集系统，相机群形成一个径向对称的圆形阵列。根据所观测的室外场景，选择一个视点，将采集系统放置于合适的位置进行预拍摄。调整各相机的焦距，使各相机在大景深范围内成像清楚。调整完毕后，在后续拍摄过程中，保持各相机的焦距不变。

步骤102，保持相机焦距不变，选取不同视点，将采集系统移动至对应位置，拍摄各视点下室外场景的图像。

为室外场景进行三维重建，需要从多个视点采集图像，获取场景中物体的立体信息。所述视点除特别说明外，均指主透镜的光心位置。在每一个视点处，主透镜对室外场景整体成像，单个相机的成像范围为该视点下主透镜所成的像的局部。

在本发明的一个实施例中，根据所观测的室外场景，选取不同视点，每个视点对应主透镜光心的位置。视点之间的相对距离根据景物的空间分布和估算的物距而定，视点可按直线型、圆弧型排布。每次将系统移动至视点对应的位置，保持步骤101中已调整的各相机焦距不变，通过相机的采集端软件，控制相机同步采集，获取室外场景的图像。设系统中相机数为N，则一次采集共拍摄N幅同帧图像。

记M个不同的视点为V₁，V₂，…，V_M。

对系统中的相机按选取的顺序编号，记为C₁，C₂，…，C_N。记在视点V_i处相机C_k采集的图像为I_ki，i＝1,…，M，k＝1，…，N。

步骤103，对系统中的每个相机，根据其在不同视点处采集的图像，提取有效景物信息，标定相机内部参数。

作为本发明的一个实施例，对系统中的每个相机，根据其在不同视点处采集的图像，提取有效景物信息，标定相机内部参数进一步包括：

对单幅图像，使用交互或非交互的方法提取图像中的几何特征，综合不同视点处图像中的几何特征，建立关于相机内部参数的约束，使用多幅图像中提取的几何特征可建立多组约束；通过求解关于相机内部参数的约束优化问题，标定相机内部参数。

对每个相机，从单幅图像提取的几何特征有限，可建立的关于相机内部参数的约束有限。使用在不同视点上拍摄的多幅图像的信息，可以建立可求解出全部相机参数的约束。

相机的内部参数记为

$K=\left[\begin{array}{ccc}{f}_x& s& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]$

其中，f_x＝f/d_x，f_y＝f/d_y，f为相机的焦距，d_x和d_y为尺度度量因子，表示在图像坐标系中x和y方向上单个像素对应的距离。当像素为正方形时，d_x＝d_y，否则，d_x≠d_y；（u₀，v₀）是以像素量纲表示的主点坐标，s为扭曲参数，反映相机成像的畸变。对于多数标准摄像机，扭曲参数为零。

考察三个坐标系，分别为摄像机坐标系、图像坐标系和世界坐标系。

具体地，在本发明的一个实施例中，相机C_k采集的图像为I_k1，…，I_kM，k＝1，…，N，对于单幅图像I_ki，通过边缘检测提取直线元素，求解一组平行直线的交点，求得该平行方向上的消影点。

当观测场景中存在长方体建筑物时，易于提取1至2个正交方向上的消影点，若能够提取2个正交方向上的消影点，图像坐标记为P₁（u₁，v₁)，P₂（u₂，v₂），记相机C_k的光心为O_k。根据消影点属性，O_kP₁⊥O_kP₂，不考虑相机畸变，有

$(u_1-u_0)(u_2-u_0)d_x^2+(v_1-v_0)(v_2-v_0)d_x^2+f^2=1$

从多幅图像中提取多组正交方向上的消影点，可以建立关于相机内参的多个约束。当约束数多于参数个数时，形成超定方程组，通过转化为非线性最小二乘问题求解，可以求得K的全部参数。

步骤104，对系统中的每个相机，根据其在不同视点处采集的图像，以及已标定的相机内部参数，标定相机的外部参数。

相机的外部参数反映摄像机坐标系相对于世界坐标系的旋转和平移，包括旋转矩阵R和平移向量t。摄像机坐标系以相机光心为原点，是三维坐标系。图像坐标系一般以图像左上角顶点为原点，是二维坐标系。记物点的世界坐标为X，在摄像机坐标系中坐标为X_cam，图像坐标为x，取X和x为齐次坐标，X＝(X，Y，Z，1)^T，x＝(u，v，1)^T，有

X_cam＝[R|t]X

λx＝K[R|t]X

上式中，λ为常数因子。不同的相机在不同视点处外部参数不同，内部参数相同。记拍摄图像I_ki的相机的外部参数为[R_ki|t_ki]，i＝1，…，M，k＝1，…，N，I_ki的定义已述。

根据射影几何关系，对于两个非共光轴的相机拍摄的图像，存在基本矩阵F，满足以下性质

x‘Fx＝0

其中，x和x‘分别是两幅图像上的点，x‘位于x的对极线I‘＝Fx上。

根据射影几何关系，同一物点在不同图像平面上的投影点满足极线约束，即x‘Fx＝0，通过匹配方法可找到足够数量的点对(x‘，x)，从而求出基本矩阵F。

以第一相机的摄像机坐标系为世界坐标系，记内部参数为K，第二相机内部参数为K’外部参数为[R|t]，根据射影几何关系，有下式成立

F＝K^’-T[t]_xRK^-T

其中，[t]_x为t的反对称矩阵，

${\left[t\right]}_x=\left[\begin{array}{ccc}0& {-t}_z& t_y\\ t_z& 0& {-t}_x\\ -t_y& t_x& 0\end{array}\right]$

已知F和相机内部参数K，K’，可以求出[R|t]。

具体地，在本发明的一个实施例中，取有重叠区域的两幅图像进行特征点检测和匹配，根据极线约束关系求解基本矩阵F；假定第一图像对应的摄像机坐标系为世界坐标系，在已标定两幅图像对应的相机内部参数的条件下，求解第二图像的外部参数。重复以上过程，重复过程中保证每幅图像的摄像机坐标系均可由其他任意一幅图像的摄像机坐标系经过变换得到。最终选择图像I_mn对应的摄像机坐标系为世界坐标系，

m∈{1，…，M}，n∈{1，…，N}，经过几何变换，其他图像对应的旋转矩阵和平移向量[R_ki|t_ki]，i＝1，…，M，k＝1，…，N，均可被恢复。

步骤S2，根据系统中相机相对位置关系和成像范围将相机分成相机簇。

如图4所示，步骤S2进一步包括以下过程：

步骤201，按系统中相机的相对位置关系，将相机初始划分为若干簇，同簇的相位置相邻。该步骤的划分结果为相机簇划分的优化提供初值。

步骤202，根据前面步骤201的相机簇划分的初始结果进行优化，将系统在一个给定的位置采集的所有图像划分为若干图像子集，使得不同子集的图像之间的重叠区域面积小于一定阈值。属于同一子集的图像对应的相机划分为同一簇。属于同一子集的图像对应的相机划分为同一簇。

作为本发明的一个实施例，步骤202包括：首先采用图分割的方法划分子图，将各相机采集的图像作为节点，节点之间的边的权重由图像之间的重叠区域确定。然后根据步骤201的初始划分结果，划分初始的图像子集；考察子集中位于边界处的节点，计算属于不同子集的相邻节点之间边的权重之和，记为W_e。调整子集的划分，使得权重之和小于一定阈值η。

具体地，在本发明的一个实施例中，图像集合是系统在一个给定视点采集的N幅图像，属于不同子集的相邻节点之间边的权重为对应的两幅图像之间的重叠区域面积。在相机外部参数标定阶段，已经检测了每幅图像的特征点，为计算两幅图像的重叠区域，首先进行特征点匹配，选取的重叠区域满足：以矩形为基本形状，能够覆盖相似度超过阈值ξ的所有相互匹配的特征点。

每次选取权重最大的边，调整连接边的两个节点的集合属性，使它们并入同一子集，并由此产生新的边界节点和连接边界节点的边，计算边的权重和S_e的增量。重复以上过程，直至W_e小于阈值η。

根据图分割的结构，将相机划分为若干相机簇，记为S₁，S₂，…，S_K。例如，若S₁由相机C₁，C₂，C₃组成，则记S₁＝{C₁，C₂，C₃}。

步骤S3，对同簇的相机，根据其拍摄的图像恢复场景中局部区域的三维结构。

如图5所示，步骤S3进一步包括以下过程：

步骤301，对同簇的相机，确定它们的层次关系；优先使用层次高的相机采集的图像进行三维重建。作为本发明的一个实施例，对同簇的相机，确定它们的层次关系包括：

选取位置接近相机簇中心的相机为层次优先级高，由中心位置向边界位置相机的层次优先级递降。

步骤302，对同一相机在不同视点拍摄的图像，取相邻视点的图像进行几何校正，使用双目立体匹配方法，对选取的待重建区域求取深度图，计算待重建区域内每个像素对应的物点的三维坐标。

作为本发明的一个实施例，步骤302包括：

估计当前相机和优先级在它上一级的相机在给定视点处的成像重叠范围，选取当前相机在给定视点处的待重建区域，该区域与重叠范围仅有微小交集。图像重叠区域估计方法与步骤202中的估计方法相同。

根据标定的相机内、外参数，对同一相机C_k在相邻视点V_i，V_i+1中的图像进行几何校正，计算单应矩阵H_ki，H_k，i+1，校正后的图像为I‘_ki，I‘_k，i+1，仅存在水平方向视差，不存在垂直方向视差。其中，

I‘_ki＝H_kiI_ki，I‘_K，i+1＝H_k，i+1I_k，i+1

根据I_ki中选取的待重建区域，通过单应矩阵确定I‘_ki中的待重建区域，通过双目立体匹配方法求取视差图，根据视差与深度的关系，计算I‘_ki中像点(u，v)所对应的物点在I‘_ki对应的摄像机坐标系中的坐标，记为(X，Y，Z)，满足以下关系：

$(X,Y,Z)=(\frac{Z}{f_x}u,\frac{Z}{f_y}v,Z)$

在摄像机坐标系下，深度为物点的Z坐标，Z轴方向为相机光轴方向。视差与深度的关系为

$d=f\frac{b}{Z}$

其中，f为焦距，b为相机光心的基线距离。

对于I‘_ki对应的摄像机坐标系下的三维重建结果，根据坐标系变换关系，变换到I_ki对应的摄像机坐标系下。

步骤303，对同簇内不同相机的三维重建结果进行融合。

具体地，当某一物点在同一相机的不同视点图像中均有投影时，若根据每一对相邻视点计算的物点世界坐标存在差异，则采用线性加权方法或投票机制确定唯一的物点世界坐标；当某一物点在不同相机的图像中均有投影时，对于某一相机恢复的物点，若以其为中心的小邻域内存在被其他相机恢复的物点，且投影点的匹配相似度高，则通过取均值等方法合并两个物点为一点。

步骤S4，对不同局部区域的三维重建结果进行配准与融合，恢复全拍摄范围内的场景三维结构。

如图6所示，步骤S4进一步包括以下过程：

步骤401，根据相机的外部参数，将各个相机簇的三维重建结果变换到相同的世界坐标系下，组合为全局的三维重建结果。

步骤402，对于相邻的相机簇，将它们成像重叠区域的图像点所映射的物点进行融合。若重叠区域的图像点映射为不同的物点，则采用线性加权方法或投票机制确定唯一的物点世界坐标。

步骤403，若重叠区域存在未映射为物点的像素点，则采用线性插值方法计算映射的物点世界坐标。

综上所述，本发明实施例的大规模室外场景三维重建方法使用特定构造的多相机采集系统，使用基于室外场景的相机自标定方法，根据多视点采集的图像，由局部区域的三维重建结果恢复全拍摄范围的室外场景空间信息，重建范围大，方法原理明确，实现成本低。具体地，本方法使用集成的多相机采集系统，单视点处系统成像的视角范围大，对大规模室外场景进行三维重建时，对拍摄视点数量和视点变化复杂度的要求降低，同时，使用结合室外场景特征的相机自标定方法，相机标定准确度提高。使用将局部重建结果融合为全局重建结果的方法，易于设计并行算法提高时间效率，减少累积误差，可实现较高精度的大规模场景的三维重建。

需要说明的是，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种大规模室外场景三维重建方法，其特征在于，包括以下步骤：

S1：使用多相机采集系统，在不同的视点采集室外场景的图像，并标定相机的参数；

S2：根据所述多相机采集系统中相机的相对位置关系和成像范围将多个相机分成相机簇；

S3：对同簇的相机，根据其拍摄的图像恢复场景中局部区域的三维结构；以及

S4：对不同局部区域的三维重建结果进行配准与融合，恢复场景中全拍摄范围的三维结构。

2.根据权利要求1所述的大规模室外场景三维重建方法，其特征在于，所述步骤S1进一步包括：

101：调整所述多相机采集系统中各相机的焦距，使其适于拍摄所观测的室外场景，并在拍摄过程中保持相机焦距不变；

102：选取不同视点，将所述多相机采集系统移动至对应位置，拍摄各视点下室外场景的图像；

103：对每个相机，根据所述相机在不同视点处采集的图像，提取有效景物信息，标定相机内部参数；以及

104：对每个相机，根据所述相机在不同视点处采集的图像，以及已标定的所述相机内部参数，标定相机外部参数。

3.根据权利要求2所述的大规模室外场景三维重建方法，其特征在于，所述步骤103进一步包括：对单幅图像，使用交互或非交互的方法提取图像中的几何特征；综合不同视点处图像中的几何特征，建立关于相机内部参数的约束；通过求解关于相机内部参数的约束优化问题，标定相机内部参数。

4.根据权利要求2所述的大规模室外场景三维重建方法，其特征在于，所述步骤104进一步包括：选定世界坐标系与给定的一个摄像机坐标系重合，根据同一相机在不同视点所采集的图像，以及不同相机在不同视点所采集的图像，通过特征匹配求出基本矩阵，进而根据基本矩阵与相机内、外参数的关系，在已知相机内部参数的条件下，求出相机外部参数。

5.根据权利要求1所述的大规模室外场景三维重建方法，其特征在于，所述步骤S2进一步包括：

201：按系统中相机的相对位置关系，将相机初始划分为若干簇，同簇的相位置相邻；以及

202：根据所述步骤201的相机簇划分的初始结果进行优化，将系统在一个给定的位置采集的所有图像划分为若干图像子集，使得不同子集的图像之间的重叠区域小于一定阈值，属于同一子集的图像对应的相机划分为同一簇。

6.根据权利要求1所述的大规模室外场景三维重建方法，其特征在于，所述步骤S3进一步包括：

301：确定同簇的相机之间的层次关系，优先使用层次高的相机采集的图像进行三维重建；

302：对同一相机在不同视点拍摄的图像，取相邻视点的图像进行几何校正，使用双目立体匹配方法对选取的待重建区域求取深度图，计算待重建区域内每个像素对应的物点的三维坐标；以及

303：对同簇内不同相机的三维重建结果进行融合。

7.根据权利要求7所述的大规模室外场景三维重建方法，其特征在于，所述步骤301中，选取位置接近相机簇中心的相机为层次优先级高，由中心位置向边界位置相机的层次优先级递降。

8.根据权利要求6和7所述的大规模室外场景三维重建方法，其特征在于，所述步骤302中，根据所述相机内部参数和相机外部参数，估计当前相机和优先级在它上一级的相机在给定视点处的成像重叠范围，选取当前相机在给定视点处的待重建区域，该区域与所述重叠范围仅有微小交集。

9.根据权利要求6-8所述的大规模室外场景三维重建方法，其特征在于，所述步骤303中，当某一物点在同一相机的不同视点图像中均有投影时，若根据每一对相邻视点计算的物点世界坐标存在差异，则采用线性加权方法或投票机制确定唯一的物点世界坐标；当某一物点在不同相机的图像中均有投影时，对于某一相机恢复的物点，若以其为中心的小邻域内存在被其他相机恢复的物点，且投影点的匹配相似度高，则合并两个物点为一点。

10.根据权利要求1-9任一项所述的大规模室外场景三维重建方法，其特征在于，所述步骤S4进一步包括：

401：根据相机的外部参数，将各个相机簇的三维重建结果变换到相同的世界坐标系下，组合为全局的三维重建结果；

402：对于相邻的相机簇，将成像重叠区域的图像点所映射的物点进行融合，若匹配的图像点映射为不同的物点，采用线性加权方法或投票机制确定唯一的物点世界坐标；以及

403：若重叠区域存在未映射为物点的像素点，则采用线性插值方法计算映射的物点世界坐标。

Images