CN112002000B - 一种面向多通道校正拼接的三维重构的方法 - Google Patents

Abstract

本发明公开了一种面向多通道校正拼接的三维重构的方法。根据投影幕几何形状，选择投影幕的解析几何公式。通过多通道投影仪，在投影幕上投射特定的标记点，然后部署好全站仪，使用全站仪测量多通道投影仪投射在投影幕上的标记点坐标，然后结合标记点坐标和投影幕的解析几何公式计算出投影幕的信息，然后再通过标记点所构成三个平面结合投影画面的特性，计算出投影仪的位置信息，并根据标记点所构成的平面的法线计算出投影仪的旋转角信息。本发明仅仅需要使用全站仪测量投影幕上的特定标记点，然后经过数据计算，便可以比较准确的得到构建多通道校正拼接所需的三维场景信息。整个测量过程操作简单,规避了部分复杂的测量步骤所导致的人为误差。

Description

一种面向多通道校正拼接的三维重构的方法

技术领域

本发明涉及计算机图形技术和虚拟现实技术领域，具体来说是面向多通道校正拼接的三维重构的方法。

背景技术

随着计算机图形技术和虚拟现实技术的发展，虚拟现实的应用场景越来越广泛。以大型投影幕作为载体的虚拟现实广泛应用于飞行模拟、汽车模拟、3D交互等行业。随着这种大型投影展示的需求增长，多通道投影拼接技术显得尤为重要。

多通道投影拼接技术的核心部分主要是求解原始画面和投影变形画面之间的关系。通过对原始画面进行逆变形，使得最终投影在投影幕上的画面不产生几何变形正常显示。

求解变形关系的主要方法是通过重构投影场景，并通过逆向构建光路信息完成画面变形的逆向求解，得到逆变形的映射表。

部分几何校正拼接通过使用摄像头、深度相机或激光扫描仪等自动化设备对投影幕和投影仪信息进行直接采集。这一部分方法往往存在测量精度较低或设备价格昂贵等问题，且现场不易于部署。还有一部分通过现场人工使用工具直接测量。此方法往往对于测量人员的经验要求较高，费时费力，且容易出现测量误差等情况。

虽然目前的三维重构技术已经广泛应用于市场中，但现有的方案仍然有如下缺陷：

a)使用摄像头进行测量时，对现场的光照环境要求较高，且测量精度较低。

b)部分测量设备昂贵，且不便于现场部署。

c)现场直接测量对人工的经验要求高，且很难保证结果的精确度。

d)由于多通道校正拼接一般都是在设备布置完毕后进行，对于投影仪以及球幕的参数进行人工直接测量难度较大。

发明内容

本发明针对现有方案中存在的部分问题，提出了一种面向多通道校正拼接的三维重构的方法，通过投影幕的几何形状确定投影幕的解析几何公式，然后通过全站仪测量投影仪投射在投影幕上的特定标记点，并通过标记点坐标与投影幕投影仪之间关系计算出投影幕模型以及投影仪参数，然后重构出虚拟场景。

本发明面向多通道校正拼接的三维重构的方法，具体步骤如下：

步骤1：根据投影幕的形状选择解析几何公式。

步骤2：使用多通道的投影仪在投影幕上投射特定的标记点，标记点为投影仪屏幕空间按照横纵十六等分划分后，等分线的相交点。

步骤3：使用全站仪统一测量所有标记点坐标。

步骤4：根据投影幕上的标记点集合计算多个初始投影幕信息集合。

步骤5：过滤掉误差较大的投影幕信息，获取最终的投影幕信息。

步骤6：根据投影幕上的标记点计算出投影仪的位姿信息。

步骤7：根据投影幕上的标记点计算出投影仪的投影矩阵。

步骤8：重复步骤6～7计算获得各个通道投影仪的位姿信息和投影矩阵。

步骤9：根据步骤5～8计算获得的信息构建虚拟场景。

本发明的优点在于：

1、本发明面向多通道校正拼接的三维重构的方法，适用于所有可解析几何幕。

2、本发明面向多通道校正拼接的三维重构的方法，相对于传统双目摄像头、深度摄像头等三维重构等方法，测量精度更高，对现场环境要求更低，稳定性更高。

3、本发明面向多通道校正拼接的三维重构的方法，测量设备的价格相对于激光扫描仪等自动化设备较为便宜。

4、本发明面向多通道校正拼接的三维重构的方法，相对于部分直接测量的方法，大大降低了人工测量所产生的误差，且降低了测量的难度。

附图说明

图1为本发明面向多通道校正拼接的三维重构的方法整体流程图；

图2为本发明面向多通道校正拼接的三维重构的方法中投影仪屏幕空间标记点位置示意图；

图3为本发明面向多通道校正拼接的三维重构的方法中全站仪、投影仪相对曲面幕的位置关系示意图；

图4为本发明面向多通道校正拼接的三维重构的方法中标记点所构成3平面与投影仪位置关系示意图；

图5为本发明面向多通道校正拼接的三维重构的方法中标记点所构成平面的法线与投影仪姿态关系示意图；

图6为本发明面向多通道校正拼接的三维重构的方法中投影仪屏幕空间标记点编号示意图；

图7为本发明面向多通道校正拼接的三维重构的方法中得到的虚拟场景示意图。

具体实施方式

下面结合附图对本发明进一步详细说明。

本发明面向多通道校正拼接的三维重构的方法，如图1所示，具体步骤如下：

步骤1：根据投影幕的形状选择解析几何公式。

根据投影幕的几何形状确定解析几何公式，球幕、柱幕、平面幕等都可以有解析几何公式表达。如球幕的解析几何表达式为：

(x-x₀)²+(y-y₀)²+(z-z₀)²＝r²

式中，(x₀,y₀,z₀)表示球心坐标，r表示球半径。

步骤2：使用多通道的投影仪在投影幕上投射特定的标记点。

标记点选择方式为：

将投影仪屏幕空间按照横纵十六等分划分，等分线的相交点即为标记点，如图2所示。而由于投影仪边界上的点不便于直接测量，因此不作为标记点。

步骤3：根据现场环境部署全站仪，使用全站仪统一测量所有标记点坐标。

全站仪放置在投影幕的正面，以能直接测量到，且不遮挡住所有投射标记点为准，如图3所示。然后测量所有通道投影仪投影在投影幕上的标记点坐标。

步骤4：根据投影幕上的标记点集合计算多个初始投影幕信息。

根据步骤1中选择的投影幕的解析几何表达式，表达式中未知数的数量即为计算所需的标记点数量。确定计算所需的标记点数量后，对步骤3中测量得到的所有标记点进行排列组合其中n为步骤3中测量得到的标记点数量，m为计算所需标记点数量。

然后将排列组合后得到的各组标记点坐标带入到表达式中，计算出投影幕的信息集。

如球幕所需信息为球心坐标以及半径，所以计算所需的标记点数量为4个标记点，假设为三通道校正拼接，那么测量得到的标记点数量为3×9＝27个标记点，则所有标记点的组合为：

随后，通过排列组合得到17550个标记点的组合，然后将各个组合带入到球幕的解析几何表达式中，可计算出球幕半径以及球心坐标的集合。

步骤5：过滤掉误差较大的投影幕信息，获取最终的投影幕信息。

对步骤4中计算得到的投影幕信息集合计算各组投影幕信息的方差：

其中，X为当前一组投影幕信息，如球幕半径和球心坐标。μ为总体均值，如所有组投影幕信息中各项参数的平均值，如：球幕半径或球心坐标的平均值。N为投影幕信息集合总数，如三通道球幕校正拼接中集合总数为

然后根据设定阈值剔除掉方差低于阈值的投影幕信息。然后对剩下的投影幕信息集合中各项参数取平均值作为最终的一组投影幕信息。

步骤6：根据投影幕上的标记点计算出投影仪的位姿信息。

根据投影的光路特性，投影幕上任意三个标记点所构成的平面都会经过投影仪，如图4所示，由此根据投影仪投影在投影幕上的标记点构建出任意三个平面，然后三个平面求交点：

其中，n_i是归一化的平面法向量，p_i是平面上任意一点，i为三个平面的编号，点POS_proj是待求三面相交点，从而求取投影仪的位置信息POS_proj。

由于标记点构成平面的法线方向与投影仪的朝向相反，如图5所示。设投影仪旋转角为(θ_x,θ_y,θ_z)。令步骤2中的投影仪屏幕空间标记点分别为P₁、P₂、P₃、P₄、P₅、P₆、P₇、P₈、P₉，其中，P₁、P₂、P₃为上排由左到右的三个标记点坐标，P₄、P₅、P₆为中间一排由左到右的三个标记点坐标，P₇、P₈、P₉为下排由左到右的三个标记点坐标，如图6所示。然后使用P₁、P₂、P₃构造出平面Plane₁，P₃、P₆、P₉构造出平面Plane₂，P₇、P₈、P₉构造出平面Plane₃，P₁、P₄、P₇构造出平面Plane₄。已知四个平面都经过投影仪，因此可构建出四个平面的点法式方程：

A_i*(x-x_proj)+B_i*(y-y_proj)+C_i*(z-z_proj)＝0

构造出的平面Plane_i法线为(A_i，B_i，C_i)，其中i为平面编号,i＝1,2,3,4，投影仪位置信息POS_proj的坐标表示为(x_proj,y_proj,z_proj)。(A_i，B_i，C_i)为平面Plane_i法线的向量坐标表示。

根据四个平面的点法式方程可以两两组成投影仪位置POS_proj到P₁、P₃、P₇、P₉四点所在直线的八个方程,并根据Corner₁、Corner₂、Corner₃、Corner₄到中心点P₄距离相等构建方程：

其中，Corner₁(x_c1,y_c1,z_c1)、Corner₂(x_c2,y_c2,z_c2)、Corner₃(x_c3,y_c3,z_c3)、Corner₄(x_c4,y_c4,z_c4)为P₁、P₃、P₇、P₉在标记点P₄所在的投影仪近裁面上的投影点。

根据以上十个方程计算出Corner₁、Corner₂、Corner₃、Corner₄四个点坐标。

然后根据Corner₁、Corner₂、Corner₃、Corner₄四个点所构成的近裁面，可以根据平面公式计算出近裁面的平面法线N_near:

Ax+By+Cz+D＝0

其中，A、B、C分别为平面法线N_near的坐标表示(A,B,C)。

计算得到近裁面的平面法线N_near在世界坐标轴x和z所构成平面上的投影V_proj。

V_proj＝N_near-N_xz*(N_near·N_xz)/(N_xz·N_xz)

其中，N_xz为世界坐标轴x和z所构成平面的法线。

投影V_proj与世界坐标轴z轴的夹角即为投影仪旋转角的θ_y，投影V_proj与平面法线的夹角即为投影仪旋转角的θ_x；

构建欧拉角为(θ_x,θ_y,0)的四元数，并使用这个四元数将世界坐标的x轴单位向量旋转得到V_right向量，然后再计算投影仪屏幕空间中标记点所构成的水平线向量V与向量V_right的夹角，得到θ_z，最终获得投影仪的旋转角(θ_x,θ_y,θ_z)。

步骤7：根据投影幕上的标记点计算出投影仪的投影矩阵。

根据步骤6中计算得到的近裁面上的点Corner₁、Corner₂、Corner₃、Corner₄，由于Corner₁、Corner₂、Corner₃、Corner₄为投影仪屏幕空间四等分点，推算出整个投影仪屏幕空间的四个边角点在近裁面上的坐标C_near1、C_near2、C_near3、C_near4，公式如下：

C_near1＝P₅+(Corner₁-P₅)*2

C_near2＝P₅+(Corner₂-P₅)*2

C_near3＝P₅+(Corner₃-P₅)*2

C_near4＝P₅+(Corner₄-P₅)*2

利用四个边角点可以计算得到t、b、l、r，并通过标准投影矩阵公式可计算出投影仪的投影矩阵。

其中，n为投影视椎的近裁剪面离投影仪的距离，f为远裁剪面，可根据虚拟场景中的需求自行设置大小，t、b、l、r分别为近裁剪面上下左右的距离。

步骤8：重复步骤6～7计算获得各个通道投影仪的位姿信息和投影矩阵。

步骤9：根据步骤5～8计算获得的信息构建虚拟场景。

使用步骤5～8计算得到的投影幕参数、投影仪位姿以及投影仪投影矩阵数据，在虚拟场景中构建出投影幕模型与投影仪，并以投影仪的投影矩阵数据对投影幕进行画面投影。重建出投影幕三维模型以及投影仪的光路信息，如图7所示。其光路信息就是投影仪屏幕空间坐标到场景世界坐标的映射，其公式如下：

P_screen＝MVP*P_w

MVP为投影仪位姿以及投影矩阵所构建的坐标变换矩阵，P_screen为屏幕空间坐标，P_w为虚拟场景世界坐标。

之后可以通过重建的三维场景对投影光路进行逆向求解获得画面变形的映射表，并通过映射表对画面进行几何校正。通过本发明面向多通道校正拼接的三维重构的方法，能够大大降低直接测量投影仪和投影幕数据所造成的人工误差，且相对于相机，有更精准的测量精度。相对于激光扫描仪更省成本且更易于操作和现场布置。

Claims (5)

1.一种面向多通道校正拼接的三维重构的方法，其特征在于：具体步骤如下：

步骤1：根据投影幕的形状选择解析几何公式；

步骤2：使用多通道的投影仪在投影幕上投射特定的标记点，标记点为投影仪屏幕空间按照横纵十六等分划分后，等分线的相交点；

步骤3：使用全站仪统一测量所有标记点坐标；

步骤4：根据投影幕上的标记点集合计算多个初始投影幕信息集合；

步骤5：过滤掉误差较大的投影幕信息，获取最终的投影幕信息；

步骤6：根据投影幕上的标记点计算出投影仪的位姿信息；

步骤7：根据投影幕上的标记点计算出投影仪的投影矩阵；

步骤8：重复步骤6～7计算获得各个通道投影仪的位姿信息和投影矩阵；

步骤9：根据步骤5～8计算获得的信息构建虚拟场景。

2.如权利要求1所述一种面向多通道校正拼接的三维重构的方法，其特征在于：步骤4的具体方法为：根据步骤1中选择的投影幕的解析几何公式，确定计算所需的标记点数量，随后对步骤3中测量得到的所有标记点进行排列组合其中n为步骤3中测量得到的标记点数量，m为计算所需标记点数量；

然后将排列组合后得到的各组标记点坐标带入投影幕的解析几何公式中，计算出投影幕的信息集。

3.如权利要求1所述一种面向多通道校正拼接的三维重构的方法，其特征在于：步骤5的具体方法为：根据投影幕信息集合计算各组投影幕信息的方差：

其中，X为当前一组投影幕信息，如球幕半径和球心坐标；μ为总体均值；N为投影幕信息集合总数；

然后根据设定阈值剔除掉方差低于阈值的投影幕信息，并对剩下的投影幕信息集合中各项参数取平均值作为最终的投影幕信息。

4.如权利要求1所述一种面向多通道校正拼接的三维重构的方法，其特征在于：步骤6的具体方法为：根据投影仪投影在投影幕上的标记点构建出任意三个平面，然后三个平面求交点：

其中，n_i是归一化的平面法向量，p_i是平面上任意一点，i为三个平面的编号，点POS_proj是待求三面相交点，从而求取投影仪的位置信息POS_proj；

设投影仪旋转角为(θ_x,θ_y,θ_z)；令步骤2中的投影仪屏幕空间标记点分别为P₁、P₂、P₃、P₄、P₅、P₆、P₇、P₈、P₉，其中，P₁、P₂、P₃为上排由左到右的三个标记点坐标，P₄、P₅、P₆为中间一排由左到右的三个标记点坐标，P₇、P₈、P₉为下排由左到右的三个标记点坐标；然后使用P₁、P₂、P₃构造出平面Plane₁，P₃、P₆、P₉构造出平面Plane₂，P₇、P₈、P₉构造出平面Plane₃，P₁、P₄、P₇构造出平面Plane₄；已知四个平面都经过投影仪，因此构建出四个平面的点法式方程：

A_i*(x-x_proj)+B_i*(y-y_proj)+C_i*(z-z_proj)＝0

构造出的平面Plane_i法线为(A_i，B_i，C_i)，其中i为平面编号,i＝1,2,3,4，投影仪位置信息POS_proj的坐标表示为(x_proj,y_proj,z_proj)；(A_i，B_i，C_i)为平面Plane_i法线的向量坐标表示；

根据四个平面的点法式方程可以两两组成投影仪位置POS_proj到P₁、P₃、P₇、P₉四点所在直线的八个方程,并根据Corner₁、Corner₂、Corner₃、Corner₄到中心点P₄距离相等构建方程：

其中，Corner₁(x_c1,y_c1,z_c1)、Corner₂(x_c2,y_c2,z_c2)、Corner₃(x_c3,y_c3,z_c3)、Corner₄(x_c4,y_c4,z_c4)为P₁、P₃、P₇、P₉在标记点P₄所在的投影仪近裁面上的投影点；

最终计算出Corner₁、Corner₂、Corner₃、Corner₄四个点坐标；然后根据Corner₁、Corner₂、Corner₃、Corner₄四个点所构成的近裁面，可以根据平面公式计算出近裁面的平面法线N_near:

Ax+By+Cz+D＝0

其中，A、B、C分别为平面法线N_near的坐标表示(A,B,C)；

计算得到近裁面的平面法线N_near在世界坐标轴x和z所构成平面上的投影V_proj；

V_proj＝N_near-N_xz*(N_near·N_xz)/(N_xz·N_xz)

其中，N_xz为世界坐标轴x和z所构成平面的法线；

投影V_proj与世界坐标轴z轴的夹角即为投影仪旋转角的θ_y，投影V_proj与平面法线的夹角即为投影仪旋转角的θ_x；

构建欧拉角为(θ_x,θ_y,0)的四元数，并使用这个四元数将世界坐标的x轴单位向量旋转得到V_right向量，然后再计算投影仪屏幕空间中标记点所构成的水平线向量V与向量V_right的夹角，得到θ_z，最终获得投影仪的旋转角(θ_x,θ_y,θ_z)。

5.如权利要求1所述一种面向多通道校正拼接的三维重构的方法，其特征在于：步骤7的具体方法为：令步骤2中的投影仪屏幕空间标记点坐标分别为P₁、P₂、P₃、P₄、P₅、P₆、P₇、P₈、P₉，其中，P₁、P₂、P₃为上排由左到右的三个标记点坐标，P₄、P₅、P₆为中间一排由左到右的三个标记点坐标，P₇、P₈、P₉为下排由左到右的三个标记点坐标；

计算整个投影仪屏幕空间的四个边角点在近裁面上的坐标C_near1、C_near2、C_near3、C_near4，公式如下：

C_near1＝P₅+(Corner₁-P₅)*2

C_near2＝P₅+(Corner₂-P₅)*2

C_near3＝P₅+(Corner₃-P₅)*2

C_near4＝P₅+(Corner₄-P₅)*2

其中，Corner₁、Corner₂、Corner₃、Corner₄为P₁、P₃、P₇、P₉在标记点P₄所在的投影仪近裁面上的投影点；

利用四个边角点可以计算得到t、b、l、r，并通过标准投影矩阵公式可计算出投影仪的投影矩阵：

其中，n为投影视椎的近裁剪面离投影仪的距离，f为远裁剪面，可根据虚拟场景中的需求自行设置大小，t、b、l、r分别为近裁剪面上下左右的距离。