CN108320311A - 一种能够自动纠偏的ar沙盘校准模型计算方法 - Google Patents

Abstract

本发明公开了一种能够自动纠偏的AR沙盘校准模型计算方法。首先处理获得AR沙盘的基准平面模型，然后在沙盘通过投影仪投影标准棋盘格图案，并通过采集投影图像进行计算处理得到AR沙盘的投影映射模型，投影映射模型中的深度值采用基准平面模型进行修正，获得校准模型。本发明方法在AR沙盘虚拟场景的实时渲染过程中，校准得到的基准平面模型能够自动修正RGB‑D传感器在安装过程中不可避免产生的偏差，投影映射模型能够将RGB‑D传感器采集到的原始深度数据正确映射到投影仪的屏幕空间，从而保证AR沙盘互动体验的沉浸感和极佳的用户体验。

Description

一种能够自动纠偏的AR沙盘校准模型计算方法

技术领域

本发明涉及一种AR(Augment Reality，增强现实)沙盘投影映射方法，尤其涉及一种能够自动纠偏的AR沙盘校准模型计算方法。

背景技术

增强现实(Augmented Reality，简称AR)，是一种实时地计算摄影机的位置及角度，从而在真实影像上叠加合理的图像、视频或3D模型的技术，这种技术的目标是在屏幕上把虚拟世界叠加在现实世界中并进行互动。AR技术能够通过为用户提供基于真实场景的虚拟影像，增强用户的现实世界体验，提供沉浸式的全新交互方式。AR沙盘是增强现实技术的一项重要落地应用，主要应用场景是早教中心或幼儿园的寓教于乐式的互动课程教学。

AR沙盘通过悬挂在沙盘上方的RGB-D传感器获取沙盘中沙子高低不平的高度信息，在计算机中进行三维重建后，将合理的虚拟影像通过投影仪投射到沙子上，并且在沙子高度发生变化时能够实时地改变投影内容，即具备实时交互的能力，能够达到增强现实式的沉浸体验。AR沙盘的核心技术难点在于正确的投影映射，即根据沙子的高度变化合理地投影出正确的图像。达到正确的实时投影映射需要准确的校准模型。现有的AR沙盘校准模型计算方法要求RGB-D传感器必须严格垂直向下“观察”沙盘，对传感器的安装精度要求很高，一旦传感器装歪就无法得到正确的校准模型，也就无法实现正确的投影映射，导致投影图像和沙子之间形成错位，难以达到增强现实式的沉浸体验，无法实现良好的寓教于乐的教学效果。

发明内容

针对现有AR沙盘校准模型计算方法中存在的问题，本发明的目的在于提供一种能够自动纠偏的AR沙盘校准模型计算方法，可用于RGB-D传感器安装精度不高时AR沙盘校准模型的准确计算，得到的校准模型能够自动修正RGB-D传感器在安装过程中不可避免产生的偏差。

校准完成后得到的基准平面模型和投影映射模型用于AR沙盘的实时互动体验，两种模型协同工作构成了校准模型，共同保证AR沙盘互动体验的高沉浸感和极佳的用户体验。

本发明方法采用的技术方案是主要分为以下几步，通过以下特定的交互操作和计算获得：

首先处理获得AR沙盘的基准平面模型，然后在沙盘通过投影仪投影标准棋盘格图案，并通过采集投影图像进行计算处理得到AR沙盘的投影映射模型，投影映射模型中的深度值采用基准平面模型进行修正，获得校准模型。

所述的基准平面模型：将AR沙盘的沙子铺平，在RGB-D传感器采集得到的RGB图像中标记出沙盘区域的边界，同时利用RGB-D传感器对沙盘区域的深度数据进行随机采样，拟合计算后得到基准平面模型。

所述的基准平面模型具体采用以下方式进行处理获得：

1)将AR沙盘的沙子铺平，在RGB-D传感器采集得到的RGB图像中标记出沙盘区域的边界，记录沙盘区域的左上角和右下角在RGB图像中的像素坐标值；

2)构建以下公式表示在RGB-D传感器的深度相机空间中的基准平面模型：

ax+by+z+d＝0

其中，a、b和d是基准平面模型的第一、第二、第三参数，(x,y,z)是沙盘区域中的点在深度相机空间中的三维坐标，沙盘区域中的点是指沙子铺平后所在的表面上的点，x、y为沙盘区域中的点在深度图像上的平面坐标值，z为沙盘区域中的点在深度图像上的深度值，令其系数为1以简化计算过程；

5)采用拉丁超立方体采样方法利用RGB-D传感器在沙盘区域中随机采集若干个采样点，每个采样点在RGB-D传感器深度相机空间中的坐标记为P_i(x_i,y_i,z_i)，其中(x_i,y_i)是第i个采样点在深度图像上的平面坐标值，z_i是第i个采样点在深度图像上的深度值；

6)利用基准平面模型构建以下目标函数：

其中，n是随机采集的采样点总数目；

5)对目标函数进行求解得到如下的线性方程组：

求解上述线性方程组得到基准平面模型的三个参数a、b和d，从而获得参数确定的基准平面模型。

所述投影映射模型的获得具体为：将AR沙盘中的沙子铺平，控制投影仪向沙子上投射若干个标准棋盘格图案，将白色纸板置于沙盘中使棋盘格图案显示在白色纸板上，利用RGB-D传感器在白色纸板高低间隔交替布置下采集若干组采样信息，拟合计算后得到投影映射模型。

所述的投影映射模型具体采用以下方式进行计算：

1)将AR沙盘中的沙子铺平，控制投影仪在沙子上依次投射m个标准棋盘格图案，投射下一个棋盘格图案时隐藏上一个棋盘格图案，保证同一时刻沙盘区域内只有一个棋盘格图案；每个标准棋盘格图案投射时的显示投射位置处放置白色纸板，白色纸板置于沙盘上方且水平面布置，使棋盘格图案完整投射在白色纸板上，白色纸板的大小覆盖到整个标准棋盘格图案；

2)利用RGB-D传感器在白色纸板高低间隔交替布置下收集m个标准棋盘格图案对应的m组采样信息，采样信息包括RGB图像和深度图像；

3)基于最小二乘拟合方法构建以下目标函数E：

其中，m是采样信息组数的总数，k是采样信息组数的序数，a_k表示第k组采样信息的第一系数，b_k表示第k组采样信息的第二系数，c_k表示第k组采样信息的第三系数；分别表示是第k组采样信息的标准棋盘格图案中固定点实际在投影仪屏幕空间中的平面坐标；

每组采样信息的第一系数a、第二系数b和第三系数c采用以下公式表示：

a＝q₉z_cx_d+q₁₀z_cy_d+q₁₁z_c+q₁₂

b＝q₁z_cx_d+q₂z_cy_d+q₃z_c+q₄

c＝q₅z_cx_d+q₆z_cy_d+q₇z_c+q₈

其中，x_d,y_d分别表示标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的平面坐标，z_c表示标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的深度值，q₁、q₂、q₃、q₄、q₅、q₆、q₇、q₈、q₉、q₁₀、q₁₁、q₁₂分别表示投影映射模型的第一～第十二参数；

4)利用k组采样信息对目标函数进行求解获得如下线性方程组：

MQ＝0

Q＝(q₁ q₂ q₃ q₄ q₅ q₆ q₇ q₈ q₉ q₁₀ q₁₁ q₁₂)^T

其中，M是线性方程组的维度为12×12的系数矩阵，M_k表示第k组采样信息在系数矩阵中的计算分量，表示矩阵M_k中的子矩阵，分别表示第k组采样信息的标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的平面坐标，表示第k组采样信息的标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的深度值，分别表示第k组采样信息的标准棋盘格图案中固定点实际在投影仪屏幕空间中的平面坐标，Q表示投影映射模型的参数集合；

求解上述线性方程组的非零解得到参数集合Q；

5)在AR沙盘的实际互动体验中，对于从RGB-D传感器采集的深度图像中获取的任意一点作为待投影点，采用以下公式表示的从RGB-D传感器的深度相机空间到投影仪屏幕空间的投影映射模型计算，获得待投影点在投影仪屏幕空间中的理论平面坐标P_uv(u_s,v_s)，用理论坐标输入投影仪进行投影：

其中，u_s,v_s分别表示待投影点在投影仪屏幕空间中的理论平面坐标，X_d,Y_d分别表示待投影点在RGB-D传感器采集的深度图像中的平面坐标，Z_c表示待投影点在RGB-D传感器采集的深度图像中的深度值。

得到的投影映射模型用于AR沙盘的实时互动体验，投影映射模型能够将RGB-D传感器采集到的原始深度数据进行正确且实时地映射。

所述步骤2)具体为：将沙盘区域按类似于国际象棋的黑白格方式分为m个区域块，每个区域块对应投射一个标准棋盘格图案；如国际象棋的黑白格方式，将对角线连接的各个区域块组成一组，从而将沙盘区域的所有区域块分为两组，两组区域块投射标准棋盘格图案时的白色纸板的布置高度不同，白色纸板在两组区域块分别处于低位和高位的两种高度位置，低位时白色纸板直接水平的放置在沙子铺平的沙面上，高位时白色纸板和沙盘的沙面之间的平面垂直距离为20-30cm。

标准棋盘格图案中的固定点为人工事先选定，在标准棋盘格图案中相对位置固定，可在标准棋盘格图案中进行标记。本发明方法处理计算时固定点代表了任意一点。

所述步骤2)中的每组采样信息包括：标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的平面坐标P_d(x_d,y_d)和深度值z_c以及标准棋盘格图案中固定点实际在投影仪屏幕空间中的平面坐标P_s(x_s,y_s)。

所述步骤1)中，若干个标准棋盘格图案的图案相同，均为类似于国际象棋的多个黑白格构成的长方形图案。

所述m个标准棋盘格图案投射到沙盘区域的位置不同，且所有位置总和刚好覆盖整个沙盘区域。

基准平面模型能够自动修正RGB-D传感器在安装过程中不可避免产生的偏差，由于RGB-D传感器安装偏差引起的深度值误差，投影映射模型中的深度值采用基准平面模型进行修正具体是按照以下方程对投影的深度值进行修正：

Z_r＝Z_c+aX_d+bY_d+d

其中，Z_r是修正后的深度值，X_d,Y_d分别表示待投影点在RGB-D传感器采集的深度图像中的平面坐标，Z_c表示待投影点在RGB-D传感器采集的深度图像中的深度值。

本发明的有益效果是：

1、本发明方法解决了现有AR沙盘校准模型计算方法对RGB-D传感器安装精度要求过高的问题，校准得到的基准平面模型能够自动修正RGB-D传感器在安装过程中不可避免产生的偏差，同时投影映射模型能够将RGB-D传感器采集到的原始深度数据正确映射到投影仪的屏幕空间，两个模型协同工作，共同保证AR沙盘互动体验的高沉浸感和极佳的用户体验。

2、本发明方法的具体实施过程简洁高效、易于操作，能够满足AR沙盘的实时交互要求。

附图说明

图1是本实施例中所采用的AR沙盘示意图。

图2是本实施例在校准过程中标记的沙盘区域示意图。

图3是本实施例在校准过程中按照一定顺序投射出的15个标准棋盘格示意图。

图4是本实施例在校准过程中通过白色纸板收集采样信息的示意图。

图中：沙盘座1、沙子2、投影仪3、RGB-D传感器4、白色纸板5、标准棋盘格图案6。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

本发明包括AR沙盘校准模型的计算和校准模型在实时互动中的具体应用。AR沙盘校准模型的计算包括基准平面模型和投影映射模型的计算，提出的校准方法是在校准模型理论数学表达推导的基础上，通过简单的交互操作进行采样、最小二乘拟合后计算得到。在AR沙盘的实时互动中，基准平面模型用于自动修正RGB-D传感器在安装过程中不可避免产生的偏差，投影映射模型用于将RGB-D传感器采集到的原始深度数据正确映射到投影仪的屏幕空间，两个模型协同工作，共同保证AR沙盘互动体验的高沉浸感和极佳的用户体验

本发明的具体实施例如下：

在本实施方案中使用的AR沙盘如图1所示。实际运行时的具体工作过程为，投影仪将虚拟图像投射到高低不平的沙子表面，实现增强现实式的体验效果，RGB-D传感器获取沙盘中沙子高低不平的高度信息，用于计算机进行三维重建，沙子是虚拟图像叠加在现实世界中的媒介，虚拟图像能够根据沙子高度的变化实时改变。

1、基准平面模型具体采用以下方式进行计算：

1)将AR沙盘的沙子铺平，在RGB-D传感器采集得到的RGB图像中标记出沙盘边界，如图2所示，确定无误后，记录沙盘区域的左上角和右下角在RGB图像中的像素坐标值；

2)基准平面模型在RGB-D传感器的深度相机空间中的数学表达为：

ax+by+z+d＝0

其中，a、b和d是基准平面模型的第一、第二、第三参数，(x,y,z)是沙盘区域中的点在深度相机空间中的三维坐标，沙盘区域中的点是指沙子铺平后所在的表面上的点，x、y为其在深度图像上的平面坐标值，z为其在深度图像上的深度值，令其系数为1以简化计算过程；

3)基于拉丁超立方体采样方法，利用RGB-D传感器在标记出的沙盘区域中随机采集12个采样点，每个采样点在RGB-D传感器深度相机空间中的坐标记为P_i(x_i,y_i,z_i)，其中(x_i,y_i)是第i个采样点在深度图像上的平面坐标值，z_i是第i个采样点在深度图像上的深度值；

4)利用基准平面模型构建以下目标函数：

其中，随机采样的采样点数目为12。

5)对目标函数进行求解得到如下的线性方程组：

求解该线性方程组即可得到基准平面模型参数a、b和d，分别为0.0338、0.590和-171。

2、投影映射模型具体采用以下方式进行计算：

1)将AR沙盘中的沙子铺平，控制投影仪在沙子上按照从左到右、从上到下的顺序投射3行、每行5个共15个标准棋盘格图案6，如图3所示，投射下一个棋盘格图案时隐藏上一个棋盘格图案，保证同一时刻沙盘区域内只有一个棋盘格图案；每个标准棋盘格图案投射时的显示投射位置处放置白色纸板5，白色纸板置于沙盘上方且水平面布置，使棋盘格图案完整投射在白色纸板5上，白色纸板的大小覆盖到整个标准棋盘格图案6。

2)每个棋盘格显示在对应的投射位置处时，将白色纸板置于沙盘中，使棋盘格显示在纸板上如图4所示，利用RGB-D传感器按照高低间隔的方式收集15组采样信息；

以棋盘格右上角的一点为固定点，每组采样信息包括：标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的平面坐标P_d(x_d,y_d)和深度值z_c。

3)基于最小二乘拟合方法构建目标函数：

其中，15是2)中所述的采样信息组数，k是其中第k组采样信息；

每组采样信息的第一系数a、第二系数b和第三系数c采用以下公式表示：

a＝q₉z_cx_d+q₁₀z_cy_d+q₁₁z_c+q₁₂

b＝q₁z_cx_d+q₂z_cy_d+q₃z_c+q₄

c＝q₅z_cx_d+q₆z_cy_d+q₇z_c+q₈

4)对目标函数进行求解可得到如下线性方程组：

MQ＝0

Q＝(q₁ q₂ q₃ q₄ q₅ q₆ q₇ q₈ q₉ q₁₀ q₁₁ q₁₂)^T

求解该线性方程组的非零解即可得到校准模型的参数为Q＝(14.5 0.507 -302 -25437 0.0926 -20.8 512 6876 6.15Ε-4 3.29Ε-4 0.85 -21.1)^T。

3、校准完成后得到的两个模型用于AR沙盘的实时互动体验，具体应用方式如下：

A、对于投影平面坐标

对于从RGB-D传感器采集的深度图像中获取的待投影的任意一点，采用以下公式表示的从RGB-D传感器的深度相机空间到投影仪屏幕空间的校准模型计算，获得其在投影仪屏幕空间中的理论平面坐标P_uv(u_s,v_s)，用理论坐标输入投影仪进行投影：

B、对于投影深度

对于RGB-D传感器安装偏差引起的深度值误差，校准模型中的深度值采用基准平面模型进行修正具体是按照以下方程对投影的深度值进行修正：

Z_r＝Z_c+0.0338X_d+0.590Y_d-171

其中，Z_r是修正后的深度值，X_d,Y_d分别表示待投影点在RGB-D传感器采集的深度图像中的平面坐标，Z_c表示待投影点在RGB-D传感器采集的深度图像中的深度值。

综上所述，本发明提出的AR沙盘校准模型计算方法能够通过简单的交互操作和特定的数学计算，得到AR沙盘的基准平面模型和投影映射模型，从而自动修正RGB-D传感器在安装过程中不可避免产生的偏差，同时对RGB-D传感器采集到的原始深度数据正确映射到投影仪的屏幕空间，保证AR沙盘互动体验的沉浸感和极佳的用户体验，带来了显著的效果。

Claims (10)

1.一种能够自动纠偏的AR沙盘校准模型计算方法，其特征在于：主要分为以下几步：

首先处理获得AR沙盘的基准平面模型，然后在沙盘通过投影仪投影标准棋盘格图案，并通过采集投影图像进行计算处理得到AR沙盘的投影映射模型，投影映射模型中的深度值采用基准平面模型进行修正，获得校准模型。

2.根据权利要求1所述的一种能够自动纠偏的AR沙盘校准模型计算方法，其特征在于：所述的基准平面模型：将AR沙盘的沙子铺平，在RGB-D传感器采集得到的RGB图像中标记出沙盘区域的边界，同时利用RGB-D传感器对沙盘区域的深度数据进行随机采样，拟合计算后得到基准平面模型。

3.根据权利要求2所述的一种能够自动纠偏的AR沙盘校准模型计算方法，其特征在于：所述的基准平面模型具体采用以下方式进行处理获得：

1)将AR沙盘的沙子铺平，在RGB-D传感器采集得到的RGB图像中标记出沙盘区域的边界，记录沙盘区域的左上角和右下角在RGB图像中的像素坐标值；

2)构建以下公式表示在RGB-D传感器的深度相机空间中的基准平面模型：

ax+by+z+d＝0

其中，a、b和d是基准平面模型的第一、第二、第三参数，(x,y,z)是沙盘区域中的点在深度相机空间中的三维坐标；

3)采用拉丁超立方体采样方法利用RGB-D传感器在沙盘区域中随机采集若干个采样点，每个采样点在RGB-D传感器深度相机空间中的坐标记为P_i(x_i,y_i,z_i)，其中(x_i,y_i)是第i个采样点在深度图像上的平面坐标值，z_i是第i个采样点在深度图像上的深度值；

4)利用基准平面模型构建以下目标函数：

其中，n是随机采集的采样点总数目；

5)对目标函数进行求解得到如下的线性方程组：

求解上述线性方程组得到基准平面模型的三个参数a、b和d，从而获得参数确定的基准平面模型。

4.根据权利要求1所述的一种能够自动纠偏的AR沙盘校准模型计算方法，其特征在于：所述投影映射模型的获得具体为：将AR沙盘中的沙子铺平，控制投影仪向沙子上投射若干个标准棋盘格图案，将白色纸板置于沙盘中使棋盘格图案显示在白色纸板上，利用RGB-D传感器在白色纸板高低间隔交替布置下采集若干组采样信息，拟合计算后得到投影映射模型。

5.根据权利要求4所述的一种能够自动纠偏的AR沙盘校准模型计算方法，其特征在于：所述的投影映射模型具体采用以下方式进行计算：

1)将AR沙盘中的沙子铺平，控制投影仪在沙子上依次投射m个标准棋盘格图案；每个标准棋盘格图案投射时的显示投射位置处放置白色纸板，白色纸板置于沙盘上方且水平面布置，使棋盘格图案完整投射在白色纸板上；

2)利用RGB-D传感器在白色纸板高低间隔交替布置下收集m个标准棋盘格图案对应的m组采样信息，采样信息包括RGB图像和深度图像；

3)基于最小二乘拟合方法构建以下目标函数E：

其中，m是采样信息组数的总数，k是采样信息组数的序数，a_k表示第k组采样信息的第一系数，b_k表示第k组采样信息的第二系数，c_k表示第k组采样信息的第三系数；x_sk、y_sk分别表示是第k组采样信息的标准棋盘格图案中固定点实际在投影仪屏幕空间中的平面坐标；

每组采样信息的第一系数a、第二系数b和第三系数c采用以下公式表示：

a＝q₉z_cx_d+q₁₀z_cy_d+q₁₁z_c+q₁₂

b＝q₁z_cx_d+q₂z_cy_d+q₃z_c+q₄

c＝q₅z_cx_d+q₆z_cy_d+q₇z_c+q₈

其中，x_d,y_d分别表示标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的平面坐标，z_c表示标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的深度值，q₁、q₂、q₃、q₄、q₅、q₆、q₇、q₈、q₉、q₁₀、q₁₁、q₁₂分别表示投影映射模型的第一～第十二参数；

4)利用k组采样信息对目标函数进行求解获得如下线性方程组：

MQ＝0

Q＝(q₁ q₂ q₃ q₄ q₅ q₆ q₇ q₈ q₉ q₁₀ q₁₁ q₁₂)^T

其中，M是线性方程组的维度为12×12的系数矩阵，M_k表示第k组采样信息在系数矩阵中的计算分量，表示矩阵M_k中的子矩阵，分别表示第k组采样信息的标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的平面坐标，表示第k组采样信息的标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的深度值，分别表示第k组采样信息的标准棋盘格图案中固定点实际在投影仪屏幕空间中的平面坐标，Q表示投影映射模型的参数集合；

求解上述线性方程组的非零解得到参数集合Q；

5)在AR沙盘的实际互动体验中，对于从RGB-D传感器采集的深度图像中获取的任意一点作为待投影点，采用以下公式表示的从RGB-D传感器的深度相机空间到投影仪屏幕空间的投影映射模型计算，获得待投影点在投影仪屏幕空间中的理论平面坐标P_uv(u_s,v_s)：

其中，u_s,v_s分别表示待投影点在投影仪屏幕空间中的理论平面坐标，X_d,Y_d分别表示待投影点在RGB-D传感器采集的深度图像中的平面坐标，Z_c表示待投影点在RGB-D传感器采集的深度图像中的深度值。

6.根据权利要求5所述的一种能够自动纠偏的AR沙盘校准模型计算方法，其特征在于：所述步骤2)具体为：将沙盘区域按类似于国际象棋的黑白格方式分为m个区域块，每个区域块对应投射一个标准棋盘格图案；将对角线连接的各个区域块组成一组，从而将沙盘区域的所有区域块分为两组，两组区域块投射标准棋盘格图案时的白色纸板的布置高度不同，白色纸板在两组区域块分别处于低位和高位的两种高度位置。

7.根据权利要求5所述的一种能够自动纠偏的AR沙盘校准模型计算方法，其特征在于：所述步骤2)中的每组采样信息包括：标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的平面坐标P_d(x_d,y_d)和深度值z_c以及标准棋盘格图案中固定点实际在投影仪屏幕空间中的平面坐标P_s(x_s,y_s)。

8.根据权利要求5所述的一种能够自动纠偏的AR沙盘校准模型计算方法，其特征在于：所述步骤1)中，若干个标准棋盘格图案的图案相同，均为类似于国际象棋的多个黑白格构成的长方形图案。

9.根据权利要求5所述的一种能够自动纠偏的AR沙盘校准模型计算方法，其特征在于：所述m个标准棋盘格图案投射到沙盘区域的位置不同，且所有位置总和刚好覆盖整个沙盘区域。

10.根据权利要求3所述的一种能够自动纠偏的AR沙盘校准模型计算方法，其特征在于：投影映射模型中的深度值采用基准平面模型进行修正具体是按照以下方程对投影的深度值进行修正：

Z_r＝Z_c+aX_d+bY_d+d

其中，Z_r是修正后的深度值，X_d,Y_d分别表示待投影点在RGB-D传感器采集的深度图像中的平面坐标，Z_c表示待投影点在RGB-D传感器采集的深度图像中的深度值。