CN104657103B - 基于深度摄像机的手持cave投影系统 - Google Patents

Abstract

基于深度摄像机的手持CAVE投影系统，属于CAVE投影陈展技术领域。本发明是为了解决现有CAVE投影系统进行陈展演示，需要专业的设备和场地，成本高并且使用不便的问题。它的多个深度传感器用于测量获得用户所在空间墙壁的三维信息；同时，距离用户最近的一台深度传感器还用于测量手持投影仪与用户所在空间墙壁之间的距离、角度关系；计算机用于根据用户所在空间墙壁的三维信息获得欲投影画面；并实时根据相应的欲投影画面生成对应于所述照射范围的投影画面；手持投影仪用于将计算机生成的投影画面投射在用户所在空间墙壁上，随着用户在空间范围内的走动或者手臂动作的改变，实现探索式、沉浸式实景漫游。本发明用于实现陈展演示。

Description

基于深度摄像机的手持CAVE投影系统

技术领域

本发明涉及基于深度摄像机的手持CAVE投影系统，属于CAVE投影陈展技术领域。

背景技术

数字博物馆可以使文化遗产突破原有技术条件和保存方式的限制，得到有效保护。同时凭借互联网庞大的受众群体和快捷的传播速度，可以大大提升文化遗产的文化传承功能。陈展技术作为数字博物馆的关键技术，凭借多媒体、互动化、虚拟化的特点丰富了参观者的游览体验，更易于生动揭示展品内涵与价值。然而，目前对于陈展技术的开发大多停留在通过个人电脑，在小型的二维屏幕上实现图文展示或虚拟漫游的形式上。这些展示技术在沉浸性上存在不足，显示画面较小，在大型场景和文物的显示上视觉冲击力不够。同时由于在电脑前采用坐姿，通过键盘鼠标进行的人机交互一定程度上会造成人与场景之间的隔阂。针对这一问题，又提出了使用CAVE系统进行数字陈展。

CAVE系统是一种由被投影墙组成的高度沉浸的虚拟演示环境，用户可以在被投影墙包围的环境中近距离接触虚拟三维物体，或者随意漫游虚拟环境。CAVE系统可用于虚拟展示、虚拟设计、模拟训练、模拟军事指挥、建筑设计与城市规划等。相对于在小型的二维屏幕上进行图文浏览或三维漫游的虚拟现实展示方式，CAVE系统可以使参观者在一个实体空间内自由走动，因此具有更好的沉浸性、更大的显示画面、更强的视觉冲击力，尤其适合展示大型场景和物体。但传统的CAVE投影系统需要专门的设备和场地，不适合小型机构和个人用户使用。

发明内容

本发明目的是为了解决现有CAVE投影系统进行陈展演示，需要专业的设备和场地，成本高并且使用不便的问题，提供了一种基于深度摄像机的手持CAVE投影系统。

本发明所述基于深度摄像机的手持CAVE投影系统，它包括手持投影仪、计算机和多个深度传感器，

多个深度传感器用于测量获得用户所在空间墙壁的三维信息；同时，距离用户最近的一台深度传感器还用于测量手持投影仪与用户所在空间墙壁之间的距离、角度关系；

计算机用于根据用户所在空间墙壁的三维信息构建虚拟墙壁，并根据虚拟墙壁对待展示图像进行重构，获得与虚拟墙壁宽高比例相一致的重构图像，再将重构图像用纹理贴图的方式映射在虚拟墙壁上，获得欲投影画面；计算机还用于根据手持投影仪与用户所在空间墙壁之间的距离、角度关系计算获得手持投影仪在用户所在空间墙壁的照射范围，并实时根据相应的欲投影画面生成对应于所述照射范围的投影画面；

手持投影仪用于将计算机生成的投影画面投射在用户所在空间墙壁上，随着用户在空间范围内的走动或者手臂动作的改变，实现探索式、沉浸式实景漫游。

所述待展示图像的获得方法为：

使用数码相机采集获取展示场景内的每一面墙壁的场景图像，所述每一面墙壁分别均匀分成若干个子区域，使用数码相机首先采集每一面墙壁的每一个子区域图像，并对所有子区域图像进行畸变校正，获得每一个子区域场景图像；再对每一面墙壁的所有子区域场景图像进行拼接，获得每一面墙壁的场景图像，作为一幅待展示图像；对每一面墙壁的待展示图像进行编号，存入场景图像数据库。

采用多个深度传感器测量获得用户所在空间墙壁的三维信息的具体方法为：

首先对多个深度传感器进行标定：在空间内放置棋盘格标定板，并多次移动棋盘格标定板的放置位置5-10次，棋盘格标定板的放置位置使所有深度传感器能够完整拍摄获得棋盘格标定板图像；每一次移动棋盘格标定板的放置位置时，采用所有深度传感器自带的彩色摄像头，分别同步拍摄获得棋盘格标定板图像；

然后计算深度传感器的变换矩阵，将多个深度传感器统一到共同的坐标系内：采用标定模块对所有拍摄获得的棋盘格标定板图像进行处理，指定多个深度传感器中的一台深度传感器作为基准深度传感器，以基准深度传感器拍摄获得的棋盘格标定板图像为基准，再根据其它深度传感器拍摄获得的棋盘格标定板图像计算获得所述其它深度传感器的旋转矩阵和平移矩阵，根据所述旋转矩阵和平移矩阵的相应参数，对所述其它深度传感器拍摄获得的棋盘格标定板图像进行坐标变换，将多个深度传感器统一到共同的坐标系内；

多个深度传感器首先测量获得用户所在空间墙壁的三维深度数据，使用处理函数将所述三维深度数据转换为三维点云形式，同时根据标定所得的旋转矩阵和平移矩阵对三维点云形式的坐标值进行变换，获得经过整合的三维点云数据集；

对三维点云数据集进行统计，计算获得用户所在空间的长度、宽度和高度，再估算获得用户所在空间各个墙壁的位置、大小，将所述用户所在空间作为由六面墙壁构成的方盒模型；由各个墙壁的位置、大小，计算获得方盒模型中每个顶点的坐标，进而建立方盒模型的几何模型，该几何模型在三维空间中与用户所在空间的大小相同，由此获得用户所在空间墙壁的三维信息。

获得欲投影画面的具体方法为：

将构成所述几何模型的六面墙壁作为虚拟墙壁，首先将场景图像数据库中待展示图像与虚拟墙壁进行配对：将每一面虚拟墙壁与每一张待展示图像进行编号，列举所有匹配方案，计算所有匹配方案中虚拟墙壁与待展示图像宽高比差值的绝对值之和最小的匹配方案作为配对的最优方案；

对待展示图像进行缩放、重排布处理与纹理贴图：将待展示图像根据纹理丰富程度、失真程度及展示重要程度划分为前景区域和背景区域；再对背景区域进行拉伸处理，使背景区域与相应虚拟墙壁的宽高比相符合，此时待展示图像中未被背景区域填充的部分成为没有实际图像内容的空洞区域；再根据前景区域与空洞区域的位置关系，将每一个前景区域对应的图像放置到相对应的空洞区域的中心位置，同时对前景区域进行等比例缩放，使其完全填满空洞区域，获得了重构图像；

由此，重构图像与虚拟墙壁具有了相等的宽高比，采用纹理贴图的方式，将重构图像映射在虚拟墙壁上，获得欲投影画面。

获得手持投影仪在用户所在空间墙壁的照射范围的具体方法为：

首先通过距离用户最近的一台深度传感器和人体骨骼识别模块对用户人体关节进行捕捉和跟踪，获取用户持有手持投影仪一侧手臂的掌心与肘关节的空间坐标，根据二者的空间坐标确定一条射线，并视该射线与手持投影仪光心射出光线的中轴线重合；

建立以手持投影仪所在位置为原点的三维空间局部坐标系：将持有手持投影仪一侧手臂的掌心位置作为手持投影仪所在位置，视用户腕关节与肘关节的连线与手持投影仪光心射出的光线平行；

设定腕关节在世界坐标系中的坐标为(x_w,y_w,z_w)，肘关节在世界坐标系中的坐标为(x_e,y_e,z_e)，根据二者的坐标之差计算获得向量n₀：

n₀＝[(x_e-x_w),(y_e-y_w),(z_e-z_w)]，

其中n₀的方向与手持投影仪射出的光线方向相反；

在世界坐标系中，选取竖直方向向量(0,1,0)，则获得向量u₀为：

u₀＝(0,1,0)×n₀，

u₀垂直于向量n₀；

再根据向量u₀、n₀，获得向量v₀：

v₀＝n₀×u₀，

v₀分别垂直于向量u₀、n₀；

基于向量n₀、u₀和v₀构建一个右手坐标系，则该右手坐标系的原点为(x_w,y_w,z_w)；

将向量n₀、u₀和v₀标准化，获得相应的向量n、u和v，则在世界坐标系xyz中向量n、u和v的坐标分别为(x_u,y_u,z_u)、(x_v,y_v,z_v)、(x_n,y_n,z_n)；由此获得将世界坐标系xyz中的坐标点转换为局部坐标系uvn中坐标点的转换矩阵C：

世界坐标系xyz中的任意一点(x,y,z)可以先转换为齐次坐标的形式P(x,y,z,1)，再与转换矩阵C相乘，得到局部坐标系uvn中相对应的点P′＝C×P；

计算对应于所述照射范围的投影画面的顶点：

手持投影仪的画面宽度W、高度H与投影距离L之间呈比例关系(W:H:L)，比例关系(W:H:L)根据手持投影仪的规格参数获得；

局部坐标系uvn中的投影面呈四边形，它的四个顶点与坐标原点构成一个四棱锥，其中四条侧棱的方向向量，根据画面宽度W、高度H与投影距离L求解获得为：

同时根据用户所在空间墙壁的表达式，获得用户所在空间墙壁平面的法向量(a₀,b₀,c₀)和其中一点的坐标(d₀,e₀,f₀)，并将其转换为局部坐标系uvn中的向量(a,b,c)和点坐标(d,e,f)；

由上述数据，计算获得所述照射范围的投影画面的顶点坐标，即四棱锥侧棱与用户所在空间墙壁平面的交点坐标；即获得手持投影仪在(x_w,y_w,z_w)的位置上，以向量n的反方向向目标墙壁进行投影的照射范围。

计算获得所述照射范围的投影画面的顶点坐标的具体方法为：

对于四棱锥侧棱的每一条侧棱，首先计算获得侧棱的方向向量(i,j,k)，计算获得参数t：

再分别计算获得每一条侧棱与相应虚拟墙壁的交点坐标(u′,v′,n′)：

u′＝i·t

v′＝j·t；

n′＝k·t

再将交点坐标(u′,v′,n′)以齐次坐标Q(u′,v′,n′,1)的形式表示出来，根据转换矩阵C的逆矩阵C^-1计算获得世界坐标系xyz中的相应的坐标Q′(x′,y′,z′,1)：

Q′＝C^-1×Q；

分别计算获得局部坐标系uvn中的四边形投影面的四个顶点的坐标。

实时根据相应的欲投影画面生成对应于所述照射范围的投影画面的具体方法为：

根据计算获得的目标墙壁的照射范围，截取欲投影画面在所述照射范围内的图像，采用透视变换的方法，对截取图像的分辨率与宽高比进行变换，获得失真的矩形图像，使该失真的矩形图像与手持投影仪的输出规格相一致，获得对应于所述照射范围的投影画面。

本发明的优点：本发明利用手持投影仪，在用户所处房间，如教室、客厅等的墙壁上投射模拟影像，通过计算投影仪光线在室内所照射的范围，实时生成在这一范围内被展示空间所对应的画面，并投射在墙壁上，从而营造出被展示空间，如展览馆、古建筑内的视觉效果，完成对被展示空间的探索式视觉重现。

本发明的系统首先通过深度传感器测量用户所在房间墙壁的三维信息，根据这些信息，构建出若干面大小、比例与真实墙壁相同的虚拟墙壁。然后，系统根据待展示的图像与虚拟墙壁的长宽比例关系，对图像与墙壁进行配对，为每一幅图像分配到与之比例相近的墙壁。随后根据墙壁的宽高比例，对待展示图像进一步进行重构，使图像的宽高比例完全符合墙壁的宽高比例，然后用纹理贴图的方式将图像贴在虚拟墙壁上。

使用时，用户手持投影仪在室内进行游览，系统经过测量与计算，得出投影仪与墙壁之间的距离、角度关系，计算出投影仪在墙壁上的照射范围，实时生成在这一范围内被展示空间所对应的投影画面，并投射在墙壁上。用户可以在空间范围内自由走动，通过变换投影仪的位置与角度，浏览不同区域的画面，进行探索式的、沉浸式的“实景”漫游。

本发明系统的实施无需专业的设备和场地，可任意选择用户空间进行展示，它通过实时的画面处理实现了与不同空间相匹配的情景展示，具有成本低、真实性强的特点。

附图说明

图1是本发明所述基于深度摄像机的手持CAVE投影系统的投影示意图；图中A表示经过计算获得的投影画面，图中B表示实际的投影区域；

图2是所述基于深度摄像机的手持CAVE投影系统的原理框图；

图3将待展示图像划分为前景区域和背景区域的示意图；

图4是将待展示图像的背景区域进行处理的示意图；

图5是获得重构图像的示意图。

具体实施方式

具体实施方式一：下面结合图1和图2说明本实施方式，本实施方式所述基于深度摄像机的手持CAVE投影系统，它包括手持投影仪1、计算机2和多个深度传感器3，

多个深度传感器3用于测量获得用户所在空间墙壁的三维信息；同时，距离用户最近的一台深度传感器3还用于测量手持投影仪1与用户所在空间墙壁之间的距离、角度关系；

计算机2用于根据用户所在空间墙壁的三维信息构建虚拟墙壁，并根据虚拟墙壁对待展示图像进行重构，获得与虚拟墙壁宽高比例相一致的重构图像，再将重构图像用纹理贴图的方式映射在虚拟墙壁上，获得欲投影画面；计算机2还用于根据手持投影仪1与用户所在空间墙壁之间的距离、角度关系计算获得手持投影仪1在用户所在空间墙壁的照射范围，并实时根据相应的欲投影画面生成对应于所述照射范围的投影画面；

手持投影仪1用于将计算机2生成的投影画面投射在用户所在空间墙壁上，随着用户在空间范围内的走动或者手臂动作的改变，实现探索式、沉浸式实景漫游。

本实施方式中手持投影仪1通过HDMI接口与计算机通信，使用电池或电源连接线进行供电；深度传感器通过USB接口与计算机通信，使用电源连接线供电。受到深度传感器的传感范围与视角限制，系统中深度传感器的数量可根据空间大小进行相应的增减。计算机的计算处理过程通过标定、测量、空间匹配、计算、显示等功能模块实现。

所述的纹理贴图是在三维软件中使用纹理贴图技术将重构图像直接贴在虚拟三维空间中。即先形成一个虚拟的带贴图的空间，然后测量投影仪的位置与朝向，结合投影仪的投射范围，将在该位置该朝向的虚拟墙面，在投影仪覆盖范围内的区域显示出来。如同在漆黑的洞穴里，用手电照亮墙上的壁画的道理。

具体实施方式二：本实施方式对实施方式一作进一步说明，所述待展示图像的获得方法为：

使用数码相机采集获取展示场景内的每一面墙壁的场景图像，所述每一面墙壁分别均匀分成若干个子区域，使用数码相机首先采集每一面墙壁的每一个子区域图像，并对所有子区域图像进行畸变校正，获得每一个子区域场景图像；再对每一面墙壁的所有子区域场景图像进行拼接，获得每一面墙壁的场景图像，作为一幅待展示图像；对每一面墙壁的待展示图像进行编号，存入场景图像数据库。

本实施方式是对被展示空间的图像信息采集，通过对文物古迹、展览馆等实地场景进行拍摄和图像后期处理，以获取待展示的图像信息。

采用数码相机采集场景图像时，为保证图像具有较高的分辨率，对于一面墙壁，首先将其分为若干小区域，然后分别对每一区域的图像进行采集。数码相机的拍摄角度应保证与墙面相平，同时保持不变的距离和焦距。为减少图像畸变，应根据相机镜头参数对图像进行软件校正；也可以在拍摄的过程中，在墙面放置标定模板，根据模板上特征点与其理想点的偏差，计算出畸变系数，然后对图像进行软件校正。

再利用图像拼接技术，对各个区域的图像进行拼接，对于每一面墙壁，都拼接出一幅相对应的完整图像。然后对这些图像进行编号，存入数据库中以备调用。

具体实施方式三：本实施方式对实施方式二作进一步说明，采用多个深度传感器3测量获得用户所在空间墙壁的三维信息的具体方法为：

首先对多个深度传感器3进行标定：在空间内放置棋盘格标定板，并多次移动棋盘格标定板的放置位置5-10次，棋盘格标定板的放置位置使所有深度传感器3能够完整拍摄获得棋盘格标定板图像；每一次移动棋盘格标定板的放置位置时，采用所有深度传感器3自带的彩色摄像头，分别同步拍摄获得棋盘格标定板图像；

然后计算深度传感器3的变换矩阵，将多个深度传感器3统一到共同的坐标系内：采用标定模块对所有拍摄获得的棋盘格标定板图像进行处理，指定多个深度传感器3中的一台深度传感器作为基准深度传感器，以基准深度传感器拍摄获得的棋盘格标定板图像为基准，再根据其它深度传感器拍摄获得的棋盘格标定板图像计算获得所述其它深度传感器的旋转矩阵和平移矩阵，根据所述旋转矩阵和平移矩阵的相应参数，对所述其它深度传感器拍摄获得的棋盘格标定板图像进行坐标变换，将多个深度传感器3统一到共同的坐标系内；

多个深度传感器3首先测量获得用户所在空间墙壁的三维深度数据，使用处理函数将所述三维深度数据转换为三维点云形式，同时根据标定所得的旋转矩阵和平移矩阵对三维点云形式的坐标值进行变换，获得经过整合的三维点云数据集；

对三维点云数据集进行统计，计算获得用户所在空间的长度、宽度和高度，再估算获得用户所在空间各个墙壁的位置、大小，将所述用户所在空间作为由六面墙壁构成的方盒模型；由各个墙壁的位置、大小，计算获得方盒模型中每个顶点的坐标，进而建立方盒模型的几何模型，该几何模型在三维空间中与用户所在空间的大小相同，由此获得用户所在空间墙壁的三维信息。

本实施方式是对深度传感器的标定，由于要通过深度传感器感知用户身体关节和动作及获得用户所在空间墙壁的三维信息，而受到可视距离和视角范围的限制，深度传感器只能获取一定空间范围内的信息，因此需要使用多台深度传感器进行协同工作。由于需要整合多台深度传感器的深度信息，系统首先需要进行多传感器标定。目前的深度传感器除了具有红外摄像头之外，也都具有彩色摄像头。本实施方式使用彩色摄像头进行多传感器标定，采用黑白棋盘格标定板作为标定物。

多传感器标定的第一步是在空间内放置标定板，可选用A2大小的8×7棋盘格标定板，放置标定板时，应保证所有的深度传感器都可以将其完整拍摄下来。然后在房间内变换标定板的位置和角度，使用深度摄像机自带的彩色摄像头，对棋盘格标定板进行同步拍摄，每台传感器分别拍摄5-10幅图像。

计算深度传感器的变换矩阵：

将上一步采集到的图像导入至标定程序中，设定一台传感器为基准传感器，通过计算得出其它传感器相应的旋转矩阵和平移矩阵。根据这些参数，可以对其它传感器所采集到的深度数据进行坐标变换，统一到共同的坐标系内。

再通过对墙面的侦测，完成对整个房间三维信息的估算。

系统首先使用处理函数，将深度数据由深度图像形式转换为三维点云形式，同时根据标定所得的变换矩阵对点云的坐标值进行变换，得到一个经过整合的三维点云数据集。

再根据点云信息构建场景几何模型：

通过对上一步所得的点云信息进行统计，可以求出房间的长度、宽度和高度，估算出各墙面的位置、大小。而用户所在的房间可以看作是一个由六面墙壁构成的方盒模型，根据墙面的位置、大小，可以求出方盒模型中每个顶点的坐标，进而建立整个房间的几何模型。考虑到传感器的误差，系统对房间的点云信息进行50次测量，根据均值计算房间的长度、宽度和高度。得到以上数据后，系统使用计算机图形接口在三维空间中创建出一个大小与真实空间相同的方盒模型。

对多个深度传感器3进行标定使用的棋盘格标定板图像采用其彩色摄像头进行拍摄获得。

具体实施方式四：下面结合图3至图5说明本实施方式，本实施方式对实施方式三作进一步说明，获得欲投影画面的具体方法为：

将构成所述几何模型的六面墙壁作为虚拟墙壁，首先将场景图像数据库中待展示图像与虚拟墙壁进行配对：将每一面虚拟墙壁与每一张待展示图像进行编号，列举所有匹配方案，计算所有匹配方案中虚拟墙壁与待展示图像宽高比差值的绝对值之和最小的匹配方案作为配对的最优方案；

对待展示图像进行缩放、重排布处理与纹理贴图：将待展示图像根据纹理丰富程度、失真程度及展示重要程度划分为前景区域和背景区域；再对背景区域进行拉伸处理，使背景区域与相应虚拟墙壁的宽高比相符合，此时待展示图像中未被背景区域填充的部分成为没有实际图像内容的空洞区域；再根据前景区域与空洞区域的位置关系，将每一个前景区域对应的图像放置到相对应的空洞区域的中心位置，同时对前景区域进行等比例缩放，使其完全填满空洞区域，获得了重构图像；

由此，重构图像与虚拟墙壁具有了相等的宽高比，采用纹理贴图的方式，将重构图像映射在虚拟墙壁上，获得欲投影画面。

为虚拟展示空间生成展示内容：

虚拟展示空间由若干面虚拟墙壁构成。此步骤的目的是根据所采集的数据，为每一幅待展示图像分配与之比例相似的墙壁，经过处理，将图像贴虚拟墙壁上，生成虚拟展示空间的展示内容。

对待展示图像与虚拟墙壁进行配对：

例如某一虚拟展示空间由四面虚拟墙壁构成，每一面墙壁对应着一幅图像。系统首先对每一面墙壁和每一张待展示图像进行编号，然后列举出所有的匹配方案。对于墙壁和图像而言，二者的宽高比越接近，匹配程度越高。对于每一种匹配方案，本实施方式通过计算出其中每一对匹配结果的宽高比差值的绝对值之和，选取绝对值之和最小的匹配方案作为最优方案。

对待展示的图像进行缩放、重排布处理与纹理贴图：

对待展示图像与虚拟墙壁进行配对后，图像与墙壁的宽高比可能仍然存在着较大的差距。如果对图像进行不等比缩放，会造成影像失真，因此系统需要预先对影像内容进行重排布处理。首先将影像划分为前景区域和背景区域，把影像中纹理不丰富、受失真影像小、不作为展示重要内容的区域，如白色墙面，划为背景区域；把影像中一些纹理丰富、受失真影响大的展示内容，如绘画、书法作品等划为前景区域。

划分完成后，系统首先对背景区域进行拉伸处理，使背景区域符合墙壁的宽高比。此时原图中没有被背景区域填充的部分就变为了一些没有实际图像内容的空洞区域。然后系统根据前景区域与空洞区域的位置关系，将每一个前景区域的图像放置到相对应的空洞区域的中心位置，对前景区域图像进行等比例缩放，使其可以完全填满空洞区域。

经过处理，待展示图像与虚拟墙壁就具有了相等的宽高比，通过计算机图形接口，系统采用纹理贴图的方式，即可将处理后的图像贴至每一面虚拟墙壁上。

具体实施方式五：本实施方式对实施方式四作进一步说明，获得手持投影仪1在用户所在空间墙壁的照射范围的具体方法为：

首先通过距离用户最近的一台深度传感器3和人体骨骼识别模块对用户人体关节进行捕捉和跟踪，获取用户持有手持投影仪1一侧手臂的掌心与肘关节的空间坐标，根据二者的空间坐标确定一条射线，并视该射线与手持投影仪1光心射出光线的中轴线重合；

建立以手持投影仪1所在位置为原点的三维空间局部坐标系：将持有手持投影仪1一侧手臂的掌心位置作为手持投影仪1所在位置，视用户腕关节与肘关节的连线与手持投影仪1光心射出的光线平行；

设定腕关节在世界坐标系中的坐标为(x_w,y_w,z_w)，肘关节在世界坐标系中的坐标为(x_e,y_e,z_e)，根据二者的坐标之差计算获得向量n₀：

n₀＝[(x_e-x_w),(y_e-y_w),(z_e-z_w)]，

其中n₀的方向与手持投影仪1射出的光线方向相反；

在世界坐标系中，选取竖直方向向量(0,1,0)，则获得向量u₀为：

u₀＝(0,1,0)×n₀，

u₀垂直于向量n₀；

再根据向量u₀、n₀，获得向量v₀：

v₀＝n₀×u₀，

v₀分别垂直于向量u₀、n₀；

基于向量n₀、u₀和v₀构建一个右手坐标系，则该右手坐标系的原点为(x_w,y_w,z_w)；

将向量n₀、u₀和v₀标准化，获得相应的向量n、u和v，则在世界坐标系xyz中向量n、u和v的坐标分别为(x_u,y_u,z_u)、(x_v,y_v,z_v)、(x_n,y_n,z_n)；由此获得将世界坐标系xyz中的坐标点转换为局部坐标系uvn中坐标点的转换矩阵C：

世界坐标系xyz中的任意一点(x,y,z)可以先转换为齐次坐标的形式P(x,y,z,1)，再与转换矩阵C相乘，得到局部坐标系uvn中相对应的点P′＝C×P；

计算对应于所述照射范围的投影画面的顶点：

手持投影仪1的画面宽度W、高度H与投影距离L之间呈比例关系(W:H:L)，比例关系(W:H:L)根据手持投影仪1的规格参数获得；

局部坐标系uvn中的投影面呈四边形，它的四个顶点与坐标原点构成一个四棱锥，其中四条侧棱的方向向量，根据画面宽度W、高度H与投影距离L求解获得为：

同时根据用户所在空间墙壁的表达式，获得用户所在空间墙壁平面的法向量(a₀,b₀,c₀)和其中一点的坐标(d₀,e₀,f₀)，并将其转换为局部坐标系uvn中的向量(a,b,c)和点坐标(d,e,f)；

由上述数据，计算获得所述照射范围的投影画面的顶点坐标，即四棱锥侧棱与用户所在空间墙壁平面的交点坐标；即获得手持投影仪1在(x_w,y_w,z_w)的位置上，以向量n的反方向向目标墙壁进行投影的照射范围。

本实施方式是对欲投影画面的计算与显示：

首先模拟手持投影仪光线方向：

通过深度传感器和人体骨骼识别中间件对人体关节进行捕捉和跟踪，获取人体持有投影仪一侧手臂的掌心与肘关节的空间坐标，根据二者坐标确定一条射线，可近似将该射线视为与投影仪光心射出光线的中轴线重合。如果使用多台深度传感器，则以距用户最近的一台传感器的测量数据为准。

然后计算投影面空间范围：

首先建立以手持投影仪所在位置为原点的局部坐标系：人体手部位置可近似看作投影仪所在位置，腕关节与肘关节的连线可近似看作与投影仪光心射出的光线平行；

然后求投影面的顶点。

具体实施方式六：本实施方式对实施方式五作进一步说明，计算获得所述照射范围的投影画面的顶点坐标的具体方法为：

对于四棱锥侧棱的每一条侧棱，首先计算获得侧棱的方向向量(i,j,k)，计算获得参数t：

再分别计算获得每一条侧棱与相应虚拟墙壁的交点坐标(u′,v′,n′)：

u′＝i·t

v′＝j·t；

n′＝k·t

再将交点坐标(u′,v′,n′)以齐次坐标Q(u′,v′,n′,1)的形式表示出来，根据转换矩阵C的逆矩阵C^-1计算获得世界坐标系xyz中的相应的坐标Q′(x′,y′,z′,1)：

Q′＝C^-1×Q；

分别计算获得局部坐标系uvn中的四边形投影面的四个顶点的坐标。

具体实施方式七：本实施方式对实施方式六作进一步说明，实时根据相应的欲投影画面生成对应于所述照射范围的投影画面的具体方法为：

根据计算获得的目标墙壁的照射范围，截取欲投影画面在所述照射范围内的图像，采用透视变换的方法，对截取图像的分辨率与宽高比进行变换，获得失真的矩形图像，使该失真的矩形图像与手持投影仪1的输出规格相一致，获得对应于所述照射范围的投影画面。

本实施方式是对欲投影画面的校正与输出：在计算出投影面范围后，系统截取虚拟墙壁在这一范围内的图像。此时图像的范围可能为不规则四边形，对此，系统使用透视变换的方法，对图像的分辨率与宽高比进行变换，使其变为一幅失真的矩形图像，与投影仪的输出规格相一致。再将此画面输出至投影仪上，投至房间的墙面，画面将重新呈现为不失真的不规则四边形。用户如果在空间范围内走动或者改变手臂动作，投影仪的画面将会实时产生变化，实现探索式的沉浸漫游。

Claims (6)

1.一种基于深度摄像机的手持CAVE投影系统，它包括手持投影仪(1)、计算机(2)和多个深度传感器(3)；

多个深度传感器(3)用于测量获得用户所在空间墙壁的三维信息；同时，距离用户最近的一台深度传感器(3)还用于测量手持投影仪(1)与用户所在空间墙壁之间的距离、角度关系；

计算机(2)用于根据用户所在空间墙壁的三维信息构建虚拟墙壁，并根据虚拟墙壁对待展示图像进行重构，获得与虚拟墙壁宽高比例相一致的重构图像，再将重构图像用纹理贴图的方式映射在虚拟墙壁上，获得欲投影画面；计算机(2)还用于根据手持投影仪(1)与用户所在空间墙壁之间的距离、角度关系计算获得手持投影仪(1)在用户所在空间墙壁的照射范围，并实时根据相应的欲投影画面生成对应于所述照射范围的投影画面；

手持投影仪(1)用于将计算机(2)生成的投影画面投射在用户所在空间墙壁上，随着用户在空间范围内的走动或者手臂动作的改变，实现探索式、沉浸式实景漫游；

其特征在于，采用多个深度传感器(3)测量获得用户所在空间墙壁的三维信息的具体方法为：

首先对多个深度传感器(3)进行标定：在空间内放置棋盘格标定板，并多次移动棋盘格标定板的放置位置5-10次，棋盘格标定板的放置位置使所有深度传感器(3)能够完整拍摄获得棋盘格标定板图像；每一次移动棋盘格标定板的放置位置时，采用所有深度传感器(3)自带的彩色摄像头，分别同步拍摄获得棋盘格标定板图像；

然后计算深度传感器(3)的变换矩阵，将多个深度传感器(3)统一到共同的坐标系内：采用标定模块对所有拍摄获得的棋盘格标定板图像进行处理，指定多个深度传感器(3)中的一台深度传感器作为基准深度传感器，以基准深度传感器拍摄获得的棋盘格标定板图像为基准，再根据其它深度传感器拍摄获得的棋盘格标定板图像计算获得所述其它深度传感器的旋转矩阵和平移矩阵，根据所述旋转矩阵和平移矩阵的相应参数，对所述其它深度传感器拍摄获得的棋盘格标定板图像进行坐标变换，将多个深度传感器(3)统一到共同的坐标系内；

多个深度传感器(3)首先测量获得用户所在空间墙壁的三维深度数据，使用处理函数将所述三维深度数据转换为三维点云形式，同时根据标定所得的旋转矩阵和平移矩阵对三维点云形式的坐标值进行变换，获得经过整合的三维点云数据集；

对三维点云数据集进行统计，计算获得用户所在空间的长度、宽度和高度，再估算获得用户所在空间各个墙壁的位置、大小，将所述用户所在空间作为由六面墙壁构成的方盒模型；由各个墙壁的位置、大小，计算获得方盒模型中每个顶点的坐标，进而建立方盒模型的几何模型，该几何模型在三维空间中与用户所在空间的大小相同，由此获得用户所在空间墙壁的三维信息。

2.根据权利要求1所述的基于深度摄像机的手持CAVE投影系统，其特征在于，所述待展示图像的获得方法为：

使用数码相机采集获取展示场景内的每一面墙壁的场景图像，所述每一面墙壁分别均匀分成若干个子区域，使用数码相机首先采集每一面墙壁的每一个子区域图像，并对所有子区域图像进行畸变校正，获得每一个子区域场景图像；再对每一面墙壁的所有子区域场景图像进行拼接，获得每一面墙壁的场景图像，作为一幅待展示图像；对每一面墙壁的待展示图像进行编号，存入场景图像数据库。

3.根据权利要求1所述的基于深度摄像机的手持CAVE投影系统，其特征在于，获得欲投影画面的具体方法为：

将构成所述几何模型的六面墙壁作为虚拟墙壁，首先将场景图像数据库中待展示图像与虚拟墙壁进行配对：将每一面虚拟墙壁与每一张待展示图像进行编号，列举所有匹配方案，计算所有匹配方案中虚拟墙壁与待展示图像宽高比差值的绝对值之和最小的匹配方案作为配对的最优方案；

对待展示图像进行缩放、重排布处理与纹理贴图：将待展示图像根据纹理丰富程度、失真程度及展示重要程度划分为前景区域和背景区域；再对背景区域进行拉伸处理，使背景区域与相应虚拟墙壁的宽高比相符合，此时待展示图像中未被背景区域填充的部分成为没有实际图像内容的空洞区域；再根据前景区域与空洞区域的位置关系，将每一个前景区域对应的图像放置到相对应的空洞区域的中心位置，同时对前景区域进行等比例缩放，使其完全填满空洞区域，获得了重构图像；

由此，重构图像与虚拟墙壁具有了相等的宽高比，采用纹理贴图的方式，将重构图像映射在虚拟墙壁上，获得欲投影画面。

4.根据权利要求3所述的基于深度摄像机的手持CAVE投影系统，其特征在于，获得手持投影仪(1)在用户所在空间墙壁的照射范围的具体方法为：

首先通过距离用户最近的一台深度传感器(3)和人体骨骼识别模块对用户人体关节进行捕捉和跟踪，获取用户持有手持投影仪(1)一侧手臂的掌心与肘关节的空间坐标，根据二者的空间坐标确定一条射线，并视该射线与手持投影仪(1)光心射出光线的中轴线重合；

建立以手持投影仪(1)所在位置为原点的三维空间局部坐标系：将持有手持投影仪(1)一侧手臂的掌心位置作为手持投影仪(1)所在位置，视用户腕关节与肘关节的连线与手持投影仪(1)光心射出的光线平行；

设定腕关节在世界坐标系中的坐标为(x_w,y_w,z_w)，肘关节在世界坐标系中的坐标为(x_e,y_e,z_e)，根据二者的坐标之差计算获得向量n₀：

n₀＝[(x_e-x_w),(y_e-y_w),(z_e-z_w)]，

其中n₀的方向与手持投影仪(1)射出的光线方向相反；

在世界坐标系中，选取竖直方向向量(0,1,0)，则获得向量u₀为：

u₀＝(0,1,0)×n₀，

u₀垂直于向量n₀；

再根据向量u₀、n₀，获得向量v₀：

v₀＝n₀×u₀，

v₀分别垂直于向量u₀、n₀；

基于向量n₀、u₀和v₀构建一个右手坐标系，则该右手坐标系的原点为(x_w,y_w,z_w)；

将向量n₀、u₀和v₀标准化，获得相应的向量n、u和v，则在世界坐标系xyz中向量n、u和v的坐标分别为(x_n,y_n,z_n)、(x_u,y_u,z_u)、(x_v,y_v,z_v)；由此获得将世界坐标系xyz中的坐标点转换为局部坐标系uvn中坐标点的转换矩阵C：

$C=\left|\begin{array}{cccc}{x}_u& y_u& z_u& 0\\ x_v& y_v& z_v& 0\\ x_n& y_n& z_n& 0\\ 0& 0& 0& 1\end{array}\right|\×\left|\begin{array}{cccc}1& 0& 0& -x_w\\ 0& 1& 0& -y_w\\ 0& 0& 1& -z_w\\ 0& 0& 0& 1\end{array}\right|;$

世界坐标系xyz中的任意一点(x,y,z)可以先转换为齐次坐标的形式P(x,y,z,1)，再与转换矩阵C相乘，得到局部坐标系uvn中相对应的点P′＝C×P；

计算对应于所述照射范围的投影画面的顶点：

手持投影仪(1)的画面宽度W、高度H与投影距离L之间呈比例关系(W:H:L)，比例关系(W:H:L)根据手持投影仪(1)的规格参数获得；

局部坐标系uvn中的投影面呈四边形，它的四个顶点与坐标原点构成一个四棱锥，其中四条侧棱的方向向量，根据画面宽度W、高度H与投影距离L求解获得为：

同时根据用户所在空间墙壁的表达式，获得用户所在空间墙壁平面的法向量(a₀,b₀,c₀)和其中一点的坐标(d₀,e₀,f₀)，并将其转换为局部坐标系uvn中的向量(a,b,c)和点坐标(d,e,f)；

由上述数据，计算获得所述照射范围的投影画面的顶点坐标，即四棱锥侧棱与用户所在空间墙壁平面的交点坐标；即获得手持投影仪(1)在(x_w,y_w,z_w)的位置上，以向量n的反方向向目标墙壁进行投影的照射范围。

5.根据权利要求4所述的基于深度摄像机的手持CAVE投影系统，其特征在于，计算获得所述照射范围的投影画面的顶点坐标的具体方法为：

对于四棱锥侧棱的每一条侧棱，首先计算获得侧棱的方向向量(i,j,k)，计算获得参数t：

$t=\frac{d\·a+e\·b+f\·c}{a\·i+b\·j+c\·k};$

再分别计算获得每一条侧棱与相应虚拟墙壁的交点坐标(u′,v′,n′)：

$\begin{array}{c}{u}^{\′}=i\·t\\ v^{\′}=j\·t\\ n^{\′}=k\·t\end{array};$

再将交点坐标(u′,v′,n′)以齐次坐标Q(u′,v′,n′,1)的形式表示出来，根据转换矩阵C的逆矩阵C^-1计算获得世界坐标系xyz中的相应的坐标Q′(x′,y′,z′,1)：

Q′＝C^-1×Q；

分别计算获得局部坐标系uvn中的四边形投影面的四个顶点的坐标。

6.根据权利要求5所述的基于深度摄像机的手持CAVE投影系统，其特征在于，实时根据相应的欲投影画面生成对应于所述照射范围的投影画面的具体方法为：

根据计算获得的目标墙壁的照射范围，截取欲投影画面在所述照射范围内的图像，采用透视变换的方法，对截取图像的分辨率与宽高比进行变换，获得失真的矩形图像，使该失真的矩形图像与手持投影仪(1)的输出规格相一致，获得对应于所述照射范围的投影画面。