CN113436559A - 一种沙盘动态景观实时显示系统及显示方法 - Google Patents

Abstract

本发明涉及一种沙盘动态景观实时显示系统及显示方法，Kinect采集模块采集沙盘多角度的深度图；由像素的深度信息生成沙盘三维模型，采用Unity虚拟仿真技术将沙盘三维立体模型俯视图在第一客户端显示，由投影模块投影至沙盘，第二客户端用来展示三维立体沙盘模型。本发明结合Unity与Kinect实时进行投影AR沙盘，且分离为多个操作端，不仅可以投影在沙盘上，还可以在另一个操作端，以三维的显示方式进行具体操作。本发明可以实时根据沙盘内，沙子的形状变化，产生对应的投影，对应的模型，且在操作端内进行缩放，旋转，查看等高线等操作。本发明利用最新Unityshader技术，获得了更加贴近现实的画面。

Description

一种沙盘动态景观实时显示系统及显示方法

技术领域

本发明涉及测绘领域，尤其涉及一种沙盘动态景观实时显示系统及显示方法。

背景技术

Unity虚拟仿真技术是一种市面上很成熟的面向虚拟仿真项目的开发技术。Kinect2.0开发则是多用于主机平台，动作捕捉，人机互动领域的开发。

当前，虚拟仿真项目对于教学领域来说，日渐趋近于高端化，精准化，实时化。满足教育类行业虚拟仿真，让学生可以跟随教师的操作，更加立体直观的学习专业知识。但市面上，很少有类似的可以满足这些需求的产品，并且市面上的虚拟仿真产品大多停留在视觉效果层面，未针对实际教学科研技术做定制化开发。

AR Sandbox是由美国California大学Davis分校的Keck W.M.地球科学动态可视化中心(KeckCAVES)研发的。关于AR Sandbox的具体介绍和发展历程详见KeckCAVES网站(http：//kechcaves.org/)，在此不做详细介绍。2018年12月，AR Sandbox被安装于湖南文理学院资源环境与旅游学院地理科学专业实验室。

AR Sandbox是一种允许用户亲自动手操作且实时观测的展示工具。用户可根据自己构思及设想在沙箱中利用沙子塑造各种地形地貌，如山地、沟谷、农田、城市群落等。在此基础上，3D動态感应摄像头获取沙子表面基于沙箱底部的高差变化，并基于电脑可视化软件自动计算沙子地貌的等高线，随后将等高线和用以表示不同海拔高度的颜色图形利用超短焦距投影仪对沙区进行投影，从而生成地形海拔及等高线等信息可视化的实时模拟地貌。当用户用手或铲子改变沙子地貌，3D摄像头会及时获取这些变化并将变化后的等高线及不同海拔的颜色重新投影到沙区。

然而，该技术存在以下缺点：

(1)该技术应用的是Kinect1.0技术及Linux操作系统的电脑，对于Kinect1.0市场上早已淘汰，现在大多数用Kinect2.0，而Linux系统对于大多数windows用户也极其不友好。

(2)该技术的投影项目虽然实现了实时获取沙盘高度而投影，但未免功能过于单调，且只能在沙盘上看到，现在越来越多的用户希望在另一个客户端，可以更加全面的，多角度的观察沙盘中的地形。

(3)由于是美国大学开发的，其定制化，可扩展性开发都有其限制，且不利于商业化推广。

(4)该技术本质上是通过深度镜头获取图像的深度值，色差，来判断点像素的高度差值，从而建立模型，不符合摄影测量学三维影像的应用技术的表现

市面上大多数可投影的软件都采用第一个客户端负责投影仪的投影画面，没有分出第二个客户端，在第二个客户端进行更加详细的操作，如缩放，旋转，移动，查看等高线。

发明内容

为了让摄影测量技术能够更加直观明朗地展示，本发明提供沙盘动态景观实时显示系统及显示方法，可以更好的让教师，或其他专业讲解人员，对于地形沙盘实时操作，方便其实时讲解，且在另一个客户端下，更加直观具体，多角度的看到地形沙盘或是其高度的展示。

为达到上述目的，本发明提供了一种沙盘动态景观实时显示系统，包括Kinect采集模块、投影模块、以及第一客户端主控模块；

所述Kinect采集模块采集物理沙盘的彩色图像，转换为深度图；

所述第一客户端包括主控模块及显示模块；所述主控模块，由所述深度图生成表征各个像素点高度信息的一维数组，采用Unity引擎由所述一维数组生成与物理沙盘成一定比例的虚拟三维立体模型沙盘，将其顶部俯视图在第一客户端显示模块显示,并由所述投影模块投影至物理沙盘。

进一步地，所述Kinect采集模块，采集模块采集物理沙盘的彩色图像，转换为深度图，所述深度图表征为二维点云矩阵，以特定速度生成景深图像流，发送至所述主控模块。

进一步地，还包括若干第二客户端，每个第二客户端包括主控模块及显示模块；第二客户端的主控模块，由所述深度图生成表征各个像素点高度信息的一维数组，进行插值后，采用Unity引擎生成与物理沙盘成一定比例的虚拟三维立体模型沙盘，并在第二客户端显示模块显示。

进一步地，所述第二客户端包括指令接收模块接收用户指令；当接收到旋转或缩放指令后，对虚拟三维立体模型沙盘执行相应的旋转或缩放操作，第二客户端显示模块显示旋转或缩放操作后的虚拟三维立体模型沙盘；接收息图像切换指令后，利用UnityShader着色器，将虚拟三维立体沙盘模型转换为全息立体模型。

进一步地，生成的虚拟三维立体模型沙盘包括陆地，海洋，等高线模型；由数组提取各个像素点的深度信息，将Unity引擎模型中的预设mesh网格模型进行实时动态修改，高度高于第一设定阈值的部分形成山峰的像素点，未高于第一阈值未低于第二阈值且周围的与周围像素点之间的高度差值没有超过深度差值预设范围形成平原，低于第二阈值的像素点，则生成海洋。

进一步地，所述第一客户端和第二客户端的主控模块接收深度图后与前一段时间内的图像进行特征匹配，判断是否发生变化；如果深度图未发生变化，则不进行一维数组及虚拟三维立体模型沙盘的更新；如果深度图发生变化，则更新一维数组中发生变化的部分，更新虚拟三维立体模型沙盘。

另一方面提供一种沙盘动态景观实时显示方法，包括：

Kinect采集模块采集物理沙盘的彩色图像，转换为深度图；

第一客户端由所述深度图生成表征各个像素点高度信息的一维数组，采用Unity引擎由所述一维数组生成与物理沙盘成一定比例的虚拟三维立体模型沙盘，将其顶部俯视图在第一客户端显示,并由所述投影模块投影至物理沙盘。

进一步地，第二客户端由所述深度图生成表征各个像素点高度信息的一维数组，进行插值后，采用Unity引擎生成与物理沙盘成一定比例的虚拟三维立体模型沙盘，并在第二客户端显示。

进一步地，第二客户端接收到旋转或放大指令后，对虚拟三维立体模型沙盘执行相应的旋转或放大操作，显示旋转或放大操作后的虚拟三维立体模型沙盘；接收息图像切换指令后，利用Unity Shader着色器，将虚拟三维立体沙盘模型转换为全息立体模型。

进一步地，生成的虚拟三维立体模型沙盘包括陆地，海洋以及等高线模型；由数组提取各个像素点的深度信息，将Unity引擎模型中的预设mesh网格模型进行实时动态修改，高度高于第一设定阈值的像素点形成山峰，未高于第一阈值未低于第二阈值且周围的与周围像素点之间的高度差值没有超过深度差值预设范围的像素点形成平原，低于第二阈值的像素点，形成海洋。

进一步地，所述第一客户端和第二客户端接收深度图后与前一段时间内的图像进行特征匹配，判断是否发生变化；如果深度图未发生变化，则不进行一维数组及虚拟三维立体模型沙盘的更新；如果深度图发生变化，则更新一维数组中发生变化的部分，更新虚拟三维立体模型沙盘。

本发明的上述技术方案具有如下有益的技术效果：

(1)本发明结合Unity与Kinect实时进行投影AR沙盘，且分离为多个操作端，不仅仅是可以投影在沙盘上，还可以在另一个操作端，以三维的显示方式进行具体操作。

(2)本发明可以实时根据沙盘内，沙子的形状变化，产生对应的投影，对应的模型，且在操作端内进行缩放、旋转、查看等高线等操作。

(3)本发明利用最新Unity Shader技术，获得了更加贴近现实的画面，且场景中沙盘中的沙子低于一定值，会出现水的效果，如波动。

(4)本发明先获取Kinect摄像头所拍摄的彩色图像，并基于彩色图像生成相对应的深度图像；再利用深度图像形成一维数组，利用Unity虚拟仿真技术通过一维数组进行三维模型重建，大大提高了建模速度。

(5)本发明通过特征匹配，判断图像是否发生变化以及发生变化的区域，如果发生变化则更新变化区域部分，未变化则无需更新，减少了计算量，降低了CPU的占用。

(6)本发明满足教育类行业虚拟仿真，使得学生可以跟随教师的操作，更加立体直观的学习专业知识。可应用于测绘工程专业、勘查技术与工程专业、地质学专业等教学和研究，具有广阔的市场前景。

附图说明

图1是沙盘动态景观实时显示系统组成示意图；

图2是沙盘动态景观实时显示系统整体布局示意图；

图3为第一客户端显示示意图；

图4(a)为第二客户端三维等高线显示示意图；图4(b)为第二客户端全息画面显示示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

本发明提供一种沙盘动态景观实时显示系统，如图1所示，包括Kinect采集模块、投影模块、通讯模块、第一客户端以及若干第二客户端。

Kinect采集模块采集沙盘多角度的深度图，获得深度信息。

Kinect采集模块包括采集物理沙盘的彩色图像，转换为黑白图像，获得深度图像。采用一个类来完成这一操作。这个类生成点云，将得到的点云以矩阵的形式存放起来，矩阵中每一个元素代表一个点，同时对应深度图中具有相同行列坐标的像素。而计算点云的方法，Kinect SDK自身有提供，即NuiTransformDepthImageToSkeleton()函数。该点云矩阵为二维数组，传送至第一及第二客户端。

相较于传统Kinect处理图像技术，本发明利用Kinect传感器每秒30帧的速度生成景深图像流，实时3D再现周围环境。Kinect处理图像信息，其中用到了摄影测量学中的共线方程，利用点投影系数的空间前方交会方法，空间坐标的相似变换方程，空间相似变换公式的线性化等投影技术，将图像的点阵信息，转化为数组值传递给计算机，进行深度处理。

Kinect v2采用了比Kinect v1更为先进的TOF技术。红外发射器主动投射经调制的近红外光线，红外光线照到视野里的物体上就会发生反射，红外相机接收反射回来的红外线，采用TOF技术测量深度，计算光的时间差(通常是通过相位差来计算的)，根据，可得物体的深度(即物体到深度相机的距离)。

由Kinect v2硬件设备，通过深度摄像机，先获取Kinect所实时拍摄到的彩色图像，这里由于Kinect硬件设备以被固定，故Kinect所拍摄到的实时图像是固定的俯视视角，再经过程序处理获得黑白深度图。本发明主要是利用Kinect v2的通用技术，获得到基础深度图像，再传递给Unity，通过C#脚本算法处理，将其变为三维立体模型的顶点信息，由此达到还原建模的效果。

第一客户端包括主控模块、显示模块，生成的图像用于显示模块显示，并由投影模块投影至物理沙盘。主控模块利用Kinect获得的像素的深度信息，生成沙盘三维模型，采用Unity虚拟仿真技术将现实世界中的物理沙盘以一定比例还原生成虚拟的三维立体模型沙盘，并将其顶部俯视图在第一客户端显示；所述投影模块投影至现实世界中的物理沙盘。主控模块例如为计算机，显示模块例如为计算机显示器。

主控模块处理流程如下：

(1)主控模块得到深度图后可以利用Unity引擎，首先对深度图像运用摄影测量学中的点特征提取算法，进行特征匹配，判断是否发生变化；如果深度图未发生变化，则不进行一维数组及虚拟三维立体模型沙盘的更新；如果深度图发生变化，则更新一维数组中发生变化的部分，更新虚拟三维立体模型沙盘，进入步骤(2)。

(2)主控模块得到深度图后，将深度图的二维数组转换为一维数组。Kinect返回的点云是结构化的，并不是无序点云，也就是说每一个点在空间中与其他点的相互关系我们是知道的。我们的点云是存放在一个矩阵中的，而且矩阵的大小与深度图完全一样(行x列)，因此我们将点云视为一幅图，每一个像素存放的是点的空间坐标。遍历点云图，从而得到空间中某一点的所有相邻点。存储到Unity中新建立的一维数组。

(3)进行三角化插值。可以在Unity对一维数组降噪平滑处理，为了使其边缘不被模糊掉，我们使用了中值滤波处理。得到一个锯齿感底的原始深度图像。

Unity引擎开始绘制，每画一个点就与它之前的两个点连成一个三角面。由此便建立好了最基础的模型。

(4)采用Unity引擎由所述一维数组生成与物理沙盘成一定比例的虚拟三维立体模型沙盘。

(5)将虚拟三维立体模型沙盘顶部俯视图在第一客户端显示模块显示,并由所述投影模块投影至物理沙盘。

最基础的模型并没有3D效果，利用了Unity美术技术给模型添加法线，考虑一个点周围所有的点，并使用最小二乘法来拟合一个最佳平面，这个平面的法向即为该点的法向。

生成沙盘三维模型，并添加显示元素，包括陆地，海洋，等高线等模型，提取体征点，高度信息和位置信息进行特征匹配，其中陆地模型是利用Unity中的C#脚本控制器，利用Kinect传递的一维含高度数值的数组数据，将Unity引擎模型中的预设mesh网格模型进行实时动态修改，数值较高的部分形成山峰，数值中等且周围没有差距过大的形成平原，数值较低的，低于一定预设数值，则生成海洋。

利用Unity虚拟仿真技术处理Kinect传递过来的信息，将实时建模反馈到计算机屏幕画面。为了确保模型的边缘锐角更圆滑，细腻，也为了模型生成更趋向于真实地貌，我们采用了摄影测量学中的数字微分纠正技术，其中包括框幅式中心投影影像的数字微分纠正，线性阵列扫描影像的数字纠正，立体正射影像对的制作等技术。数字微分纠正是指利用有关参数与数字地面模型和相应的构象方程式，按照一定的数学模型用控制点解算，从原始非正射投影的数字影像获取正射影像，这种过程是将影像化为很多微小的区域逐一纠正，本发明采用的该方法获取的正射图像。

投影模块，将计算机屏幕的画面投影到沙盘上，这样，沙盘会根据使用者的操作变化而变化。

通讯模块，将Kinect传递的深度图，发送至第一客户和第二客户端。利用socket网络通信技术，将Kinect传递过来的数据，同时传递给相同局域网下的第一、第二客户端，第二客户端承载了教师展示三维沙盘模型展示的功能操作。客户端中教师可进行，放大，缩小，旋转，移动，查看高度值，自定义旋转到指定旋转角度等一系列操作，并可切换到全息模式。

第二客户端可以为一个或多个，每个第二客户端包括主控模块、显示模块以及指令接收模块；第二客户端的主控模块，由所述深度图生成表征各个像素点高度信息的一维数组，进行插值后，采用Unity引擎生成与物理沙盘成一定比例的虚拟三维立体模型沙盘，并在第二客户端显示模块显示。

第二客户端主控模块生成虚拟三维立体模型沙盘的流程与第一客户端主控模块相同，但传输到显示模块显示的为整个虚拟三维立体模型。

所述第二客户端包括指令接收模块接收用户指令；当接收到旋转或放大指令后，对虚拟三维立体模型沙盘执行相应的旋转或放大操作，第二客户端显示模块显示旋转或放大操作后的虚拟三维立体模型沙盘；接收息图像切换指令后，利用Unity Shader着色器，将虚拟三维立体沙盘模型转换为全息立体模型。

第一个客户端是在显示投影内容，不能进行操作，第一客户端就是为了投影到现实的物理沙盘而设立的。而第二客户端则是为了让用户可以多角度，全方位的观察三维物体模型而制作的，第二客户端区分于第一客户端的只有固定模型的俯视图画面，第二客户端的摄像机视角为自由动态可调整的，且支持不限于旋转，放大，缩小，查看等高线，切换全息模式等操作。

在第二客户端查看高度值，会根据当前沙盘所堆砌的沙堆位置，实时反馈数据高度，且指定的位置会实时发生变化，高度值是根据真实沙堆锁堆砌的高度变化而变化，最高可精确到小数点后3位。

进一步地，在第一次启动的时候，需要先调整好投影仪，Kinect，沙盘的沙砾，然后根据投影沙盘的形状及颜色，可通过调节投影仪或调节程序内部预设的位置信息来达到校正投影位置的目的。

进一步地，利用C#脚本程序代码处理各个像素点之间的差值，如将相邻的模型点位利用平滑差值处理，使程序最终生成的三维模型更为平滑。

本发明为了解决用户可以更全面，多角度的观察沙盘的实时地形，采用双客户端设计，第一客户端用来投影到现实物理沙盘，第二客户端用来展示三维立体沙盘模型，其中第一客户端是通过Kinect深度摄像头拍摄到底部现实沙盘的实时彩色画面，经过黑白深度图像处理得到深度图，再传递给Unity程序，通过程序处理将深度图像素点的高度信息变为一维高度信息数组，最后由Unity的mesh动态生成模型脚本配合等高线Shader技术等将虚拟的三维模型先整个生成出来，并投影它的俯视图在现实沙盘上。而第二客户端，则在第一客户端的技术之上，生成三维立体沙盘模型，但并不用于投影，而是采用动态视角，让用户通过鼠标键盘等方式可以多角度，全方位的观察生成好的三维沙盘模型。

图2为盘动态景观实时显示系统的一个示例性硬件结构示意图，沙盘由支架构成，投影仪设置在沙盘上方向沙盘投影，Kinect摄像头通过支撑杆支撑，设置在沙盘侧上方。

另一方面提供沙盘动态景观实时显示方法：

(1)组装沙盘动态景观实时显示系统：

1.1Kinect采集模块连接计算机，投影模块连接计算机。

1.2将Kinect采集模块与投影模块校准沙盘对应的位置。

1.3Kinect采集模块与投影模块校准初始位置。在第一次启动的时候，需要先调整好投影仪，Kinect，沙盘的沙砾，然后根据投影沙盘的形状及颜色，可通过调节投影仪或调节程序内部预设的位置信息来达到校正投影位置的目的。

(2)Kinect采集模块获得沙盘彩色图像，转换为深度图，传递给第一、第二客户端。

Kinect处理图像信息，其中用到了摄影测量学中的共线方程，利用点投影系数的空间前方交会方法，空间坐标的相似变换方程，空间相似变换公式的线性化等投影技术，将图像的点云矩阵，转化为二维数组值传递给计算机，进行深度处理。

(3)第一客户端由所述深度图生成表征各个像素点高度信息的一维数组，采用Unity引擎由所述一维数组生成与物理沙盘成一定比例的虚拟三维立体模型沙盘，将其顶部俯视图在第一客户端显示,并由所述投影模块投影至物理沙盘；第二客户端由所述深度图生成表征各个像素点高度信息的一维数组，进行插值后，采用Unity引擎生成与物理沙盘成一定比例的虚拟三维立体模型沙盘，并在第二客户端显示。

所述第一客户端和第二客户端接收深度图后与前一段时间内的图像进行特征匹配，判断是否发生变化；如果深度图未发生变化，则不进行一维数组及虚拟三维立体模型沙盘的更新；如果深度图发生变化，则更新一维数组中发生变化的部分，更新虚拟三维立体模型沙盘。生成的虚拟三维立体模型沙盘包括陆地，海洋以及等高线模型；由数组提取各个像素点的深度信息，将Unity引擎模型中的预设mesh网格模型进行实时动态修改，高度高于第一设定阈值的像素点形成山峰，未高于第一阈值未低于第二阈值且周围的与周围像素点之间的高度差值没有超过深度差值预设范围的像素点形成平原，低于第二阈值的像素点，形成海洋。基于各像素点高度，连接等高度的点形成等高线。

第二客户端由所述深度图生成表征各个像素点高度信息的一维数组，进行插值后，采用Unity引擎生成与物理沙盘成一定比例的虚拟三维立体模型沙盘，并在第二客户端显示。第二客户端接收到旋转或放大指令后，对虚拟三维立体模型沙盘执行相应的旋转或放大操作，显示旋转或放大操作后的虚拟三维立体模型沙盘；接收息图像切换指令后，利用Unity Shader着色器，将虚拟三维立体沙盘模型转换为全息立体模型。

在一个实施例中，该数组信息为沙子在平面上点像素的高度信息，如该沙盘平铺面积为200*200像素，则Kinect传递给计算机的数组像素大小为200*200＝40000个，且是实时传递，计算机实时更新。转换为一维数组后，为40000个高度信息，由从上到下从左到右的图像高度数值所构成。Unity引擎首先对深度图像运用摄影测量学中的点特征提取算法，进行特征匹配，判断是否发生变化；如果深度图未发生变化，则不进行一维数组及虚拟三维立体模型沙盘的更新；如果深度图发生变化，则更新一维数组中发生变化的部分，更新虚拟三维立体模型沙盘。

将计算机屏幕的画面投影到沙盘上，沙盘会根据使用者的操作变化而变化。图3为第一客户端显示示意图，图4(a)为第二客户端三维等高线显示示意图；图4(b)为第二客户端全息画面显示示意图。

由Kinect的深度摄像头获得实时彩色图像，并由黑白深度图像处理技术得到深度图，再发送到Unity，利用C#脚本代码，将深度图像含有高度信息进行排布，生成一个一维数组，根据数组中的高度值，生成三维立体模型，其中高度值有很多阈值，阈值是提前设定好的，如超过一定阈值则判断为陆地画面现实绿色，如果再高于一定阈值则判断为山岩，则显示红色，同理低于一定阈值，则判断为海洋，那么显示蓝色，同时在物体的模型下方提前放置好一个“片”状物体，该物体利用最新的Unity Shader技术，动态的显示水流信息。最终效果便是，当超过海洋，则三维模型覆盖海洋形成平原或山丘，而低于海洋，则“片”状物体则会显现出来，显示海洋。查看高度值，会根据当前沙盘所堆砌的沙堆位置，实时反馈数据高度，且指定的位置会实时发生变化，高度值是根据真实沙堆锁堆砌的高度变化而变化，最高可精确到小数点后3位。

综上所述，本发明涉及一种沙盘动态景观实时显示系统及显示方法，Kinect采集模块采集沙盘多角度的深度图；由像素的深度信息，生成沙盘三维模型，采用Unity虚拟仿真将沙盘三维立体模型俯视图在第一客户端显示，由投影模块投影至沙盘，第二客户端用来展示三维立体沙盘模型。本发明结合Unity与Kinect实时进行投影AR沙盘，且分离为多个操作端，不仅仅是可以投影在沙盘上，还可以在另一个操作端，更加立体，三维的对物体进行具体操作。本发明可以实时根据沙盘内，沙子的形状变化，产生对应的投影，对应的模型，且在操作端内进行缩放，旋转，查看等高线等操作。本发明利用最新Unity Shader技术，获得了更加贴近现实的画面。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种沙盘动态景观实时显示系统，其特征在于，包括Kinect采集模块、投影模块、以及第一客户端主控模块；

所述Kinect采集模块采集物理沙盘的彩色图像，转换为深度图；

所述第一客户端包括主控模块及显示模块；所述主控模块，由所述深度图生成表征各个像素点高度信息的一维数组，采用Unity引擎由所述一维数组生成与物理沙盘成一定比例的虚拟三维立体模型沙盘，将其顶部俯视图在第一客户端显示模块显示,并由所述投影模块投影至物理沙盘。

2.根据权利要求1所述的沙盘动态景观实时显示系统，其特征在于，所述Kinect采集模块，采集模块采集物理沙盘的彩色图像，转换为深度图，所述深度图表征为二维点云矩阵，以特定速度生成景深图像流，发送至所述主控模块。

3.根据权利要求1或2所述的沙盘动态景观实时显示系统，其特征在于，还包括若干第二客户端，每个第二客户端包括主控模块及显示模块；第二客户端的主控模块，由所述深度图生成表征各个像素点高度信息的一维数组，进行插值后，采用Unity引擎生成与物理沙盘成一定比例的虚拟三维立体模型沙盘，并在第二客户端显示模块显示。

进一步地，所述第二客户端包括指令接收模块接收用户指令；当接收到旋转或缩放指令后，对虚拟三维立体模型沙盘执行相应的旋转或缩放操作，第二客户端显示模块显示旋转或缩放操作后的虚拟三维立体模型沙盘；接收息图像切换指令后，利用Unity Shader着色器，将虚拟三维立体沙盘模型转换为全息立体模型。

4.根据权利要求3所述的沙盘动态景观实时显示系统，其特征在于，生成的虚拟三维立体模型沙盘包括陆地，海洋，等高线模型；由数组提取各个像素点的深度信息，将Unity引擎模型中的预设mesh网格模型进行实时动态修改，高度高于第一设定阈值的部分形成山峰的像素点，未高于第一阈值未低于第二阈值且周围的与周围像素点之间的高度差值没有超过深度差值预设范围形成平原，低于第二阈值的像素点，则生成海洋。

5.根据权利要求1或2所述的沙盘动态景观实时显示系统，其特征在于，所述第一客户端和第二客户端的主控模块接收深度图后与前一段时间内的图像进行特征匹配，判断是否发生变化；如果深度图未发生变化，则不进行一维数组及虚拟三维立体模型沙盘的更新；如果深度图发生变化，则更新一维数组中发生变化的部分，更新虚拟三维立体模型沙盘。

6.一种沙盘动态景观实时显示方法，其特征在于，包括：

Kinect采集模块采集物理沙盘的彩色图像，转换为深度图；

第一客户端由所述深度图生成表征各个像素点高度信息的一维数组，采用Unity引擎由所述一维数组生成与物理沙盘成一定比例的虚拟三维立体模型沙盘，将其顶部俯视图在第一客户端显示,并由所述投影模块投影至物理沙盘。

7.根据权利要求6所述的实时沙盘动态景观显示方法，其特征在于，第二客户端由所述深度图生成表征各个像素点高度信息的一维数组，进行插值后，采用Unity引擎生成与物理沙盘成一定比例的虚拟三维立体模型沙盘，并在第二客户端显示。

8.根据权利要求6或7所述的实时沙盘动态景观显示方法，其特征在于，第二客户端接收到旋转或放大指令后，对虚拟三维立体模型沙盘执行相应的旋转或放大操作，显示旋转或放大操作后的虚拟三维立体模型沙盘；接收息图像切换指令后，利用Unity Shader着色器，将虚拟三维立体沙盘模型转换为全息立体模型。

9.根据权利要求6或7所述的实时沙盘动态景观显示方法，其特征在于，生成的虚拟三维立体模型沙盘包括陆地，海洋以及等高线模型；由数组提取各个像素点的深度信息，将Unity引擎模型中的预设mesh网格模型进行实时动态修改，高度高于第一设定阈值的像素点形成山峰，未高于第一阈值未低于第二阈值且周围的与周围像素点之间的高度差值没有超过深度差值预设范围的像素点形成平原，低于第二阈值的像素点，形成海洋。

10.根据权利要求6或7所述的实时沙盘动态景观显示方法，其特征在于，所述第一客户端和第二客户端接收深度图后与前一段时间内的图像进行特征匹配，判断是否发生变化；如果深度图未发生变化，则不进行一维数组及虚拟三维立体模型沙盘的更新；如果深度图发生变化，则更新一维数组中发生变化的部分，更新虚拟三维立体模型沙盘。

Images