CN111240630B - 增强现实的多屏控制方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了一种增强现实的多屏控制方法、装置、计算机设备及存储介质，根据识别到的实体模型建立场景模型；将该场景模型和第一控制信号发送给数字沙盘，并将该场景模型和第二控制信号发送给显示装置；该数字沙盘在接收到该第一控制信号的情况下，根据该场景模型输出三维图像；该显示装置在接收到该第二控制信号的情况下，根据该场景模型输出实时渲染图像，从而解决了在增强现实系统中呈现方式单一的问题。

Description

增强现实的多屏控制方法、装置、计算机设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种增强现实的多屏控制方法、装置、计算机设备及存储介质。

背景技术

随着智能终端的普及，增强现实(Augmented Reality，简称为AR)技术的应用愈加广泛，AR技术的一般工作原理为：智能终端识别摄像头拍摄到的图像或者录制视频中的目标物体；对目标物体进行跟踪；获取与目标物体相关联的AR虚拟内容，对图像帧进行渲染，将所述AR虚拟内容叠加在目标物体上，并最终显示在智能终端上。

目前主流的AR呈现方式有包括移动式AR、眼镜式AR和投影式AR；其中，投影式AR基于投影设备，通过摄像头识别投影设备下方的手势操作或者实际物体，然后将投影画面与实际物体校准匹配。在相关技术中，投影式AR技术的多屏联动通常通过控制多个投影画面或者拼接屏幕画面的联动显示来实现，导致在增强现实系统中呈现方式单一。

针对相关技术中，在增强现实系统中呈现方式单一的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中，在增强现实系统中呈现方式单一的问题，本发明提供了一种增强现实的多屏控制方法、装置、计算机设备及存储介质，以至少解决上述问题。

根据本发明的一个方面，提供了一种增强现实的多屏控制方法，所述方法包括：

根据识别到的实体模型建立场景模型；

将所述场景模型和第一控制信号发送给数字沙盘，并将所述场景模型和第二控制信号发送给显示装置；

所述数字沙盘在接收到所述第一控制信号的情况下，根据所述场景模型输出三维图像；

所述显示装置在接收到所述第二控制信号的情况下，根据所述场景模型输出实时渲染图像。

在其中一个实施例中，所述根据识别到的实体模型建立场景模型之后，所述将所述场景模型和第一控制信号发送给数字沙盘之前，所述方法还包括：

根据所述场景模型获取投影画面；

获取所述实体模型在互动设备上的三维坐标信息，并根据所述三维坐标信息将所述投影画面投射到所述实体模型上进行显示。

在其中一个实施例中，所述显示装置在接收到所述第二控制信号的情况下，根据所述场景模型输出实时渲染图像之后，所述方法还包括：

实时检测指示模型在所述投影画面上的位置信息，并将所述位置信息发送给所述显示装置；其中，所述指示模型放置在所述实体模型上；

所述显示装置输出与所述位置信息对应的所述实时渲染图像。

在其中一个实施例中，所述根据所述场景模型获取投影画面之后包括：

向所述数字沙盘和所述显示装置发送同步信号；其中，在接收到所述同步信号的情况下，所述数字沙盘显示与所述投影画面同步的所述三维图像，同时所述显示装置显示与所述投影画面同步的所述实时渲染图像。

在其中一个实施例中，所述根据所述实体模型建立场景模型包括：

接收用户输入的手势信息，并根据所述手势信息和所述实体模型建立所述场景模型。

根据本发明的另一个方面，提供了一种增强现实的多屏控制系统，其特征在于，所述系统包括：实体模型、互动装置、数字沙盘和显示装置；其中，所述互动装置分别和所述数字沙盘、所述显示装置连接；

所述互动装置根据识别到的实体模型建立场景模型；

所述互动装置将所述场景模型和第一控制信号发送给数字沙盘，同时将所述场景模型和第二控制信号发送给显示装置；

所述数字沙盘在接收到所述第一控制信号的情况下，根据所述场景模型输出三维图像；

所述显示装置在接收到所述第二控制信号的情况下，根据所述场景模型输出实时渲染图像。

在其中一个实施例中，所述互动装置还用于根据所述场景模型获取投影画面；

所述互动装置获取所述实体模型在互动设备上的三维信息，并根据所述三维信息将所述投影画面投射到所述实体模型上进行显示。

在其中一个实施例中，所述系统还包括放置在所述实体模型上的指示模型；

所述互动装置实时检测所述指示模型在所述投影画面上的位置信息，并将所述位置信息发送给所述显示装置；其中，所述指示模型放置在所述实体模型上；

所述显示装置输出与所述位置信息对应的所述实时渲染图像。

根据本发明的另一个方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一所述方法的步骤。

根据本发明的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述方法的步骤。

通过本发明，采用一种增强现实的多屏控制方法，根据识别到的实体模型建立场景模型；

将所述场景模型和第一控制信号发送给数字沙盘，并将所述场景模型和第二控制信号发送给显示装置；

所述数字沙盘在接收到所述第一控制信号的情况下，根据所述场景模型输出三维图像；

所述显示装置在接收到所述第二控制信号的情况下，根据所述场景模型输出实时渲染图像。

通过本发明，采用一种增强现实的多屏控制方法、装置、计算机设备及存储介质，根据识别到的实体模型建立场景模型；将该场景模型和第一控制信号发送给数字沙盘，并将该场景模型和第二控制信号发送给显示装置；该数字沙盘在接收到该第一控制信号的情况下，根据该场景模型输出三维图像；该显示装置在接收到该第二控制信号的情况下，根据该场景模型输出实时渲染图像，从而解决了在增强现实系统中呈现方式单一的问题。

附图说明

图1为根据本发明实施例中一种多屏控制方法应用场景的示意图；

图2为根据本发明实施例的一种多屏控制方法的流程图一；

图3为根据本发明实施例的一种多屏控制方法的流程图二；

图4为根据本发明实施例的一种多屏控制方法的流程图三；

图5为根据本发明实施例的一种多屏控制方法的流程图四；

图6为根据本发明实施例的一种多屏控制方法的流程图五；

图7为根据本发明实施例的一种多屏控制方法的流程图六；

图8为根据本发明实施例的一种多屏控制系统的结构框图一；

图9为根据本发明实施例的一种多屏控制系统的结构框图二；

图10为根据本发明实施例的一种计算机设备内部的结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

在本实施例中，提供了一种增强现实的多屏控制方法，图1为根据本发明实施例中一种多屏控制方法应用场景的示意图，如图1所示，在该应用环境中，互动设备12根据识别到的实体模型14建立场景模型；将该场景模型和第一控制信号发送给数字沙盘16，并将该场景模型和第二控制信号发送给显示装置18；该数字沙盘16在接收到该第一控制信号的情况下，根据该场景模型输出三维图像；该显示装置18在接收到该第二控制信号的情况下，根据该场景模型输出实时渲染图像。

在本实施例中，提供了一种增强现实的多屏控制方法，图2为根据本发明实施例的一种多屏控制方法的流程图一，如图2所示，该方法包括如下步骤：

步骤S202，根据识别到的实体模型14建立场景模型；其中，该互动设备12可以为AR互动投影仪；用户在互动设备12下方放入实体模型14，通过互动设备12中的摄像装置对该实体模型14进行识别，该实体模型14需要通过场景校验才可以被选择，在该场景校验为获取该实体模型14的几何特征进行校验的情况下，该实体模型14需要有足够多的几何特征，或该实体模型14的空间特征足够鲜明，才能通过该场景校验，例如，在该实体模型14扫视的情况下，该互动设备12可以对该实体模型14进行分割和二值化处理，进而获取该实体模型14的几何特征，由于该实体模型14的几何特征足够多，因此该实体模型14可以通过该场景校验从而被识别。

此外，可以使用三维建模软件基于该实体模型14的外形几何特征进行初步仿真并建立数字模型，将该数字模型导入Unity 3D软件，用材质球、颜色对该数字模型进行相应的调整和模拟，使用Photoshop软件对贴图纹理图片进行制作，在构建完成该场景模型的情况下，添加包括阴影、反射、光照等元素增强场景的视觉效果，借助Unity 3D的三维渲染效果功能，对该场景模型进行显示和渲染，完成该场景模型的可视化。

步骤S204，该互动设备12将该场景模型和第一控制信号通过局域网发送给与数字沙盘16连接的数字沙盘被控主机，并将该场景模型和第二控制信号通过局域网发送给显示装置18连接的显示装置被控主机。

步骤S206，该数字沙盘16在接收到该第一控制信号的情况下，根据该场景模型输出三维图像进行显示；其中，该数字沙盘16的被控主机接收到第一控制信号后，可以通过高清多媒体接口(High Definition Multimedia Interface，简称为HDMI)将该三维图像输出给该数字沙盘16，三维数字沙盘16是以一定比例微缩实体的方式来表现实物特征，并在模型中体现山体、水体、道路等细节部分，使人们能从微观的层面感受到宏观信息；此外，该数字沙盘被控主机还可以通过HDMI输出音频给该数字沙盘16。

步骤S208，该显示装置18在接收到该第二控制信号的情况下，根据该场景模型输出实时渲染图像进行显示；其中，该显示装置18的被控主机根据图形学算法将三维数据的场景模型实时计算和输出到二维位图之中，并将这些二维位图实时显示，即在短时间内渲染出一张位图，并显示出来，同时渲染并显示下一张图片。可以理解的是，该显示装置被控主机同样可以通过HDMI将该实时渲染图像和音频输出给该显示装置18，该显示装置18可以为液晶显示器、LED显示器或其他显示装置18。

通过上述步骤S202至S208，将基于实体模型14建立的场景模型和控制信号分别发送给数字沙盘被控主机、显示装置被控主机，在通过与该显示装置被控主机连接的液晶显示器等显示装置18进行显示的同时，通过与该数字沙盘被控主机连接的数字沙盘16同步输出三维图像，为用户提供了身临其境的体验感，从而解决了在增强现实系统中呈现方式单一的问题，并且在该增强现实系统的输入中只需放入实体模型14进行识别，实现装置简单，在相关技术中通过传统触摸屏进行平面交互，本发明实施例拓展到三维空间的联动交互，在不需要体验者佩戴任何装置的同时，提供兼容平面交互的互动能力，极大提高了用户体验。

在一个实施例中，提供了一种增强现实的多屏控制方法，图3为根据本发明实施例的一种多屏控制方法的流程图二，如图3所示，该方法包括如下步骤：

步骤S302，根据该场景模型获取投影画面；例如，使用投影仪可以产生相位可控的相干光，使用这种相干光重建出基于该场景模型的具有三维信息的投影画面。

步骤S304，获取该实体模型14在互动设备12上的三维坐标信息，并通过自研AR算法根据该三维坐标信息将该投影画面投射到该实体模型14上进行显示；其中，该三维坐标信息可以通过结构光的扫描获取，或者是利用角点检测方法；此外，为了提高投影效果，还可以进行光学上的校准，包括颜色校准和亮度校准。

通过上述步骤S302至S304，根据该场景模型获取投影画面，并将该投影画面精准投射到该实体模型14上，从而进一步丰富了在增强现实系统中的呈现方式，并且实现了裸眼3D和实时互动的效果，提高了用户体验。

在一个实施例中，提供了一种增强现实的多屏控制方法，图4为根据本发明实施例的一种多屏控制方法的流程图三，如图4所示，该方法包括如下步骤：

步骤S402，实时检测指示模型在该投影画面上的位置信息，并将该位置信息发送给该显示装置18；其中，该指示模型放置在该实体模型14上；例如，该指示模型可以为实体的箭头小模型，用户将该箭头小模型放置在该实体模型14上需要显示的位置，并通过三维建模软件基于该箭头小模型建立数字模型，将该数字模型导入到Unity 3D，则该互动设备12配合自研AR算法导出一个可运行程序，该可运行程序可以实时检测到该箭头小模型的位置和朝向信息，一旦识别到该箭头小模型，该自研AR算法能自动返回给可运行程序位置信息，该位置信息包括该箭头小模型在该投影画面上的位置和朝向数据，并发送给该显示装置。

步骤S404，该显示装置18输出与该位置信息对应的该实时渲染图像进行显示；其中，该显示装置被控主机实时渲染指示模型当前朝向所能看到的视角画面，并发送给该显示装置18进行显示。

通过上述步骤S402至S404，通过互动设备12实时检测指示模型在该投影画面上的位置信息，使得可以识别在该实体模型14上上放置指示模型的位置和朝向信息，并发送该位置信息给显示装置18进行显示，从而实现了在实际物体上放入指示物体的创新交互式输入，进一步丰富了用户交互方式。

在一个实施例中，提供了一种增强现实的多屏控制方法，图5为根据本发明实施例的一种多屏控制方法的流程图四，如图5所示，该方法包括如下步骤：

步骤S502，向该数字沙盘16和该显示装置18发送同步信号；其中，在数字沙盘被控主机和显示装置被控主机中设置互动设备12的IP之后，在数字沙盘被控主机和显示装置被控主机程序开启的情况下，会自动连接互动设备12，互动设备12会通过基于用户数据报协议(User Datagram Protocol，简称为UDP)的数据包，例如Socket，向接入的数字沙盘被控主机和显示装置被控主机发送同步信号；在接收到该同步信号的情况下，该数字沙盘被控主机发送与该投影画面同步的该三维图像给该数字沙盘16进行显示，同时该显示装置被控主机110发送与该投影画面同步的该实时渲染图像给该显示装置18进行显示。

通过上述步骤S502，互动设备12向该数字沙盘被控主机和该显示装置被控主机发送同步信号，使得与该数字沙盘被控主机连接的数字沙盘16，以及与该显示装置被控主机连接的显示装置18可以显示与投影画面同步的图像，从而避免了图像延迟现象的发生。

在一个实施例中，提供了一种增强现实的多屏控制方法，图6为根据本发明实施例的一种多屏控制方法的流程图五，如图6所示，该方法包括如下步骤：

步骤S602，接收用户输入的手势信息，并根据该手势信息和该实体模型14建立所述场景模型。例如，用户可以在互动设备12上点击夜晚模式按钮，则互动设备12将投影画面由白天场景切换到夜晚场景，并精准投射到实体模型14上；或者，该用户还可以该互动设备12的投影区域进行挥手翻页、五指张开播放、握拳暂停等交互。通过步骤S602，使得用户的交互方式更加丰富和简便。

应该理解的是，虽然图2至图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

下面结合实际应用场景对本发明的实施例进行详细说明，图7是根据本发明实施例的一种摄像机补光的控制方法的流程图六，该摄像机补光控制方法的具体实施步骤如图7所示。

步骤S702，用户向AR互动投影仪识别进行输入，该输入方式包括：直接在桌面上点击/拖拽，或者放入真实的物体模型。例如，在AR投影仪下方放入实体白色的三维打印模型，AR投影仪识别到当前模型，并将投影画面精准投射到白色模型上，呈现夏天白天园林场景。接着，手指在桌面上点击夜晚模式按钮，投影画面切换到夜晚场景并精准投射。

步骤S704，第一控制信号通过局域网发送给数字沙盘16的主机，同时第二控制信号通过局域网发送给显示装置18，也就是液晶电视的主机。

步骤S706，数字沙盘被控主机和液晶电视被控主机接收到控制信号后，根据程序的预设，分别通过HDMI输出显示三维图像和实时渲染图像。

在本实施例中，提供了一种增强现实的多屏控制系统，图8为根据本发明实施例的一种多屏控制系统的结构框图一，如图8所示，该系统包括：实体模型14、互动设备12、数字沙盘16和显示装置18；其中，该互动设备12分别与数字沙盘16、显示装置18连接；

该互动设备12根据识别到的实体模型14建立场景模型；

该互动设备12将该场景模型和第一控制信号发送给数字沙盘16，同时将该场景模型和第二控制信号发送给显示装置18；

该数字沙盘16在接收到该第一控制信号的情况下，根据该场景模型输出三维图像；

该显示装置18在接收到该第二控制信号的情况下，根据该场景模型输出实时渲染图像。

通过上述实施例，该互动设备12将基于实体模型14建立的场景模型和控制信号分别发送给数字沙盘16、显示装置18，在显示装置18显示实时渲染图像的同时，该数字沙盘16同步输出三维图像，为用户提供了身临其境的体验感，从而解决了在增强现实系统中呈现方式单一的问题，并且在该增强现实系统的输入中只需放入实体模型14进行识别，实现装置简单，在相关技术中通过传统触摸屏进行平面交互，本发明实施例拓展到三维空间的联动交互，在不需要体验者佩戴任何装置的同时，提供兼容平面交互的互动能力，极大提高了用户体验。

在一个实施例中，该互动设备12还用于根据该场景模型获取投影画面；

该互动设备12获取该实体模型14在互动设备12上的三维信息，并根据该三维信息将该投影画面投射到该实体模型14上进行显示。

在一个实施例中，提供了一种增强现实的多屏控制系统，图9为根据本发明实施例的一种多屏控制系统的结构框图二，如图所示，该系统还包括放置在该实体模型14上的指示模型92；

该互动设备12实时检测该指示模型92在该投影画面上的位置信息，并将该位置信息发送给该显示装置18；其中，该指示模型92放置在该实体模型14上；

该显示装置18输出与该位置信息对应的该实时渲染图像进行显示。

在一个实施例中，该互动设备12还用于向该数字沙盘16和该显示装置18发送同步信号；其中，在接收到该同步信号的情况下，该数字沙盘16显示与该投影画面同步的该三维图像，同时该显示装置18显示与该投影画面同步的该实时渲染图像。

在一个实施例中，该互动设备12还用于接收用户输入的手势信息，并根据该手势信息和该实体模型14建立该场景模型。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，图10为根据本发明实施例的一种计算机设备内部的结构图，如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储场景模型数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种增强现实多屏控制方法。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种增强现实设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述各实施例提供的增强现实多屏控制方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例提供的增强现实多屏控制方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种增强现实的多屏控制方法，其特征在于，所述方法包括：

互动设备根据识别到的实体模型建立场景模型；

将所述场景模型和第一控制信号发送给数字沙盘，并将所述场景模型和第二控制信号发送给显示装置；

所述数字沙盘在接收到所述第一控制信号的情况下，根据所述场景模型输出三维图像；

所述显示装置在接收到所述第二控制信号的情况下，根据所述场景模型输出实时渲染图像；

在所述根据识别到的实体模型建立场景模型之后，所述将所述场景模型和第一控制信号发送给数字沙盘之前，所述方法还包括：

根据所述场景模型获取投影画面；

获取所述实体模型在所述互动设备上的三维坐标信息，并根据所述三维坐标信息将所述投影画面投射到所述实体模型上进行显示；

在所述显示装置在接收到所述第二控制信号的情况下，根据所述场景模型输出实时渲染图像之后，所述方法还包括：

实时检测指示模型在所述投影画面上的位置信息，并将所述位置信息发送给所述显示装置；其中，所述指示模型放置在所述实体模型上；

所述显示装置输出与所述位置信息对应的所述实时渲染图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述场景模型获取投影画面之后包括：

向所述数字沙盘和所述显示装置发送同步信号；其中，在接收到所述同步信号的情况下，所述数字沙盘显示与所述投影画面同步的所述三维图像，同时所述显示装置显示与所述投影画面同步的所述实时渲染图像。

3.根据权利要求1所述的方法，其特征在于，所述根据所述实体模型建立场景模型包括：

接收用户输入的手势信息，并根据所述手势信息和所述实体模型建立所述场景模型。

4.一种增强现实的多屏控制系统，其特征在于，所述系统包括：实体模型、互动装置、数字沙盘和显示装置；其中，所述互动装置分别和所述数字沙盘、所述显示装置连接；

所述互动装置根据识别到的实体模型建立场景模型；

所述互动装置将所述场景模型和第一控制信号发送给数字沙盘，同时将所述场景模型和第二控制信号发送给显示装置；

所述数字沙盘在接收到所述第一控制信号的情况下，根据所述场景模型输出三维图像；

所述显示装置在接收到所述第二控制信号的情况下，根据所述场景模型输出实时渲染图像；

所述互动装置根据所述场景模型获取投影画面，所述互动装置获取所述实体模型在互动装置上的三维坐标信息，并根据所述三维坐标信息将所述投影画面投射到所述实体模型上进行显示；

所述互动装置实时检测指示模型在所述投影画面上的位置信息，并将所述位置信息发送给所述显示装置；其中，所述指示模型放置在所述实体模型上；

所述显示装置输出与所述位置信息对应的所述实时渲染图像。

5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述方法的步骤。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。