CN113467612A - 一种应用于基于ue4全息沙盘的交互方法及装置 - Google Patents

Abstract

本申请公开了一种应用于基于UE4全息沙盘的交互方法及装置，在检测到全息沙盘的全息画面中，包含可移动物体的影像时，执行对用户手势的检测；在检测到用户手势时，判断用户手势示出的用户手部的移动方向与指定方向是否匹配；若是，则检测用户手部沿指定方向进行连续移动的移动时间；判断移动时间是否大于阈值时间；若是，则控制可移动物体的影像按照对应于指定方向的移动方式移动。本说明书中的过程基于用户手部的移动方向和用户手部连续移动的时间实现交互，能够有效的避免用户无效的动作，对交互的过程造成干扰。

Description

一种应用于基于UE4全息沙盘的交互方法及装置

技术领域

本申请涉及仿真显示技术领域，尤其涉及一种应用于基于UE4全息沙盘的交互方法及装置。

背景技术

全息展示技术(Front-Projected Holographic Display)也称虚拟成像技术，是利用干涉和衍射原理记录并再现物体真实的三维图像的技术，具有能够满足人眼视觉的全部感知，甚至观看者可以不借助头盔、眼镜等辅助装置进行观看三维图像的优点。随着显示技术不断的发展，全息展示技术获得了越来越多的关注。

目前市场上常见的全息投影、3D显示等产品，通常仅用于将特定的影像展示至用户，而无法与用户进行交互。

发明内容

本申请实施例提供了一种应用于基于UE4全息沙盘的交互方法及装置，以至少部分的解决上述技术问题。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种应用于基于UE4全息沙盘的交互方法，所述方法包括：

在检测到全息沙盘的全息画面中，包含可移动物体的影像时，执行对用户手势的检测；

在检测到用户手势时，判断所述用户手势示出的用户手部的移动方向与指定方向是否匹配；

若是，则检测用户手部沿所述指定方向进行连续移动的移动时间；

判断所述移动时间是否大于阈值时间；

若是，则控制所述可移动物体的影像按照对应于所述指定方向的移动方式移动。

在本说明书一个可选的实施例中，控制所述可移动物体的影像按照对应于所述指定方向的移动方式移动之后，所述方法还包括：

确定开始控制所述可移动物体的影像按照对应于所述指定方向的移动方式移动的时刻为指定时刻；

确定以所述指定时刻为起点的指定时间范围内，禁用对用户手势的检测。

在本说明书一个可选的实施例中，其中，在检测到用户手势时，判断所述用户手势示出的用户手部的移动方向与指定方向是否匹配，包括：

针在预设的每个指定方向，确定该指定方向与用户手部的移动方向的匹配度；

在预设的各指定方向中，根据匹配度最大的指定方向，确定与所述用户手势示出的用户手部的移动方向匹配的指定方向。

在本说明书一个可选的实施例中，其中，在预设的各指定方向中，根据匹配度最大的指定方向，确定与所述用户手势示出的用户手部的移动方向匹配的指定方向，包括：

在预设的各指定方向中，筛选出匹配度最大的指定方向，作为目标方向；

判断目标方向的匹配度是否大于阈值匹配度；

若是，则确定所述目标方向是与所述用户手势示出的用户手部的移动方向匹配的指定方向。

在本说明书一个可选的实施例中，其中，控制所述可移动物体的影像按照对应于所述指定方向的移动方式移动，包括：

判断用户手部沿移动方向沿所述指定方向的第一移动距离，是否大于阈值距离；

若是，则控制所述可移动物体的影像按照对应于所述指定方向的移动方式移动。

在本说明书一个可选的实施例中，其中，

所述阈值时间是0.5秒；和/或，

所述阈值距离是25厘米。

在本说明书一个可选的实施例中，其中，判断所述用户手势示出的用户手部的移动方向与指定方向是否匹配，包括：

针对对用户手势检测到的每一帧动作，判断该帧动作相对于前一帧动沿指定方向的第二移动距离是否在预设距离范围内；

若针对每一帧动作的判断结果均为是，则判断所述用户手势示出的用户手部的移动方向与指定方向匹配。

第二方面，本申请实施例还提供一种应用于基于UE4全息沙盘的交互装置，用于实现前述第一方面中的任一种方法。

第三方面，本申请实施例还提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述第一方面中的任一种方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述第一方面中的任一种方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本说明书中的应用于基于UE4全息沙盘的交互方法及装置，在检测到全息沙盘的全息画面中包含可移动物体的影像时，才对用户手势进行检测，有利于在实现用户与全息画面的交互的同时，避免对用户无效的动作的检测耗费过多的资源。此外，本说明书中的过程基于用户手部的移动方向和用户手部连续移动的时间实现交互，能够有效的避免用户无效的动作，对交互的过程造成干扰。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本说明书实施例提供的一种全息展示场景示意图；

图2为本说明书实施例提供的一种全息展示过程示意图；

图3为本说明书实施例提供的一种应用于基于UE4全息沙盘的交互装置结构示意图；

图4为本申请实施例中一种电子设备的结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其它元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第二”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

以下结合附图，详细说明本申请各实施例提供的技术方案。

示例性的，本说明书中应用于基于UE4全息沙盘的交互方法基于全息展示系统。全息展示系统包括全息沙盘、定制的支持双视点射频立体眼镜和显示处理设备。用户可以通过佩戴定制的支持双视点射频立体眼镜，观看全息沙盘中的全息影像。在一个可选的场景中，全息展示系统与用户交互的场景可以如图1所示。

在本说明书中，全息展示系统可以捕捉到用户的手势，并基于用户的手势，对全息画面中的可移动物体的影像进行移动。

本说明书中的应用于基于UE4全息沙盘的交互方法，可以包括以下步骤：

S200：在检测到全息沙盘的全息画面中，包含可移动物体的影像时，执行对用户手势的检测。

本说明书对全息沙盘在全息展示的场地中的设置方式不做具体限制，例如，全息沙盘可以悬挂于墙上，也可以设置于地面上。

全息沙盘中展示的影像可以包括多个物体的影像。多个物体中的可以有部分物体相对于全息沙盘进行全息影像展示时采用的坐标系不可以移动的，也可有部分物体相对于全息沙盘进行全息影像展示时采用的坐标系可以移动。示例性的，不可移动的物体可以是建筑物、树木等。可以移动的物体可以是球拍等。

则在本说明书中的过程中，用户可以通过手势控制可移动物体在全息影像中对应的影像的移动。

本说明书中的过程，在检测到全息沙盘的全息画面中包含可移动物体的影像时，才对用户手势进行检测，有利于在实现用户与全息画面的交互的同时，避免对用户无效的动作的检测耗费过多的资源。

S202：在检测到用户手势时，判断所述用户手势示出的用户手部的移动方向与指定方向是否匹配。若判断结果为是，则执行步骤S204。若判断结果为否，则重新执行步骤S200。

在本说明书中，用户手势可以通过用户手部相对于用户所处环境的坐标系(该坐标系可以是全息沙盘进行全息影像展示时采用的坐标系，例如世界坐标系)的位置变化表示。

在本说明书一个可选地实施例中，全息展示系统可以包括动辅相机，用户手势可以是动辅相机捕捉到的。

S204：检测用户手部沿所述指定方向进行连续移动的移动时间。

在本说明书中，指定方向是全息展示系统预设方向。用户可以事先获知指定方向并学习。

可选地，在检测到用户连续的、沿指定方向指定数量(预设值)帧动作的时刻为起点计时。若起点之后的移动仍然沿指定方向，则继续计时，得到移动时间，直至移动时间大于阈值时间。若起点之后的移动不再沿指定方向，则停止计时。

S206：判断所述移动时间是否大于阈值时间。若判断结果为是，则执行步骤S208。若判断结果为否，则重新执行步骤S200。

时间阈值可以是经验值，在一个可选的实施例中，所述阈值时间是0.5秒。在本步骤中，若判断结果为是，表明用户手势是有效手势，而非用户的误触。

S208：控制所述可移动物体的影像按照对应于所述指定方向的移动方式移动。

在本说明书中，移动方式可以是沿指定方向进行的移动，例如向上移动、向下移动。也可以是翻转、旋转、放大、缩小等移动。

在用户的用户手势是用户有意为之的情况下，控制全息影像中可移动物体的影像沿所述指定方向移动，以实现用户与全息影像之间的交互。可见，本说明书中的过程基于用户手部的移动方向和用户手部连续移动的时间实现交互，能够有效的避免用户无效的动作，对交互的过程造成干扰。

进一步地，为避免用户手部动作与可移动物体的绑定，在本说明书一个可选的实施例中，确定开始控制所述可移动物体的影像按照对应于所述指定方向的移动方式移动的时刻为指定时刻。确定以所述指定时刻为起点的指定时间范围内，禁用对用户手势的检测。

在本说明书一个可选的实施例中，指定时间范围可以是经验值，可选地，指定时间范围可以是1秒。

在本说明书另一个可选的实施例中，可以将移动可移动物体的时间作为指定时间范围。即，在可移动物体完成移动之前，禁用对用户手势的检测。

在本说明书一个可选的实施例中，指定方向可以不唯一。例如，指定方向可以包括向上(UpAnim)和向下(DownAnim)。为能够在多种指定方向中识别出用户的手势具体对应于哪一种指定方向，在本说明书一个可选的实施例中，针在预设的每个指定方向，确定该指定方向与用户手部的移动方向的匹配度；在预设的各指定方向中，筛选出匹配度最大的指定方向，作为目标方向。判断目标方向的匹配度是否大于阈值匹配度。若是，则确定所述目标方向是与所述用户手势示出的用户手部的移动方向匹配的指定方向。若否，则确定用户的手势时无效手势，重新执行步骤S200。

此外，为提高对用户无效操作的识别精度，在本说明书一个可选的实施例中判断用户手部沿移动方向沿所述指定方向的第一移动距离，是否大于阈值距离。若是，则控制所述可移动物体的影像按照对应于所述指定方向的移动方式移动。其中，阈值距离可以是经验值，例如是25厘米。

在本说明书进一步可选的实施例中，判断所述用户手势示出的用户手部的移动方向与指定方向是否匹配的过程还可以包括：针对对用户手势检测到的每一帧动作，判断该帧动作相对于前一帧动沿指定方向的第二移动距离是否在预设距离范围(可以是经验范围，例如±5厘米)内。若针对每一帧动作的判断结果均为是，则判断所述用户手势示出的用户手部的移动方向与指定方向匹配。

本说明书中的过程可以基于LeapMotion。在执行本说明书中的过程之前，可以新建一个UE4第三人称C++项目，将LeapMotion插件放到项目中并在项目设置中enabled该插件，然后重启项目。运行LeapMotion的驱动，然后运行创建的项目，如果能够看到两只插件自带的手就说明LeapMotion正常运行。

然后，在插件的手的蓝图Tick事件中添加两个识别动作的方法：UpAnim和DownAnim，这两个方法分别实现抬起手势动作和放下手势动作.。

在本说明书一个可选的实施例中，在步骤S200之前，可以预先的为每个指定方向确定可移动物体对应于该指定方向的移动方式，例如向上(UpAnim)和向下(DownAnim)，并存储。则在确定出与用户手势匹配的指定方向之后，直接调用与用户手势匹配的指定方向的移动方式即可。

具体地，可以预先的新建事件分发器，将移动方式和指定方向之间的对应关系存储在事件分发器中，之后根据事件分发器中存储的对应关系，识别用户手势对应的移动方式。之后根据移动方式，对可移动物体进行移动。示例性的，可以直接控制可移动物体沿指定方向移动。

可见，本说明中的过程具有较好的可延展性，可以通过对事件分发器中存储的对应关系进行扩展，即能够实现对可移动物体的不同移动方式的移动。

本说明书中的应用于基于UE4全息沙盘的交互方法的执行主体可以是显示处理设备。为实现全息展示，本说明书提供一种应用于基于UE4全息沙盘的交互方法。该应用于基于UE4全息沙盘的交互方法基于全息展示系统，全息展示系统包括：显示处理设备、全息沙盘和定制的支持双视点射频立体眼镜，其中，定制的支持双视点射频立体眼镜的数量为多个，不同的定制的支持双视点射频立体眼镜由不同的用户佩戴，定制的支持双视点射频立体眼镜跟随用户的移动而移动。由于不同用户相对于全息沙盘的位姿不同，导致不同的定制的支持双视点射频立体眼镜的视点不同。

在本说明书一个可选的实施例中，显示处理设备可以与全息沙盘集成为一体。定制的支持双视点射频立体眼镜可以是具有显示功能的眼镜。

本说明书对全息展示系统中包含的全息沙盘的数量也不做具体限制。在全息沙盘为多个的情况下，不同全息沙盘在场地中的设置放置可以相同也可以不同。

本说明书中的全息展示过程可以由全息展示系统中的显示处理设备执行，该全息展示过程可以包括以下步骤中的至少部分。

S500：显示处理设备针对每个定制的支持双视点射频立体眼镜，确定该定制的支持双视点射频立体眼镜的视点。

本说明书中的过程旨在向多个不同视点下的用户输出全息影像。由于每个用户的视点(即，该用户佩戴的定制的支持双视点射频立体眼镜的视点)均不同程度的有所差异，本说明书中的显示处理设备针对每个定制的支持双视点射频立体眼镜确定其视点。

S502：根据该定制的支持双视点射频立体眼镜的视点，生成在该视点对应的第一显示信号。该视点对应的第一显示信号。

为使得用户能够体验到全息影像的立体感，显示处理设备针对每个用户分别地输出该用户的视点对应的第一显示信号。该用户的视点对应的第一显示信号用于生成在该用户视点下观看的全息影像。

在本说明书一个可选的实施例中，某一用户对应的第一显示信号，由对应于该用户的左眼的左目第一显示信号、和对应于该用户的右眼的右目第一显示信号构成。左目第一显示信号和右目第一显示信号之间存在一定的差异，以模拟用户双眼视点的差异，进而实现具有立体感的显示。

在本说明书一个可选的实施例中，第一显示信号对应的图像规格为1920像素*1080像素。第一显示信号的输出频率均为120赫兹。

S504：将各视点对应的第一显示信号，输出至所述全息沙盘，使得所述全息沙盘根据第一显示信号，输出影像。

在本说明一个可选的实施例中，全息沙盘是LED(Light Emitting Diode，发光二极管)显示装置。

全息沙盘在接收到第一显示信号之后，根据第一显示信号输出影像，以供佩戴定制的支持双视点射频立体眼镜的用户观赏。

由于定制的支持双视点射频立体眼镜的数量不唯一，全息沙盘接收到的第一显示信号也不唯一，则全息沙盘需根据不同的第一显示信号分别的向不同的定制的支持双视点射频立体眼镜进行全息影像展示。

S506：针对每个定制的支持双视点射频立体眼镜，生成该定制的支持双视点射频立体眼镜对应的同步信号，发送至该定制的支持双视点射频立体眼镜。

由前述内容可知，本说明中的全息展示需要全息沙盘和定制的支持双视点射频立体眼镜相配合。该配合一定程度的是通过同步信号实现的。在本说明书一个可选的实施例中，可以通过一个同步信号，实现对所有定制的支持双视点射频立体眼镜的控制；在本说明书另一个可选的实施例中，可以分别的针对每个定制的支持双视点射频立体眼镜分别地生成同步信号，以对不同的定制的支持双视点射频立体眼镜进行分别的控制。

具体地，针对某一定制的支持双视点射频立体眼镜，同步信号控制该定制的支持双视点射频立体眼镜在全息沙盘展示该定制的支持双视点射频立体眼镜视点下的全息影像时，对全息沙盘展示的内容进行采集，并根据采集的结果向用户进行展示。

在本说明书一个可选的实施例中，定制的支持双视点射频立体眼镜根据所述同步信号，采集所述全息沙盘输出的影像，以交替式地向穿戴所述定制的支持双视点射频立体眼镜的用户展示采集的影像。

在本说明书一个可选的实施例中，所述定制的支持双视点射频立体眼镜是快门式3D眼镜。

需要说明的是，步骤S204和步骤S206的执行次序不分先后。在一个可选的实施例中，步骤S204和步骤S206同时执行。

本说明书中的应用于基于UE4全息沙盘的交互方法，采用全息沙盘与定制的支持双视点射频立体眼镜相配合的方式，向用户展示全息影像，全息沙盘的可控制性强，其显示的亮度可以根据其所处的场景的亮度进行调整，即使在较暗的场景中，也能够获得较好的全息影像展示效果。由于本说明中的全息影像由全息沙盘辅助展示，则本说明书中的定制的支持双视点射频立体眼镜相较于现有的VR眼镜，无需进行较为复杂的数据处理，有利于减小定制的支持双视点射频立体眼镜的体积和重量，使得用户的体感更加舒适。

此外，现有的3D显示等产品通常只有很窄的观察视点或仅在固定位置上才能看到理想效果，即，现有的3D显示产品仅支持单一视点，但是单视点显示的3D立体交互显示系统越来越不能满足客户的需求。而本说明书中的应用于基于UE4全息沙盘的交互方法，采用全息沙盘和定制的支持双视点射频立体眼镜相配合的方式，即使用户的视点发生变化(可以是由用户的移动引起的)，也能够向用户展示具有立体感的全息影像，有利于改善用户体验。

定制的支持双视点射频立体眼镜与全息沙盘的配合过程例如：显示处理设备针对两副定制的射频立体眼镜，通过同步发射器控制射频立体眼镜开断，使支持双视点射频立体眼镜A和支持双视点射频立体眼镜B分时显示各自追踪的视点；将视点对应的支持双视点射频立体眼镜A和支持双视点射频立体眼镜B视点，分时输出至全息沙盘，使得全息沙盘分时显示支持双视点射频立体眼镜A和支持双视点射频立体眼镜B视通过同步发射器控制对应视点的支持双视点射频立体眼镜。

此外，同时输出同步信号到3D同步发射器，通过3D同步发射器发射射频信号控制两副支持双视点射频立体眼镜的开断，使两副支持双视点射频立体眼镜都能分别独立观测各自对应的立体视频，即支持双视点射频立体眼镜A只能看到立体视频信号A，支持双视点射频立体眼镜B只能看到立体视频信号B。通过使用双视点技术，在同一个VR环境同一块显示屏，可以分时显示两个独立的被追踪的视点，这样就使支持双视点射频立体眼镜A和支持双视点射频立体眼镜B都有了对应的视点，从而提高了系统的沉浸感受。

此外，在本说明书其他可选的实施例中，在所述全息沙盘根据第一显示信号进行全息影像展示时，若接收到交互指令，则识别佩戴所述定制的支持双视点射频立体眼镜的用户的手部位置；获取所述用户的视点信息，所述视点信息示出所述用户双目的位置以及所述用户双目的视角；根据所述手部位置，确定用于生成交互手柄的手持端的第一位置；并且，根据所述手部位置和所述视点信息，确定用于生成交互手柄的指示端的第二位置；所述手持端是所述交互手柄的一端、所述交互端是所述交互手柄的另一端；根据所述第一位置和所述第二位置，生成第二显示信号，发送至所述全息沙盘，使得所述全息沙盘根据所述第一显示信号和所述第二显示信号，进行全息影像展示。

在本说明书一个可选的实施例中，所述方法之前，还包括：判断所述全息沙盘是否正在根据第一显示信号进行全息影像展示；若是，则进行针对交互指令的检测；若否，则再次执行所述判断。

在本说明书一个可选的实施例中，根据所述手部位置和所述视点信息，确定用于生成交互手柄的指示端的第二位置，包括：以所述手部位置为起点延伸指定长度，使得延伸得到的终点与所述用户的视线交汇，确定所述终点是第二位置；所述用户的视线是根据所述视点信息得到的。

在本说明书一个可选的实施例中，通过所述交互手柄实现的交互包括以下至少一种：对所述全息沙盘输出的影像进行放大、缩小、移动、旋转、选取、更换。

在本说明书一个可选的实施例中，所述方法之后，还包括：判断所述全息沙盘展示的全息影像的轮廓是否与所述交互手柄的指示端相交；若否，则放大所述全息沙盘展示的全息影像，直至全息影像的轮廓与所述交互手柄的指示端相交。

在本说明书一个可选的实施例中，所述方法，还包括：根据所述用户的视点信息，生成左目第一显示信号和右目第一显示信号；对所述左目第一显示信号和右目第一显示信号进行处理，生成第一显示信号，输出至所述全息沙盘，使得所述全息沙盘根据所述第一显示信号，输出影像；生成同步信号，发送至所述定制的支持双视点射频立体眼镜，使得所述定制的支持双视点射频立体眼镜根据所述同步信号，采集所述全息沙盘输出的影像，以交替式地向穿戴所述定制的支持双视点射频立体眼镜的用户展示采集的影像。

在本说明书一个可选的实施例中，所述全息展示系统还包括：虚拟相机；所述虚拟相机的位置与所述用户双目的位置相同，所述虚拟相机的视角与所述用户双目的视角相同；所述虚拟相机用于根据其所处的位置和视角，对所述定制的支持双视点射频立体眼镜所处的环境进行图像采集。所述方法还包括：获取所述虚拟相机采集的图像；根据所述虚拟相机采集的图像，生成第一显示信号，使得所述全息沙盘展示的全息影像中，示出所述环境中的至少部分内容。

在本说明书一个可选的实施例中，所述全息展示系统还包括：动捕相机；所述用户的手部位置是根据所述动捕相机采集的数据得到的。

在跟踪用户时，针对每个动辅相机，获取该动辅相机采集的图像；识别出该动辅相机采集的图像中包含的用户；若该动辅相机采集的图像中未包含用户，则识别除该动辅相机以外的其他动辅相机拍摄的用户的数量；若其他动辅相机中拍摄的用户的数量大于预设的第一阈值数量，则确定该其他动辅相机为参照相机；调整该动辅相机的拍摄角度，使得该动辅相机调整后的拍摄角度与所述参照相机的拍摄角度之间的差异，不大于预设的阈值角度。

在本说明书一个可选的实施例中，调整该动辅相机的拍摄角度之后，还包括：获取各动辅相机的拍摄角度，判断所述全息沙盘周围的指定范围内，是否存在拍摄死角；若判断结果为是，则在各动辅相机中，确定出拍摄角度与所述拍摄死角差异最小的动辅相机，作为第一目标相机；调整所述第一目标相机的拍摄角度，使得所述拍摄死角在所述第一目标相机调整后的拍摄角度内。

在本说明书一个可选的实施例中，所述方法还包括：在检测到各动辅相机采集的图像中的用户的数量均小于第二阈值数量时，调整各动辅相机的拍摄角度，使得各动辅相机的拍摄角度均布所述全息沙盘周围；所述第二阈值数量小于所述第一阈值数量。

在本说明书一个可选的实施例中，所述方法还包括：针对每个动辅相机，确定该动辅相机距当前时刻的指定时间段内，该动辅相机拍摄的图像中用户的移动速度；若所述用户的移动速度大于阈值速度，则确定该动辅相机是第二目标相机；在除所述第二目标相机的各其他动辅相机中，确定出与所述第二目标相机的拍摄角度差异最小的动辅相机，作为第三目标相机；调整所述第三目标相机的拍摄角度，使得第三目标相机拍的图像中，包含该移动速度大于阈值速度的用户。在本说明书一个可选的实施例中，所述各动辅相机设置于所述全息沙盘的周围，以对所述全息沙盘周围进行图像采集；或者，所述动辅相机悬挂于所述全息沙盘上方，以对所述全息沙盘周围进行图像采集。

通过本说明书中的应用于基于UE4全息沙盘的交互方法，能够在亮度不同的多种场景中，为用户展示立体感强、画质质量高的全息影像。而在实际的场景中，用户可能会根据其自身的需求在设置全息沙盘的场地中移动，则有可能存在由于用户的移动造成的全息沙盘展示的全息影像与用户的实际视点不匹配的现象，此外，在用户的数量为多个的情况下，多个用户的视点也均一定程度的不相同。

为能够在用户移动的过程中，提供显示效果优异的全息影像，并针对不同的同时展示不同视点下的全息影像，在本说明书一个可选的实施例中，全息展示系统还包括：动捕相机。动捕相机设置于所述全息沙盘上。本说明书中的动捕相机的数量和在全息沙盘上的设置位置、拍摄角度是根据全息沙盘的设置放置、形状、尺寸等确定的。具体地，动捕相机的数量为4个，分别地设置于全息沙盘的角上。动捕相机用于对全息沙盘周围的环境进行图像采集(拍摄)，以捕捉用户在所述场景中的位置，进而获得定制的支持双视点射频立体眼镜的视点。

在本说明书其他实施中，动捕相机可以设置于全息沙盘的上方，以鸟瞰的视角对环境进行图像采集。

动捕相机可以是在显示处理设备的控制下执行图像采集的。

在本说明书一个可选的实施例中，动捕相机首先获取定制的支持双视点射频立体眼镜在空间中的3D坐标信息，然后结合获取的佩戴定制的支持双视点射频立体眼镜的用户在动作捕捉空间中的人眼视点坐标信息，从而完成对用户观看角度的追踪定位，进而将该定位信息传输至显示处理设备。使得显示处理设备在动作捕捉空间的位置信号同步至全息影像，并将所述定制的支持双视点射频立体眼镜在动作捕捉空间中的三维位置作为全息影像中的虚拟摄像机的位置(即定制的支持双视点射频立体眼镜的位置)，以计算出所述虚拟摄像机的视点画面。

进一步地，定制的支持双视点射频立体眼镜包括快门式主动三维眼镜和由至少三个反光标记点组成的刚体等。反光标记点可以是4个。其中，该至少三个反光标记点镶嵌在该快门式主动三维眼镜的外壳结构上。该快门式主动三维眼镜用于接收全息沙盘传输的视点画面(三维信号)，从而获得正确的左右眼画面。具体的，该快门式主动三维眼镜接收该全息沙盘中三维信号发射器发射的三维信号。

该至少三个反光标记点组成的刚体用于标记该快门式主动三维眼镜在动作捕捉空间中的位置，可以捕捉该定制的支持双视点射频立体眼镜在动作捕捉空间的位置信息，以及佩戴定制的支持双视点射频立体眼镜的用户在动作捕捉空间中的视点位置信息。这样捕捉该快门式主动三维眼镜在动作捕捉空间中的位置，可以使得用户通过佩戴该快门式主动三维眼镜，可以看到显示内容在浮空中的立体画面，而且可以从各个角度观看三维画面(即全息影像)。

需要说明的是，在本说明书一个可选的实施例中，显示处理设备可以由多个装置构成，显示处理设备的功能可以由构成显示处理设备的各装置配合实现。

具体地，显示处理设备可以包括：显示服务器、显示处理器和同步发射器。第一显示信号是由显示服务器生成的；复合信号和/或同步信号是显示处理器生成的；同步信号是由同步发射器发送至定制的支持双视点射频立体眼镜的。可选地，前述的左目显示信号和右目显示信号是由显示服务器生成的，显示服务器在生成左目显示信号和右目显示信号之后，发送至显示处理器。显示处理器根据左目显示信号和右目显示信号生成第一显示信号，并发送至全息沙盘。同步信号是由同步发射器发送至定制的支持双视点射频立体眼镜的。

可选地，显示服务器通过DP或HDMI线与显示处理器电连接；显示处理器通过网口与接收卡电连接；显示处理器通过电缆与同步发射器电连接。接收卡通过排线与全息沙盘电连接。

在本说明书一个可选的实施例中，全息沙盘，可以由小间距的LED显示屏组成，该全息沙盘包括LED显示屏体、三维视频融合器、三维信号发射器等。

其中，该三维视频融合器连接LED显示屏体的发送卡。三维信号发射器接入该三维视频融合器，该三维视频融合器接收经过显示处理设备中显示处理器处理过的虚拟摄像机(即，定制的支持双视点射频立体眼镜)的视点画面信息，调整显示频率并将画面通过发送卡显示在该LED显示屏体上，以显示左右眼画面，该显示处理器中搭载有全息三维显示算法。该三维信号发射器将该显示频率同步发送至全息3D眼镜，以实现实时显示根据佩戴全息3D眼镜的用户视点位置不同而调整的画面。

在本说明中，虚拟三维场景中，将定制的支持双视点射频立体眼镜在动作捕捉空间的三维位置作为虚拟空间中虚拟摄像机的位置，这样可以模拟出一个虚拟摄像机的位置从而来捕获定制的支持双视点射频立体眼镜所在位置的画面，该虚拟三维场景是根据虚拟空间中的虚拟摄像机位置设置的。

则虚拟摄像机所拍摄的画面(即定制的支持双视点射频立体眼镜视点下的画面)即是佩戴定制的支持双视点射频立体眼镜的用户的视点所看到的三维虚拟场景画面(即，全息影像)，即通过该虚拟摄像机拍摄出的虚拟三维场景便是用户所观看到的3D视点画面。显示处理设备可以根据定制的支持双视点射频立体眼镜在动作捕捉空间的视点位置信息实时处理需要显示的画面，同时采用全息沙盘将该视点画面显示出来，可以实现极佳的全息三维显示效果，获得极佳的出屏感以及全息视感。

本申请提供的全息展示系统相较于其他产品，成本大大降低，画面显示更加细腻丰富，色彩更加丰富。显示效果稳定性强，用户使用更加方便，操作控制更为简单。其中，全息沙盘显示效果细腻，亮度高，成本低，采用LED主动3D立体显示技术结合观察视点的空间位置信息，从而实现虚拟物体悬浮于LED显示屏上的3D立体效果，可以提高用户观感，提高全息显示的效果。

除此之外，在本说明书一个可选的实施例中，通过本说明书中的过程不仅仅能够用于向用户展示全息影像，还可以实现与用户的交互。具体地，显示处理设备在接收到交互指令时，生成第二显示信号，输出至全息沙盘，使得全息沙盘根据第二显示信号，输出用于展示交互手柄的影像，使得用户能够针对交互手柄进行操作，以实现交互；交互包括以下至少一种：对全息沙盘输出的影像进行放大、缩小、移动、旋转、选取、更换。

可选地，交互指令是由用户的指定动作触发的，该指定动作可以是由动捕相机采集到的。交互手柄的影像可以是棒状的影像，交互手柄的一端与用户的手部动作配合，跟随用户手部的动作在全息沙盘生成的影像中移动。

在本说明书一个可选的实施例中，显示处理设备采用UE4处理系统。本说明书中的全息展示系统及应用于基于UE4全息沙盘的交互方法的适用场景广泛，具体地，可以适用于军事态势推演、工业设备仿真操作、仿真设计、教育教学实训室、医疗仿真实训等场景中。

基于同样的思路，本说明书实施例还提供了对应于图2所示部分过程的一种应用于基于UE4全息沙盘的交互装置。如图3所示，所述一种应用于基于UE4全息沙盘的交互装置可以包括以下模块中的一个或多个：

用户手势检测模块300，配置为：在检测到全息沙盘的全息画面中，包含可移动物体的影像时，执行对用户手势的检测。

第一判断模块302，配置为：在检测到用户手势时，判断所述用户手势示出的用户手部的移动方向与指定方向是否匹配。

移动时间确定模块304，配置为：若是，则检测用户手部沿所述指定方向进行连续移动的移动时间。

第二判断模块306，配置为：判断所述移动时间是否大于阈值时间。

移动方式确定模块308，配置为：若是，则控制所述可移动物体的影像按照对应于所述指定方向的移动方式移动。

在本说明书一个可选的实施例中，所述一种应用于基于UE4全息沙盘的交互装置还包括控制禁用模块。配置为：确定开始控制所述可移动物体的影像按照对应于所述指定方向的移动方式移动的时刻为指定时刻；确定以所述指定时刻为起点的指定时间范围内，禁用对用户手势的检测。

在本说明书一个可选的实施例中，第一判断模块302，具体配置为：针在预设的每个指定方向，确定该指定方向与用户手部的移动方向的匹配度；在预设的各指定方向中，根据匹配度最大的指定方向，确定与所述用户手势示出的用户手部的移动方向匹配的指定方向。

在本说明书一个可选的实施例中，第一判断模块302，具体配置为：在预设的各指定方向中，筛选出匹配度最大的指定方向，作为目标方向；判断目标方向的匹配度是否大于阈值匹配度；若是，则确定所述目标方向是与所述用户手势示出的用户手部的移动方向匹配的指定方向。

在本说明书一个可选的实施例中，移动方式确定模块308，具体配置为：判断用户手部沿移动方向沿所述指定方向的第一移动距离，是否大于阈值距离；若是，则控制所述可移动物体的影像按照对应于所述指定方向的移动方式移动。

在本说明书一个可选的实施例中，所述阈值时间是0.5秒；和/或，所述阈值距离是25厘米。

在本说明书一个可选的实施例中，第一判断模块302，具体配置为：针对对用户手势检测到的每一帧动作，判断该帧动作相对于前一帧动沿指定方向的第二移动距离是否在预设距离范围内；若针对每一帧动作的判断结果均为是，则判断所述用户手势示出的用户手部的移动方向与指定方向匹配。

能够理解，上述应用于基于UE4全息沙盘的交互装置，能够实现前述实施例中提供的由应用于基于UE4全息沙盘的交互装置执行的全息展示过程的各个步骤，关于应用于基于UE4全息沙盘的交互方法的相关阐释均适用于应用于基于UE4全息沙盘的交互装置，此处不再赘述。

图4是本申请的一个实施例电子设备的结构示意图。请参考图4，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成一种应用于基于UE4全息沙盘的交互装置和/或第二种应用于基于UE4全息沙盘的交互装置。处理器，执行存储器所存放的程序，并具体用于执行前述任意一种全息展示过程。

上述如本申请图2所示实施例揭示的一种应用于基于UE4全息沙盘的交互装置和/或第二种应用于基于UE4全息沙盘的交互装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图2中应用于基于UE4全息沙盘的交互装置执行的至少部分方法步骤，并实现一种应用于基于UE4全息沙盘的交互装置和/或第二种应用于基于UE4全息沙盘的交互装置在图2所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图2所示实施例中一种应用于基于UE4全息沙盘的交互装置和/或第二种应用于基于UE4全息沙盘的交互装置执行的方法，并具体用于执行前述的任意一种应用于基于UE4全息沙盘的交互方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种应用于基于UE4全息沙盘的交互方法，其中，所述方法包括：

在检测到全息沙盘的全息画面中，包含可移动物体的影像时，执行对用户手势的检测；

在检测到用户手势时，判断所述用户手势示出的用户手部的移动方向与指定方向是否匹配；

若是，则检测用户手部沿所述指定方向进行连续移动的移动时间；

判断所述移动时间是否大于阈值时间；

若是，则控制所述可移动物体的影像按照对应于所述指定方向的移动方式移动。

2.如权利要求1所述方法，其中，控制所述可移动物体的影像按照对应于所述指定方向的移动方式移动之后，所述方法还包括：

确定开始控制所述可移动物体的影像按照对应于所述指定方向的移动方式移动的时刻为指定时刻；

确定以所述指定时刻为起点的指定时间范围内，禁用对用户手势的检测。

3.如权利要求1所述方法，其中，在检测到用户手势时，判断所述用户手势示出的用户手部的移动方向与指定方向是否匹配，包括：

针在预设的每个指定方向，确定该指定方向与用户手部的移动方向的匹配度；

在预设的各指定方向中，根据匹配度最大的指定方向，确定与所述用户手势示出的用户手部的移动方向匹配的指定方向。

4.如权利要求3所述方法，其中，在预设的各指定方向中，根据匹配度最大的指定方向，确定与所述用户手势示出的用户手部的移动方向匹配的指定方向，包括：

在预设的各指定方向中，筛选出匹配度最大的指定方向，作为目标方向；

判断目标方向的匹配度是否大于阈值匹配度；

若是，则确定所述目标方向是与所述用户手势示出的用户手部的移动方向匹配的指定方向。

5.如权利要求1所述方法，其中，控制所述可移动物体的影像按照对应于所述指定方向的移动方式移动，包括：

判断用户手部沿移动方向沿所述指定方向的第一移动距离，是否大于阈值距离；

若是，则控制所述可移动物体的影像按照对应于所述指定方向的移动方式移动。

6.如权利要求5所述方法，其中，

所述阈值时间是0.5秒；和/或，

所述阈值距离是25厘米。

7.如权利要求1所述方法，其中，判断所述用户手势示出的用户手部的移动方向与指定方向是否匹配，包括：

针对对用户手势检测到的每一帧动作，判断该帧动作相对于前一帧动沿指定方向的第二移动距离是否在预设距离范围内；

若针对每一帧动作的判断结果均为是，则判断所述用户手势示出的用户手部的移动方向与指定方向匹配。

8.一种应用于基于UE4全息沙盘的交互装置，所述装置用于实现权利要求1～7之任一所述方法。

9.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行权利要求1～7之任一所述的方法。

10.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～7之任一所述方法。

Images